大模型微調后的評估指標是衡量模型性能的關鍵，通常根據任務類型和具體需求選擇不同的評估指標。以下是一些常見的評估指標及其適用場景：
1. 分類任務
- 準確率（Accuracy）：預測正確的樣本占總樣本的比例。
- 精確率（Precision）：預測為正類的樣本中，實際為正類的比例。
- 適用場景：關注減少假陽性（False Positive）的任務。
- 召回率（Recall）：實際為正類的樣本中，預測為正類的比例。
- 適用場景：關注減少假陰性（False Negative）的任務。
- F1分數（F1 Score）：精確率和召回率的調和平均值。
- 適用場景：類別不平衡或需要平衡精確率和召回率的任務。
- ROC-AUC：ROC曲線下的面積，衡量模型區分正負類的能力。
2. 回歸任務
- 均方誤差（MSE, Mean Squared Error）：預測值與真實值之差的平方的平均值。
- 均方根誤差（RMSE, Root Mean Squared Error）：MSE的平方根。
- 平均絕對誤差（MAE, Mean Absolute Error）：預測值與真實值之差的絕對值的平均值。
- R²（決定系數）：模型解釋目標變量方差的比例。
3. 生成任務
- BLEU（Bilingual Evaluation Understudy）：衡量生成文本與參考文本的n-gram重疊程度。
- ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：衡量生成文本與參考文本的重疊程度，側重于召回率。
- METEOR：綜合考慮精確率、召回率和詞序的評估指標。
- Perplexity（困惑度）：衡量模型預測概率分布的不確定性。
4. 多標簽任務
- Hamming Loss：預測錯誤的標簽比例。
- Jaccard Similarity：預測標簽與真實標簽的交集與并集之比。
5. 排序任務
- NDCG（Normalized Discounted Cumulative Gain）：衡量排序結果的相關性。
- MAP（Mean Average Precision）：平均精確率的均值。
6. 其他指標
- 訓練時間：模型微調所需的時間。
- 推理速度：模型生成結果的速度。
- 資源消耗：模型運行所需的計算資源（如GPU內存、CPU使用率）。
- 魯棒性：模型對噪聲、異常值或對抗樣本的抵抗能力。
7. 領域特定指標
- 醫學領域：敏感性（Sensitivity）、特異性（Specificity）、AUC-ROC。
- 金融領域：收益曲線、夏普比率（Sharpe Ratio）。
- 計算機視覺：mAP（mean Average Precision）、IoU（Intersection over Union）。
8. 人類評估
- 人工評分：通過人工評估生成結果的質量（如流暢性、相關性、準確性）。
- 用戶滿意度：通過用戶反饋評估模型的實際效果。
9. 模型對比
- 基線對比：與未微調的模型或基線模型進行性能對比。
- 消融實驗：評估微調過程中不同組件（如數據、超參數）對性能的影響。
10. 綜合評估
- 多指標綜合：根據任務需求，結合多個指標進行綜合評估。
- 任務特定指標：針對特定任務設計自定義指標。
在實際應用中，選擇合適的評估指標需要結合任務目標、數據特點和業務需求，同時注意避免單一指標的局限性。