· Xiaojing Yang · NLP and LLMs · 3 min read
ENNLP Evaluation：自然语言处理评估
为什么 NLP 评估需要指标、不确定性、人类判断和任务特定错误分析。
核心观点
NLP 评估困难，是因为语言质量本来就是多维的。
1. 问题
语言输出可能流畅但错误，正确但别扭，忠实但不完整，或者有用但不逐字对应。单一指标很少能覆盖整个任务。
评估栈
任务定义
什么叫成功
什么叫成功
Dataset
有代表性的案例
有代表性的案例
Metric
测量规则
测量规则
Uncertainty
分数稳定性
分数稳定性
Error analysis
失败在哪里，为什么
失败在哪里，为什么
2. 指标家族
| 任务 | 指标 |
|---|---|
| 分类 | accuracy, F1, macro-F1 |
| NER | entity-level precision/recall/F1 |
| MT | BLEU, chrF, COMET, terminology accuracy |
| 摘要 | ROUGE, factuality checks, human evaluation |
| 检索 | recall@k, MRR, nDCG |
3. Hugging Face Evaluate 实践
import evaluate
f1 = evaluate.load("f1")
result = f1.compute(predictions=preds, references=labels, average="macro")4. 我的研究连接
对 MT 来说，我不会只依赖 BLEU。chrF 对形态变化更敏感，COMET 更接近 human judgments，术语指标检查领域词，人类错误分析揭示严重性。
指标分数
一种紧凑测量。
研究证据
指标 + 不确定性 + 示例 + 错误类别。
总结
好的 NLP evaluation 是证据链，不是一个数字。
面试回答模板
如果面试问到这个概念，我通常会这样回答：
- 用一句话定义；
- 解释数据如何流动；
- 指出主要失败模式；
- 连接到 evaluation、multilinguality 或 fine-tuning。
参考资料
- Hugging Face Course
- Hugging Face Transformers documentation
- Hugging Face tokenizer summary
- Hugging Face fine-tuning guide
- Hugging Face PEFT
- The Illustrated Transformer
- Speech and Language Processing, Jurafsky & Martin
- Stanford CS224N readings
- Attention Is All You Need
- COMET: A Neural Framework for MT Evaluation