· Xiaojing Yang · Machine Learning · 3 min read
EN机器学习中的 Bias–Variance Trade-off
用 bias–variance 诊断 underfitting、overfitting、模型复杂度和泛化问题。
核心观点
Bias–variance 是诊断工具：它告诉我模型是太僵硬，还是太敏感。
1. 核心想法
高 bias 表示模型假设太简单，学不到信号。高 variance 表示模型对训练样本反应过度。
复杂度诊断
低复杂度
高 bias，underfitting
高 bias，underfitting
中等复杂度
捕捉有用信号
捕捉有用信号
高复杂度
高 variance，overfitting
高 variance，overfitting
2. 实践中怎么看
| 现象 | 诊断 | 可能应对 |
|---|---|---|
| train 差，validation 也差 | 高 bias | 更好特征、更大模型、更好目标 |
| train 好，validation 差 | 高 variance | 正则化、更多数据、更简单模型 |
| seed 差异很大 | 高 variance | 重复实验、更强约束 |
| 稳定但平庸 | 高 bias | 改进表示 |
3. sklearn 风格检查
Learning curves 是诊断更多数据是否有帮助的实用工具。
from sklearn.model_selection import learning_curve
train_sizes, train_scores, val_scores = learning_curve(model, X, y, cv=5, scoring="accuracy")4. AI/NLP 连接
在低资源领域适配中，小模型可能学不到领域术语，大模型完整 fine-tuning 又可能记住噪声语料。Bias–variance 语言可以解释为什么参数高效微调有吸引力。
面试版本
Bias 是假设太简单带来的错误；variance 是对训练数据太敏感带来的错误。
项目版本
我会检查 train/validation gap、seed variation、领域错误，以及更多数据或更强正则是否有帮助。
总结
Bias–variance trade-off 把“模型不好”变成更有用的问题：它是哪一种泛化失败？
面试回答模板
如果面试问到这个概念，我会分四层回答：
- 先给短定义；
- 再讲直觉；
- 指出常见失败模式；
- 最后连接到真实评估或部署决策。