· Xiaojing Yang · Machine Learning · 3 min read
EN模型选择实用指南
模型选择是有纪律地在多个模型之间做选择，同时避免欺骗自己。
核心观点
模型选择不是选择最高分，而是选择对真实任务证据最强的模型。
1. 模型选择包括什么
模型选择包括选择算法、特征、预处理、超参数、阈值，有时甚至包括选择指标本身。危险在于：每一个选择都可能过拟合验证集。
选择循环
候选模型
定义选项
定义选项
验证协议
选择公平比较方式
选择公平比较方式
指标
匹配任务代价
匹配任务代价
选择
根据验证证据决定
根据验证证据决定
最终测试
只在 untouched test 上估计一次
只在 untouched test 上估计一次
2. 实用标准
| 标准 | 为什么重要 |
|---|---|
| 性能 | 是否解决任务？ |
| 稳定性 | 是否经得起不同 split/seed？ |
| 简洁性 | 复杂度是否值得？ |
| 成本 | 训练和推理预算 |
| 可解释性 | 错误能否被解释？ |
| 鲁棒性 | 跨领域是否稳定？ |
3. sklearn 例子
from sklearn.model_selection import cross_validate
results = cross_validate(model, X, y, cv=5, scoring=["accuracy", "f1_macro"], return_train_score=True)4. AI/NLP 连接
对 NLP 来说，平均分最高的模型不一定最好。一个整体略低但能更好处理领域术语、少数语言或严重错误案例的模型，可能是更强的研究选择。
排行榜思维
一个指标决定一切。
研究思维
证据、不确定性、成本和失败模式一起决定。
总结
模型选择是研究判断过程，不是一次简单排序。
面试回答模板
如果面试问到这个概念，我会分四层回答：
- 先给短定义；
- 再讲直觉；
- 指出常见失败模式；
- 最后连接到真实评估或部署决策。