· Xiaojing Yang · Explainability and Responsible AI · 5 min read
EnglishAblation vs Shapley：为什么 Coalition Context 重要
Ablation 简单且有用，但 Shapley 通过跨多个 coalition context 平均边际贡献，回答更全面的问题。
核心观点
Ablation 通常测量从一个参考训练集中删除某个单位会怎样。Shapley 则问：这个单位被加入许多可能上下文时平均会怎样。
这篇属于 Training Data Attribution for NLP and LLM Research 系列。它既是我的研究笔记，也是面试准备材料：每篇文章都要帮我把概念讲清楚，连接到自己的 thesis，并说明哪些部分可以成为博士阶段的扩展。
核心问题： 为什么一次 leave-one-out ablation 不等于 Shapley 归因？
直觉
Leave-one-out 像是在所有材料都已经放进汤里之后，问少一个材料会怎样。Shapley 更像是问这个材料在许多菜谱里平均贡献多少。两者都有用，但问题不同。
这在 NLP 和 LLM 研究中特别重要，因为模型行为很大程度上由数据混合方式塑造。模型可能因为大规模网页文本而流畅，因为专业文档而领域准确，因为 curated instruction data 而更安全，也可能因为语料中重复出现的偏差模式而产生偏见。Training-data attribution 让我们可以系统地讨论这些问题，而不是笼统地说“数据很重要”。
形式化视角
Leave-one-out 通常估计 v(N) - v(N \ {i})。Data addition 估计 v({i}) - v(empty) 或 v(B union {i}) - v(B)。Shapley 则对许多 S 上的 v(S union {i}) - v(S) 求平均。只要存在非加性交互，这三者就会不同。
解释 attribution score 之前，必须先定义清楚实验设置：
| 设计选择 | 必须回答的问题 |
|---|---|
| Attribution unit | 谁获得贡献：source、group、document、example 还是 token？ |
| Utility function | 解释哪种行为：质量、术语、风格、事实性还是安全性？ |
| Intervention | 是加入、删除、重加权、修正，还是重新训练？ |
| Estimator | 分数来自 exact、sampling、gradient、surrogate 还是 heuristic？ |
| Uncertainty | 分数在 seed、样本、指标和评估集上是否稳定？ |
NLP / LLM 例子
如果完整数据集中已经有很多相似样本，Bokmål-like 组在 leave-one-out 中可能看起来不重要。但如果它在缺少风格证据的小 coalition 中显著提升表现，它的 Shapley value 可能仍然很高。
所以我不想把 attribution 写成普通可解释性教程。对我的背景来说，它最自然地连接到 multilingual and domain-specific NLP：低资源设定、技术术语、书面语标准差异，以及不止一个 headline metric 的模型评估。
和我的 thesis 的关系
在我的 thesis 叙事中，training-data attribution 的价值在于把模糊的数据问题变成实验设计：
- 定义可解释的数据单位；
- 定义要解释的模型行为；
- 比较受控的数据 coalition 或 intervention；
- 估计贡献；
- 报告不确定性和局限；
- 判断证据是否足够支持更强的因果式表述。
这个结构能帮助我避免 overclaiming。一个分数不会自动成为因果解释；它是特定设置下得到的测量结果。
我已经完成、理解、以及博士阶段可以扩展的内容
| 层次 | 状态 |
|---|---|
| 已完成 / thesis-ready | Group-level attribution、coalition thinking、基于指标的 utilities、谨慎解释、random baselines、bootstrap-style reliability checks。 |
| 理解但未必完整实现 | Instance-level gradient attribution、influence functions、TracIn、Monte Carlo Shapley、surrogate/datamodel approximations。 |
| 很适合博士扩展 | Hierarchical attribution、intervention-based validation、factuality/style-specific utilities、面向 LLM 数据混合的 scalable attribution。 |
面试回答版本
我会说 ablation 是有用的 baseline 和 sanity check，但 Shapley 提供的是更具上下文意识的贡献估计。在我的项目里，这一区分很重要，因为数据组之间可能互补，也可能互相替代，尤其是在低资源领域 MT 中。
参考资料和阅读路径
- Lloyd Shapley, A Value for n-Person Games.
- Ghorbani and Zou, Data Shapley: Equitable Valuation of Data for Machine Learning.
- Koh and Liang, Understanding Black-box Predictions via Influence Functions.
- Pruthi et al., Estimating Training Data Influence by Tracing Gradient Descent.
- Ilyas et al., Datamodels: Predicting Predictions from Training Data.
- Rei et al., COMET: A Neural Framework for MT Evaluation.