· Xiaojing Yang · NLP and LLMs · 3 min read
ENParameter-Efficient Fine-Tuning
为什么当 full fine-tuning 太贵或不稳定时，LoRA 和 adapters 会有价值。
核心观点
PEFT 通过训练少量新增或被选择的参数来适配大模型。
1. 动机
大模型 full fine-tuning 很贵。Parameter-efficient fine-tuning 方法减少可训练参数，同时让 base model 大部分保持冻结。
PEFT 思路
Base model
预训练知识
预训练知识
冻结大多数权重
保留广泛能力
保留广泛能力
加入 adapter/LoRA
小型可训练模块
小型可训练模块
训练领域任务
低成本适配
低成本适配
切换或合并
部署选择
部署选择
2. LoRA 直觉
LoRA 把权重更新表示成低秩分解。它不训练完整更新矩阵，而是训练两个更小矩阵。
W' = W + ΔW
ΔW ≈ B A| 选择 | 含义 |
|---|---|
| rank r | adapter 容量 |
| alpha | 更新缩放 |
| target modules | 适配发生在哪里 |
| dropout | 正则化 |
3. Hugging Face PEFT 实践
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)
model.print_trainable_parameters()4. 我的研究连接
这篇最接近我的 Modular LoRA Experts 项目。不同 adapters 可以为领域、语言或错误类型专门化，而 base model 仍然共享。
Full fine-tuning
灵活性最大，成本更高，过拟合风险更高。
PEFT
更新更小，实验更便宜，adapter 管理更容易。
总结
PEFT 不只是效率技巧，而是一种受控专门化的设计模式。
面试回答模板
如果面试问到这个概念，我通常会这样回答：
- 用一句话定义；
- 解释数据如何流动；
- 指出主要失败模式；
- 连接到 evaluation、multilinguality 或 fine-tuning。
参考资料
- Hugging Face Course
- Hugging Face Transformers documentation
- Hugging Face tokenizer summary
- Hugging Face fine-tuning guide
- Hugging Face PEFT
- The Illustrated Transformer
- Speech and Language Processing, Jurafsky & Martin
- Stanford CS224N readings
- Attention Is All You Need
- COMET: A Neural Framework for MT Evaluation