使用 LoRA 微调大模型：2026 年开发者完全指南

LoRA（低秩适配）是低成本微调大模型的标准方法。它不更新模型数十亿的权重，而是冻结它们，并在每一层注入微小的“适配器”矩阵进行训练——这样你只需调整约 0.1–1% 的参数，在单张 GPU 上，数小时即可完成，而非数天。QLoRA 更进一步，在 4 位量化基座上训练这些适配器，让更大的模型也能在消费级硬件上运行。

为什么选择 LoRA 而非全量微调

全量微调一个 7B+ 模型需要多张大显存 GPU，并且每个任务都会产生一个完整大小的副本。而 LoRA：

训练添加到现有权重中的少量低秩矩阵（秩 r，例如 8–64）。

保持基座冻结，因此内存和计算量大幅下降。

生成一个很小的适配器文件（MB 级别），你可以按任务切换，并在推理时合并。

若要在之前或之后进一步压缩基座，请参阅 模型量化 GPTQ/AWQ。

最小训练循环（PEFT）

python
pip install transformers peft datasets bitsandbytes
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B", load_in_4bit=True)  # QLoRA
config = LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05)
model = get_peft_model(model, config)
model.print_trainable_parameters()   # 例如 0.2% 的参数可训练
... 然后使用 Trainer / SFTTrainer 在你的数据集上训练，并 model.save_pretrained("adapter/")

何时应该微调

当你需要以下情况时进行微调：一致的输出格式/风格、基座模型不具备的领域行为、高流量下更低的成本（一个微调后的小模型可以替代大模型）、或者更快/更便宜的推理。不要在好的系统提示词 + 少样本示例或 RAG 就能解决问题时微调——那样更便宜、更灵活。如需无需基础设施的托管方案，请参阅 GPT-4o mini 微调指南。

数据才是真正的工作

LoRA 机制很简单；数据集才是决定成功的关键。几百到几千个高质量、一致的示例通常胜过数万个嘈杂的示例。将它们格式化为推理时提示词的确切格式。

常见问题

LoRA 与 QLoRA 有何区别？ QLoRA = 在 4 位量化基座上的 LoRA——思路相同，内存更少，质量略有折衷。 需要多大的数据集？ 通常几百到几千个干净的示例；质量和一致性胜过原始大小。 适配器需要单独提供服务吗？ 你可以在推理时加载基座 + 适配器，或者将它们合并为一个模型。 微调还是 RAG？ RAG 在查询时注入知识；微调将行为/风格固化。事实性知识用 RAG，风格/技能用微调。

总结

LoRA 让微调变得触手可及：冻结基座，训练小适配器，按任务切换或合并。QLoRA 将其推向消费级 GPU。把你的精力放在干净、一致的数据集上，并且只在提示词和 RAG 不够用时才考虑微调。

---

*最后更新：2026 年 6 月。请对照 PEFT/Transformers 文档验证 API。*