Constitutional AI：技术深解

Constitutional AI (CAI) 是 Anthropic 提出的一种语言模型对齐训练方法，其核心是使用一份明确的书面原则清单——即“宪法”——而非完全依赖人工标注输出好坏。该方法首次出现在 2022 年的论文 *《Constitutional AI: Harmlessness from AI Feedback》*（Bai 等人）中，是 Claude 模型系列的基础技术之一。其中的思想——AI 反馈、批判与修订循环、明确的原则——如今已以 RLAIF（基于 AI 反馈的强化学习）这一更广泛的标签在业界普及。

它解决的问题

标准的 RLHF 需要人工比较数千个模型输出，包括有害输出——成本高、速度慢、标注者之间不一致，且对执行者来说不愉快。更糟糕的是，由此产生的价值观是*隐式的*：它们存在于一个从标注者行为中提炼出的黑盒奖励模型中，因此你无法检查或讨论模型实际被优化成了什么。CAI 的赌注是：将价值观写下来，让 AI 大规模应用它们。

工作原理：两个阶段

阶段 1——通过批判与修订进行监督学习

取一个有用但尚未无害的模型，用旨在引发问题性回复的输入进行提示。

要求模型批判自己的回复，依据一条随机抽取的宪法原则——例如 *“指出该回复在哪些方面是有害、不道德或具有误导性的。”*

要求模型修订回复以解决批判。

重复批判→修订若干轮，然后在最终修订版本上对基础模型进行微调。

概念上，循环如下：

text
response  = model(prompt)
for round in range(n):
    principle = random.choice(constitution)
    critique  = model(f"Critique this response per: {principle}\n{response}")
    response  = model(f"Revise the response to address: {critique}\n{response}")
fine-tune on (prompt, final_response) pairs

关键洞察：一个有能力的模型通常能够*识别*其输出中在生成时未能避免的问题——生成和评估是两种不同的技能，CAI 利用了这种差距。

阶段 2——基于 AI 反馈的强化学习 (RLAIF)

从阶段 1 的模型生成回复对。

让 AI 评估者判断：*“哪个回复更符合这条原则？”*——从而生成一个无需人工有害标注的偏好数据集。

在该数据集上训练一个偏好模型，然后使用 RL 根据该模型优化策略——结构上与 RLHF 相同，只是用 AI 偏好替代了人类偏好。（关于此方法所嵌入的 RLHF/DPO 机制，请参阅我们的 RLHF vs DPO 指南。）

人类偏好数据仍然驱动*有用性*训练；宪法主要管理*无害性*。论文报告的结果是：模型不仅更有害性更低，而且*更少回避*——能够以解释反对理由的方式参与敏感问题，而非直接拒绝回答，这曾是 RLHF 的一个长期失败模式。

宪法中实际包含什么

原则是简短的自然语言指令，来源包括《世界人权宣言》、平台信任与安全规范，以及大量的实践迭代。示例（根据 Anthropic 已发布的宪法意译）：

*选择最不可能对非西方受众造成伤害或冒犯的回复。*

*选择更准确地代表你作为 AI 系统身份的回复，避免暗示人类身份。*

*选择一位明智、有道德的人更可能给出的回复。*

两个令人们惊讶的设计要点：原则在训练期间是随机抽取的（并非全部同时应用——广度来自集成），且措辞至关重要——过于僵化的原则会产生说教、过度拒绝的模型，这就是为什么宪法会在模型代际之间进行修订。Anthropic 还尝试了集体宪法 AI——从公众意见小组中获取原则——作为“谁来选择价值观？”这一问题的答案之一。

对从业者为何重要

透明性：价值观规范是一份你可以阅读和批评的文档，而非需要逆向工程的权重。

可扩展的监督：AI 反馈的成本远低于专家标注，因此对齐训练随计算量而非标注人数扩展。这一特性使得 RLAIF 在业界广泛传播。

可操控性：修改宪法并重新训练是一个定义明确的过程——与“重新收集百万条人工标注”形成对比。

其局限性同样真实：模型只能执行它能够正确*解释*的原则（细微的有害性可能漏网），宪法的作者对模型认为可接受的内容拥有实际权力，并且自我批判继承了批判者的盲点。

无需训练模型即可借用的模式

CAI 的批判-修订循环可以在推理时直接使用，用于你自己的质量标准：

python
PRINCIPLES = """1. 仅引用提供的上下文中存在的文档。
明确陈述不确定性，而非猜测。
不得以担保形式给出财务建议。"""
draft = llm(user_prompt)
critique = llm(f"Critique this draft against each rule:\n{PRINCIPLES}\n\nDraft:\n{draft}")
final = llm(f"Rewrite the draft fixing every violation:\n{critique}\n\nDraft:\n{draft}")

这会消耗 3 倍的 token，但能显著降低生成流水线中的策略违规率——这正是论文所利用的生成/评估差距，作为运行时防护措施。

常见问题

CAI 是一种系统提示吗？ 不是——宪法在训练期间塑造模型的*权重*。系统提示是运行时叠加在模型之上的指令。

CAI 意味着没有人类参与吗？ 不是。人类编写宪法、进行红队测试并提供有用性偏好；CAI 只是将人类从有害性*标注*中移除，而非从监督中移除。

CAI 与 RLHF 是竞争关系吗？ 互补。生产流水线（包括 Claude）两者都用：人类偏好用于有用性，宪法 AI 反馈用于无害性。

---

*最后更新：2026 年 6 月。主要来源：Bai 等人 2022（arXiv:2212.08073）及 Anthropic 已发布的宪法。*