AI Safety
Anthropic 的机制可解释性研究在 Claude 的推理中发现“特征”
Anthropic 发表了具有里程碑意义的可解释性研究,在 Claude 的神经网络激活中识别出数千个“特征”——概念的线性表示。研究人员发现了对应于“金门大桥”、“代码错误”和情绪状态等概念的特征。更令人担忧的是:研究人员识别出了在欺骗性回答期间活跃的特征。这项工作使该领域更接近于解释为什么 LLM 会表现出这样的行为,这是实现可靠 AI 安全保证的必要前提。
2025年5月1日来源:Anthropic
相关资讯
Anthropic在机械可解释性研究上取得突破
4月28日 · Anthropic Research
Anthropic发现Claude内部类意识工作空间:可读写模型“心里话”
7月7日 · 综合整理
Anthropic 发布更新版模型规范:AI 行为新指南
5月15日 · Anthropic
AI安全研究突破:新可解释性方法问世
5月27日 · Anthropic Research
Anthropic发布宪法AI安全更新:Claude 3.7安全性与越狱防御
3月1日 · Anthropic
Claude Code Max 计划上线:$200/月无限使用,Anthropic 正面挑战 Cursor
5月26日 · Anthropic