Kimi K3 发布：全球首个开源 3 万亿参数大模型，性能逼近闭源旗舰

2026 年 7 月 16 日，月之暗面（Moonshot AI）正式发布 Kimi K3，这是全球首个开源参数规模达到 3 万亿级别的混合专家（MoE）大模型。模型总参数 2.8 万亿，拥有 896 个专家，每次推理仅激活 16 个，支持 100 万 token 上下文和原生多模态视觉理解。完整模型权重将于 7 月 27 日开源。

架构创新

Kimi K3 基于两项自研技术：

• Kimi Delta Attention（KDA）：混合线性注意力机制，以 3:1 比例混合线性注意力和全注意力，KV 缓存减少 75%，解码吞吐最高提升 6 倍。
• Attention Residuals（AttnRes）：允许模型有选择地跨层检索信息，以低于 2% 的额外成本实现约 25% 的训练效率提升。

结合 Stable LatentMoE 框架（896 专家激活 16 个）和 Quantile Balancing 分位数平衡算法，整体扩展效率相比前代 Kimi K2 提升约 2.5 倍。训练阶段采用量化感知训练（MXFP4 权重 + MXFP8 激活），推理侧为 KDA 实现前缀缓存方案并贡献给 vLLM 社区，编程负载下缓存命中率超 90%。

性能表现

根据 Artificial Analysis 智能指数，Kimi K3 得分 57 分，排名全球第三，仅次于 Claude Fable 5（60 分）和 GPT-5.6 Sol（59 分），超越其他所有模型。

代码能力

• Frontend Code Arena：以 1679 分登顶，超越 Fable 5（1631 分）和 GPT-5.6 Sol（1618 分）。
• SWE Marathon：42.0 分，所有模型中最高。
• Terminal Bench 2.1：88.3 分，仅次于 GPT-5.6 Sol。
• Program Bench：77.8 分，略超 Fable 5 的 76.8。

Agent 与知识工作

• BrowseComp：91.2 分，全场第一。
• SpreadsheetBench 2：34.8 分，全场第一。
• Automation Bench：30.8 分，全场第一。
• AA-Briefcase Elo：1548 分，排名第二。

多模态

• CharXiv：91.3 分，开源模型中最高。

自主工程能力演示

• GPU 内核优化：在 AttnRes 任务中，K3 设计两阶段 kernel 算法，将前向+反向时间从 283.6ms 压缩至 114.4ms，性能接近 Fable 5。
• 从零构建 GPU 编译器：开发 MiniTriton，基于 MLIR 构建 tile 级 IR 层和 PTX 代码生成管线，性能持平或超越 Triton 和 torch.compile，可支撑 nanoGPT 训练收敛。
• 自主设计芯片：48 小时内基于开源 EDA 工具和 Nangate 45nm 工艺库完成芯片设计，4mm² 内集成 146 万标准单元，100MHz 下解码吞吐超 8700 tokens/s。

定价与部署

Kimi K3 API 定价：缓存命中输入 0.3 美元/百万 token，普通输入 3 美元，输出 15 美元。官方称单任务成本约为 Fable 5 的三分之一。模型已上线 Kimi 网页端、App、Kimi Work、Kimi Code 及 API，默认开启最高强度推理模式。

已知局限

• 对历史思考内容敏感，会话中途切换可能导致质量不稳定。
• 训练侧重长程高难任务，遇到模糊意图时可能过度自主决策。
• 整体用户体验与 Fable 5 和 GPT-5.6 Sol 仍有差距。