翁荔万字长文剖析Scaling Law：OpenAI与DeepMind结论分歧，Chinchilla公式存方法论瑕疵

前OpenAI副总裁、北大校友翁荔（Lilian Weng）在拖更三年后，于2025年6月24日发布博客《Scaling Laws, Carefully》，系统梳理了Scaling Law的预测框架、计算最优分配争议、数据限制及拟合细节问题。文章指出，OpenAI 2020年与DeepMind 2022年关于算力最优分配的研究结论相反（模型与数据增长比例分别为0.73和0.50），分歧根源在于参数统计口径差异和实验规模不足。更令人意外的是，被全行业奉为圭臬的Chinchilla公式本身存在方法论瑕疵：损失函数误用均值而非求和导致优化器提前收敛，关键参数仅保留两位小数使置信区间过窄。此外，Scaling Law默认数据无限供应，但高质量文本数据即将耗尽，行业正转向强化学习、测试时计算和合成数据。博客附有交互式模拟器，直观展示拟合参数变化对结论的影响。