LangSmith LLM 评估：构建系统化反馈循环（2026）

你无法改进一个无法测量的 LLM 应用。LangSmith 提供了生产级 LLM 系统所需的可观测性和评估基础设施：追踪每一次调用，从真实流量构建数据集，运行评估，并在上线前捕获回归。本指南涵盖整个工作流。

四个构建模块

追踪收集。 每次 LLM 调用、工具使用和链步骤都会记录输入、输出、延迟和 token 计数。通过 @traceable 装饰器或 LANGCHAIN_TRACING_V2=true 启用——无论是否使用 LangChain 均可。

数据集。 将有趣或失败的追踪转化为评估数据集。真实生产流量是测试用例的最佳来源。

评估器。 自动评分——精确匹配、嵌入相似度或 LLM-as-judge（一个模型根据标准对另一个模型的输出进行评分）。

实验。 在数据集上运行提示/模型变体，并排比较分数，在部署前检测回归。

python
pip install langsmith
from langsmith import traceable
@traceable
def answer(question: str) -> str:
    ...  # 你的 LLM 调用；追踪会自动捕获

实用循环

开启追踪后上线。2. 每周将失败/低评分的追踪拉入数据集。3. 进行更改（提示、模型、检索）。4. 针对数据集运行实验。5. 仅在分数提升且无回归时上线。这将把"感觉变好了"转化为可衡量的进步。

LangSmith 与替代方案对比

LangSmith 是闭源/托管的，与 LangChain 集成最紧密。如果你想要开源/自托管，Langfuse 是主要替代方案——参见 LangSmith vs Langfuse。对于值得追踪的代理流程，请参见 LangGraph 指南。

LLM-as-judge：谨慎使用

LLM 裁判可以低成本地扩展评估，但存在偏差（长度、位置、自我偏好）。针对一小批人工标注集进行校准，保持评判标准明确，不要将分数视为真实答案——将其视为一个快速代理，并定期验证。

常见问题

使用 LangSmith 需要 LangChain 吗？ 不需要——@traceable 适用于任何 Python 函数。 评估数据的最佳来源是什么？ 真实生产追踪，尤其是失败和低评分的响应。 LLM-as-judge 可靠吗？ 在大规模下有用，但有偏差——需针对人工标签进行校准。 有开源选项吗？ Langfuse，你可以自托管。

总结

系统化评估是猜测与改进之间的区别。追踪一切，从真实失败中构建数据集，使用自动化和 LLM 裁判评估器评分，并通过实验控制发布。LangSmith 为 LangChain 风格的技术栈提供了这一套件；Langfuse 是开源对应方案。

---

*最后更新：2026 年 6 月。请根据 LangSmith 文档验证 API。*