LangSmith vs Langfuse：LLM 可观测性怎么选

做 LLM 应用做到一定规模，你一定会想要这三样东西：看每次调用的完整链路（trace）、跑评估（eval）、监控线上质量。 LangSmith 和 Langfuse 就是干这个的。

它们功能高度重叠，选型其实是几个非技术因素在决定。

最核心的一个区别：开源与自托管

这是分水岭，先想清楚这条：

Langfuse 开源，可以自己部署在公司服务器上，数据不出境、不进第三方。

LangSmith 闭源，是 LangChain 官方的托管服务，数据走他们的云（有企业版自托管，但要谈商务）。

如果你的数据合规要求严（金融、医疗、政企），或者就是不想把 prompt 和用户数据发给外部，Langfuse 几乎是唯一选择。

功能对比

维度LangSmithLangfuse

开源否是（MIT） 自托管企业版才行免费自托管 Tracing强，和 LangChain 无缝强，框架无关 评估 / Eval成熟成熟，够用 Prompt 管理有有 框架绑定偏 LangChain 生态中立，啥框架都接 定价按 trace 量收费云版按量；自托管免费

选 LangSmith 的情况

你本来就重度用 LangChain / LangGraph，那 LangSmith 是「亲儿子」，集成基本零成本——设个环境变量，trace 自动就上来了：

bash
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=ls_xxx

不用改代码，链路、token、耗时全自动记录。如果团队不在乎数据托管在第三方，又想省事，LangSmith 体验确实更顺。

选 Langfuse 的情况

三种情况优先 Langfuse：

数据必须自己掌控——自托管，一行数据都不出公司。

不想被 LangChain 绑定——你用的是 LlamaIndex、Vercel AI SDK 或者干脆裸调 OpenAI，Langfuse 都能接，它是框架中立的。

成本敏感——自托管除了服务器没别的费用。trace 量大的时候，这个差距会很明显。

接入也简单，SDK 包一下就行：

python
from langfuse.decorators import observe
@observe()
def my_rag_pipeline(question):
    # 你的检索 + 生成逻辑，trace 自动上报
    ...

实话实说的几个点

别指望可观测性工具能替你做质量保证。 它给你数据，但「答案好不好」还得你自己定义评估标准。工具是放大镜，不是医生。

trace 量会爆。 高流量应用每天几十万条 trace 很正常，云版按量计费的话账单会吓人。这也是很多团队最后转去自托管 Langfuse 的原因。

两个都接也不是不行。 有团队开发期用 LangSmith 调试，上线后用自托管 Langfuse 跑监控。不冲突。

一句话决策

重度 LangChain 用户、不在乎数据托管 → LangSmith

要自托管 / 数据合规 / 框架中立 / 省钱 → Langfuse

拿不定 → 先上 Langfuse 自托管，反正不要钱，不合适再说

可观测性这步很多团队拖到出事才补，建议尽早接——线上 LLM 出问题，没 trace 你连复现都做不到。配合 LLM 应用监控实践 一起搭更完整。