WhyLabs & ML 可观测性：设置指南

WhyLabs 的平台基于一个超越任何供应商的理念：监控数据的统计画像，而非原始数据本身。其开源库 whylogs 生成流经管道的任何数据的紧凑统计摘要（分布、缺失率、基数）；平台随时间监控这些画像的漂移和异常。本指南涵盖基于画像的监控模式、设置及其在 LLM 时代可观测性栈中的位置。*（供应商说明：在采用前请检查公司当前的产品状态和定价——该类别已多次整合；whylogs 模式本身是开源且可移植的。）*

核心理念：画像，而非负载

python
import whylogs as why
import pandas as pd
df = pd.DataFrame(batch_of_predictions)      # 特征 + 预测 + 元数据
profile = why.log(df)                         # 统计摘要，而非行数据
profile.writer('whylabs').write()             # 或本地写入 / 写入自己的存储

一个画像捕获每列的分布、空值率、类型计数和频繁项，大小仅为 KB——原始数据从不离开你的边界，这就是为什么这种模式能通过隐私审查，而记录所有内容的工具则不能（符合 GDPR 的架构）。来自每个批次/小时/天的画像排列成时间序列，监控变为：*今天的分布与基线相比是否发生了偏移？*

你能用它捕捉到什么

输入漂移：上游团队重命名字段；市场变化改变用户人口统计；爬虫开始返回空字符串——所有这些在准确率明显下降*之前*就表现为分布变化。

预测漂移：分类器的输出混合发生变化（60/40 → 80/20）即使没有真实标签也标志着一个问题——这是生产 ML 中标签滞后数周的关键技巧。

数据质量退化：空值率飙升、基数爆炸、模式变化——这些无聊的故障导致了大多数“模型崩溃”事件。

设置步骤：对每个评分批次进行画像 → 设置基线（训练数据或稳定窗口）→ 按列对散度指标发出警报 → 路由到负责团队。

LLM 时代的扩展

相同的模式扩展到文本系统，嵌入和指标代替表格列：

对提示/响应的*指标*进行画像：长度、语言混合、拒绝短语率、毒性/PII 检测器分数、验证失败率——这些指标的分布变化可以捕捉到提示注入浪潮、模型版本漂移和流量混合变化。

嵌入空间漂移：对输入样本进行嵌入；监控质心/扩散移动——“我们的用户开始询问新事物”作为一个可测量的事件（langkit 风格的工具包围绕 whylogs 打包这些文本指标）。

这补充而非替代 trace 级别的 LLM 可观测性（LangSmith/Langfuse/Helicone）：trace 回答“这个请求中发生了什么”；画像回答“总体分布是否在变化”——成熟的栈同时运行两者，而画像是以低成本扩展到数百万次调用的那一半。

生产模式

在每个边界进行画像：特征输入、预测输出、（稍后）标签——边界*之间*的漂移定位问题（输入漂移 vs 模型过时 vs 标签偏移）。

按调试维度（区域、平台、客户层级）对画像进行分段——聚合漂移常常隐藏一个正在燃烧的单一分段。

基线卫生：在有意更改（新模型、新市场）后重新设置基线，否则每个警报都会变成“是的，我们知道。”

将警报连接到所有权：没有路由表的漂移警报会在一个月内变成静音频道——与每个监控系统相同的教训。

常见问题

如果我有 Datadog/Grafana，还需要这个吗？ APM 监控*系统*（延迟、错误）；这个监控*数据和预测*。画像指标可以落入你现有的仪表板——它填补的空白是统计性的，而非基础设施性的。

仅开源路径？ whylogs 画像 + 你自己的存储 + 定时比较任务可以获得 70% 的价值而无需平台——一个定时管道即可实现。

什么时候这是过度设计？ 单个低风险模型、标签即时到达、数据量小——用眼睛看仪表板就够了。当标签滞后、数据量大或合规部门问“你怎么知道模型是否退化？”时，这种模式才真正发挥作用。

---

*最后更新：2026 年 6 月。在采用前请验证当前的 WhyLabs 产品状态和维护的文本指标工具包；whylogs 模式是 OSS，不受影响。*