LLM 数据增强实战教程

数据增强——填补稀疏记录的空白——过去意味着购买第三方数据或人工调研。LLM 改变了成本结构：对自由文本字段进行分类、规范化混乱的值、生成描述、推断类别——每千条记录只需几美分。本教程构建一个生产级增强管线，并明确区分推导（安全）和捏造（污染数据集的失败模式）。

确保安全的关键决策规则

LLM 可以可靠地增强从记录本身加上通用世界知识可以推导出的内容：

✅ 可推导（执行）❌ 捏造风险（不执行）

根据产品标题/描述进行分类“查找”公司的收入或员工数量 规范化 "NY", "new york", "NYC" → New York猜测个人的电子邮件/电话 提取自由文本中提到的属性推断*未出现*的属性（“可能是企业级”） 将职位标准化到分类体系分配无信号支持的资历级别 翻译/总结现有字段用需要实时查找的事实“增强”

对于真正的外部事实，增强需要检索（网络搜索/你的知识库）来喂养模型——仅靠生成会产生自信的虚构。

管线

python
import json, asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI()
sem = asyncio.Semaphore(10)
TAXONOMY = ['electronics', 'home-garden', 'apparel', 'toys', 'sports', 'other']
async def enrich(record: dict) -> dict:
    prompt = f'''给定此产品记录，返回 JSON：
{{"category": 属于 {TAXONOMY} 之一，
  "attributes": {{提取文本中实际存在的键值对}},
  "normalized_brand": 清洗后的品牌名称或 null，
  "confidence": "high"|"medium"|"low"}}
规则：仅使用记录中存在的信息。如果不确定，使用 null 和低置信度。
记录：{json.dumps(record, ensure_ascii=False)}'''
    async with sem:
        resp = await client.chat.completions.create(
            model='gpt-4o-mini',                      # 增强是 mini 档任务
            response_format={'type': 'json_object'},
            messages=[{'role': 'user', 'content': prompt}],
        )
    out = json.loads(resp.choices[0].message.content)
    out['_source'] = 'llm_v3'                          # 溯源——见下文
    return {record, out}
async def run(records):
    return await asyncio.gather(*(enrich(r) for r in records))

该代码片段中蕴含的工程要点：

闭集词表：category 是枚举类型，而非自由文本——自由文本分类会漂移到近似重复（"Electronics"、"electronic"、"E-lectronics"）并破坏目的。进行模式验证并拒绝词汇表外的值（验证指南）。

置信度 + null 优先于猜测——提示明确允许不确定性，这能切实减少捏造。

带信号量的异步用于处理数千条记录（同步 vs 异步）；对于数百万条且无截止期限的情况，Batch API 可节省 50% 成本是正确工具。

Mini 档模型：增强任务正是预算档次的用武之地——在支付旗舰价格前先进行基准测试。

三条生产纪律

1. 溯源列。 每个增强字段携带 _source（模型+提示版本），以便重新运行、审计或批量作废不良批次。没有溯源的增强数据会变得与真实数据无法区分——这就是数据集腐化的方式。

2. 基于抽样的 QA，持续进行。 在全量运行前目测 100 个随机输出（捕捉提示错误），然后持续审计约 1% 的数据，使用第二遍（不同模型或人工）。将不一致率作为质量指标——当模型/提示变更后不一致率跃升时，你就有了回归门控（评估工作流）。

3. 幂等重跑。 按 (record_id, prompt_version) 键控增强：重跑仅处理变更的记录或新的提示版本。这使增强从一次性脚本转变为可维护的基础设施。

超越分类：嵌入组合

去重和实体解析（“这两条记录是同一个供应商吗？”）使用嵌入 + LLM 验证比单独使用 LLM 效果更好——嵌入记录，廉价聚类近邻，然后仅让 LLM 裁决候选对。该模式有其自己的指南：LLM 文本去重。

FAQ

类别分类的准确率如何？ 使用清晰的分类体系和少量样本提示，mini 档模型在干净的电商风格数据上通常能达到 90% 以上——*你的*数字需要你自己的评估集；先构建 200 条记录的金标准集。

PII 问题？ 包含个人数据的记录流向 API 属于 GDPR 下的处理——需要脱敏并遵守供应商条款（合规指南）。

LLM vs 规则？ 将正则/规则用于确定性的 80%（格式、精确映射）；将 LLM 调用用于混乱的剩余部分。混合管线比全 LLM 方案更便宜且更易调试。

---

*最后更新：2026 年 6 月。*