AI数据标注质量管理体系：标注指南设计（清晰的定义和边界案例；正反例示范；一致性规则和决策树；版本控制和更新记录）；标注一致性测量（Cohen Kappa用于分类任务；Fleiss Kappa多标注者；Krippendorff Alpha通用；目标Kappa>0.7认为可靠）；质量控制流程（金标准测题穿插在任务中；定期校准培训；低质量标注者识别和替换；二次审查机制）；标注平台选型（Label Studio开源可自托管；Scale AI大规模专业标注；Snorkel Data Programming弱监督减少标注量）；主动学习策略（选择最不确定的样本优先标注；Margin Sampling/Query by Committee；减少达到目标性能需要的标注量50%）；标注vs合成数据（RLHF人类反馈；AI生成+人工验证；合成数据增强的局限性）；标注项目成本控制（任务分解减少认知负担；批次评估快速发现问题）。