为什么需要

监督学习需要"输入—标签"配对的数据。而标签往往来自人工。

常见的标注任务：

  • 图像分类：这张图是猫还是狗；
  • 目标检测：标出图中每个物体的位置和类别（画框）；
  • 语义分割：给每个像素标注类别；
  • 文本分类/情感标注；
  • 命名实体识别：标出文本中的人名、地名、机构名；
  • 语音转写：把音频转成文字；
  • 偏好排序：给模型的多个输出排序（用于 RLHF）。

质量是核心

标注质量直接决定模型效果。

一致性问题：不同标注员对同一数据的判断可能不同。比如"这条评论是中性还是略带负面？"

解决方式：

  • 制定详细的标注规范（Guideline），把边界情况写清楚；
  • 多人标注同一数据，计算标注一致性（如 Cohen's Kappa、Fleiss' Kappa 等指标）；
  • 不一致的样本由专家仲裁；
  • 定期校准（让标注员对同一批样本重新标注，检查漂移）。

一个常被忽略的问题

标注员的判断，定义了模型的"正确答案"。

如果标注规范本身有系统性偏差，模型就会学会这个偏差。

比如情感标注中，如果标注员倾向于把含蓄的负面评价标为中性，模型就会在这个维度上表现偏差。

这不是技术问题，而是数据设计问题——需要在标注之前就想清楚"我们要模型学什么"。

成本与效率

高质量标注的成本不低，尤其是需要专业知识的领域：

  • 医疗影像标注需要医生；
  • 法律文本标注需要法律专业人士；
  • 某些领域的标注可能需要数年专业训练。

降低成本的方法：

  • 主动学习（Active Learning）：让模型挑选"最不确定"的样本优先标注，用更少的数据达到更好的效果；
  • 弱监督：用规则、启发式方法或已有模型生成粗标签，再人工校验；
  • 半自动标注：模型先预标注，人工修正（比从零标注快得多）；
  • 众包：把任务拆给大量非专业标注员，通过冗余和统计方法保证质量。

合成数据

当真实数据难以获取或标注成本过高时，可以用合成数据：

  • 用仿真环境生成（如自动驾驶的虚拟场景，标注是自动生成的）；
  • 用生成模型合成（如生成罕见疾病的医学影像）；
  • 用规则程序化生成。

优势：标注免费（因为生成时就知道标签）、可以覆盖罕见场景、不受隐私限制。

局限：分布与真实数据有差异（domain gap），模型可能学到仿真特有的"伪特征"。

隐私与伦理

标注涉及大量人工处理真实数据，因此需要：

  • 数据脱敏（去除个人身份信息）；
  • 标注员的劳动权益保障；
  • 对敏感内容（如暴力、有害内容审核）标注员的心理支持。

内容审核领域的标注员，长期接触有害内容，这是一个真实存在的职业健康议题。

说明：本文为机器学习数据工程的知识整理。