把手工换到半自动时踩过的坑

去年做了一个 NLP 分类项目，模型准确率死活卡在 70% 左右。

AI 项目里有个经常被忽视的事实：标注工作往往占整个项目 60% 以上时间和成本，但它又往往被认为是"体力活"不值得认真对待。

为什么写这篇文章

AI 项目里有个经常被忽视的事实：标注工作往往占整个项目 60% 以上时间和成本，但它又往往被认为是"体力活"不值得认真对待。

我做过几次标注项目，从最开始完全手工，到后来尝试半自动，中间踩了不少坑。网上大多是工具介绍或标准流程，但很少有人说清楚真实限制条件：预算有限、人员不稳定、时间紧迫、需求变化快。

写这篇文章是想把这些实践中的限制条件和取舍过程记录下来，给同样在做标注工作的同行一个参考。

当初的背景和需求

项目是一个中文文本分类任务，需要把用户评论分成 5 类：正面、负面、中性、咨询、投诉。要求：

• 标注样本量：约 1 万条
• 时间限制：2 周内完成
• 质量要求：与人工金标对比准确率 ≥ 90%
• 人员配置：2 名标注员 + 1 名校验员
• 预算有限，不能使用昂贵的外包服务

看起来不算太难，但现实很快打了脸。

完全手工标注的问题

最开始采用完全手工标注。流程很简单：

1. 标注员 A 标注前 5000 条
2. 标注员 B 标注后 5000 条
3. 校验员抽查 10% 进行质量检查
4. 校验通过后合并数据

执行三天后发现几个严重问题：

问题 1：标注一致性差

同样的一条评论，两位标注员经常给出不同标签：

• “这个功能不错，但是加载太慢了” —— A 标注为正面，B 标注为负面
• “怎么联系客服？” —— A 标注为中性，B 标注为咨询

原因很简单：标注指南太模糊，缺少足够的边界案例说明。

问题 2：速度远低于预期

原计划每人每天标注 500 条，实际平均只能到 200-300 条。原因是：

• 难判断的案例需要反复权衡
• 遇到新情况需要和校验员讨论
• 简单重复工作容易疲劳，效率明显下降

问题 3：后期质量恶化

前 3000 条质量还算稳定，到 7000 条后质量明显下降。校验员抽查发现错误率从 8% 上升到 15%。

原因是后期疲劳积累，加上对标准的主观理解开始漂移。

优化标注流程

针对这些问题，我们做了几轮优化：

明确标注指南

把原来模糊的描述改成了更具体的规则：

正面：主要表达满意或赞赏，负面元素不超过 20%
负面：主要表达不满或批评，正面元素不超过 20%
中性：客观描述或事实陈述，不含明显情感倾向
咨询：主要目的是询问或求助
投诉：主要目的是表达不满并寻求解决

同时补充了边界案例和对照表，确保两位标注员对边界情况理解一致。

引入双盲标注+讨论

对前 1000 条样本采用双盲标注，两位标注员独立完成，然后对不一致的样本进行讨论并统一标准。

这个过程虽然增加了前期投入，但为后续工作建立了更一致的标准。

调整抽查比例和质量阈值

• 把抽查比例从 10% 提升到 20%
• 设定质量阈值：错误率 > 10% 时，要求重标该批次
• 发现错误后，不只是修改该条，还要检查是否影响后续标注

这些调整后，质量确实稳定了，但速度问题依然存在。

尝试半自动标注

手工标注的瓶颈很明显：90% 的时间花在处理简单案例上，真正需要仔细考虑的复杂案例只有 10%。如果能自动处理简单案例，效率应该能大幅提升。

方案选择

评估了几种半自动标注方案：

考虑到项目规模和时间限制，我们选择了 传统 ML + 规则兜底 的组合方案。

实现流程

先使用少量高质量标注数据（前 1000 条双盲标注结果）训练一个初步模型，然后用模型预测剩余数据，只对预测置信度低于阈值的样本进行人工标注。

技术选型

模型选择上我们用了 TF-IDF + 朴素贝叶斯，原因：

• 训练速度快，几分钟就能完成
• 对文本分类任务效果不错
• 资源需求低，普通机器就能跑
• 便于理解模型预测依据

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

# 构建分类管道
pipeline = Pipeline([
    ('tfidf', TfidfVectorizer(max_features=5000, ngram_range=(1, 2))),
    ('clf', MultinomialNB())
])

# 训练模型
pipeline.fit(train_texts, train_labels)

# 预测并获取概率
pred_labels = pipeline.predict(test_texts)
pred_proba = pipeline.predict_proba(test_texts)
confidence = pred_proba.max(axis=1)

置信度阈值设为 0.85，这个值是通过在验证集上多次试验得到的平衡点。

踩过的坑

坑 1：模型偏见传递

这是最容易被忽视的问题。训练数据如果有系统性偏差，模型会放大这个偏差，然后自动标注时把偏见传递到整个数据集。

我们遇到的情况是：训练数据中"咨询"类样本偏少，导致模型倾向于把不确定的样本标注为其他类别。结果自动标注的数据集中"咨询"类比例从 20% 下降到 12%。

解决方法：

• 确保训练数据类别均衡
• 对自动标注结果进行类别分布检查
• 对占比偏差大的类别进行人工复核

坑 2：置信度阈值不是一成不变的

模型性能会随训练数据增加而提升，原来的阈值可能不再适用。我们用迭代策略动态调整阈值：

• 每标注 1000 条后重新训练模型
• 在验证集上测试不同阈值的准确率
• 选择保持 90% 准确率的前提下最大覆盖率的阈值

这样既保证了质量，又逐步提高了自动标注比例。

坑 3：规则兜底没做好

模型对一些明显特征的情况反而处理不好，比如：

• 明显的情感词：“太棒了”、“垃圾”
• 特定句式：“请问”、“投诉”
• 简短的肯定/否定：“是”、“不是”

这些情况用规则处理更可靠也更高效。我们在模型预测前加了一层规则判断：

def rule_based_classify(text):
    # 明显情感词
    positive_words = ['太棒了', '很棒', '不错', '满意']
    negative_words = ['垃圾', '差劲', '糟糕', '不满']
    
    if any(word in text for word in positive_words):
        return '正面'
    elif any(word in text for word in negative_words):
        return '负面'
    
    # 特定句式
    if text.startswith('请问') or '怎么' in text:
        return '咨询'
    elif '投诉' in text or '要求退款' in text:
        return '投诉'
    
    return None  # 无法通过规则判断

这层规则覆盖了约 30% 的样本，准确率达到 98%，大大减轻了后续压力。

坑 4：标注员的心理变化

从完全手工到半自动，标注员的工作模式变了，心理也跟着变。

手工标注时，他们觉得自己在"主导"整个过程；半自动后，他们变成了"修正者"，容易产生消极心理：“模型都标了，我只是改改而已”。

这导致了对自动标注结果的复核不够认真，错误没有及时被纠正。

应对方法：

• 明确说明自动标注只是辅助，质量还是靠人工保证
• 强调复核工作的重要性，不是简单改改
• 对发现自动标注错误的人员给予额外激励

结果对比

最终完成情况：

质量提升的原因：

• 自动标注消除了人工疲劳带来的后期质量下降
• 规则兜底覆盖了容易出错的简单案例
• 动态阈值调整保证了模型始终在可靠区间工作

经验总结

什么时候适合半自动标注

通过这次实践，我觉得半自动标注适合以下情况：

• 样本量较大（>5000 条）
• 标注任务相对标准，边界情况可控
• 有一定技术能力实现和维护模型
• 预算有限，需要控制成本

不适合的情况：

• 样本量小（<1000 条），不值得前期投入
• 标注任务高度主观，缺乏客观标准
• 需要实时标注，无法容忍模型训练延迟
• 数据分布变化快，模型需要频繁更新

永远不要忽视标注质量

这次最大的教训是：标注质量直接影响模型效果，而且影响比想象的大。

后来我们用最终标注的数据训练模型，对比了早期手工标注和半自动标注的效果：

• 手工标注数据训练的模型：准确率 72%
• 半自动标注数据训练的模型：准确率 81%

9 个百分点的差距完全来自标注质量。

工具链选择

工具层面我们试了几个方案：

• Label Studio：功能强大，但配置复杂，学习成本高
• Doccano：简单易用，但扩展性有限
• 自建工具：最灵活，但开发和维护成本高

对于这次项目，我们最终用了简单自建工具：

# 核心功能包括：
# - 数据导入导出
# - 标注界面（支持快捷键）
# - 进度统计
# - 质量抽查

复杂项目可以考虑 Label Studio，但小项目自建工具可能更合适。

持续改进

标注不是一次性工作，而是一个持续改进的过程。我们建立了以下机制：

• 定期检查类别分布，发现异常及时调整
• 对边界案例建立案例库，持续更新标注指南
• 保留部分未标注数据用于后续模型验证
• 记录标注过程中的决策和讨论，便于回溯

结语

从完全手工到半自动标注，这个过程本身就是一个不断发现问题、调整策略的过程。

没有放之四海而皆准的最佳方案，只有在具体限制条件下的最优选择。关键是想清楚：我们的目标是什么？限制条件有哪些？愿意在哪些地方妥协？

垃圾进，垃圾出。反过来也成立：质量好的标注数据，能让模型表现超出预期。这才是数据标注工作的真正价值所在。

版权声明: 本文首发于 指尖魔法屋-把手工换到半自动时踩过的坑（https://blog.thinkmoon.cn/post/301-ai-data-labeling-manual-semi-auto-practice/） 转载或引用必须申明原指尖魔法屋来源及源地址！