数据标注服务
标注常被当作数据录入来卖，而对一个批次中的大部分内容来说，它确实像数据录入——标注员画的框，换谁来画都一样。真正决定一份数据集能不能用的，是剩下的那一小部分：被另一个物体遮住一半的目标、两个人同时抢话的音频、跨越了某个没人为它写过规则的货币符号的实体。衡量一家供应商的质量，看的不是它如何处理那些轻松的大多数，而是当屏幕上出现规范没有覆盖的情况时，它怎么办。本页正是围绕这种情况写的。
图像与视频
静态帧与视频序列，按下游模型实际需要的几何形式来标注，而不是给画面里所有东西都套一个默认的框。
- 2D 边界框，贴着物体的真实边界画，而不是留出一圈让人舒服的余量。
- 多边形，用于边界框无法表示的轮廓——不规则形状、植被、洒落或可形变的材料。
- 语义分割与实例分割，用像素级掩膜把同一类别的每个实例分开，而不是把它们合并成一整块区域。
- 关键点与姿态，为人体与物体姿态估计标注关节和特征点。
- 跨帧的物体追踪，在遮挡过程中保持身份不变，让物体消失在另一物体后面又重新出现时仍保留原有 ID。
3D 与传感器数据
平面图像无法表示的传感器输出，在模型实际训练所用的坐标空间中完成标注。
- 点云标注——针对 LiDAR 与深度传感器输出的 3D 边界框与逐点分割。
- LiDAR 与相机的传感器融合，把投影点对照相机画面进行标注，让两种模态作为一套已对齐的标签一起交付，而不是交出两套还需要下游去对齐的标签。
- 序列中的立方体框追踪，让物体的 3D 边界框在整段录制中被延续并重新识别，而不是逐帧重画。
文档与文本
尊重版面与意图的文本标注，而不只是处理字符。
- OCR 与文档结构——文本提取，加上赋予文本意义的版面信息：表格、表单字段、页眉、阅读顺序。
- 命名实体识别（NER），在连续文本中标注人物、组织、地点，以及你所在领域特有的实体。
- 文本分类，按照依你的分类体系构建的标签集来归类文档或段落，而不是套用一套通用标签。
- 面向对话与语音数据的意图与话语标注，标记说话人想达成什么，而不只是他说了什么。
音频
语音与非语音音频，在同一条时间轴上完成标注。
- 转写，逐字照录或经过清理，取决于下游任务需要哪一种。
- 说话人分离——按「谁在什么时候说话」对音频分段，包括重叠语音。
- 声学事件标注：把非语音声音——警报、玻璃碎裂、机械运转——与语音一并标注，而不是丢弃。
工具平台
对于未指定平台的项目，我们内部使用 CVAT 与 Label Studio；如果客户已有自己的平台，我们就在客户的平台里工作。这个立场不是客套：要求客户把既有管道迁移到我们偏好的工具上，只为了让标注对我们更方便，那是供应商自己的运营成本，被凭空造出来再转嫁给客户。让一支标注团队在你的平台上培训一次，对所有人来说都比让你的管道改变接收标签的方式更省钱。
如何为你的项目配置团队
顺序比排期更重要。在规范尚未稳定之前扩充人手，并不会成倍放大标注产能——它成倍放大的是规范里仍然写错的那些东西，因为每一位新标注员都会把同一条未经检验的指令，施加到更大量的条目上。我们增加人手的顺序，是为了在一条错误指令还便宜修的时候把它抓出来，而不是等它已经被大批量地重复执行之后。
- 先做试点批次，在承诺任何产量之前，先对一份有代表性的样本完成标注。
- 依据试点实际暴露出的分歧重写规范，而不是依据我们事先猜想的分歧。
- 先组建一支受过训练的小核心团队，其规模对应的是已经稳定下来的规范，而不是项目最终的产量。
- 等核心团队能一致地执行规范之后再扩充人手，并由这个核心团队复核新标注员的产出，而不是另设一层从零开始熟悉项目的 QA。
常见问题
- 你们的准确率目标是多少，又是怎么衡量的？
- 在看到数据之前，我们不会报一个固定数字，因为可达成的目标取决于标注对象是什么——分割一个杂乱场景和给一份干净文档做分类，根本不是同一类任务。目标按项目、依据用你的数据构建的金标集来约定，金标样本持续打分，标注员间一致性以数字形式报告而不是靠口头保证，并且这个数字在整个项目期间始终可见，而不是开头承诺一次就完事。
- 如果规范本身出现歧义怎么办？
- 该情况会被上报，而不是由最先碰上它的那位标注员自行定夺。由资深复核员裁定，裁定结果连同触发它的那个例子一起写入规范，并对更新做版本管理，好让此后每位标注员都依据同一份文档工作。试点批次的存在意义，正是在这些情况大批量出现之前先把它们暴露出来。
- 返工怎么计费？
- 由我们自己的标注员错误执行了已约定规范而造成的返工，责任在我们，不计费。由规格变更引起的返工——新增类别、重新定义的边界情况、你事后要求改变执行方式的规则——则作为变更单来定范围并计费，因为那是新的指令，而不是对我们错误的纠正。
- 你们能在我们自己的标注平台上工作吗？
- 可以——而且这是默认做法，不是例外。我们会让标注团队在你的平台和你既有的项目配置上接受培训，而不是要求你把数据导出到我们这边；详见上文的工具平台一节。