互联网数据标注员是做什么的？有什么发展前途吗？

简单讲：互联网数据标注员是借助电脑或者移动设备对一些原始的数据进行处理，生产出满足AI公司机器学习需要数据的一群人。

按照数据处理对象的不同，工作内容也会有差别，标注员的工作内容可以分为：分类；框选；注释；标记。

按照所处公司的不同，标注员的工作方式也会有差别：

有的人工智能公司处于对数据安全性考虑会自建标注团队，在这些公司工作的标注员可以保证自己工作内容不会出现太大变动；但一些服务于人工智能公司非专业外包公司标注员的工作则是项目制的，一个项目忙完紧接着做另一个项目，这样工作内容连续性较差，对一种类型的项目经验也不会积累的太多。

就目前来说，人工智能还处于人工增长阶段，机器依然需要大量的数据进行训练，测试。标注员在当下也会一直存在，而且从业群体会越来越多，所以暂时不用担心这份职业会不会短期消失。

就标注员从业来说，建议选择人工智能公司和专业的数据公司，这样可以保证自己在一个方向上了解的足够深入。

就职场晋升来说，以牛牛数据为例：标注员——项目经理——项目总监——数据运营总监。

首先谈谈什么是数据标注。数据标注有许多类型，如分类、画框、注释、标记等等，我们会在下面详谈。

要理解数据标注，得先理解AI其实是部分替代人的认知功能。回想一下我们是如何学习的，例如我们学习认识苹果，那么就需要有人拿着一个苹果到你面前告诉你，这是一个苹果。然后以后你遇到了苹果，你才知道这玩意儿叫做“苹果”。

类比机器学习，我们要教他认识一个苹果，你直接给它一张苹果的图片，它是完全不知道这是个啥玩意的。我们得先有苹果的图片，上面标注着“苹果”两个字，然后机器通过学习了大量的图片中的特征，这时候再给机器任意一张苹果的图片，它就能认出来了。

这边可以顺带提一下训练集和测试集的概念。训练集和测试集都是标注过的数据，还是以苹果为例子，假设我们有1000张标注着“苹果”的图片，那么我们可以拿900涨作为训练集，100张作为测试集。机器从900张苹果的图片中学习得到一个模型，然后我们将剩下的100张机器没有见过的图片去给它识别，然后我们就能够得到这个模型的准确率了。想想我们上学的时候，考试的内容总是不会和我们平时的作业一样，也只有这样才能测试出学习的真正效果，这样就不难理解为什么要划分一个测试集了。

我们知道机器学习分为有监督学习和无监督学习。无监督学习的效果是不可控的，常常是被用来做探索性的实验。而在实际产品应用中，通常使用的是有监督学习。有监督的机器学习就需要有标注的数据来作为先验经验。

在进行数据标注之前，我们首先要对数据进行清洗，得到符合我们要求的数据。数据的清洗包括去除无效的数据、整理成规整的格式等等。具体的数据要求可以和算法人员确认。

二、常见的几种数据标注类型

1.分类标注：分类标注，就是我们常见的打标签。一般是从既定的标签中选择数据对应的标签，是封闭集合。如下图，一张图就可以有很多分类/标签：成人、女、黄种人、长发等。对于文字，可以标注主语、谓语、宾语，名词动词等。

适用：文本、图像、语音、视频

应用：脸龄识别，情绪识别，性别识别

2.标框标注：机器视觉中的标框标注，很容易理解，就是框选要检测的对象。如人脸识别，首先要先把人脸的位置确定下来。行人识别，如下图。

适用：图像

应用：人脸识别，物品识别

3.区域标注：相比于标框标注，区域标注要求更加精确。边缘可以是柔性的。如自动驾驶中的道路识别。

适用：图像

应用：自动驾驶

4.描点标注：一些对于特征要求细致的应用中常常需要描点标注。人脸识别、骨骼识别等。

适用：图像

应用：人脸识别、骨骼识别

5.其他标注：标注的类型除了上面几种常见，还有很多个性化的。根据不同的需求则需要不同的标注。如自动摘要，就需要标注文章的主要观点，这时候的标注严格上就不属于上面的任何一种了。（或则你把它归为分类也是可以的，只是标注主要观点就没有这么客观的标准，如果是标注苹果估计大多数人标注的结果都差不多。）

三、有什么发展前途？

数据标注员可以说是AI消灭了一部分工作又创造出来的一种工作。在未来AI发展良好的前提下，数据的缺口一定是巨大的。可以预见3-5年内数据标注员的需求会一直存在。

至于发展，其实所谓一些熟能生巧的工作，都是有被替代掉的风险的。深度学习解决的一件事情就是熟能生巧。在这个岗位上，其实你的一些想法就代表了AI的想法，AI会根据你标注的数据进行学习，想想还是有点成就感的。

数据标注可以说是AI的入门级岗位，未来可转向其他AI岗位。如项目实施顾问等，这就要求更多的工作技能，需要再工作中积累。

作者：跹尘
链接：https://www.zhihu.com/question/30654399/answer/264828926
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

上一篇: 没有了

下一篇:数据标注「星尘数据」获数百万元天使轮投资

推荐文章

人工智能数据服务之数据标注（一）：文本标注

得益于新千年信息技术的快速发展和大数据带来的便利，人工智能依靠大数据迅速地完成了从理论到实际应用，到逐步走进我们的生活，2017年被定义为人工智能应用的元年。那么现在大量人工智能所依赖的数据是怎样进行加工，把海量无序的数据变成机器能够理解的数据的呢？我们今天在这里做一个简单的介绍。现在数据行业的数据标注对象主要有以下几种类型：文本、声音、图像、视频（多数情况下依然是转换为图像在进行标注），今天我们就我所了解的几个行业讲一下文本的标注类型及其应用：文本的标注目前我们接触得比较多的行业有：客服、舆情、医疗、教育，应用类型大概有语义识别、情绪识别、实体识别、场景识别、数据清洗、应答识别。客服行业的标注主要集中在场景识别和应答识别这两块，以国内某知名电商的智能客服机器人为例，用户在与机器交互时，根据用户的咨询内容切入到对应的场景中，然后让用户选择更细分的应答模型，定位到用户实际场景，再根据用户的具体问题，给出对应的回答，整个过程类似于把用户的问题用一个漏斗状的筛子过一遍。一句话的在机器里的经历在建立这个应答体系的初期，需要对海量的用户咨询语料进行分类，把对应的用户咨询的问题标记号，放进对应的模型中（其他应答类机器人同理），类似于这样：语料的分类（实际分类更细，此处仅举例）这一步的数据标注主要是给句子的场景打标，将用户问题分进对应的场景，这种标注需要非常熟悉本行业业务逻辑树，相当于是在建立机器人的应答知识库，机器人在收到用户发出的指令时识别和哪个细分问题的拟合度最高，然后选取那个问题的答案作为给用户的答案。标注的方式主要有线上平台标注和线下表格标注两种，根据企业自身情况有所不同，以金融行业某企业的标注的线下表格标注内容举例：客服类分类标注举例虽然会通过大量整理好的语料尽量穷举对应场景和模型的应答知识库，但是用户提问的方式不一样，上下文内容和场景不一样，同时机器的识别是一个概率问题，最终识别成什么问题，以及最终给出什么答案都存在一个阈值，所以这个识别是可能会出现错误的。出现错误的情况我们称为badcase，这个阶段的标注就是标注员去对原始的聊天数据进行标记，看机器人的回答是否正确，如果不正确，那么出现的问题是哪一种，是一级分类错误还是二级分类错误还是回答的答案不够好，不能够满足用户的问题需求。例如：用户问银行卡怎么办理，机器人回复的是信用卡的办理流程，那么这时候就是一个badcase，机器人把问题放进了错误的分类导致回答了一个错误的答案。这一步的标注是将出现的错误筛选出来，并根据业务逻辑树进行问题的分类，标记完之后由专门负责处理badcase的同事和研发的同事一起对应答情况进行调优。【这一步是一个长期的过程，需要一个稳定且熟悉这个业务的团队进行标注】再举一个自然语言识别的例子，普通的自然语言识别，从里面提取时间地点人物这些信息的就不举了，目前市场上已经太多这样的标注团队了，标注的内容比较基础，我这里拿一个我处理的一个医疗行业的自然语言处理标注。这是一个专业度要求比较高的标注，我们还特意招聘了医生和教语言的老师来进行标注，标注的对象是从病历中抽取出来的一些字段，病历里面的体查项和既往史这些是有模板的，可以较小的工作量就能穷举，直接识别可替换项的结果就行了，但是主诉和医生对患者的描述每次会有所不同。于是我们的标注就是第一，标注每个词的属性，即每个词在这种语境下面是怎样的属性（相同的词在不通的情况下会有不同的属性），第二，标注每个词在句子中的作用。还是举个例子：这是一句主诉：腰痛两年，伴左下肢放射痛10日余。医疗标注举例这样标注的目的在于让机器去识别病历中的每一个词，通过大量的数据标注之后机器能够认识到一个词有哪些属性，在句子中扮演什么角色，在这个语境情况下这个词扮演什么角色，并且教会机器去拆词，识别哪些词是有用的，哪些词是无用的。同理，日常对话类的自然语言识别用途的标注原理大都类似，但规则有所不同，本号后期会逐步介绍所处理的其他标注类型介绍。转载豆瓣网

热门文章

为什么有些人说数据标注就是个坑？

对数据标注行业稍微有些了解的人都知道数据标注进入门槛低，适合很多人兼职也适合创业。正是因为数据标注行业的门槛低这个特点最近两年从事数据标注的小公司小工作室如雨后春笋般的遍布全车大大小小的县城。但是目前有个有趣的现象，那就是有很多进入数据标注行业做了一段时间的人慢慢的感觉数据标注行业就是个坑？为什么有些人会说数据标注就是个坑呢？其实对与有上述问题认识的人我们认为，这些人多数都是有于对这个行业对自身条件的不了解，盲目的开始进入数据标注行业的。为什么我们会这样说呢？下面就给给大家来分析下到底有哪几方面的原因：一、有相当一部分人是听了朋友或者网上消息说这行很火爆，好做，门槛低，也有一部分人了因此租办公室买电脑招人，然后就去群里面找分发项目的人就开张干起来了。可实际上这些人他们大多数都没有充分了解数据标注行业，更没有认真仔细得去调查分析，到底自己能不能做好一个项目，到底自己能不能有质有量按时交付的完成一个项目，到底自己有没有这个能力来管理项目。更多的人也没有去用长远的眼光去考虑数据标注项目。二、数据标注项目虽然入门门槛低，但是相当一部分有于理解认知应变能力上都不能保证去做好数据标注项目，还有一部分人由于自己对标注项目重视程度不足接到项目之后呢？不仔细认真的去阅读理解项目规则，更没有很好的对规则质检标准去培训员工，而对员工的要求主要看重每天的产出效率，从而导致接到手的项目做的质量很差，频繁的返工，有提项目甚至因为质量太烂项目方不给结算或者是结算比例很少，最终的结果就是做好些个项目但基本都是赔钱。三、虽然业内人都说数据标注简单，但是标注项目他也是一个系统性的工程，一个项目能不能做好并不简单的看项目好做就能赔钱。实际上决定项目赚不赚钱考验的是一个团队的项目管理水平，质量管理能力，运营能力各方面因素的。一句话再好赚钱的项目也照样有人赚钱也有人赚钱，要赚钱不是那么简单的。四、还有些工作室、小公司因为对行业不够了解等他们做了一段时间后发现，自己团队经常会没有项目做，而自己团队接项目的业务能力又不具备，甚至有的时候为了员工有活干去接一些价格极低根本就不赚钱的标注项目，时间稍微一长这些工作室团队就会赔上很多钱最终关门倒闭。五、下来要说的就是一部分人人兼职人员由于认识不到位，对项目的规则质量要求文件不认真阅读消化理解导致做的项目质量差返工有的甚至最后不结算，最终退出这行。更有一些人由于经验不足被标注行业的项目骗子给忽悠到辛苦劳动到最后结算时找不到人。标注行业本身由于进入门槛低，做的人很行业内盲目打价格战，导致很多转手二手三手的项目在质量工期的要求下根本就不赚钱甚至赔钱，所以在这里也提醒大家做任何事都要谨慎而行。

友情链接: