得益于新千年信息技术的快速发展和大数据带来的便利，人工智能依靠大数据迅速地完成了从理论到实际应用，到逐步走进我们的生活，2017年被定义为人工智能应用的元年。那么现在大量人工智能所依赖的数据是怎样进行加工，把海量无序的数据变成机器能够理解的数据的呢？我们今天在这里做一个简单的介绍。   现在数据行业的数据标注对象主要有以下几种类型：文本、声音、图像、视频（多数情况下依然是转换为图像在进行标注），今天我们就我所了解的几个行业讲一下文本的标注类型及其应用：    文本的标注目前我们接触得比较多的行业有：客服、舆情、医疗、教育，应用类型大概有语义识别、情绪识别、实体识别、场景识别、数据清洗、应答识别。   客服行业的标注主要集中在场景识别和应答识别这两块，以国内某知名电商的智能客服机器人为例，用户在与机器交互时，根据用户的咨询内容切入到对应的场景中，然后让用户选择更细分的应答模型，定位到用户实际场景，再根据用户的具体问题，给出对应的回答，整个过程类似于把用户的问题用一个漏斗状的筛子过一遍。一句话的在机器里的经历   在建立这个应答体系的初期，需要对海量的用户咨询语料进行分类，把对应的用户咨询的问题标记号，放进对应的模型中（其他应答类机器人同理），类似于这样：语料的分类（实际分类更细，此处仅举例）   这一步的数据标注主要是给句子的场景打标，将用户问题分进对应的场景，这种标注需要非常熟悉本行业业务逻辑树，相当于是在建立机器人的应答知识库，机器人在收到用户发出的指令时识别和哪个细分问题的拟合度最高，然后选取那个问题的答案作为给用户的答案。   标注的方式主要有线上平台标注和线下表格标注两种，根据企业自身情况有所不同，以金融行业某企业的标注的线下表格标注内容举例：客服类分类标注举例   虽然会通过大量整理好的语料尽量穷举对应场景和模型的应答知识库，但是用户提问的方式不一样，上下文内容和场景不一样，同时机器的识别是一个概率问题，最终识别成什么问题，以及最终给出什么答案都存在一个阈值，所以这个识别是可能会出现错误的。   出现错误的情况我们称为badcase，这个阶段的标注就是标注员去对原始的聊天数据进行标记，看机器人的回答是否正确，如果不正确，那么出现的问题是哪一种，是一级分类错误还是二级分类错误还是回答的答案不够好，不能够满足用户的问题需求。例如：用户问银行卡怎么办理，机器人回复的是信用卡的办理流程，那么这时候就是一个badcase，机器人把问题放进了错误的分类导致回答了一个错误的答案。    这一步的标注是将出现的错误筛选出来，并根据业务逻辑树进行问题的分类，标记完之后由专门负责处理badcase的同事和研发的同事一起对应答情况进行调优。【这一步是一个长期的过程，需要一个稳定且熟悉这个业务的团队进行标注】   再举一个自然语言识别的例子，普通的自然语言识别，从里面提取时间地点人物这些信息的就不举了，目前市场上已经太多这样的标注团队了，标注的内容比较基础，我这里拿一个我处理的一个医疗行业的自然语言处理标注。    这是一个专业度要求比较高的标注，我们还特意招聘了医生和教语言的老师来进行标注，标注的对象是从病历中抽取出来的一些字段，病历里面的体查项和既往史这些是有模板的，可以较小的工作量就能穷举，直接识别可替换项的结果就行了，但是主诉和医生对患者的描述每次会有所不同。   于是我们的标注就是第一，标注每个词的属性，即每个词在这种语境下面是怎样的属性（相同的词在不通的情况下会有不同的属性），第二，标注每个词在句子中的作用。    还是举个例子：这是一句主诉：腰痛两年，伴左下肢放射痛10日余。医疗标注举例    这样标注的目的在于让机器去识别病历中的每一个词，通过大量的数据标注之后机器能够认识到一个词有哪些属性，在句子中扮演什么角色，在这个语境情况下这个词扮演什么角色，并且教会机器去拆词，识别哪些词是有用的，哪些词是无用的。   同理，日常对话类的自然语言识别用途的标注原理大都类似，但规则有所不同，本号后期会逐步介绍所处理的其他标注类型介绍。转载豆瓣网

        对数据标注行业稍微有些了解的人都知道数据标注进入门槛低，适合很多人兼职也适合创业。        正是因为数据标注行业的门槛低这个特点最近两年从事数据标注的小公司小工作室如雨后春笋般的遍布全车大大小小的县城。        但是目前有个有趣的现象，那就是有很多进入数据标注行业做了一段时间的人慢慢的感觉数据标注行业就是个坑？为什么有些人会说数据标注就是个坑呢？        其实对与有上述问题认识的人我们认为，这些人多数都是有于对这个行业对自身条件的不了解，盲目的开始进入数据标注行业的。为什么我们会这样说呢？下面就给给大家来分析下到底有哪几方面的原因：        一、有相当一部分人是听了朋友或者网上消息说这行很火爆，好做，门槛低，也有一部分人了因此租办公室买电脑招人，然后就去群里面找分发项目的人就开张干起来了。可实际上这些人他们大多数都没有充分了解数据标注行业，更没有认真仔细得去调查分析，到底自己能不能做好一个项目，到底自己能不能有质有量按时交付的完成一个项目，到底自己有没有这个能力来管理项目。更多的人也没有去用长远的眼光去考虑数据标注项目。        二、数据标注项目虽然入门门槛低，但是相当一部分有于理解认知应变能力上都不能保证去做好数据标注项目，还有一部分人由于自己对标注项目重视程度不足接到项目之后呢？不仔细认真的去阅读理解项目规则，更没有很好的对规则质检标准去培训员工，而对员工的要求主要看重每天的产出效率，从而导致接到手的项目做的质量很差，频繁的返工，有提项目甚至因为质量太烂项目方不给结算或者是结算比例很少，最终的结果就是做好些个项目但基本都是赔钱。        三、虽然业内人都 说数据标注简单，但是标注项目他也是一个系统性的工程，一个项目能不能做好并不简单的看项目好做就能赔钱。实际上决定项目赚不赚钱考验的是一个团队的项目管理水平，质量管理能力，运营能力各方面因素的。一句话再好赚钱的项目也照样有人赚钱也有人赚钱，要赚钱不是那么简单的。        四、还有些工作室 、小公司因为对行业不够了解等他们做了一段时间后发现，自己团队经常会没有项目做，而自己团队接项目的业务能力又不具备，甚至有的时候为了员工有活干去接一些价格极低根本就不赚钱的标注项目，时间稍微一长这些工作室团队就会赔上很多钱最终关门倒闭。        五、下来要说的就是一部分人人兼职人员由于认识不到位，对项目的规则质量要求 文件不认真阅读消化理解导致做的项目质量差返工有的甚至最后不结算，最终退出这行。更有一些人由于经验不足被标注行业的项目骗子给忽悠到辛苦劳动到最后结算时找不到人。        标注行业本身由于进入门槛低，做的人很行业内盲目打价格战，导致很多转手二手三手的项目在质量工期的要求下根本就不赚钱甚至赔钱，所以在这里也提醒大家做任何事都要谨慎而行。