介绍下数据标注平台的运营模式

    目前AI行业发展火热各大巨头都投入巨资在此领域布局,智能驾驶、人脸识

别以及近段时间正火的AI养猪都是AI技术应用在实际生活上的体现,毫不夸张的说AI

技术正在逐渐改变我们的生活而我们的生活也将因此变得更美好。

     AI的发展离不开数据标注的支持,而目前AI行业庞大的数据标注工作都 是通过 哪

种模式完成的呢?

    

一、常见的数据标注平台

由于数据标注的重要性和高质量标注好数据的稀缺性在催生了一大批专职做数据标注团队的同时也催生了一批数据标注平台,比较有名的有百度众测、京东众智、龙猫数据、数据堂等。众所周知百度在互联网大厂是最早开始且投入巨资研Ai 技术的,所以百度众测平台的任务大部分都是百度内部的需求,他们也会接受其他AI公司的数据需求,但是在数据量和价格上会有限制。相比百度而言其他几家数据标注平台就比较亲民一些了,中小型的AI公司的需求一般都会接受。为什么这个地方没有提到大型AI公司呢?那是因为大型AI公司一般都会自建平台且有专门的数据标注团队负责公司的数据需求。

二、数据标注平台的业务模式

(1)众包模式:
现在数据标注通常采取众包的模式,众包模式的优点就是成本较低响应较快。这种模式适用较简单的项目如点点拉框等项目。发布者往往将任务详细介绍和题目一同发送到平台上供广大数据标注兼职人员作答。但众包模式有一个很明显的问题就是质量较难把控,因为众包模式是面向大众的你并不知道在给你做标注的是什么人,他们可能是厨师,是全职太太,是老师每个人对规则的理解不尽相同且不可避免的会有一部分对任务乱答一通影响项目质量。为此各平台也会使用一些方式减少问题的产生提高项目质量。比如增加改判环节一道题在答完之后会由他人进行改判如若判错则不获得任务报酬,此外为防止错判维护答题人员利益还会设置申诉环节使答题人员对有疑问的题目进行申诉。设置标注人员级别,标注人员任务正确率较高答题数较多则能慢慢提高等级解锁更多任务获得更多的任务报酬且有机会进入改判环节成为改判员。
(2)外包模式
外包模式与众包模式相对是将任务外包给专门的数据标注公司和团队,在项目一开始会对项目整体进行评估然后针对项目整体进行报价由数据标注公司自行安排培训安排人手,只需要保证在项目截止日期前保质保量交付数据即可。这种模式的优势就是数据质量和项目周期有保证。但是响应速度较慢成本较高,因为一开始需要安排竞标且平台需要安排专门的项目人员进行项目对接和项目跟进。现如今国内专门做数据标注的团队较多,但是大多数只是以工作室和几十人的小团队为主且业务类型集中在简单的拉框图像标注上。也有一些的较大型的公司如贵州的梦动科技已经形成产业化带动了当地的发展。又或者是“点我科技”他们自建有平台可以自研工具同时担任着数据标注平台和数据标注公司两种角色。
基于以上两种业务模式的答题模式:
A模式:A模式指只进行一次答题模式,后续没有改判操作。这种模式应用较少主要用于较简单正确率要求不高的项目。
AC模式:AC模式指在答题完成后会有一个改判流程,改判员只能对题目进行正误的判断不能在答题的基础上进行操作。
ACC模式:ACC模式和AC模式的主要区别是AC模式不能够之前的答题情况作出更改,而ACC可以更改。


三、制约数据标注平台发展的因素

  1. 业务模式
    一个好的业务模式能不断拔高一个平台的业务上限,上面介绍的两种常见的业务模式(众包模式和外包模式)因为他们都有各自的优缺点,所以单一的使用任何一种业务模式都是不可行的。单存使用众包模式会带来项目质量难以把控,风险高的问题,且众包模式只适合承接比较简单的需求。单一使用外包模式则会造成对数据标注团队的过度依赖,降低整个平台的活力,造成平台现有人力资源的浪费。
    对此我们需要两种模式兼用初期需要投入一定的资源建立自已平台的众包团队,这个人数一定要多只有这样才能保证有足够的活跃人数能够完成数据标注任务,同时还要一直有众包任务才能保证这些人一直活跃。众包团队建立起来之后我们就可以将简单的任务通过众包模式发放出去,一些复杂专业性比较高的任务则通过外包模式发放出去即可。

  2. 数据标注团队
    一个数据标注平台必须要足够的数据标注团队才能承接更多的需求,为了增加平台上入驻的团队数量我们需要提高平台内部的活跃度同时平台上有足够的任务。每个标注团队往往都有擅长的业务类型,我们也需要根据不同团队的特点发放给他们不同的任务。

  3. 任务需求
    一个平台要想不断发展一定要有足够的任务,增加平台承接的任务则需要提高平台的知名度,提高平台的知名度可以通过广告投放,客户口碑传播,搜索优化等方式。同时还需要一个有力的商务团队。

timg (1)_meitu_2.jpg


参考原文地址:https://blog.51cto.com/14065470/2355532

推荐文章

最近有很多研究提到,人工智能和自动化为主的技术进步,可能让女性就业受到比男性更大的冲击。不过更进一步查看的话,所有这些文章会将深层原因归结于,女性更少的从事科学、技术、工程和数学 (STEM) 方向的学习;说大白话,就是女性没有学会编程,不懂电脑技术。根据伦敦智库 IPPR 的研究,在自动化风险较高的行业中,近三分之二(64%)的英国工人是女性。这是因为众多女性从事的都是零售和行政工作,而这可以通过机器来完成。IPPR 说:“总的来说,1/10 的女工面临着被机器人替代的高风险。相比之下,只有 4% 的男性工人有同类风险。” [1]《金融时报》的文章指出,问题出在人们年轻的时候。高校 STEM 专业的学生约 65% 是男性。如果女性年轻时没有机会获得 STEM 相关学位,也就困于家务劳动和带孩子,而没有时间接受再培训。文章说,新兴经济体许多女性面临更大的困难,因为她们当中有很多人从事仅能维持生计的农业,几乎没有受过教育,也没有什么可转移的技能。[2]那么,为什么不直接说不会编程技能,或缺少编程思维的人更难找到工作呢?男人就没有这样对程序或基础科学一窍不通的吗?我对这个问题如此敏感,一个原因是我本人(男)就是与 STEM 无缘的典型案例。从小就喜欢计算机,却终究没学会编程在我上高中之初,有一次机会选择文理科分班,这也是中国特色的教育方法。因为我在的高中比较强的是理科,我就选了理科,可是两学期下来,数学只能考 30 多分,物理、化学、生物全面亮红灯。我对理科知识的唯一回忆,可能是刚上化学课的时候,问老师“石蕊(试纸)的化学式是什么”。没有答案,我只记住自己问了这个问题。所以,我不得不由高一时的理科班转到文科班,不然的话根本没办法正常的考试。在文科班,我高考的分数也相对好一点,只是因为更多死记硬背的部分,更适合那个时候的我。我深知考核标准的不同,会导致学生高考分数和社会评价的巨大差异。有人说,农村孩子吃亏就在于高考不考种地、爬树、捉蟋蟀。都不用这么麻烦,其实文理分班已经能区分很大一部分同学的未来路径——但对某方向本来就很感兴趣,自己知道想要什么的同学除外。我也知道自己有理科,也就是 STEM 学科方面的弱点。所以,即使我还没上学就用上了电脑,也把未来理想跟计算机捆绑在一起,却不能如愿以偿的从事程序员的工作;最后长大了,也不能由此转岗去做薪水更高,更稳定,前景也更好的编程行业,只能徘徊在电脑行业的边缘。这一直是我心中的一个结。工作这么多年,我一直想要有机会去尝试从零开始自学编程,甚至给小朋友做启蒙的那些书我也看过,看完都一头雾水。现在在三四线小城市,也经常出现人工智能和编程培训班的门脸,看了之后,除了更引起我被时代抛弃的焦虑之外,没有其他作用。我作为科技记者和撰稿人,在掌握新科技趋势方面,属于起了大早,赶了晚集。我们这些人应该处于整个科技食物链的比较靠下游的位置,最早知道了这些新闻和趋势,但除了写些文章或采访之外,几乎没有其他的方式可以妥善利用。结果,到了自己的工作受威胁的时候,宁可去卖保险。这更多的是属于个人能力、兴趣偏好的问题,这根本就不是男女差异。社会上没有一人一朵的“小红花”我知道,如果我不能及时转到文科班的话,如果全校所有的同学都在理科班,甚至根本就没有文科,没有非 STEM 学科,那么我可能只是一个天资更加平庸的,成绩更差的理科生。在单一维度的评价体系里,我会比现在惨的多。所以我说不上由理转文这件事,对我的人生是好是坏。从结果上看,我生存在社会尚且可以公平对待 STEM 和非 STEM 学科的时代,还是一件好事。但是这其实更让我深刻领会到,未来继续保持这种评价体系和工作类型的多样化,对于我们这个社会的意义。社会全面偏向 STEM 意味着我们的教育方针要做 180 度的大转弯,也不会存在什么“因材施教”的空间,这个问题是如此的严重,现在业界可能还没有充分的意识到问题的严重性。分析人士只是笼统的说,人工智能虽然取消了很多岗位,但还可以创造更多岗位。想想工业革命!那些手工业者一开始破坏机器,搞卢德运动,但最后工人阶级还是站起来了。不妨想想幼儿园和小学课堂里的“小红花”。用宽松的,素质教育的方法,老师就会说,班上每一个孩子都有闪光点,即使学习成绩不好,也有其他的评判标准。如果出于孩子心理健康的考虑,给每个孩子单独设立一个评价体系的话,那么所有人都有小红花,最笨最没人缘的孩子也可以是“系鞋带最整齐的孩子”这样。这在学校里当然是成立的,走入现实可就不适用了。本来,文史类学科和相关工作,以及程序化,缺乏创造力的工作,意味着“系鞋带最整齐的孩子”也有社会上对应的位置。但如果说 AI 和自动化将替代的岗位是差不多全部非 STEM 行业,那就意味着全社会至少有一半曾经能够稳定就业的人,一瞬间不再适合在地球上生存。原来能够给他们稳定收入和正面评价的行业,现在却露出冰冷的面孔。他们原来曾经学会的那些适应社会的习惯和能力,将会不再被人提起,连被评为非物质文化遗产的机会都没有。培训和救济,似乎都很困难前述智库给出的意见一般都是与福利、补贴和再教育相关。比如,IPPR 报告作者建议政府引入新的法律,给女性分配工作,开展高技能工作培训,提高最低工资标准等。FT 的文章同样建议企业和社会推出举措,鼓励女孩学习 STEM 学科,发展编程技能。“不是每个人都需要成为一名程序员,但好的工作将越来越意味着与技术打交道。”然而,这些文章所指出的理想状态,假设了女性(或其它 STEM 门外汉)只要经过培训,就都能达到一定标准。而不论男女,总有缺乏这方面天赋的人存在——比如我自己。即使对他们进行失业的相关培训,也将会是困难重重的,因为如果他们真的掌握逻辑思维的能力,掌握学习数学的好方法,他们不是早就去做了吗?甚至他们连去参加培训的完整时间都不具备。有人说,重复劳动类的劳动力,如果不会 STEM,可以做数据标注工人嘛。但是这样的标注,也是建立在个人隐私以及数据集可以被随意使用的草莽年代,建立在所谓“用隐私换便利”的时候。受到社会制约的 AI 企业,将更倾向于用小的数据集,用压缩算法,最终达到能在用户个体的终端上,离线完成 AI 运算。当数据使用量减少的时候,数据标记工人只是会更快的迎来下一次失业。我们再说说救济。现在,国家规定对公司招募残疾人、特定少数民族、退伍军人等执行补贴,这是在直接聘用他们会削弱企业市场竞争力的前提下,采取的平衡手段。将来,这个巨大的救济包袱还会更重,因为以前能够自食其力的流水线组装工人、收银员、话务员等岗位都要归入救济队伍,他们本来应该是供养养老金的有生力量。福利的池水被加速抽干,每一个人分摊到的福利金额都会下降。社会在考虑自动化新技术与就业的连带关系的时候,不能偷懒的只算工作总量和总失业率,因为这不是冷冰冰的数字,而是一个个具体的人,以及他们背后的家庭。受影响的人当中,有多少人或者因为信息不对称,自己都没有察觉到,或者想到了,也因为没有天赋,没有兴趣或者没有财力精力,而只能默默的滑落下去。我理解,一些研究者先假设不会 STEM 的都是女性,毕竟“女生学文科的多”,然后再跟性别话题挂钩,来引起人们注意。这是一种非常讨巧的尝试,可以利用现在风头正劲的女权思潮,利用她们强大的舆论动员力,来实现对自动化社会议题的关注。但这实际上会模糊问题的焦点,并且使得跟他们所说的“女性”实质上具有同等问题的男人,更得不到关注,沦落为无人问津的“夹心层”。结论一个更自动化的社会,会显著的减少对一般人类劳动力的需求。在人类各种能力中,偏向创造力、想象力、沟通交流能力,以及控制机器的能力的一面会被更突出强调。可惜的是,人类固有的缺陷——也可能是优势——就是,创意方面最强大的能力,往往只集中于极少数天赋异禀的英才手中。相比之下,一旦某个机器学会一个能力,它的任意一个复制品,都会一瞬间具备同样的能力。也就是说,至少在教育方面,想要让人们往找到工作的方向走,依靠非标准化的非 STEM (“文科”)培训很难,而 STEM(“理科”)方向则较为容易。这将不可挽回地导向全社会只重视 STEM 的单一评价标准,更多人将被判为不合格,没有能力赚到维持生活的钱。要么继续思考怎么培训他们,要么就改变分配方式,比如给全民派钱什么的——这样的思考和讨论,已经到了非进行不可的时候。 

热门文章

简单讲:互联网数据标注员是借助电脑或者移动设备对一些原始的数据进行处理,生产出满足AI公司机器学习需要数据的一群人。按照数据处理对象的不同,工作内容也会有差别,标注员的工作内容可以分为:分类;框选;注释;标记。按照所处公司的不同,标注员的工作方式也会有差别:有的人工智能公司处于对数据安全性考虑会自建标注团队,在这些公司工作的标注员可以保证自己工作内容不会出现太大变动;但一些服务于人工智能公司非专业外包公司标注员的工作则是项目制的,一个项目忙完紧接着做另一个项目,这样工作内容连续性较差,对一种类型的项目经验也不会积累的太多。就目前来说,人工智能还处于人工增长阶段,机器依然需要大量的数据进行训练,测试。标注员在当下也会一直存在,而且从业群体会越来越多,所以暂时不用担心这份职业会不会短期消失。就标注员从业来说,建议选择人工智能公司和专业的数据公司,这样可以保证自己在一个方向上了解的足够深入。就职场晋升来说,以牛牛数据为例:标注员——项目经理——项目总监——数据运营总监。首先谈谈什么是数据标注。数据标注有许多类型,如分类、画框、注释、标记等等,我们会在下面详谈。要理解数据标注,得先理解AI其实是部分替代人的认知功能。回想一下我们是如何学习的,例如我们学习认识苹果,那么就需要有人拿着一个苹果到你面前告诉你,这是一个苹果。然后以后你遇到了苹果,你才知道这玩意儿叫做“苹果”。类比机器学习,我们要教他认识一个苹果,你直接给它一张苹果的图片,它是完全不知道这是个啥玩意的。我们得先有苹果的图片,上面标注着“苹果”两个字,然后机器通过学习了大量的图片中的特征,这时候再给机器任意一张苹果的图片,它就能认出来了。这边可以顺带提一下训练集和测试集的概念。训练集和测试集都是标注过的数据,还是以苹果为例子,假设我们有1000张标注着“苹果”的图片,那么我们可以拿900涨作为训练集,100张作为测试集。机器从900张苹果的图片中学习得到一个模型,然后我们将剩下的100张机器没有见过的图片去给它识别,然后我们就能够得到这个模型的准确率了。想想我们上学的时候,考试的内容总是不会和我们平时的作业一样,也只有这样才能测试出学习的真正效果,这样就不难理解为什么要划分一个测试集了。我们知道机器学习分为有监督学习和无监督学习。无监督学习的效果是不可控的,常常是被用来做探索性的实验。而在实际产品应用中,通常使用的是有监督学习。有监督的机器学习就需要有标注的数据来作为先验经验。在进行数据标注之前,我们首先要对数据进行清洗,得到符合我们要求的数据。数据的清洗包括去除无效的数据、整理成规整的格式等等。具体的数据要求可以和算法人员确认。二、常见的几种数据标注类型1.分类标注:分类标注,就是我们常见的打标签。一般是从既定的标签中选择数据对应的标签,是封闭集合。如下图,一张图就可以有很多分类/标签:成人、女、黄种人、长发等。对于文字,可以标注主语、谓语、宾语,名词动词等。<img src="https://pic2.zhimg.com/50/v2-df93dc0a7e8a5fe387dc3774748b5f05_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="400" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic2.zhimg.com/v2-df93dc0a7e8a5fe387dc3774748b5f05_r.jpg">适用:文本、图像、语音、视频应用:脸龄识别,情绪识别,性别识别2.标框标注:机器视觉中的标框标注,很容易理解,就是框选要检测的对象。如人脸识别,首先要先把人脸的位置确定下来。行人识别,如下图。<img src="https://pic2.zhimg.com/50/v2-7824903d6d840e2bb08d96b5c2fa5874_hd.jpg" data-caption="" data-size="normal" data-rawwidth="591" data-rawheight="398" class="origin_image zh-lightbox-thumb" width="591" data-original="https://pic2.zhimg.com/v2-7824903d6d840e2bb08d96b5c2fa5874_r.jpg">适用:图像应用:人脸识别,物品识别3.区域标注:相比于标框标注,区域标注要求更加精确。边缘可以是柔性的。如自动驾驶中的道路识别。<img src="https://pic3.zhimg.com/50/v2-4bc1dd2278182acf94fc426d7e6f2dc1_hd.jpg" data-caption="" data-size="normal" data-rawwidth="601" data-rawheight="377" class="origin_image zh-lightbox-thumb" width="601" data-original="https://pic3.zhimg.com/v2-4bc1dd2278182acf94fc426d7e6f2dc1_r.jpg">适用:图像应用:自动驾驶4.描点标注:一些对于特征要求细致的应用中常常需要描点标注。人脸识别、骨骼识别等。<img src="https://pic4.zhimg.com/50/v2-5e24f394516c75e45942c37ba0da85c0_hd.jpg" data-caption="" data-size="normal" data-rawwidth="583" data-rawheight="387" class="origin_image zh-lightbox-thumb" width="583" data-original="https://pic4.zhimg.com/v2-5e24f394516c75e45942c37ba0da85c0_r.jpg">适用:图像应用:人脸识别、骨骼识别5.其他标注:标注的类型除了上面几种常见,还有很多个性化的。根据不同的需求则需要不同的标注。如自动摘要,就需要标注文章的主要观点,这时候的标注严格上就不属于上面的任何一种了。(或则你把它归为分类也是可以的,只是标注主要观点就没有这么客观的标准,如果是标注苹果估计大多数人标注的结果都差不多。)三、有什么发展前途?数据标注员可以说是AI消灭了一部分工作又创造出来的一种工作。在未来AI发展良好的前提下,数据的缺口一定是巨大的。可以预见3-5年内数据标注员的需求会一直存在。至于发展,其实所谓一些熟能生巧的工作,都是有被替代掉的风险的。深度学习解决的一件事情就是熟能生巧。在这个岗位上,其实你的一些想法就代表了AI的想法,AI会根据你标注的数据进行学习,想想还是有点成就感的。数据标注可以说是AI的入门级岗位,未来可转向其他AI岗位。如项目实施顾问等,这就要求更多的工作技能,需要再工作中积累。作者:跹尘链接:https://www.zhihu.com/question/30654399/answer/264828926来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。