2019数据标注行业的发展速度更加令人惊叹!人工智能外包公司、人工智能企业部门、第三方数据标注与审核公司三分市场

 数据标注就是使用自动化的工具从互联网上抓取、收集数据包括文本、图片、语音等等,然后对抓取的数据进行整理与标注。数据标注与审核行业上游为计算机软硬件生产商及人力资源行业,下游主要是安放、自动驾驶等人工智能领域。

数据标注与审核行业产业链示意图

资料来源:智研咨询整理

    智研发布的《2019-2025年中国数据标注与审核行业市场专项分析研究及投资前景预测报告》显示:近几年,数据标注与审核行业快速发展,2018年市场规模已达到52.55亿元,至少在未来的5年内,数据标注行业的增长空间还很大,数据标注的市场才刚打开,数据需求将紧随人工智能的大规模落地引来一波爆发式增长。

2015-2018年数据标注与审核行业市场规模及增速情况

资料来源:智研咨询整理

    近几年,随着国内人工智能行业的飞速发展,数据标注与审核行业产值快速增长,从2015年的5.85亿元增长到2018年的54.02亿元,近几年我国数据标注与审核行业产值情况如下图所示:

2015-2018年中国数据标注与审核行业产值情况

资料来源:智研咨询整理

    2018年我国数据标注与审核行业规模达到52.55亿元。其中,有三分之一是AI公司内部的标注部门消化,另外三分之一被商务流程外包公司瓜分,剩下的34%左右业务量流向专门做数据采标的第三方公司。

2018年我国数据标注与审核行业分布格局

资料来源:智研咨询整理

2018年我国部分地区数据标注与审核行业优势企业一览

产品名称

所属公司

所在地区

简介

荟萃

上海丁火智能科技有限公司

上海(华东)

丁火智能是一家人工数据标注服务提供商,通过“移动众包执行+全职员工全检”模式,为企业提供数据采集和标注服务,“移动众包”用于降低成本提高效率,“全职员工”用于保证交付数据质量,提供的服务包括图片、文本、语音和视频的采集和标注。

龙猫数据

北京安捷智合科技有限公司

北京(华北)

龙猫数据是一家专业的人工智能数据服务提供商,致力于提供人工智能大数据采集、数据标注、数据提取、数据校验、数据清洗、线上众包等服务,服务领域涵盖图像、语音、文本、视频四个方面。

爱数智慧

北京爱数智慧科技有限公司

北京(华北)

爱数智慧——专业的AI人工智能数据服务提供商。致力于提供智能语音、图像、文本数据的采集、清洗、标注、校验等服务,为深度学习提供训练语料。

视在科技

杭州视在科技有限公司

上浙江(华东)

视在科技是一家基于视觉行为分析的运营服务公司。公司通过VAI技术实现数据自动标注化、结构化等行为算法,将大数据显像化并提供行业解决方案和AI算法,进而形成闭环商业链。

泛函科技

北京泛函科技有限公司

北京(华北)

泛函科技是一家以技术为核心,专注于各类语音、图像采集及数据处理科技公司,可承接全世界30+类语言语音及图像文件的标注和清洗工作。拥有覆盖全球36个国家和地区的采集和标注资源,致力于为客户提供一站式训练集数据定制服务

锦翰科技

锦翰科技(深圳)有限公司

广东(华南)

一家位置数据服务提供商,致力于利用地图、定位和大数据分析技术为传统的建筑物运营管理者提供数字化的运营、管理、营销的位置服务解决方案,同时为消费者提供基于位置的崭新服务。

BasicFinder平台

北京深度搜索科技有限公司

北京(华北)

深度搜索科技是一家图像识别与深度学习技术研发商,公司的主要业务包括提供大数据标注、人工智能技术咨询与提供相应的技术解决方案、智能系统企业定制和智能生活平台化产品等多项服务。

星尘数据

北京星尘纪元智能科技有限公司

北京(华北)

星尘数据是一家为专为人工智能研发机构服务的数据众包平台。我们提供训练模型过程中所需要的人力来帮助解决数据的采集、标定、质量监控等工作,使企业能够专注于自己的核心业务。星辰数据的团队成员均来自于世界一流的知名企业,有着多年机器学习的经验和对数据标注服务的深入理解。我们结合了谷歌、百度等世界顶尖人工智能公司的标注系统,轻松、快捷地解决您的所需标注任务。

霓螺

霓螺(宁波)信息技术有限公司

浙江(华东)

霓螺是一家图像视频扫描与识别技术服务企业,包括物体检测,将对上传的视频进行快速扫描探测并识别出人、车、物。推荐视频中NILO标签标注点;图像识别,对物体图像进行搜索,建立视频内标记NILO标签的物体与数据库中信息的关联关系;以及运动跟踪,所有的NILO标签都可以自动跟踪物体的运动轨迹。

 

资料来源:智研咨询整理

    2015年,我国数据标注与审核人工智能企业部门规模为2.36亿元,人工智能外包公司规模为1.85亿元,第三方数据标注与审核公司规模为1.41亿元。2018年,我国数据标注与审核人工智能企业部门规模为17.34亿元,较上一年相比增长了61.60%,人工智能外包公司规模为17.34亿元,较上一年相比增长了66.41%,第三方数据标注与审核公司规模为17.87亿元,较上一年相比增长了88.11%。

2015-2018年中国数据标注与审核应用市场需求特征

推荐文章

数据标注是人工智能进行模型训练必不可少的一环。这是将最原始的数据变成算法可用数据的过程:原始数据一般通过数据采集获得,随后的数据标注相当于对数据进行加工,然后输送到人工智能算法和模型里进行调用。 上述概念阐释的背后实际上潜藏着一个正在茁壮成长的商业机会,尤其随着AI行业的发展,优质数据甚至可能是公司发展的壁垒。 按照人员规模,现在的数据标注行业分为小型工作室(20 人左右)、中型公司以及巨头企业。它们之间有各自的短板:专业的数据标注、采集小团队没有标注工具,开始逐渐向拥有更好技术资源的大平台靠拢 。与之形成对比的是,花费巨大资源打造专业全职标注团队的数据公司,却也受困于人力成本不得不把一些业务外包给小团队。 诸如巨头企业,虽然在努力搭建平台,但一方面更多是以消化内部需求为主,另一方面在人员培训和质量管控上,更多是流程化操作,缺乏合理的运营模式。 “没有一个标准。”基于上述的调研结果,在京东金融众智平台项目负责人看来,数据标注行业比较混乱。 在这种行业状况下,京东金融要做一个“中立”平台,成为需求方和最终标注团队之间的连接者:为小型工作室提供标注工具,同时也对需求方提供数据标注方案。 “京东众智”就是这样一个产物,它是专注于人工智能数据标注和采集的科技平台。上述负责人特意强调了“科技”二字,这意味着该平台并不是传统的众包模式,而是通过自身的科技能力,优化标注流程,提升标注效率,保证标注质量。“大部分算法在拥有足够多的普通标注数据的情况下很容易将准确率提升到 95%,但从 95% 再去提升到 99% 甚至 99.9% 就需要大量高质量的标注数据。可以说,高质量的数据是制约模型和算法突破瓶颈的关键指标。”京东众智的科技能力恰好表现在提高标注质量、提升标注速度、降低标注成本以及保证数据安全四个方面。标注质量为先,而它又与标注人员息息相关。针对专业标注人才培养的流程,他们甚至要跟一些公司建立数据标注师认证标准,对不同人员评估其标注等级。 这符合京东众智“三擎互驱”的理念:让最专业的人用最专业的工具,在严谨的工作流程中完成数据的标注,并且由选拔出来的高水平专家进行审核,保证正确率。准确率与客户的要求也有很大关系,比如众智平台的图片标注准确率在实测状态下能达到 99%,为了确保准确性,他们有 ACC 和抽检等四层过滤流程。在保证数据标注质量的前提后就要比拼标注速度了。 当下 AI 解决方案落地速度普遍较慢。“传统的方式是有 AI 需求,然后需要先获取样本数据进行数据标注,标注之后再做模型训练。”但在数据标注之后如果不满意,还需要把数据返回重新优化,上述负责人表示,这样的方式导致从方案确认到落地可能需要 1 个月甚至时间更长。众智平台的标注工具很大程度上提升了标注速度。“鲁班模板标注工具”可以组件化去配置。如果不同的公司对标注数据有不同需求,他们只需调整几个组件的配置就可以完成操作。 京东众智 Pre-AI 方案与传统方案的对比更重要的是京东众智提出的“Pre-A.I”方案。此方案在标注过程中会不断添加智能元素,机器做预标注,标注人员只需在此基础上做细微的调整即可。这些技术的应用在很大程度上节省了标注时间,而在 AI 市场竞争激烈的环境中,速度对创业公司而言尤为重要。“原来完整的标注流程如果是 1 个月的话,我们可能 3、4 天就可以交付了。”该负责人如此评估众智平台的标注效率。数据标注速度提升的直接结果是标注成本自然会降低。不过,在行业一片混乱的数据运营模式下,数据安全是需求方最为关注的问题。对于政府、银行等企事业单位而言,它们担心数据被转手,一般要求数据必需在自己的环境内进行标注。为此,他们提供了数据与流程分离方案。数据与流程分离方案针对客户自有标注平台和客户没有标注平台两种情况。京东众智 DCS 方案流程 对那些数据标注需求比较大的大公司,众智平台可以打通京东金融和客户两者的标注平台,同时为标注流程有严格的质量把控。需要注意的是,标注环境实际上还是在客户环境下。对于没有标注平台的客户,京东金融提供了一套名为“众智星”的标注系统,它可以让数据不出客户环境就能完成数据标注。 据负责人介绍,该平台已于去年 8 月正式上线。目前平台上数据标注注册人员在 3 万以上,而数据采集的注册人员更是超过了 10 万人。“京东众智旨在为 AI 行业提供最优质的基础数据,希望在不久的将来,国内大部分的 AI 公司都可以使用我们提供的高质量标注数据训练出更优质的模型和算法。这些模型和算法不仅要服务国内的用户,更要把中国的 AI 能力服务于全世界。为全球的人工智能行业助力是我们的初心。”负责人如是说。

热门文章

简单讲:互联网数据标注员是借助电脑或者移动设备对一些原始的数据进行处理,生产出满足AI公司机器学习需要数据的一群人。按照数据处理对象的不同,工作内容也会有差别,标注员的工作内容可以分为:分类;框选;注释;标记。按照所处公司的不同,标注员的工作方式也会有差别:有的人工智能公司处于对数据安全性考虑会自建标注团队,在这些公司工作的标注员可以保证自己工作内容不会出现太大变动;但一些服务于人工智能公司非专业外包公司标注员的工作则是项目制的,一个项目忙完紧接着做另一个项目,这样工作内容连续性较差,对一种类型的项目经验也不会积累的太多。就目前来说,人工智能还处于人工增长阶段,机器依然需要大量的数据进行训练,测试。标注员在当下也会一直存在,而且从业群体会越来越多,所以暂时不用担心这份职业会不会短期消失。就标注员从业来说,建议选择人工智能公司和专业的数据公司,这样可以保证自己在一个方向上了解的足够深入。就职场晋升来说,以牛牛数据为例:标注员——项目经理——项目总监——数据运营总监。首先谈谈什么是数据标注。数据标注有许多类型,如分类、画框、注释、标记等等,我们会在下面详谈。要理解数据标注,得先理解AI其实是部分替代人的认知功能。回想一下我们是如何学习的,例如我们学习认识苹果,那么就需要有人拿着一个苹果到你面前告诉你,这是一个苹果。然后以后你遇到了苹果,你才知道这玩意儿叫做“苹果”。类比机器学习,我们要教他认识一个苹果,你直接给它一张苹果的图片,它是完全不知道这是个啥玩意的。我们得先有苹果的图片,上面标注着“苹果”两个字,然后机器通过学习了大量的图片中的特征,这时候再给机器任意一张苹果的图片,它就能认出来了。这边可以顺带提一下训练集和测试集的概念。训练集和测试集都是标注过的数据,还是以苹果为例子,假设我们有1000张标注着“苹果”的图片,那么我们可以拿900涨作为训练集,100张作为测试集。机器从900张苹果的图片中学习得到一个模型,然后我们将剩下的100张机器没有见过的图片去给它识别,然后我们就能够得到这个模型的准确率了。想想我们上学的时候,考试的内容总是不会和我们平时的作业一样,也只有这样才能测试出学习的真正效果,这样就不难理解为什么要划分一个测试集了。我们知道机器学习分为有监督学习和无监督学习。无监督学习的效果是不可控的,常常是被用来做探索性的实验。而在实际产品应用中,通常使用的是有监督学习。有监督的机器学习就需要有标注的数据来作为先验经验。在进行数据标注之前,我们首先要对数据进行清洗,得到符合我们要求的数据。数据的清洗包括去除无效的数据、整理成规整的格式等等。具体的数据要求可以和算法人员确认。二、常见的几种数据标注类型1.分类标注:分类标注,就是我们常见的打标签。一般是从既定的标签中选择数据对应的标签,是封闭集合。如下图,一张图就可以有很多分类/标签:成人、女、黄种人、长发等。对于文字,可以标注主语、谓语、宾语,名词动词等。<img src="https://pic2.zhimg.com/50/v2-df93dc0a7e8a5fe387dc3774748b5f05_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="400" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic2.zhimg.com/v2-df93dc0a7e8a5fe387dc3774748b5f05_r.jpg">适用:文本、图像、语音、视频应用:脸龄识别,情绪识别,性别识别2.标框标注:机器视觉中的标框标注,很容易理解,就是框选要检测的对象。如人脸识别,首先要先把人脸的位置确定下来。行人识别,如下图。<img src="https://pic2.zhimg.com/50/v2-7824903d6d840e2bb08d96b5c2fa5874_hd.jpg" data-caption="" data-size="normal" data-rawwidth="591" data-rawheight="398" class="origin_image zh-lightbox-thumb" width="591" data-original="https://pic2.zhimg.com/v2-7824903d6d840e2bb08d96b5c2fa5874_r.jpg">适用:图像应用:人脸识别,物品识别3.区域标注:相比于标框标注,区域标注要求更加精确。边缘可以是柔性的。如自动驾驶中的道路识别。<img src="https://pic3.zhimg.com/50/v2-4bc1dd2278182acf94fc426d7e6f2dc1_hd.jpg" data-caption="" data-size="normal" data-rawwidth="601" data-rawheight="377" class="origin_image zh-lightbox-thumb" width="601" data-original="https://pic3.zhimg.com/v2-4bc1dd2278182acf94fc426d7e6f2dc1_r.jpg">适用:图像应用:自动驾驶4.描点标注:一些对于特征要求细致的应用中常常需要描点标注。人脸识别、骨骼识别等。<img src="https://pic4.zhimg.com/50/v2-5e24f394516c75e45942c37ba0da85c0_hd.jpg" data-caption="" data-size="normal" data-rawwidth="583" data-rawheight="387" class="origin_image zh-lightbox-thumb" width="583" data-original="https://pic4.zhimg.com/v2-5e24f394516c75e45942c37ba0da85c0_r.jpg">适用:图像应用:人脸识别、骨骼识别5.其他标注:标注的类型除了上面几种常见,还有很多个性化的。根据不同的需求则需要不同的标注。如自动摘要,就需要标注文章的主要观点,这时候的标注严格上就不属于上面的任何一种了。(或则你把它归为分类也是可以的,只是标注主要观点就没有这么客观的标准,如果是标注苹果估计大多数人标注的结果都差不多。)三、有什么发展前途?数据标注员可以说是AI消灭了一部分工作又创造出来的一种工作。在未来AI发展良好的前提下,数据的缺口一定是巨大的。可以预见3-5年内数据标注员的需求会一直存在。至于发展,其实所谓一些熟能生巧的工作,都是有被替代掉的风险的。深度学习解决的一件事情就是熟能生巧。在这个岗位上,其实你的一些想法就代表了AI的想法,AI会根据你标注的数据进行学习,想想还是有点成就感的。数据标注可以说是AI的入门级岗位,未来可转向其他AI岗位。如项目实施顾问等,这就要求更多的工作技能,需要再工作中积累。作者:跹尘链接:https://www.zhihu.com/question/30654399/answer/264828926来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。