2021了你还不知道数据标注?人工智能为什么需要数据标注


2021了你还不知道数据标注?人工智能为什么需要数据标注


编写时间: 2021-2-22      来源:搜狐新闻


“得数据者,得人工智能”。如今人工智能早已在我们的生活中屡见不鲜,像“Siri”、“指纹解锁”、“人脸识别”等等都属于人工智能的范畴,然而人工智能的上游基础产业,数据标注却鲜为人知。数据标注是一个极为庞大的产业,在数标行业内部,从业者也必将随着AI行业而一同进入细分市场追逐阶段,可谓机遇与挑战并行,为创业者创造力大量的机会,为社会造就了大量新兴的就业机会。那么数据标注的应用场景都有哪些,它为什么如此火热呢?

数据标注的应用场景

人脸识别

人脸识别系统

人脸识别也称人像识别、面部识别,是基于人的脸部特征信息进行多年龄段、多角度、多表情、多光线的人脸图像采集,从而完成身份识别的一种生物识别技术。人脸识别涉及的技术主要包括计算机视觉、图像处理等。

人脸识别(视觉识别技术的一种应用)在国内的应用大致经历从公共安全领域扩展到商业领域的过程。最初,机场、高铁站以及酒店等场景使用这项技术对个人身份进行验证,随后商业银行也开始采用人脸识别实现远程开户。再之后,刷脸支付、刷脸门禁也相继出现,人脸识别逐渐从少数有限场景渗透到人们的日常生活之中,目前,人脸识别技术已广泛应用于多个领域,如金融、司法、公安、边检、航天、电力、教育、医疗等。

随着人脸识别技术的进一步成熟和社会认同度的提高,其将应用在更多领域,给人们的生活带来更多改变。

智能交通

近年来,随着人工智能浪潮的兴起,无人驾驶、智能交通安全系统一度走进我们的生活,国内许多公司纷纷投入到自动驾驶和无人驾驶的研究,例如百度启动的“百度无人驾驶汽车”计划,其自主研发的无人驾驶汽车Apollo还曾亮相2018年央视春晚。

再比如近日上海街头出现的地锁停车黑科技,当你停好车,协管员就会协管员将一张停车提示卡置于门把手上。停车7分钟后,停车位下的指示灯由绿转红,金属地锁升起,卡住车身底盘。取车时,用手机扫了扫地面上的二维码,停车时长、费用信息一目了然。支付停车费后,地面指示灯由红转绿,地锁降下,电子发票也能实时获取。

智能停车位

而这些都要依赖于人工智能数据标注的介入,对于行车视频进行采集,路况进行提取,停车点进行标注,包括D点云障碍物、红绿灯、车道灯及高精地图。为行人识别、车辆识别、红绿灯识别、车道线识别等技术提供精确训练数据,为智能交通保驾护航。

智能语音

智能语音即实现人与机器以语言为纽带的通信。人类大脑皮层每天处理的信息中,声音信息占20%,它是沟通最重要的纽带。人类对机器语音识别的探索始于20世纪50年代,迄今已逾70年。2016年,在深度神经网络的帮助下,机器语音识别准确率第一次达到人类水平,意味着智能语音技术落地期到来。

数据标注主要在语音方面的应用场景主要是语音语言采集,语音内容加工处理,情感判断,语音文字等转化。为语音识别(ASR)、语音合成(TTS)等提高质量语音数据让您的智能设备更懂得用户心声。我们常用到的小爱同学、天猫静音,手机语音输入,甚至包括有时候接到的营销电话都有着智能语音的身影。

图像处理之医学图像

医学图像处理是目前人工智能在医疗领域的典型应用,它的处理对象是由各种不同成像机理,如在临床医学中广泛使用的核磁共振成像、超声成像等生成的医学影像。

传统的医学影像诊断,主要通过观察二维切片图去发现病变体,这往往需要依靠医生的经验来判断。而利用计算机图像处理技术,可以对医学影像进行图像分割、特征提取、定量分析和对比分析等工作,进而完成病灶识别与标注,针对肿瘤放疗环节的影像的靶区自动勾画,以及手术环节的三维影像重建。

该应用可以辅助医生对病变体及其他目标区域进行定性甚至定量分析,从而大大提高医疗诊断的准确性和可靠性。另外,医学图像处理在医疗教学、手术规划、手术仿真、各类医学研究、医学二维影像重建中也起到重要的辅助作用。

得数据者,得人工智能

人工智能主要算法应用领域集中在计算机视觉、语音识别/语音合成,以及自然语言处理三个方面。

  • 1.图像方面一个新研发的计算机视觉算法需要上万张到数十万张不等的标注图片训练,新功能的开发需要近万张图片训练,而定期优化算法也有上千张图片的需求,一个用于智慧城市的算法应用,每年都有数十万张图片的稳定需求。

  • 2.语音方面头部公司累计应用的标注数据集已达百万小时以上,每年需求仍以20%-30%的增速上升,要求数据服务商不仅要掌握专业的声学知识、数据标注经验,还要拥有语音合成的算法能力。

  • 3.自然语言处理方面随着工业、医疗、教育的AI应用产品进一步爆发,将会有更多交互方式出现,自然语义数据处理的需求将会持续增长,有望成为继图像、语音之后的第三大增量市场。

这些海量的数据几乎全部依赖数据标注师手工进行标注,数据标注行业的缺口十分可观,并且数据标注已经在各行业产生了极广的应用,行业也开始逐渐升级,走向产业化。在行业发展的过程中,行业人才的培养必然是最大的内驱力。

“得数据者,得人工智能”。未来,随着AI应用场景逐渐多领域化,在数据标注行业内部,从业者也必将随着AI行业而一同进入细分市场追逐阶段,可谓机遇与挑战并行。


推荐文章

人工智能行业研究报告围涵盖AI基础技术及终端产品研究范围:人工智能是一门综合了计算机科学、生理学、哲学的交叉学科。凡是使用机器代替人类实现认知、识别、分析、决策等功能,均可认为使用了人工智能技术。作为一种基础技术,人工智能在很多行业都有用武之地。既有人工智能+基础行业的概念(如人工智能+金融=Fintech),也有其具体应用行业的概念(比如机器人)。按照技术应用的不同场景,可以将人工智能分为基础技术类及终端产品类,本报告研究范围涵盖以下领域:研究目的:本报告将集中探讨:„ 人工智能行业整体的发展现状与技术发展趋势„ 各细分领域投融资热度与技术成熟度„ 巨头在人工智能领域的布局与策略„ 各应用领域市场规模、竞争格局、进入壁垒、产业链上下游构成„ 行业标杆的商业模式、核心竞争力、未来发展预期目 录 Contents一、人工智能行业驱动力1. 行业驱动——数据量、运算力、算法技术2. 政策法规3. 投资热度国际投资热度分析国内投资热度分析国内公司运营数据分析二、人工智能产业链与巨头布局分析1. 产业链构成2. 巨头布局开源平台布局芯片布局技术布局一、人工智能行业概述三、人工智能基础应用介绍与典型公司分析1. 语音识别2. 语义识别3. 计算机视觉目 录 Contents五、人工智能在各行业的应用介绍与典型公司分析1. 机器人2. AI+金融3. AI+医疗4. AI+安防5. AI+家居六、人工智能芯片介绍与典型公司分析六、人工智能行业趋势展望1. 人工智能各行业综述2. 人工智能当前发展瓶颈四、人工智能芯片介绍与典型公司分析1. 人工智能芯片适用性分析GPUFPGAASIC2. 人工智能芯片产业链分析3. 人工智能芯片典型公司分析人工智能行业概述CHAPTER 1 • 行业驱动——数据量、运算力、算法技术• 政策法规• 投资热度国际投资热度分析国内投资热度分析国内公司运营数据分析636Kr-人工智能行业研究报告2017年2月数据量、运算力和算法模型是影响人工智能行业发展的三大要素。2000年之后,数据量的上涨、运算力的提升和深度学习算法的出现极大的促进了人工智能行业的发展。• 海量数据为人工智能发展提供燃料要理解数据量的重要性,得先从算法说起。数据量和算法可以分别比作人工智能的燃料和发动机。算法是计算机基于所训练的数据集归纳出的识别逻辑,好的算法模型可以实现精准的物体和场景识别。数据集的丰富性和大规模性对算法训练尤为重要。因此可以说,实现机器精准视觉识别的第一步,就是获取海量而优质的应用场景数据。以人脸识别为例,训练该算法模型的图片数据量至少应为百万级别。2000年以来,得益于互联网、社交媒体、移动设备和廉价的传感器,这个世界产生并存储的数据量急剧增加,这为通过深度学习的方法来训练计算机视觉技术提供很好的土壤。IDC数据显示,从2011年起,全球所产生的数据量已达到ZB级别(1ZB约为10亿GB ),海量的数据将为计算机视觉算法模型提供远远不断的素材。而关于数据量对提高算法准确率方面的重要性,更有学者提出:“It’s not who has the best algorithm that wins. It’s who has the most data. ”行业驱动力 · 数据量海量数据为人工智能发展提供燃料大数据训练模型 应用于具体场景算法模型 场景应用01020304050来源:IDC,36氪研究院2020数据量与准确率之间的关系 2009-2020年全球总体数据量(单位:ZB)20090%10%20%30%40%50%60%70%80%90%100%100 200 300 400 500 600 700 800 900 1000测试字符数量Window Memory-BasedPerceptron Naïve Bayes说明:window、memory-based、perceptron、naive bayes 均为不同算法来源:Stanford机器学习公开课,36氪研究院1.1行业驱动---数据量运算力算法技术1.2 政策法规1.3 投资热度全球投资热度国内投资热度国内公司运营数据分析准确率736Kr-人工智能行业研究报告2017年2月人工智能领域是一个数据密集的领域,传统的数据处理技术难以满足高强度、大数据的处理需求。 AI芯片的出现让大规模的数据效率大大提升,加速了深层神经网络的训练迭代速度,极大的促进了人工智能行业的发展。AI算法的处理需要大量的矩阵计算操作,因此特别适合使用并行运算芯片进行数据处理。而传统的CPU一次只能同时做一两个加减法运算,无法满足并行运算的需求。目前,出现了GPU、NPU、FPGA和各种各样的AI-PU专用芯片。而其中, 出现最早的GPU为人工智能的发展做出了巨大的贡献。擅长并行计算的GPU大幅提升机器学习效率。在GPU出现之前,算法运行的速度是很慢的,即使是一个简单的神经网络数据的培训,也得花费几天、甚至几周的时间。 1999 年,Nvidia 公司在推销Geforce 256 芯片时,提出了GPU( 图像处理器) 概念。GPU是专为执行复杂的数学和集合计算而设计的数据处理芯片。它的出现让并行计算成为可能,对数据处理规模、数据运算速度带来了指数级的增长,极大的促进人工智能行业,尤其计算机视觉领域的发展。GPU与传统CPU相比,在处理海量数据方面有压倒性的优势。 据Rajat Raina 与吴恩达的合作论文 “用 GPU 进行大规模无监督深度学习” 显示,在运行大规模无监督深度学习模型时,使用 GPU 和使用传统双核 CPU 在运算速度上的差距最大会达到近七十倍。在一个四层,一亿个参数的深度学习网络上,使用 GPU 将程序运行时间从几周降低到一天。今天,数据处理速度不再成为制约计算机视觉发展的主要瓶颈。想要发挥专用芯片的计算优势,需要芯片结构和软件算法两者相匹配。目前的趋势是,随着对人工智能各类应用需求的不断增强,专门用于加速人工智能应用的AI-PU或将成为计算机另一个标配组件。行业驱动 · 运算力运算力的提升大幅推动人工智能发展世界上第一款GPU-GeForce 256 中科寒武纪即将投产的 “寒武纪”NPU Altera的高端FPGA 产品 Stratix 101.1行业驱动---数据量运算力算法技术1.2 政策法规1.3 投资热度全球投资热度国内投资热度国内公司运营数据分析836Kr-人工智能行业研究报告2017年2月在深度学习出现之前,机器学习领域的主流是各种浅层学习算法,如神经网络的反响传播算法(BP算法)、支撑向量机(SVM)、Boosting、Logistic Regression等。这些算法的局限性在于对有限样本和计算单元的情况下对复杂函数的表示能力有限,对复杂数据的处理受到制约。以计算机视觉为例,作为一个数据复杂的领域,浅层学习算法的识别准确率并不高。该类识别原理多为通过寻找合适的特征来让机器辨识物品状态,由于这个处理逻辑是浅层的,不能穷举各种复杂的情境,因而算法拟合的准确率不高。深度学习突破人工智能算法瓶颈。2006年,Geoffrey Hinton 和合作者发表论文,“A fast algorithm for deep belief nets”,此后“Deep Learning(深度学习)”的概念被提出。以计算机视觉为例,深度学习出现之前,基于寻找合适的特征来让机器辨识物体状态的方式几乎代表了计算机视觉的全部。尽管对多层神经网络的探索已经存在,然而实践效果并不好。深度学习出现之后,计算机视觉的主要识别方式发生重大转变,自学习状态成为视觉识别主流。即,机器从海量数据库里自行归纳物体特征,然后按照该特征规律识别物体。图像识别的精准度也得到极大的提升,从70%+提升到95%。在短短几年时间里,深度学习颠覆了语音识别、语义理解、计算机视觉等基础应用领域的算法设计思路,逐渐形成了从一类训练数据出发,经过一个端到端的模型,直接输出最终结果的一种模式。由于深度学习是根据提供给它的大量的实际行为(训练数据集)来自我调整规则中的参数,进而调整规则,因此在和训练数据集类似的场景下,可以做出一些很准确的判断。行业驱动力 · 算法深度学习突破人工智能算法瓶颈72.00% 74.50%84.70%89.00%93.00% 95.00%60%70%80%90%100%2010 2011 2012 2013 2014 20152010-2015年 ImageNet 比赛图像识别准确率注释:ImageNet是计算机视觉系统识别项目。来源:36氪研究院过去 现在 未来Google translate语义识别准确率60%83.4% …注释:Google translate是语义识别项目。来源:36氪研究院1.1行业驱动---数据量运算力算法技术1.2 政策法规1.3 投资热度全球投资热度国内投资热度国内公司运营数据分析936Kr-人工智能行业研究报告2017年2月 • 其他国家人工智能相关政策各国均在政策层面强调和推动人工智能的发展。其中,美国侧重于研发新型脑研究技术;欧盟主攻以超级计算机技术来模拟脑功能;日本则聚焦以动物为模型研究各种脑功能和脑疾病的机理。政策法规 · 国外政策加码,人工智能发展如火如荼国家 相关措施美国• 2013 年4 月,美国正式公布“推进创新神经技术脑研究计划”(BRAIN)。得到政府拨款1.1 亿美元,覆盖美国国家卫生研究院(HIN)、国防部高级研究项目局、国家科学基金会。• 2014 年HIN 小组制定了未来十年详细计划,预计每年投入3-5 亿美元开发用于监测和映射大脑活动和结构的新工具,十年计划共花费45 亿美元。欧盟2013 年初,欧盟宣布了未来十年的“新兴旗舰技术项目”——人脑计划(HBP),该项目汇聚了来自24 个国家的112 家企业、研究所和高校等机构,总投资预计将达到12 亿欧元。计划在2018 年前开发出第一个具有意识和智能的人造大脑.日本2014 年9 月启动大脑研究计划Brain/MINDS。该计划为期10 年,由日本理化学研究所主导实施,旨在理解大脑如何工作以及通过建立动物模型,研究大脑神经回路技术,从而更好地诊断以及治疗大脑疾病。来源:36氪研究院1.1行业驱动---数据量运算力算法技术1.2 政策法规1.3 投资热度全球投资热度国内投资热度国内公司运营数据分析1036Kr-人工智能行业研究报告2017年2月 • 国内人工智能相关政策国内近几年也出台了相关扶植人工智能发展的政策,积极推动人工智能在各个细分领域的渗透。2016年5月,国家四部委更是颁布《 “互联网+”人工智能三年行动实施方案》,明确提出要培育发展人工智能新兴产业、推进重点领域智能产品创新、提升终端产品智能化水平。政策法规 · 国内政策加码,人工智能发展如火如荼实施时间 颁布主体 法律法规 相关内容2015.5 国务院 《中国制造2025》提出“加快发展智能制造装备和产品”,指出“组织研发具有深度感知、智慧决策、自动执行功能的高档数控机床、工业机器人、增材制造装备等智能制造装备以及智能化生产线,统筹布局和推动智能交通工具、智能工程机械、服务机器人、智能家电、智能照明电器、可穿戴设备等产品研发和产业化。”2015/7/4 国务院《国务院关于积极推进“互联网+”行动的指导意见》明确提出人工智能作为11个重点布局的领域之一,促进人工智能在智能家居、智能终端、智能汽车、机器人等领域的推广应用。2015/7/9 中央办公厅、国务院《关于加强社会治安防控体系建设的意见》加大公共安全视频监控覆盖,将社会治安防控信息化纳入智慧城市建设总体规划,加深大数据、云计算和智能传感等新技术的应用。2016.1 国务院 《“十三五”国家科技创新规划》智能制造和机器人成为“科技创新-2030 项目”重大工程之一。2016/3/18 国务院《国民经济和社会发展第十三个五年规划纲要(草案)》人工智能概念进入“十三五”重大工程。2016/5/18国家发展改革委、科技部、工业和信息化部、中央网信办 《“互联网+”人工智能三年行动实施方案》明确了要培育发展人工智能新兴产业、推进重点领域智能产品创新、提升终端产品智能化水平,并且政府将在资金、标准体系、知识产权、人才培养、国际合作、组织实施等方面进行保障。1.1行业驱动---数据量运算力算法技术1.2 政策法规1.3 投资热度全球投资热度国内投资热度国内公司运营数据分析1136Kr-人工智能行业研究报告2017年2月 • 融资规模与成立公司数量总览咨询公司Venture Scanner统计,截止2016年Q2,全球人工智能公司已突破1000家,跨越13个子门类,融资金额高达48亿美元。而人工智能创投金额在5年间增长了12倍。投资热度 · 全球全球AI领域融资金额5年增长12倍62 96 66 68 64 138 125 102 186 283 211 141 321 555 394 942 769 398 911 485 6361,04911211322 2038 37 38 43 50634770 77 84 809284120100134

热门文章

        对数据标注行业稍微有些了解的人都知道数据标注进入门槛低,适合很多人兼职也适合创业。        正是因为数据标注行业的门槛低这个特点最近两年从事数据标注的小公司小工作室如雨后春笋般的遍布全车大大小小的县城。        但是目前有个有趣的现象,那就是有很多进入数据标注行业做了一段时间的人慢慢的感觉数据标注行业就是个坑?为什么有些人会说数据标注就是个坑呢?        其实对与有上述问题认识的人我们认为,这些人多数都是有于对这个行业对自身条件的不了解,盲目的开始进入数据标注行业的。为什么我们会这样说呢?下面就给给大家来分析下到底有哪几方面的原因:        一、有相当一部分人是听了朋友或者网上消息说这行很火爆,好做,门槛低,也有一部分人了因此租办公室买电脑招人,然后就去群里面找分发项目的人就开张干起来了。可实际上这些人他们大多数都没有充分了解数据标注行业,更没有认真仔细得去调查分析,到底自己能不能做好一个项目,到底自己能不能有质有量按时交付的完成一个项目,到底自己有没有这个能力来管理项目。更多的人也没有去用长远的眼光去考虑数据标注项目。        二、数据标注项目虽然入门门槛低,但是相当一部分有于理解认知应变能力上都不能保证去做好数据标注项目,还有一部分人由于自己对标注项目重视程度不足接到项目之后呢?不仔细认真的去阅读理解项目规则,更没有很好的对规则质检标准去培训员工,而对员工的要求主要看重每天的产出效率,从而导致接到手的项目做的质量很差,频繁的返工,有提项目甚至因为质量太烂项目方不给结算或者是结算比例很少,最终的结果就是做好些个项目但基本都是赔钱。        三、虽然业内人都 说数据标注简单,但是标注项目他也是一个系统性的工程,一个项目能不能做好并不简单的看项目好做就能赔钱。实际上决定项目赚不赚钱考验的是一个团队的项目管理水平,质量管理能力,运营能力各方面因素的。一句话再好赚钱的项目也照样有人赚钱也有人赚钱,要赚钱不是那么简单的。        四、还有些工作室 、小公司因为对行业不够了解等他们做了一段时间后发现,自己团队经常会没有项目做,而自己团队接项目的业务能力又不具备,甚至有的时候为了员工有活干去接一些价格极低根本就不赚钱的标注项目,时间稍微一长这些工作室团队就会赔上很多钱最终关门倒闭。        五、下来要说的就是一部分人人兼职人员由于认识不到位,对项目的规则质量要求 文件不认真阅读消化理解导致做的项目质量差返工有的甚至最后不结算,最终退出这行。更有一些人由于经验不足被标注行业的项目骗子给忽悠到辛苦劳动到最后结算时找不到人。        标注行业本身由于进入门槛低,做的人很行业内盲目打价格战,导致很多转手二手三手的项目在质量工期的要求下根本就不赚钱甚至赔钱,所以在这里也提醒大家做任何事都要谨慎而行。