数据标注为人工智能提供结构化的训练数据。



数据标注为人工智能提供结构化的训练数据。

机器学习的模型和儿童学习的方式类似。回想一下当一个孩子观察一个新事物时,比如当天第一次观察一只狗时,他会得到这个场景中的一些反馈比如记住这种狗的特征如有毛,两只眼睛,一只尾巴等等,于是当这个孩子下次再碰到狗时,他就能辨别出来。


机器能从我们提供的训练数据中学习。利用这一特性,我们可以调控算法来发现事物之间的关系,检测模式,理解复杂的问题和做最优决策。最终,我们提供的训练数据的质量,多样性和数据将对我们机器学习算法模型的成败产生重大影响。
训练数据的内容和形式经常是指:在终端应用角度被用来训练机器学习模型的被标注的或者人为标注的或者ground truth的数据集。下面我们列了一些可以用来训练不同种类的机器视觉模型的已经标注好的数据。


1.用于自动驾驶的道路检测


<img src="https://pic3.zhimg.com/50/v2-a7311069140d6f38dabd5ccee10db5c2_hd.jpg" data-caption="" data-size="normal" data-rawwidth="637" data-rawheight="338" class="origin_image zh-lightbox-thumb" width="637" data-original="https://pic3.zhimg.com/v2-a7311069140d6f38dabd5ccee10db5c2_r.jpg">


2.面部特征识别


<img src="https://pic3.zhimg.com/50/v2-4c139798b144391b407376092b16e06f_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="526" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic3.zhimg.com/v2-4c139798b144391b407376092b16e06f_r.jpg">


3.像素级场景理解


<img src="https://pic2.zhimg.com/50/v2-729a36eee82b57332a7076ee711d8041_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="440" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic2.zhimg.com/v2-729a36eee82b57332a7076ee711d8041_r.jpg">


4.汽车图片故障检测为保险理赔提供依据


<img src="https://pic3.zhimg.com/50/v2-fd810615903e20a445b52fc3d948ff7f_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="394" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic3.zhimg.com/v2-fd810615903e20a445b52fc3d948ff7f_r.jpg">


5.从2D图片中预测3D维度


<img src="https://pic1.zhimg.com/50/v2-f2fa6810ff289512bfa49858a4bad5d6_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="402" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic1.zhimg.com/v2-f2fa6810ff289512bfa49858a4bad5d6_r.jpg">


训练数据的重要性?
简单来讲,训练数据就是用来训练机器学习模型的标注好的数据。你可能需要大量的训练数据来使你的模型准确度更高,但是一般情况下,你具备足够的训练数据的可能性很低。


公共数据集通常是没有结构化的并且很难被划入某个特殊的类别。唯一的方法就是把这些数据都看一遍从中挑选出对你有用的数据


如何去获得训练数据?
通常情况下只要单个公司或者少数项目组的人是收集不到大量的训练数据的或者需要耗费算法研究人员大量的精力。不要担心,我们将利用我们数量庞大的标注员专业的帮助您收集足够多的训练数据,不管您需要的是2D框,点,图像分割或者任何形状,我们都能快速的帮助您获得高精度,高重复利用率的训练数据。


好奇我们可以提供哪种类型的标注?下面是一些我们做够的项目案例,比如自动驾驶,无人机,智能农业,卫星影像,视频安防和运动分析的图像标注。


我们也支持多种图像标注类别比如:


2D框
形状分割
3D立方体标注
线标注
地貌/点标注
语气分割
3D点云标注




关于训练数据的FAQ


什么是训练数据?
训练数据是用来训练机器学习算法和提升准确率的标注好的数据


什么是test set?
每个机器学习的模型需要在真实的世界中测试当它遇到新数据时的准确度,就好像一个学生在考试时遇到没有见过的题目一样,机器也需要这样的测试。这样的测试数据就是test set。


什么是验证数据Validation data?
当用某一个特定的数据集训练ML模型时,我们需要确保模型训练基于整个数据集的分布。因此我们“喂养”模型的标注数据被分成了训练数据和验证数据。这样可以确保机器学习的模型是基于整个数据集而产生的


我们应该如何把一个数据集划分为测试和训练数据?
每个数据集的内容都是不一样的。我们需要了解相应领域的知识来决定如何把标注的数据划分为训练和测试数据集。一般根本你想要测试您的模型的表现的意愿程度,训练数据:测试数据的比如通常为80:20或者75:25


一般多少训练数据是足够的?
每个领域有不同的算法所有需要不同的数据。但是总体而言,机器学习领域普遍认为,数据越多,模型的准确度和重复调用行越好


我们怎么获得免费的训练数据?
在互联网上你可以找到很多免费的训练数据集。很多科研机构也把他们采集的训练数据集共享给大家。


机器学些中训练数据和测试数据的区别?
训练数据,指的是我们用来训练或者教会机器模型或者算法的标注数据。
测试数据,指的是我们用来对模型的最终效果提供公正的评估的数据.

作者:edge
链接:https://www.zhihu.com/question/30654399/answer/369067570
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

推荐文章

主要任务:将图中所有,无论虚线与实线,遮挡与否,同一条车道线的所有部分连起来标注,并延长到视野尽头及图片底部标注规范:只标采集车可以走的这一侧道路,被隔开道路不需要标注。(例如高速上有护栏分割的来向车道上的车道线就不用标)但是即使是逆向道路或高速匝道,只要和主干道(采集车在的道路)联通就要标标注出来的车道线,采集车左边的车道线的画右边界,采集车右边的车道画左边界。位于采集车车下的,偏向采集车左侧的车道线的画右边界,偏向采集车右侧的车道线的画左边界  虚线连起来标注,无论虚线还是实线被遮挡部分需要预估车道线分别有实线和虚线是,需要分开标注确认有车道线的前提下:分辨不清是实线或虚线,优先实线  双车道线只标注靠近车辆的一条线【左虚右实】【双实线】  标注示例:    规则说明:类型:1)单实线:两条车道之间只有一条实线。2)单虚线:两条车道之间只有一条虚线。标注时虚线要脑补成实线进行标注。(导流线、车道分叉及车道交汇场景出现的胖虚线也是单虚线;转弯待转区两侧虚线也为单虚线)3)双实线:两条车道之间只有两条实线。只标注靠近采集车一侧的车道线的内侧。(一般用来区分不同向车道)4)双虚线:两条车道之间只有两条虚线线。标注时虚线要脑补成实线进行标注,只标注靠近采集车一侧的车道线的内侧。(一般用来区分不同向车道)5)左虚右实:两条车道中间同时出现实线及虚线并列为一组的情况,且虚线位于左侧,实线位于右侧。只标注靠近采集车一侧的车道线的内侧。6)左实右虚: 两条车道中间同时出现实线及虚线并列为一组的情况,且实线位于左侧,虚线位于右侧。只标注靠近采集车一侧的车道线的内侧。7)其他:其他未涵盖的车道线类型8)路沿:采集车所在车道的两边护栏与地面的接线,一帧图片至多两条9)车位线:用于标注停车位左侧的线,用于城市场景10)减速线:用于标注单实线/单虚线带有减速线的线,边界同车道线一致标注靠近采集车一侧   编号:以采集车为中心注:路沿和车位线编号属性只有1和-1,采集车左侧的为-1,采集车右侧的1       减速线编号同带有减速线的车道线编号一致,其他正常标注A.左侧车道从右至左依次为-1、-2、-3、-4,超过四条及以上为其他(编号示例图)如图B.右侧车道从左至右依次为1、2、3、4,超过四条及以上为其他(编号示例图)如图 C.编号0用于采集车压住车道线时使用 注意:车道线在图像中线附近,明确压线的图片标压线。无法判断,好像压好像不压的不明确的不用标压线。以采集车为中心,车道中心线画在采集车剩余面积多的一侧如图;  特殊情况正常车道线正常情况车道线分叉一条车道线分为两条车道线交汇两条车道线汇为一条道路分界线和路沿紧挨着的车道线(多为单实线)特殊车道线同一条车道线属于多个【特殊情况】注:【正常】【车道线分叉】【车道线交汇】只在涉及到的线上选择相应属性(分叉跟交汇不是全图都选的,只在交汇或分叉的线上选、其它选正常)道路分界线同车道线分叉或交汇同时出现时优先分叉/交汇例图:正常:   车道线分叉(包含导流线的情况)      车道线交汇(包含导流线的情况)      道路分界线 特殊车道线     4.副编号1)车道线正常:不选择副编号无论是分叉还是汇合:a.有导流区存在的情况的主线(合并线)编号为正常编号,无需副编号,两条支线根据相对位置标为  "主线编号-副编号",主线右侧的支线的副编号为1,主线左侧的支线副编号为-1;b.没有导流区的,两条支线为正常编号,合并的主线设置编号为: “支线1编号+支线2编号”,(即主线编号为支线1编号,主线副编号为支线2编号)有导流线副编号用-(1) -(-1),无导流线用+ 如下图   5.颜色:【白色】如单实线颜色【黄色】如双黄线颜色 6.特殊点脑补车道线: 标注完成的车道线需将脑补的部分(即被车辆、行人遮挡的部分)单独标出来,操作如下:1.选择特殊点标注2.选中需要标注的车道线,将标注好的车道线标注时打的点进行二次操作,赋予起点和终点属性。3.脑补部分必须既有起点又有终点。 虚线车道线 标注完成的虚车道线,需要将每一段虚线的起止端点标出,操作如下:1.选择特殊点标注2.将标注好的车道线标注时打的点进行二次操作,赋予起点和终点属性。3.如果线段的端点被遮挡,则该端点不用标注。4.远处过于小过于模糊的可以忽略不标记   7. 路沿:标注范围:采集车所在道路两侧路沿,即护栏与地面连接处;需要标记相对位置,道路左侧的路沿统一为-1,右侧的路沿统一为1;(其他属性使用默认即可)     即采集车在主路时,标注方法如下图(匝道右侧路沿画法参考箭头;主路两侧路沿尽量延伸)  即采集车在匝道时,标注方法如下图(主路左侧路沿画法参考箭头;主路左侧路沿未画区域非当前行驶道路,故不画;) 近处被遮挡的路沿需要脑补出来,远处看不到的路沿不用脑补。路沿两侧必须都标出来,如果只有一侧则尽量脑补出另一侧的路沿;(严重拥堵另外见规则)若车辆拥挤等导致两侧路沿均无法看见,不用标注。在路过匝道时,图中出现2条以上路沿,需分段标注,同侧路沿编号都为同一编号。难点示例图如下:(箭头是指需要画到采集车前方路沿的衔接处)       错误画法: 正确画法:    错误画法: 正确画法:   8.脑补1.合理,即为参考道路特征,其他线的情况。坚决不能压护栏,不能急拐弯。延伸要合理延伸,不要歪。2.贴地面,即脑补的部分不能够翘起来,要紧贴地面3.控制脑补距离,即脑补的部分脑补至视野尽头即可,不用过多脑补,太远难以判断的可以适当减少脑补4.车道线之间的脑补部分一定不能交汇5.确实没有(不是因为遮挡和磨损)的不脑补6.靠近采集车一端的车道线一定要延长至图片底部(不包含采集车部分)。新增脑补注意点:1.对于远端车辆拥堵,难以判断车道线走向的图片,不需要远端脑补;2.如果一条车道线只有个别车辆遮挡,可以明确判断车道线走向的图片,需要脑补;3.近端车道线都需要脑补到近端;4.车道线人眼都看不清的,不需要标注;5.所有车道线在可以确定范围内尽量脑补;6.主干道中的车道线保持相互平行,长度一致;7.车道线脑补时参考:护栏,其他车道线,车流走向 

热门文章

        AI人工智能的迅猛发展得以于计算机深度学习技术的快速发展,而说到深度学习技术它又必然离不开底层基础的数据标注。        而在今天对于这种深度学习技术的基础数据标注工作也有相当一大部分人群不知道它到底是怎么个回事?什么是数据标注?数据标注是做什么的?这种问题就连一些从事这方面工作的人也有说不明白的。        要说起数据标注那我们也就不得不说下从事数据标注工作的数据标注员这个群体。人工智能、深度学习”这种名词看似高深莫测非常高大上,但目前提供给机器深度学习的数据标注采集等工作,仍是基于密集劳动力的人工智能数据标注产业。数据标注员和工厂流水线上的操作员也是没有多大区别的,可能有很多人觉得不可思议,但是目前这种情况 确实是事实。        那到底什么是数据标注呢?        要理解数据标注我们先来举个简单的例子:小时候大人教我们认识花朵时会指着花草给我们说 花会好多颜色,具体什么花开什么颜色,那我们就会慢慢记住什么花开什颜色。而人工智能深度学习也是和我们人类认知事物是一个道理。        人工智能深度机器学习的前提也是数据标注员根据不同的图片、语音、文本等数据标识出各种功能标签然后机器学习根据不同标签来认识出不同的事物。        数据标注是通过数据标注人员借助计算机标注工具软件对人工智能学习数据进行加工的一种行为。通常数据标注的类型包括:图像标注、语音标注、文本标注、视频标注等种类。标记的基本形式有标注画框、3D画框、文本转录、图像打点、目标物体轮廓线等。        目前大多数的数据标注工具软件都是支持图像、文本、多边形、视频等多种类型的。        根据全国范围内的不完全统计,目前全国数据标注行业的从业人员已经达到 100万之多。在人工智火热与闪亮的背后,数据标注产业作为做基础的支撑确实处于行业的低端下游的。