数据标注质量如何把控



态度是根本


现阶段数据标注主要依靠人力来完成,百万级的数据标注对于标注员来说是一个不小的压力。尤其是复杂的标注任务,合格率低、时间跨度大等因素对于标注员来说需要有强大的心理承受能力。如何缓解标注员这种焦躁的心情就显得尤为重要。对此行业有一套自己的经验方法:



122054.png


行业态度:我们以无人驾驶为例:上百年来BBA引领着整个汽车行业。在汽车整体产业里中国汽车品牌一直处于跟随阶段,核心技术的缺失导致国产汽车始终处于劣势。但是AI给了中国汽车品牌新的契机,中国汽车品牌在全新的起点与BBA同时起跑。赛道完成超车将一举改变中国汽车品牌劣势地位,全新的国产汽车将会驰骋在世界的每个角落。以蔚来汽车、小鹏汽车等国内全新汽车品牌为例,核心技术的突破以及AI应用的延伸,我们将翘首以待中国汽车品牌的崛起。


行为态度:还以如人驾驶为例,我们标注的数据将会在AI场景中应用。如果因为标注质量的问题,将会直接影响无人驾驶的行车轨迹甚至是驾驶的安全。我们每一次鼠标的点击都是对AI的一次哺育。AI就像是个孩子,我们要用最精细的心态来呵护他,因为他的成长将会改变我们的未来。


格局决定高度,标注任务必须要精细,因为我们的标注员在做的是一个足以改变格局的事情,我们没有理由懈怠。我们在从事的是AI服务行业,我们提供的AI数据将会直接运用到AI场景,这是一种责任。


技术是核心

标注不只是人力叠加的工作,而是一种技术输出手段。在做标注工作时需要有一款操作简单易用的标注工具,这样才会更好的完成标注任务需求。AI企业对于数据标注是多样化的,任何场景下的任何事物都有可能成为标注需求。拥有一个强大的标注技术平台将会保证标注质量的同时,提升整个标注效率。


标注工具:长期以来重视技术和研发,拥有核心技术标注平台,在数据标注领域积累了丰富的经验。汇集:绘制工具、编辑工具、放大缩小工具、标注列表工具、随时批注工具、事例图参考工具等强大标注工具,可实现点、面、不规则多形态的数据标注需求,具备对任何数据进行标注。与此同时,在研发更加智能和便捷的标注技术,在未来,会使数据标注更加高效。


审查是关键

一些AI企业在交谈中透露,之前的一些标注企业提交的数据参差不齐,无法运用到深度学习中去。返工、二次返工的经历时有发生。在数据标注行业,审查一直是一个非常重要的环节。每一个项目都将会经历“人员培训、标注测试、正式标注、人工审核、交叉抽查”五个近似苛刻的不同阶段才会交付到客户手中。


 


 

逐一审查:需要指出的是在人工审核阶段,要求审核员对每一个数据做到逐一审核,不放过任何一条数据。而在交叉抽审阶段,任何一点的数据不匹配都将会打回重新审核提交。

在数据标注行业,有一个好的态度、一个好工具以及一个严格的章程制度,数据标注效率和质量才会大大提升。


郑州点我科技坚持开放共赢的姿态拥抱数据服务行业,愿同整个数据服务行业携手,共同推进数据服务发展进程。

推荐文章

户型图家具标注规则和视频教程下载视频点击视频右下角三个点多看几次教程规则下载标注规则更新430.docx问题总结.docx1、如果能直接通过外观观察确认家具的类别、大小及其数量,需要准确标注;在能通过外观观察确认家具的存在、形态及其数量的前提下,如果能通过相互关系(如沙发茶几的搭配)确认的家具, 需要标注准确类别。反之(如阳台遮阳伞下不确定数量、形态的家具),则不标注。2、如果遇到局部遮挡的已确认类别的非主要家具(如被餐桌遮挡的餐椅),可以自己推测标出其大小及范围。3、 如果不能准确确定类别的,或者可能有歧义的“非主要”家具,那么可以不标。4、 如果无法标注的家具在这个区域内是主要家具, 那么这个区域可以整体留白不用标注(包括家具及空间)。5、 如果遇到异形家具,根据具体的家具进行标注: a)餐桌为圆形,那么舍弃椅子, 用一个接近餐桌面积的矩形标注餐桌即可。 b)沙发为L形, 那么拆开为两个矩形进行标注。 c)柜子为不规则形状, 拆开为多个矩形拼接标注。 6、空间标识标记的前提是四面环墙, 除了客厅餐厅。下面的衣帽间空间用途就是错误的。7. 关于窗户,大部分是按基础图示表示,但是因为数据底图种类繁多,导致画法不一定相同。这个时候,要看一下阳台窗、卧室普通窗、飘窗和墙体的对比,如果有明显不一样可以区分,而且相应的窗户在这个位置合理。就可以标注了。如果落地窗和普通窗难以区分,那么都标普通窗也是可以的。具体情况具体分析,不明白请截图过来一起讨论。标注流程 (调整包括调整墙体门窗、家具位置方向大小、选定空间用途)具体家具床类:顶端贴墙,箭头指向床尾方向。床尾凳:方向和对应床方向一致。榻榻米:榻榻米一般三面贴墙,箭头指向唯一不贴墙方向。床头柜:和床的方向相同。 沙发:靠墙的贴墙标记,不靠墙的按底图位置标记,方向由靠背指向坐垫方向。如果是L型沙发则用两个沙发矩形拼接,如果是弧形沙发则外包矩形。茶几:面向主沙发(即人使用方向)。其他小茶几或者边桌考虑它储物空间的位置朝向,原理和斗柜、衣柜相同。各种柜子如斗柜衣柜装饰柜橱柜阳台收纳柜书柜等:贴墙且方向指向拉门或者开抽屉方向。储物间符号不明的柜子按衣柜标注。餐桌餐椅:餐桌朝向有餐椅的方向,餐椅逐个画出且方向指向餐桌。适当画出餐椅被餐桌遮挡部分。玄关柜和鞋柜和餐边柜区分:鞋柜比较窄小低矮,玄关柜通常较高较宽。如果柜子嵌在门口墙壁里大多数是玄关柜;如果柜子较小且上面有摆件则大多是鞋柜。如果在餐桌旁边一般是餐边柜。如果只有一个柜子既符合餐边柜又符合鞋柜玄关柜,那么优先鞋柜玄关柜。空调:立式与悬挂,方向箭头指向通风口。空调器外机ac 不用标。立式大多数在客厅,悬挂大多数在卧室。 橱柜:先选中橱柜分类按照底图用矩形拼接出橱柜形状,然后分别选择灶台和水槽在橱柜矩形上层对应标记。有烟道的注意不要覆盖烟道。烟机:一般形态为覆盖在灶台上的或者虚线或者实线的矩形。冰箱:一般在橱柜旁边,箭头指向开门那一面。 浴缸:浴缸一般三面贴墙,箭头指向唯一不贴墙方向。淋浴:标记隔断内区域或者没有隔断的标注人体活动范围,注意必须贴墙。浴缸淋浴旁边如果有平台类结构,拉长标记覆盖。卫浴柜和水槽:卫生间里面的洗手池一般标卫浴柜,阳台和橱柜上的水槽标水槽。坐便器:第一个可能是在水箱是放了些东西,所以只是坐便器;第二个后面是平台或者墙体包围管道,所以要标墙。不标墙的话就成了坐便器离墙有距离,不合理。总体原则按图标。 圆形家具:外接矩形标记。绿植:盆栽外包矩形标记,如果以一片绿植形态出现则标记该区域。飘窗上绿植需要标记。洗衣机:一般在阳台,也有少数在卫生间等地方。入户花园可以标注为阳台。一些不易区分的图像(不完全,只是一些举例):空调淋浴书柜其他户型1.主要户型区域外的房间不需要标注并且删掉。 2.主要户型之外的楼梯、电梯可以不标。3.如果出现两户型图并列在一张纸上;没家具少家具;比例尺有问题(看下面判定方法);图片变形;重复图片;明显是拍照拍出来的;立体图;不是户型图的其他图;清晰度实在不高;有大面积斜墙的图片等,麻烦上报id给我们删掉,不然这些也是不算数的。4.比例尺判定一是从家具角度,标注图上hight或width不现 实的,比如双人床长2.5m,宽1m。(只是举例子)二是从户型图精确度角度,横纵比例差太多,在其中一条比例尺设定完成后比对一下第二个比例尺,另一条差值范围超过20%则不合格。(动图给你们发过)5.没有比例尺的图片,用界面上的比例尺测量床的长度为2000或者柜子厚度600。总结一下:3、4为了判定图片是否合格,在合格基础上看1、2选择可以标注的部分,然后用5来设定比例尺。(当然以上五点是少部分情况)细节(有待补充)最关注的地方:方向、范围、类别,相互之间的配合。不允许出错的地方:同上容易出错的地方:忽视已经识别好的户型不加修改。

热门文章

滴滴语音标注规则要求及视频教程
一、标注环境1. 请使用谷歌浏览器进行标注。2.标注平台地址:http://label.xiaojukeji.com/labelerTaskList二、标注内容1. 语音有效性标注无效语音请在有效性一项选择“无效”,并在标注文本一项标注大写字母“NULL”。有效语音请在有效性一项选择“有效”。当语音出现下列任意一种情况,即可标注为无效语音:1) 说话人声音极小,小到几乎听不到。2) 整段语音均为静音。3) 整段语音均为噪声、音乐声、导航音、广播等。4) 整段语音只有一个字,或是同一个字重复出现。如:“嗯”、“对”、“对对对对”、“啊”、“喂”、“拜拜”、“谢谢”、“好好好”、“OKOK”等。(注意:“哇噻”属于特例,单独出现时也是无效的。)5) 背景噪声大于说话人声音,或噪声与说话人声音几乎一样大。6) 整句都是方言、外语。方言是指发音与普通话区别较大的地方话,如:粤语、上海话等。7) 语音中出现地点、地名、街道名等方位词,但是地图中搜索不到。8) 语音中有大于等于两个人说话,除主说话人以外,其余人的声音清晰可辨。9) 语音中有大于等于3个字听不清楚。 2. 语音文本标注1) 语音文本内容将说话内容写成文字。要求转写的文本内容必须和听到的语音完全一致,不能多字、少字。a) 除空格、占位符号、以外,标注文本不允许使用标点符号,不允许换行。b) 说话人犹豫、口吃导致出现重复的字也要标注出来,重复了几次就标记几个。如发音为:我是北北京人;“北”字有重复现象。转写文本应为:我是北北京人c) 儿化音不需要标注出“儿”字。如发音为:我在/zher4/。转写文本应为:我在这d) 语音中提及地名、街道名、车牌号等内容,转写时需符合日常习惯。选用“路”、“街道”、“门”、“座”、“桥”等地名常用字以及“京”、“津”、“冀”等车牌号常用字。e) 语音中提及地名、街道名、店铺名、专有名词,需要准确转写。可根据读音在地图中查找,确实存在该地点则进行准确标注,搜不到则无效;f) 语音中确实听不清楚的个别单字,用占位符号【~】标记。一组【~】符号代表一个字。在整段语音中,最多只能有两组【~】符号。若有三个字或更多听不清楚,则标注为无效。(见“语音有效性标注”第8条)g) 语音中不涉及地名、专名的部分,若发音清晰但文字不确定,可以用同音字标注,要求标注用字的声韵调与实际发音完全一致。如发音为:我姓/zhang1/。标注成“我姓张”或“我姓章”都算正确。h) 数字要写成汉字形式,注意区分“一”和“幺”、“二”和“两”,按实际读音写。i) 英文字母要转写成大写字母。j) 音频中说话人清楚说出的语气词,如“呃、啊、嗯、哦、唉、呐、呢”等,要按照正确发音进行转写。语气词除了“了、不”没有口字旁,其他基本上都有口字旁。注意:语气词“唉”、“诶”不分的,统一用“唉”。 3.语言情况标注1)语音中全部内容均为中文,请选择“中文”。2)只要语音中含有英文,不论是单个字母还是单词、不论出现的数量有多少,都需要选择“英文”并且字母全部大写。1、遇到英文单词和英文字母都需要用英文大写形式表现。例如:SORRY SORRY我现在在阜成路麻烦你掉个头2、单词与单词之间加空格 。例如:我把我的APPLE SEVEN PLUS落在了车上麻烦师傅还给我一下3、字母与字母之间加空格。例如:我下了好几回这个A P P了但是怎么安装都是失败的请问客服我该怎么办4、英文单词或者英文字母与汉字之间不需要空格。例如:我的车牌号的京A三六七八5、特殊字:对于OK这一类常用词,默认为一个单词,尽管是拼读成字母发音的。对于无从适配上述规则的及时与我们沟通 4. 说话人性别标注按说话人的音色实际情况进行标注。若无法明确区分男女,不论是成人还是儿童,都标注为“女”。三、标注常见问题总结1. 短句如何判断有效性?答:短句只要有大于或等于两个不重复的音节,即为有效。例如“嗯好的”、“明白”、“可以”等。 2. 有明显口音,但能听懂,需要标注吗?答:口音但不影响理解的,音频中个别几个字的方言可以使用同音字标注。听不清音节的方言也无法使用同音字标注的,可以使用【~】,大于或等于三个字需使用【~】符号的情况下。参照“语音有效性标注”第8条规则,标记为无效。 3. 标注时有的口音能听懂,是按听的音来标注还是按普通话来标注,标注需要符合现实逻辑吗?答:一般情况下口音按实际发音来标注。以下情况请特别处理:常用词语和专有名词需按现实逻辑标注(如:发音是“现/xian4/生”标为“先生”,“滴滴专/ce1/”标为“滴滴专车”等等) 5. 音频中一串数字如【12531】转写为一二五三一还是吆二五三吆?答:转写的文本要和语音实际读法完全一致。若读为yi1,则写一;读为yao1,则写幺。同理,“二”、“两”、“俩”;“三”、“仨”也需要区别使用。 6. 一段很短的音频中语速过快,有时候听起来像三个字又像两个,是不是都能判断合格?答:短音频且内容无法听清的情况下,标记为无效。长音频中很小的一部分,无法确定内容时,参照“语音文本内容”下f项、【~】符号使用规则进行。 7. 一段音频中语速过快,能听清某些音节但大多部分不能做出准确判断写不出是否可以判断无效?答:判断为无效 8. 一段音频中出现导航仪发出的声音或者只有导航仪的声音算噪音吗?答:整段只有导航音,标记为无效。只有一部分出现导航音的时候,看声音大小,如果与说话人音量接近或者大于说话人声音,标记为无效。 注意:如果一句话里面只说了几个字方言,其他都是带口音的普通话,不要直接标无效,那全方言的字按听到的音来标,比如:说的是上海话gege,就标成“葛个”,而不是标成“那个”。语气词无法转写的可以找同音字或相近音字转写;全方言无效 关于地点、地名、街道名等方位词,这些词我们需要使用地图搜索引擎搜索如果地点、地名、街道名等词语很长且词发音很清晰,但使用地图搜索引擎搜索不到这个地点。即使这句话其他部分可以完整的转写出来,但依旧视为无效。二、关于英文转写原规范为:英文字母要转写成大写字母。        细化:1、遇到英文单词和英文字母都需要用英文大写形式表现。例如:SORRY SORRY我现在在阜成路麻烦你掉个头2、单词与单词之间加空格 。例如:我把我的APPLE SEVEN PLUS落在了车上麻烦师傅还给我一下3、字母与字母之间加空格。例如:我下了好几回这个A P P了但是怎么安装都是失败的请问客服我该怎么办4、英文单词或者英文字母与汉字之间不需要空格。例如:我的车牌号的京A三六七八5、特殊字:对于 OK 这一类常用词,默认为一个单词,尽管是拼读成字母发音的。对于无从适配上述规则的,我们及时向海瑞提出。三、噪音符号这部分,这部分依旧不用添加。 四、关于标普、方普、方言如何转写    1、标普:就是普通话,我们是一定要转写的。    2、方普:就是方言普通话,例如广州人说普通话,上海人说普通话,天津人说普通话等等,这些是需要转写的。只是他们在说普通话的时候会有一些口音。例如发音说:我现在湖南(fu2声 lan2声)长沙市中心你来接我一下     他说的是“fu lan”我们正常书写成“湖南”即可。    3、方言:直接视为无效即可,例如:粤语、上海话、江苏话等等。