通用语音数据标注规则


2、标注规范 ——3项(文本、无效、性别)

 

 注: 文本正确率:95%     其它(无效+性别)正确率:95%

 

注:一定不要多字、漏字!!

2.1性别

类别

分类

定义

性别

童声

童声指小孩非常稚嫩的声音,大概是在5岁以下的范围。大孩子的声音归到男女。

其他

没有人声,或者男女混声的统一规为其他

 

注:女生之间的对话性别是女,男生同理;只有男女相混的对话是其他

2.2判断是否为无效语音

无效:

1、主体人声音的前面、或后面、或中间:有一段安静或噪声等非人声 ,长度在2秒以上(宽条是0.3秒)。

【注意整句无人声的不是无效】

2、声音是转格式转错的。

无效语音,直接打勾,文本不用修改。

3.全英文的句子听不懂标无效

有效:其它都是有效

 

2.3修改文本

标注文本,目的是耳朵听到“普通话或带口音的普通话”标成普通话文本,严重听不懂“方言”,可标注#

2.3.1标注#的情况

(1)听不懂、听不清的词或方言标注#

(2)英语语句中,听懂的单词标注出来,听不懂的标注#

3)除英语外其他国语言#,发音如“萨瓦迪卡”,“阿尼哈塞呦”等必须标#

4)粤语标注#

5)噪音标注#

6)遇到拼音标注#,如“阿啵呲嘚”等拼音

7)整句无人声,只有噪音,不超过2S的标#,如一个人整句咳嗽声

 

注:

#可以代表一个字不清楚或者几个字不清楚;

一句话中可以出现最多两个#,但不能 同时  ##  这种形式出现;

最多可以 #文本# 这种形式出现;

2.3.2姓名问题

(1)姓:必须标注正确,确定是有这个姓

2)名字:名字可以打同音字

 

2.3.3地名问题

(1)省市等较大地名必须查清楚,不能出现错字:如浙江省无锡宜兴市

 

2)较小的地名,如村镇以及道路、小区等可标注同音字。

 

2.3.4数字问题

1)听到的阿拉伯数字写成汉字,如“一二三四五”或“幺二三四五”

 

2.3.5儿化音问题

(1)带儿话音的,可以写出“”字,并且加括号;或者直接不打儿化音,皆可
例如:我得了5分儿,文本要写成:我得了五分(儿)/我得了五分


注意:不是儿化的不用加,如女儿,婴儿等不是儿话,就不能加在“儿”字上加括号。

 

2.3.6语气词问题

(1)注意口语的字口语中,结结巴巴说出的,要写出对应接接巴巴声音的字。

 

(2)口语中,“嗯”、“哦”、“啊””等,要准确对应文本。例:声音“呀”,不能写成:“啊”

 

2.3.7英语相关问题

(1)单词:英语单词,整个单词要小写。如“happy

 

(2)字母:说字母的写成字母,要写成大写。如“A  B  C  ”。注意:QQ、MSN,是字母发音,要写成大写。

 

注:英文单词发的不标准,如能听出是哪个单词,就写单词。

整句都是英文句子的情况:

一句话中发音不清楚的单词,标#,发音清楚的单词必须写出单词

整句英文都听不清楚时,标为无效,不要整句标为#。

英文用中文谐音写出来的,算错。如:black 写成 布莱克 算错

一些地名,人名按英文读的,需要写英文,如:I am gonging to shanghai  不能写成“上海”

其他国语言,发音如“萨瓦迪卡”,“阿尼哈塞呦”等必须标#

 

 

2.3.8混音问题

混音包括3类:

1、当前电话通话的两个人同时说话,相混

2、当前人声与较亮或尖锐的音乐声(如铃声、汽车喇叭)相混

 

混音部分的标注方法:

1)如果非主体人插话不影响对主体人说话的理解,标注员可以听出主体人说话的字,则要求写字。(不要出现一个音对应两个字)

例如:非主体人插入的话,音量小、字数少,可忽略当成没听见。

 

2)如果非主体人插话,造成标注员已听不出主体人混音部分的字,则要求混音部分标#

 例如:非主体人插入的话,由于音量过大相混在一起,听不清主体的话,混的部分写#

 

3)如果音乐声相混,不影响对主体人说话的理解,标注员可以听出主体人说话的字,则要求写字。

如果音乐声相混,造成标注员已听不出主体人混音部分的字,则要求混音部分标#

3:增加#的情况

人声中出现突然间的大噪音且与人声不相混,包括铃声、叮声、咳嗽、扑话筒、有大的音乐背景等,写1个#。

人声前边或后面出现一片乱乱的小声说话、持续的背景噪音,写#和不写#都可以。

注意:安静的静音处,不能写#。

 

 

2.3.9 标注页面蓝条与黄条使用

 

蓝条和黄条的功能有3个

1尺子,表示0.3秒,可以用于量取2秒判断无效。

2选中功能。选中的是播放蓝条最左端到黄条最右端的声音。当语速特别快时,建议分段选中去听,写下文本,正确率会提高。

3确定#在哪儿出现。

 

 

 

标准普通话与带口音的普通话对照表:

类别

定义

特例

举例说明

无口音

拼音、声调都正确

轻口音

拼音对,声调不对

n和l不分;

n和ng不分;

z/c/s和zh/ch/sh不分

属于轻口音

那个,发音:la4 ge5(标准na4 ge5 )

电信,发音:dian4 xing4(标准dian4 xin4)

平时,发音:pin2 shi2(标准ping2 shi2)

政治,发音:zeng4 zi4(标准zheng4 zhi4)

刚才,发音:gang1 chai2(标准gang1 cai2)

重口音

拼音不对

(n和l不分;n和ng不分;z/c/s和zh/ch/sh不分)除外

湖南,发音是 fu2 nan2(标准hu2 nan2)

歌曲,发音是guo1 qu3(标准ge1 qu3)

 

推荐文章

教育行业内已经普遍认可“人工智能+教育”的重要性了,但当我们在大谈特谈 AI 如何重构教育时,它又会面临哪些真正的挑战?7月13日,新东方 AI 研究院院长瞿炜来到 2019 钛媒体 T-EDGE 科技生活节谈了谈他的看法。作为一家创立已经26年的老牌教育巨头,新东方积极拥抱新技术。在瞿炜看来,未来 AI 大势不可阻挡,“AI +教育”是新东方承担历史责任,必须要全力以赴。在 AI 浪潮席卷各个产业的大背景下,去年,新东方教育科技集团成立了 AI 研究院。据瞿炜介绍,新东方 AI +教育的作战地图,主要从从教、学、考、评、测、练等维度进行,结合线上和线下的混合学习、学科维度等场景落地。不过,就在他们这一年间快速落地“AI +教育”的时候,也发现了许多意想不到的挑战。这些挑战体现在语音识别、人脸识别、文字识别、自然语言处理,以及 AR 与 VR,几乎涵盖“AI +教育”的所有场景范畴。就在行业热捧“AI 教师”的趋势下,瞿炜提出了一个值得注意的观察,他们通过研究市场上所有做 AI 教师直播课的产品,得出一个规律,无论产品模拟真人多么逼真,在8分钟之类,基本上学生都能发现 AI 教师是一个假人。而在谈论 AI 变革行业,在具体落地场景时,我们也应当明确,行业也在发生变革与分化,不同行业的 AI 有截然不同的一套理论、算法和系统。(本文首发钛媒体,作者/李程程)以下是新东方AI研究院院长瞿炜在2019 钛媒体 T-EDGE 科技生活节的演讲全文,经钛媒体编辑:大家好,非常高兴今天受钛媒体邀请参加分享,刚才也听到了非常振奋人心的消息,今天是一个好日子,祝贺赵总今天融资1个亿。这个时代科技和AI,某种程度上成为科技会议代名词,作为一个做AI做了20年的学者,我想分享一点我们不同的看法。我今天的题目既和教育相关也和AI相关,但是稍微不一样的是,到底谁在变革谁?先介绍一下新东方,大家对新东方很熟悉了,不太一样的是,我们最新的数字大家未必很清楚。新东方除了英语学习很有名,其实在中小学全科教育,在中国也帮助了很多的孩子。新东方现在有1200个校区,5万间教室,6万名老师,去年班教超过1000万名学生。当我们谈论AI+教育的时候,意味着有海量的数据,同时还拥有中国乃至世界上最全的教育场景,从3到30岁几乎全覆盖。新东方在去年成立了新东方AI研究院,就是NAIR。新东方有26年的历史,这是非常年轻的团队,在新东方里是很新的团队,我们希望这支全新的团队能够跑得最快。未来AI大势不可阻挡,AI+教育是新东方承担历史责任,我们要全力以赴。我们希望有更多的才俊投入到“AI+教育”造福全世界事业当中。借着新东方平台,把AI+教育系统、产品快速实现大规模应用,不仅是一个创业的团队,我们更希望能够和现有业务紧密结合,和外面公司相比落地能力和技术更快。同时,我们进行商业模式创新;和投资伙伴一起构建AI+教育生态和跨领域合作。简单谈一下AI变革教育,我们认为教育AI作战地图,新东方怎么做呢?我们从教、学、考、评、测、练等维度,同时也从AI技术维度、场景维度,无论是线上线下混合学习、学科维度共享这样一个作战地图。举几个小小的例子,也是我们在过去一年快速落地的场景。案例一,透明课堂。传统课堂是一个黑盒子,大家上过学也感同身受,教学质量更多时候靠老师的自觉和随机抽查而已,是一个很传统行业。当AI来了以后,一切发生巨大的变化,我们称之为“AI深度感知平台”,这个项目在新东方快速落地了,推出了一个边缘计算设备,称之为小N引擎。第一个落地的项目在做“管”的层面,推出了“小n督课”,在很多城市、新东方几百个小区规模化的试点。今年新东方决定投资1个多亿,在新东方所有校区、所有教室落实督课,未来的新东方不光老师好,什么才叫老师好,AI告诉你。案例二,教育在如何变革AI。大家可能很少听到,但是作为在一线实战的,深刻体会到如今的AI不光是大家耳熟能详变革这个、变革那个,当AI和传统行业结合的时候,通用化的AI已经不够了。举几个例子,大家听过我的演讲大家感受到了,比方说我们进入教育的行业,我们会发现传统AI尽管在很多通用场景,但也面临很多挑战。语音识别的挑战。比方说我在这里演讲,如果没有科大讯飞、微软百度引擎做语音识别,如果接入从麦克风接入的话,准确率达到99%是没有问题的,但是如果识音器在距离我20米之外,如果还有一定噪音的话,识别率直线下降的。但是在真实实战场景理想状态不存在,语音识别面临很多问题。人脸识别的挑战。也是一样的,我们试图做行为分析,但新东方不做监控学生的事情,我们做的是提高教学质量,做的是有温度的AI,即使你这样做的时候,你会发现特别有挑战。你希望低成本,用最快的速度把AI的产品技术惠及更多的人,意味着更大挑战。你用最普通的摄像头做这件事情的时候你会发现,无论是超低分辨率、强大即便角度、遮挡下的人脸,这远比无人驾驶更现实的问题。文字识别的挑战。OCR技术作为一个极其传统的技术,因为每个人手机几乎都用手指识别,进入教育行业大家发现如此挑战,你试图用一个手写板解决所有问题,不现实。因为你改变不了学生使用习惯,相当长一段时间之内还是会接受纸质板。如何线上线下结合,解决文字问题就会难倒一众教育公司。自然语言处理的挑战。如果一个聊天场合,机器人不知道怎么办的时候可以闲聊,可是教育不是。当你教一个学生的时候,学生希望在最短的时间里知道准确答案。这个挑战我认为可能在一众的英文行业里面是最大的。AR/VR的挑战。可实时交互的AI老师,从去年开始,如何用一个模型让你看不出它是一个假的人,逼真度要做到绝对逼真,有非常多的问题,除了图像上的问题,还有声音上的问题。我们做了一个实验,把市场上所有做AI直播做了一个测试,有一个规律发现,很少能挺过8分钟,8分钟之内基本上一个孩子能够发现这是一个假人,这对于AI+教育这件事来说是一个巨大挑战——如何挺过8分钟乃至于80分钟?机器学习的挑战。大家普遍接受这个词了,过去5年大家对它不是很熟悉,被热炒一番以后。实际上机器学习才刚刚开始,现在AI是一个两三岁的孩子,我们做这行人来讲,连两三岁都不到。人从猿进化而来的,但是不能说人就是猿。大家总会去讲AI能够变革这个、变革那个,但是实际上从做AI的人来讲,当AI和教育结合的时候,AI不仅变革传统行业,真正落地的话,行业也在变革分化,不同行业的AI有截然不一样的理论、算法和系统。我们重构教育AI能力体系,所有这些技术都是打引号的。联合行业内顶级合作伙伴一起做这件事情,这件事情难度非常大,实际上刚刚开始。不光要靠像新东方这样既有数据、又有场景同时有众多资源公司、行业龙头企业去做,同时需要最顶级研究机构加入,我们在进行深度合作,实际上是很开放的。给大家做一个小小的广告,如果有意愿从事AI+教育领域,无论是创业还是投资的朋友们,包括各个产业链条上的朋友们,如果愿意去投资AI+教育的未来的话,新东方绝对是你最好的合作伙伴。最后一句话,“携手一起努力,让AI在教育领域落地开花”。

热门文章

        对数据标注行业稍微有些了解的人都知道数据标注进入门槛低,适合很多人兼职也适合创业。        正是因为数据标注行业的门槛低这个特点最近两年从事数据标注的小公司小工作室如雨后春笋般的遍布全车大大小小的县城。        但是目前有个有趣的现象,那就是有很多进入数据标注行业做了一段时间的人慢慢的感觉数据标注行业就是个坑?为什么有些人会说数据标注就是个坑呢?        其实对与有上述问题认识的人我们认为,这些人多数都是有于对这个行业对自身条件的不了解,盲目的开始进入数据标注行业的。为什么我们会这样说呢?下面就给给大家来分析下到底有哪几方面的原因:        一、有相当一部分人是听了朋友或者网上消息说这行很火爆,好做,门槛低,也有一部分人了因此租办公室买电脑招人,然后就去群里面找分发项目的人就开张干起来了。可实际上这些人他们大多数都没有充分了解数据标注行业,更没有认真仔细得去调查分析,到底自己能不能做好一个项目,到底自己能不能有质有量按时交付的完成一个项目,到底自己有没有这个能力来管理项目。更多的人也没有去用长远的眼光去考虑数据标注项目。        二、数据标注项目虽然入门门槛低,但是相当一部分有于理解认知应变能力上都不能保证去做好数据标注项目,还有一部分人由于自己对标注项目重视程度不足接到项目之后呢?不仔细认真的去阅读理解项目规则,更没有很好的对规则质检标准去培训员工,而对员工的要求主要看重每天的产出效率,从而导致接到手的项目做的质量很差,频繁的返工,有提项目甚至因为质量太烂项目方不给结算或者是结算比例很少,最终的结果就是做好些个项目但基本都是赔钱。        三、虽然业内人都 说数据标注简单,但是标注项目他也是一个系统性的工程,一个项目能不能做好并不简单的看项目好做就能赔钱。实际上决定项目赚不赚钱考验的是一个团队的项目管理水平,质量管理能力,运营能力各方面因素的。一句话再好赚钱的项目也照样有人赚钱也有人赚钱,要赚钱不是那么简单的。        四、还有些工作室 、小公司因为对行业不够了解等他们做了一段时间后发现,自己团队经常会没有项目做,而自己团队接项目的业务能力又不具备,甚至有的时候为了员工有活干去接一些价格极低根本就不赚钱的标注项目,时间稍微一长这些工作室团队就会赔上很多钱最终关门倒闭。        五、下来要说的就是一部分人人兼职人员由于认识不到位,对项目的规则质量要求 文件不认真阅读消化理解导致做的项目质量差返工有的甚至最后不结算,最终退出这行。更有一些人由于经验不足被标注行业的项目骗子给忽悠到辛苦劳动到最后结算时找不到人。        标注行业本身由于进入门槛低,做的人很行业内盲目打价格战,导致很多转手二手三手的项目在质量工期的要求下根本就不赚钱甚至赔钱,所以在这里也提醒大家做任何事都要谨慎而行。