听说数据标注行业缺“中立”平台,京东金融竖起了大旗


数据标注是人工智能进行模型训练必不可少的一环。这是将最原始的数据变成算法可用数据的过程:原始数据一般通过数据采集获得,随后的数据标注相当于对数据进行加工,然后输送到人工智能算法和模型里进行调用。

 

上述概念阐释的背后实际上潜藏着一个正在茁壮成长的商业机会,尤其随着AI行业的发展,优质数据甚至可能是公司发展的壁垒。

 p.jpg

按照人员规模,现在的数据标注行业分为小型工作室(20 人左右)、中型公司以及巨头企业。它们之间有各自的短板:专业的数据标注、采集小团队没有标注工具,开始逐渐向拥有更好技术资源的大平台靠拢 。与之形成对比的是,花费巨大资源打造专业全职标注团队的数据公司,却也受困于人力成本不得不把一些业务外包给小团队。

 

诸如巨头企业,虽然在努力搭建平台,但一方面更多是以消化内部需求为主,另一方面在人员培训和质量管控上,更多是流程化操作,缺乏合理的运营模式。

 

“没有一个标准。”基于上述的调研结果,在京东金融众智平台项目负责人看来,数据标注行业比较混乱。

 

在这种行业状况下,京东金融要做一个“中立”平台,成为需求方和最终标注团队之间的连接者:为小型工作室提供标注工具,同时也对需求方提供数据标注方案。

 

“京东众智”就是这样一个产物,它是专注于人工智能数据标注和采集的科技平台。上述负责人特意强调了“科技”二字,这意味着该平台并不是传统的众包模式,而是通过自身的科技能力,优化标注流程,提升标注效率,保证标注质量。


“大部分算法在拥有足够多的普通标注数据的情况下很容易将准确率提升到 95%,但从 95% 再去提升到 99% 甚至 99.9% 就需要大量高质量的标注数据。可以说,高质量的数据是制约模型和算法突破瓶颈的关键指标。”


京东众智的科技能力恰好表现在提高标注质量、提升标注速度、降低标注成本以及保证数据安全四个方面。


标注质量为先,而它又与标注人员息息相关。针对专业标注人才培养的流程,他们甚至要跟一些公司建立数据标注师认证标准,对不同人员评估其标注等级。 这符合京东众智“三擎互驱”的理念:让最专业的人用最专业的工具,在严谨的工作流程中完成数据的标注,并且由选拔出来的高水平专家进行审核,保证正确率。


准确率与客户的要求也有很大关系,比如众智平台的图片标注准确率在实测状态下能达到 99%,为了确保准确性,他们有 ACC 和抽检等四层过滤流程。


在保证数据标注质量的前提后就要比拼标注速度了。

 

当下 AI 解决方案落地速度普遍较慢。“传统的方式是有 AI 需求,然后需要先获取样本数据进行数据标注,标注之后再做模型训练。”但在数据标注之后如果不满意,还需要把数据返回重新优化,上述负责人表示,这样的方式导致从方案确认到落地可能需要 1 个月甚至时间更长。


众智平台的标注工具很大程度上提升了标注速度。“鲁班模板标注工具”可以组件化去配置。如果不同的公司对标注数据有不同需求,他们只需调整几个组件的配置就可以完成操作。 


p (1).jpg


京东众智 Pre-AI 方案与传统方案的对比


更重要的是京东众智提出的“Pre-A.I”方案。此方案在标注过程中会不断添加智能元素,机器做预标注,标注人员只需在此基础上做细微的调整即可。


这些技术的应用在很大程度上节省了标注时间,而在 AI 市场竞争激烈的环境中,速度对创业公司而言尤为重要。“原来完整的标注流程如果是 1 个月的话,我们可能 3、4 天就可以交付了。”该负责人如此评估众智平台的标注效率。


数据标注速度提升的直接结果是标注成本自然会降低。不过,在行业一片混乱的数据运营模式下,数据安全是需求方最为关注的问题。


对于政府、银行等企事业单位而言,它们担心数据被转手,一般要求数据必需在自己的环境内进行标注。为此,他们提供了数据与流程分离方案。数据与流程分离方案针对客户自有标注平台和客户没有标注平台两种情况。


p (2).jpg

京东众智 DCS 方案流程

 

对那些数据标注需求比较大的大公司,众智平台可以打通京东金融和客户两者的标注平台,同时为标注流程有严格的质量把控。需要注意的是,标注环境实际上还是在客户环境下。对于没有标注平台的客户,京东金融提供了一套名为“众智星”的标注系统,它可以让数据不出客户环境就能完成数据标注。

 

据负责人介绍,该平台已于去年 8 月正式上线。目前平台上数据标注注册人员在 3 万以上,而数据采集的注册人员更是超过了 10 万人。


“京东众智旨在为 AI 行业提供最优质的基础数据,希望在不久的将来,国内大部分的 AI 公司都可以使用我们提供的高质量标注数据训练出更优质的模型和算法。这些模型和算法不仅要服务国内的用户,更要把中国的 AI 能力服务于全世界。为全球的人工智能行业助力是我们的初心。”负责人如是说。


推荐文章

前言:作为一名数据服务工作者---资深“乙方”,见过、听过或亲身经历过很多的数据治理相关的项目,如:数据交换共享项目、数据治理项目、主数据项目、元数据项目……,这些项目中,有非常成功的——用的很好,也有差强人意的——勉强在用,还有没上线就下线的——基本没有使用。如果我们Review下这些项目,也许我们不难发现影响数据治理项目成功或失败的因素有很多,这些因素有管理方面的、业务方面的、技术方面的、企业文化方面的等等。在笔者看来,数据治理项目的成功要素可以总结为以下几点,接下来的一段时间我会跟大家一起分享数据治理项目的各个成功要素,欢迎关注!企业数据战略管理数据治理架构设计数据治理的时机与切入点组织与保障体系建设技术和工具——工欲善其事必先利其器建立长效运营机制本期分享主题【数据治理的成功要素1:企业数据战略管理】,本文大纲:一、数据战略是什么?二、数据战略不是什么?三、数据战略的四个要素四、数据战略的三个层次五、数据战略制定的方法和工具六、总结一、数据战略是什么战略原本是军事领域的专用名词,是指指导全局战争的规划和方略。战略决定了组织的活动方向和内容,解决“干什么”的问题,是根本性的决策。在DAMA-DMBOK中对数据战略是这样定义的:战略是选择和决策的集合,共同绘制出一个高层次的行动方案,以实现高层次目标。通常,数据战略是一个数据管理计划的战略,是保存和提高数据质量、完整性、安全性和存取的计划。然而,数据战略计划可能还包括利用信息达到竞争优势和支持企业目标的业务计划。数据战略必须来自与对业务战略中的所固有的数据需求的理解,这些数据需求驱动了组织的数据战略。数据战略的组成部分包括:为数据管理制定激动人心的愿景数据管理商业案例摘要,附带精选的例子指导原则、价值观和管理远景。数据管理的使用和长远目标数据管理成功的管理措施短期的(1~2年,具体、可度量、可操作、可实现、有时限的)数据管理方案目标。说明数据管理的角色和组织级其职责和决策权概述。数据管理方案的组成部分数据管理实施路线图数据管理的项目章程数据管理的范围说明简单来说,企业数据战略包括:数据管理的愿景(长期目标)、中期目标、短期目标、实施策略、实施方案、实施路线图等。二、数据战略不是什么数据战略是企业愿景吗?可能是也可能不是,或者说不完全是。我们看下各大公司的企业愿景是什么。IBM:无论是一小步,还是一大步,都要带动人类进步。苹果公司:让每人都拥有一台计算机。阿里巴巴:分享数据的第一平台,幸福指数最高的企业,活“102”年。腾讯:科技向善。百度:成为最懂用户,并能帮助人们成长的全球顶级高科技公司。用友:用技术和创想推动社会和商业进步。企业愿景是企业利益相关者的本质诉求的整合,是企业战略的最高指引,可以理解为企业的长期战略。在当今席卷全球的颠覆性技术浪潮中,市场变化莫测,相对遥远的长期数据战略,笔者更倾向于哪些有着明确目标、明确范围、明确实施路径,具备可执行、可实现性的短期数据战略。世界变化太快,谁都无法预测10年后的世界是什么样子的,企业数据战略的指定一定要具备应对市场和技术变化的能力。这里申明,笔者并不是反对企业制定长期的数据战略规划,而是要在长期的数据战略之上细化出短期的可执行、可实现、能见效的战略目标,“小步快跑、快速迭代”。数据战略是企业战略的一部分,而企业战略是实现企业愿景的规划和部署。数据战略是数据架构吗?显然也不是,至少说不完全是。数据架构是用于定义数据需求,指导对数据资产的整合和控制,是数据投资和业务战略相匹配的一套整体的构件规范。数据架构包括正确的数据定义、有效的数据结构、完整的数据规则、健全的数据文档。数据架构整合了数据、流程、应用、组织、规范和技术,其典型输入包括:企业数据模型、企业价值链分析、数据库架构、商务智能或数据仓库架构、数据集成和整合架构、数据质量管理架构、以及文档和内容管理架构。数据战略和数据架构不是一回事。定义数据架构的决定,是数据战略的一部分,实施数据架构的决策是战略决策。数据战略会影响到数据架构的设计,反过来,数据架构支持数据战略的实现,并指导其决策。笔者认为:数据架构侧重于技术,是企业数据管理的战术范畴,数据架构对上承接数据战略目标,对下联通数据战略实施计划。数据战略的落地除了需要数据架构的技术支撑,也需要企业数据文化的建设。既然数据战略既不是看似缥缈的愿景,也是技术相关的架构,结合DAMA-DMBOK给出的数据战略定义,我们尝试总结下企业的数据战略究竟是什么。笔者看来:数据战略就是企业为实现某些业务目标而做出的数据规划和部署,主要包括:数据战略目标、数据战略范围和内容、数据战略实施策略、以及数据战略的实施路径和计划,这也就是我们所说的“战略四要素”。三、数据战略的四个要素1、数据战略目标——愿景和目标愿景是制定企业战略的起点,是企业的长期战略,而目标是企业短期内要达成的明确目标,是企业的短期战略。企业数据战略目标的规划设计不仅要有“诗和远方”的田野,也要考虑生活“眼前的苟且”。正如我们前边提到的阿里巴巴公司,大多数人都知道阿里巴巴是一个电子商务公司,可马云说阿里巴巴是一家大数据公司,其远期的数据战略目标是“分享数据的第一平台、幸福指数最高的企业”。阿里系的产品,如:天猫、淘宝、支付宝……,每时每刻都在生产、汇集、加工着大量的数据,这些数据是具备变现能力的。通过数据的变现和分享,希望阿里成为幸福指数最高的企业指日可待。如果我们把“分享数据的第一平台、幸福指数最高的企业”理解为阿里的远期数据战略的话, 当年阿里如火如荼的研发AliSQL替换Oracle的战略就是那个时期阿里的中期数据战略,这个战略从部署到实施花了10年之久;而当前被炒上天的“数据中台”就是目前阿里的短期数据战略,并且这个战略目前已经实现了。这里只是举例便于理解,也许阿里的数据战略并非如此。关于数据中台的话题,网上有太多的概念了,后边有机会的话可以分享下我对数据中台的理解,这里就略过了。2、数据战略范围和内容——战略定位战略定位是回答了“做什么”、“不做什么”的根本问题,企业数据战略定位,就是定义企业的数据管理/数据治理的范围和内容。按照DAMA的给出的数据战略范围主要包括:数据架构、元数据管理、数据标准管理、数据质量管理、主数据和参照数据、数据安全管理等。以上每个部分内容都可各成体系,那对企业来说,数据治理范围和内容该如何选择,却是摆在企业面前不得不回答的问题。这里,笔者建议企业的数据治理定位应充分考虑以下几点因素:企业的痛点需求是什么,希望实现的目标是什么,实施数据治理就能解这些问题吗,数据治理的投资计划(人力和资金),期望的投资回报率。把以上问题问题都想清楚了,你的数据战略定位也就清晰了——或选择全域治理、或选择个别亟待治理的主题。 3、数据战略实施策略——致胜逻辑致胜逻辑是解决了“怎么做”,“由谁做”,“做的条件”、“成功原因”等问题,是战略的精髓。我们都知道数据治理项目涉及的业务范围广、系统范围大、参与人员多,并且数据治理是一个需要不断迭代、持续优化的过程,不能一蹴而就。那么数据治理项目该从何处入手,谁来主导、谁来配合、怎样才能保证项目的成功实施并能够取得效果?这个问题不好回答。根据笔者这些年见到、听到或亲身经历的数据项目,成功或失败,很大一部分因素是由这个“致胜逻辑”决定的。成功的项目不表,我们看大多数失败的项目都可能会有以下几个特点:目标不明确、范围不清晰、主导人员分量不足、参与人员不够积极、过分迷信技术和工具、过渡依赖外部资源……。做正确的事远比正确的做事更加重要,事前想清楚数据战略的致胜逻辑,要比事后总结教训的成本低很多。数据治理项目的成功一定是将以上因素有机整合,忽视某一因素都可能会影响的数据治理的成效。4、数据战略的实施路径——行动计划行动计划是落实战略目标或指导方针而采取的具有“协调性”的计划安排。行动计划解决了“谁”、“在什么时间”、“做什么事”、“达成什么目标”的具体活动计划。行动计划要具备可执行性、能够量化、能够度量,遵循PDCA的闭环管理,定期进行复盘和检讨。前文我们提到:数据治理是一个需要不断迭代、持续优化的过程,不可一蹴而就经验告诉我们:数据治理绝对不是引入先进的技术、牛X的软件就能够解决的。项目建设过程需要企业高层的高度重视并给予足够的资源支持,需要有经验丰富的顾问团队,需要技术部门和业务部门的通力协作,这样提高项目建设的成功率。然而,项目建设阶段的成功并不代表数据治理的成功,建设阶段的成功企业数据治理项目的终点,却是企业数据治理的起点。路漫漫兮其修远,企业数据治理需要的是持续运营,将数据治理形成规则融入企业文化,是企业数据治理的根本之“道”。四、数据战略目标的三个层次数据战略的三个境界——此节内容并没有官方定义,单凭个人理解,如有偏颇但求指正。笔者认为企业数据战略大致可以分为:满足基本的管理目标和业务目标、创新与创业、定义在数字化竞争生态中的角色和地位,三个层次。这三个层次并不是不同企业不同的数据管理目标,而是企业数据战略的在不同阶段、不同成熟度条件下的三个具体形态。1、第一个层次——短期目标满足基本的管理决策和业务协同。通过解决企业的数据管理中的各类问题,以满足决策分析和业务协同的需要,对于该层次的战略目标,笔者认为是企业最基础的、最迫切需要的、最能击中企业痛点的。随着多年的信息化建设,企业上了多套业务系统,而这些业务系统是由业务部门驱动建设的,缺乏信息化的顶层规划,各系统各自为政、各成体系、信息孤岛……,系统之间的数据不标准、不一致,导致的应用集成困难、数据分析不准确。可以说目前国内绝大部分企业都是处于这个状态,而信息技术的发展速度又太快,已逐步形成了技术倒逼企业数字化的转型的趋势,而高质量的数据资产,无疑是企业数字化转型的基石。2、第二个层次——中期目标创新与创业。基于数据实现企业管理的升级和业务的创新,通过数据的利用拓展新业务、构建新业态、探索新模式是笔者认为的企业数据战略的第二个层次,也是企业数据战略的中期目标。数据战略不再是企业战略的支撑,而是引导,或者说是相互作用,这个阶段“IT即业务”!对于传统制造企业利用数据的治理和融合,可以加速管理的创新、产品的创新、销售模式的创新,例如:利用数据治理加强集团管控、基于客户偏好的个性化定制、利用数据的供应链协同和优化、基于市场预测的创新产品设计与快速上市等等。对于服务行业利用大数据的探索服务的新模式,数据可以拓宽服务的视野,实现模式领域的横向拓展、服务精度的纵向延伸,例如:根据消费者需求推出定制化的主题房,酒店新零售的服务模式,都是酒店服务业在业务创新方面上的尝试,大大提升了客户的粘性,提高了酒店的盈利点。这样的案例,在金融服务、餐饮服务、医疗服务、教育服务等服务行业,每天都在上演……。未来的服务业的竞争将更加白热化,而数据资产的利用价值将愈发明显。3、第三个层次——远景目标定义在数字化竞争生态中的角色和地位,企业数据战略的最高奥义。用友董事长王文京预言:“未来所有企业都将是数字化企业”,针对这个观点本人深以为然。科技的变革将改变企业的业务形态和竞争模式,未来的数字化竞争中,数字化将是不可忽视的核心因素,企业数据战略的部署和成功实施,将决定您的企业在未来的竞争和数字化生态中,是领导地位、挑战者、特定领域者或是淘汰出局。“什么样的愿景,决定了什么样的未来”,企业数据战略愿景的规划一定要有未来的“诗和远方”。将数据战略愿景融入企业行动方针和核心价值观中,勾勒出企业未来的“图景”。例如,马云描述阿里巴巴的愿景:分享数据的第一平台,幸福指数最高的企业,活“102”年。五、数据战略制定方法与工具数据战略的制定以企业战略为基础、以业务价值链为模型、以管理应用为目标,以可执行的活动为步骤,通过系统化的思维,挖掘信息以及信息间的规律,经过科学的规划和设计,形成企业数据化运营的一幅蓝图。对于数据战略规划的方法,目前业界还未形成一套成熟的方法论体系,但是,IT咨询和IT战略规划的方法论已经比较成熟,可用作企业数据战略规划的参考,我们先看下各大知名咨询公司的IT战略规划方法:埃森哲 IT战略规划方法论IBM IT战略规划方法论德勤  IT战略规划方法论无论哪家方法论,对于IT战略规划本质上都是一样的,基本都包含了三个步骤:1、调研分析,关键活动有:战略理解、需求分析、现状评估、行业最佳实践对比……2、远景规划,关键活动有:业务规划、组织架构、技术架构、数据架构、应用架构、IT支撑……3、实施策略,关键活动有:项目实施、进度和质量管控、效益分析、基础支撑……以上IT咨询规划方法,同样适用于企业数据战略的规划设计,但在数据战略规划设计时需要重要考虑以下几个核心问题:

热门文章

        对数据标注行业稍微有些了解的人都知道数据标注进入门槛低,适合很多人兼职也适合创业。        正是因为数据标注行业的门槛低这个特点最近两年从事数据标注的小公司小工作室如雨后春笋般的遍布全车大大小小的县城。        但是目前有个有趣的现象,那就是有很多进入数据标注行业做了一段时间的人慢慢的感觉数据标注行业就是个坑?为什么有些人会说数据标注就是个坑呢?        其实对与有上述问题认识的人我们认为,这些人多数都是有于对这个行业对自身条件的不了解,盲目的开始进入数据标注行业的。为什么我们会这样说呢?下面就给给大家来分析下到底有哪几方面的原因:        一、有相当一部分人是听了朋友或者网上消息说这行很火爆,好做,门槛低,也有一部分人了因此租办公室买电脑招人,然后就去群里面找分发项目的人就开张干起来了。可实际上这些人他们大多数都没有充分了解数据标注行业,更没有认真仔细得去调查分析,到底自己能不能做好一个项目,到底自己能不能有质有量按时交付的完成一个项目,到底自己有没有这个能力来管理项目。更多的人也没有去用长远的眼光去考虑数据标注项目。        二、数据标注项目虽然入门门槛低,但是相当一部分有于理解认知应变能力上都不能保证去做好数据标注项目,还有一部分人由于自己对标注项目重视程度不足接到项目之后呢?不仔细认真的去阅读理解项目规则,更没有很好的对规则质检标准去培训员工,而对员工的要求主要看重每天的产出效率,从而导致接到手的项目做的质量很差,频繁的返工,有提项目甚至因为质量太烂项目方不给结算或者是结算比例很少,最终的结果就是做好些个项目但基本都是赔钱。        三、虽然业内人都 说数据标注简单,但是标注项目他也是一个系统性的工程,一个项目能不能做好并不简单的看项目好做就能赔钱。实际上决定项目赚不赚钱考验的是一个团队的项目管理水平,质量管理能力,运营能力各方面因素的。一句话再好赚钱的项目也照样有人赚钱也有人赚钱,要赚钱不是那么简单的。        四、还有些工作室 、小公司因为对行业不够了解等他们做了一段时间后发现,自己团队经常会没有项目做,而自己团队接项目的业务能力又不具备,甚至有的时候为了员工有活干去接一些价格极低根本就不赚钱的标注项目,时间稍微一长这些工作室团队就会赔上很多钱最终关门倒闭。        五、下来要说的就是一部分人人兼职人员由于认识不到位,对项目的规则质量要求 文件不认真阅读消化理解导致做的项目质量差返工有的甚至最后不结算,最终退出这行。更有一些人由于经验不足被标注行业的项目骗子给忽悠到辛苦劳动到最后结算时找不到人。        标注行业本身由于进入门槛低,做的人很行业内盲目打价格战,导致很多转手二手三手的项目在质量工期的要求下根本就不赚钱甚至赔钱,所以在这里也提醒大家做任何事都要谨慎而行。