DeepMind&VGG提出基于集合的人脸识别算法GhostVLAD,精度远超IJB-B数据集state-of-the-art

    在人脸识别应用中,很多场景能够获取某一个体的多幅人脸图像的集合(比如在监控视频中),使用人脸图像集来做识别,这个问题被称为基于模板的人脸识别(template-based face recognition)。

对于多幅图像,当然可以使用单幅人脸图像的识别方法,综合多幅图像的识别结果确定最终的人脸识别结果,但更好的方式是直接基于人脸图像集提取特征,比较人脸图像集的特征相似性。

这涉及到如何聚合多幅人脸图像的特征向量成为一个特征向量,使该特征紧凑而又更具鉴别性的问题。

几天前公布的一篇来自DeepMind和VGG组被ACCV2018接收的论文《GhostVLAD for set-based face recognition》,正是解决这样的问题,文中提出的算法GhostVLAD在具有较高难度的大型真实场景人脸数据集IJB-B上的识别精度,远超过目前的state-of-the-art结果!非常值得参考!

作者信息:

算法原理

作者的想法非常简单,当聚合多个人脸图像特征时,现有的平均池化等方法没能考虑到人脸图像集中一些低质量的图像(比如模糊人脸)的作用,这些图像含有的信息对识别并没有太大的贡献,应该降低这些低质量图像对最终聚合特征的贡献。

一种直接的处理方法是,在人脸图像预处理阶段将低质量图像找出来,降低其贡献权重,但作者认为,端到端自动训练的方式让网络自身去优化识别并降低该部分样本的权重更好。

作者发明的算法网络结构如下:

多幅人脸图像(每次图像个数可不同)通过CNN网络提取特征并L2归一化,然后被送入聚合模块,GhostVLAD网络模块将多个人脸特征聚合称固定维数的特征矩阵(与输入图像个数无关),再通过全连接层FC、BN层和L2归一化为紧凑鉴别的特征。

其中的关键网络模块GhostVLAD既实现特征聚合,同时降低低质量图像的权重,提高高质量图像的聚合权重。

GhostVLAD是如何实现上述功效的呢?

说白了一句话,既然不要人为参与,那就要构建一种网络结构,让网络自动学习对识别不重要的信息,并丢掉它。

作者是在NetVLAD上做出的算法改进,NetVLAD可以理解为一种可微分完全可训练的VLAD编码聚合方法,它的作用大致是自动计算特征聚类中心,计算残差,然后把残差加权,构建聚合特征矩阵,整个过程方便加入到神经网络中。

在NetVLAD中,其聚合的特征矩阵中的元素计算方法如下:

其中K是NetVLAD中手工设置的聚类中心个数,xi是第i个特征向量,ck是可训练的聚类中心,ak、bk是可训练的参数控制着加权的权重。

由上述公式得知,NetVLAD中所有聚类中心ck都参与了聚合,GhostVLAD的改进则是增加聚类中心的个数到K+G,但是增加的聚类中心在构建聚合特征矩阵的时候不参与贡献权重。

如下图所示:

红色位置即标示出的Ghost 聚类中心,后续步骤中被去除,Ghost有“幻象”的意思,可能很多模糊的人脸的确看起来是“幻象”,这也是GhostVLAD名称的由来。

这些多出来的不参与聚合特征矩阵构建的Ghost聚类中心,就相当于给了神经网络丢弃一部分信息使得网络更具鉴别性的可能,而在原来的NetVLAD中是体现不出来的。

实验结果

作者首先设计的实验是比较网络加上GhostVLAD层跟不加的精度,验证其有效性,作者使用的训练集是VGGFace2。实验设置不再赘述,这里直接给出结果。

在IJB-B数据集上的1:1人脸验证结果比较如下图,取得了大幅度的精度提升。

在IJB-B数据集上的1:N人脸识别结果比较如下图,同样取得了大幅度的精度提升。

然后作者将提出的算法GhostVLAD与目前的state-of-the-art比较。

如下图中Table 3和Table 4,在IJB-A和IJB-B上比较验证和识别结果,同样所提算法精度也胜出不少,请注意作者使用的训练集比其中很多state-of-the-art算法规模要小,但依然实现性能超越!

最后作者可视化了使用GhostVLAD后对输入样本权重的影响,发现对于那些低质量模糊人脸的确权重被降低了。

总结:

该文从一个简单的直觉开始,构建了一种帮助神经网络丢弃鉴别性不足的信息的有效方式,大幅改进了基于图像集合的人脸识别方法,算法具有较高的实用价值,思想也很值得借鉴!

值得一提的是,该文中的GhostVLAD方法不仅仅适用于人脸识别,在图像检索、行人重识别等领域也同样适用。

论文地址:

https://arxiv.org/abs/1810.09951

关于代码:

可惜的是,该文目前并无开源代码,但DeepMind和VGG组都是一向乐于分享代码的,期待作者早日开源~

推荐文章

前言:作为一名数据服务工作者---资深“乙方”,见过、听过或亲身经历过很多的数据治理相关的项目,如:数据交换共享项目、数据治理项目、主数据项目、元数据项目……,这些项目中,有非常成功的——用的很好,也有差强人意的——勉强在用,还有没上线就下线的——基本没有使用。如果我们Review下这些项目,也许我们不难发现影响数据治理项目成功或失败的因素有很多,这些因素有管理方面的、业务方面的、技术方面的、企业文化方面的等等。在笔者看来,数据治理项目的成功要素可以总结为以下几点,接下来的一段时间我会跟大家一起分享数据治理项目的各个成功要素,欢迎关注!企业数据战略管理数据治理架构设计数据治理的时机与切入点组织与保障体系建设技术和工具——工欲善其事必先利其器建立长效运营机制本期分享主题【数据治理的成功要素1:企业数据战略管理】,本文大纲:一、数据战略是什么?二、数据战略不是什么?三、数据战略的四个要素四、数据战略的三个层次五、数据战略制定的方法和工具六、总结一、数据战略是什么战略原本是军事领域的专用名词,是指指导全局战争的规划和方略。战略决定了组织的活动方向和内容,解决“干什么”的问题,是根本性的决策。在DAMA-DMBOK中对数据战略是这样定义的:战略是选择和决策的集合,共同绘制出一个高层次的行动方案,以实现高层次目标。通常,数据战略是一个数据管理计划的战略,是保存和提高数据质量、完整性、安全性和存取的计划。然而,数据战略计划可能还包括利用信息达到竞争优势和支持企业目标的业务计划。数据战略必须来自与对业务战略中的所固有的数据需求的理解,这些数据需求驱动了组织的数据战略。数据战略的组成部分包括:为数据管理制定激动人心的愿景数据管理商业案例摘要,附带精选的例子指导原则、价值观和管理远景。数据管理的使用和长远目标数据管理成功的管理措施短期的(1~2年,具体、可度量、可操作、可实现、有时限的)数据管理方案目标。说明数据管理的角色和组织级其职责和决策权概述。数据管理方案的组成部分数据管理实施路线图数据管理的项目章程数据管理的范围说明简单来说,企业数据战略包括:数据管理的愿景(长期目标)、中期目标、短期目标、实施策略、实施方案、实施路线图等。二、数据战略不是什么数据战略是企业愿景吗?可能是也可能不是,或者说不完全是。我们看下各大公司的企业愿景是什么。IBM:无论是一小步,还是一大步,都要带动人类进步。苹果公司:让每人都拥有一台计算机。阿里巴巴:分享数据的第一平台,幸福指数最高的企业,活“102”年。腾讯:科技向善。百度:成为最懂用户,并能帮助人们成长的全球顶级高科技公司。用友:用技术和创想推动社会和商业进步。企业愿景是企业利益相关者的本质诉求的整合,是企业战略的最高指引,可以理解为企业的长期战略。在当今席卷全球的颠覆性技术浪潮中,市场变化莫测,相对遥远的长期数据战略,笔者更倾向于哪些有着明确目标、明确范围、明确实施路径,具备可执行、可实现性的短期数据战略。世界变化太快,谁都无法预测10年后的世界是什么样子的,企业数据战略的指定一定要具备应对市场和技术变化的能力。这里申明,笔者并不是反对企业制定长期的数据战略规划,而是要在长期的数据战略之上细化出短期的可执行、可实现、能见效的战略目标,“小步快跑、快速迭代”。数据战略是企业战略的一部分,而企业战略是实现企业愿景的规划和部署。数据战略是数据架构吗?显然也不是,至少说不完全是。数据架构是用于定义数据需求,指导对数据资产的整合和控制,是数据投资和业务战略相匹配的一套整体的构件规范。数据架构包括正确的数据定义、有效的数据结构、完整的数据规则、健全的数据文档。数据架构整合了数据、流程、应用、组织、规范和技术,其典型输入包括:企业数据模型、企业价值链分析、数据库架构、商务智能或数据仓库架构、数据集成和整合架构、数据质量管理架构、以及文档和内容管理架构。数据战略和数据架构不是一回事。定义数据架构的决定,是数据战略的一部分,实施数据架构的决策是战略决策。数据战略会影响到数据架构的设计,反过来,数据架构支持数据战略的实现,并指导其决策。笔者认为:数据架构侧重于技术,是企业数据管理的战术范畴,数据架构对上承接数据战略目标,对下联通数据战略实施计划。数据战略的落地除了需要数据架构的技术支撑,也需要企业数据文化的建设。既然数据战略既不是看似缥缈的愿景,也是技术相关的架构,结合DAMA-DMBOK给出的数据战略定义,我们尝试总结下企业的数据战略究竟是什么。笔者看来:数据战略就是企业为实现某些业务目标而做出的数据规划和部署,主要包括:数据战略目标、数据战略范围和内容、数据战略实施策略、以及数据战略的实施路径和计划,这也就是我们所说的“战略四要素”。三、数据战略的四个要素1、数据战略目标——愿景和目标愿景是制定企业战略的起点,是企业的长期战略,而目标是企业短期内要达成的明确目标,是企业的短期战略。企业数据战略目标的规划设计不仅要有“诗和远方”的田野,也要考虑生活“眼前的苟且”。正如我们前边提到的阿里巴巴公司,大多数人都知道阿里巴巴是一个电子商务公司,可马云说阿里巴巴是一家大数据公司,其远期的数据战略目标是“分享数据的第一平台、幸福指数最高的企业”。阿里系的产品,如:天猫、淘宝、支付宝……,每时每刻都在生产、汇集、加工着大量的数据,这些数据是具备变现能力的。通过数据的变现和分享,希望阿里成为幸福指数最高的企业指日可待。如果我们把“分享数据的第一平台、幸福指数最高的企业”理解为阿里的远期数据战略的话, 当年阿里如火如荼的研发AliSQL替换Oracle的战略就是那个时期阿里的中期数据战略,这个战略从部署到实施花了10年之久;而当前被炒上天的“数据中台”就是目前阿里的短期数据战略,并且这个战略目前已经实现了。这里只是举例便于理解,也许阿里的数据战略并非如此。关于数据中台的话题,网上有太多的概念了,后边有机会的话可以分享下我对数据中台的理解,这里就略过了。2、数据战略范围和内容——战略定位战略定位是回答了“做什么”、“不做什么”的根本问题,企业数据战略定位,就是定义企业的数据管理/数据治理的范围和内容。按照DAMA的给出的数据战略范围主要包括:数据架构、元数据管理、数据标准管理、数据质量管理、主数据和参照数据、数据安全管理等。以上每个部分内容都可各成体系,那对企业来说,数据治理范围和内容该如何选择,却是摆在企业面前不得不回答的问题。这里,笔者建议企业的数据治理定位应充分考虑以下几点因素:企业的痛点需求是什么,希望实现的目标是什么,实施数据治理就能解这些问题吗,数据治理的投资计划(人力和资金),期望的投资回报率。把以上问题问题都想清楚了,你的数据战略定位也就清晰了——或选择全域治理、或选择个别亟待治理的主题。 3、数据战略实施策略——致胜逻辑致胜逻辑是解决了“怎么做”,“由谁做”,“做的条件”、“成功原因”等问题,是战略的精髓。我们都知道数据治理项目涉及的业务范围广、系统范围大、参与人员多,并且数据治理是一个需要不断迭代、持续优化的过程,不能一蹴而就。那么数据治理项目该从何处入手,谁来主导、谁来配合、怎样才能保证项目的成功实施并能够取得效果?这个问题不好回答。根据笔者这些年见到、听到或亲身经历的数据项目,成功或失败,很大一部分因素是由这个“致胜逻辑”决定的。成功的项目不表,我们看大多数失败的项目都可能会有以下几个特点:目标不明确、范围不清晰、主导人员分量不足、参与人员不够积极、过分迷信技术和工具、过渡依赖外部资源……。做正确的事远比正确的做事更加重要,事前想清楚数据战略的致胜逻辑,要比事后总结教训的成本低很多。数据治理项目的成功一定是将以上因素有机整合,忽视某一因素都可能会影响的数据治理的成效。4、数据战略的实施路径——行动计划行动计划是落实战略目标或指导方针而采取的具有“协调性”的计划安排。行动计划解决了“谁”、“在什么时间”、“做什么事”、“达成什么目标”的具体活动计划。行动计划要具备可执行性、能够量化、能够度量,遵循PDCA的闭环管理,定期进行复盘和检讨。前文我们提到:数据治理是一个需要不断迭代、持续优化的过程,不可一蹴而就经验告诉我们:数据治理绝对不是引入先进的技术、牛X的软件就能够解决的。项目建设过程需要企业高层的高度重视并给予足够的资源支持,需要有经验丰富的顾问团队,需要技术部门和业务部门的通力协作,这样提高项目建设的成功率。然而,项目建设阶段的成功并不代表数据治理的成功,建设阶段的成功企业数据治理项目的终点,却是企业数据治理的起点。路漫漫兮其修远,企业数据治理需要的是持续运营,将数据治理形成规则融入企业文化,是企业数据治理的根本之“道”。四、数据战略目标的三个层次数据战略的三个境界——此节内容并没有官方定义,单凭个人理解,如有偏颇但求指正。笔者认为企业数据战略大致可以分为:满足基本的管理目标和业务目标、创新与创业、定义在数字化竞争生态中的角色和地位,三个层次。这三个层次并不是不同企业不同的数据管理目标,而是企业数据战略的在不同阶段、不同成熟度条件下的三个具体形态。1、第一个层次——短期目标满足基本的管理决策和业务协同。通过解决企业的数据管理中的各类问题,以满足决策分析和业务协同的需要,对于该层次的战略目标,笔者认为是企业最基础的、最迫切需要的、最能击中企业痛点的。随着多年的信息化建设,企业上了多套业务系统,而这些业务系统是由业务部门驱动建设的,缺乏信息化的顶层规划,各系统各自为政、各成体系、信息孤岛……,系统之间的数据不标准、不一致,导致的应用集成困难、数据分析不准确。可以说目前国内绝大部分企业都是处于这个状态,而信息技术的发展速度又太快,已逐步形成了技术倒逼企业数字化的转型的趋势,而高质量的数据资产,无疑是企业数字化转型的基石。2、第二个层次——中期目标创新与创业。基于数据实现企业管理的升级和业务的创新,通过数据的利用拓展新业务、构建新业态、探索新模式是笔者认为的企业数据战略的第二个层次,也是企业数据战略的中期目标。数据战略不再是企业战略的支撑,而是引导,或者说是相互作用,这个阶段“IT即业务”!对于传统制造企业利用数据的治理和融合,可以加速管理的创新、产品的创新、销售模式的创新,例如:利用数据治理加强集团管控、基于客户偏好的个性化定制、利用数据的供应链协同和优化、基于市场预测的创新产品设计与快速上市等等。对于服务行业利用大数据的探索服务的新模式,数据可以拓宽服务的视野,实现模式领域的横向拓展、服务精度的纵向延伸,例如:根据消费者需求推出定制化的主题房,酒店新零售的服务模式,都是酒店服务业在业务创新方面上的尝试,大大提升了客户的粘性,提高了酒店的盈利点。这样的案例,在金融服务、餐饮服务、医疗服务、教育服务等服务行业,每天都在上演……。未来的服务业的竞争将更加白热化,而数据资产的利用价值将愈发明显。3、第三个层次——远景目标定义在数字化竞争生态中的角色和地位,企业数据战略的最高奥义。用友董事长王文京预言:“未来所有企业都将是数字化企业”,针对这个观点本人深以为然。科技的变革将改变企业的业务形态和竞争模式,未来的数字化竞争中,数字化将是不可忽视的核心因素,企业数据战略的部署和成功实施,将决定您的企业在未来的竞争和数字化生态中,是领导地位、挑战者、特定领域者或是淘汰出局。“什么样的愿景,决定了什么样的未来”,企业数据战略愿景的规划一定要有未来的“诗和远方”。将数据战略愿景融入企业行动方针和核心价值观中,勾勒出企业未来的“图景”。例如,马云描述阿里巴巴的愿景:分享数据的第一平台,幸福指数最高的企业,活“102”年。五、数据战略制定方法与工具数据战略的制定以企业战略为基础、以业务价值链为模型、以管理应用为目标,以可执行的活动为步骤,通过系统化的思维,挖掘信息以及信息间的规律,经过科学的规划和设计,形成企业数据化运营的一幅蓝图。对于数据战略规划的方法,目前业界还未形成一套成熟的方法论体系,但是,IT咨询和IT战略规划的方法论已经比较成熟,可用作企业数据战略规划的参考,我们先看下各大知名咨询公司的IT战略规划方法:埃森哲 IT战略规划方法论IBM IT战略规划方法论德勤  IT战略规划方法论无论哪家方法论,对于IT战略规划本质上都是一样的,基本都包含了三个步骤:1、调研分析,关键活动有:战略理解、需求分析、现状评估、行业最佳实践对比……2、远景规划,关键活动有:业务规划、组织架构、技术架构、数据架构、应用架构、IT支撑……3、实施策略,关键活动有:项目实施、进度和质量管控、效益分析、基础支撑……以上IT咨询规划方法,同样适用于企业数据战略的规划设计,但在数据战略规划设计时需要重要考虑以下几个核心问题:

热门文章

波士顿 - Neurala公司今天推出了一款新的视频标注工具,该工具由Brain Builder平台的人工智能辅助。“自动视频注释将显着加速神经网络的数据标注,从而帮助组织更快地培训和部署AI,”该公司表示。标记图像和视频对于开发用于建模和训练AI应用程序的数据集至关重要。Neurala  以软件即服务(SaaS)为基础提供Brain Builder,以帮助简化深度学习的创建,分析和管理。Neurala的联合创始人兼首席执行官Massimiliano Versace说:“人工智能数据准备的传统方法极其耗时且耗费人力,需要大量数据,需要经过精心和昂贵的注释。” “我们与Brain Builder的目标是通过易于使用的注释工具降低进入门槛。通过添加视频注释,我们能够进一步自动化数据准备,帮助组织将AI数据准备的时间和成本降低至少50%。“Neurala的专利和获奖技术源于2006年NASA,DARPA和空军研究实验室的神经网络研究。2013年,该公司加入了Techstars商业化计划。“每个人都想要AI,但他们不知道为什么,”Neurala的联合创始人兼首席运营官Heather Ames Versace说。“视频注释工具是终身AI技术堆栈的一部分,可提供透明度。”启用AI的注释可节省时间,提高工作效率当用户标记视频中的人物,物体或缺陷时,Neurala的新工具可以反复学习。Neurala表示,在用户在第一帧中标记感兴趣的项目后,该工具会自动在后续帧中注释相同的项目。例如,如果五个人输入一个框架,则在用户仅用一个人标记第一个框架后,它们将全部自动注释。相比之下,用户必须在他或她进入框架时标记每个人,这将花费更多的时间。此外,AI辅助视频注释可以提高标签处理速度并提高生产力,Heather Ames Versace告诉“ 机器人商业评论”。例如,用户可以注释10秒视频的一帧并获得300个注释的输出,而使用传统的注释方法,用户需要手动标记300个不同的图像才能获得相同的结果,Neurala说。“可解释性和信任始于数据,”Heather Ames Versace在最近的AI World大会上说。“通过在更短的时间内对数据进行注释和标记,团队可以进行更快速的原型设计。”用Brain Builder存钱“最终,它将帮助组织和开发人员更有效,更具成本效益地构建,培训和部署人工智能,”Massimiliano Versace说。“当涉及视觉AI的构建方式时,Neurala的Brain Builder平台已经在改变游戏规则。而现在,视频注释将进一步扩大可访问性和生产力的可能性。“Neurala说,Brain Builder还可以提供可观的投资回报。使用Brain Builder,组织可以以每小时6,750美元的视频进行注释,而没有它的则为13,500美元。Neurala发布  了一个教程  ,概述了使用Brain Builder在视频中标记对象的过程和好处。它还解释了如何使用TensorFlow训练语义分段网络。此外,本教程还引导观众了解跨多个GPU的培训步骤,这可以进一步缩短培训时间。