装有芯片的摄像头到底有多智能?

   一片小小的人工智能视觉芯片能做什么?无人驾驶汽车主动识别并避让行人、摄像头实时甄别在逃犯……这些影视作品中的情节,或许不久将可通过基于嵌入式人工智能视觉芯片的“解决方案”成为现实。

  人工智能芯片被视为未来人工智能时代的战略制高点。在视觉感知领域,人工智能视觉芯片正逐步应用于智能手机、安防监控、自动驾驶、医疗成像和智能制造等领域。

  可根据AI需求成像

  纵观信息产业发展历程,从个人电脑时代到移动互联网时代,承载高性能计算的芯片决定新型计算平台的基础架构和发展生态,并掌握着产业链最核心的话语权。

  中国科学院院士张钹指出,传统硬件架构难以满足人工智能时代深度学习的要求,新的算法需要新的硬件来支撑。同时,芯片的结构将越来越像“大脑”,类脑芯片、智能芯片等将是人工智能的发展方向。

  “所谓视觉芯片,实际上是一种具有高速图像采集和实时图像处理功能的片上集成系统芯片。”中国科学院半导体研究所半导体超晶格国家重点实验室研究员吴南健介绍说,在日前举办的国家自然科学基金优秀成果北京对接会上,吴南健带领研究团队展示的新型视觉芯片(VisionChip)科研成果很是引人注目。

  据介绍,这种视觉芯片集成高速图像传感器和大规模并行图像处理电路,能够模仿人类视觉系统视觉信息并行处理机制,解决现有视觉图像系统中数据串行传输和串行处理的速度限制瓶颈问题。

  吴南健解释说,人工视觉的架构分两部分,类似于人的眼睛和大脑。人的眼睛是一个典型的图像传感器,能够摄取图像并且进行一些噪音去除等初级图像处理;人的大脑神经元网络是一个视觉图像处理系统,具有非常强的对所摄取的视觉信息进行并行处理的能力。

  AI视觉芯片与摄像头的关系是——芯片做的是大脑,摄像头做的是眼睛。这里就存在一个问题:大脑该如何控制眼睛?远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲解释道,传统的技术方法是定义一个通信控制接口,但在视觉应用中这种做法会非常复杂。人眼的成像是非常聚焦的,只看到关注的东西。当AI算法解决了“要看什么”的问题后,前端成像就有了目标,可以把所有的资源都调配到关注的对象上,做到“指哪打哪”,也就是取出噪音的处理过程,可以更高效智能地处理视觉信息。这种根据AI的需求来成像,能解决很多以前解决不了的问题。

  “通常以前处理的方式,是通过摄像头把信息摄录,传到服务器或云端后,利用服务器上的显卡进行运算,现在是将视觉芯片嵌入摄像头,让其本身可以处理信息,做成专用芯片,如果芯片大批量生产,在价格上会便宜非常多,极大降低成本。这就是目前这项技术突破的核心价值。”谭茗洲在接受科技日报记者采访时指出。

  比人类视觉更具优势

  在我们通常的印象中,一个视力正常的人可以迅速且毫不费力地感知世界,甚至可以详细生动地感知整个视觉场景;但其实这只是一个错觉。

  “人类生理视觉有着天然的局限,只有投射到眼球中心视觉场景的中间部分,我们才能看清楚。比起人眼来,嵌入视觉芯片的机器将具备相当多的优势,因为可以传感更宽的频谱范围、更高的清晰度、更宽的视角,其视力远不止5.0,在夜间也可以看得很清楚。如同AlphaGo战胜‘围棋天才’一样,在某些应用场景,其视觉在准确性、客观性、稳定性等方面都要比人类视觉更具优势。”谭茗洲指出。

  吴南健介绍说,目前,国内外在人工视觉芯片领域的研究主要是CMOS图像传感器芯片技术、并行图像处理技术和CMOS集成技术。在CMOS图像传感器领域,国际技术水平朝着高分辨率、宽动态范围、高帧率、高智能化、宽波长范围和三维成像的方向发展。人工视觉系统芯片能够完成图像获取和初级(图像滤波)、中级(特征提取)、高级(特征识别和不规则处理)3个图像处理步骤。

  “视觉芯片关键要解决运行效率和处理3D影像这两个问题。以往视觉芯片处理信号面临的最大问题是因运算量太大导致处理信息速度低,以及摄取的照片是把三维世界‘压缩’成二维影像,在一张平面上已分不清物体距离远近、立体空间形状、空间位置等,而人眼可把这个还原。”谭茗洲表示。

  记者了解到,新型人工智能视觉系统芯片,是将高速CMOS图像传感器、并行信号处理单元和输出电路集成于单一芯片内,实现实时视觉芯片系统。将不同功能的技术集成在一个芯片上有很多优势,实现图像获取和图像信息处理每秒一千帧的系统速度,可广泛应用于高速图像处理、快速图像识别解释、高速运动目标的实时追踪等领域。

  谭茗洲指出:“目前,中科院设计的新型视觉系统芯片理念非常先进,仿照人类视网膜神经元机制设计,感光对信号的处理方式,拣取有用的信号进行处理,极大地减少了运算的体量。”

  未来市场空间巨大

  “以我个人的观点,视觉系统芯片会成为必然的趋势,就像手机和相机结合成就智能手机一样,目前在技术上已突破填充率低、分辨率低和信号干扰严重的难题,将科研成果转化并投放市场只不过是时间问题。”吴南健表示。

  记者了解到,目前基于该技术的产成品已经试用于一些创新企业,比如在工业产品的自动化检测领域完全可以使用视觉系统芯片代替人工检测;在智能监控领域,过去需要将视觉处理芯片装在具有传感器技术的摄像头上,通过把数据结构化、再压缩送到数据中心的复杂方式完成数据传输和计算。

  那么,视觉系统芯片如果在未来实现产业化,其市场空间有多大?据推算,2018年,图像传感器的市场规模在150亿美元左右,虽然其中120亿美元发生在智能手机领域,但未来发展比较快的4个领域是安防、国防、汽车、医疗,到2021年将会迎来40亿美元的市场空间,年增长率约10%—20%。

  “视觉处理器的需求增长会更快,目前该市场的整体规模(包括硬件、软件、服务)在170亿美元至180亿美元,单从硬件来看也占到约30亿美元。如果视觉系统芯片可以覆盖70亿美元的市场规模,企业在这中间拿到1%的话,其盈利空间就已经很大了。”吴南健指出。

  近年来,国内外一批新型人工智能企业,依托人工智能领域技术和算法优势向芯片行业渗透,加强人工智能芯片基础层研发。从市场格局来看,已经发展成为一个相对独立又相互依存的产业生态。在前端,索尼是图像传感器市场、生产和技术的领导者,紧随其后的三星和豪威科技也保持着不错的竞争力;在后端,Mobileye和英伟达(NVIDIA)是提供视觉处理芯片的主要厂商,在国内该领域的公司有地平线等。

  然而,截至目前,尚未有企业实现“图像传感器+视觉处理器”集成式芯片的大规模量产。不管是现在的创业企业,还是已经在市场上占有一定份额的大企业,不是做图像传感器,就是做后端的视觉处理器。正如吴南健所言,这将给初创企业带来机会。 

推荐文章

来自工业界的最佳实践。车牌识别是一个老生常谈的话题,在工业界已经得到广泛应用。当深度学习在各种视觉识别任务上刷新更高精度的时候,却常常被认为计算量远大于传统方法。Intel公司俄罗斯IOTG计算机视觉组的工程师最近发布了一篇论文,揭示了自家已经商用的车牌识别算法,使用轻量级深度神经网络进行车牌识别,达到快准狠的新高度,即速度超快、精度超准、硬件利用率超狠。本文来自于论文《LPRNet: License Plate Recognition via Deep Neural Networks》。文章的的第一作者已经离开Intel,这篇论文是他们17年的工作,通过Linkedin得知,两位作者来自Intel收购的Itseez公司,也就是之前维护OpenCV的俄罗斯公司。该文提出了LPRNet – 自动车牌识别的end-to-end方法,识别之前无需进行初步的字符分割。该方法使用了深度神经网络,能够实时运算,在中国车牌识别准确度上高达95%,速度上在nVIDIA GeForce GTX 1080显卡运算每个车牌3ms,在英特尔酷睿i7-6700K上每个车牌1.3ms。LPRNet由轻量级卷积神经网络组成,因此可以端到端的方式进行训练。论文称,LPRNet是第一个不使用RNN的实时车牌识别系统。因为速度快,LPRNet算法可用于自动车牌识别的嵌入式解决方案,即使在具有挑战性的中国车牌上也具有高精度。需要说明的是,LPRNet解决的是识别的问题,文中车牌检测使用的是LBP-cascade。LPRNet特性1.实时、高精度、支持车牌字符变长、无需字符分割、对不同国家支持从零开始end-to-end的训练;2.第一个不需要使用RNN的足够轻量级的网络,可以运行在各种平台,包括嵌入式设备;3.鲁棒,LPRNet已经应用于真实的交通监控场景,事实证明它可以鲁棒地应对各种困难情况,包括透视变换、镜头畸变带来的成像失真、强光、视点变换等。车牌识别的挑战图像模糊、很差的光线条件、车牌数字的变化(比如中国和日本的车牌有一些特殊字符)、车牌变形、天气影响(比如雨雪天气)、车牌上的字符个数有变化。空间变换预处理LocNet这是对检测到的车牌形状上的校正,使用 Spatial Transformer Layer[1],这一步是可选的,但用上可以使得图像更好得被识别。LPRNet的基础构建模块LPRNet的基础网络构建模块受启发于SqueezeNet Fire Blocks[2]和Inception Blocks[3],如下图所示。特征提取骨干网架构骨干网将原始的RGB图像作为输入,计算得到空间分布的丰富特征。为了利用局部字符的上下文信息,该文使用了宽卷积(1×13 kernel)而没有使用LSTM-based RNN。骨干网络最终的输出,可以被认为是一系列字符的概率,其长度对应于输入图像像素宽度。由于解码器的输出与目标字符序列长度不同,训练的时候使用了CTC Loss[4],它可以很好的应对不需要字符分割和对齐的end-to-end训练。为了进一步提高性能,使用了论文[5]中global context嵌入。推理阶段对上述一系列字符的概率进行解码,使用beam search[6],它可以最大化输出序列的总概率。后过滤(post-filtering)阶段,使用面向任务的语言模型实现作为目标国家车牌模板的一组集合,后过滤阶段是和beam search 结合一起用的,获得通过beam search找到的前N个最可能序列,返回与预定义模板集合最匹配的第一个序列,该模板取决于特定国家的车牌规则。识别实验结果训练时,使用一个来自监控场景的中国车牌的私有库,总共有11696幅经过LBP级联检测器检测出来的车牌,并进行了数据增广(data augmentation)即随机旋转、平移、缩放,下图报告了上述各种tricks对识别精度的影响。最大的识别精度增益来自于global context(36%),其次是data augmentation(28.6%),STN-based alignment即预处理也带来了显著提高(2.8-5.2%),Beam Search联合post-filtering进一步提高了0.4-0.6%.识别速度Intel将LPRNet在CPUGPUFPGA上都进行了实现,每个车牌的识别时间如下:这里GPU用的是nVIDIA GeForce1080, CPU是Core i7-6700K SkyLake, FPGA是Intel Arria10,推断引擎IE来自Intel OpenVINO.虽然这篇文章本身没有什么新的发明,但52CV还是认为非常值得推荐给大家的,它绝不属于水文,因为Intel已经将其商用了,足以证明它的优势和价值。该文没有开源代码,论文地址:https://arxiv.org/abs/1806.10447v1在“我爱计算机视觉”公众号后台回复“lprnet”可以直接获取论文的百度网盘下载地址。参考文献[1]“Spatial Transformer Networks,”arXiv:1506.02025[2]“SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5mb model size,”arXiv:1602.07360[3]“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning,” arXiv:1602.07261[4]Connectionist temporal classification:labelling unsegmented sequence data with recurrent neural networks. ICML 2006:369-376[5]“ParseNet: Looking Wider to See Better,” arXiv:1506.04579[6]Supervised Sequence Labelling with Recurrent Neural Networks, 2012th ed. Heidelberg ; New York:Springer, Feb. 2012.转载来源:《快准狠!Intel论文揭示自家车牌识别算法:LPRNet》

热门文章

简单讲:互联网数据标注员是借助电脑或者移动设备对一些原始的数据进行处理,生产出满足AI公司机器学习需要数据的一群人。按照数据处理对象的不同,工作内容也会有差别,标注员的工作内容可以分为:分类;框选;注释;标记。按照所处公司的不同,标注员的工作方式也会有差别:有的人工智能公司处于对数据安全性考虑会自建标注团队,在这些公司工作的标注员可以保证自己工作内容不会出现太大变动;但一些服务于人工智能公司非专业外包公司标注员的工作则是项目制的,一个项目忙完紧接着做另一个项目,这样工作内容连续性较差,对一种类型的项目经验也不会积累的太多。就目前来说,人工智能还处于人工增长阶段,机器依然需要大量的数据进行训练,测试。标注员在当下也会一直存在,而且从业群体会越来越多,所以暂时不用担心这份职业会不会短期消失。就标注员从业来说,建议选择人工智能公司和专业的数据公司,这样可以保证自己在一个方向上了解的足够深入。就职场晋升来说,以牛牛数据为例:标注员——项目经理——项目总监——数据运营总监。首先谈谈什么是数据标注。数据标注有许多类型,如分类、画框、注释、标记等等,我们会在下面详谈。要理解数据标注,得先理解AI其实是部分替代人的认知功能。回想一下我们是如何学习的,例如我们学习认识苹果,那么就需要有人拿着一个苹果到你面前告诉你,这是一个苹果。然后以后你遇到了苹果,你才知道这玩意儿叫做“苹果”。类比机器学习,我们要教他认识一个苹果,你直接给它一张苹果的图片,它是完全不知道这是个啥玩意的。我们得先有苹果的图片,上面标注着“苹果”两个字,然后机器通过学习了大量的图片中的特征,这时候再给机器任意一张苹果的图片,它就能认出来了。这边可以顺带提一下训练集和测试集的概念。训练集和测试集都是标注过的数据,还是以苹果为例子,假设我们有1000张标注着“苹果”的图片,那么我们可以拿900涨作为训练集,100张作为测试集。机器从900张苹果的图片中学习得到一个模型,然后我们将剩下的100张机器没有见过的图片去给它识别,然后我们就能够得到这个模型的准确率了。想想我们上学的时候,考试的内容总是不会和我们平时的作业一样,也只有这样才能测试出学习的真正效果,这样就不难理解为什么要划分一个测试集了。我们知道机器学习分为有监督学习和无监督学习。无监督学习的效果是不可控的,常常是被用来做探索性的实验。而在实际产品应用中,通常使用的是有监督学习。有监督的机器学习就需要有标注的数据来作为先验经验。在进行数据标注之前,我们首先要对数据进行清洗,得到符合我们要求的数据。数据的清洗包括去除无效的数据、整理成规整的格式等等。具体的数据要求可以和算法人员确认。二、常见的几种数据标注类型1.分类标注:分类标注,就是我们常见的打标签。一般是从既定的标签中选择数据对应的标签,是封闭集合。如下图,一张图就可以有很多分类/标签:成人、女、黄种人、长发等。对于文字,可以标注主语、谓语、宾语,名词动词等。&lt;img src="https://pic2.zhimg.com/50/v2-df93dc0a7e8a5fe387dc3774748b5f05_hd.jpg" data-caption="" data-size="normal" data-rawwidth="700" data-rawheight="400" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic2.zhimg.com/v2-df93dc0a7e8a5fe387dc3774748b5f05_r.jpg"&gt;适用:文本、图像、语音、视频应用:脸龄识别,情绪识别,性别识别2.标框标注:机器视觉中的标框标注,很容易理解,就是框选要检测的对象。如人脸识别,首先要先把人脸的位置确定下来。行人识别,如下图。&lt;img src="https://pic2.zhimg.com/50/v2-7824903d6d840e2bb08d96b5c2fa5874_hd.jpg" data-caption="" data-size="normal" data-rawwidth="591" data-rawheight="398" class="origin_image zh-lightbox-thumb" width="591" data-original="https://pic2.zhimg.com/v2-7824903d6d840e2bb08d96b5c2fa5874_r.jpg"&gt;适用:图像应用:人脸识别,物品识别3.区域标注:相比于标框标注,区域标注要求更加精确。边缘可以是柔性的。如自动驾驶中的道路识别。&lt;img src="https://pic3.zhimg.com/50/v2-4bc1dd2278182acf94fc426d7e6f2dc1_hd.jpg" data-caption="" data-size="normal" data-rawwidth="601" data-rawheight="377" class="origin_image zh-lightbox-thumb" width="601" data-original="https://pic3.zhimg.com/v2-4bc1dd2278182acf94fc426d7e6f2dc1_r.jpg"&gt;适用:图像应用:自动驾驶4.描点标注:一些对于特征要求细致的应用中常常需要描点标注。人脸识别、骨骼识别等。&lt;img src="https://pic4.zhimg.com/50/v2-5e24f394516c75e45942c37ba0da85c0_hd.jpg" data-caption="" data-size="normal" data-rawwidth="583" data-rawheight="387" class="origin_image zh-lightbox-thumb" width="583" data-original="https://pic4.zhimg.com/v2-5e24f394516c75e45942c37ba0da85c0_r.jpg"&gt;适用:图像应用:人脸识别、骨骼识别5.其他标注:标注的类型除了上面几种常见,还有很多个性化的。根据不同的需求则需要不同的标注。如自动摘要,就需要标注文章的主要观点,这时候的标注严格上就不属于上面的任何一种了。(或则你把它归为分类也是可以的,只是标注主要观点就没有这么客观的标准,如果是标注苹果估计大多数人标注的结果都差不多。)三、有什么发展前途?数据标注员可以说是AI消灭了一部分工作又创造出来的一种工作。在未来AI发展良好的前提下,数据的缺口一定是巨大的。可以预见3-5年内数据标注员的需求会一直存在。至于发展,其实所谓一些熟能生巧的工作,都是有被替代掉的风险的。深度学习解决的一件事情就是熟能生巧。在这个岗位上,其实你的一些想法就代表了AI的想法,AI会根据你标注的数据进行学习,想想还是有点成就感的。数据标注可以说是AI的入门级岗位,未来可转向其他AI岗位。如项目实施顾问等,这就要求更多的工作技能,需要再工作中积累。作者:跹尘链接:https://www.zhihu.com/question/30654399/answer/264828926来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。