ABOUT
关于我们

华为海思AI视频监控芯片出货量超5亿,背后竟然离不开这家公司?

智东西

继高清化和IP化之后,如何让视频监控更加智能成为安防行业的下一步发展的一个重点方向。随着AI技术的热潮来袭,大量AI创企拔地而起,纷纷抢占安防监控市场的蛋糕。

如今,国产芯片已在安防监控领域得到广泛使用,华为海思半导体以高性价比跃居国内安防监控市场的龙头。

在视频监控智能化的道路上,曾经的安防芯片龙头美国德州仪器(TI)采用ARM+DSP架构,而后崛起的海思采用了ARM+IVE架构,IVE全称智能视频引擎(Intelligent Video Engine),是一个用于加速图像视频分析的协处理器。据智芯原动董事长崔凯说,IVE由智芯原动独创。海思采用ARM+IVE架构后,在功耗、成本和运算效率上都优于当时的市场顶尖芯片,比如TI。

最近,智东西来到智芯原动的办公室,与其创始人、董事长兼CEO崔凯进行了一场深入对话,不仅聊到智芯原动的IVE是如何协助海思芯片成为视频监控芯片市场的老大,而且谈及在转型过程中遇到的瓶颈。

ice-tech-cui.jpg


一、两度创业,超5亿IVE技术授权

智芯原动创立于2012年,专注于AI算法及算法芯片技术研究,上个月底宣布完成B轮融资,本轮融资由英特尔领投,松禾资本和峰瑞资本跟投。


早期的智芯原动是一家芯片算法IP授权公司,后向IP授权与硬件产品生产结合发展, 除了从事AI算法和算法芯片技术研究外,智芯原动还向客户提供智慧停车、智能交通、智慧社区、智能安防等一系列AI产品和解决方案。


该公司的核心技术是独创架构IVE(Intelligent Video Engine)智能视频引擎。所谓IVE,就是一个用于加速视频处理的协处理器,它和芯片结合成为智芯原动的核心竞争力,既满足智能化需求,又提高速度、降低功耗和成本。


崔凯是智芯原动的创始人、董事长兼CEO,于1996年毕业于江苏大学。他在2009年底就出来创业,第二年他将公司的整个产品方向转向芯片IP授权,为海思打造了一个图像识别加速器,这就是第一代IVE。在那家公司解体后,2012年,崔凯和CTO王正等几位一起共事多年的老同事成立了智芯原动,为海思做IVE 2.0。除了为海思做IP授权外,智芯原动也在给其他公司产品做IP授权,不过具体名字不方便透露。


“智芯原动”的名字就来自于IVE,含义为智能芯片原动力,英文名称ICE TECH与中文名称对应,指Intelligent Chip Engine。智芯原动的创立愿景是打造中国的智能芯片。


崔凯告诉智东西,智芯原动的创始团队有8人,其中三人做算法,其CMO康毅原来在海思做芯片规划,在海思工作十年以上。目前智芯原动团队约240-250人,技术团队占55%左右,明年可能扩大到60%。


二、与TI擦肩而过,助力海思征战视频监控

在目前的网络摄像机(IPC)SoC芯片市场中,海思半导体可谓一家独大。海思就是我们所熟知的那个华为海思半导体,目前海思的团队主要分为三部分:分别包括系统设备业务、手机终端业务、对外销售部分。 其中,对外销售的主要是安防用芯片和电视机顶盒芯片。


智芯原动技术落地的第一步是帮助华为海思在监控行业去提高竞争力,当时它的主要竞争对手就是美国德州仪器(TI)。TI最大的优势在高端芯片,采用的ARM+DSP架构做图像处理,因此海思决定采用ARM+IVE架构对标TI。彼时第一代IVE还是来自崔凯创立的另一家公司,智芯原动成立后陆续打造了IVE 2.0和IVE 3.0。


自2012年立项起,智芯原动花了1年多的时间开发算法。2013年7月,智芯原动正式和海思启动IVE 2.0及对芯片的开发。然而遗憾的是,这一代海思芯片刚开发1个月,TI就宣布退出监控市场,海思没能在视频监控领域和TI正面交锋。


海思芯片使用智芯原动提供的IVE授权加速图像识别。IVE是SoC里的一个硬件模块,作为智能视频分析的协处理器,和ARM架构的CPU协同完成工作任务,将图像识别算法的算子直接芯片化,实现类似于DSP的图像识别加速任务。


在IPC、DVR、NVR和ISP这四类主要的安防监控芯片中,海思在前三种芯片上均占有较高的市场份额。崔凯说,每一颗海思芯片都带有一个IVE加速引擎,从成立至今,智芯原动累积完成5亿颗芯片的IVE技术授权。


从2012年底起,智芯原动配合海思陆续参加安博展等一系列全球相关展会的路演,展示了一些未来解决方案。


崔凯回忆道,当时使用的海思上一代芯片,纯ARM处理器能做到和TI DSP同样的性能,用800MHz主频的ARM处理器在运算速度上和具有8倍并行指令集、被有些人宣称是6.4G主频的TI DSP打平了。


海思芯片起初靠高性价比进入中低端市场,在IVE 2.0完成后,海思的整体优势主要有三点:

其一,IVE功耗是DSP的1/5;

其二,运算速度比DSP快了1倍;

其三,整个IVE硬化(即算法芯片化)成本不到2美分,SoC整体成本也有所降低。


三、海思智能视频监控的武器——ARM+IVE

IVE的核心思路遵循智芯原动的算法发展,其算法朝向两个方向去发展:一个是在单位功耗下的计算能效最大化,保证产品的性价比优势;另一个是强调工程化落地能力、软硬结合和场景适用能力。


在智芯原动成立之前,初代IVE为海思做了14个图像处理中常见的算子,仅有视频检测算法。由于CPU和IVE之间是不断调用的关系,调用过程中会存在一些影响效率的环节。从第二代开始,IVE有了大的飞跃,算子数量增加到43个。


IVE 2.0的主要目标是围绕中国平安城市,解决行人检测车辆识别问题,算法扩充到视频检测、车牌识别、模式识别和目标检测。


除了完成算子级硬化外,还实现了模块级硬化和功能级别硬化。既可将连续运行的很多函数全部做了硬化,又能将一个完整的算法过程直接做硬化。


其中,被硬化的函数又分为ABC三类。A类是OpenCV的通用函数,把OpenCV做了嵌入式移植;B类是对OpenCV函数代码进行改写,但是为了保持接口的一致性,还继续引用OpenCV的函数;C类是针对平安城市的行人检测车牌识别做的专用算子,这个算子完全由智芯原动开发,海思有些没曝光的隐藏算子就是C类算子。


2015年之后,智芯原动启动IVE 3.0的开发,其设计初衷即为移动摄像头。IVE 3.0在IVE 2.0的基础上扩充了人脸检测、深度感知算法。


传统监控摄像机都是固定在墙上或者杆上的,需要把前景找出来做目标分类识别,但是如果摄像机动起来,就会发现不存在不变的背景,这种情况下需要解决两个问题,一个是目标是什么,另一个是这个目标通过的三维空间关系是什么。


智芯原动围绕“认知世界,感知空间”,在IVE 3.0上重点改进两个方向。在认知方面,引入基于小模型、小样本的算子进行深度学习;在感知方面,采用机器视觉矢量算法VSLAM,实现定位导航、路径规划和避障,解决空间三维测量的问题。


崔凯表示,按现在监控的发展情况,深度学习全面覆盖识别类算法,因此智芯原动暂无做下一代IVE的计划。


四、下设子公司,打通芯片生态链

除了给海思做IP授权外,智芯原动和英特尔、Mstar等许多芯片企业建立了合作关系,构建了芯片生态链,在一些新产品的开发上也获得来自很多芯片厂商的支持。


智芯原动自2015年起和英特尔合作,先后推出基于英特尔架构的卷积神经网络车款识别算法、基于英特尔Apollo Lake架构的深度学习视频结构化算法。


智芯原动集团旗下还有全资子公司华夏智信和合资子公司智汇芯。


华夏智信是智能视频设备供应商,为社区提供停车、人行通道闸、单元人脸门禁等产品和解决方案,该公司生产的“出入口车牌识别相机”在全国市场占有率过半。


智汇芯是智能模组的供应商,更侧重在消费级市场的应用,开发车识别、人识别、客流计数和安防视频数据结构化四类产品,在安防AI模组领域位居前列。


通过算法输出,智芯原动以其技术优势支持华夏智信、智汇芯这些子公司的产品落地,又和大量安防监控设备厂商合作。而这些子公司又是芯片厂商的客户,把含有IVE算子的芯片买回来,再去做其他行业的解决方案,从而形成生态链闭环。


五、跨界转型,宁缺毋滥

从IP授权公司到软硬件结合发展,智芯原动在这个期间也遇到较大的挑战。


首先是公司转型带来的管理问题。智芯原动早先是一家做算法的软件公司,与硬件公司在企业管理上存在较大差异。当从纯软件走向一个硬件产品公司时,公司遇见的最大困难在管理方面。


其次是软硬结合。崔凯认为相对于管理层面,这个门槛相对更好跨过,但对于很多初创公司来说,这仍是一个很难跨越的门槛。


另一个挑战是产品品质。智芯原动有个经营理念:创新、品质和服务,每代产品都要比竞争对手领先一步,品质把控十分困难。在社区行业、停车行业,有大量客户定制产品,研发、交付、生产环节有很多细节要处理,这些过程都会带来许多意想不到的问题。


智芯原动在2016年和2017年做了两次聚焦。2016年几乎砍完了所有产品线,做出入口车牌识别相机。2017年,为了更好解决客户服务问题,保持创新品质服务,智芯原动将客户数量从100多砍到27个。崔凯也提到了著名的二八定律,即20%的客户带来80%的利润。


结语:“AI+安防”行业分水岭即将出现

在这一轮兴起的AI芯片浪潮中,安防是最多公司扎堆涌入的落地领域。


不仅是上文提到的安防芯片巨头华为海思在此方面有所动作,安防巨头海康威视、大华股份等也都陆续被曝出正在研究安防AI芯片,几乎所有AI芯片创业公司都推出了安防产品,而英特尔的Movidius VPU、英伟达的Jetson TX系列等也常被加入到智能摄像头当中。


安防AI芯片的竞争已经逐步进入红海。


崔凯认为,未来两三年应该是AI+安防行业分水岭,会出现大量公司倒下,资本冬天可能到来,因此行业入局者要看到真正落地变现能力,技术能否转换成产品、能否形成企业盈利成为关键。