用双目摄像头从后装切前装，中科慧眼的视觉ADAS如何助力智能驾驶？ | 机器人大家说第17期干货整理

今年3月，英特尔斥资153亿美元收购了汽车ADAS视觉方案提供商Mobileye，此举在引发舆论强烈关注的同时，也让摄像头这个与ADAS视觉方案密不可分的环境传感器变得世人皆知。

作为以单目摄像头为基础实现ADAS功能的方案提供商，Mobileye已经确立了其行业优势地位。但也有一些企业正致力于一条不同的技术轨迹，中科慧眼就是其中一家，他们使用了双目摄像头，期望通过图像处理技术为汽车保驾护航。

关于中科慧眼的产品思路和商业逻辑，本期机器人大家说，我们邀请到了中科慧眼联合创始人&CTO——崔峰，为我们深度解析多维汽车视觉解决方案，揭开智能驾驶的神秘面纱。

以下为崔峰博士演讲实录↓↓↓

首先，崔峰老师向大家简要介绍了中科慧眼的主要商业模式、行业发展趋势以及核心优势。

中科慧眼成立于2014年10月，是国家高新技术企业，也是中关村的前沿技术企业，致力于图像与视觉领域互联网产品的研发与推广。目前， 公司有一个强大的博士团队，该团队负责提供图像处理核心算法技术支撑，以此自主核心技术为基础提供高性价比的软硬一体双目视觉方案，主要是面向于车载机器人，后续将推出多传感器融合方案，提升所有智能传感器在车载条件下的使用体验。

我们基于双目技术提供多维汽车视觉解决方案， 为前向的碰撞预警，车道线偏离预警，以及未来的AEB主动刹车，主动转向，路径规划提供核心技术支持;同时，我们将延展到360度的车身环视，以及对车内驾驶员行为的分析，乘客行为的分析。大家都知道，博世、大陆、奥托立夫，日立、理光等Tier1的厂商也在提供前装的双目摄像头，但是目前，在全球范围内我们是唯一一家可以量产车载双目ADAS产品的创业公司。

为什么说我们是第一家量产双目ADAS创业公司呢?是因为我们一开始就要推出后装的双目ADAS的产品，我们希望通过这样一个产品进行技术能力与生产方式的验证。相对前装产品，后装双目ADAS产品的整个开发周期和上市周期都会缩短，因此我们的第一批产品应该会在7月中下旬到8月中上旬投放市场，销售渠道会涵盖本土、北美、南美以及欧洲市场。

从技术方面来讲，我们在做的双目视觉ADAS具有一些特别之处：

第一，成像技术的研发能力，我们可以自己完成镜头的选型，相机的选型以及相机参数的调校，在室内室外的一些复杂场景以及各种光线情况下的调校，在大部分的情况下，我们可以做到24小时为算法提供合格的数据信号源;

第二，我们的双目视觉算法是自研的，基于面的一个深度计算算法，它的计算结果接近激光雷达的扫描结果，是密集的距离点云;

第三，我们的整个研发的过程以及工厂量产的体系都比较成熟，也就是说我们不仅能够完成从科研到样机的试制，也可以完成在工厂量产的各种准备，包括量产中的自动化设备、自动化软件等。

基于以上三点，我们就可以在产品中融合视觉和激光雷达的特点，所以我们认为双目传感器在现在和未来，会成为市场优势，会形成一个卖点。

汽车视觉本身的运行环境比较特殊：因为汽车的速度比较高，它的加速减速会非常剧烈，如果要保证汽车的时速在120公里，并且各项功能能够正常使用，那么对这个产品的稳定性及运算的实时性的要求就非常高;同时，汽车储藏环境以及工作环境都是比较严酷的，例如在夏天，早上车内温度可能在十几度，到了下午，经过暴晒，车内温度经常在80度之上，所以这个产品要有严格的温度，震动以及各方面的测试。

因此，我们目前已跟很多家Tier1的厂商在准前装市场上进行了合作开发，因为如果进入前装，整个开发周期比较长，即使现在产品比较成熟，进入前装的系列基本要排到2020年的车型，而且这里面还存在很多不确定性，而准前装就是对现有的车型进行直接的改造，目前，我们已经与商用车队以及物流车队进行了一些批量化的产业合作，今年下半年到明年上半年会有一些产品面世。在后装市场，我们主要是可以尽快验证我们的算法，锻炼我们的队伍以及加速生产方式的成熟化，并撬动ADAS市场。

接下来，崔峰老师向大家介绍了双目技术的优势以及产业更安全、更智能的趋势。

 

今年3月7日，交通部颁布了《营运客车安全技术条件》，规定9米以上的营运客车要在13个月内加装车道偏离预警(LDW)、向前碰撞预警(FCW)、自动紧急制动系统(AEB)等功能。

在乘用车方面，中国新车评价规程(C-NCAP)也宣布将在2018年把车道偏离预警、碰撞预警和AEB等功能列为加分项，并在2020年将这些指标列为重要评测项。届时没有这些功能新车的C-NCAP得分将会较现在大幅下降。

这就给我们做人工智能，机器视觉，雷达等侧重于汽车用的传感器以及驾驶平台的创业公司，带来了比较好的预期。而我们基于双目技术优势，提供的多维汽车视觉解决方案，也与之相吻合。

一般而言，ADAS技术能够通过智能传感器感知行车环境，把危险预测出来，预报给驾驶员，或者说与汽车的制动转向融合，替你主动刹车、主动转向，甚至说路径规划，能够让汽车驾驶更智能，更安全。而我们在双目传感器的基础上，还会衍生出多维的视觉设备，不但具备以上优势，还能够做到为汽车提供很多的输入接口，比如进行车外环视、人脸的识别、姿态识别、表情识别、敏感人群识别，敏感乘客识别等。

ADAS(Advanced Driver Assistant Systems)，意思是高级驾驶辅助系统。从传感器来讲，它会分为视觉及雷达，视觉又可以分为单目视觉、双目视觉，雷达常见的比较多的是毫米波雷达以及激光雷达。其实这些传感器各有优劣势，作为视觉传感器来讲，它的劣势在于会受到成像环境的影响，即使是我们这样一个比较成熟的双目系统，在完全黑夜，特别大的暴雨、暴雪的或者雾霾很重的情况下，它的感知能力就会下降，探测距离会缩短。激光雷达和毫米波也有各自的优缺点，这个后面也会讲到。

接下来，崔峰老师通过Intel宣布153亿美元收购以色列单目视觉公司Mobileye以及中国及全球市场ADAS功能模块市场容量递增的趋势说明了的中科慧眼的市场前景。

如上图所示，今年3月份， 在智能汽车，尤其是传感器方面有一个比较大的动作，就是英特尔宣布用153亿美金收购了以色列的Mobileye这家公司。

如果大家对智能汽车及ADAS或者主动安全系统比较熟悉，就会知道Mobileye在视觉ADAS方面目前处于难以撼动的霸主地位，它在以色列成立，到现在为止，已经有将近2000万辆汽车装备了它的单目摄像头以及集成了它的算法的芯片，包括集成它AEB主动刹车功能的套件，所以它非常成功。

英特尔此举，也是对跟智能汽车相关的ADAS公司或者这种高技术公司的一个认可。而且从东软的研究报告来看，到2020年，中国以及全球ADAS市场是非常广阔的，例如中国，到2020年市场容量会在953亿人民币左右。

接着，崔峰老师向大家介绍了双目视觉SmartEye车联网主动安全及监督方案，包括车辆行驶监督预警、车载驾驶员及成员检测以及通过3/4G网络与远程监控系统实现数据交换。

这张图片展示的是，我们中科慧眼提供怎样的一个闭环。首先，货车、客车、轿车可以选配我们的各种模块，比如我们的双目ADAS模块，它主要负责前向碰撞与车道线偏离的预警以及刹车;驾驶员及成员检测模块，它主要是向内观测车内驾驶人员以及乘客，监测他们是否有异常情况需要进行报警。在本地报警以及本地制动或本地转向的基础上，我们还通过4G模块，以及通过GPS定位，向通讯卫星进行信号传输，卫星又可以将这些信息传输到车辆远程监控系统中去。

接下来，崔峰老师通过引用中高端车使用双目视觉、单目视觉漏检率高以及雷达激光成本高且识别能力有限等例子证明了双目视觉的优点，并在双目视觉的测距原理方面做了详细说明。

 

至于为什么选择双目作为创业方向?有以下几个原因：

第一，双目视觉是计算机视觉里一直存在的一个主要分支，与单目摄像头相比，双目摄像头虽然目前在量产车上搭载较少，但其发展历史相对于单目摄像头而言并不短。早在1998年，日立公司便开始研发车用双目摄像头。从2004年开始，斯巴鲁开始与日立公司合作，将高鲁棒性双目摄像头用在其新车型上。在欧美企业，大陆、博世和奥托立夫等公司一直在进行相关探索。从2016年开始，包括奔驰、宝马、捷豹，路虎和雷克萨斯等豪华品牌都在新车型上搭载了双目摄像头，并持续扩大其适用范围。 不可否认，双目是标杆企业及Tier1企业的首选。

第二，单目漏检率高。从原理上看，单目摄像头是将需要识别的物体从画面中提取出来，进行识别，其难点在于其算法需要不断通过数据积累来进行机器学习，并从中不断提炼和完善。在现实生活中，信号灯、限速牌、车道线等常见的道路信息都是单目摄像头能够提取的，但是还有一些未学习过的物体，在进行提取、识别时，容易出现漏检。而双目摄像头就像人眼，利用视差原理把视场内相关物体的距离测算出来，形成密集的距离点云，然后抓取障碍物的轮廓进行报警。这点和激光雷达的原理类似。相比单目摄像头，双目摄像头的功能更加丰富。系统既可以通过单个摄像头实现车道线、路标和车辆类型识别，同时还可以利用两个摄像头完成物体的立体匹配，直接通过距离点云提取障碍物，并获得物体距离等依靠单目摄像头无法准确识别的信息。

第三，双目视觉优于其他传感器组合。换句话说，双目视觉对于行人的保护是单目视觉和其他雷达所不能比拟的。除了汽车检测，从AEB，对于障碍物的规避以及安全上来看的话，行人检测也是非常重要的，所以说双目立体摄像头，在未来的L3，L4、L5这样自动驾驶程度的汽车上的应用范围会越来越广。

上面这张图，展示了双目视觉利用视差测距的原理。我们分别在左右两边各放置一个相机，对近处的行人以及远处的椰子树进行成像，大家可以对比一下左右眼成像的差距。最终我们会得出一个结论，距离越近的物体，左右成像的位置差越大，这个位置差别就叫视差。如果同时生成左眼图像和右眼图像，对每一点做匹配，左眼图像的一点跟右眼图像的对应的一点做相应匹配，这样就能得到每一点的视差。

将这个视差用伪彩色表示，就是越远越大的视差就越红，越小的视差越蓝，越大的视差代表这个点离相机越近，越小的视差代表这个点实际场景中离相机越远，这样的话就能由红到蓝变成一个由近到远的伪彩色的深色图。

这张图所展示的是，2014年日京汽车技术对应用于汽车的AEB传感器效能的评测，包括斯巴鲁EyeSight的ADAS，还有沃尔沃的V40(主要配备了单目摄像头，由Mobileye提供)，宝马摄像头等。从这张图来看，双目方案一般比单目方案贵20%，主要是它会多一个镜头，在结构件上也会多一些材料。

这张图展示的是，国内比较资深的对于汽车产业研究的报告。根据评测的综合结果来看，对于主动刹车系统来讲，双目摄像头的最高工作上限可以达到90公里每小时，单目毫米波是70公里每小时，单目摄像头是40公里每小时，如果仅仅装毫米波雷达的话，它的AEB能够起效应的工作上限是30公里每小时，或许有朋友会觉得这似乎突破了我们以前的认知。事实上，毫米波雷达对行人的检测能力是比较弱的，它的长波信号能够被金属物体反射回来，但对行人以及木材，它的雷达引号被吸收的较多，检测能力就比较低，而且它的分辨率也比较低，所以对于非汽车的障碍物检测，它的漏检风险比较大，所以一般它的AEB工作工理上，时速上限是比较低的。

64线机械激光雷达，它对于各种障碍物的识别目前能够做到60米，而双目摄像头在视角范围内可以识别到60米、80米，甚至90米以上，它的优势是比较明显的。总的来说，各类传感器都各有优缺点，企业可以根据需求去选择，在此不做赘述。

崔峰老师向大家介绍了中科慧眼的优势及公司系列产品。

 

商业模式上，我们专注于做技术门槛更高的双目视觉，提供软硬件全套产品，将算法硬件化、并计划推出视觉芯片，销售3D街景+车辆+驾驶行为数据;技术上，我们基于双目方案的优势，进一步实现了24小时高品质成像，国内率先规模化量产。目前，我们已经有了第一二代产品，严格来说讲我们不能用第一第二代来划分这个产品序列，应该是用GPU平台，以及FPGA平台来划分我们的产品序列。我们第一代产品就是基于GPU。我们的FPGA平台产品，正在紧张的开发中，预计今年下半年推出。用FPGA平台开发产品，最大好处就是它的功耗以及成本可以得到比较好的控制，但是整个开发的难度和周期会比较长。

上图右边两幅图，是我们在夜间下雨情况下，北京环路上采图的效果，大家可以看到从成像上来看，整个光影得到有效的控制，汽车尾灯的炫光也被有效地控制住，同时车道线没有太多的拖影，在汽车高速运行中，整个车辆的这些细节会被呈现出来，这对进行识别以及双目匹配是非常有好处的。

这一页主演展示了我们在白天、夜间对各种路况的检测率、误检率、漏检率的统计结果。从统计数据上来看的话，我们的体验还是非常不错的。

如上图所示，我们在算法上也具备一些优势。主要表现为，我们得的算法都是自主研发的基于面的双目匹配算法。对于双目视觉来讲，进行立体匹配，一般可以认为有两个分支：一类是基于线的算法，另外一类就是我们在做的基于面的算法。基于面，每一点我都计算它的深度匹配信息，即使有些地方算不好，我可以从旁边邻域来预测出这一点的深度信息。这样做的话，运算复杂度会比较高，但是一旦结果可靠，就会呈现出来像激光雷达扫描这样的精确的距离面阵，对于做识别，做环境分析是非常有好处的。

这张图片主要展示了我们在量产方面的优势，即我们在国内率先达到量产标准。

最后，崔峰老师向大家介绍中科慧眼的未来展望。

整个的汽车市场是一个5万亿美金的市场，非常之大，对于ADAS来讲，它涉及到国家安全，尤其是像我们这样一些做视觉传感器ADAS产品的公司，它能够对路况、汽车以及行人、乘客进行识别、监控以及分析，我们本土上有优势，政策上也有一些倾斜，因此是非常有希望的。

当然，为了让产品早日进入前装我们还有大量工作要做。我们希望在2017年下半年推出基于FPGA平台开发的样机，并进入客车前装领域;2018年推出带自动刹车功能的ADAS产品;2019年在量产新车型上实现搭载。在乘用车方面，崔峰表示根据乐观估计，产品会在2020年在新车型上实现前装。

 

以下是本次分享精彩问答：

Q：崔总，请教个问题，现在无人机其实市场还蛮大的，有没有考虑无人机市场?

崔峰：对于无人机市场，国内外做传感器的公司也挺多，也有不少公司做了双目传感器，像大疆、零度智控等。但是无人机跟汽车细分市场的需求还是不太一样，就是在整个体积功耗上要求会更苛刻，汽车会在整个结构的稳定度上，探测距离以及耐震动耐高低温这方面要求比较严格，换句话说，不同应用场景对技术需求会有更多细化，更多的专业化。如果我们在汽车领域立足比较顺利的话，有机会也希望参与到无人机以及机器人等行业里面。

 

以上便是本次机器人大家说全部内容，下期机器人大家说，我们将邀请行业专家为大家带来机器人、人工智能等行业深度解读，敬请期待!

END