AI深度（下） | 非人脸识别和ToF技术

文/纽豪斯

发布/AI智道

一文看尽双目摄像、结构光、ToF和激光雷达技术；一文深入了解奥比中光、小觅智能、华捷艾米、的卢深视、Pico和镭神智能；2大趋势、2大核心技术。

在AI智道AI深度（上）中，纽豪斯为大家带来了双目摄像技术和3D结构光技术，在下篇中，纽豪斯继续为大家深度解读非人联识别和ToF技术、激光雷达技术。

ToF技术

ToF技术的原理是：测量发射红外(IR)信号与相位延迟计算每个Sensor像素到目标物体的距离。TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后利用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物的距离。TOF的深度精度不随距离改变而变化，基本能稳定在CM级。

缺点：精确度低、空间分辨率低运动模糊(motion blur 相机运动或目标运动) 

优点：TOF虽然目前精度在厘米级，比Leap Motion等毫米级要低，但目前的设备已经比Leap Motion等更小也更便宜，未来可以做到更小，能够植入移动端。

TOF原理

飞行时间法深度测量基本原理示意图

（来源：计算机视觉life）

飞行时间是从Time of Flight直译过来的，简称TOF。其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。

脉冲调制

脉冲调制方案的原理比较简单，它直接根据脉冲发射和接收的时间差来测算距离，如下图所示。

光脉冲法工作原理示意图

（来源：计算机视觉life）

脉冲调制方案的照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G0，G1）可以把电流导入不同的可以储存电荷(下图S0，S1)的电容里。

方波脉冲调制原理图

（来源：计算机视觉life）

相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭接收端的电子快门。接收端接收到的电荷S0被存储在感光元件中。

然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来。具体过程如下图所示。

光脉冲原理图（来源：计算机视觉life）

因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。

脉冲调制的优点是测量方法简单，响应较快；由于发射端能量较高，所以一定程度上降低了背景光的干扰。但也存在缺点：发射端需要产生高频高强度脉冲，对物理器件性能要求很高；对时间测量精度要求较高；环境散射光对测量结果有一定影响。

连续波调制

实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比，因此可以利用相位偏移来测量距离。

连续波调制原理示意图

（来源：计算机视觉life）

连续波调制的测量原理相对脉冲调制来说复杂一些。同样具备优缺点，

优点：

• 相位偏移相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差。

• 可以根据接收信号的振幅A和强度偏移B来间接的估算深度测量结果的精确程度（方差）。

• 不要求光源必须是短时高强度脉冲，可以采用不同类型的光源，运用不同的调制方法.

缺点：

• 需要多次采样积分，测量时间较长，限制了相机的帧率。

• 需要多次采样积分，测量运动物体时可能会产生运动模糊。

微软推出了两款Kinect，Kinect一代（Kinect v1）是基于结构光原理的深度相机，Kinect二代（Kinect v2），正是基于TOF原理的深度相机。

纽豪斯认为，ToF既然是一种非常好的测距技术，那么用于非人脸识别领域最适合不过了。相比较3D结构光方案，ToF还可以适用于室外场景，适用性得到大大的加强。

典型厂商：PICO-青岛小鸟看看

Pico是新近成立的一家公司，总部位于青岛（之前北京），公司成立于2017年，重点专注于3D视觉技术，最早（也不算很早）做VR眼镜起步。提供ToF传感模组、配套软件，跨平台开发工具的全套解决方案，发布了DCAM100、DCAM710、Air Camera等多款深度摄像头平台，与机器人、智慧物流、金融安防、新零售、消费娱乐、汽车电子、工业自动化、AR/V3D扫描等行业客户展开紧密合作。

Pico的ToF模组和成品（纽豪斯拍摄）

（从上到下：DCAM100/DCAM710和air camera）

核心产品技术参数：

air camera ToF+RGB深度传感一体机

- CPU：高通骁龙605

- RAM：3GB

- ROM：32GB

- 本机操作系统：Android 8.1

- 深度分辨率：640*480@30FPS

- RGB传感分辨率：1920*1080@30FPS

- 视场角：69°（水平）51°（垂直）

DCAM100 TOF 传感模组

- 深度分辨率：640*480@30FPS

- 视场角：69°（水平）51°（垂直）

- 操作系统支持：Linux/Windows7/10

DCAM710 TOF+RGB 图像传感模组

- 深度分辨率：640*480@30FPS

- RGB传感分辨率：1920*1080@30FPS

- 视场角：69°（水平）51°（垂直）

- 操作系统支持：Android/Linux/Windows7/8/10

Pico旗下的Pico Zense产品线提供定制开发，如在工作距离、镜头视场角（FOV）、接口、尺寸、帧率、产品形态（Depth only/RGBD/PCBA only/成套模组）等方面进行定制化开发。

Pico Zense深度成像的效果（3种）

Pico的背后，由高通Qualcomm提供5G和AI平台、ADI提供3D深度引擎、Geoertek提供制造和供应链管理，当然核心还是ADI的ToF技术。

激光雷达技术

激光雷达测距技术通过激光扫描的方式得到场景的三维信息。其基本原理是按照一定时间间隔向空间发射激光，并记录各个扫描点的信号从激光雷达到被测场景中的物体，随后又经过物体反射回到激光雷达的相隔时间，据此推算出物体表面与激光雷达之间的距离。

激光雷达由于其测距范围广、测量精度高的特性被广泛地用于室外三维空间感知的人工智能系统中，例如自主车的避障导航、三维场景重建等应用激光雷达所捕获的三维信息体现在彩色图像坐标系下是不均匀并且稀疏的。由于单位周期内，激光扫描的点数是有限的，当把激光雷达捕获的三维点投射到彩色图像坐标系下得到深度图像时，其深度图像的深度值以离散的点的形式呈现，深度图像中许多区域的深度值是未知的。这也就意味着彩色图像中的某些像素点并没有对应的深度信息。

激光雷达目前被广泛应用于无人驾驶领域，当然也可以应用于安防领域，其典型的代表企业是镭神智能。

基于激光雷达的智能安防系统，旨在弥补监控技术、传感器报警技术被动防御的特性和智能图像分析技术在环境应用中的局限性，通过激光雷达主动防御的特性结合高清视频监控技术，对重点监测区域的目标进行定位跟踪、放大、记录目标的运动轨迹，通知上级单位进行处理。

典型厂商：镭神智能

镭神智能基于激光雷达的智能安防系统是高成本人力守卫的创新替代方案，实现持续的周界自动监控，它非常适合机场监视、国家重要基础设施和商业设施等应用。全天候的雷达系统检测，跟踪和识别任何威胁的确切位置。通过检测周边内外，可以在白天或晚上任何时间进入现场之前识别潜在的入侵者。作为一个全自动的系统，系统会在发生潜在的或实际外围威胁时发出警告或者警报，在外线被攻破之前检测到威胁，或者报告可疑行为，让安全团队在实践发生之前防止这些威胁。

系统主要由雷达探测系统、射频定位系统、联动控制分系统、网络传输及供电分系统、监控中心系统组成。同时可以根据需求提供多个反探测、可穿戴式的人员定位标签（超宽带无线射频定位标签）实现身份与告警关联。

激光雷达的核心技术在于激光雷达点云处理，主要包括：

• 搭建系统框架，建立与客户端通信系统，包括点云显示、区域显示、报警信息等。

• 可以获取客户端的区域设置参数，告警区内设置无效区的能力，具备绘制多个异形防区的能力。

• 可以将客户端下发的区域参数保存，断电上电后可以直接启用。客户端可以读取雷达中设置的区域参数。

• 识别物体大小可设定，可根据障碍物的大小屏蔽较小的物体。

• 自动定位入侵物在预警区的位置，并根据雷达在世界坐标系的位置方位，计算入侵物在世界坐标系中的位置。

• 识别静止、缓慢移动的物体和高速入侵的物体，并输出物体的速度。

• 自动记录报警信息，并输出。

• 输出报警灯（开关量，不少于四路）、客户端控制雷达报警和消警。

• 雷达遮挡判别、前窗有污染时报警、探测器非法旋转或者探测角度发生改变时被激活。

• 雷达故障判别、探测器内部自检错误时被激活。

• 可以在地图中显示障碍物运动的轨迹（客户端后台处理）。

• 设置所有的雷达区域可以构建一个地图。

相比较3D结构光和ToF等三维解决方案，激光雷达作为一种补充的方案也具备自己的优势：

• 主动防御、自动跟踪。以目标定位为核心的全新安防理念，突出主动防御性，激光雷达提供目标的实时定位信息，根据系统设置条件自动触发告警。

• 全天候、无漏报，激光雷达，不受光照影响，在大雾、大雪、大雨等室外恶劣的环境下智能调节全天候不间断工作。通过智能算法，有效区分车辆、动物杂草等干扰目标，同事可以计算出障碍物移动的速度和距离，实现针对性探测。

• 精度高、范围广，激光雷达扫描精度为厘米级，扫描分辨率为0.18度，测量精度高。雷达扇形扫描，角度360度，半径0-500m,防护区域大。

• 该系统可以实现最佳跟踪，可以在平面视图显示器上显示数百个对象，根据配置的规则和属性（如大小、速度和方向）对其进行分类。雷达传感器的快速更新速率可以实时更新其位置。所有的系统活动包括轨道、威胁和警报的运行历史被写入到单个的数据库。

主要的缺点在于造价昂贵同时没有直接生成RGB的视频监控信号，不能作为视频替代方案。

激光雷达3D成像效果（来源：镭神智能）

总结

RGB双目摄像、结构光技术和ToF技术各有特点，对比如下表所示：

从上表可以看出，TOF测量的精准度和稳定性较好，适用于室外环境；但结构光可以做得更小，功耗小，测量分辨率也相对高，不适用于室外环境；双目模拟了人眼结构，但它属于被动光，无法适应暗光环境；而前两者是主动光，可以适应暗光环境。

如果纽豪斯发现AI赋能安防的未来2大发展趋势3D人脸识别和非人脸识别成立的话，从目前来看3D人脸识别的最佳技术是结构光技术，而非人脸识别最佳的技术当属ToF技术，当然两种技术互有交集，随着技术的进步，而且的界限越来越模糊，不论怎样，结构光和ToF技术都会成为未来的技术，现在关注都还不算太晚。

参考文献：

1. 深度相机技术对比，人人智能，王海增

2. 双目立体视觉的数学原理，沈子恒，https://blog.csdn.net/shenziheng1/article/details/52883536

3. 深度相机原理揭秘--结构光，计算机视觉life，https://blog.csdn.net/electech6/article/details/78707839

4. 深度相机原理揭秘--飞行时间（TOF），计算机视觉life，https://blog.csdn.net/electech6/article/details/78349107

5. 3D ToF技术市场热度高居不下，系统级解决方案引爆新一轮行业应用浪潮，MEMS，麦姆斯咨询

-全文完-

版权说明：本文核心素材来自人人智能，部分素材来源于互联网，凡能注明素材出处的尽可能都予以注明。本文内容禁止用于商业目的，如需转载事先和AI智道联系获取授权。

致谢：感谢人人智能王海增提供了基础素材，感谢PICO小鸟看看、小觅智能、华捷艾米、奥比中光、的卢深视、镭神智能提供的内容素材。

PS. “AI深度（上） | 3D人脸识别和结构光”发布之后受到广泛的关注，也收到了多个有益的建议，几位专业人士提供了素材，用于弥补个人技术上的短板，看来需要狗尾续貂，追加一篇续篇：AI深度（续）|  3D人脸识别和双目结构光惯导，敬请关注！

AI智道，赋能落地！