浅析视频监控领域图像处理技术

　　一 图像处理技术和人眼视觉的关系

　　图像技术处理，image signal process，业内简称为ISP技术。在了解ISP技术之前，我们要先了解人眼的视觉感知，这是因为人类对图像信号的处理全部来源于对人眼的模仿，了解了人眼的视觉构造，就可以和图像处理部分的内容一一对应起来，更好地理解图像处理的知识。从图1可以看到人眼的构造，居于眼球璧内层的透明薄膜就是视网膜，它布满整个后部内壁，主要负责感光成像，当我们看东西时，物体的影像通过屈光系统，落在视网膜上。

　　图1 人眼视觉

　　人眼与摄像机有哪些相似之处呢？

　　首先，晶状体相当于摄像机的镜头透镜 (lens) ，其作用是聚集光线，在视网膜上形成图像。

　　另外，人眼的虹膜相当于摄像机的光圈，虹膜通过收缩和伸张来控制进入的光线，以达到人眼的亮度均衡。简单举例，当我们突然进入一个高亮的环境，开始人眼是看不清楚东西的，在适应一段时间后，事物会逐渐清晰，这个就是虹膜调整之后的结果，人眼所感知的最后的亮度其实是一致的。

　　视网膜是人眼核心的功能，仿照这个功能，摄像机上有与之对应的传感器 (sensor)，视网膜表面分布的光接收器产生图像视觉信号。

　　二 图像处理中的关键技术

　　前面提到摄像机都是在模仿人眼的构造来成像，现在看一下摄像机的成像系统有哪些具体的构成。首先输入的图像会通过镜头传递到图像传感器上，图像传感器感知的数据会被后面接收，图像信号处理系统会对这些数据进行处理，通过一系列的算法，例如降噪、白平衡、CFA、曲线矫正、色彩矫正，从而形成人眼可以看到的正常图像。图像信号处理，也叫做ISP（Image Signal Process），其作用是模拟大脑对视网膜上的成像进行处理，产生视觉感知的图像。

　　图2 ISP处理流程图

　　低照度

　　视频监控领域对图像的低照度要求很高，需要在很暗的场景下看清楚物体，低照度下为了提升亮度，会起一些噪声，所以在研发过程中需要花很多精力在降噪上。目前视频监控产品实际应用的降噪技术主要是通过区分噪声和图像本身的细节，以线性或非线性滤波将噪声从图像中去除，根据噪声判决与去除所用与参考的视频信息的分布维度，降噪技术可分为空域滤波（Spatial Filter）、时域滤波（Temporal Filter）、运动自适应滤波（Motion Adaptive Filter）和运动补偿滤波（Motion Compensation Filter）等几大类。

　　宽动态

　　大家应该都有过在逆光环境下拍照的经历，有些在窗户口拍出的照片，人脸都是黑的。图像里面还有一个比较关键的技术是宽动态，也叫HDR，就是用来解决逆光下图像处理的问题。普通的相机只曝光一次，如果同时存在亮暗对比很强烈的物体，那么就要看哪部分占得比例大，就会以这个亮度来曝光。比如，室外光线很强，按照这个亮度来处理后，人脸看起来就会比较暗。

　　研发人员想了很多办法来扩大传感器的动态范围，目前主流的技术都在曝光强度控制方面想办法，称为多重曝光。多重曝光的思路是通过几次不同时长的曝光来获取落在合适范围内的数据。假设多重曝光技术用12bit/72db的传感器首先曝光20毫秒，此时暗处可获得足够细节但亮处会因饱和而过曝；再通过1.25毫秒曝光使亮处所得能量削弱至1/16以落到饱和门限之下，此时暗处是曝光不足的。将上述相差16倍的数据合并，即可获得共16bit即96db的动态范围——比采用12bit/72db的单次曝光提高了16倍。

　　图3 左为普通相机右为HDR相机

　　三 视频监控领域图像的特点

　　现实生活中，大家对手机或者数码相机的图像更了解一些，视频监控领域对图像的要求跟相机有很大的区别的，监控领域要求的是尽量真实地还原真实的物体，而手机和数码相机可能就需要对图像做一些渲染，让画面更美。比如我们现在常用的美颜相机，就是要刻意遮盖人脸的细节信息，突出五官，拍出有妆容效果的图片，而视频监控却需要尽量还原人脸的细节信息，尽量呈现真实的色彩，这样才能为公安机关提供有价值的线索。所以监控的图像看起来可能不能像手机或者数码相机那么绚丽，但是却是最接近真实场景的图像。

　　摄像机需要捕捉夜视下的清晰图像，这样就对摄像机的低照度要求很高，为了看到低光照下的图像，图像传感器通常要将信号放大很多倍，这样就会带来噪声，因此就要用到降噪算法。数码相机在夜晚拍照主要靠闪光灯补光，不会起很大的噪声，但是闪光灯对照相距离有要求，不能用到比较大或者远的场景，而摄像机监控的场景范围通常比较大，这样也更加倚重于摄像机的低照度效果。

　　除此之外视频监控和手机图像的不一样还在于，监控摄像机很多时候需要在恶劣的条件下工作，比如雨天，雾天，雪天、高温和低温，并且是全天候的工作，这就需要保证所有时刻图像的正常。所以有时候为了兼容更多的场景，很多图像参数都需要做一些差异化的设置。此外，摄像机由于监控需要，非常关注运动的场景，这个和手机拍照有所有不同，很多时候手机拍摄的运动物体都是模糊的，而摄像机却需要不管是白天还是晚上，都要看到清晰的运动物体，这个对图像处理技术的要求是非常高的，运动物体的细节不仅涉及到图像技术里面的色彩校正、锐化、降噪、插值等模块，还跟编码相关，特别是低照度下的运动物体，更是多领域协同作战的结果。

　　四 海康威视图像处理的优势

　　海康威视注重研发创新，每年的研发投入很大，在图像技术上，10年前就设立了专门的图像处理团队，对图像处理过程的每一步算法进行过深入的研究，并且不断在创新。

　　海康威视的星光系列摄像机，能在星光的场景下拍出清晰如白天的效果，带给用户极大的使用体验，推出至今得到了市场的广泛认可。这其中就用到了海康威视自主研发的细节增强算法和3D降噪算法，其将人眼的主观感受和自适应细节增强和降噪技术相结合，基于图像内容，将增益作为参量进行自适应调节，追求各种照度下的图像信噪比最优化，在低照度场景中效果尤为明显。下图就是海康威视星光系列摄像机和iphone6s的低光照下图像对比，由图4可见海康威视星光系列摄像机的效果是非常震撼的。

　　图4 摄像机和手机低光照图像对比

　　五 结束语

　　随着编解码技术的发展，特别是海康威视新推出的H265和Smart 265技术的高清产品，针对多数的监控应用场景，可以较大幅度的降低监控系统的存储成本。未来的监控领域的图像一定会朝着更高清更低照度的方向发展，现在200分辨率已经成为主流，300万、500万、800万分辨率也正在飞速的发展，后续分辨率更高、低照度更好的图像一定会给视频监控带来更多可能。

作者：曾峰，杭州海康威视数字技术股份有限公司  

前端产品业务部 310051