数字孪生的今生 | 数字现实

2019-05-21 · 作者：房叔话安防

[导读]最新的AI和安防技术的落地场景在哪里吗？纽豪斯认为第一落地场景就是电影和游戏。

数字孪生的前世今生

下篇

毫无疑问，这是一个精彩的故事，本文在AI智道的关注者圈里引起了广泛的关注。好的故事需要好的编剧，好的产品更需要好的规划者，本文重新进行了编排和内容更新，以飨读者，欢迎互动和交流。

数字孪生是近10年10大战略科技发展趋势，本文将分上、下两篇来讲述数字孪生的前世今生，本篇为下篇：数字孪生的今生 | 数字现实，10+幅动画，利用三维技术、视频融合技术和AI技术完整还原一个数字现实世界。

数字园林

文/纽豪斯

发布/AI智道

最新的AI和安防技术的落地场景在哪里吗？纽豪斯认为第一落地场景就是电影和游戏。

从码文字来赚钱，目前网络作家唐家三少做的最好，2018年4月，唐家三少六度蝉联网络作家富豪榜榜首。唐家三少本名张威。1981年1月生于北京，中国内地网络小说作家，炫世唐门文化传媒有限公司董事长，毕业于河北大学政法学院。纽豪斯对唐家三少本人并没有什么兴趣，不过在研究数字孪生的时候发现了一部神剧《斗罗大陆》，开启了纽豪斯的孪生思路。

如果你是一位影迷的话，可能就会有追剧的经历，一个星期仅更新一集，而且平均一集仅有15.64分钟，那么制作一集动画片有那么难么？而《斗罗大陆》就是这样一部动画片，以纽豪斯视角，《斗罗大陆》虽然没有做到电影《头号玩家》中的绿洲游戏效果，但确实采用了类似的手法进行拍摄，纽豪斯认为，《斗罗大陆》是一部比较好的数字孪生作品（不过孪生的是小说并不是真实世界），其思路可以借鉴，让我们来看一组数据（来源于第50集片尾字幕）：

斗罗大陆主要制作数据

“斗罗大陆从2017年4月1日决定动画化至今（2019年5月4日）第50集动画播出完成近731天”，主要数据如下：

正片总时长：782分钟总镜头数：21640个总特效量：18295个总武戏镜头规划：8141场（类似数字现实的场景）总场模型景数：近352个（构建三维场景）总人物建模完成数：近434个（参考游戏人物造型，在数字现实中是否对13亿人口建模？这是值得我们思考的一个问题）总道建模道具数：13078个（参考道具建模，就是对数字现实系统中的“物”进行建模）纽豪斯在数字孪生的前世今生（上篇）：数字孪生的前世 | 数字双胞胎中曾经提到，在科幻电影《头号玩家》，现实世界中的人，在游戏“绿洲”的虚拟世界里有另外一个自己，形成自己的“数字双胞胎”。动画神剧《斗罗大陆》并没有完全模拟一个真实的社会，而是按照设定好的故事情节逐步铺开，在特定视角、特定人物按照设定好的剧情进行演绎，即使是这样，一个强大的团队一周才能完成15.64分钟的数字孪生。

以纽豪斯的专业知识，《斗罗大陆》正片总时长782分钟，也就是46920秒，按照视频监控的标准，每秒视频有25帧，那么50集的《斗罗大陆》总共有1173000帧（约117万），117万帧（画面）对云计算大概不算什么，但这仅仅可以被视为1路视频画面的数字孪生，可以想象，如果对城市中几万路视频或者几十万路视频画面进行数字孪生会是什么场景，以本动画片的制作来看，数字孪生实现完整的世界孪生还有很长的路要走。如果我们要开启真正的数字孪生系统，那么总场模型建模、总人物建模（将13亿+人口建模）、总道具建模（比如“物体”建模）就是三大基础。

对于7×24小时的不间断视频监控而言，如果按照斗罗大陆模式实现每一路监控画面的“数字现实”，对于一个动辄几十万路视频监控的城市而言，简直是无法想象的。尽管如此，国内已经出现了很多家优秀的团队开启了数字孪生之旅，这篇文章纽豪斯就是要和大家探讨数字孪生的今生：数字现实，和大家分享一下当下的数字孪生落地应用和效果，如何用初级的方法实现我们的愿景。

数字双胞胎

纽豪斯在数字孪生的前世今生（上篇）提到数字孪生的前世是数字双胞胎，效果就如上图动画所示。在画面的上半部分是真实世界（录像画面）、下半部分是电脑显示屏画面，几乎无延迟（延迟小于0.5秒）的“双胞胎”了真实世界，现实场景中的箱子在运动让后被载入货梯，数字孪生系统里面完整复刻了箱子的运动，用三维的方式呈现出来，这样的数字孪生系统通过3D Max建模技术+物联网传感器来复刻设备的动作，被称之为“数字双胞胎”。

智能制造

数字孪生技术是最早被应用于智能制造领域（或者工业4.0），在智能制造领域，不能简单的将工厂或者生产线进行BIM（建筑信息模型）三维建模和外部数据接入，必须通过3D Max这样的技术进行三维模型构建，类似动画片或者游戏的方式，需要复刻设备的动作，然后再通过大量的物联网传感器告知设备的位置和状态，最后再导入完整的第三方数据进行三维、动作和数据的融合。深圳火元素就是智能制造数字孪生系统的代表企业。

小编在之前的文章中曾经采访过深圳火元素的创始人王聪和他的合作伙伴卢要全。王聪、卢要全和纽豪斯分享到数字孪生数字工厂可视化的应用目前主要包括四大场景：设备结构可视化、生产设备可视化、生产厂房可视化和生产流程可视化。

设备结构可视化

设备结构可视化支持静态/动态结构可视化。静态可视化通过设备结构拆解，展示设备组成、结构设计；动态可视化可展现设备运行状态、流程，也可播放预置脚本，用于模拟、演示、培训等用途。

生产设备可视化

通过三维可视化手段对工业生产制造设备形态进行真实展现，并对生产设备的结构、工艺、工作原理进行动态展示，基于数据驱动，可接入实时采集数据对设备进行实时仿真。

生产厂房可视化

通过3D虚拟现实技术，对工业生产厂房进行真实展现，从厂房的外部环境、楼宇到厂房内部结构和独立设备均可进行立体仿真展示，并可进行任意角度的调整及场景的切换。

生产流程可视化

将虚拟现实技术有机融入到工业监控系统，以真实厂房生产线的仿真场景为基础，对各个工段、重要设备的形态进行复原，并实时反映其生产流程和运行状态。

除了4大场景之外，在智能制造的应用中系统还要支持大屏多屏操控模式，统一的可视化模式控制机制，集成屏幕拼接控制，实现一键同时切换软件系统和屏幕拼接模式。使用户可以简便快速的切换应用场景。

大屏多屏操控模式

屏的多种交互操控模式，系统还要支持通过iPAD、智能手机等手持设备作为控制终端，以及手势识别、语音控制（AI的另外2中技术）等来实现对大屏显示布局、系统模式的切换以及软件界面内容的交互控制，为客户提供多种灵活、便捷的操控体验。

感谢夏冰

夏冰是谁？其实纽豪斯也不认识，如果夏冰本人能够看到这篇文章，很欢迎夏冰先生和纽豪斯联系。夏冰先生可能还不知道，他和他的团队打造的全时空立体可视化平台间接地影响了2家公司产品的功能开发，尤其是他们团队提出的掀屋顶的想法和立交桥多角度视频融合技术。

全时空平台方案以数字三维平台为基础，实现PGIS和视频监控平台的整合及应用，最终实现海量信息资源的三维可视化与大数据分析，这在2015年7月提出的想法放在2019年依然不落后。

掀屋顶看视频

在三维建筑物模型中，从任意一层任何部位掀掉屋顶就能够看到室内的实时视频并和三维模型进行融合，这个想法真的很棒，可以将室内监控和BIM完美的结合起来实现各种应用。

立交桥视频融合

而立交桥多角度视频融合技术就是另外一项很棒的技术，将高点、低点、摄像机预置位视频进行360角度融合，然后实现360度视频和三维模型的融合，仅仅这一个想法就能够促成数字现实技术的落地。

正是基于数字孪生技术和视频技术的融合，纽豪斯在和王聪和卢要全交流的时候提出了“数字现实”的概念。继VR（Virtual Reality，虚拟现实）、AR（Augmented Reality，增强现实）、MR（Mixed Reality，混合现实）之后，即将兴起DR的热潮，DR就是Digital Reality(数字现实)，通俗的来讲就是数字双胞胎、数字孪生（DT），而DR是在DT基础之上再融合视频图像信息。纽豪斯观点，数字孪生在2019年之后在安防领域的应用就是数字现实，也是数字孪生的今生。

虽然纽豪斯提出了DR这个概念，实际上这些技术夏冰团队最早是在2012年就提出来了，那时他们的系统还叫做城市之眼。所以说，感谢夏冰！

数字孪生城市

前文述及，数字孪生城市有机会成为城市大脑的升级版。数字孪生城市就是要在虚拟环境中去孪生现实环境（包括准确的描述和同步的变化），只要接入虚拟环境就可以跨越时空的感知现实世界，并且通过积累数据、模型、算法识别行为，再通过控制影响现实世界。

数字孪生城市=三维数字城市+实时视频监控+数据挖掘+行为识别+行为预测

数字孪生系统需要采用分级处理技术、场景剔除技术等，支持城市级三维场景的流畅展现与操作；采集数据通过内存通道直接传递给图形绘制模块，满足城市数十万海量采集信息的实时显示；采用开放/开源技术，开发跨平台的GIS引擎，在统一的数据平台基础上实现桌面应用与移动应用的无缝结合；支持二维GIS数据、三维GIS数据、实景三维模型（倾斜摄影）和BIM模型的无缝融合显示，让原本相互独立的数据集成于统一的信息管理平台。

城市级快速三维化

支持点线面等基础地理信息矢量数据直接生成三维模型，方便用户的二维数据的快速三维化。然后就可以快速低成本的构建智慧城市三维模型，叠加政务、交通、物流、医疗、社区、公安、环卫、应急大数据，搭建国内领先的综合资源一张图，准确、实时、高效、生动、直观的进行展示，为领导决策和为民服务，提供有力支撑。

园区级三维化

对于区域级的数字孪生平台可以是基于GIS和BIM相结合的方式而搭建的可视化三维虚拟平台，并在三维中对接实际的业务数据和传感器数据，在实现线上管理和监控的同时对地理位置、空间结构更加直观地了解，可以实时地把握现场运行数据和施工状态。

单栋建筑物三维化

建筑智能化应用

对于单东建筑物而言，会更加关注细节和内部，故需要精细化BIM建模系统支撑。以三维GIS模型和BIM模型为基础的三维空间模型为载体，将楼宇的设备、安防、视频、能耗、环境等信息融合在一起，打破管理过程中不同系统之间的信息沟通的壁垒，实现信息的准确传递，加强总部大楼人、车、物的安全管理，提升大楼内人员工作生活的便捷性，进一步提升企业园区管理的科学有效性。

PS.能够提供以上数字孪生城市平台的正是上海迅图公司。

智能运维AIOps

纽豪斯在数字孪生的前世今生（上篇）提到过八大关系，其中之一正是PLM（产品生命周期，Product Lifecycle Management）。数字孪生伴随产品的全生命周期，故而包含维护数据和报废数据，对安防行业而言就是智能运维AIOps，关于这个话题，纽豪斯之前曾经采访过维联众诚的肖咏泽。以下为采访的内容和观点，供大家参考。

AIOps倡导由AI取代缓慢易错的人力决策，快速给出运维决策建议，有助于降低问题的影响或者提前规避问题。智能运维，作为目前运维发展的最高阶段目标。AIOps的眼是运维大数据平台，脑是运维的决策计算系统，手是运维自动化系统。眼、脑、手的有机融合，才有助于实现AIOps的最终目标。AIOps的目标就是追求“稳、省、快”的效果；AIOps的终极形态就是无人值守运维，自动应对故障、变更、扩缩容和自动进行防御。

基于数字孪生的AIOps要能够实现可视、可控、可管和集成四大特性。

可视。充分利用数字孪生技术，直观展示从园区、建筑、室内结构到设备的空间布局及集成数据；搭建的场景可以作为三维CAD图纸为用户未来应用提供便捷的参考。可控。基于产品可远程控制物理设备的开关和模拟量，便于突发情况下能够通过系统快速处理事故。甚至能够实现在视频画面里面直接控制被监控的对象，比方说自接点击阀门实现关闭功能。可管。系统提供权限控制功能，为不同的角色提供不同应用场景、交互手段的控制。集成。统一的人机交互形式实现与楼宇自控、弱电系统、智能化系统等实现集成，作为智能楼宇动静态数据展示的基础。

系统架构

在新型的AIOps运维系统中能够实现3D渲染、三维模型导入、大数据可视化、设备控制等功能，通过数据接口平台能够无缝集成第三方智能化系统，尤其是可实现对视频监控系统的智能化运维，确保数字现实能力的实现，保障视频还原能力。

视频监控诊断

能够支持十余种异常诊断（如上图），充分发挥计算机视觉识别技术判断摄像机的监控画面，通过AI算法，使得诊断的准确度可达95%，大大降低了系统的维护成本。

数字现实的规划及未来

纽豪斯在这里当一回产品经理，以全新视角定义数字现实和预测数字现实的未来发展趋势。

数字现实的核心在于大路数视频融合并依赖实时视频分析技术，而这些基础的技术已经有了。众所周知，城市治理中最重要三元素是“人、车、物”，分两大场景：

- 有人场景。有人就会有交通工具（车辆、地铁、火车、飞机、轮船），人要在城市中“动”起来，主要依赖交通工具，物体要“动”起来核心也是一样，故而有人场景是最复杂的一种场景。“人”是整个城市治理的核心，所谓“以人为本”就是这个道理，故而有人场景需要关注三个元素的“数字现实”复刻还原能力；

- 无人场景。主要包括无人驾驶、无人车间、无人商店、无人值守（比如变电站、无人车间）、无人区等等，这种场景主要的监控对象是“物”和“设备”，典型的应用场景就是工业4.0，很多情况下，被称之为数字孪生。

纽豪斯判断数字现实的最大应用场景会落在“无人场景”上面，自动化生产线、无人车间、无人商店、仓储、高风险区域等，就需要依赖“数字现实”系统实现远程的实时监视、录像（三维系统的录像而不仅仅是视频）和回放（有点像视频监控，但可以实现时空轨道的穿梭能力，完全实现三维世界的回放）。这样子就能够解决建设数字现实的核心意义：提高效率、增加收入、降低成本。

在有人场景下，平台将会更加关注“人”的身份识别、行为识别和行为预测，这个公共安全领域显得尤为重要，这也恰恰带来AI能力赋能落地，正是独角兽企业愿意看到的场景应用。

2019年是AI的落地之年，那么最佳的落地姿势是什么，每天早上睡觉醒来，摆在每一位AI创业者、合伙人、战略家、销售总监面前的首要问题，纽豪斯观点，构建三维世界是基础能力之一，在无人驾驶领域需要三维空间识别、在医疗领域需要核磁共振的三维诊断能力、在安防领域需要三维的人脸识别和人体识别，而不是在三维世界里面采用《三体》（刘慈欣的科幻作品）世界的降维打击一样，我们竟然还在三维世界里面用二维进行智能分析、识别和处理。二维世界的同质化竞争太过于严重，如果想要立于不败之地，聚焦“数字现实”技术为未来的业务发展打下坚实的基础不失是一种好方法。

纽豪斯和一位朋友聊天，他提出了一个观点人的基本需求实际上是有5个“衣食住行看”，多了一个看字，解决“衣食住行”离不开“看”的能力，日常生活人们已经离不开手机，实际上我们是在看手机（这是一种人机交互），看书、看电视、看报纸、看电脑，“看”是人和世界的一种交互能力（信息输入），而“数字现实”解决的正是看的能力，人不用移动，让世界移动到你的面前。而“看”的能力，正是AI最擅长的两大能力之一（语音和视觉能力），当然这里并不想歧视盲人。

现实情况还是令人比较沮丧的，“数字现实”系统的造价高（动辄百万）、好看大于实用（目前主要功能还是各种“秀”），尚需要解决以下问题：

提供杀手锏应用，比如全生命周期的自动化运维能够提高用户的产出、产生效益（销售收入增加），降低用户成本（首先就是降低人力成本，这个比较容易实现），提高生产效率（这个是隐形的不好衡量）数字孪生智能提供数字化世界的复刻能力，而用户真正需要的完整的“数字现实”，这就依赖于视频融合技术，可以实现录像和回放现实世界，实现时空穿梭。传统的视频回放时空穿梭，通常是90天，如果采用数字现实技术，则可以大大提高录像和保存的时间（比方说1年）大规模的视频融合能力，几百路、几千路甚至几万路的视频融合，可快速实现可视化和现实世界还原能力，同时具备录像能力数字现实要具备“水池”能力（纽豪斯“水池”理论），只要是数据（结构化的、非结构化的）都能够通过一根“水管”接入，然后再通过两外一根输出的“水管”输出用户需要的数据（可视化）并带控制能力。基于此，未来的数字现实平台应该具备以下能力（规划）：

语音控制（已实现）手势控制（已实现）单场景的视频融合路数大规模增加（超过50路、100路甚至上1000路）视频融合能力增强，支持球机视频画面的融合、支持云台预置位的视频融合、支持无人机视频的融合（部分实现）实时视频结构化处理能力（部分实现），包括人脸识别、车辆识别动作识别（肢体孪生，已实现）视频半透明融合在三维地图上面，透明度可调（未实现）多终端融合，全面支持手机、平板、电脑、VR，手机端支持操控能力人、车、物的标准化建模，再附加结构化特征，进行实时建模（类似斗罗大陆中的人和道具建模），将最复杂的对象简化到最基本的模型支持雷达建模能够判断画面中目标的大小、速度、重量、GPS坐标系标准化建模参考