还考虑面部血流量？!《时代周刊》动用各种CG技术精准还原历史时刻！

点击上方蓝字CG世界关注我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国极具影响力CG领域自媒体

Hi大家好，CG世界来辽！I~ have a dream…诶，还是不要在这里诗朗诵了吧（毕竟不是淡黄的长裙蓬松的头发）。这句“我有一个梦想”大家都很熟悉，是美国黑人民权运动领袖马丁·路德·金在1963年发表的关于黑人民族平等的著名演讲，后来对美国甚至整个世界产生了极大的影响，so今天咱们要聊的内容就和他有关。

《时代周刊》（后文简称TIME）于2月在芝加哥的美国第一家独立非裔美国人历史博物馆 DuSable进行了名为“The March”的VR体验展。这是TIME和Digital Domain联手展开了一个极富意义的项目，作为体验展的其中一部分，为马丁·路德·金进行了3D重建。通过这种首创项目，参观者们可以感受3D重建的华盛顿广场，聆听人群的真实声音，与马丁·路德·金本人保持5英尺（约1.5米）的近距离接触，现场感受《我有一个梦想》的激情演讲，在时光倒流中见证美国历史上最重要的时刻之一。

为了以VR方式重现1963年的“华盛顿工作与自由游行”，TIME团队用时三年完成数字版本马丁·路德·金的创建以及其标志性演讲。在项目启动1年之后Digital Domain加入其中，用10个月的时间完成了属于他们的制作任务。接下来，小编带着大家了解一下。

面部重建

数字版马丁·路德·金利用Digital Domain的Masquerade系统创建而成的，结合了高端表演捕捉、机器学习和专用软件生成3D基础模型，面部捕捉和身体的动作捕捉同时进行。艺术家们使用Maya和Houdini创建身体和面部，然后将模型添加到利用UE4精确创建的华盛顿广场中。

面部表演捕捉

Digital Domain请来了一位身高&体型与1963年马丁·路德·金极为相似的表演者，对他的身体动作进行重建；

还请来了一位10年来一直公开重新演说《我有一个梦想》的演说家，以匹配表演者的身形特征，为演讲提供现实手势参考并进行动作捕捉。

先利用Masquerade系统（用于跟踪对象身体和面部微小细节的运动捕捉系统）录制演说家的表演，并用结合了机器学习的Facial scans对另一位表演者进行扫描，在基础模型中创建毛孔级别的细节程度。通过这些扫描，将眼睛的位置、颅骨形状、颧骨、鼻梁、肤色和血流与当前创建的数字版本进行匹配和对比，再由Digital Domain团队的artist在已经完成50%的模型上添加马丁·路德·金独特的视觉特征。

为了能够准确还原某一特定日期内马丁·路德·金的样貌，艺术家们从演讲和63年游行的资料中搜集了大量图片和视频，除了不同角度之外，还尽可能地找到了一些彩色照片，毕竟VR体验是全色彩的，与黑白两色的古老资料比起来还是有大不相同。

表演

项目初期，替身演员在南加利福尼亚大学多媒体实验楼的Light Stage中进行扫描，这个过程提供了有关一系列光照条件下类似皮肤外观和详细面部毛孔、以及偏振光数据等更为详尽的信息，制作团队根据这些信息创建了血流图。尽管没有具有连续性的4D或基于时间的样本，但表达式快照会根据每个关键表达式对血红蛋白进行重新分配，这样Digital Domain团队就可以将获取马丁·路德·金的面部血液流量了。

Digital Domain还使用Dimensional Imaging (DI4D)来捕捉到的演说家演讲时的动作数据，这些数据是基于时间的，通过这些数据跟踪演说家在讲出某些单词时的面部和眼睛移动情况，为了让动作更明显，演说家专门背诵了一些标准句子，以此张开嘴巴并激活所有的面部肌肉。

DI4D部分结束之后，要对演说家进行表演捕捉，也就是咱们非常熟悉的在脸上画标记点，佩戴头显摄像机（HMC）的那个过程。DD特定的面部标记点大约有190个，HMC以60fps运行。

在动捕过程中，演说家身穿动捕服，完整背诵《我有一个梦想》的演讲，还要参考视频资料中马丁·路德·金的肢体动作和嗓音。DD将捕捉到的面部表情同步并映射到数字版本，由动画团队进行调整。深度学习软件为动画团队提供了一个强大起点，他们只需要把时间和精力放在调整细微差别上就可以了。之后FX团队会根据现有数据在布料和面部添加其他次级动画，从而为最终版本提供一些程序上的动作。

正是凭借DI4D基于时间的数据和实际表演捕捉到的数据，才能驱动根据Light Stage数据创建的Dr.King面部。把演说家在动捕和DI4D阶段的数据导入到DD机器学习团队编写的软件中，就可以将2D视频数据和高精度3D模型数据快速关联到一起。

环境

Digital Domain的整合&环境团队在华盛顿国家广场呆了一周时间，收集了宪法大道、反思池以及通往林肯纪念堂所有道路的现场测量数据，通过激光雷达和高分辨率纹理扫描，重建了非常详细的关键地理位置。1963年的老照片和地图等资料为艺术家们创建其他环境模型提供了非常大的帮助。

VR体验的技术规格

这项VR体验利用的是VIVE Focus Plus头盔，Focus Plus每只眼睛是1440 x 1600像素，合起来就是2880 x 1600像素，像素密度为615 PPI，具有110°视野。10分半钟的VF体验在Unreal Engine 4的自定义版本上播放，与7个高保真环境场景结合在一起，以6个自由度75HZ的速度运行。

制作团队早期曾希望用到多GPU渲染，但当他们发现多GPU渲染无法在VR中实现时，就借鉴了DD Digital Human团队在Siggraph大会中创建 VR Digital Doug的经验。

Digital Doug

DD团队结合了Digital Human的研发知识，以此为基础达到了创建VR版马丁·路德·金所需的性能要求。数字版马丁·路德·金实际几何数据与 Digital Human用于预渲染的几何数据非常相似，而且马丁·路德·金的头发很短，省下了一部分在创建数字人类角色时实时渲染的时间。DD团队还利用面部工作流程对面部表情、衣服抖动等方面进行了预模拟。

由于这个项目只在博物馆的 Focus Plus硬件上运行，而不是在种类复杂的其他硬件上运行，制作团队还对项目特定实时目标硬件进行了优化。

在一般情况下的VR体验需要把参观者与PC或VR backpack连接起来，但是制作团队认为，这样不仅会阻碍参观者的活动，而且可能会令恐惧VR的朋友望而却步。为了解决这个问题，Digital Domain创建了自定义工具，使VR体验可以在当个GPU上无线运行，这样一来参与者就可以在最高分辨率下观看。此外他们还开发了基于不同体验位置的实时工具，保证每个观众都可以使用单个设备看到最真实的马丁·路德·金。尽管图像质量才是王道，但体验过程还得保证不能出现明显的延迟、卡顿或是让参观者有眩晕感觉的情况。

点击视频了解更多

小编粗略的为大家介绍了一些其中涉及到的技术，最后我们再来看《时代周刊》杂志封面上的马丁·路德·金。看上去非常真实，创建数据和建模流程不变，用V-Ray渲染完成。需要说明的是，V-Ray的UDIM纹理数为50，Unreal Engine4.23实时版本则下降到4，是实时优化的一部分。