“为什么要买iPhone 12??”“做VFX需要!!······”

今天周一，为大家搞一篇干货！

在进入正题之前，我想问下大家，现在谁正在使用iPhone12的？举个手手，我看看！哇，土豪好多。那么，你们买来都做啥了？是不是整天刷抖音，看朋友圈了？哼哼~~你知道么，其实iPhone12强大的功能很多方面都能满足我们VFX制作的，不知道吧！！今天就带大家见识见识。

在进入正题先了解几个概念。

Dolby Vision：中文杜比视界，这是美国杜比实验室搞出来的影像画质技术，可以通过提升亮度、扩展动态范围来提升影像效果。它可以提升视频信号保真度，从而让图像的无论从亮度、色彩还是对比度角度看都非常逼真。那么和iPhone有什么关系呢？具体文中我们再详聊。

尼特：是亮度的单位。亮度是指发光体（反光体）表面发光（反光）强弱的物理量。反正就记着这是个亮度单位就行了。

HDR：高动态范围图像（画外音：这个我知道，不用你啰嗦了），好，那这个不说了。

来，进入正题侃iPhone 12

在VFX制作过程中，我们总要到室外拍摄一些素材，测量一些数据等等工作。那么拍摄就需要搞一套完整的拍摄装备才能完成相应的任务，像什么单反、测量设备和各种采样设备（如激光雷达）等等。当然了，这是理想状态下的。可是有时候，你正在欣赏风景，突然灵感乍现，想就地取材回去搞一段特效。身边有没有这么多专业的设备肿么办？假如你兜里正好有个iPhone 12，那就立马可以搞起！

无与伦比的Dolby Vision视频

那么iPhone12和iPhone 12 Pro Max最重要的方面之一就是它提供了端到端的Dolby Vision。对于普通用户来说用这玩意拍上一段，那效果是令人惊叹的。但是对于我们VFX制作来说，那也是够用的，哈哈，但是需要导出来进行后期。

那为啥iPhone 12 Pro Max拍摄的画面就如此出色呢？原因有三

1.手机具有出色的镜头，包括传感器稳定功能（是的，传感器本身会移动）

2.以Dolby Vision 10位捕捉，其色域更宽

3.iPhone上的屏幕以1200尼特的亮度显示，在手机大小的屏幕上观看这样亮度视频更为惊艳！

好了，我们来看一段视频。

这段视频展示的是iPhone11与iPhone12拍摄的效果对比。新款iPhone Pro Max的传感器比老款大了47％，镜头从6个元素增加到7个，而且还改进了镜头校正功能，光学偏移可以很好地解决振动问题。上面所有的视频都是手持式情况下拍摄的。振动系统现在可以以每秒5000次的速度采样。

为什么选择拍摄这样环境的视频？因为在平时拍摄时这种高频波和宽阔的渐变天空都是有一定困挑战性的。为什么这么说，如果你经常拍摄，你会知道很多拍摄的素材天空会显示出非常强的条带，另一方面由于高频反射会超载编码带宽导致水显示会像素化。

这段视频可以在Dolby Vision系统中以每秒60帧的速度拍摄4K。从技术角度来看，作为一种独立的技术，Dolby Vision可以代表高达10000尼特的峰值亮度、12位颜色和任何色域，并具有动态元数据。它保留了跨显示技术的艺术想法，接近所拍摄的内容或创新的构想。

如果你用的是iPhone12 Pro Max这段视频看起来应该和原来拍摄的一样，如果不是或者用其他设备的话，效果可能没有那么好。因为这个视频需要8bit，所以其他设备不太可能是杜比视界级别的高尼特屏幕。

说了半天那Dolby Vision好在哪里？好在，它可通过存储每个场景的动态元数据来运行，这个元数据可控制屏幕的查看方式。元数据可以根据场景中的条件而变化，并且可以根据需要逐帧变化。这意味着iPhone可以根据每个场景进行调整，尽可能准确地描绘HDR内容。说白了，就是这种格式拍摄出来的视频更接近人眼看到的样子。这么说吧，普通的8位拍摄支持1670万种颜色，IPhone的10位支持7亿种颜色，全Dolby Vision支持687亿种颜色，这么一说就知道差距所在了。

iPhone12在使用Dolby Vision拍摄时只会以10位HDR中拍摄，所有内部处理都在12位或更高的精度下运行，Dolby Vision采用有效的信号压缩技术，再将12位视频压缩到10位传输编解码器中，而不会影响图像质量。显而易见10位远比8位SDR好得多（SDR的全称是Standard Dynamic Range，是标准动态范围图像）。

读到这里大家可能有点蒙，那HDR 10和Dolby Vision有什么区别？HDR大家都知道，其实HDR的规格有4种：Dolby Vision、HDR10、HLG和SL-HDR1 。目前电影和流媒体大多支持Dolby Vision与HDR10，而BBC、NHK为代表的电视台则选择使用HLG。但不管谁用，这里边Dolby Vision的规格是最高的，其次HDR 10。但是HDR 10普及率是最高的，为啥呢？因为它是开源的，可定制性很强。这回明白了吧？更多的就不介绍了。下面接着说iPhone。

拍摄了这么好的Dolby Vision素材，如何进入后期编辑呢？编辑时又如何保持Dolby Vision的元数据？如果是普通用户你可以直接打开iPhone的APP直接编辑。但是如果是想用作VFX进行专业的编辑是不够的。这时候你可以用iMovie中打开无缝传出进行编辑，所有剪辑都将在后台加载所有Dolby Vision元数据和HDR设置。

当然你也可以空投到其他Mac上，Dolby Vision元数据也都可以保留。但是有一点要知道，导入到Mac上时由于屏幕亮度的原因，可能看起来素材和原来相差很远。

有人说我想用达芬奇或者Premiere进行编辑可以么？当然可以。iphone12可以以你想要的特定格式共享视频。也就是说在不支持Dolby Vision的媒体服务共享时iphone12会自动将视频转换成SDR版本提供给你。虽然达芬奇和Premiere这样的软件能够正确导入在iphone12上拍摄的Dolby Vision视频，可是只能看到底层的HLG HDR视频数据。达芬奇有一点比较好，就是支持Dolby Vision分级，然后根据你需要的输出来重建和补充Dolby Vision元数据。

HDR和RAW

iPhone上的拍摄使用的是Apple的Deep Fusion，它可以从9个不同的像素中逐个像素采样；具有高Gain Map的Smart HDR 3，这样的话你可以在HDR显示器上看到3个额外的停靠点。

Deep Fusion和去年装有iOS 13.2的iPhone 11一起推出。Deep Fusion是一种新的计算摄影（Computational Photography）过程，它将像素级的多次曝光融合在一起，创建比标准HDR更高细节水平的照片。平时我们拍个衣物、皮肤和毛孔等等这种非常细节的纹理更加细腻。机器学习过程会在合并之前逐一查看每个像素，处理时间不到一秒钟，当然了Deep Fusion是默默在后台工作的，你是意识不到它的存在，最终给你的是一个清晰的画面效果。

经过编码后的iPhone中静帧看起来非常漂亮。但有一点就是你无法控制色彩空间的白点或色彩。所以 iPhone 12 和 iPhone 12 Pro Max推出了APPLE ProRAW模式，这对于VFX专业人员来说真的太实用了。ProRAW模式是完全未处理的图像格式，因此尺寸和复杂性都很大。这与我们经常使用的JPG和HEIF格式有很大不同。Apple ProRAW应该是混合格式，而不是纯RAW格式。

ProRAW提供了多帧图像处理和计算摄影的许多优点，如深度融合和智能HDR，与Raw格式的深度和灵活性相结合。为了实现这一点，苹果开发工程师们构建了一个新的管线，将CPU、GPU、ISP和Neural Engine中所做的处理的组件合并到一个新的深度图像文件中，在拍摄时进行计算，而且没有任何快门延迟。

有人会问，那用iPhone12拍摄的ProRAW格式，可以传到其他手机编辑么？好问题，可以的。因为基于苹果新的API，它也可以在其他第三方应用程序中使用。

Computational Photography计算摄影

与传统的单反相机相比，苹果的技术里有大量的计算摄影。按照传统逻辑，iPhone上的照片和视频应该不会比正儿八经单反拍的好。毕竟与L系列佳能镜头相比，iPhone上的镜头很小，就价格来讲每个佳能镜头都比iPhone要高。那为什么拍出来的效果这么惊艳呢？这主要是其中强大的Neural Engine功能。

苹果通常不被视为人工智能领域的市场领导者。当许多其他的人工智能玩家发布开源库时，苹果倾向于在内部使用人工智能功能，而且人工智能现在几乎渗透到了iPhone的每一个功能中。

长期以来，iPhone中都包含了图像信号处理器（ISP）用来提高照片质量，但苹果在2018年通过让iPhone中的ISP与Neural Engine密切合作，加快了这一进程。

从iPhone搭载的Bionic A14芯片，可以看出苹果公司正在开发新芯片的方式以及机器学习和Neural Engine方面日益提高。当用户点击快门按钮时，iPhone会连续快速拍摄多张照片，在那一刹每张图像会经过机器学习训练的算法进行分析，然后将它认为每张图像最好的那部分合成为一个张图。

我们再单独谈谈Neural Engine。随着新的M1芯片的问世，苹果已经分拆出TensorFlow，这是谷歌创建的开源AI/ML平台。此前，苹果使用的是TensorFlow2.3，但新的2.4分支在任何苹果硬件上运行都要快得多，并且专门针对M1芯片进行了优化。M1的Neural Engine每秒能执行11万亿次运算。这意味着16核Neural Engine在机器学习所允许的高级计算摄影方面比以前的MacBook Pro要快得多。

雷达激光扫描

机器学习用于增强现实以及iPhone 12的LiDAR扫描。这里存在Slam问题，Simultaneous Localization（同步定位）和Mapping（构建地图）。这里还要把知识点扩充下。Slam问题是将一个移动机器人放置在一个未知环境中，机器人通过自身传感器逐步建立环境的地图，同时它还能使用这张地图计算自身的位置。Slam问题由R. Smith, M. Self, and P.Cheeseman在1990年的一篇论文中提出。这个问题被认为是机器人领域的“圣杯”。因为它使机器人可以在毫无先验知识的环境中进行动作。

再说回到iPhone使用其新的LiDAR扫描仪来建立扫描的3D模型上。最常见的SLAM系统依赖于光学传感器，例如视觉SLAM（基于相机的VSLAM））或基于LiDAR（光检测和测距）的SLAM。

对于视效，iPhone12再一次展示了它的实用性。当然了在iPhone上进行LiDAR扫描肯定不如使用专业的LiDAR系统准确，可是你要知道它非常方便，可以测量和可视化设置和位置元素。相比于背着一兜子笨重的专业设备而言，iPhone这种揣在裤兜里微小扫描设备，简直太方便了，不是么？

关于用iPhone进行扫描之前我们介绍几款APP。可以点击这里穿越回顾。

“为什么要买iPhone 12??”“做VFX需要!!······”