大家还记得我们在今年二月份分享过的一篇关于抖音AI换脸特效的文章吗?国内外各路明星一起唱“蚂蚁呀嘿”的画面实在是太魔性太洗脑了,不过这款特效仅仅只是让明星静态照片上的脸部动了起来,而且每个人都是一样的面部动作,看多了也就没啥意思了。但是最近国外的一位大神,居然制作出来了可以以假乱真的阿汤哥,我们先一起看一下视频!
怎么样?真的难以相信这居然不是汤姆克鲁斯本人拍摄的视频,实在是太牛了!究竟是哪位大神,究竟是怎样制作的,下面就为大家来具体介绍一下~
大神名叫Chris Ume,是一名来自欧洲的视觉特效艺术家,现在居住在泰国曼谷。他目前就职于DeepVoodoo,担任的是A.I.艺术家以及视觉特效方面的工作。

个人主页:https://vfxchrisume.com/
他在TikTok上的账号叫做DeepTomCruise,上传的几支伪造汤姆克鲁斯的Deep Fake视频一下子火遍大江南北,也让行业内的许多专业人士感到了惊叹。自从这些视频发布以来,收到了无数关于寻求建议,帮助和工作请求的邮件。
这个视频是通过一名叫做Miles Fisher拍摄的视频来进行编辑制作的。在视频中,伪造的阿汤哥在进行整理衣服,戴上和摘下眼镜,戴上帽子等动作时,都不用担心任何关于遮挡的问题,同时他还会经常把头发或手的一部分遮盖在脸上。
那么这些视频究竟是如何制作出来的呢?

据了解,大神使用的是免费的AI或机器学习(ML)软件DeepFaceLab2.0(DFL)作为他软件主结构,但并不是全自动化的过程。每个短片大神都会花费15到20个小时来完善镜头,满意后才进行发布。与所有的视觉特效工作一样,艺术家是其中最主要最中心的角色,在屏幕上看起来轻松的事情实际上往往是复杂且具有挑战性的。可是从视频的写实程度来讲,这个速度也是可以的,正常我们做一个这样写实的头部怎么也得一个星期打底吧?
大神使用的 DFL 2.0 已不支持AMD GPU /OpenCL,而是英伟达的GPU(需要至少3.0 CUDA计算级别的GPU支持)或CPU一起使用。上面视频中使用的是英伟达A6000显卡,同时DFL 2.0软件版本是faceshiftlabs,这是Github实际DFL代码的分支。
DFL 2.0改进并优化了流程,这意味着可以编辑更高分辨率的模型,或者更快地编辑现有模型。但是新版本仅支持SAEHD和Quick96这两种型号,未来不再提供H128 / H64 / DF / LIAEF / SAE这些型号,并且与1.0版之前的任何预训练型号(SAE/ SAEHD)都是不兼容的。大神在制作模仿阿汤哥的视频时仅使用了SAEHD这一型号,Quick96则被他视为一种快速的粗略测试模型的型号。
下面我们来看一支镜头制作解析的视频:
是不是很厉害,在做各种动作的情况下还能保持阿汤哥的面部不出现任何的瑕疵。
大致流程是这样的,首先就是模仿者先用手机进行拍摄基本的原素材,然后将文件发送给大神。因为分辨率不高,差不多720P,所以在每个过程结束时,大神都会执行UpRes的操作。
工作流程的关键部分是Machine VideoEditor。MVE是一个免费支持大家使用的工具,主要用于Deep fake项目管理,它可以帮助收集数据并进行合成,并且完全支持DeepFaceLab和数据格式,将这个工具用于合成工作所需的附加遮罩上。
在进行任何此类的ML训练时都是很耗时的,一般是至少2天或者3天的时间上,有时候可能会更多,具体取决于清理镜头的速度以解决诸如Deeptomcruise等新课题。虽然大多数人都只知道他的DeepTomCruise这一作品,但其实大神已经完成了许多不同主题的类似项目了。
MVE的重点是神经渲染项目管理,它使大神可以将所有DFL培训资料放在一个项目文件夹中,用于数据提取,还包括高级排序方法,集合分析,扩充以及手动面部和蒙版编辑器工具。

这个程序可以帮助大神自动标记脸部,从而无需手动识别眉毛,眼睛,鼻子,嘴巴或下巴,虽然这个程序不是开源的,但可以免费使用。
所有的视频合成都是在AfterEffects中完成的。大神其实是对NUKE非常感兴趣的,尤其是使用其新的ML节点(如Copycat)去探索NUKE,可是因为他更擅长AE,所以就没用Nuke。
合成部分主要是改变头发颜色,修补皮肤纹理以及从训练空间到DFL的求解空间中发现的伪像。例如,当模仿者靠近相机附近时,镜头失真有时是不会反映在解决方案中的。还有就是由于广角效果,在眼睛水平位置靠近相机的脸部下巴会相对较细,但在真正汤姆克鲁斯的实际镜头中是很少见到的,因为演员很少会去这样拍摄,所以在这个情况下会使用模仿者的下颚进行替代。

大神与视觉特效公司以及所有在Deep Fake领域工作的主要艺术家进行着紧密的合作,他们共同分享想法并开展工作以证明神经渲染技术是可以做出惊人的作品的。
值得一提的是,模仿者曾向阿汤哥的团队发送了一封表达敬意的电子邮件,里面解释说到他和大神的工作只是用来探索和教学Deep Fakes和神经渲染技术的,他们保证永远不会使用伪造的阿汤哥来用于商业的部分。大神的主要目的是在教学可能的东西的同时还能在视觉效果方面建立自己的事业。同时他还定下了与《指环王》团队合作的目标,因为这是他从小就一次又一次看的电影,希望他能早日实现~
最后为大家送上大神在自己的主页写着的一句话:我是一个喜欢幽默的人,我也制作出了很多疯狂的视频,我的天赋是有着一双追求完美和高品质标准的眼睛,我宁愿去做一些我引以为傲的事情,也不愿花费很短的时间做出垃圾一般的作品。
好了,关于DeepTomCruise的内容就是以上这些~
参考文章:https://www.fxguide.com/fxfeatured/fake-tom-cruise/




原创文章,作者:CG世界,如若转载,请注明出处:https://www.cgworld.wiki/39318.html