《创世之音》第二季虚拟主播更精细了,是怎么做到的?

如果你是稍微资深一点的二次元爱好者,对于虚拟歌姬的印象一定很深。从上个世纪《超时空要塞》的林明美开始,文化创造者们就已经开始尝试用虚拟的歌手代替现实中的偶像。这样的种子在孕育将近30年后,已然呈现出了全面开花的趋势,是的,就是我们现在看到的虚拟主播

表面上看虚拟主播仍然属于新鲜事物的探索期,但已经有一群专业人士开始尝试打破虚拟主播之间,虚拟与现实,乃至主流与亚文化之间的次元壁,《创世之音》音乐会孕育而生。

请注意,这不是爱好者群体之间的自娱自乐,而是一场SMG旗下SMT(上海东方传媒技术有限公司)与哔哩哔哩(B站)合力创作的高水平音乐会。仅《创世之音》第二季音乐会在线直播现场,就贡献出了569万人在线观看的直播数据,对比时隔不到一年的《创世之音》第一季,数据轻松翻倍。

15位存在于不同空间和账号的 虚拟主播汇聚一堂,用歌声和现实中难以实现的画面,演绎出了这场别样的音乐会,甚至让人感受到了元宇宙的味道。那么《创世之音》第二季究竟展现出来什么样的吸引力,让越来越多的路人转粉?虚拟主播们又用了什么技术打破次元屏蔽的?不妨此刻就让我们来聊一聊虚拟主播的光与影。

技术迭代,从离线到实时的质变

如果你是从《创世之音》第二季才开始关注这场虚拟歌姬们的盛宴,那么恭喜你选择了最合适的时间点入坑。《创世之音》第一季直接展示主播自己的人设和也匹配了精致的场景可能更加粉丝向,让粉丝痛呼过瘾的同时而对路过的围观群众来说难以即刻入坑。

例如《创世之音》第一季开场《邪恶的虾皇》由一段概念2D动画起步,在画面和内容设计上更多还是以借梗的形式,希望能够在相关群体中引起共鸣。而第二季开场则一步到位,将现实中的画面,与充满赛博朋克的琉璃光影结合,并引入一场紧张的追逐主线剧情,用更加大众的认知拉开了一场充满视觉特效和紧张悬疑的音乐会的序幕,即使你对当前的主播不够了解,此刻发生的故事和画面同样可以留下你的注意。

(第一季开场,单纯的动画叙事)

(第二季开场,虚拟与真世界融合)

但这仅仅是第二季改变的开始。观看两次音乐会的弹幕就会发现 “经费燃烧起来”一直都在,这是二次元观众们对画质提升的最高等级称赞,原因是在早年的2D画面绘制中,如果希望画面达到细腻的效果,需要在一秒钟内塞入24张甚至更多的静态画面,并且要确保每一张画面都保留的大量的细节,哪怕是无关紧要的背景画面。

(第二季包含了大量的场景细节)

从第二季开始,“经费燃烧”开始变得司空见惯。以湖面倒影为例,第一季战斗吧歌姬出场的《等她》湖面倒影,只能简单的做出人物与月光在水面前方的倒影。是的,只有前方,背景倒影,一概没有,其实是有悖物理常识。

同样是湖面场景,第二季艾因Eine和新月冰冰合唱的《我们的世界》变化几乎是翻天覆地的,不仅人物倒影自然,远处云朵,高潮部分漫天飞舞的荧光,哪怕不在屏幕中的天空灿烂的光斑都在湖面都出现了清晰自然的倒影,诠释了天空之镜应有的样子。

(第一季湖面,月光背面的背面并不自然)

(第二季湖面,未在屏幕中全部出现的光斑也都出现在了反射中)

<<左右滑动看更多图>>

(第一季画面风格各异,与剧情关联较弱)

湖面效果并非特例。在多数时候,第一季的背景虽各具特色互不统一,亦或者使用2D画面进行补充,画面有时候略显空乏,宏大的背景也只是辅助虚拟主播的歌曲,需要重度依虚拟主播的自身实力吸引观众,在主流层面其实是难以复制与推广的。

因此在第二季中,创作团队雪风军团开始对背景进行了翻天覆地的改变,不仅加入了更多的动态细节,背景的光影与人物有互动,且更为自然,在画面以外也更注重世界与背景故事的营造。

<<左右滑动>>

(第二季光影画面复杂了许多,画面与剧情紧密关联)

让整个演唱会更加偏向音乐剧,参演的虚拟主播更多是作为演员的角色,音乐也转为全部原创为剧情服务。除去参演虚拟主播的自身实力展现以外有观众有了更多的期待点,剧情本身也成为了虚拟主播在节目播出后的几天直播中的互动话题,对虚拟主播与创世之音双向促进。

(剧中扮演反派邪恶博士的但手下成员纷纷改邪归正的张京华与粉丝的互动)

(同样在第一时间投递了相关歌曲的二次创作)

效率与光影两手抓

《创世之音》第二季在观感上的提升,同样也得益于不同音乐之间连贯的表演串场。这意味着虚拟主播们除了做好自己的音乐表演,还需要在串场的过程中融入剧情表演,甚至一定比重的动作打戏,这无疑对制作技术提出了进一步的要求。

负责《创世之音》第二季的总导演坦言,这次音乐会使用了许多前沿的虚拟技术和独到的艺术审美结合,更是团队十几年来从事高端影视制作综合实力的集中体现。这意味着,仅仅依靠传统的数字制作技术是远远不够的,创作团队雪风军团研发了一套与Unreal Engine结合的虚拟导控系统,以完善虚拟主播实时表演、实时互动的需求。

这是一套可以根据特定节目需求实现的系统,能够帮助虚拟主播实时换装、改变造型、增加道具,背景和舞台也会根据要求做出变化,能够同时满足直播和后期。甚至可以采集真人的动作和面部数据,利用算法和CGI技术融合,四个月时间完成了15位虚拟主播共22套人物建模,针对不同歌曲制作了18个CG场景,并揉入接近真实世界的光与影。

在以往的技术中,加入自然光影同样需要大量的人工在渲染引擎内布光和修正,并且还要严重依赖于创作人员对光影的自然认知,简单的镜面反射肯定不够,还要考虑到Vtuber与环境,物体与背景的二次反射、漫反射等等。

这是一项电影级的工程,以传统的方式在数个月的时间内是不可能完成的。因为创作图案你对必须忍受传统计算模式下计算机永无止境的等待和卡顿,对于创意工作者而言,思维不断被打断是无法接受的。

而随着Unreal Engine融入了对实时光线追踪技术支持之后,加入自然光线变得轻而易举。实时光线追踪技术的硬件支持源自于GeForce RTX GPU的RT Core,依靠硬件强大的性能,原本需要数天甚至数周的自然光线模拟场景,在数个小时内就能完成,甚至还能提供实时的预览。

这意味着,团队只需要给场景安排光源,不用再人为考虑光影效果,剩下的交给实时光线追踪技术。特别是《创世之音》第二季中宏大的室内场景光照,往往意味着光线之间的路径更为复杂,只有依靠光线追踪技术中的路径追踪,将光线射入,击中物体之后,利用蒙特卡罗法随机发射大量随机方向的次生射线。特别是次生射线产生越多,实现效果越自然,噪点越小。

比如《创世之音》第二季的贫民窑、实验室场景正是光线追踪环境光遮蔽确认最终的效果。同时在最终输出时候,为了避免镜头切换产生噪点,还进行了环境光遮蔽烘焙作为补充。

而对于创作团队而言,熟悉的Unreal Engine的软件使用环境无需做出调整,因为无论实施光线追踪技术如何迭代,表现在设计UI上的可调节参数变化不多。团队能够按照以往的使用习惯,通过熟悉的软件界面,无缝切换到新技术中来。这也是为什么创作团队雪风军团能够在短时间内将《创世之音》第二季在短时间内,将画面、转场、细节提升一个维度。

最后结果自然也显而易见,《创世之音》第二季的整体感受不仅优于第一季,在制作周期上也得到了很好的控制,特别是从第一季的离线渲染到第二季的实时渲染,或者引擎序列输出的3D场景,都足以见得光线追踪新技术帮助创作团队做到了效率与自然光影的同时掌控。

深度定制,GeForce Garage立功了

有意思的是,《创世之音》第二季GeForce RTX的切入机缘也非常巧妙。在路理Kuri《神油传说》曲目中出现了一块非常特别的GeForce RTX 3080 Ti 定制卡,而这块定制卡在真实环境中也进行了完美的还原。

(GeForce RTX 3080 Ti)

换而言之,在现实中这就是一块能够工作,能够帮助创作团队渲染和加速光线追踪,且带着《创世之音》第二季浓厚赛博朋克风格的GeForce RTX 3080 Ti。而一切的起源要得益于GeForce Garage的帮助。

GeForce Garage是NVIDIA公司的一个项目小组,该项目的名字源于众多优秀的创意和产品都是发源于满是各种工具的车库,因此NVIDIA希望通过这样一个项目来激励那些充满创意的玩家通过自己DIY的方式来实现梦想。在此之前,GeForce Garage已经合作了许多个性化主题,比如《仙剑奇侠传七》、《逆水寒》、《我的世界》甚至等等。此次跟创世之音合作,也是GeForce Garage跟游戏之外的IP的一次全新破圈定制。

这是一套允许玩家能够自行定制卡的项目,也切合了时下流行的MOD个性化特点,让显卡不再是冷冰冰的元件,而是通过展示和升华主题,成为文化的一部分。

由GeForce Garage深度定制的《创世之音》第二季主题亦是如此,创作团队希望在显卡上展现和演唱会美术风格机械朋克和赛博朋克mix一致的元素,并增加机械质感。在整体上,GPU依靠橙、灰、黑三种明暗高对比的主色调,体现出赛博朋克的独特魅力。

为此,GeForce Garage团队做了大量的前期工作,合理调整显卡散热模组上的颜色定制。每一个零配件颜色都进行了独立喷漆,甚至不惜沿用跑车上的涂装工艺,确保在长时间负载工作的状态下,不会发生变色或者掉色的情况,并让实物展现出更好的质感。

与此同时,显卡散热器上的花纹也进行了深度考究。在狭小的空间内合理放置了叠加齿轮、螺帽、履带元素,搭配半透明的效果,让齿轮游离在现实与虚拟之间,也让这块GeForce RTX 3080 Ti定制卡有了文化上的升华。

用RTX打破次元壁

你会发现,《创世之音》第二季的收益并非只有细节与画质上的提升,相对第一季的变化,它让当下的元宇宙概念变得更为具象,并且通过技术和文化的升华,让Vtuber之间,虚拟与现实之间、技术与文化之间实现了跨领域的突破。而承担起其中重任的角色之一,正是GeForce RTX GPU本身。

从技术层面实现实时光线追踪效果加速,再到硬件外观针对《创世之音》第二季定制化,都让我们看到了GeForce RTX GPU本身并非一个冷冰冰的产品。通过对技术、文化更深层次的理解,也让DIY 定制后的GeForce RTX GPU更贴近创作者、玩家和观众,显然这也是大伙最希望看到的。

点击阅读原文观看《创世之音2》虚拟演唱会

CG漫谈文化艺术

央视新闻AI手语主播正式亮相

2021-11-24 9:00:00

CG漫谈

《阿丽塔》中的“硬核”钢铁城是如何搭建出来的?

2019-5-23 9:07:26

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索