4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

今儿给大家解析一篇牛?13且非常实用的论文技术。这篇论文的名字叫BackgroundMattingV2是由华盛顿大学Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman共同研究发表的。能干啥呢?实时抠像。其实关于抠像的论文我们之前讲过好几篇了,但今天这篇貌似更好一点,一起来看看。

 

对于抠像想必对于后期的小伙伴来说最为熟悉了,每天对着Nuke或者AE各种扣,为了更精细的保留头发丝,往往都是手动一帧一帧扣。当然,现在很多后期软件很厉害了,但是还是差那么点意思。

 

V2就说明是第二个版本了?是的,这种技术其实是我们在2020年四月份介绍过的,今天这个是迭代后的第二个版本。点击下面图片穿越回顾。

 

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!
我勒个去!视频抠像换背景都达到这种程度了?技术太牛了~

我仔细对照了下研发人员,这次开发人员有变动,有几位是一样的,但这次也多了其他几位人员,而且这次的技术迭代的更好了。

 

这次是一种实时、高分辨率的背景替换技术,它可以在4K分辨率下以30fps的速度实时扣,如果你显卡好的话在GPU加持下可以以60fps的速度工作,是不是超强了?

 

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

注意左边是4k,右边是高清,都是实时抠像

那这个是怎么实现的呢?来简单说说

 

它这个技术是基于背景蒙版的,其中捕获背景的附加帧,并用于恢复alpha遮罩和前景层。那这里面最主要的挑战久是计算高质量的Alpha蒙版,在实时处理高分辨率图像的同时保留头发的细节。

 

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

为了实时处理高分辨率图像和视频,研发团队创建了一个由两个神经网络组成的新颖架构

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

在给定高分辨率输入的情况下,首先将其降采样到低分辨率,然后通过基本网络生成粗略的Alpha和前景结果。

基础网络还会生成一个错误预测图,这张图会突出显示需要进一步完善的区域。

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

精炼网络根据错误预测图裁剪出补丁,仅精炼补丁,而不是整个图像。

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

最后将过程结果采样到全分辨率帧上,并在细化的补丁中替换

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

他们这个方法与很专业的达芬奇抠像相比都还很优秀的。

 

4K视频上实时扣头发絲糹丝纟!?这个抠像技术太强了!

左侧输入视频,中间达芬奇结果,右侧是论文实时处理结果

 

因为这种方法就是为任意背景而设计的,所以完全可以胜任高难度的视效工作室绿幕工作。

下面我们来看看视频解析,加了中文字幕

 

 

好了,看了之后小伙伴们是不是很想试试手?来了。

 

项目源码地址

https://github.com/PeterL1n/BackgroundMattingV2

开发的几位大佬还准备了一些文件资源(梯子)

1、下载模型/权重文件

https://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing

2、用于练习的视频和图片文件

HD视频:

https://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq

4K视频和图片:

https://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing

大家去试试吧,今天内容就到这里了,明天继续为大家上干货~

End


本文作者:CG世界,如若转载,请注明出处:https://www.cgworld.wiki/38207.html

发表评论

登录后才能评论