今儿给大家解析一篇牛?13且非常实用的论文技术。这篇论文的名字叫BackgroundMattingV2是由华盛顿大学Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman共同研究发表的。能干啥呢？实时抠像。其实关于抠像的论文我们之前讲过好几篇了，但今天这篇貌似更好一点，一起来看看。
对于抠像想必对于后期的小伙伴来说最为熟悉了，每天对着Nuke或者AE各种扣，为了更精细的保留头发丝，往往都是手动一帧一帧扣。当然，现在很多后期软件很厉害了，但是还是差那么点意思。
V2就说明是第二个版本了？是的，这种技术其实是我们在2020年四月份介绍过的，今天这个是迭代后的第二个版本。点击下面图片穿越回顾。
我仔细对照了下研发人员，这次开发人员有变动，有几位是一样的，但这次也多了其他几位人员，而且这次的技术迭代的更好了。
这次是一种实时、高分辨率的背景替换技术，它可以在4K分辨率下以30fps的速度实时扣，如果你显卡好的话在GPU加持下可以以60fps的速度工作，是不是超强了？
注意左边是4k，右边是高清，都是实时抠像
那这个是怎么实现的呢？来简单说说
它这个技术是基于背景蒙版的，其中捕获背景的附加帧，并用于恢复alpha遮罩和前景层。那这里面最主要的挑战久是计算高质量的Alpha蒙版，在实时处理高分辨率图像的同时保留头发的细节。
为了实时处理高分辨率图像和视频，研发团队创建了一个由两个神经网络组成的新颖架构
在给定高分辨率输入的情况下，首先将其降采样到低分辨率，然后通过基本网络生成粗略的Alpha和前景结果。
基础网络还会生成一个错误预测图，这张图会突出显示需要进一步完善的区域。
精炼网络根据错误预测图裁剪出补丁，仅精炼补丁，而不是整个图像。
最后将过程结果采样到全分辨率帧上，并在细化的补丁中替换
他们这个方法与很专业的达芬奇抠像相比都还很优秀的。
左侧输入视频，中间达芬奇结果，右侧是论文实时处理结果
因为这种方法就是为任意背景而设计的，所以完全可以胜任高难度的视效工作室绿幕工作。
下面我们来看看视频解析，加了中文字幕。
好了，看了之后小伙伴们是不是很想试试手？来了。
项目源码地址
https://github.com/PeterL1n/BackgroundMattingV2
开发的几位大佬还准备了一些文件资源（梯子）：
1、下载模型/权重文件
https://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing
2、用于练习的视频和图片文件
HD视频：
https://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq
4K视频和图片：
https://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing
大家去试试吧，今天内容就到这里了，明天继续为大家上干货~
原创文章，作者：CG世界，如若转载，请注明出处：https://www.cgworld.wiki/38207.html
评论列表（3条）
言
抠图绝学。
😲👍👍👍