NVIDIA 展示了一种新的合成模型，允许用户使用多个模块来生成新图像。该团队指出，现有的条件图像合成框架基于用户输入以单一方式生成图像，例如文本、语义分割、草图或样式参考。问题是这些模型通常仅限于单个输入，因此您可以使用文本和草图，但不能同时使用这两个模块。为了应对这一限制，NVIDIA 团队开发了专家产品生成对抗网络 (PoE-GAN) 框架，该框架可以基于所需的模块集生成图像。
GauGAN 2 之前我们有介绍过，不过最近又发现NVIDIA的团队发布了一篇论文，他们开发了一个新的框架 ——PoE-GAN，该框架可以基于所需的模块集生成图像。
也就是说现在可以通过多个条件控制（如：文本、语义分割、草图、参考图）来生成你想要的画面。
这是论文官网的一个demo，大家也可以点击这里体验。文本是“冰湖附近的雪山和天空中粉红色的云”，然后通过逐步增加语义分割和草图两个控制条件后，大家可以直观地看出图像所发生的变化，有没有眼前一亮呢？
PoE-GAN 由 product-of-experts 生成器和多通道多尺度投影鉴别器组成。通过精心设计的训练方案，PoE-GAN 学习合成高质量和多样性的图像，除了在多模态条件图像合成方面取得最新进展外，而且在单模态设置中进行测试时，PoE-GAN 还优于现有的最佳单模态条件图像合成方法。
不过由于代码还没有放出，今天就只做简单介绍，有兴趣的小伙伴儿可以到网站查看，等代码放出后，我们再详细介绍。
原创文章，作者：苟管理，如若转载，请注明出处：https://www.cgworld.wiki/45437.html
昨天，我们发布了Blender3.0的新功能，很多小伙伴说就安装上了，不知道去哪里学，或者不知道哪里有好的教程，再加上之前我们发布其他软件频道时候，好多想要Blender优秀频道的…
今天我们写篇关于最新技术的。 手部网格实时重建 这是中国三位大神写的一篇论文《Towards Accurate Alignment in Real-time 3D Hand-Mes…
现在AI和机器学习在我们CG行业的应用越来越广。比如我们前天讲的AI直接把文本转化成表情动画，还有我们去年讲的一篇论文可以直接将图片的人物转化成3D模型等等吧，尽管是论文，但已经可…
点击上方蓝字CG世界关注我们 “ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ” 中国极具影响力CG领域自媒体 这两天在知乎上发现了一个问题：有非业内小伙伴问#《哪吒》…
点击上方蓝字CG世界关注我们 “ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ” 中国极具影响力CG领域自媒体 CG世界营业时间到！说到动物题材的电影，关于狗的经典作品实在…
点击上方蓝字CG世界关注我们 “ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ” 中国很有影响力影视特效CG动画领域自媒体 昨天，Epic Games发布了Metahuma…
5月20日，我们开通了CG世界官方微信圈子——“晒晒CG”。这个圈子我们申请了很久，也是最近才批下来。主要是想给大家一个发作品，相互学习，相互批评的一个地方。 那么，为了鼓励大家持…
最近有了解一些机器学习方面的知识。先来聊聊OpenCV、OpenGL、OpenCL、DirectX这几个知识点。 OpenCV （Open Source Computer Visi…
大家昨晚看《伟大征程》了么？太精彩了，看得热泪盈眶。看着党从创立之初一步步带着全国人民冲破重重艰难险阻走到今天，真的太伟大了。作为80后，能见证这历史长河中的伟大时刻，也倍感自豪。…
来源：unity官方公众号 自去年起，元宇宙这个词已经跳脱科幻小说的范畴，成为了高科技行业下一个价值数万亿美金的投资热点。当前的科技行业对元宇宙时代的到来深信不疑，但在一年后…
评论列表（1条）
厉害了，以后人人都是大画家，就再也没有大画家了