厉害了!NVIDIA 智能绘画又更新?

NVIDIA 展示了一种新的合成模型,允许用户使用多个模块来生成新图像。该团队指出,现有的条件图像合成框架基于用户输入以单一方式生成图像,例如文本、语义分割、草图或样式参考。问题是这些模型通常仅限于单个输入,因此您可以使用文本和草图,但不能同时使用这两个模块。为了应对这一限制,NVIDIA 团队开发了专家产品生成对抗网络 (PoE-GAN) 框架,该框架可以基于所需的模块集生成图像。

GauGAN 2 之前我们有介绍过,不过最近又发现NVIDIA的团队发布了一篇论文,他们开发了一个新的框架 ——PoE-GAN,该框架可以基于所需的模块集生成图像。

也就是说现在可以通过多个条件控制(如:文本、语义分割、草图、参考图)来生成你想要的画面。

这是论文官网的一个demo,大家也可以点击这里体验。文本是“冰湖附近的雪山和天空中粉红色的云”,然后通过逐步增加语义分割和草图两个控制条件后,大家可以直观地看出图像所发生的变化,有没有眼前一亮呢?

厉害了!NVIDIA 智能绘画又更新?

PoE-GAN 由 product-of-experts 生成器和多通道多尺度投影鉴别器组成。通过精心设计的训练方案,PoE-GAN 学习合成高质量和多样性的图像,除了在多模态条件图像合成方面取得最新进展外,而且在单模态设置中进行测试时,PoE-GAN 还优于现有的最佳单模态条件图像合成方法。

厉害了!NVIDIA 智能绘画又更新?

 

 不过由于代码还没有放出,今天就只做简单介绍,有兴趣的小伙伴儿可以到网站查看,等代码放出后,我们再详细介绍。

原创文章,作者:苟管理,如若转载,请注明出处:https://www.cgworld.wiki/45437.html

(0)
上一篇 2021年12月16日 上午10:24
下一篇 2021年12月17日 下午7:19

相关推荐

发表回复

登录后才能评论

评论列表(1条)

  • Ðàνε🥞🥚🥝
    Darren C. 2021年12月23日 上午8:24

    厉害了,以后人人都是大画家,就再也没有大画家了

网站老用户的积分将会在5.5日起开始按比例兑换【CG搜模网】积分,请在5.5日后到【CGSOMO】公众号点击联系客服,回复【积分兑换】进行操作。感谢大家的支持!