目前多数AI生成3D模型,都是基于模型库训练然后生成,模型库没有的或者是给出的图片被遮挡部分都是生成不了的,所以我们很多人怀疑,就是直接调取了模型库现成的模型。不管大家信与不信,但技术每天都在迭代,最近一组研究人员提出生成3D网格模型的一个新方法MeshDiffusion,这个方法进化到可生成训练数据中不存在的全新形状。
与体素和点云等形式的3D模型相比,网格模型在实际应用中更为广泛,因为能够轻松、任意地修改形状,然后进行重打光或者模拟,还有就是它们可以利用现代图形管线对网格进行优化。
以前用于生成网格的可伸缩方法通常依赖于次优化后期处理,并且它们往往会生成过于平滑或杂乱的表面,而没有细粒度的几何细节。为了克服这些缺点,研发团队利用网格的图形结构,使用一种简单但非常有效的生成建模方法来生成三维网格。
这是一种新研究出来的基于分数的生成建模方法,用于生成3D网格。此方法利用网格的图形结构,采用3D扩散模型创建以可变形行进四面体为特征的三维网格,然后在这种直接参数化上训练扩散模型。
MeshDiffusion使用3D扩散模型生成由可变形步进式四面体(DMTets)参数化的3D网格。
研发团队介绍说,MeshDiffusion能够生成各种逼真和多样化的3D网格集,包括训练数据中不存在的全新形状。此外,它甚至可以从单一2.5D视图中,填充被遮挡的区域,然后重建完整的3D网格。
无条件生成
通过标准的DDPM训练和采样,MeshDiffusion可以生成逼真且多样化的3D网格集,其中许多是不在训练集中的新颖形状。
单视图条件式生成
如果在单个2.5D视图上放了不完整的DMTet(可变形步进式四面体),MeshDiffusion可以通过填充遮挡区域来生成完整的3D网格。
插值
通过使用DDIM作为扩散模型采样器,可以对初始噪波进行插值以创建插值形状。
如何加纹理
通过MeshDiffusion生成的网格可以使用TEXTure(是一种用于3D形状纹理的文本引导生成、编辑和传输的新方法)等最先进的方法进行纹理处理。
目前从介绍看生成的模型精度依旧还达不到制作需求,但是在生成式3D模型的技术迭代道路上又前进了一步,起码达到了可生成训练数据中没有的形状或者填充遮挡的部分,这就已经有很大进步了,期待接下来迭代的更好更优,期待能有代码可测试把玩的时刻。
原创文章,作者:CG世界,如若转载,请注明出处:https://www.cgworld.wiki/49950.html