目前多数AI生成3D模型，都是基于模型库训练然后生成，模型库没有的或者是给出的图片被遮挡部分都是生成不了的，所以我们很多人怀疑，就是直接调取了模型库现成的模型。不管大家信与不信，但技术每天都在迭代，最近一组研究人员提出生成3D网格模型的一个新方法MeshDiffusion，这个方法进化到可生成训练数据中不存在的全新形状。
与体素和点云等形式的3D模型相比，网格模型在实际应用中更为广泛，因为能够轻松、任意地修改形状，然后进行重打光或者模拟，还有就是它们可以利用现代图形管线对网格进行优化。
以前用于生成网格的可伸缩方法通常依赖于次优化后期处理，并且它们往往会生成过于平滑或杂乱的表面，而没有细粒度的几何细节。为了克服这些缺点，研发团队利用网格的图形结构，使用一种简单但非常有效的生成建模方法来生成三维网格。
这是一种新研究出来的基于分数的生成建模方法，用于生成3D网格。此方法利用网格的图形结构，采用3D扩散模型创建以可变形行进四面体为特征的三维网格，然后在这种直接参数化上训练扩散模型。
MeshDiffusion使用3D扩散模型生成由可变形步进式四面体（DMTets）参数化的3D网格。
研发团队介绍说，MeshDiffusion能够生成各种逼真和多样化的3D网格集，包括训练数据中不存在的全新形状。此外，它甚至可以从单一2.5D视图中，填充被遮挡的区域，然后重建完整的3D网格。
无条件生成
通过标准的DDPM训练和采样，MeshDiffusion可以生成逼真且多样化的3D网格集，其中许多是不在训练集中的新颖形状。
单视图条件式生成
如果在单个2.5D视图上放了不完整的DMTet（可变形步进式四面体），MeshDiffusion可以通过填充遮挡区域来生成完整的3D网格。
插值
通过使用DDIM作为扩散模型采样器，可以对初始噪波进行插值以创建插值形状。
如何加纹理
通过MeshDiffusion生成的网格可以使用TEXTure（是一种用于3D形状纹理的文本引导生成、编辑和传输的新方法）等最先进的方法进行纹理处理。
目前从介绍看生成的模型精度依旧还达不到制作需求，但是在生成式3D模型的技术迭代道路上又前进了一步，起码达到了可生成训练数据中没有的形状或者填充遮挡的部分，这就已经有很大进步了，期待接下来迭代的更好更优，期待能有代码可测试把玩的时刻。
原创文章，作者：CG世界，如若转载，请注明出处：https://www.cgworld.wiki/49950.html
