AI绘画处理 智能绘画
Meta 3D Gen模型

Meta发布最强3D素材生成模型

标签:
广告也精彩

Meta最新3D Gen模型实现60倍速生成

不管是图像还是视频,即使能做出3D效果,终究只是二维空间中的像素组成的。

Meta最近发布的3D Gen模型,则能实现1分钟内的端到端生成,从文本直出高质量3D资产。

不仅纹理清晰、形态逼真自然,而且生成速度比其他替代方案加快了3-60倍。

Meta放大招!发布3D生成最新成果——Meta 3D Gen

号称1分钟内即可文本端到端高质量转3D,包括高质量纹理和基于PBR材质(基于物理的渲染)贴图的3D Mesh。

Meta 3D Gen模型

支持修改已有的3D对象/模型的纹理。

例如,编织风:

Meta 3D Gen模型

像素风:

Meta 3D Gen模型

单拎出来一只金属哈巴修狗,毛发纹理等各种细节拉满:

Meta 3D Gen模型

搭配其它工具装上骨架让3D模型动起来,效果也可以用“精细”两字形容:

Meta 3D Gen模型

目前,模型还没有开放试用API以及相应的代码,官方消息中也没有透露下一步的发布时间。

3D Gen模型则克服了这些困难,在领域内迈出了第一步。

模型最大的亮点在于支持基于物理的渲染(PBR,physically-based rendering),这对于在应用场景中实现3D资产的重新照明非常必要。

此外,经过专业艺术家的评估,3D Gen在生成同等质量,甚至更优内容的同时,缩短了生成时间,提升了指令跟随性能。

生成出3D对象后,模型还支持对其纹理进行进一步的编辑和定制,20s内即可完成。

Meta 3D Gen模型

方法

这种更加高效的优质生成,离不开模型pipeline的精心设计。

3D Gen的生成主要分为两步,由两个组件分别完成——文本到3D对象生成器AssetGen和文本到纹理生成器TextureGen。

  • 第一阶段:3D资产生成。根据用户提供的文本提示,使用3D AssetGen模型创建初始3D资产,即带有纹理和PBR材质图的3D网格,大约花费30s。

  • 第二阶段:纹理生成。根据第一阶段生成的3D资产和用户文本提示,使用3D TextureGen模型生成更高质量的纹理和PBR图,大约花费20s。

其中,第二阶段的TextureGen也可以单独拿出来使用。如果有一个之前生成的,或者艺术家自己创作的无纹理3D网格,提供描述外观的文本提示后,模型也能在20s左右的时间中为它从头生成纹理。

Meta 3D Gen模型

AssetGen和TextureGen这两个模型有效地结合了3D对象的三种高度互补的表示:视图空间(物体图像)、体积空间(3D形状和外观)以及UV空间(纹理)。

论文地址:https://ai.meta.com/research/publications/meta-3d-gen/

相关导航

暂无评论

暂无评论...