英伟达推出3D模子智能天生应用Magic3D，数字化建模迈入AI期间

2023年2月，南极熊获悉，GPU制造商Nvidia公布推出Magic3D，这是一种天生式AI技能，可以根据文本提示天生3D模子。2022年11月，研究职员也基于此技能，发表了一篇题为《Magic3D: High-Resolution Text-to-3D Content Creation》的论文，这并不是第一篇有关天生式AI技能应用于3D打印的论文，2022年9月，来自谷歌的研究职员就以《DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION》为题发表了他们的研究内容，那么天生式AI技能是什么？这两个团队所研究的内容有何异同？3D打印天生式AI技能面对着哪些标题呢？

△Magic3D 渲染的箭毒蛙 3D 模子。

3D打印中的天生式AI技能

天生式AI（Generative AI 或 AIGC）是利用现有文本、音频文件或图像创建新内容的技能。应用场景涵盖图文创作、代码天生、游戏、广告、艺术平面计划等。将来，天生式AI将成为一项普通化的根本技能，极大的进步数字化内容的丰富度、创造性与生产服从，其应用边界也将随着技能得进步与资源的低沉扩展到更多范畴。用于3D建模的天生式AI有助于将具有复杂有机形状的组件概念化。3D打印可以大概制造这些复杂形态的抱负技能，由于它具有生产复杂结构的本事，同时还具有资源效益。年度3D打印行业观察的效果表明，利用AI自动天生3D模子是一个热门话题。

天生式AI在3D打印范畴中的发展

△Magic3D相干论文

●Magic3D可以在40分钟内创建一个带有彩色纹理的3D网格模子。这是输入“一只坐在睡莲上的蓝色箭毒蛙”如许的提示之后出现的。根据得到的效果，颠末改进，可以用于各种艺术场景或视频游戏。

△DreamFusion相干论文

●DreamFusion是谷歌研究职员于2022年9月发布的一篇关于“从文本到3D模子”的论文内容。

●Physna在两周内利用 8,000 个模子为 3D 模子和场景创建了天生式 AI 原型

Magic3D VS DreamFusion

在Nvidia的论文中，研究职员具体叙述了天生式AI技能怎样让无需特殊培训的人立刻创建3D模子。他们表现，这种技能一旦进一步美满，可以加速视频游戏的开辟，应用到影戏和电视殊效中。研究职员们渴望借助Magic3D技能，使3D合成普通化，并在3D内容创作中展示每个人的创造力。

Nvidia在推进天生式AI方面处于有利职位。该公司的GPU可以利用着色器创建传神的图形，着色器指示图像中的每个像素如安在特定光线下体现。着色器为每个像素盘算，跨多个像素重复盘算。与英特尔微处置惩罚器或通用CPU差别，Nvidia GPU 可以快速渲染图像，同时举行多个简单盘算，比方着色像素。

●Magic3D 接纳两阶段方法，接纳低分辨率创建大略模子，并将其优化为更高分辨率，这雷同于DreamFusion利用文本到天生2D图像，然后优化为体积 NeRF数据。

●Magic3D 可以根据给定主题实例的输入图像，利用DreamBooth 微调扩散模子，并利用给定的提示优化 3D 模子。

△在给定主题下根据提示举行模子优化

总结一下，Nvidia的原理是利用从粗到精的两阶段优化框架来快速创建高质量的文本到 3D 内容。在第一阶段，利用低分辨率扩散先验得到大略模子，并利用哈希网格和希罕加速结构对其举行加速。在第二阶段，利用从粗神经表现初始化的纹理网格模子，允许利用与高分辨率潜伏扩散模子交互的高效可微分渲染器举行优化。

△Magic3D的两阶段优化过程表现图

再来看看DreamFusion团队的技能：先利用一个预练习2D扩散模子基于文本提示天生一张二维图像，然后引入一个基于概率密度蒸馏的丧失函数，通过梯度降落法优化一个随机初始化的神经辐射场NeRF模子。练习后的模子可以在恣意角度、恣意光照条件、恣意三维环境中基于给定的文本提示天生模子，整个过程既不必要3D练习数据，也无需修改图像扩散模子，完全依赖预练习扩散模子作为先验。

相比力而言，Magic3D 可以根据输入文本提示创建高质量的 3D 纹理网格模子。它接纳从粗到精的战略，利用低分辨率和高分辨率扩散先验来学习目的内容的 3D 表现。Magic3D 以比DreamFusion高8倍的分辨率合成3D模子，同时速率也快2倍。

天生式AI和3D打印：潜力巨大

Physna 的首创人兼首席实验官 Paul Powers 分享了他对天生式AI的看法，他表现天生式AI在2022年非常火热，因此该公司决定深入研究3D打印和天生式 AI 的联合。固然Physna是一家 3D 搜索和分析公司，专注于 AR/VR 和制造范畴的工程和计划应用，但他的3名工程师仅利用 8,000 个模子在 2 周内就为 3D 模子和场景构建了一个非常根本的天生 AI 原型。

●Physna 的首创人兼首席实验官 Paul Powers表明白为什么要踏入天生式AI范畴，他表现天生式AI已经席卷了很多行业，但在3D打印方面却刚刚起步。重要缘故因由是复杂的3D模子和缺乏标记的3D 数据。3D模子通常很难创建，有多种不兼容的格式，而且与 2D 模子分析（文本、图像、视频等）相比很少受到关注。很少有企业恰当专注于3D，它的研究难度很高。

●Google 的 DreamFusion 团队在他们的文章中表现：与2D数据相比，3D数据较少。Google 的 DreamFusion 团队利用 NeRF 的方式与 Nvidia 的 Magic3D 团队利用的方式雷同。用户不但把握的对象信息更少，而且也很难对技能做出假设。固然在 NeRFs 上练习大概比在 2D 模子上练习更有资助，谷歌的 DreamFusion 团队指出，NeRFs 不能很好地替换真实的、带标签的 3D 模子。也就是说，如果没有办理方案，在不久的将来，天生式 AI 在 3D 范畴的体现将不会像在其他范畴那样精彩。DreamFusion 团队进一步举行了一些实验，以校验天生人工智能与 3D 打印的兼容性。

GPU盘算怎样改进3D打印？

GPU盘算必要利用 GPU（图形处置惩罚单位）作为协处置惩罚器来加速CPU的科学盘算。通过卸载一些耗时和盘算麋集型代码，GPU 可以加速基于 CPU 的应用步调。应用步调的别的部分继续在 CPU 上运行。从用户的角度来看，应用步调运行速率更快，由于它利用 GPU 的并行处置惩罚本事来进步性能。这种范例的盘算被称为“混淆”或“异构”盘算。CPU 通常有四到八个 CPU 内核，而 GPU 通常有数百个较小的内核。GPU 的高盘算性能得益于其巨大的并行结构。

应用步调开辟职员可以通过接纳 NVIDIA 的“CUDA”并行编程模子利用并行 GPU 架构的性能。全部 NVIDIA GPU 都支持 NVIDIA CUDA 并行编程模子，包罗GeForce、Quadro和Tesla。此前，Nvidia 推出了一种将2D 图像转换为 3D 模子的方法。该框架演示了怎样以雷同于肉眼工作方式的方式从单个图像推断形状、纹理和光线。Nvidia 公关专家Lauren Finkle在公司博客上写道：“看这个屏幕时请闭上左眼。现在闭上你的右眼并睁开你的左眼，你会发现你的视野会随着你利用的是哪只眼睛而变革。那是由于当我们看到二维空间时，视网膜捕捉到的图像被组合起来提供深度并产生三维感。”

NVIDIA 渲染框架，被称为基于可微分插值的渲染器或 DIB-R，可以帮助和加速3D计划和呆板人的差别范畴，在几秒钟内渲染 3D 模子。根据 Finkle 的说法，我们所处的 3D 天下现实上是通过 2D 构成的，这被称为立体视觉。深度是通过归并通过每只眼睛看到的图像在大脑中创建的，给人以三维图像的印象。DIB-R 的工作原理与此雷同，它可以通过将二维图像的输入转换为舆图来推测图像的形状、颜色、纹理和光照。然后创建一个多边形球体，从而天生一个代表原始 2D 图像中组件的 3D 模子。

△视频：人工智能建模