江姐的事迹与此同时，此前百花齐放的技术路径也在逐渐形成产业共识，步入收敛。例如，在 GAN、VAE、Diffusion 等不同生成方案中，以 Diffusion Transformer（DiT）为代表的大模型路径脱颖而出，逐渐成为当前的研究主流方案。不过，当前，在 3D 生成技术路径上，仍然存在「2D 升 3D」「纯原生 3D」「混合 3D」的不同技术流派。在过去半年甚至一年多的时间里，AI 3D 生成技术发展堪称突飞猛进：3D 模型生成的质量更好、速度更快部分情况下甚至能把原来以小时为单位的 3D 模型生成时间压缩到秒级，带来惊人的效率提升。3D 模型的 GPT 时刻，即将来临。

　　大多数人对 3D 模型并不陌生。最常见的是各类游戏、影视、动漫、CG 中的 3D 人物与 3D 物品/环境。当前，最精致的 3D 模型已经足以高度媲美真人。

　　此外，在 VR、元宇宙、数字人等科技前沿赛道，3D 模型也有着广泛的应用。

　　对于处在三维空间中的人类来说，3D 内容毫无疑问能够提供比文字、图片、视频更沉浸、更逼线D 技术的发展，未来，人们甚至可以像《黑客帝国》《头号玩家》一样，创造出一个三维立体的、足以以假乱真的虚拟世界元宇宙。但正如文字-图片-视频-3D 所承载的信息量呈指数上升，3D 内容生产的复杂度也在急剧增加。以传统 3D 模型的生成为例，其制作环节可分为：概念设计/原画、3D 建模、UV 拆分、烘焙贴图、绘制材质、动画制作、渲染等诸多环节。

　　根据模型的复杂度与精细度不同，一个 3D 模型的生产周期可能在数小时、乃至数天以上，成本范围在 40 美元~650 美元之间。流程长、环节多、程序复杂、价格昂贵，同时普遍依赖专业人员手动操作，一道道关卡将 3D 模型的制作门槛不断推高。值得注意的是，当前的 3D 大模型远远做不到替代 3D 设计师，其生成的质量并未达到「开箱可用」的商业级别，而更像是 Adobe、数位板这类帮助设计师减少重复劳动，提高生产力的工具。3D 大模型想要解决的，是 3D 制作流程中最耗费时间精力、最重复劳动的环节建模与贴图，通过 AI 技术将 3D 设计师们从重复劳动中解放出来，更专注地投入到艺术创作当中。

　　3D 建模相关研究最早可以追溯到 20 世纪 60 年代末的线框模型（Wire Frame Model），此后已经历数十年发展。

　　根据 3D 建模方案划分，可以分为：点云（Point Cloud）、网格（Mesh）、深度（Depth）、神经场（Neural Fields）、混合（Hybrid）等多种方案；

　　（Meta 3D Gen 生成流程，来自论文《Meta 3D Gen》）这一技术路径将 3D 几何生成与 3D 纹理贴图作为两个步骤分别处理，其优势在于几何形状质量更好，而缺点在于会影响模型生成速度与几何纹理一致性。目前，业内也有不少 3D 大模型方案选择 1 Stage 一步到位的端到端生成方案，几何与纹理同步输出生成，这一技术路径的优势在于速度与纹理效果，但缺点在于几何形状质量会受到纹理影响如一张带有波点图案的水平桌面，可能会被 3D 模型识别为凹凸不平。这两条技术路径各有千秋，目前业内尚未达成共识。

　　当前，3D 大模型研究的最大挑战，不是算法、甚至也不是算力而是数据。训练数据短缺问题在文本、图像、视频大模型领域都存在，但在 3D 大模型领域格外严重。昆仑万维董事长兼 CEO 方汉在接受媒体采访时曾表示，在 3D 模型生成赛道，全世界的数据只有 1000 多万，优质的数据只有 200 万。3D 数据资源少、清洗难度高、高质量 3D 数据资源难以获取种种困难为 3D 大模型的打造形成了诸多限制。

　　因此，早期 3D 生成模型的研究思路以「2D 升 3D」为主先生成多视角的 2D 图像，然后根据该图像生成 3D 模型。

　　这一思路的代表项目为 2022 年 9 月底谷歌推出的 DreamFusion 项目《DreamFusion: Text-to-3D using 2D Diffusion》。与 3D 模型资源相比，文生 2D 图（text-to-image）领域拥有数十亿计的海量资源，因而谷歌 DreamFusion 项目采用了「2D 升 3D」的思路，先使用一个预训练 2D 扩散模型基于文本生成一张二维图像，然后引入 Score Distillation Sampling（SDS）基于概率密度蒸馏的损失函数，生成高质量和复杂的三维结果。这一方法的亮点在于无需任何 3D 数据预训练即可生成 3D 模型，开创了 SDS 路径的先河，也在随后催生出大量「2D 升 3D」的相关研究。

　　但与此同时，以 SDS 为代表 2D 升 3D 路线也存在生成速度慢、生成质量不可控等问题，其中最受关注的是由此带来的「多头」问题（Janus problem）在生成的 3D 模型中，有时会出现两个甚至多个人物/动物头部，高度影响模型的合理性。因而，近年间，原生 3D 又逐渐成为研究主流。准确划分起来，原生 3D 又可以分为「纯原生」3D 生成与「混合」3D 生成两条路径。

　　「纯原生」3D 生成方案与通用大模型思路类似，采用端到端方案，首先使用海量 3D 数据集训练大模型，然后以前馈（feed-forward）方案生成 3D 模型。

　　与文本大模型不同，在 3D 大模型领域，OpenAI 并没有显著的领先优势。3D 原生路径的真正代表玩家为 Adobe 于 2023 年 11 月推出的 LRM 项目《LRM: Large Reconstruction Model for Single Image to 3D》。LRM 是图生 3D 的代表模型，其拥有 5 亿参数，能够在 5 秒钟内实现图片-3D 模型的生成。LRM 采用高度可扩展的 transformer-based 架构，其突破性地将图生 3D 任务转换成了「将图片翻译为 3D 模型」的任务，并在 100+万公开 3D 数据集上进行了训练。Adobe 的 LRM 项目因 3D 模型的生成质量与生成速度都有着极大提高，其发布后在学术与产业界引起了大量关注，并也从此催生了一大批相关研究。不过，高质量 3D 数据稀缺依旧困扰着「纯原生」3D 大模型的发展。因而，近年间，「混合」3D 生成技术路径悄然兴起。

　　混合 3D 是当下 3D 大模型最前沿的技术方向，也是昆仑万维 3D 大模型团队专攻的技术方向。

　　由于纯原生 3D 路径训练数据不足，而 2D 升 3D 路径只能提取有限的 3D 几何知识。因此，在最新的混合 3D 路径中，大模型研发人员将 3D 信息注入预训练的 2D 模型，例如，通过多视角图像微调 Stable Diffusion 模型，使其能够生成稳定、一致的 3D 模型。

　　以困扰「2D 升 3D」路径的「多头」问题（Janus problem）为例，通过将多视角 Stable Diffusion 与大规模 3D 重建模型相结合，混合 3D 能够有效解决模型 3D 几何生成质量问题，解决多头问题并提升模型生成速度。

　　除了昆仑万维外，这前沿一思路的代表项目包括哥伦比亚大学的 Zero123、加州大学与 Adobe 等的 One-2-3-45、香港大学与腾讯游戏等的 SyncDreamer、香港大学与清华大学等的 Wonder3D、Adobe 的 Instant3D 等等。

　　这一技术路径既利用了目前丰富的 2D 图像资源，规避了 3D 数据不足问题，又一定程度上突破了 2D 升 3D 带来的几何等多项问题。

　　当前，昆仑万维 3D 大模型团队坚持自研混合 3D 技术路线D 大模型两大核心领域（3D 几何生成与 3D 纹理生成）均达到产业最领先水平。相较于同类产品，昆仑万维 3D 大模型有着极强的模型优势与数据壁垒，在 3D 大模型领域拥有三大产品技术亮点：

　　例如，在 3D 纹理生成领域，今年 3 月，昆仑万维联合北京大学、浙江大学、南洋理工大学共同发布论文《InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting》，该论文是 3D 大模型纹理生成领域的最前沿技术成果之一，其创造性地将深度信息（Depth）融入模型纹理生成环节，使得 3D 模型的纹理生成效果更稳定、更自然；项目的另一大亮点在于模型的可交互性，普通用户只需要通过简单的文字指令，就能实时改变 3D 模型的局部颜色、纹理，大幅降低 3D 大模型纹理生成的工业应用门槛。

　　InTeX 是一款可交互的、文生纹理（Text-to-Texture）大模型，用户可以通过简单的文字指令实时改变 3D 模型的局部纹理。

　　该模型通过将深度信息（Depth）与 inpainting 纹理贴图相结合，解决了目前常见的预训练深度 Diffusion + inpainting 模型方案存在几何-纹理不一致、不可控问题，提高了模型生成速度，并能够允许用户实现特定区域的重新绘制和精确的纹理编辑。

　　在过去半年甚至一年多的时间里，AI 3D 生成技术发展堪称突飞猛进：3D 模型生成的质量更好、速度更快部分情况下甚至能把原来以小时单位的 3D 模型生成时间压缩到秒级，带来惊人的效率提升。

　　与此同时，3D 大模型目前仍然面临着训练数据不足、模型几何准确性不够、精细度不足、模型几何-纹理一致性不足等多项挑战，暂时无法满足 4A 大作、科幻电影中高度精细化的 3D 模型生成需求。

　　不过在大量中小型场景中，已经能够满足需求。在影视、游戏行业中，3D 大模型能够快速生成 3D 原型，帮助设计师们实时具现化灵感，提高工作效率。而在工业设计、制造等场景中，3D 大模型还可以用于产品原型设计和仿真测试，减少研发成本和时间。此外，3D 大模型在 AI 视频、元宇宙，甚至具身智能领域都有着广阔的应用空间。随着相关技术的快速发展，3D 大模型即将迎来更多突破性进展。

　　公司地址：北京市朝阳区酒仙桥路4号751 D·Park正东集团院内 C8座105室 极客公园