Hugging Face Papers ↗ · 2026-11-19
Direct3D-V3:原生体素域的无潜空间扩散变换器
媒体报道 Hugging Face Papers 原文语言:中文
该工作提出 Direct3D-V3,一种在原生体素网格上直接进行扩散的变换器,摒弃 VAE,利用隐式流形正则化和渲染法线损失生成更细致的网格,并通过预测相机参数提升图像到 3D 形状的对齐。该设计消除了重建瓶颈,可用于生成式重建与细化。
全文
本地 3D 生成主要围绕潜在扩散展开,最近的进展集中在更强的变分自编码器(VAE)以及日益复杂的潜在表示上,从向量集(vecset)和三平面(triplanes)到结构化稀疏体素。尽管它们的架构有所不同,但这些方法都有一个共同的前提:首先将几何形状压缩到潜在空间中,然后才由生成器进行建模。我们采取了不同的路线,提出了 Direct3D-V3,这是一个无潜在空间的扩散 Transformer(DiT)框架,它完全摒弃了 VAE,并在本地体素域中运行,在训练和采样过程中直接对原始 SDF 体素网格进行建模。为了使这种直接体素公式在几何上可靠,我们在相邻体素上引入了一种隐式流形正则化,以抑制非封闭表面,并通过 Marching Cubes 将预测的 SDF 网格转换为网格(meshes),以便渲染的法线损失可以直接从其预测的 SDF 监督模型。为了提高条件图像与生成几何体之间的对齐度,Direct3D-V3 还将条件图像的相机参数预测为辅助任务,鼓励 DiT 学习从图像观测到 3D 形状的映射。这种无潜在空间的设计消除了重建瓶颈,使训练在本地 voxel 域的目标下进行,并产生具有显着更丰富局部细节的网格。预测的相机和本地 SDF 体素输出进一步使 Direct3D-V3 具有可扩展性,可用于生成式重建,其中扩散与法线引导的精细化交织在一起,以改善与观察到的视角的对齐,同时生成先验补全未见区域。项目页面:https://dreamtechai.github.io/Direct3D-V3。
查看 arXiv 页面 查看 PDF 项目页面 GitHub 15 添加到收藏
正文为 AI 译文。