[EG3D] Efficient Geometry-aware 3D Generative Adversarial Networks¶

3DV Generation

论文笔记¶

Tri-plane hybrid 3D representation¶

讨论一下 NeRF 和 Tri-plane hybrid 3D representation 的关系。

NeRF 按 ray 体积渲染过程中采样的点从训练好的 MLP 里拿；而 EG3D 则是得到三个投影方向上的特征向量，每一个投影方向上的特征向量都是沿着消失的那个维度聚合得到的，可以看作是拿到了空间中三条正交的线的特征，而之后用一个轻量 MLP 去从这三个特征向量里把这个点的颜色密度拿出来，类似于求三条线的交点。

相比于 NeRF 将数据参数化，每次查询都需要走一边 MLP，EG3D Sec3 则显示的将特征存在三个二维表里，每次查询只需要 O(1) 的开销，因此效率主要取决于后面那个轻量 MLP，以此来实现效率上的提高。

而实现效果上，我胡猜 EG3D 的方法好的原因：

1. 由于使用了座标投影，所以相对于 NeRF 的参数表达，EG3D 对于某个点的空间位置具有更强的约束，因而可能对细节的把控约束更直接，或者说直觉上我感觉 EG3D 这种表达对“特征-座标”的关系更具体；
2. 三个正交方向塞进小 MLP 里学，可能会更容易让 MLP 知道去找交点附近的那些点去学习，感觉有点类似于在一个长得像曼哈顿距离那种立方体一样的空间里去学习周围的信息；

激励

评论