一键「三维化」你的二维GAN

思想，研究者设计了一种迭代式挖掘并利用 GAN 图像空间中视角与光照信息的策略，具体步骤如下：

第一步，用初始化的形状（即椭球）和可微渲染器渲染很多不同视角与光照条件下的「伪样本」（pseudo samples）；

第二步，用预训练的 GAN 对伪样本进行重建，得到其在 GAN 图像空间的投影，即「投影样本」（projected samples）。这些投影样本会继承与伪样本类似的视角与光照，同时 GAN 的生成特性会将投影样本约束在真实图像空间中，从而消除伪样本中不真实的畸变与光影；

第三步，将投影样本作为可微渲染步骤的 ground truth，从而优化物体三维形状。由于投影样本中包含了 GAN 学得的物体三维信息，因此物体形状会更加准确，如上图中的人脸。

以上步骤结束后，我们可以用优化后的形状作为初始形状再重复以上步骤，迭代多次，从而逐步改善形状直至收敛。

值得一提的是，在上述第二步用 GAN 重建伪样本时，为了保证重建结果的真实性，研究者提出了一种用 StyleGAN2 的部分 mapping 网络对隐向量进行约束的方法，更多细节可参阅论文原文。

实验：二维 GAN 图像皆可三维化

研究者将 GAN2Shape 分别应用于在人脸、猫脸、车以及建筑上训练的 StyleGAN2 [1]，结果均可重建出合理的三维形状，如下图所示：

（编辑：桂林站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!