本文介绍了深度卷积逆向图形网络（DC-IGN），该网络旨在学习可解释的图像表示形式，该图像对于各种变换（例如，对象平面外旋转，光照变化和纹理）是不相关的。DC-IGN模型由多层卷积和反卷积算子组成，并使用随机梯度变化贝叶斯（SGVB）算法（Kingma和Welling）进行训练。我们提出了训练程序，以鼓励图形代码层中的神经元具有语义含义，并迫使每个组分别代表特定的变换（姿势，光线，纹理，形状等）。给定静态的人脸图像，我们的模型可以重新生成输入图像，该输入图像具有与基础人脸不同的姿势，光照甚至纹理和形状变化。我们提供模型功效的定性和定量结果，以学习3D渲染引擎。此外，我们还将学习到的表示形式用于两个重要的视觉识别任务：（1）不变脸部识别任务；（2）将表示形式用作生成建模的摘要统计量。
我们的模型演示在（a）仰角和（b）方位角以及（c）轻神经元上使用不同的3D扫描重新渲染给定的静态图像。
模型架构
深度卷积逆图形网络（DC-IGN）具有编码器和解码器。我们遵循具有多种变体的变体自动编码器（Kingma和Welling）架构。编码器由几层卷积组成，然后是最大池，而解码器则有几层解卷层（使用最近邻居的上采样），然后是卷积。（a）在训练期间，数据（x）通过编码器传递，以产生后验逼近Q（z_i | x），其中z_i由场景潜在变量（例如姿势，光线，纹理或形状）组成。为了学习DC-IGN中的参数，使用以下变分对象函数，使用随机梯度下降来反向传播梯度：-log（P（x | z_i））+ KL（Q（z_i | x）|| P（z_i））对于每个z_i。我们可以通过显示带有一组非活动和活动转换（例如，面部旋转，沿某个方向的光扫掠等）的迷你批处理来强制DC-IGN学习纠缠的表示。（b）在测试期间，数据x可以通过编码器传递以获得潜伏z_i。只需操纵适当的图形代码组（z_i），就可以将图像重新渲染到不同的视点，光照条件，形状变化等，这就是操纵现成的3D图形引擎的方式。
