概念

在神经网络中，我们通常使用反向传播来求梯度，这需要求解微分。

使用计算机求解微分的方法有很多，如符号微分，首先将目标函数转换为closed-form表达式，再利用求导法则，对表达式自动计算，求解梯度。该方案计算结果精确，但是要求表达式为closed-form(限制了使用场景)，且表达式较为复杂时，可能会产生表达式膨胀(Expression swell)的问题。

另一种典型的求微分方法如数值微分，通过差分逼近。该方法适用于各种情况，但是需要权衡截断误差(truncation error)和舍入误差(Rounding error)，对高维度函数计算速度较慢。

自动微分不要求函数的表达式为closed-form，算法和符号微分相同精度，直接获得梯度结果而不得到导数表达式。

自动微分利用表达式追踪机制，记录每一次计算过程中的中间变量，再利用链式求导法则组合各部分中间变量，生成梯度结果。

自动微分有两个主要版本，Forward mode and Reverse mode

以下列的函数为例

$$f(x_1,x_2)=\ln (x_1)+x_1{x}_2-\sin (x_2)$$

接下来我们要求函数对$x_1$的偏导数，因此先定义中间变量的偏导数

$${\dot{v}}_i=\frac{\partial v_i}{\partial x_1}$$

Forward Primal Trace如下

$$\begin{array}{rll}{v}_{-1}& =x_1& =2\\ v_0& =x_2& =5\\ \\ v_1& =\mathrm{l}\mathrm{n}{v}_{-1}& =\ln 2\\ v_2& =v_{-1}\times v_0& =2\times 5\\ v_3& =\sin v_0& =\sin 5\\ v_4& =v_4+v_2& =0.693+10\\ v_5& =v_4-v_3& =10.652+0.959\\ \\ y& =v_5& =11.652\end{array}$$

对于上述函数，自动微分方法分成 Forward mode 和 Reverse mode

Forward mode

Forward Tangent (Derivative) Trace如下

$$\begin{array}{rll}{\dot{v}}_{-1}& ={\dot{x}}_1& =1\\ {\dot{v}}_0& ={\dot{x}}_2& =0\\ \\ {\dot{v}}_1& ={\dot{v}}_{-1}/v_{-1}& =1/2\\ {\dot{v}}_2& ={\dot{v}}_{-1}\times v_0+{\dot{v}}_0\times v_{-1}& =1\times 5+0\times 2\\ {\dot{v}}_3& ={\dot{v}}_0\times \cos v_0& =0\times \cos 5\\ {\dot{v}}_4& ={\dot{v}}_1+{\dot{v}}_2& =0.5+5\\ {\dot{v}}_5& ={\dot{v}}_4-{\dot{v}}_3& =5.5-0\\ \\ \dot{y}& ={\dot{v}}_5& =5.5\end{array}$$

Reverse mode

定义与算法

这里我们首先定义

$${\overline{v}}_i=\frac{\partial y_j}{\partial v_i}$$

然后我们需要考虑Forward Primal Trace的树形图，利用如下性质，建立中间变量之间的依赖关系（有向图）

$${\overline{v}}_i=\sum _{j=childofi}^m{\overline{v}}_j\frac{\partial v_j}{\partial v_i}$$

具体到本例中，有向图如下

我们得到如下计算式子，需要指出的是，以下是从下往上计算，也就是先有$\overline{v}=\overline{y}=1$，最后再得到${\overline{x}}_1,{\overline{x}}_2$.

$$\begin{array}{lll}{\overline{x}}_1={\overline{v}}_{-1}& & =5.5\\ {\overline{x}}_2={\overline{v}}_0& & =1.716\\ \\ {\overline{v}}_{-1}={\overline{v}}_{-1}+{\overline{v}}_1\frac{\partial v_1}{\partial v_{-1}}& ={\overline{v}}_{-1}+{\overline{v}}_1/v_{-1}& =5.5\\ {\overline{v}}_0={\overline{v}}_0+{\overline{v}}_2\frac{\partial v_2}{\partial v_0}& ={\overline{v}}_0+{\overline{v}}_2\times v_{-1}& =1.716\\ {\overline{v}}_{-1}={\overline{v}}_2\frac{\partial v_2}{\partial v_{-1}}& ={\overline{v}}_2\times v_0& =5\\ {\overline{v}}_0={\overline{v}}_3\frac{\partial v_3}{\partial v_0}& ={\overline{v}}_3\times \cos v_0& =-0.284\\ {\overline{v}}_2={\overline{v}}_4\frac{\partial v_4}{\partial v_2}& ={\overline{v}}_4\times 1& =1\\ {\overline{v}}_1={\overline{v}}_4\frac{\partial v_4}{\partial v_1}& ={\overline{v}}_4\times 1& =1\\ {\overline{v}}_3={\overline{v}}_5\frac{\partial v_5}{\partial v_3}& ={\overline{v}}_5\times (-1)& =-1\\ {\overline{v}}_4={\overline{v}}_5\frac{\overline{v}{v}_5}{\partial v_4}& ={\overline{v}}_5\times 1& =1\\ \\ {\overline{v}}_5=\overline{y}& & =1\end{array}$$

详细流程

详细来说反向计算导数值时，顺序如下：

1. 计算$y$对$v_5$的导数值，因为$y=v_5$，所以 $\frac{\partial y}{\partial v_5}={\overline{v}}_5=1$ .

2. 计算$y$对$v_4$的导数值，因为$v_4$在图上只有一个后续节点$v_5$，并且$v_5=v_4-v_3$，所以依据链式法则得到下式，并将结果写在$v_4$指向$v_5$的边上

$$\frac{\partial y}{\partial v_4}=\frac{\partial y}{\partial v_5}\times \frac{\partial v_5}{\partial v_4}={\overline{v}}_5\frac{\partial v_5}{\partial v_4}={\overline{v}}_5\frac{\partial (v_4-v_3)}{\partial v_4}={\overline{v}}_5\times 1=1$$

3. 计算$y$对$v_3$的导数值，因为$v_3$在图上只有一个后续节点$v_5$，并且$v_5=v_4-v_3$。所以依据链式法则得到下式，并将结果写在$v_3$指向$v_5$的边上

$$\frac{\partial y}{\partial v_3}=\frac{\partial y}{\partial v_5}\times \frac{\partial v_5}{\partial v_3}={\overline{v}}_5\frac{\partial v_5}{\partial v_3}={\overline{v}}_5\frac{\partial (v_4-v_3)}{\partial v_3}={\overline{v}}_5\times (-1)=-1$$

4. 计算$y$对$v_2$的导数值，因为$v_2$在图上只有一个后续节点$v_4$，并且$v_4=v_1+v_2$，所以依据链式法则得到下式，并将结果写在$v_2$指向$v_4$的边上

$$\frac{\partial y}{\partial v_2}=\frac{\partial y}{\partial v_4}\times \frac{\partial v_4}{\partial v_2}={\overline{v}}_4\frac{\partial v_4}{\partial v_2}={\overline{v}}_4\frac{\partial (v_1+v_2)}{\partial v_2}={\overline{v}}_4\times 1=1$$

5. 计算$y$对$v_1$的导数值，因为$v_1$在图上只有一个后续节点$v_4$，并且$v_4=v_1+v_2$，所以依据链式法则得到下式，并将结果写在$v_1$指向$v_4$的边上

$$\frac{\partial y}{\partial v_1}=\frac{\partial y}{\partial v_4}\times \frac{\partial v_4}{\partial v_1}={\overline{v}}_4\frac{\partial v_4}{\partial v_1}={\overline{v}}_4\frac{\partial (v_1+v_2)}{\partial v_1}={\overline{v}}_4\times 1=1$$

6. 接下来要计算$y$对$v_0$和$v_{-1}$的导数值，因为$v_0$和$v_{-1}$都是有两个后续节点，所以我们只能分开计算。

7. 计算下式，并将结果写在$v_0$指向$v_3$的边上

$$\frac{\partial v_3}{\partial v_0}=\frac{\partial sin{v}_0}{\partial v_0}=cos{v}_0=0.284$$

8. 计算下式，并将结果写在$v_0$指向$v_2$的边上

$$\frac{\partial v_2}{\partial v_0}=\frac{\partial (v_{-1}{v}_0)}{\partial v_0}=v_{-1}=2$$

9. 计算下式，并将结果写在$v_{-1}$指向$v_2$的边上

$$\frac{\partial v_2}{\partial v_{-1}}=\frac{\partial (v_{-1}{v}_0)}{\partial v_{-1}}=v_0=5,$$

10. 计算下式，并将结果写在$v_{-1}$指向$v_1$的边上

$$\frac{\partial v_1}{\partial v_{-1}}=\frac{\partial (ln{v}_{-1})}{\partial v_{-1}}=\frac{1}{v_1}=0.5$$

到日前为止，我们已经计算出来了所有步骤的偏导数的数值。现在需要计算$\frac{\partial y}{\partial x_1}$和$\frac{\partial y}{\partial x_2}$。

计算$\frac{\partial y}{\partial x_1}$就是从$y$开始从后向前走，走回到$x_1$，因为有多条路径，所以对于每一条路径，需要将这个路径上的数值连乘起来得到一个乘积数值，然后将这多条路径的乘积数值相加起来，就得到了$\frac{\partial y}{\partial x_1}$的数值。$\frac{\partial y}{\partial x_2}$的计算方法与此相同

从$y$到$x_1$的路径有两条，分别是：

· $v_5\to v_4\to v_1\to v_{-1}$：其数值乘积是$1\ast 1\ast 0.5=0.5$

· $v_5\to v_4\to v_2\to v_{-1}$：其数值乘积是$1\ast 1\ast 5=5$

因此，$\frac{\partial y}{\partial x_1}=0.5+5=5.5$

从$y$到$x_2$的路径有两条，分别是：

· $v_5\to v_4\to v_2\to v_0$：其数值乘积是$1\ast 1\ast 2=2.0$

· $v_5\to v_3\to v_0$：其数值乘积是$-1\ast 0.284=-0.284$

因此，$\frac{\partial y}{\partial x_2}=2.0-0.284=1.716$

Auto Diff 与 Jacobian

如果$f$的输出也是多维的，比如

$$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$$

其Jacobian矩阵如下

$$J_f=\left[\begin{array}{ccc}\frac{\partial y}{\partial x_1}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right]=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$

具体而言，我们有：

$$\delta y=J_f\delta x$$

则每次Forward mode得到的将是Jacobian矩阵$J_f$的一列。

每次Reverse mode得到的将是Jacobian矩阵$J_f$的一行。

在实际的神经网络中，损失函数的输出为标量，但是参数矩阵很多。即如下形式

$$f:{\mathbb{R}}^n\to \mathbb{R}$$

因此神经网络中通常选择Reverse mode.

相应的，如果输入维度小于输出维度，即Jacobian矩阵的行数大于列数，比如$n>m=1$，则选择Forward mode。