在前篇的线性模型中

如果以神经网络的视角代入来看，则x为输入层，即input层，ω为权重，y^为输出层。在神经网络中，通常将ω以及*计算操作的部分合并看做一个神经元（层）。而神经网络的训练过程即为更新ω的过程，其更新的情况依赖于 \(\frac{\partial loss}{\partial \omega}\) ，而并非 \(\frac{\partial \widehat y}{\partial \omega}\)

然而，对于复杂模型而言求解过程就复杂很多。在图示的神经网络中，每个结点为一个神经元，结点之间的连线为权重。

由图上可知，输入层与隐含层第一层之间就有5∗6=30个权重，隐含层的第一层与第二层之间又有6∗7=42个权重，以此类推，上图中共有30+42+49+42+30=193个权重需要计算，传统的列表达式的方式是无法完成的。

计算图中的神经网络

在计算图中，绿色的模块为计算模块，可以在计算过程中求导。MM为矩阵乘法，ADD为加法。

而上图左式中，可以化简得到如下公式

也就是说，在这个结构下单纯的增加层数，并不能增加神经网络的复杂程度，因为最后都可以化简为一个单一的神经网络。

改进方法

在每层网络结构中，增加一个非线性的变换函数（激活函数），比如sigmod函数

反向传播过程

前馈计算

在某一神经元处，输入的x与ω经过函数f(x, ω)的计算,可以获得输出值z，并继续向前以得到损失值loss.

在向前计算的过程中，在f(x, ω)的计算模块中会计算导数 \(\frac{\partial z}{\partial x}\) 以及 \(\frac{\partial z}{\partial \omega}\) ，并将其保存下来（在pytorch中，这样的值保存在变量x以及ω中）。

反向传播

由求导的链式法则，求得loss以后，前面的神经元会将 \(\frac{\partial loss}{\partial z}\) 的值反向传播给原先的神经元，在计算单元f(x, ω)中，将得到的 \(\frac{\partial loss}{\partial x}\) 与之前存储的导数相乘，即可得到损失值对于权重以及输入层的导数，即 \(\frac{\partial loss}{\partial x}\) ，以及 \(\frac{\partial loss}{\partial \omega}\) ，基于该梯度才进行权重的调整。

Pytorch中的前馈与反馈

利用pytorch进行深度学习，最主要的是==构建计算图==

Tensor 张量

Tensor中重要的两个成员，data用于保存权重本身的值ω，grad用于保存损失函数对权重的导数 \(\frac{\partial loss}{\partial \omega}\) ，grad本身也是个张量。对张量进行的计算操作，都是建立计算图的过程。

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

#赋予tensor中的data
w = torch.Tensor([1.0])
#设定需要计算梯度grad
w.requires_grad = True

#模型y=x*w 建立计算图
def forward(x):
    '''
    w为Tensor类型
    x强制转换为Tensor类型
    通过这样的方式建立计算图
    '''
    return x * w

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print ("predict  (before training)", 4, forward(4).item())

for epoch in range(100):
    for x,y in zip(x_data,y_data):
        #创建新的计算图
        l = loss(x,y)
        #进行反馈计算，此时才开始求梯度，此后计算图进行释放
        l.backward()
        #grad.item()取grad中的值变成标量
        print('\tgrad:',x, y, w.grad.item())
        #单纯的数值计算要利用data，而不能用张量，否则会在内部创建新的计算图
        w.data = w.data - 0.01 * w.grad.data
        #把权重梯度里的数据清零
        w.grad.data.zero_()
    print("progress:",epoch, l.item())

print("predict (after training)", 4, forward(4).item())

本文参考自B站《PyTorch深度学习实践》P4