神经网络的直观理解：小计算汇聚成判断

1.一个人工神经元做什么

“人工神经网络”这个名字借自大脑的神经细胞，但它实际做的是非常简单的计算。一个人工神经元接收多个输入，给每个输入乘上一个“重要程度”，全部加起来，再把这个和过滤一次后输出。这个重要程度叫作权重，相乘再相加得到的值叫作加权和。

最后“过滤”的这一步叫作激活。最常用的方式之一是：和小于0就输出0，大于等于0就原样输出。正是有了这个简单的“折弯”，把神经元叠成多层时，才能表示一条直线表达不了的复杂关系。

2.权重就是学到的内容

在上面的例子里，降雨概率的权重4表示“降雨概率对判断影响很大”，偏置−2表示把默认值调低，即“一般情况下倾向于不带伞”。这些数字如果由人来定，就是基于规则的程序；如果让机器看着数据来定，就是学习。

神经网络的训练，归根结底就是调整这些权重和偏置。就像第2讲讲过的那样，衡量预测与正确答案的差距（损失），再朝着损失变小的方向把所有权重一点点修改。真实的神经网络里，这样的权重少则几千个，大模型则超过几千亿个。所以训练需要大量数据和计算。

重要的是，训练好的神经网络里并没有存着“猫的耳朵是尖的”这样的句子。学到的内容分散在大量权重的数值里。人很难说清神经网络为什么那样判断，原因就在这里。

3.把层叠起来会有什么不同

把多个神经元并排放在一起就成了一层；把一层的输出交给下一层作为输入，就成了多层神经网络。接收输入的层与给出结果的层之间的那些层叫作隐藏层；用隐藏层很多的神经网络来学习，叫作深度学习。“深度”指的是层数多。

层数加深后，就能逐级捕捉更复杂的特征。分析识别照片的神经网络时可以观察到这样的倾向：靠前的层对线条、边缘等简单纹理有反应，中间的层对眼睛、车轮等局部有反应，靠后的层对人脸、汽车等整体形状有反应。这并不是人让它“去找边缘”，而是在训练过程中自然分工形成的。

4.手算一个小小的神经网络

“把层叠起来”实际上是怎样的计算？我们用一个非常小的神经网络亲自算一遍：2个输入 → 2个隐藏神经元 → 1个输出。数字是为了讲解而设定的。隐藏神经元使用前面讲的激活（负数变0，否则原样输出），输出神经元直接输出加权和。

计算顺序始终一样：前一层的输出就是下一层的输入，每个神经元只做“相乘相加，再过滤”。像这样从输入往输出方向依次计算，叫作前向传播。第二道例题是看了结果后把权重修改一次——也就是训练的一步。

5.神经网络不是大脑

因为名字的缘故，人们很容易误以为神经网络是在原样模仿大脑。实际上，它只是借用了大脑中“大量单元相互连接、传递信号”这个想法，运作方式差别很大。人工神经元是做乘法和加法的式子，训练也是与人的经验不同的数学优化。

所以，说神经网络像人一样理解或感受，是不准确的。反过来，以“不过是计算而已，没什么了不起”为由小看它，也不准确。简单的计算汇聚到巨大的规模，就会产生令人惊讶的精细结果。同时记住这两点都是事实，才是平衡的理解。