理解AI的数学

1.向量——一切都变成数字列表

AI把文字、照片、喜好都转换成数字列表来处理，这种数字列表叫作向量。如果用（动作、爱情、喜剧）三类电影的喜爱程度来表示观影喜好，小李可以写成 [5, 1, 3]，小王是 [4, 2, 3]，小张是 [1, 5, 2]。语言模型会把一个词或词的片段（词元）转换成由几百到几千个数字组成的向量，原理和这个只有三个数字的例子一样。

有了两个向量，就能计算“有多相似”。第6讲中两点之间的距离是一种方法，而AI中更常用的方法是内积和余弦相似度。

2.内积与余弦相似度

内积是把两个向量相同位置上的数相乘，再全部相加得到的值。两个人越是一起喜欢同样的项目，大数和大数相乘，内积就越大。不过，数字整体偏大的向量，内积必然也大，所以要除以向量的大小（长度，即模长），只比较方向，这就是余弦相似度。

余弦相似度的取值在 −1 到 1 之间。接近 1 表示方向相同（喜好相似），0 表示方向互不相关（垂直），−1 表示方向正好相反。搜索和推荐中的“找出意思相近的文档”，大多就是计算这个值，再按从大到小挑选。

3.矩阵乘法——一次完成多个加权求和

神经网络中一个神经元做的事情很简单：把每个输入乘以权重后相加（加权求和），加上偏置，再按规定的规则把结果变换一次。最常见的规则之一是：负数变成 0，正数保持不变。如果输入是 [2, 3]，权重是 [0.5, −1]，偏置是 1，那么 0.5×2 + (−1)×3 + 1 = −1，是负数，所以输出 0。

神经元有多个时，就要做多次加权求和。把它们一次写出来的方法就是矩阵。矩阵的每一行是一个神经元的权重，矩阵与向量相乘就是“每一行分别与输入向量做内积”。巨大AI模型的计算大部分都是这种矩阵乘法，所以能快速做矩阵乘法的专用芯片变得十分重要。

4.损失函数——用数字表示错了多少

模型要学习，首先得用一个数字衡量“错了多少”。给出这个数字的函数叫作损失函数。预测数值的模型常用均方误差（MSE）。它是把预测值与正确答案之差（误差）平方后取平均得到的值，形式和第8讲的方差几乎一样。

平方的原因有两个：一是不论误差是正是负，都算作“错”；二是让错得多的受到更重的惩罚。误差为 2 时是 4，误差为 4 时就是 16。

5.斜率与梯度下降

要减小损失，权重该往哪个方向修改？想象一个人在大雾笼罩的山上往山谷走。远处看不见，但能感觉到脚下的坡度。朝下坡方向迈一步，再感受坡度，再迈一步。第4讲中“某一点处的斜率”就是这脚下的坡度，这样一步步往下走的方法就是梯度下降。

看一个最简单的例子：损失为 L(w) = (w − 3)²。w = 3 时损失为 0，最小。这个函数的斜率是 2(w − 3)。w 小于 3 时斜率为负，应该把 w 调大；大于 3 时斜率为正，应该调小。所以按“新 w = w − 学习率 × 斜率”来修正。学习率就是一步的大小。

真实的模型可能有几十亿个权重，但做的事情是一样的：对每个权重计算“把它稍微改一点，损失会变化多少”（斜率，也叫梯度），然后朝着损失减小的方向一点点修正，无数次地重复。