w∗,b∗=argminw,bL(w,b)=argminw,b∑n=1@H_403_2137@10(ŷn−(b+w⋅xncp))2(1−3) @H_361_404@ $$w^{*},b^{*} = \arg \min_{w,b} L(w,b)=\arg \min_{w,b} \sum_{n=1}^{10}\left(\hat{y}^{n} -(b + w\cdot x_{cp}^{n})\right)^{2} \qquad (1-3)$$

由于这里举例的特殊性，对于式1-3，直接使用最小二乘法即可解出最优的 w 和 b，使得总偏差最小。

简单说一下最小二乘法，对于二元函数 $f(x,y)$，函数的极值点必为 @H_301_2345@∂f∂x $\frac{\partial f}{\partial x}$ 及$\frac{\partial f}{\partial y}$ 同时为零或至少有一个偏导数不存在的点；这是极值的必要条件。用这个极值条件可以解出w 和 b。（详情请参阅《数学分析，第三版下册，欧阳光中 等编》第十五章，第一节）

但这里会使用另外一种做法，Gradient Descent（最速下降法），最速下降法不光能解决式1-3 这一种问题；实际上只要 $L$ 是可微分的，都可以用最速下降法来处理。

Gradient Descent（梯度下降法）

简单来看一下梯度下降法的做法。

考虑只有一个参数 $w$ 的损失函数，随机的选取一个初始点，计算 @H_264_2502@w=w0 $w = w^{0}$ 时 $L$ 对 $w$ 的微分，然后顺着切线下降的方向更改 $w$ 的值（因为这里是求极小值），即斜率为负，增加$w$ ；斜率为正，减小$w$ .

那么每次更改 $w$ ，更改多大，用 $\eta \frac{\mathrm{d}L}{\mathrm{d}w} |_{w=w^{0}}$ 表示，$\eta$ 被称为“learning rate”学习速率。

由于这里斜率是负的，所以是 $w^{0} - \eta \frac{\mathrm{d}L}{\mathrm{d}w} |_{w=w^{0}}$ ，得到 $w^{1}$；接着就是重复上述步骤。

直到找到一个点，这个点的斜率为0。但是例子中的情况会比较疑惑，这样的方法很可能找到的只是局部极值，并不是全局极值，但这是由于我们例子的原因，针对回归问题来说，是不存在局部极值的，只有全局极值。所以这个方法还是可以使用。

下面来看看两个参数的问题。

两个参数的区别就是每次需要对两个参数求偏微分，然后同理更新参数的值。

关于梯度可以参阅《数学分析，第三版下册，欧阳光中 等编》，第十四章第六节。也可以大概看看百度百科又或者wikipedia

将上述做法可视化：

同理梯度下降的缺陷如下图：

可能只是找到了局部极值，但是对于线性回归，可以保证所选取的损失函数式1-2是 convex（凸的，即只存在唯一极值）。上图右边就是损失函数的等高线图，可以看出是一圈一圈向内减小的。

结果怎么样呢？

将求出的结果绘图如下

可以计算出训练集上的偏差绝对值之和为 31.9

但真正关心的并不是在训练集上的偏差，而是Generalization的情况，就是需要在新的数据集（测试集）上来计算偏差。如下图：

使用十个新的神奇宝贝的数据作为测试集计算出偏差绝对值之和为35.

接下来考虑是否能够做的更好，可能并不只是简单的直线，考虑其他model的情况：

比如重新设计一个model，多一个二次项，来求出参数，得到Average Error为15.4，在训练集上看起来更好了。在测试集上得出的Average Error是18.4，确实是更好的Model。

再考虑三次项：

得到的结果看起来和二次项时候的结果差别不大，稍微好一点点。也可以看到@H_182_3015@ @H_28_3017@w3 $w_{3}$已经非常小了，说明三次项影响已经不大了。

再考虑四次项：

此时在训练集上可以做的更好，但是测试集的结果变差了。

再考虑五次项：

可以看到测试集的结果非常差。

Overfitting（过拟合，过度学习）

将训练集上的Average Error变化进行作图：

可以看到训练集上的 Average Error 逐渐变小。

上面的那些model，高次项是包含低次项的function。理论上确实次幂越高越复杂的方程，可以让训练集的结果越低。但加上测试集的结果：

观察得出结果：虽然越复杂的model可以在训练集上得到更好的结果，但越复杂的model并不一定在测试集上有好的结果。这个结论叫做“Overfitting（过拟合）”。

如果此时要选model的话，最好的选择就是三次项式子的model。

实际生活中典型的学驾照，学驾照的时候在驾校的训练集上人们可以做的很好，但上路之后真正的测试集就完全无法驾驭。这里只是举个训练集很好，而测试集结果很差的例子^_^

如果数据更多会怎样？

考虑60只神奇宝贝的数据

可以看出物种也是一个关键性的因素，只考虑进化前的CP值是太局限的，刚才的model就设计的不太好。

新的model如下

将这个model写成linear model的形式：

来看做出来的结果：

不同种类的神奇宝贝用的参数不同，用颜色区分。此时model在训练集上可以做的更好，在测试集上的结果也是比之前的18.1更好。

还有其他因素的影响吗？

比如对身高，体重，生命值进行绘图：

重新设计model：

考虑上生命值（@H_502_3103@ xhp $x_{hp}$）、高度（$x_{h}$）、重量（$x_{w}$）

这么复杂的model，理论上训练集上可以得到更好的结果，实际为1.9，确实是更低。但是测试集的结果就过拟合了。

Regularization（正则化）

对于上面那么多参数结果并不理想的情况，这里进行正则化处理，将之前的损失函数进行修改：

@H_301_458@ y=b+∑wixi@H_452_3301@(1−4)L(f)=L(w,b)=∑n=110(ŷn−(b+w⋅xncp))2+λ∑(wi)2(1−5) @H_361_404@ $$y = b + \sum w_{i}x_{i} \qquad (1-4)\\ L(f) = L(w,b) =\sum_{n=1}^{10}\left(\hat{y}^{n} -(b + w\cdot x_{cp}^{n})\right)^{2} + \lambda \sum (w_{i})^{2} \qquad (1-5)$$

式1-5 中多加了一项： $\lambda \sum (w_{i})^{2}$ ，结论是$w_{i}$越小，则方程（式1-4）就越好。还可以说当 $w_{i}$ 越小，则方程越平滑。

平滑的意思是当输入变化时，输出对输入的变化不敏感。比如式1-5 中输入增加了 $\Delta x_{i}$ 则输入就增加了 $w_{i}\Delta x_{i}$ ，可以看出当$w_{i}$越小，输出变化越不明显。还比如测试集的输入有一些噪音数据，越平滑的方程就会受到更小的影响。

上图是对 $\lambda$进行调整得出的结果。当 $\lambda$ 越大的时候， $\lambda \sum (w_{i})^{2}$ 这一项的影响力越大，所以当$\lambda$ 越大的时候，方程越平滑。

训练集上得到的结果是：当 λ @H_981_4033@\lambda 越大的时候，在训练集上得到的Error 是越大的。这是合理的现象，因为当 @H_128_4037@ @H_590_4039@@H_858_4042@@H_362_4043@λ $\lambda$ 越大的时候，就越倾向于考虑 $w$ 本身值，减少考虑error。但是测试集上得到的error 是先减小又增大的。这里喜欢比较平滑的function，因为上面讲到对于噪音数据有很好的鲁棒性，所以开始增加 $\lambda$ 的时候性能是越来越好；但是又不喜欢太平滑的function，最平滑的function就是一条水平线了，那就相当于什么都没有做，所以太平滑的function又会得到糟糕的结果。

所以最后这件事情就是找到最合适的 @H_301_4107@λ $\lambda$ ，此时带进式1-5 求出$b$ 和 $w_{i}$，得到的function就是最优的function。

对于Regularization 的时候，多加的一项：$\lambda \sum (w_{i})^{2}$，并没有考虑 $b$ ，是因为期望得到平滑的function，但bias这项并不影响平滑程度，它只是将function上下移动，跟function的平滑程度是没有关系的。

总结

• Pokemon：原始的CP值极大程度的决定了进化后的CP值，但可能还有其他的一些因素。
• Gradient descent：梯度下降的做法；后面会讲到它的理论依据和要点。
• Overfitting和Regularization：过拟合和正则化，主要介绍了表象；后面会讲到更多这方面的理论

新博客地址：http://yoferzhang.com/post/20170326ML02Regression

@H_361_404@ 原文链接：https://www.f2er.com/regex/358451.html