预测是否准确，损失函数 与 成本函数

神经网络是怎么知道自己预测的准不准的呢？

损失函数 (loss function)

全靠一个名为 损失函数 的东西，如下：

$$L(\hat{y}^{(i)}, y^{(i)}) = - (y^{(i)} \log(\hat{y}^{(i)}) + (1-y^{(i)})\log(1-\hat{y}^{(i)}))$$

损失函数运算后得出的结果越大，那么预测就与实际结果的偏差越大，即预测精度越不高。

努力使损失函数的值越小，就是努力让预测的结果越准确。

相关信息

上述损失函数公式只针对于单个训练样本

重要

不是所有的神经网络损失函数都用上面的函数

上面的损失函数名字是：二分类交叉熵损失（binary cross-entropy loss）

顾名思义，它是负责二分类问题也就是之前举例的逻辑回归的损失函数

成本函数 (cost function)

这种针对于整个训练集的损失函数我们称它为成本函数(cost function)。

下面的公式用于衡量预测算法对整个训练集的预测精度。其实就是对每个样本的“损失”进行累加，然后求平均值。

$$J(w, b) = \frac{1}{m}\sum_{i=1}^{m} L(\hat{y}^{(i)}, y^{(i)}) = -\frac{1}{m}\sum_{i=1}^{m} [(y^{(i)} log(\hat{y}^{(i)}) + (1-y^{(i)}) log(1-\hat{y}^{(i)}))]$$

相关信息

这个是针对上面的 二分类交叉熵损失（binary cross-entropy loss） 的成本函数

它的计算结果越大，说明成本越大，即预测越不准确

损失函数的作用就是衡量模型模型预测的好坏。再简单一点说就是: 损失函数就是用来表现预测与实际数据的差距程度。