计算逻辑回归的偏导数

前情提要

• 逻辑回归函数：$\sigma(Z^{(i)}) = \sigma(w^T x^{(i)} + b)$
• 带激活函数的逻辑回归函数：$\hat{y}^{(i)} = \sigma(Z^{(i)}) = \sigma(w^T x^{(i)} + b) = \frac{1}{1+e^{-Z^{(i)}}}$
• 损失函数：$L(\hat{y}^{(i)}, y^{(i)}) = - (y^{(i)} \log(\hat{y}^{(i)}) + (1-y^{(i)})\log(1-\hat{y}^{(i)}))$

这里我们设置一个简单的置换：$a = \hat{y}^{(i)}$

那么：

• 带激活函数的逻辑回归函数：$a = \hat{y}^{(i)} = \sigma(Z^{(i)}) = \sigma(w^T x^{(i)} + b) = \frac{1}{1+e^{-Z^{(i)}}}$
• 损失函数：$L(a, y^{(i)}) = - (y^{(i)} \log(a) + (1-y^{(i)})\log(1-a))$

我们这里如果想画一个计算图，应该如下(因为画图软件写数学公式要付费，下面只是示意图)：

$$\text{【} {w_1, x_1, ..., w_n, x_n, b} \text{】} \Longrightarrow \text{【} {Z = w^T x^{(i)} + b} \text{】} \Longrightarrow \text{【} {a = \hat{y}^{(i)} = \sigma(Z^{(i)})} \text{】} \Longrightarrow \text{【} {L(a, y^{(i)})} \text{】}$$

对于损失函数，一些公式如下：

• $da = dL/da = -(y^{(i)}/a)+(1-y^{(i)})/(1-a)$
• $dZ^{(i)} = (dL/da) * (da/dZ^{(i)}) = a - y^{(i)} = a(1-a)$
• $dw_n = x_n dZ^{(i)}$
• $db = dz$

得到了$dw_n$、$db$后，就可以更新这些参数值进行梯度下降，例如$w_n' = w_n - r * dw_n$

提示

这里用字母r来表示学习率，后面也可能用其他的字母来表示。

提示

这里说的主要是针对单个样本时如何计算逻辑回归的偏导数。

而成本函数的值是多个样本的累计求和的平均值。

同理，多个样本下的逻辑回归偏导数，就等于多个样本的累计求和的平均值