初识激活函数 sigmoid与softmax

Mahe666

说一下激活函数，激活函数分为好多种。

在实际的神经网络中，不能直接使用逻辑回归函数，而是要在逻辑回归函数的外面套一层激活函数

提示

现实中存在不需要激活函数的预测函数，例如线性回归、岭回归(Ridge Regression)、LASSO回归(Least Absolute Shrinkage and Selection Operator)等

sigmoid函数

求导过程：https://blog.csdn.net/zhaohongfei_358/article/details/119274445

逻辑回归通常使用 sigmoid 函数（也称为 logistic 函数）来进行概率预测，这是因为 sigmoid 函数能够将线性组合的结果转换为介于0和1之间的概率值，非常适合二分类问题。

然后，我们应用 sigmoid 函数（或其他激活函数，如softmax，但在这里我们只考虑sigmoid）来将 $z$ 转换成概率:

p = \sigma(z) = \frac{1}{1 + e^{-z}}

这里的 $\sigma(⋅)$ 就是 sigmoid 函数，它将 $z$ 映射到0和1之间，表示正类别的概率。

例如结果是0.9，则代表有90%的概率是对的（或是图片中有想要的结果）

也就可以推导出如下公式

\hat{y}^{(i)} = \sigma(Z^{(i)}) = \sigma(w^T x^{(i)} + b) = \frac{1}{1+e^{-Z^{(i)}}}

$\hat{y}^{(i)}$ 是预测的结果。上面的i角标指代某一个训练样本，例如， $\hat{y}^{(i)}$ 是对于训练样本 $x^{(i)}$ 的预测结果。

绘制sigmoid

绘制这张图的代码如下

import matplotlib.pyplot as plt
import numpy as np


def sigmoid(x):
    return 1 / (1 + np.exp(-x))


x = np.arange(-10, 10, 0.1)  # 起点，终点，间距
y = sigmoid(x)
plt.plot(x, y)
plt.show()

softmax 函数

对于多分类问题，通常使用多个输出节点，每个节点对应一个类别，并且使用 softmax 函数来获得每个类别的概率分布。

暂时了解就好

\text{softmax}(z)_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}