神经网络预测 与 逻辑回归

逻辑回归

这里介绍一种名为 逻辑回归 的预测函数，在神经网络中，逻辑回归作为输出层的一部分，用于处理二分类问题(正或负，是或否，真或假)。

假设我们判断某张图片里是否存在猫，就要用到逻辑回归了。

$$z = dot(w, x) + b$$

这个公式是逻辑回归的线性组合表达式，它表示了如何将输入特征 $x$ 与权重 $w$ 进行结合并添加偏置 $b$ 来得到一个预测值 $z$。其中：

• $z$ 是线性组合的结果，也就是预测的结果。
• $dot(w, x)$ 是权重向量 $w$ 和输入向量 $x$ 的内积，也就是所有元素的乘积之和。
• $w$ 是权重向量，包含了每个特征的权重。
• $x$ 是输入向量，包含了每个特征的值。
• $b$ 是偏置项，常数项。也可称为是阈值、截距项。

这个公式是逻辑回归的基础，它用来计算一个线性的预测值。

假设我们有一个具有单个输出节点的简单神经网络，其中 $n$ 个输入特征 $x_1, x_2, ..., x_n$ 经过一系列的隐藏层后连接到输出节点。每个输入特征都与一个权重 $w$ 相关联，包括一个额外的偏置项 $b$。这些权重和偏置构成模型的参数。

首先，我们计算线性组合的输出 $z$:

$$z = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b$$

预测的准确与否，并不取决于特征，而是权重$w$和阈值$b$

注意

逻辑回归仅适用于二分类问题。

提示

上面的逻辑回归函数是简化后的版本

正常的函数长这个样子：$z = w^T x + b$

因为实际运算中我们需要$w$的转置矩阵

其他预测函数或模型

除了逻辑回归之外，还有许多其他的预测函数或模型可用于不同的任务。以下是一些常见的预测函数类型：

1. 线性回归 (Linear Regression)：用于连续数值型输出的预测，模型形式为 $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + ... + \beta_n x_n$，其中 $y$ 是预测值，$x_1, x_2, ..., x_n$ 是输入特征，$\beta_0, \beta_1, ..., \beta_n$ 是权重。

2. 多项式回归 (Polynomial Regression)：扩展了线性回归，允许特征间的二次、三次甚至更高次幂的交互，模型形式为 $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2^2 + ... + \beta_n x_n^n$。

3. 决策树 (Decision Trees)：一种基于规则的模型，通过构建一系列条件判断来做出预测。它可以用于分类和回归任务。

4. 随机森林 (Random Forests)：一组决策树的集合，通过投票或平均预测结果来提高性能。

5. 支持向量机 (Support Vector Machines, SVM)：寻找最优超平面来分割不同类别的数据，适合高维数据和非线性边界。

6. K近邻 (K-Nearest Neighbors, KNN)：基于最近邻居的相似性来进行预测，适用于分类和回归。

7. 朴素贝叶斯 (Naive Bayes)：基于贝叶斯定理的分类器，假设特征之间相互独立。

8. 聚类分析 (Clustering Analysis)：无监督学习方法，将数据分为若干组，如K-means、层次聚类等。

9. 深度学习 (Deep Learning)：使用多层神经网络进行复杂模式的学习，如卷积神经网络(CNN)、循环神经网络(RNN)等。

10. 集成学习 (Ensemble Learning)：结合多个弱预测器形成强预测器，如Adaboost、Bagging、Stacking等。

选择哪种预测函数取决于任务的具体需求和数据特性。