机器学习基础知识笔记

激活函数

激活函数（Activation Function） 是神经网络中每个神经元输出时应用的非线性变换函数。它决定了一个神经元是否被激活，以及传递给下一个神经元的信息量。若没有激活函数，多层神经网络将退化为线性模型，无法学习复杂的非线性关系。有几个常用的激活函数：

• ReLU：输出范围在 [0, ∞) 之间，计算简单且高效，能够有效缓解梯度消失问题，是当前最常用的隐藏层激活函数。

• Sigmoid：输出范围在 (0, 1) 之间，将输入映射为 0 到 1 之间的概率值，常用于二分类问题的输出层。

• Softmax：每个元素在 (0, 1) 之间，且所有元素之和为 1，通常用于多分类任务的输出层，用于表示每个类别的概率。

optimizer

• Adam：综合性能较好，在很多场景下都能取得不错的效果，是一种常用的默认选择。
• SGD：随机梯度下降，是最基础的优化算法，每次迭代时随机选择小批样本计算梯度，根据梯度更新模型的参数，简单任务且数据量较大时可考虑。
• Adagrad：根据每个参数的历史梯度信息自适应地调整学习率，处理稀疏数据时效果较好。
• RMSProp：Adagrad 的改进，引入衰减系数，避免学习率单调递减的问题，大多数情况下表现良好，特别是在非凸优化问题中。
• Adadelta：无需手动设置学习率，适用于各种任务，尤其在数据量较大、模型较复杂的情况下表现较好。