2025年sigmrnd函数（sigmod函数怎么来的）

科技前沿 • 2025-05-23 15:14 • 阅读 40

大家好，我是讯享网，很高兴认识大家。

逻辑回归（Logistic Regression）是一种广泛应用于二分类问题（也可扩展到多分类）的线性模型。它通过Sigmoid函数将线性组合的输入特征映射到概率值：

LR也可以用于多分类任务，其基本思想是：将多分类任务拆分成若干个二分类任务，然后对每个二分类任务训练一个模型，最后将多个模型的结果进行集成以获得最终的分类结果。一般来说，可以采取的拆分策略有：

one vs one策略：假设我们有N个类别，该策略基本思想就是不同类别两两之间训练一个分类器，这时我们一共会训练出种不同的分类器。在预测时，我们将样本提交给所有的分类器，一共会获得N(N-1)/2个结果，最终结果通过投票产生
one vs all策略：该策略基本思想就是将第i种类型的所有样本作为正例，将剩下的所有样本作为负例，进行训练得到一个分类器。这样我们就一共可以得到N个分类器。在预测时，我们将样本提交给所有的分类器，一共会获得N个结果，我们选择其中概率值最大的那个作为最终分类结果
softmax回归：softmax回归是LR在多分类的推广。若待分类的类别互斥，我们就使用softmax回归；若待分类的类别有相交，我们则要选用多分类LR，然后投票表决

逻辑回归的损失为交叉熵损失（负对数似然函数）：

我们可以使用梯度下降的方法迭代求解损失函数的最小值，根据求导链式法则，可推导得到逻辑回归参数的梯度（利用sigmoid函数求导的性质：）：

我们就可以利用梯度下降算法，用负梯度更新模型参数，进行参数求解：

概率输出的匹配：交叉熵损失直接衡量了预测概率分布与真实标签分布之间的差异，适用于概率输出的模型（如通过softmax或sigmoid函数生成的概率）
梯度优化的有效性：
- 交叉熵损失在概率接近真实标签时，能够提供更强的梯度信号，帮助模型更快地收敛
- 均方误差（MSE）在分类问题中，尤其是当使用softmax激活函数时，不如交叉熵损失提供的梯度信息有效，可能导致训练速度较慢和收敛效果较差
多类别分类的优势：在多类别分类问题中，交叉熵损失能够自然地扩展到多个类别

以下是使用numpy手动实现逻辑回归模型，并利用梯度下降进行训练的代码，且附带L1/L2正则化功能，缓解过拟合风险