随机梯度下降分类器

class sklearn.linear_model.SGDClassifier(loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)

使用SGD训练的线性分类器（SVM、逻辑回归等）。

此估计器使用随机梯度下降 (SGD) 学习实现正则化线性模型：每次损失的梯度都通过一个样本估计，并且模型会随着递减的强度调度（又称学习率）进行更新。SGD 通过 partial_fit 方法允许使用小批量（在线/核心外）学习。为了获得最佳结果并使用默认学习率调度，数据应该具有零均值和单位方差。

此实现适用于以浮点值的密集或稀疏数组表示的数据特征。它拟合的模型可以用损失参数控制；默认情况下，它拟合线性支持向量机 (SVM)。

正则化器是添加到损失函数的惩罚项，它使用欧几里德平方范数 L2 或绝对范数 L1 或两者的组合（弹性网络）将模型参数缩小到零向量。如果由于正则化器，参数更新超过 0.0 值，则更新将截断为 0.0，以允许学习稀疏模型并实现在线特征选择。

在用户指南中了解更多信息。

参数：

loss{‘hinge’, ‘log_loss’, ‘modified_huber’, ‘squared_hinge’, ‘perceptron’, ‘squared_error’, ‘huber’, ‘epsilon_insensitive’, ‘squared_epsilon_insensitive’}, default=’hinge’

要使用的损失函数。

• ‘hinge’ 提供线性 SVM。

• ‘log_loss’ 提供逻辑回归，一种概率分类器。

• ‘modified_huber’ 是另一种平滑损失，它对异常值和概率估计都具有容忍度。

• ‘squared_hinge’ 与 hinge 类似，但采用二次惩罚。

• ‘perceptron’ 是感知器算法使用的线性损失。

• 其他损失，‘squared_error’，‘huber’，‘epsilon_insensitive’ 和 ‘squared_epsilon_insensitive’ 旨在用于回归，但也可能用于分类；有关说明，请参见 SGDRegressor。

有关损失公式的更多详细信息，请参见用户指南，您可以在SGD：凸损失函数中找到损失函数的可视化。

penalty{‘l2’, ‘l1’, ‘elasticnet’, None}, default=’l2’

要使用的惩罚项（又称正则化项）。默认为 ‘l2’，这是线性 SVM 模型的标准正则化器。‘l1’ 和 ‘elasticnet’ 可能会使模型产生稀疏性（特征选择），而 ‘l2’ 则无法实现。设置为 None 时，不添加惩罚项。

您可以在SGD：惩罚项中看到惩罚项的可视化。

alphafloat, default=0.0001

乘以正则化项的常数。值越高，正则化越强。当 learning_rate 设置为 ‘optimal’ 时，也用于计算学习率。值必须在 [0.0, inf) 范围内。

l1_ratiofloat, default=0.15

弹性网络混合参数，其中 0 <= l1_ratio <= 1。l1_ratio=0 对应于 L2 惩罚，l1_ratio=1 对应于 L1。仅当 penalty 为 ‘elasticnet’ 时才使用。值必须在 [0.0, 1.0] 范围内。

fit_interceptbool, default=True

是否估计截距。如果为 False，则假定数据已中心化。

max_iterint，默认为 1000

训练数据最大迭代次数（又称 epochs）。它只影响fit方法的行为，而不影响partial_fit方法。值必须在范围[1, inf)内。

0.19 版本新增。

tolfloat 或 None，默认为 1e-3

停止标准。如果它不是 None，则当连续 n_iter_no_change 个 epochs 的 (loss > best_loss - tol) 时，训练将停止。根据 early_stopping 参数，收敛性将针对训练损失或验证损失进行检查。值必须在范围[0.0, inf)内。

0.19 版本新增。

shufflebool，默认为 True

每次 epoch 后是否应打乱训练数据。

verboseint，默认为 0

详细程度。值必须在范围[0, inf)内。

epsilonfloat，默认为 0.1

epsilon 不敏感损失函数中的 epsilon；仅当 loss 为 ‘huber’，‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 时适用。对于 ‘huber’，它确定变得不那么重要以精确预测的阈值。对于 epsilon 不敏感，如果当前预测与正确标签之间的任何差异小于此阈值，则将忽略这些差异。值必须在范围[0.0, inf)内。

n_jobsint，默认为 None

用于执行 OVA（一对多，用于多类问题）计算的 CPU 数量。None 表示 1，除非在 joblib.parallel_backend 上下文中。-1 表示使用所有处理器。更多详情请参见词汇表。

random_stateint，RandomState 实例，默认为 None

当 shuffle 设置为 True 时，用于打乱数据。传递一个整数以在多次函数调用中获得可重复的输出。参见词汇表。整数值必须在范围[0, 2**32 - 1]内。

learning_ratestr，默认为 ‘optimal’

学习率调度

• ‘constant’: eta = eta0

• ‘optimal’: eta = 1.0 / (alpha * (t + t0))，其中 t0 由 Leon Bottou 提出的启发式方法选择。

• ‘invscaling’: eta = eta0 / pow(t, power_t)

• ‘adaptive’: eta = eta0，只要训练持续下降。每次连续 n_iter_no_change 个 epochs 未能使训练损失减少 tol 或未能使验证分数增加 tol（如果 early_stopping 为 True），当前学习率将除以 5。

0.20 版本新增：新增 ‘adaptive’ 选项。

eta0float，默认为 0.0

‘constant’，‘invscaling’ 或 ‘adaptive’ 调度的初始学习率。默认值为 0.0，因为默认调度 ‘optimal’ 不使用 eta0。值必须在范围[0.0, inf)内。

power_tfloat，默认为 0.5

逆缩放学习率的指数。值必须在范围(-inf, inf)内。

early_stoppingbool，默认为 False

是否使用提前停止，当验证分数没有提高时终止训练。如果设置为 True，它将自动将训练数据的一个分层部分留作验证，并在 score 方法返回的验证分数连续 n_iter_no_change 个 epochs 没有提高至少 tol 时终止训练。

有关提前停止效果的示例，请参见随机梯度下降的提前停止。

0.20 版本新增：新增 ‘early_stopping’ 选项

validation_fractionfloat，默认为 0.1

留作提前停止验证集的训练数据比例。必须在 0 和 1 之间。仅当 early_stopping 为 True 时使用。值必须在范围(0.0, 1.0)内。

0.20 版本新增：新增 ‘validation_fraction’ 选项

n_iter_no_changeint，默认为 5

在停止拟合之前等待的无改进迭代次数。根据 early_stopping 参数，收敛性将针对训练损失或验证损失进行检查。整数值必须在范围[1, max_iter)内。

0.20 版本新增： 新增 ‘n_iter_no_change’ 选项

class_weightdict, {class_label: weight} 或 “balanced”, 默认=None

class_weight拟合参数的预设值。

与类别相关的权重。如果没有给出，则所有类别的权重都假定为 1。

“balanced” 模式使用 y 的值来自动调整权重，使其与输入数据中类别的频率成反比，计算方式为 n_samples / (n_classes * np.bincount(y))。

warm_startbool, 默认=False

设置为 True 时，复用之前调用 fit 的解作为初始化，否则，清除之前的解。参见 词汇表。

当 warm_start 为 True 时，重复调用 fit 或 partial_fit 可能导致与单次调用 fit 不同的解，这是因为数据洗牌的方式。如果使用动态学习率，则学习率会根据已查看的样本数量进行调整。调用 fit 会重置此计数器，而 partial_fit 将导致增加现有计数器。

averagebool 或 int, 默认=False

设置为 True 时，计算所有更新中平均的 SGD 权重，并将结果存储在 coef_ 属性中。如果设置为大于 1 的整数，则一旦看到的样本总数达到 average，就会开始平均。因此，average=10 将在看到 10 个样本后开始平均。整数值必须在 [1, n_samples] 范围内。

属性：

coef_如果 n_classes == 2，则形状为 (1, n_features) 的 ndarray；否则为 (n_classes, n_features)

分配给特征的权重。

intercept_如果 n_classes == 2，则形状为 (1,) 的 ndarray；否则为 (n_classes,)

决策函数中的常数。

n_iter_int

达到停止条件之前的实际迭代次数。对于多类别拟合，它是每个二元拟合的最大值。

classes_形状为 (n_classes,) 的数组

t_int

训练期间执行的权重更新次数。与 (n_iter_ * n_samples + 1) 相同。

n_features_in_int

在 拟合 过程中看到的特征数量。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 拟合 过程中看到的特征名称。仅当 X 的特征名称全部为字符串时才定义。

1.0 版本新增。

另请参阅

sklearn.svm.LinearSVC

线性支持向量机分类。

LogisticRegression

逻辑回归。

Perceptron

继承自 SGDClassifier。 Perceptron() 等效于 SGDClassifier(loss="perceptron", eta0=1, learning_rate="constant", penalty=None)。

示例

>>> import numpy as np
>>> from sklearn.linear_model import SGDClassifier
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
>>> Y = np.array([1, 1, 2, 2])
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> clf = make_pipeline(StandardScaler(),
...                     SGDClassifier(max_iter=1000, tol=1e-3))
>>> clf.fit(X, Y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdclassifier', SGDClassifier())])
>>> print(clf.predict([[-0.8, -1]]))
[1]

decision_function(X)

预测样本的置信度分数。

样本的置信度分数与其到超平面的带符号距离成正比。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

我们想要获取置信度分数的数据矩阵。

返回：

scores形状为 (n_samples,) 或 (n_samples, n_classes) 的 ndarray

每个 (n_samples, n_classes) 组合的置信度分数。在二元情况下，self.classes_[1] 的置信度分数，其中 >0 表示将预测此类。

densify()

将系数矩阵转换为密集数组格式。

将 coef_ 成员（转换）回 numpy.ndarray。这是 coef_ 的默认格式，并且拟合需要此格式，因此仅需在先前已稀疏化的模型上调用此方法；否则，它是一个无操作。

返回：

self

已拟合的估计器。

fit(X, y, coef_init=None, intercept_init=None, sample_weight=None)

使用随机梯度下降拟合线性模型。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

训练数据。

y形状为 (n_samples,) 的 ndarray

目标值。

coef_init形状为 (n_classes, n_features) 的 ndarray，默认=None

用于预热启动优化的初始系数。

intercept_init形状为 (n_classes,) 的 ndarray，默认=None

用于预热启动优化的初始截距。

sample_weight数组，形状为 (n_samples,)，默认=None

应用于单个样本的权重。如果未提供，则假定为均匀权重。如果指定了class_weight（通过构造函数传递），则这些权重将与class_weight相乘。

返回：

self对象

返回 self 的一个实例。

get_metadata_routing()

获取此对象的元数据路由。

请查看 用户指南，了解路由机制的工作原理。

返回：

routingMetadataRequest

一个 MetadataRequest 封装路由信息。

get_params(deep=True)

获取此估计器的参数。

参数：

deepbool，默认为 True

如果为 True，则将返回此估计器和包含的作为估计器的子对象的参数。

返回：

paramsdict

参数名称映射到其值。

partial_fit(X, y, classes=None, sample_weight=None)

对给定样本执行一次随机梯度下降。

内部，此方法使用 max_iter = 1。因此，不能保证在调用一次后达到成本函数的最小值。诸如目标收敛、提前停止和学习率调整等问题应由用户处理。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

训练数据的子集。

y形状为 (n_samples,) 的 ndarray

目标值的子集。

classes形状为 (n_classes,) 的 ndarray，默认为 None

对所有对 partial_fit 的调用中的类。可以通过 np.unique(y_all) 获取，其中 y_all 是整个数据集的目标向量。此参数对于第一次调用 partial_fit 是必需的，在随后的调用中可以省略。请注意，y 不需要包含 classes 中的所有标签。

sample_weight数组，形状为 (n_samples,)，默认=None

应用于单个样本的权重。如果未提供，则假定为均匀权重。

返回：

self对象

返回 self 的一个实例。

predict(X)

预测 X 中样本的类标签。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

我们要获取预测结果的数据矩阵。

返回：

y_pred形状为 (n_samples,) 的 ndarray

包含每个样本的类标签的向量。

predict_log_proba(X)

概率估计的对数。

此方法仅适用于对数损失和修改后的 Huber 损失。

当 loss=”modified_huber” 时，概率估计可能是硬零和一，因此无法取对数。

有关详细信息，请参阅 predict_proba。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

用于预测的输入数据。

返回：

T类数组，形状为 (n_samples, n_classes)

返回模型中每个类的样本的对数概率，其中类按 self.classes_ 中的顺序排列。

predict_proba(X)

概率估计。

此方法仅适用于对数损失和修改后的 Huber 损失。

多类概率估计是通过简单的归一化从二元（一对多）估计推导出来的，正如 Zadrozny 和 Elkan 建议的那样。

对于 loss=”modified_huber”，二元概率估计由 (clip(decision_function(X), -1, 1) + 1) / 2 给出。对于其他损失函数，需要使用 CalibratedClassifierCV 包装分类器来进行正确的概率校准。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

用于预测的输入数据。

返回：

形状为 (n_samples, n_classes) 的 ndarray

返回模型中每个类的样本的概率，其中类按 self.classes_ 中的顺序排列。

参考文献

Zadrozny 和 Elkan，“将分类器分数转换为多类概率估计”，SIGKDD’02，https://dl.acm.org/doi/pdf/10.1145/775047.775151

loss=”modified_huber” 案例中公式的理由在附录 B 中：http://jmlr.csail.mit.edu/papers/volume2/zhang02c/zhang02c.pdf

score(X, y, sample_weight=None)

返回给定测试数据和标签上的平均准确率。

在多标签分类中，这是子集准确率，这是一个严格的指标，因为您要求每个样本的每个标签集都必须被正确预测。

参数：

X形状为 (n_samples, n_features) 的类数组

测试样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实标签。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。

返回：

score浮点数

self.predict(X) 相对于 y 的平均准确率。

set_fit_request(*, coef_init: bool | None | str = '$UNCHANGED$', intercept_init: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → SGDClassifier

向fit方法请求传递的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config），此方法才相关。请参阅用户指南了解路由机制的工作原理。

每个参数的选项为：

• True：请求元数据，如果提供则将其传递给fit。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给fit。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。

版本1.3中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline中使用）时，此方法才相关。否则，它没有任何作用。

参数：

coef_initstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit中的coef_init参数的元数据路由。

intercept_initstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit中的intercept_init参数的元数据路由。

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit中的sample_weight参数的元数据路由。

返回：

self对象

更新后的对象。

set_params(**params)

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如Pipeline）。后者具有<component>__<parameter>形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**paramsdict

估计器参数。

返回：

self估计器实例

估计器实例。

set_partial_fit_request(*, classes: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → SGDClassifier

请求传递到partial_fit方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config），此方法才相关。请参阅用户指南了解路由机制的工作原理。

每个参数的选项为：

• True：请求元数据，如果提供则传递给partial_fit。如果未提供元数据，则忽略该请求。

• False：不请求元数据，元估计器不会将其传递给partial_fit。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。

版本1.3中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline中使用）时，此方法才相关。否则，它没有任何作用。

参数：

classesstr, True, False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

partial_fit 方法中 classes 参数的元数据路由。

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

partial_fit 方法中 sample_weight 参数的元数据路由。

返回：

self对象

更新后的对象。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → SGDClassifier

请求传递到score方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config），此方法才相关。请参阅用户指南了解路由机制的工作原理。

每个参数的选项为：

• True：请求元数据，如果提供则传递给score。如果未提供元数据，则忽略该请求。

• False：不请求元数据，元估计器不会将其传递给score。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。

版本1.3中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline中使用）时，此方法才相关。否则，它没有任何作用。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回：

self对象

更新后的对象。

sparsify()

将系数矩阵转换为稀疏格式。

将coef_成员转换为 scipy.sparse 矩阵，对于 L1 正则化模型，这比通常的 numpy.ndarray 表示方式更节省内存和存储空间。

intercept_成员不会被转换。

返回：

self

已拟合的估计器。

备注

对于非稀疏模型，即当coef_中零元素不多时，这实际上可能会增加内存使用量，因此请谨慎使用此方法。一个经验法则是，零元素的数量（可以使用(coef_ == 0).sum()计算）必须超过 50%，才能获得显著的益处。

调用此方法后，除非调用 densify，否则将无法使用 partial_fit 方法进行进一步拟合。

图库示例

scikit-learn 1.6 版本亮点

scikit-learn 1.6 版本亮点

模型复杂度影响

模型复杂度影响

文本文档的核外分类

文本文档的核外分类

比较各种在线求解器

比较各种在线求解器

随机梯度下降的提前停止

随机梯度下降的提前停止

在 iris 数据集上绘制多类别 SGD

在 iris 数据集上绘制多类别 SGD

SGD：最大间隔分离超平面

SGD：最大间隔分离超平面

SGD：惩罚项

SGD：惩罚项

SGD：加权样本

SGD：加权样本

SGD：凸损失函数

SGD：凸损失函数

RBF 核的显式特征映射近似

RBF 核的显式特征映射近似

比较用于超参数估计的随机搜索和网格搜索

比较用于超参数估计的随机搜索和网格搜索

文本数据集上的半监督分类

文本数据集上的半监督分类

使用稀疏特征对文本文档进行分类

使用稀疏特征对文本文档进行分类