随机梯度下降分类器#
- class sklearn.linear_model.SGDClassifier(loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)[source]#
使用SGD训练的线性分类器(SVM、逻辑回归等)。
此估计器使用随机梯度下降 (SGD) 学习实现正则化线性模型:每次损失的梯度都通过一个样本估计,并且模型会随着递减的强度调度(又称学习率)进行更新。SGD 通过
partial_fit
方法允许使用小批量(在线/核心外)学习。为了获得最佳结果并使用默认学习率调度,数据应该具有零均值和单位方差。此实现适用于以浮点值的密集或稀疏数组表示的数据特征。它拟合的模型可以用损失参数控制;默认情况下,它拟合线性支持向量机 (SVM)。
正则化器是添加到损失函数的惩罚项,它使用欧几里德平方范数 L2 或绝对范数 L1 或两者的组合(弹性网络)将模型参数缩小到零向量。如果由于正则化器,参数更新超过 0.0 值,则更新将截断为 0.0,以允许学习稀疏模型并实现在线特征选择。
在用户指南中了解更多信息。
- 参数:
- loss{‘hinge’, ‘log_loss’, ‘modified_huber’, ‘squared_hinge’, ‘perceptron’, ‘squared_error’, ‘huber’, ‘epsilon_insensitive’, ‘squared_epsilon_insensitive’}, default=’hinge’
要使用的损失函数。
‘hinge’ 提供线性 SVM。
‘log_loss’ 提供逻辑回归,一种概率分类器。
‘modified_huber’ 是另一种平滑损失,它对异常值和概率估计都具有容忍度。
‘squared_hinge’ 与 hinge 类似,但采用二次惩罚。
‘perceptron’ 是感知器算法使用的线性损失。
其他损失,‘squared_error’,‘huber’,‘epsilon_insensitive’ 和 ‘squared_epsilon_insensitive’ 旨在用于回归,但也可能用于分类;有关说明,请参见
SGDRegressor
。
- penalty{‘l2’, ‘l1’, ‘elasticnet’, None}, default=’l2’
要使用的惩罚项(又称正则化项)。默认为 ‘l2’,这是线性 SVM 模型的标准正则化器。‘l1’ 和 ‘elasticnet’ 可能会使模型产生稀疏性(特征选择),而 ‘l2’ 则无法实现。设置为
None
时,不添加惩罚项。您可以在SGD:惩罚项中看到惩罚项的可视化。
- alphafloat, default=0.0001
乘以正则化项的常数。值越高,正则化越强。当
learning_rate
设置为 ‘optimal’ 时,也用于计算学习率。值必须在[0.0, inf)
范围内。- l1_ratiofloat, default=0.15
弹性网络混合参数,其中 0 <= l1_ratio <= 1。l1_ratio=0 对应于 L2 惩罚,l1_ratio=1 对应于 L1。仅当
penalty
为 ‘elasticnet’ 时才使用。值必须在[0.0, 1.0]
范围内。- fit_interceptbool, default=True
是否估计截距。如果为 False,则假定数据已中心化。
- max_iterint,默认为 1000
训练数据最大迭代次数(又称 epochs)。它只影响
fit
方法的行为,而不影响partial_fit
方法。值必须在范围[1, inf)
内。0.19 版本新增。
- tolfloat 或 None,默认为 1e-3
停止标准。如果它不是 None,则当连续
n_iter_no_change
个 epochs 的 (loss > best_loss - tol) 时,训练将停止。根据early_stopping
参数,收敛性将针对训练损失或验证损失进行检查。值必须在范围[0.0, inf)
内。0.19 版本新增。
- shufflebool,默认为 True
每次 epoch 后是否应打乱训练数据。
- verboseint,默认为 0
详细程度。值必须在范围
[0, inf)
内。- epsilonfloat,默认为 0.1
epsilon 不敏感损失函数中的 epsilon;仅当
loss
为 ‘huber’,‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 时适用。对于 ‘huber’,它确定变得不那么重要以精确预测的阈值。对于 epsilon 不敏感,如果当前预测与正确标签之间的任何差异小于此阈值,则将忽略这些差异。值必须在范围[0.0, inf)
内。- n_jobsint,默认为 None
用于执行 OVA(一对多,用于多类问题)计算的 CPU 数量。
None
表示 1,除非在joblib.parallel_backend
上下文中。-1
表示使用所有处理器。更多详情请参见词汇表。- random_stateint,RandomState 实例,默认为 None
当
shuffle
设置为True
时,用于打乱数据。传递一个整数以在多次函数调用中获得可重复的输出。参见词汇表。整数值必须在范围[0, 2**32 - 1]
内。- learning_ratestr,默认为 ‘optimal’
学习率调度
‘constant’:
eta = eta0
‘optimal’:
eta = 1.0 / (alpha * (t + t0))
,其中t0
由 Leon Bottou 提出的启发式方法选择。‘invscaling’:
eta = eta0 / pow(t, power_t)
‘adaptive’:
eta = eta0
,只要训练持续下降。每次连续n_iter_no_change
个 epochs 未能使训练损失减少 tol 或未能使验证分数增加 tol(如果early_stopping
为True
),当前学习率将除以 5。
0.20 版本新增:新增 ‘adaptive’ 选项。
- eta0float,默认为 0.0
‘constant’,‘invscaling’ 或 ‘adaptive’ 调度的初始学习率。默认值为 0.0,因为默认调度 ‘optimal’ 不使用 eta0。值必须在范围
[0.0, inf)
内。- power_tfloat,默认为 0.5
逆缩放学习率的指数。值必须在范围
(-inf, inf)
内。- early_stoppingbool,默认为 False
是否使用提前停止,当验证分数没有提高时终止训练。如果设置为
True
,它将自动将训练数据的一个分层部分留作验证,并在score
方法返回的验证分数连续n_iter_no_change
个 epochs 没有提高至少 tol 时终止训练。有关提前停止效果的示例,请参见随机梯度下降的提前停止。
0.20 版本新增:新增 ‘early_stopping’ 选项
- validation_fractionfloat,默认为 0.1
留作提前停止验证集的训练数据比例。必须在 0 和 1 之间。仅当
early_stopping
为 True 时使用。值必须在范围(0.0, 1.0)
内。0.20 版本新增:新增 ‘validation_fraction’ 选项
- n_iter_no_changeint,默认为 5
在停止拟合之前等待的无改进迭代次数。根据
early_stopping
参数,收敛性将针对训练损失或验证损失进行检查。整数值必须在范围[1, max_iter)
内。0.20 版本新增: 新增 ‘n_iter_no_change’ 选项
- class_weightdict, {class_label: weight} 或 “balanced”, 默认=None
class_weight拟合参数的预设值。
与类别相关的权重。如果没有给出,则所有类别的权重都假定为 1。
“balanced” 模式使用 y 的值来自动调整权重,使其与输入数据中类别的频率成反比,计算方式为
n_samples / (n_classes * np.bincount(y))
。- warm_startbool, 默认=False
设置为 True 时,复用之前调用 fit 的解作为初始化,否则,清除之前的解。参见 词汇表。
当 warm_start 为 True 时,重复调用 fit 或 partial_fit 可能导致与单次调用 fit 不同的解,这是因为数据洗牌的方式。如果使用动态学习率,则学习率会根据已查看的样本数量进行调整。调用
fit
会重置此计数器,而partial_fit
将导致增加现有计数器。- averagebool 或 int, 默认=False
设置为
True
时,计算所有更新中平均的 SGD 权重,并将结果存储在coef_
属性中。如果设置为大于 1 的整数,则一旦看到的样本总数达到average
,就会开始平均。因此,average=10
将在看到 10 个样本后开始平均。整数值必须在[1, n_samples]
范围内。
- 属性:
- coef_如果 n_classes == 2,则形状为 (1, n_features) 的 ndarray;否则为 (n_classes, n_features)
分配给特征的权重。
- intercept_如果 n_classes == 2,则形状为 (1,) 的 ndarray;否则为 (n_classes,)
决策函数中的常数。
- n_iter_int
达到停止条件之前的实际迭代次数。对于多类别拟合,它是每个二元拟合的最大值。
- classes_形状为 (n_classes,) 的数组
- t_int
训练期间执行的权重更新次数。与
(n_iter_ * n_samples + 1)
相同。- n_features_in_int
在 拟合 过程中看到的特征数量。
0.24 版本新增。
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在 拟合 过程中看到的特征名称。仅当
X
的特征名称全部为字符串时才定义。1.0 版本新增。
另请参阅
sklearn.svm.LinearSVC
线性支持向量机分类。
LogisticRegression
逻辑回归。
Perceptron
继承自 SGDClassifier。
Perceptron()
等效于SGDClassifier(loss="perceptron", eta0=1, learning_rate="constant", penalty=None)
。
示例
>>> import numpy as np >>> from sklearn.linear_model import SGDClassifier >>> from sklearn.preprocessing import StandardScaler >>> from sklearn.pipeline import make_pipeline >>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]]) >>> Y = np.array([1, 1, 2, 2]) >>> # Always scale the input. The most convenient way is to use a pipeline. >>> clf = make_pipeline(StandardScaler(), ... SGDClassifier(max_iter=1000, tol=1e-3)) >>> clf.fit(X, Y) Pipeline(steps=[('standardscaler', StandardScaler()), ('sgdclassifier', SGDClassifier())]) >>> print(clf.predict([[-0.8, -1]])) [1]
- decision_function(X)[source]#
预测样本的置信度分数。
样本的置信度分数与其到超平面的带符号距离成正比。
- 参数:
- X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}
我们想要获取置信度分数的数据矩阵。
- 返回:
- scores形状为 (n_samples,) 或 (n_samples, n_classes) 的 ndarray
每个
(n_samples, n_classes)
组合的置信度分数。在二元情况下,self.classes_[1]
的置信度分数,其中 >0 表示将预测此类。
- densify()[source]#
将系数矩阵转换为密集数组格式。
将
coef_
成员(转换)回 numpy.ndarray。这是coef_
的默认格式,并且拟合需要此格式,因此仅需在先前已稀疏化的模型上调用此方法;否则,它是一个无操作。- 返回:
- self
已拟合的估计器。
- fit(X, y, coef_init=None, intercept_init=None, sample_weight=None)[source]#
使用随机梯度下降拟合线性模型。
- 参数:
- X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}
训练数据。
- y形状为 (n_samples,) 的 ndarray
目标值。
- coef_init形状为 (n_classes, n_features) 的 ndarray,默认=None
用于预热启动优化的初始系数。
- intercept_init形状为 (n_classes,) 的 ndarray,默认=None
用于预热启动优化的初始截距。
- sample_weight数组,形状为 (n_samples,),默认=None
应用于单个样本的权重。如果未提供,则假定为均匀权重。如果指定了class_weight(通过构造函数传递),则这些权重将与class_weight相乘。
- 返回:
- self对象
返回 self 的一个实例。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查看 用户指南,了解路由机制的工作原理。
- 返回:
- routingMetadataRequest
一个
MetadataRequest
封装路由信息。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deepbool,默认为 True
如果为 True,则将返回此估计器和包含的作为估计器的子对象的参数。
- 返回:
- paramsdict
参数名称映射到其值。
- partial_fit(X, y, classes=None, sample_weight=None)[source]#
对给定样本执行一次随机梯度下降。
内部,此方法使用
max_iter = 1
。因此,不能保证在调用一次后达到成本函数的最小值。诸如目标收敛、提前停止和学习率调整等问题应由用户处理。- 参数:
- X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}
训练数据的子集。
- y形状为 (n_samples,) 的 ndarray
目标值的子集。
- classes形状为 (n_classes,) 的 ndarray,默认为 None
对所有对 partial_fit 的调用中的类。可以通过
np.unique(y_all)
获取,其中 y_all 是整个数据集的目标向量。此参数对于第一次调用 partial_fit 是必需的,在随后的调用中可以省略。请注意,y 不需要包含classes
中的所有标签。- sample_weight数组,形状为 (n_samples,),默认=None
应用于单个样本的权重。如果未提供,则假定为均匀权重。
- 返回:
- self对象
返回 self 的一个实例。
- predict(X)[source]#
预测 X 中样本的类标签。
- 参数:
- X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}
我们要获取预测结果的数据矩阵。
- 返回:
- y_pred形状为 (n_samples,) 的 ndarray
包含每个样本的类标签的向量。
- predict_log_proba(X)[source]#
概率估计的对数。
此方法仅适用于对数损失和修改后的 Huber 损失。
当 loss=”modified_huber” 时,概率估计可能是硬零和一,因此无法取对数。
有关详细信息,请参阅
predict_proba
。- 参数:
- X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}
用于预测的输入数据。
- 返回:
- T类数组,形状为 (n_samples, n_classes)
返回模型中每个类的样本的对数概率,其中类按
self.classes_
中的顺序排列。
- predict_proba(X)[source]#
概率估计。
此方法仅适用于对数损失和修改后的 Huber 损失。
多类概率估计是通过简单的归一化从二元(一对多)估计推导出来的,正如 Zadrozny 和 Elkan 建议的那样。
对于 loss=”modified_huber”,二元概率估计由 (clip(decision_function(X), -1, 1) + 1) / 2 给出。对于其他损失函数,需要使用
CalibratedClassifierCV
包装分类器来进行正确的概率校准。- 参数:
- X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}
用于预测的输入数据。
- 返回:
- 形状为 (n_samples, n_classes) 的 ndarray
返回模型中每个类的样本的概率,其中类按
self.classes_
中的顺序排列。
参考文献
Zadrozny 和 Elkan,“将分类器分数转换为多类概率估计”,SIGKDD’02,https://dl.acm.org/doi/pdf/10.1145/775047.775151
loss=”modified_huber” 案例中公式的理由在附录 B 中:http://jmlr.csail.mit.edu/papers/volume2/zhang02c/zhang02c.pdf
- score(X, y, sample_weight=None)[source]#
返回给定测试数据和标签上的平均准确率。
在多标签分类中,这是子集准确率,这是一个严格的指标,因为您要求每个样本的每个标签集都必须被正确预测。
- 参数:
- X形状为 (n_samples, n_features) 的类数组
测试样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
X
的真实标签。- sample_weight形状为 (n_samples,) 的类数组,默认为 None
样本权重。
- 返回:
- score浮点数
self.predict(X)
相对于y
的平均准确率。
- set_fit_request(*, coef_init: bool | None | str = '$UNCHANGED$', intercept_init: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') SGDClassifier [source]#
向
fit
方法请求传递的元数据。请注意,只有在
enable_metadata_routing=True
时(参见sklearn.set_config
),此方法才相关。请参阅用户指南了解路由机制的工作原理。每个参数的选项为:
True
:请求元数据,如果提供则将其传递给fit
。如果未提供元数据,则忽略请求。False
:不请求元数据,元估计器不会将其传递给fit
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:元数据应使用此给定的别名而不是原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。版本1.3中新增。
注意
仅当将此估计器用作元估计器的子估计器(例如,在
Pipeline
中使用)时,此方法才相关。否则,它没有任何作用。- 参数:
- coef_initstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
fit
中的coef_init
参数的元数据路由。- intercept_initstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
fit
中的intercept_init
参数的元数据路由。- sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
fit
中的sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。
- set_params(**params)[source]#
设置此估计器的参数。
此方法适用于简单的估计器以及嵌套对象(例如
Pipeline
)。后者具有<component>__<parameter>
形式的参数,因此可以更新嵌套对象的每个组件。- 参数:
- **paramsdict
估计器参数。
- 返回:
- self估计器实例
估计器实例。
- set_partial_fit_request(*, classes: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') SGDClassifier [source]#
请求传递到
partial_fit
方法的元数据。请注意,只有在
enable_metadata_routing=True
时(参见sklearn.set_config
),此方法才相关。请参阅用户指南了解路由机制的工作原理。每个参数的选项为:
True
:请求元数据,如果提供则传递给partial_fit
。如果未提供元数据,则忽略该请求。False
:不请求元数据,元估计器不会将其传递给partial_fit
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:元数据应使用此给定的别名而不是原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。版本1.3中新增。
注意
仅当将此估计器用作元估计器的子估计器(例如,在
Pipeline
中使用)时,此方法才相关。否则,它没有任何作用。- 参数:
- classesstr, True, False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
partial_fit
方法中classes
参数的元数据路由。- sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
partial_fit
方法中sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。
- set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') SGDClassifier [source]#
请求传递到
score
方法的元数据。请注意,只有在
enable_metadata_routing=True
时(参见sklearn.set_config
),此方法才相关。请参阅用户指南了解路由机制的工作原理。每个参数的选项为:
True
:请求元数据,如果提供则传递给score
。如果未提供元数据,则忽略该请求。False
:不请求元数据,元估计器不会将其传递给score
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:元数据应使用此给定的别名而不是原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。版本1.3中新增。
注意
仅当将此估计器用作元估计器的子估计器(例如,在
Pipeline
中使用)时,此方法才相关。否则,它没有任何作用。- 参数:
- sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
score
方法中sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。
- sparsify()[source]#
将系数矩阵转换为稀疏格式。
将
coef_
成员转换为 scipy.sparse 矩阵,对于 L1 正则化模型,这比通常的 numpy.ndarray 表示方式更节省内存和存储空间。intercept_
成员不会被转换。- 返回:
- self
已拟合的估计器。
备注
对于非稀疏模型,即当
coef_
中零元素不多时,这实际上可能会增加内存使用量,因此请谨慎使用此方法。一个经验法则是,零元素的数量(可以使用(coef_ == 0).sum()
计算)必须超过 50%,才能获得显著的益处。调用此方法后,除非调用 densify,否则将无法使用 partial_fit 方法进行进一步拟合。