逻辑回归交叉验证 (LogisticRegressionCV)

class sklearn.linear_model.LogisticRegressionCV(*, Cs=10, fit_intercept=True, cv=None, dual=False, penalty='l2', scoring=None, solver='lbfgs', tol=0.0001, max_iter=100, class_weight=None, n_jobs=None, verbose=0, refit=True, intercept_scaling=1.0, multi_class='deprecated', random_state=None, l1_ratios=None)

逻辑回归 CV（又称 logit，MaxEnt）分类器。

参见交叉验证估计器的词汇表条目。

此类使用 liblinear、newton-cg、sag 或 lbfgs 优化器实现逻辑回归。newton-cg、sag 和 lbfgs 求解器仅支持具有原始公式的 L2 正则化。liblinear 求解器支持 L1 和 L2 正则化，仅对 L2 惩罚使用对偶公式。弹性网络惩罚仅受 saga 求解器支持。

对于 Cs 值和 l1_ratios 值的网格，最佳超参数由交叉验证器StratifiedKFold 选择，但可以使用 cv 参数进行更改。'newton-cg'、'sag'、'saga' 和 'lbfgs' 求解器可以预热启动系数（参见词汇表）。

在用户指南中了解更多信息。

参数：

Csint 或 float 列表，默认为 10

Cs 中的每个值都描述了正则化强度的倒数。如果 Cs 是一个整数，则在 1e-4 和 1e4 之间的对数刻度上选择 Cs 值的网格。与支持向量机一样，较小的值指定更强的正则化。

fit_interceptbool，默认为 True

指定是否应将常数（又称偏差或截距）添加到决策函数中。

cvint 或交叉验证生成器，默认为 None

使用的默认交叉验证生成器是分层 K 折。如果提供整数，则它是使用的折叠数。有关可能的交叉验证对象的列表，请参见模块sklearn.model_selection。

0.22 版中的更改： 如果为 None，则 cv 的默认值从 3 折更改为 5 折。

dualbool，默认为 False

对偶（约束）或原始（正则化，另请参见此等式）公式。对偶公式仅针对 liblinear 求解器的 l2 惩罚实现。当 n_samples > n_features 时，最好使用 dual=False。

penalty{'l1'，'l2'，'elasticnet'}，默认为 'l2'

指定惩罚的范数

• 'l2'：添加 L2 惩罚项（默认使用）；

• 'l1'：添加 L1 惩罚项；

• 'elasticnet'：添加 L1 和 L2 惩罚项。

警告

某些惩罚可能不适用于某些求解器。请参见下面的 solver 参数，了解惩罚和求解器之间的兼容性。

scoringstr 或可调用对象，默认为 None

字符串（参见评分参数：定义模型评估规则）或具有签名 scorer(estimator, X, y) 的评分可调用对象/函数。有关可使用的评分函数列表，请查看sklearn.metrics。使用的默认评分选项是“准确性”。

solver{'lbfgs'，'liblinear'，'newton-cg'，'newton-cholesky'，'sag'，'saga'}，默认为 'lbfgs'

在优化问题中使用的算法。默认为 'lbfgs'。要选择求解器，您可能需要考虑以下方面：

• 对于小型数据集，'liblinear' 是一个不错的选择，而 'sag' 和 'saga' 对于大型数据集则更快；

• 对于多类问题，除 'liblinear' 之外的所有求解器都最小化完全多项式损失；

• 在LogisticRegressionCV中，'liblinear' 可能会较慢，因为它不处理预热启动。

• 默认情况下，'liblinear' 只能处理二元分类。要将一对多方案应用于多类设置，可以使用OneVsRestClassifier将其包装起来。

• 当n_samples >> n_features * n_classes时，‘newton-cholesky’ 是一个不错的选择，尤其是在使用独热编码的类别特征且存在稀有类别的情况下。需要注意的是，此求解器的内存使用量与n_features * n_classes的平方成正比，因为它会显式地计算完整的Hessian矩阵。

警告

算法的选择取决于所选择的惩罚项以及（多项式）多类别支持。

求解器	惩罚项	多项式多类别
‘lbfgs’	‘l2’	是
‘liblinear’	‘l1’, ‘l2’	否
‘newton-cg’	‘l2’	是
‘newton-cholesky’	‘l2’	否
‘sag’	‘l2’	是
‘saga’	‘elasticnet’, ‘l1’, ‘l2’	是

注意

‘sag’ 和 ‘saga’ 的快速收敛性仅在特征具有近似相同尺度的情况下才能保证。可以使用 sklearn.preprocessing 中的缩放器预处理数据。

0.17版本新增： 随机平均梯度下降求解器。

0.19版本新增： SAGA 求解器。

1.2版本新增： newton-cholesky 求解器。

tol浮点数，默认值=1e-4

停止标准的容差。

max_iter整数，默认值=100

优化算法的最大迭代次数。

class_weight字典或 ‘balanced’，默认值=None

与类别相关的权重，格式为 {class_label: weight}。如果未给出，则所有类别的权重都假定为1。

“balanced” 模式使用 y 的值自动调整权重，使其与输入数据中类别的频率成反比，计算方式为 n_samples / (n_classes * np.bincount(y))。

请注意，如果指定了 sample_weight（通过 fit 方法传递），则这些权重将与 sample_weight 相乘。

0.17版本新增： class_weight == ‘balanced’

n_jobs整数，默认值=None

交叉验证循环期间使用的 CPU 内核数。None 表示 1（除非在 joblib.parallel_backend 上下文中）。-1 表示使用所有处理器。更多详情请参见 词汇表。

verbose整数，默认值=0

对于 ‘liblinear’，‘sag’ 和 ‘lbfgs’ 求解器，将 verbose 设置为任何正数以显示详细信息。

refit布尔值，默认值=True

如果设置为 True，则分数将在所有折叠中取平均值，并采用与最佳分数对应的系数和 C，并使用这些参数进行最终重拟合。否则，将对与最佳分数对应的系数、截距和 C 取平均值。

intercept_scaling浮点数，默认值=1

仅当使用求解器 ‘liblinear’ 并将 self.fit_intercept 设置为 True 时才有用。在这种情况下，x 将变为 [x, self.intercept_scaling]，即一个常数值等于 intercept_scaling 的“合成”特征将附加到实例向量。截距将变为 intercept_scaling * synthetic_feature_weight。

注意！合成特征权重与所有其他特征一样，都受到 l1/l2 正则化的影响。为了减少正则化对合成特征权重（因此对截距）的影响，必须增加 intercept_scaling。

multi_class{'auto', 'ovr', 'multinomial'}，默认值='auto'

如果选择 'ovr' 选项，则将为每个标签拟合一个二元问题。对于 'multinomial'，即使数据是二元的，也要对整个概率分布进行多项式损失最小化。“multinomial” 在 solver='liblinear' 时不可用。“auto” 如果数据是二元的，或者如果 solver='liblinear'，则选择 'ovr'，否则选择 'multinomial'。

0.18版本新增： 用于 'multinomial' 案例的随机平均梯度下降求解器。

0.22版本变更： 在 0.22 中，默认值从 'ovr' 更改为 'auto'。

自1.5版本起已弃用： multi_class 在 1.5 版本中已弃用，并将从 1.7 版本中移除。从那时起，对于 n_classes >= 3，推荐使用 'multinomial'。不支持 'multinomial' 的求解器将引发错误。如果您仍然想使用 OvR，请使用 sklearn.multiclass.OneVsRestClassifier(LogisticRegressionCV())。

random_state整数、RandomState 实例，默认值=None

当 solver='sag'、'saga' 或 'liblinear' 时用于对数据进行洗牌。请注意，这只适用于求解器，而不适用于交叉验证生成器。详情请参见 词汇表。

l1_ratios浮点数列表，默认值=None

弹性网络混合参数的列表，其中 0 <= l1_ratio <= 1。仅当 penalty='elasticnet' 时使用。值为 0 等效于使用 penalty='l2'，而值为 1 等效于使用 penalty='l1'。对于 0 < l1_ratio <1，惩罚项是 L1 和 L2 的组合。

属性：

classes_形状为 (n_classes,) 的 ndarray

分类器已知的类别标签列表。

coef_形状为 (1, n_features) 或 (n_classes, n_features) 的 ndarray

决策函数中特征的系数。

当给定问题是二元问题时，coef_ 的形状为 (1, n_features)。

intercept_形状为 (1,) 或 (n_classes,) 的 ndarray

添加到决策函数中的截距（也称为偏差）。

如果将fit_intercept设置为False，则截距设置为零。intercept_在问题是二元分类时形状为(1,)。

Cs_形状为 (n_cs) 的ndarray

用于交叉验证的C数组，即正则化参数值的倒数。

l1_ratios_形状为 (n_l1_ratios) 的ndarray

用于交叉验证的l1_ratios数组。如果未使用l1_ratio（即惩罚项不是'elasticnet'），则将其设置为[None]。

coefs_paths_形状为 (n_folds, n_cs, n_features) 或 (n_folds, n_cs, n_features + 1) 的ndarray

字典，键为类别，值为在交叉验证期间获得的系数路径，该路径遍历每个fold，然后在对相应类别进行OvR后遍历每个Cs。如果'multi_class'选项设置为'multinomial'，则coefs_paths是对应于每个类别的系数。每个字典值形状为(n_folds, n_cs, n_features)或(n_folds, n_cs, n_features + 1)，这取决于是否拟合截距。如果penalty='elasticnet'，则形状为(n_folds, n_cs, n_l1_ratios_, n_features)或(n_folds, n_cs, n_l1_ratios_, n_features + 1)。

scores_字典

字典，键为类别，值为在对相应类别进行OvR后，在交叉验证每个fold期间获得的分数网格。如果给定的'multi_class'选项为'multinomial'，则所有类别中的分数都相同，因为这是多项式类别。每个字典值的形状为(n_folds, n_cs)或如果penalty='elasticnet'，则为(n_folds, n_cs, n_l1_ratios)。

C_形状为 (n_classes,) 或 (n_classes - 1,) 的ndarray

C数组，映射到每个类别中最佳分数。如果将refit设置为False，则对于每个类别，最佳C是对应于每个fold的最佳分数的C的平均值。C_在问题是二元分类时形状为(n_classes,)。

l1_ratio_形状为 (n_classes,) 或 (n_classes - 1,) 的ndarray

l1_ratio数组，映射到每个类别中最佳分数。如果将refit设置为False，则对于每个类别，最佳l1_ratio是对应于每个fold的最佳分数的l1_ratio的平均值。l1_ratio_在问题是二元分类时形状为(n_classes,)。

n_iter_形状为 (n_classes, n_folds, n_cs) 或 (1, n_folds, n_cs) 的ndarray

所有类别、fold和Cs的实际迭代次数。在二元或多项式情况下，第一维等于1。如果penalty='elasticnet'，则形状为(n_classes, n_folds, n_cs, n_l1_ratios)或(1, n_folds, n_cs, n_l1_ratios)。

n_features_in_整数

在拟合期间看到的特征数量。

在0.24版本中添加。

feature_names_in_形状为 (n_features_in_,) 的ndarray

在拟合期间看到的特征名称。仅当X具有全是字符串的特征名称时才定义。

在1.0版本中添加。

另请参见

LogisticRegression

不调整超参数C的逻辑回归。

示例

>>> from sklearn.datasets import load_iris
>>> from sklearn.linear_model import LogisticRegressionCV
>>> X, y = load_iris(return_X_y=True)
>>> clf = LogisticRegressionCV(cv=5, random_state=0).fit(X, y)
>>> clf.predict(X[:2, :])
array([0, 0])
>>> clf.predict_proba(X[:2, :]).shape
(2, 3)
>>> clf.score(X, y)
0.98...

decision_function(X)

预测样本的置信度分数。

样本的置信度分数与该样本到超平面的带符号距离成正比。

参数：

X形状为 (n_samples, n_features) 的{数组型，稀疏矩阵}

我们想要获取置信度分数的数据矩阵。

返回:

scores形状为 (n_samples,) 或 (n_samples, n_classes) 的ndarray

每个(n_samples, n_classes)组合的置信度分数。在二元情况下，self.classes_[1]的置信度分数，其中>0表示将预测此类别。

densify()

将系数矩阵转换为密集数组格式。

将coef_成员（返回）转换为numpy.ndarray。这是coef_的默认格式，并且是拟合所必需的，因此只有在以前已将模型稀疏化后才需要调用此方法；否则，它是一个无操作。

返回:

self

已拟合的估计器。

fit(X, y, sample_weight=None, **params)

根据给定的训练数据拟合模型。

参数：

X形状为 (n_samples, n_features) 的{数组型，稀疏矩阵}

训练向量，其中n_samples是样本数，n_features是特征数。

y形状为 (n_samples,) 的类数组

相对于 X 的目标向量。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

分配给各个样本的权重数组。如果未提供，则每个样本的权重为 1。

**paramsdict

传递给底层分割器和评分器的参数。

1.4 版本新增。

返回:

self对象

已拟合的 LogisticRegressionCV 估计器。

get_metadata_routing()

获取此对象的元数据路由。

请查看 用户指南，了解路由机制的工作原理。

1.4 版本新增。

返回:

routingMetadataRouter

一个 MetadataRouter，封装了路由信息。

get_params(deep=True)

获取此估计器的参数。

参数：

deepbool，默认值=True

如果为 True，则将返回此估计器以及其中包含的作为估计器的子对象的的参数。

返回:

paramsdict

参数名称与其值的映射。

predict(X)

预测 X 中样本的类别标签。

参数：

X形状为 (n_samples, n_features) 的{数组型，稀疏矩阵}

我们要获取预测结果的数据矩阵。

返回:

y_pred形状为 (n_samples,) 的 ndarray

包含每个样本类别标签的向量。

predict_log_proba(X)

预测概率估计的对数。

所有类别的返回估计值按类别的标签排序。

参数：

X形状为 (n_samples, n_features) 的类数组

要评分的向量，其中 n_samples 是样本数，n_features 是特征数。

返回:

T形状为 (n_samples, n_classes) 的类数组

返回模型中每个类别的样本对数概率，类别按 self.classes_ 中的顺序排列。

predict_proba(X)

概率估计。

所有类别的返回估计值按类别的标签排序。

对于多类别问题，如果 multi_class 设置为“multinomial”，则使用 softmax 函数查找每个类别的预测概率。否则，使用一对多方法，即使用逻辑函数计算每个类别（假设其为正类）的概率，并对所有类别的这些值进行归一化。

参数：

X形状为 (n_samples, n_features) 的类数组

要评分的向量，其中 n_samples 是样本数，n_features 是特征数。

返回:

T形状为 (n_samples, n_classes) 的类数组

返回模型中每个类别的样本概率，类别按 self.classes_ 中的顺序排列。

score(X, y, sample_weight=None, **score_params)

使用给定测试数据和标签上的 scoring 选项进行评分。

参数：

X形状为 (n_samples, n_features) 的类数组

测试样本。

y形状为 (n_samples,) 的类数组

X 的真实标签。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

样本权重。

**score_paramsdict

传递给底层评分器的 score 方法的参数。

1.4 版本新增。

返回:

scorefloat

self.predict(X) 关于 y 的得分。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → LogisticRegressionCV

传递给fit方法的元数据请求。

请注意，此方法仅在enable_metadata_routing=True时才相关（参见sklearn.set_config）。有关路由机制的工作原理，请参见用户指南。

每个参数的选项：

• True：请求元数据，如果提供则传递给fit。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给fit。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而无需更改其他参数的请求。

版本 1.3 中新增。

注意

仅当此估计器用作元估计器的子估计器（例如，在Pipeline内部使用）时，此方法才相关。否则，它无效。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit 中sample_weight参数的元数据路由。

返回:

self对象

更新后的对象。

set_params(**params)

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如Pipeline）。后者具有<component>__<parameter>形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**paramsdict

估计器参数。

返回:

self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → LogisticRegressionCV

传递给score方法的元数据请求。

请注意，此方法仅在enable_metadata_routing=True时才相关（参见sklearn.set_config）。有关路由机制的工作原理，请参见用户指南。

每个参数的选项：

• True：请求元数据，如果提供则传递给score。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给score。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而无需更改其他参数的请求。

版本 1.3 中新增。

注意

仅当此估计器用作元估计器的子估计器（例如，在Pipeline内部使用）时，此方法才相关。否则，它无效。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

score 中sample_weight参数的元数据路由。

返回:

self对象

更新后的对象。

sparsify()

将系数矩阵转换为稀疏格式。

将coef_成员转换为 scipy.sparse 矩阵，对于 L1 正则化模型，这比通常的 numpy.ndarray 表示更节省内存和存储空间。

intercept_成员不会被转换。

返回:

self

已拟合的估计器。

备注

对于非稀疏模型，即当coef_中没有很多零时，这实际上可能会增加内存使用量，因此请谨慎使用此方法。一个经验法则是，零元素的数量（可以使用(coef_ == 0).sum()计算）必须超过 50%，才能提供显著的益处。

调用此方法后，使用 partial_fit 方法（如果有）进行进一步拟合将无法工作，直到您调用 densify。

图库示例

分类器校准的比较

分类器校准的比较

特征缩放的重要性

特征缩放的重要性