岭回归#

class sklearn.linear_model.Ridge(alpha=1.0, *, fit_intercept=True, copy_X=True, max_iter=None, tol=0.0001, solver='auto', positive=False, random_state=None)[source]#

具有 l2 正则化的线性最小二乘。

最小化目标函数

||y - Xw||^2_2 + alpha * ||w||^2_2

该模型解决了一个回归问题，其中损失函数是线性最小二乘函数，正则化由L2范数给出。它也被称为岭回归（Ridge Regression）或吉洪诺夫正则化（Tikhonov regularization）。此估计器内置支持多变量回归（即，当y是一个形状为(n_samples, n_targets)的二维数组时）。

在用户指南中阅读更多内容。

参数:

alpha浮点型或形状为 (n_targets,) 的类数组对象，默认值=1.0

L2 项的乘数常数，用于控制正则化强度。alpha 必须是非负浮点数，即在 [0, inf) 范围内。

当 alpha = 0 时，目标函数等同于普通最小二乘法，由 LinearRegression 对象求解。出于数值原因，不建议在 Ridge 对象中使用 alpha = 0。相反，您应该使用 LinearRegression 对象。

如果传入一个数组，则惩罚项被假定为特定于每个目标。因此它们的数量必须对应。

参见作为L2正则化函数的岭回归系数以了解 alpha 对模型系数影响的图示。

fit_interceptbool, default=True

是否为该模型拟合截距。如果设置为 False，则计算中不使用截距（即，X 和 y 预期为中心化的）。

copy_Xbool, default=True

如果为 True，X 将被复制；否则，它可能会被覆盖。

max_iterint, default=None

共轭梯度求解器的最大迭代次数。对于 ‘sparse_cg’ 和 ‘lsqr’ 求解器，默认值由 scipy.sparse.linalg 确定。对于 ‘sag’ 求解器，默认值为 1000。对于 ‘lbfgs’ 求解器，默认值为 15000。

tolfloat, default=1e-4

解（coef_）的精度由 tol 决定，tol 为每个求解器指定了不同的收敛标准。

‘svd’：tol 没有影响。
‘cholesky’：tol 没有影响。
‘sparse_cg’：残差范数小于 tol。
‘lsqr’：tol 设置为 scipy.sparse.linalg.lsqr 的 atol 和 btol，它们控制残差向量相对于矩阵和系数范数的范数。
‘sag’ 和 ‘saga’：系数的相对变化小于 tol。
‘lbfgs’：绝对（投影）梯度的最大值 = max|residuals| 小于 tol。

版本1.2中更改：默认值从1e-3更改为1e-4，以便与其他线性模型保持一致。

solver{‘auto’, ‘svd’, ‘cholesky’, ‘lsqr’, ‘sparse_cg’, ‘sag’, ‘saga’, ‘lbfgs’}, default=’auto’

计算例程中使用的求解器

‘auto’根据数据类型自动选择求解器。
‘svd’使用X的奇异值分解来计算岭系数。它是最稳定的求解器，对于奇异矩阵比‘cholesky’更稳定，代价是速度较慢。
‘cholesky’ 使用标准 scipy.linalg.solve 函数来获得闭式解。
‘sparse_cg’ 使用在 scipy.sparse.linalg.cg 中找到的共轭梯度求解器。作为一种迭代算法，该求解器比 ‘cholesky’ 更适合大规模数据（可以设置 tol 和 max_iter）。
‘lsqr’ 使用专用的正则化最小二乘例程 scipy.sparse.linalg.lsqr。它是最快的并且使用迭代过程。
‘sag’ 使用随机平均梯度下降法，而 ‘saga’ 使用其改进的、无偏版本 SAGA。这两种方法也使用迭代过程，并且当 n_samples 和 n_features 都很大时，通常比其他求解器更快。请注意，‘sag’ 和 ‘saga’ 的快速收敛仅在具有大致相同尺度的特征上得到保证。您可以使用 sklearn.preprocessing 中的 scaler 对数据进行预处理。
‘lbfgs’ 使用在 scipy.optimize.minimize 中实现的 L-BFGS-B 算法。它只能在 positive 为 True 时使用。

除 ‘svd’ 外的所有求解器都支持密集数据和稀疏数据。但是，当 fit_intercept 为 True 时，只有 ‘lsqr’、‘sag’、‘sparse_cg’ 和 ‘lbfgs’ 支持稀疏输入。

版本0.17中新增：随机平均梯度下降求解器。

版本0.19中新增：SAGA求解器。

positivebool, default=False

当设置为True时，强制系数为正数。在这种情况下仅支持‘lbfgs’求解器。

random_stateint, RandomState instance, default=None

当solver == ‘sag’或‘saga’时用于打乱数据。有关详细信息，请参阅词汇表。

版本 0.17 新增：random_state 以支持随机平均梯度。

属性:

coef_ndarray of shape (n_features,) or (n_targets, n_features): 权重向量。
intercept_float or ndarray of shape (n_targets,): 决策函数中的独立项。如果fit_intercept = False，则设置为0.0。
n_iter_None 或形状为 (n_targets,) 的 ndarray: 每个目标的实际迭代次数。仅适用于 ‘sag’ 和 ‘lsqr’ 求解器。其他求解器将返回 None。

版本0.17中新增。
n_features_in_int: 在拟合期间看到的特征数。

0.24 版本新增。
feature_names_in_shape 为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。
solver_str: 计算例程在拟合时使用的求解器。

1.5 版本新增。

另请参阅

RidgeClassifier: 岭分类器。
RidgeCV: 具有内置交叉验证的岭回归。
KernelRidge: 核岭回归结合了岭回归和核技巧。

注意事项

正则化改善了问题的条件性并降低了估计的方差。值越大表示正则化越强。Alpha 在其他线性模型（如 LogisticRegression 或 LinearSVC）中对应于 1 / (2C)。

示例

>>> from sklearn.linear_model import Ridge
>>> import numpy as np
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> clf = Ridge(alpha=1.0)
>>> clf.fit(X, y)
Ridge()

fit(X, y, sample_weight=None)[source]#

拟合岭回归模型。

参数:

X{ndarray, sparse matrix} of shape (n_samples, n_features): 训练数据。
yndarray of shape (n_samples,) or (n_samples, n_targets): 目标值。
sample_weightfloat or ndarray of shape (n_samples,), default=None: 每个样本的单独权重。如果给定一个浮点数，每个样本将具有相同的权重。

返回:

selfobject: 拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅用户指南，了解路由机制如何工作。

返回:

routingMetadataRequest: 封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

predict(X)[source]#

使用线性模型进行预测。

参数:

X形状为 (n_samples, n_features) 的类数组或稀疏矩阵: 样本。

返回:

C形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray: 预测值。

score(X, y, sample_weight=None)[source]#

返回测试数据的决定系数。

决定系数 $R^2$ 定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，$v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最好的分数是 1.0，它也可以是负数（因为模型可能任意差）。一个总是预测 y 期望值而不考虑输入特征的常数模型将获得 0.0 的 $R^2$ 分数。

参数:

Xshape 为 (n_samples, n_features) 的 array-like: 测试样本。对于某些估计器，这可能是一个预先计算的核矩阵或一个通用对象列表，形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是用于估计器拟合的样本数。
yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like: X 的真实值。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。

返回:

scorefloat: self.predict(X) 相对于 y 的 $R^2$。

注意事项

在对回归器调用 score 时使用的 $R^2$ 分数从版本 0.23 开始使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这会影响所有多输出回归器（MultiOutputRegressor 除外）的 score 方法。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → Ridge[source]#