岭回归#

class sklearn.linear_model.Ridge(alpha=1.0, *, fit_intercept=True, copy_X=True, max_iter=None, tol=0.0001, solver='auto', positive=False, random_state=None)[source]#

带L2正则化的线性最小二乘法。

最小化目标函数

||y - Xw||^2_2 + alpha * ||w||^2_2

该模型解决的是一个回归模型，其损失函数为线性最小二乘函数，正则化由L2范数给出。也称为岭回归或Tikhonov正则化。此估计器内置支持多元回归（即，当y是形状为(n_samples, n_targets)的二维数组时）。

更多信息请参见用户指南。

参数:

alpha{float, 形状为 (n_targets,) 的ndarray}, 默认值=1.0

乘以L2项的常数，控制正则化强度。alpha必须是非负浮点数，即在[0, inf)范围内。

当alpha = 0时，目标等价于普通最小二乘法，由LinearRegression对象求解。出于数值原因，不建议使用Ridge对象设置alpha = 0。相反，您应该使用LinearRegression对象。

如果传递数组，则假定惩罚特定于目标。因此，它们的数目必须一致。

fit_interceptbool, 默认值=True

是否为该模型拟合截距。如果设置为false，则计算中不使用截距（即X和y预计已中心化）。

copy_Xbool, 默认值=True

如果为True，则复制X；否则，可能会覆盖X。

max_iterint, 默认值=None

共轭梯度求解器的最大迭代次数。对于“sparse_cg”和“lsqr”求解器，默认值由scipy.sparse.linalg确定。对于“sag”求解器，默认值为1000。对于“lbfgs”求解器，默认值为15000。

tolfloat, 默认值=1e-4

解的精度（coef_）由tol决定，它为每个求解器指定不同的收敛准则。

‘svd’：tol不起作用。
‘cholesky’：tol不起作用。
‘sparse_cg’：残差范数小于tol。
‘lsqr’：tol设置为scipy.sparse.linalg.lsqr的atol和btol，它们根据矩阵和系数的范数控制残差向量的范数。
‘sag’和‘saga’：coef的相对变化小于tol。
‘lbfgs’：绝对（投影）梯度的最大值 = max|残差| 小于tol。

1.2版本中的变更：为与其他线性模型保持一致，默认值从1e-3更改为1e-4。

solver{‘auto’, ‘svd’, ‘cholesky’, ‘lsqr’, ‘sparse_cg’, ‘sag’, ‘saga’, ‘lbfgs’}, 默认值=’auto’

在计算例程中使用的求解器。

‘auto’根据数据类型自动选择求解器。
‘svd’使用X的奇异值分解来计算岭系数。它是最稳定的求解器，特别是对于奇异矩阵比‘cholesky’更稳定，但速度较慢。
‘cholesky’使用标准的scipy.linalg.solve函数获得闭式解。
‘sparse_cg’使用在scipy.sparse.linalg.cg中找到的共轭梯度求解器。作为一种迭代算法，对于大型数据，此求解器比‘cholesky’更合适（可以设置tol和max_iter）。
‘lsqr’使用专用的正则化最小二乘例程scipy.sparse.linalg.lsqr。它是速度最快的，并使用迭代过程。
‘sag’使用随机平均梯度下降，而‘saga’使用其改进的无偏版本SAGA。这两种方法也使用迭代过程，并且当n_samples和n_features都很大时，通常比其他求解器更快。请注意，只有在特征具有大致相同的尺度时，“sag”和“saga”才能保证快速收敛。您可以使用sklearn.preprocessing中的缩放器预处理数据。
‘lbfgs’使用在scipy.optimize.minimize中实现的L-BFGS-B算法。只有当positive为True时才能使用。

除‘svd’之外的所有求解器都支持密集数据和稀疏数据。但是，只有当fit_intercept为True时，‘lsqr’，‘sag’，‘sparse_cg’和‘lbfgs’才支持稀疏输入。

0.17版本中添加：随机平均梯度下降求解器。

0.19版本中添加： SAGA求解器。

positivebool, 默认值=False

设置为True时，强制系数为正。在这种情况下，只支持‘lbfgs’求解器。

random_stateint, RandomState实例, 默认值=None

当solver == ‘sag’或‘saga’时用于打乱数据。详情请参见词汇表。

0.17版本中添加： random_state以支持随机平均梯度。

属性:

coef_形状为 (n_features,) 或 (n_targets, n_features) 的ndarray: 权重向量。
intercept_float 或形状为 (n_targets,) 的ndarray: 判定函数中的独立项。如果fit_intercept = False，则设置为0.0。
n_iter_None 或形状为 (n_targets,) 的ndarray: 每个目标的实际迭代次数。仅适用于sag和lsqr求解器。其他求解器将返回None。

0.17版本中添加。
n_features_in_int: 在拟合期间看到的特征数量。

0.24版本中添加。
feature_names_in_形状为 (n_features_in_,) 的ndarray: 在拟合期间看到的特征名称。仅当X具有全部为字符串的特征名称时才定义。

1.0版本中添加。
solver_str: 在拟合时由计算例程使用的求解器。

1.5版本中添加。

另请参见

RidgeClassifier: 岭分类器。
RidgeCV: 具有内置交叉验证的岭回归。
KernelRidge: 核岭回归结合了岭回归和核技巧。

备注

正则化改善了问题的条件，并降低了估计值的方差。较大的值指定更强的正则化。Alpha 在其他线性模型（如 LogisticRegression 或 LinearSVC）中对应于 1 / (2C)。

示例

>>> from sklearn.linear_model import Ridge
>>> import numpy as np
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> clf = Ridge(alpha=1.0)
>>> clf.fit(X, y)
Ridge()

fit(X, y, sample_weight=None)[source]#

拟合岭回归模型。

参数:

X{ndarray, sparse matrix} of shape (n_samples, n_features): 训练数据。
yndarray of shape (n_samples,) or (n_samples, n_targets): 目标值。
sample_weightfloat 或 ndarray of shape (n_samples,), default=None: 每个样本的个体权重。如果给定浮点数，则每个样本将具有相同的权重。

返回值：

selfobject: 拟合后的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回值：

routingMetadataRequest: 一个 MetadataRequest 封装路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，则将返回此估计器和包含的作为估计器的子对象的参数。

返回值：

paramsdict: 参数名称映射到其值。

predict(X)[source]#

使用线性模型进行预测。

参数:

Xarray-like 或 sparse matrix, shape (n_samples, n_features): 样本。

返回值：

Carray, shape (n_samples,): 返回预测值。

score(X, y, sample_weight=None)[source]#

返回预测的决定系数。

决定系数 $R^2$ 定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，而 $v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数是 1.0，它可以为负数（因为模型可以任意差）。一个始终预测 y 的期望值的常数模型，忽略输入特征，将获得 0.0 的 $R^2$ 分数。

参数:

Xarray-like of shape (n_samples, n_features): 测试样本。对于某些估计器，这可能是一个预计算的核矩阵或形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。
yarray-like of shape (n_samples,) or (n_samples, n_outputs): X 的真值。
sample_weightarray-like of shape (n_samples,), default=None: 样本权重。

返回值：

scorefloat: self.predict(X) 相对于 y 的 $R^2$。

备注

从 0.23 版本开始，在对回归器调用 score 时使用的 $R^2$ 分数使用 multioutput='uniform_average'，以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法（MultiOutputRegressor 除外）。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → Ridge[source]#