Lasso#

class sklearn.linear_model.Lasso(alpha=1.0, *, fit_intercept=True, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic')[source]#

使用 L1 范数作为正则化项（又称 Lasso）训练的线性模型。

Lasso 的优化目标是

(1 / (2 * n_samples)) * ||y - Xw||^2_2 + alpha * ||w||_1

从技术上讲，Lasso 模型与 l1_ratio=1.0（无 L2 惩罚）的 Elastic Net 优化目标相同。

在用户指南中阅读更多内容。

参数:
alphafloat, 默认值=1.0

乘以 L1 项的常数，控制正则化强度。alpha 必须是非负浮点数，即在 [0, inf) 范围内。

当 alpha = 0 时，目标函数等同于普通最小二乘法，由 LinearRegression 对象求解。出于数值原因，不建议在 Lasso 对象中使用 alpha = 0。相反，您应该使用 LinearRegression 对象。

fit_interceptbool, 默认值=True

是否为该模型计算截距。如果设置为 False，则计算中不使用截距（即数据预期已中心化）。

precomputebool 或 形状为 (n_features, n_features) 的类数组, 默认值=False

是否使用预计算的 Gram 矩阵来加速计算。Gram 矩阵也可以作为参数传入。对于稀疏输入，此选项始终为 False 以保持稀疏性。

copy_Xbool, 默认值=True

如果为 True，X 将被复制；否则，它可能会被覆盖。

max_iterint, 默认值=1000

最大迭代次数。

tolfloat, 默认值=1e-4

优化的容差：如果更新小于 tol，优化代码将检查对偶间隙的最优性，并继续直到它小于 tol，参见下面的备注。

warm_startbool, 默认值=False

当设置为 True 时，重用上次调用 fit 的解决方案作为初始化，否则，擦除之前的解决方案。参见术语表。

positivebool, 默认值=False

当设置为 True 时，强制系数为正。

random_stateint, RandomState 实例, 默认值=None

伪随机数生成器的种子，用于选择要更新的随机特征。当 selection == 'random' 时使用。传入一个整数可在多次函数调用中获得可重现的输出。参见术语表。

selection{'cyclic', 'random'}, 默认值='cyclic'

如果设置为 'random'，每次迭代会更新一个随机系数，而不是默认情况下按顺序遍历特征。这（设置为 'random'）通常会导致显著更快的收敛，尤其当 tol 高于 1e-4 时。

属性:
coef_形状为 (n_features,) 或 (n_targets, n_features) 的 ndarray

参数向量（成本函数公式中的 w）。

dual_gap_float 或 形状为 (n_targets,) 的 ndarray

给定参数 alpha，优化结束时的对偶间隙，与 y 的每个观测值形状相同。

sparse_coef_形状为 (n_features, 1) 或 (n_targets, n_features) 的稀疏矩阵

拟合的 coef_ 的稀疏表示。

intercept_float 或 形状为 (n_targets,) 的 ndarray

决策函数中的独立项。

n_iter_int 或 int 列表

坐标下降求解器达到指定容差的迭代次数。

n_features_in_int

拟合期间看到的特征数量。

在 0.24 版本中新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

拟合期间看到的特征名称。仅当 X 的所有特征名称均为字符串时才定义。

在 1.0 版本中新增。

另请参见

lars_path

使用 LARS 的正则化路径。

lasso_path

使用 Lasso 的正则化路径。

LassoLars

Lasso 沿着正则化参数使用 LARS 算法的路径。

LassoCV

通过交叉验证确定 Lasso alpha 参数。

LassoLarsCV

通过交叉验证确定 Lasso 最小角参数算法。

sklearn.decomposition.sparse_encode

稀疏编码数组估计器。

备注

用于拟合模型的算法是坐标下降法。

为避免不必要的内存复制，fit 方法的 X 参数应直接作为 Fortran 连续的 numpy 数组传入。

为了避免内存重新分配，建议直接使用该格式在内存中分配初始数据。

正则化改善了问题的条件性并降低了估计的方差。较大的值表示更强的正则化。Alpha 对应于其他线性模型（如 LogisticRegression 或 LinearSVC）中的 1 / (2C)。

基于 tol 的精确停止准则如下：首先，检查最大坐标更新，即 \(\max_j |w_j^{new} - w_j^{old}|\) 是否小于 tol 乘以最大绝对系数 \(\max_j |w_j|\)。如果是，则额外检查对偶间隙是否小于 tol 乘以 \(||y||_2^2 / n_{\text{samples}}\)。

(1 / (2 * n_samples)) * ||Y - XW||^2_F + alpha * ||W||_11

目标可以是二维数组，导致优化以下目标：

示例

>>> from sklearn import linear_model
>>> clf = linear_model.Lasso(alpha=0.1)
>>> clf.fit([[0,0], [1, 1], [2, 2]], [0, 1, 2])
Lasso(alpha=0.1)
>>> print(clf.coef_)
[0.85 0.  ]
>>> print(clf.intercept_)
0.15
fit(X, y, sample_weight=None, check_input=True)[source]#

使用坐标下降法拟合模型。

参数:
X形状为 (n_samples, n_features) 的 {ndarray, 稀疏矩阵, 稀疏数组}

数据。

请注意，不接受需要 int64 索引的大型稀疏矩阵和数组。

y形状为 (n_samples,) 或 (n_samples, n_targets) 的 ndarray

目标值。如有必要，将转换为 X 的 dtype。

sample_weightfloat 或 形状为 (n_samples,) 的类数组, 默认值=None

样本权重。在内部，sample_weight 向量将被重新缩放，使其总和为 n_samples。

在 0.23 版本中新增。

check_inputbool, 默认值=True

允许绕过多项输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回:
self对象

拟合的估计器。

备注

坐标下降法是一种逐列处理数据的算法，因此在必要时会自动将 X 输入转换为 Fortran 连续的 numpy 数组。

为避免内存重新分配，建议直接使用该格式在内存中分配初始数据。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南以了解路由机制的工作原理。

返回:
routingMetadataRequest

一个封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:
deepbool, 默认值=True

如果为 True，将返回此估计器及其包含的作为估计器的子对象的参数。

返回:
paramsdict

参数名称映射到其值。

static path(X, y, *, l1_ratio=0.5, eps=0.001, n_alphas=100, alphas=None, precompute='auto', Xy=None, copy_X=True, coef_init=None, verbose=False, return_n_iter=False, positive=False, check_input=True, **params)[source]#

使用坐标下降法计算弹性网络路径。

单输出和多输出任务的弹性网络优化函数有所不同。

对于单输出任务，它是

1 / (2 * n_samples) * ||y - Xw||^2_2
+ alpha * l1_ratio * ||w||_1
+ 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2

对于多输出任务，它是

(1 / (2 * n_samples)) * ||Y - XW||_Fro^2
+ alpha * l1_ratio * ||W||_21
+ 0.5 * alpha * (1 - l1_ratio) * ||W||_Fro^2

其中

||W||_21 = \sum_i \sqrt{\sum_j w_{ij}^2}

即每行范数的总和。

在用户指南中阅读更多内容。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

训练数据。直接以 Fortran 连续数据形式传入以避免不必要的内存复制。如果 y 是单输出，则 X 可以是稀疏的。

y形状为 (n_samples,) 或 (n_samples, n_targets) 的 {array-like, 稀疏矩阵}

目标值。

l1_ratiofloat, 默认值=0.5

传入弹性网络的 0 到 1 之间的数字（l1 和 l2 惩罚之间的比例）。l1_ratio=1 对应于 Lasso。

epsfloat, 默认值=1e-3

路径长度。eps=1e-3 意味着 alpha_min / alpha_max = 1e-3。

n_alphasint, 默认值=100

正则化路径上的 alpha 数量。

alphasarray-like, 默认值=None

计算模型的 alpha 列表。如果为 None，则自动设置 alpha。

precompute'auto', bool 或 形状为 (n_features, n_features) 的类数组, 默认值='auto'

是否使用预计算的 Gram 矩阵来加速计算。如果设置为 'auto'，则由我们决定。Gram 矩阵也可以作为参数传入。

Xy形状为 (n_features,) 或 (n_features, n_targets) 的类数组, 默认值=None

可预计算的 Xy = np.dot(X.T, y)。仅当 Gram 矩阵预计算时才有用。

copy_Xbool, 默认值=True

如果为 True，X 将被复制；否则，它可能会被覆盖。

coef_init形状为 (n_features, ) 的类数组, 默认值=None

系数的初始值。

verbosebool 或 int, 默认值=False

详细程度。

return_n_iterbool, 默认值=False

是否返回迭代次数。

positivebool, 默认值=False

如果设置为 True，则强制系数为正。（仅当 y.ndim == 1 时允许）。

check_inputbool, 默认值=True

如果设置为 False，则跳过输入验证检查（包括提供的 Gram 矩阵）。假设它们由调用者处理。

**paramskwargs

传递给坐标下降求解器的关键字参数。

返回:
alphas形状为 (n_alphas,) 的 ndarray

计算模型的路径上的 alpha 值。

coefs形状为 (n_features, n_alphas) 或 (n_targets, n_features, n_alphas) 的 ndarray

路径上的系数。

dual_gaps形状为 (n_alphas,) 的 ndarray

每个 alpha 优化结束时的对偶间隙。

n_itersint 列表

坐标下降优化器为每个 alpha 达到指定容差所花费的迭代次数。（当 return_n_iter 设置为 True 时返回）。

另请参见

MultiTaskElasticNet

使用 L1/L2 混合范数作为正则化器训练的多任务弹性网络模型。

MultiTaskElasticNetCV

具有内置交叉验证的多任务 L1/L2 弹性网络。

ElasticNet

结合 L1 和 L2 先验作为正则化器的线性回归。

ElasticNetCV

弹性网络模型，沿正则化路径迭代拟合。

备注

有关示例，请参见 examples/linear_model/plot_lasso_lasso_lars_elasticnet_path.py。

示例

>>> from sklearn.linear_model import enet_path
>>> from sklearn.datasets import make_regression
>>> X, y, true_coef = make_regression(
...    n_samples=100, n_features=5, n_informative=2, coef=True, random_state=0
... )
>>> true_coef
array([ 0.        ,  0.        ,  0.        , 97.9, 45.7])
>>> alphas, estimated_coef, _ = enet_path(X, y, n_alphas=3)
>>> alphas.shape
(3,)
>>> estimated_coef
 array([[ 0.,  0.787,  0.568],
        [ 0.,  1.120,  0.620],
        [-0., -2.129, -1.128],
        [ 0., 23.046, 88.939],
        [ 0., 10.637, 41.566]])
predict(X)[source]#

使用线性模型进行预测。

参数:
X形状为 (n_samples, n_features) 的类数组或稀疏矩阵

样本。

返回:
C形状为 (n_samples,) 的数组

返回预测值。

score(X, y, sample_weight=None)[source]#

返回测试数据上的决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，\(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳可能分数为 1.0，它也可以是负数（因为模型可能任意糟糕）。一个始终预测 y 预期值而忽略输入特征的常数模型将获得 0.0 的 \(R^2\) 分数。

参数:
X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器，这可能是一个预计算的核矩阵或一个通用对象列表，形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是用于估计器拟合的样本数量。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实值。

sample_weight形状为 (n_samples,) 的类数组, 默认值=None

样本权重。

返回:
scorefloat

self.predict(X) 相对于 y 的 \(R^2\)。

备注

在调用回归器的 score 时使用的 \(R^2\) 分数，从 0.23 版本开始使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这影响了所有多输出回归器（MultiOutputRegressor 除外）的 score 方法。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → Lasso[source]#

请求传递给 fit 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时相关（参见 sklearn.set_config）。请参见用户指南以了解路由机制的工作原理。

每个参数的选项有：

  • True: 请求元数据，如果提供则传递给 fit。如果未提供元数据，则请求被忽略。

  • False: 不请求元数据，并且元估计器不会将其传递给 fit。

  • None: 不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str: 元数据应使用此别名而非原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在 1.3 版本中新增。

注意

此方法仅当此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用时。否则它没有效果。

参数:
sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED

fit 中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数:
**paramsdict

估计器参数。

返回:
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → Lasso[source]#

请求传递给 score 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时相关（参见 sklearn.set_config）。请参见用户指南以了解路由机制的工作原理。

每个参数的选项有：

  • True: 请求元数据，如果提供则传递给 score。如果未提供元数据，则请求被忽略。

  • False: 不请求元数据，并且元估计器不会将其传递给 score。

  • None: 不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str: 元数据应使用此别名而非原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在 1.3 版本中新增。

注意

此方法仅当此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用时。否则它没有效果。

参数:
sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED

score 中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。