Lasso

class sklearn.linear_model.Lasso(alpha=1.0, *, fit_intercept=True, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic')

使用L1先验作为正则化器的线性模型（也称为Lasso）。

Lasso 的优化目标是

(1 / (2 * n_samples)) * ||y - Xw||^2_2 + alpha * ||w||_1

从技术上讲，Lasso 模型正在优化与l1_ratio=1.0（无 L2 惩罚）的弹性网络相同的目标函数。

在用户指南中了解更多信息。

参数：

alphafloat, default=1.0

乘以 L1 项的常数，控制正则化强度。alpha必须是非负浮点数，即在[0, inf)范围内。

当alpha = 0时，目标函数等价于普通最小二乘法，可以通过LinearRegression对象求解。出于数值原因，不建议使用Lasso对象时将alpha = 0。建议改用LinearRegression对象。

fit_intercept布尔值，默认值为 True

是否为该模型计算截距。如果设置为 False，则计算中不使用截距（即数据应已居中）。

precompute布尔值或形状为 (n_features, n_features) 的数组，默认值为 False

是否使用预计算的 Gram 矩阵来加速计算。Gram 矩阵也可以作为参数传递。对于稀疏输入，此选项始终为False，以保持稀疏性。

copy_X布尔值，默认值为 True

如果为True，则会复制 X；否则，它可能会被覆盖。

max_iter整数，默认值为 1000

最大迭代次数。

tol浮点数，默认值为 1e-4

优化的容差：如果更新小于tol，则优化代码检查对偶间隙的最优性，并继续直到它小于tol，请参见下面的注释。

warm_start布尔值，默认值为 False

设置为 True 时，重用先前对 fit 的调用的解决方案作为初始化，否则，只需清除先前的解决方案。请参见词汇表。

positive布尔值，默认值为 False

设置为True时，强制系数为正。

random_state整数、RandomState 实例，默认值为 None

选择随机特征进行更新的伪随机数生成器的种子。当selection == ‘random’时使用。传递一个整数，以便在多次函数调用中获得可重复的输出。请参见词汇表。

selection{'cyclic', 'random'}，默认值为 'cyclic'

如果设置为 'random'，则每次迭代都会更新一个随机系数，而不是默认情况下按顺序循环遍历特征。这（设置为 'random'）通常会导致更快的收敛，尤其是在 tol 高于 1e-4 时。

属性：

coef_形状为 (n_features,) 或 (n_targets, n_features) 的 ndarray

参数向量（代价函数公式中的 w）。

dual_gap_浮点数或形状为 (n_targets,) 的 ndarray

给定参数 alpha，优化结束时的对偶间隙，形状与 y 的每个观测值相同。

sparse_coef_形状为 (n_features, 1) 或 (n_targets, n_features) 的稀疏矩阵

拟合的coef_的稀疏表示。

intercept_浮点数或形状为 (n_targets,) 的 ndarray

决策函数中的独立项。

n_iter_整数或整数列表

坐标下降求解器运行的迭代次数，以达到指定的容差。

n_features_in_整数

在拟合期间看到的特征数。

在 0.24 版本中添加。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。仅当X具有全是字符串的特征名称时才定义。

在 1.0 版本中添加。

另请参见

lars_path

使用 LARS 的正则化路径。

lasso_path

使用 Lasso 的正则化路径。

LassoLars

使用 LARS 算法沿着正则化参数的 Lasso 路径。

LassoCV

通过交叉验证的 Lasso alpha 参数。

LassoLarsCV

通过交叉验证的 Lasso 最小角回归参数算法。

sklearn.decomposition.sparse_encode

稀疏编码数组估计器。

注释

用于拟合模型的算法是坐标下降。

为了避免不必要的内存复制，fit 方法的 X 参数应该直接作为 Fortran 连续的 numpy 数组传递。

正则化提高了问题的条件数并降低了估计值的方差。较大的值指定更强的正则化。Alpha 对应于其他线性模型（如LogisticRegression或LinearSVC）中的1 / (2C)。如果传递一个数组，则假定惩罚针对目标是特定的。因此，它们的数目必须一致。

基于tol的精确停止标准如下：首先，检查最大坐标更新，即\(\max_j |w_j^{new} - w_j^{old}|\)是否小于tol乘以最大绝对系数\(\max_j |w_j|\)。如果是，则另外检查对偶间隙是否小于tol乘以\(||y||_2^2 / n_{\text{samples}}\)。

目标可以是二维数组，从而优化以下目标函数：

(1 / (2 * n_samples)) * ||Y - XW||^2_F + alpha * ||W||_11

其中\(||W||_{1,1}\)是矩阵系数大小的总和。不应将其与MultiTaskLasso混淆，后者反而惩罚系数的\(L_{2,1}\)范数，从而在系数中产生行方向的稀疏性。

示例

>>> from sklearn import linear_model
>>> clf = linear_model.Lasso(alpha=0.1)
>>> clf.fit([[0,0], [1, 1], [2, 2]], [0, 1, 2])
Lasso(alpha=0.1)
>>> print(clf.coef_)
[0.85 0.  ]
>>> print(clf.intercept_)
0.15...

fit(X, y, sample_weight=None, check_input=True)

使用坐标下降拟合模型。

参数：

X{(n_samples, n_features) 形状的ndarray、稀疏矩阵或稀疏数组}

数据。

请注意，不接受需要int64索引的大型稀疏矩阵和数组。

y(n_samples,) 或 (n_samples, n_targets) 形状的ndarray

目标值。必要时将转换为X的数据类型。

sample_weight浮点数或 (n_samples,) 形状的类数组，默认为None

样本权重。内部会将sample_weight向量重新缩放，使其总和为n_samples。

0.23版本新增。

check_input布尔值，默认为True

允许绕过一些输入检查。除非您知道自己在做什么，否则不要使用此参数。

返回值:

self对象

已拟合的估计器。

注释

坐标下降是一种一次考虑数据每一列的算法，因此它将根据需要自动将X输入转换为Fortran连续的NumPy数组。

为了避免内存重新分配，建议直接使用这种格式在内存中分配初始数据。

get_metadata_routing()

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回值:

routingMetadataRequest

一个MetadataRequest，封装了路由信息。

get_params(deep=True)

获取此估计器的参数。

参数：

deep布尔值，默认为True

如果为True，将返回此估计器及其包含的子对象（也是估计器）的参数。

返回值:

params字典

参数名称与其值的映射。

static path(X, y, *, l1_ratio=0.5, eps=0.001, n_alphas=100, alphas=None, precompute='auto', Xy=None, copy_X=True, coef_init=None, verbose=False, return_n_iter=False, positive=False, check_input=True, **params)

使用坐标下降法计算弹性网路径。

弹性网优化函数对于单输出和多输出有所不同。

对于单输出任务，它是

1 / (2 * n_samples) * ||y - Xw||^2_2
+ alpha * l1_ratio * ||w||_1
+ 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2

对于多输出任务，它是

(1 / (2 * n_samples)) * ||Y - XW||_Fro^2
+ alpha * l1_ratio * ||W||_21
+ 0.5 * alpha * (1 - l1_ratio) * ||W||_Fro^2

其中

||W||_21 = \sum_i \sqrt{\sum_j w_{ij}^2}

即每一行的范数之和。

在用户指南中了解更多信息。

参数：

X(n_samples, n_features) 形状的{类数组，稀疏矩阵}

训练数据。直接作为Fortran连续数据传递，以避免不必要的内存复制。如果y是单输出，则X可以是稀疏的。

y(n_samples,) 或 (n_samples, n_targets) 形状的{类数组，稀疏矩阵}

目标值。

l1_ratio浮点数，默认为0.5

传递给弹性网的0到1之间的数字（l1和l2惩罚之间的缩放）。l1_ratio=1对应于Lasso。

eps浮点数，默认为1e-3

路径的长度。eps=1e-3意味着alpha_min / alpha_max = 1e-3。

n_alphas整数，默认为100

正则化路径上的alpha数量。

alphas类数组，默认为None

计算模型的alpha列表。如果为None，则自动设置alpha。

precompute‘auto’、布尔值或(n_features, n_features)形状的类数组，默认为’auto’

是否使用预计算的Gram矩阵来加快计算速度。如果设置为'auto'，则由我们决定。Gram矩阵也可以作为参数传递。

Xy(n_features,) 或 (n_features, n_targets) 形状的类数组，默认为None

Xy = np.dot(X.T, y)，可以预计算。只有在预计算Gram矩阵时才有用。

copy_X布尔值，默认值为 True

如果为True，则会复制 X；否则，它可能会被覆盖。

coef_init(n_features,) 形状的类数组，默认为None

系数的初始值。

verbose布尔值或整数，默认为False

详细程度。

return_n_iter布尔值，默认为False

是否返回迭代次数。

positive布尔值，默认值为 False

如果设置为True，则强制系数为正。（仅当y.ndim == 1时允许）。

check_input布尔值，默认为True

如果设置为False，则跳过输入验证检查（包括提供的Gram矩阵）。假设这些检查由调用者处理。

**params关键字参数

传递给坐标下降求解器的关键字参数。

返回值:

alphas(n_alphas,) 形状的ndarray

计算模型的路径上的alphas。

coefs(n_features, n_alphas) 或 (n_targets, n_features, n_alphas) 形状的ndarray

路径上的系数。

dual_gaps(n_alphas,) 形状的ndarray

每个 alpha 优化结束时的双重间隙。

n_iters整数列表

坐标下降优化器达到每个 alpha 指定容差所用的迭代次数。（当return_n_iter设置为 True 时返回）。

另请参见

MultiTaskElasticNet

使用 L1/L2 混合范数作为正则化器的多任务 ElasticNet 模型。

MultiTaskElasticNetCV

具有内置交叉验证的多任务 L1/L2 ElasticNet。

ElasticNet

使用组合 L1 和 L2 先验作为正则化的线性回归。

ElasticNetCV

沿正则化路径进行迭代拟合的 Elastic Net 模型。

注释

例如，参见 examples/linear_model/plot_lasso_lasso_lars_elasticnet_path.py。

示例

>>> from sklearn.linear_model import enet_path
>>> from sklearn.datasets import make_regression
>>> X, y, true_coef = make_regression(
...    n_samples=100, n_features=5, n_informative=2, coef=True, random_state=0
... )
>>> true_coef
array([ 0.        ,  0.        ,  0.        , 97.9..., 45.7...])
>>> alphas, estimated_coef, _ = enet_path(X, y, n_alphas=3)
>>> alphas.shape
(3,)
>>> estimated_coef
 array([[ 0.        ,  0.78...,  0.56...],
        [ 0.        ,  1.12...,  0.61...],
        [-0.        , -2.12..., -1.12...],
        [ 0.        , 23.04..., 88.93...],
        [ 0.        , 10.63..., 41.56...]])

predict(X)

使用线性模型进行预测。

参数：

X类数组或稀疏矩阵，形状 (n_samples, n_features)

样本。

返回值:

C数组，形状 (n_samples,)

返回预测值。

score(X, y, sample_weight=None)

返回预测的决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，而 \(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数为 1.0，也可能为负数（因为模型可以任意差）。始终预测 y 期望值的常数模型（忽略输入特征）将获得 0.0 的 \(R^2\) 分数。

参数：

X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器，这可能是预计算的核矩阵或形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实值。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。

返回值:

score浮点数

self.predict(X) 关于 y 的 \(R^2\)。

注释

从 0.23 版本开始，调用回归器的 score 时使用的 \(R^2\) 分数使用 multioutput='uniform_average'，以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法（MultiOutputRegressor 除外）。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → Lasso

请求传递给 fit 方法的元数据。

请注意，只有当 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅 用户指南，了解路由机制的工作原理。

每个参数的选项为

• True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给 fit。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求，而无需更改其他参数。

1.3 版本中添加。

注意

仅当将此估计器用作元估计器的子估计器时（例如，在 Pipeline 中使用）此方法才相关。否则无效。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit 中 sample_weight 参数的元数据路由。

返回值:

self对象

更新后的对象。

set_params(**params)

设置该估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**params**字典

估计器参数。

返回值:

self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → Lasso

请求传递给 score 方法的元数据。

请注意，只有当 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅 用户指南，了解路由机制的工作原理。

每个参数的选项为

• True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给 score。

• None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求，而无需更改其他参数。

1.3 版本中添加。

注意

仅当将此估计器用作元估计器的子估计器时（例如，在 Pipeline 中使用）此方法才相关。否则无效。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

score 中 sample_weight 参数的元数据路由。

返回值:

self对象

更新后的对象。

property sparse_coef_

拟合的coef_的稀疏表示。

图库示例

scikit-learn 1.4 版本亮点

scikit-learn 1.4 版本亮点

scikit-learn 0.23 版本亮点

scikit-learn 0.23 版本亮点

压缩感知：使用 L1 先验 (Lasso) 进行断层扫描重建

压缩感知：使用 L1 先验 (Lasso) 进行断层扫描重建

使用多任务 Lasso 进行联合特征选择

使用多任务 Lasso 进行联合特征选择

基于 L1 的稀疏信号模型

基于 L1 的稀疏信号模型

稠密和稀疏数据上的 Lasso

稠密和稀疏数据上的 Lasso

普通最小二乘法示例

普通最小二乘法示例

糖尿病数据集交叉验证练习

糖尿病数据集交叉验证练习