ElasticNetCV#
- 类 sklearn.linear_model.ElasticNetCV(*, l1_ratio=0.5, eps=0.001, n_alphas='deprecated', alphas='warn', fit_intercept=True, precompute='auto', max_iter=1000, tol=0.0001, cv=None, copy_X=True, verbose=0, n_jobs=None, positive=False, random_state=None, selection='cyclic')[source]#
采用正则化路径迭代拟合的 Elastic Net 模型。
请参阅术语表中的交叉验证估计器条目。
在用户指南中阅读更多内容。
- 参数:
- l1_ratio浮点数或浮点数列表, 默认值=0.5
0 到 1 之间的浮点数,传递给 ElasticNet(L1 和 L2 惩罚之间的比例)。当
l1_ratio = 0
时,惩罚是 L2 惩罚。当l1_ratio = 1
时,惩罚是 L1 惩罚。当0 < l1_ratio < 1
时,惩罚是 L1 和 L2 的组合。此参数可以是一个列表,在这种情况下,将通过交叉验证测试不同的值,并使用给出最佳预测分数的值。请注意,l1_ratio 值列表的一个好选择通常是将更多值接近 1(即 Lasso)而不是接近 0(即 Ridge),例如[.1, .5, .7, .9, .95, .99, 1]
。- eps浮点数, 默认值=1e-3
路径的长度。
eps=1e-3
表示alpha_min / alpha_max = 1e-3
。- n_alphas整数, 默认值=100
正则化路径上 alpha 的数量,用于每个 l1_ratio。
自 1.7 版本弃用:
n_alphas
在 1.7 版本中被弃用,并将在 1.9 版本中移除。请改用alphas
。- alphas类数组或整数, 默认值=None
沿正则化路径测试的 alpha 值,用于每个 l1_ratio。如果为整数,则自动生成
alphas
值。如果是类数组,则为要使用的 alpha 值列表。1.7 版本修改:
alphas
接受整数值,从而无需传递n_alphas
。自 1.7 版本弃用:
alphas=None
在 1.7 版本中被弃用,并将在 1.9 版本中移除,届时默认值将设置为 100。- fit_intercept布尔值, 默认值=True
是否为该模型计算截距。如果设置为 False,则计算中不使用截距(即数据预期是中心化的)。
- precompute‘auto’, 布尔值或形状为 (n_features, n_features) 的类数组, 默认值=’auto’
是否使用预计算的 Gram 矩阵以加速计算。如果设置为
'auto'
,则由我们决定。Gram 矩阵也可以作为参数传递。- max_iter整数, 默认值=1000
最大迭代次数。
- tol浮点数, 默认值=1e-4
优化的容差:如果更新量小于
tol
,优化代码将检查对偶间隙的最优性,并继续直到它小于tol
。- cv整数、交叉验证生成器或可迭代对象, 默认值=None
确定交叉验证的分割策略。cv 的可能输入包括:
None,使用默认的 5 折交叉验证,
整数,指定折叠数。
一个可迭代对象,生成 (训练集, 测试集) 分割作为索引数组。
对于整数/None 输入,将使用
KFold
。有关此处可用的各种交叉验证策略,请参阅用户指南。
0.22 版本修改: 当
cv
为 None 时,默认值从 3 折交叉验证变为 5 折交叉验证。- copy_X布尔值, 默认值=True
如果为
True
,X 将被复制;否则,它可能会被覆盖。- verbose布尔值或整数, 默认值=0
冗余信息的量。
- n_jobs整数, 默认值=None
交叉验证期间使用的 CPU 数量。
None
表示 1 个,除非在joblib.parallel_backend
上下文中。-1
表示使用所有处理器。有关更多详细信息,请参阅术语表。- positive布尔值, 默认值=False
设置为
True
时,强制系数为正。- random_state整数, RandomState 实例, 默认值=None
伪随机数生成器的种子,用于选择要更新的随机特征。当
selection
== ‘random’ 时使用。传入整数以在多次函数调用中获得可重现的输出。请参阅术语表。- selection{‘cyclic’, ‘random’}, 默认值=’cyclic’
如果设置为 ‘random’,则每次迭代都会更新一个随机系数,而不是默认情况下按顺序遍历特征。这(设置为 ‘random’)通常会显著加快收敛速度,尤其当容差 (tol) 大于 1e-4 时。
- 属性:
- alpha_浮点数
通过交叉验证选择的惩罚量。
- l1_ratio_浮点数
通过交叉验证选择的 L1 和 L2 惩罚之间的折衷。
- coef_形状为 (n_features,) 或 (n_targets, n_features) 的 ndarray
参数向量(代价函数公式中的 w)。
- intercept_浮点数或形状为 (n_targets, n_features) 的 ndarray
决策函数中的独立项。
- mse_path_形状为 (n_l1_ratio, n_alpha, n_folds) 的 ndarray
每个折叠上测试集的均方误差,随 l1_ratio 和 alpha 变化。
- alphas_形状为 (n_alphas,) 或 (n_l1_ratio, n_alphas) 的 ndarray
用于拟合的 alpha 网格,针对每个 l1_ratio。
- dual_gap_浮点数
在最佳 alpha 优化结束时的对偶间隙。
- n_iter_整数
坐标下降求解器为达到最佳 alpha 的指定容差而运行的迭代次数。
- n_features_in_整数
在拟合期间看到的特征数量。
0.24 版本新增。
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在拟合期间看到的特征名称。仅当
X
的所有特征名称都是字符串时才定义。1.0 版本新增。
另请参见
enet_path
使用坐标下降计算弹性网络路径。
ElasticNet
以 L1 和 L2 先验组合作为正则化器的线性回归。
备注
在
fit
中,一旦通过交叉验证找到最佳参数l1_ratio
和alpha
,模型将使用整个训练集再次拟合。为避免不必要的内存复制,
fit
方法的X
参数应直接作为 Fortran 连续的 numpy 数组传递。参数
l1_ratio
对应于 glmnet R 包中的 alpha,而 alpha 对应于 glmnet 中的 lambda 参数。更具体地说,优化目标是1 / (2 * n_samples) * ||y - Xw||^2_2 + alpha * l1_ratio * ||w||_1 + 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2
如果您有兴趣分别控制 L1 和 L2 惩罚,请记住这等同于
a * L1 + b * L2
对于
alpha = a + b and l1_ratio = a / (a + b).
有关示例,请参见 examples/linear_model/plot_lasso_model_selection.py。
示例
>>> from sklearn.linear_model import ElasticNetCV >>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_features=2, random_state=0) >>> regr = ElasticNetCV(cv=5, random_state=0) >>> regr.fit(X, y) ElasticNetCV(cv=5, random_state=0) >>> print(regr.alpha_) 0.199 >>> print(regr.intercept_) 0.398 >>> print(regr.predict([[0, 0]])) [0.398]
- fit(X, y, sample_weight=None, **params)[source]#
使用坐标下降拟合 ElasticNet 模型。
拟合基于 alpha 网格,最佳 alpha 通过交叉验证估计。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组, 稀疏矩阵}
训练数据。直接作为 Fortran 连续数据传递,以避免不必要的内存复制。如果 y 是单输出,X 可以是稀疏的。请注意,不接受需要
int64
索引的大型稀疏矩阵和数组。- y形状为 (n_samples,) 的类数组
目标值。
- sample_weight浮点数或形状为 (n_samples,) 的类数组, 默认值=None
用于拟合和评估每个交叉验证折叠的加权均方误差的样本权重。请注意,最终用于寻找最佳模型的交叉验证 MSE 是每个测试折叠的(加权)MSE 的未加权平均值。
- **params字典, 默认值=None
要传递给 CV 分割器的参数。
1.4 版本新增: 仅当
enable_metadata_routing=True
时可用,可通过使用sklearn.set_config(enable_metadata_routing=True)
进行设置。有关更多详细信息,请参阅元数据路由用户指南。
- 返回:
- self对象
返回一个已拟合模型的实例。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查阅用户指南,了解路由机制的工作原理。
1.4 版本新增。
- 返回:
- routingMetadataRouter
一个封装路由信息的
MetadataRouter
。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deep布尔值, 默认值=True
如果为 True,将返回此估计器及其包含的子对象(如果它们也是估计器)的参数。
- 返回:
- params字典
参数名称及其对应值的映射。
- 静态 path(X, y, *, l1_ratio=0.5, eps=0.001, n_alphas=100, alphas=None, precompute='auto', Xy=None, copy_X=True, coef_init=None, verbose=False, return_n_iter=False, positive=False, check_input=True, **params)[source]#
使用坐标下降计算弹性网络路径。
弹性网络优化函数对于单输出和多输出任务有所不同。
对于单输出任务,它是
1 / (2 * n_samples) * ||y - Xw||^2_2 + alpha * l1_ratio * ||w||_1 + 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2
对于多输出任务,它是
(1 / (2 * n_samples)) * ||Y - XW||_Fro^2 + alpha * l1_ratio * ||W||_21 + 0.5 * alpha * (1 - l1_ratio) * ||W||_Fro^2
其中
||W||_21 = \sum_i \sqrt{\sum_j w_{ij}^2}
即每行范数之和。
在用户指南中阅读更多内容。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组, 稀疏矩阵}
训练数据。直接作为 Fortran 连续数据传递,以避免不必要的内存复制。如果
y
是单输出,则X
可以是稀疏的。- y形状为 (n_samples,) 或 (n_samples, n_targets) 的 {类数组, 稀疏矩阵}
目标值。
- l1_ratio浮点数, 默认值=0.5
0 到 1 之间的数字,传递给弹性网络(L1 和 L2 惩罚之间的比例)。
l1_ratio=1
对应于 Lasso。- eps浮点数, 默认值=1e-3
路径的长度。
eps=1e-3
表示alpha_min / alpha_max = 1e-3
。- n_alphas整数, 默认值=100
正则化路径上 alpha 的数量。
- alphas类数组, 默认值=None
计算模型的 alpha 列表。如果为 None,则自动设置 alpha。
- precompute‘auto’, 布尔值或形状为 (n_features, n_features) 的类数组, 默认值=’auto’
是否使用预计算的 Gram 矩阵以加速计算。如果设置为
'auto'
,则由我们决定。Gram 矩阵也可以作为参数传递。- Xy形状为 (n_features,) 或 (n_features, n_targets) 的类数组, 默认值=None
Xy = np.dot(X.T, y) 可以预计算。仅当 Gram 矩阵预计算时才有用。
- copy_X布尔值, 默认值=True
如果为
True
,X 将被复制;否则,它可能会被覆盖。- coef_init形状为 (n_features, ) 的类数组, 默认值=None
系数的初始值。
- verbose布尔值或整数, 默认值=False
冗余信息的量。
- return_n_iter布尔值, 默认值=False
是否返回迭代次数。
- positive布尔值, 默认值=False
如果设置为 True,强制系数为正。(仅当
y.ndim == 1
时允许)。- check_input布尔值, 默认值=True
如果设置为 False,则跳过输入验证检查(包括提供 Gram 矩阵时的检查)。假定它们由调用者处理。
- **paramskwargs
传递给坐标下降求解器的关键字参数。
- 返回:
- alphas形状为 (n_alphas,) 的 ndarray
模型计算路径上的 alpha 值。
- coefs形状为 (n_features, n_alphas) 或 (n_targets, n_features, n_alphas) 的 ndarray
路径上的系数。
- dual_gaps形状为 (n_alphas,) 的 ndarray
每个 alpha 优化结束时的对偶间隙。
- n_iters整数列表
坐标下降优化器为达到每个 alpha 的指定容差所花费的迭代次数。(当
return_n_iter
设置为 True 时返回)。
另请参见
MultiTaskElasticNet
使用 L1/L2 混合范数作为正则化器训练的多任务 ElasticNet 模型。
MultiTaskElasticNetCV
带有内置交叉验证的多任务 L1/L2 ElasticNet。
ElasticNet
以 L1 和 L2 先验组合作为正则化器的线性回归。
ElasticNetCV
采用正则化路径迭代拟合的 Elastic Net 模型。
备注
有关示例,请参见 examples/linear_model/plot_lasso_lasso_lars_elasticnet_path.py。
示例
>>> from sklearn.linear_model import enet_path >>> from sklearn.datasets import make_regression >>> X, y, true_coef = make_regression( ... n_samples=100, n_features=5, n_informative=2, coef=True, random_state=0 ... ) >>> true_coef array([ 0. , 0. , 0. , 97.9, 45.7]) >>> alphas, estimated_coef, _ = enet_path(X, y, n_alphas=3) >>> alphas.shape (3,) >>> estimated_coef array([[ 0., 0.787, 0.568], [ 0., 1.120, 0.620], [-0., -2.129, -1.128], [ 0., 23.046, 88.939], [ 0., 10.637, 41.566]])
- predict(X)[source]#
使用线性模型进行预测。
- 参数:
- X形状为 (n_samples, n_features) 的类数组或稀疏矩阵
样本。
- 返回:
- C数组, 形状 (n_samples,)
返回预测值。
- score(X, y, sample_weight=None)[source]#
返回测试数据的决定系数。
决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\),其中 \(u\) 是残差平方和
((y_true - y_pred)** 2).sum()
,\(v\) 是总平方和((y_true - y_true.mean()) ** 2).sum()
。最佳可能分数是 1.0,它也可以是负数(因为模型可能任意地差)。一个始终预测y
的期望值,而不考虑输入特征的常数模型,将获得 0.0 的 \(R^2\) 分数。- 参数:
- X形状为 (n_samples, n_features) 的类数组
测试样本。对于某些估计器,这可能是一个预计算的核矩阵,或者是一个通用对象列表,其形状为
(n_samples, n_samples_fitted)
,其中n_samples_fitted
是估计器拟合中使用的样本数量。- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
X
的真实值。- sample_weight形状为 (n_samples,) 的类数组, 默认值=None
样本权重。
- 返回:
- score浮点数
self.predict(X)
相对于y
的 \(R^2\)。
备注
对回归器调用
score
时使用的 \(R^2\) 分数从 0.23 版本开始使用multioutput='uniform_average'
,以与r2_score
的默认值保持一致。这会影响所有多输出回归器的score
方法(MultiOutputRegressor
除外)。
- set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') ElasticNetCV [source]#
请求传递给
fit
方法的元数据。请注意,此方法仅在
enable_metadata_routing=True
时才相关(参见sklearn.set_config
)。有关路由机制的工作原理,请参见用户指南。每个参数的选项是:
True
:请求元数据,如果提供则传递给fit
。如果未提供元数据,则忽略请求。False
:不请求元数据,元估计器不会将其传递给fit
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:应使用此给定别名而非原始名称将元数据传递给元估计器。
默认值 (
sklearn.utils.metadata_routing.UNCHANGED
) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。1.3 版本新增。
注意
此方法仅当此估计器用作元估计器的子估计器时才相关,例如在
Pipeline
内部使用时。否则它没有效果。- 参数:
- sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED
fit
方法中sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。
- set_params(**params)[source]#
设置此估计器的参数。
此方法适用于简单估计器以及嵌套对象(例如
Pipeline
)。后者具有<component>__<parameter>
形式的参数,因此可以更新嵌套对象的每个组件。- 参数:
- **params字典
估计器参数。
- 返回:
- self估计器实例
估计器实例。
- set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') ElasticNetCV [source]#
请求传递给
score
方法的元数据。请注意,此方法仅在
enable_metadata_routing=True
时才相关(参见sklearn.set_config
)。有关路由机制的工作原理,请参见用户指南。每个参数的选项是:
True
:请求元数据,如果提供则传递给score
。如果未提供元数据,则忽略请求。False
:不请求元数据,元估计器不会将其传递给score
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:应使用此给定别名而非原始名称将元数据传递给元估计器。
默认值 (
sklearn.utils.metadata_routing.UNCHANGED
) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。1.3 版本新增。
注意
此方法仅当此估计器用作元估计器的子估计器时才相关,例如在
Pipeline
内部使用时。否则它没有效果。- 参数:
- sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED
score
方法中sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。