RFECV#

类 sklearn.feature_selection.RFECV(estimator, *, step=1, min_features_to_select=1, cv=None, scoring=None, verbose=0, n_jobs=None, importance_getter='auto')[source]#

通过交叉验证进行递归特征消除以选择特征。

选择的特征数量通过在不同的交叉验证分割（由 cv 参数提供）上拟合 RFE 选择器来自动调整。每个 RFE 选择器的性能使用 scoring 对不同数量的选定特征进行评估并聚合。最后，分数在各折叠中取平均值，并且选择的特征数量设置为使交叉验证分数最大化的特征数量。有关交叉验证估计器的更多信息，请参阅术语表条目。

在用户指南中阅读更多信息。

参数:
estimator估计器 实例

一个监督学习估计器，具有 fit 方法，可通过 coef_ 属性或 feature_importances_ 属性提供特征重要性信息。

step整型或浮点型，默认值为 1

如果大于或等于 1，则 step 对应于每次迭代要移除的（整数）特征数量。如果在 (0.0, 1.0) 之间，则 step 对应于每次迭代要移除的特征百分比（向下取整）。请注意，最后一次迭代可能会移除少于 step 的特征，以便达到 min_features_to_select。

min_features_to_select整型，默认值为 1

要选择的最小特征数量。即使原始特征数量与 min_features_to_select 之间的差值不能被 step 整除，此数量的特征也将始终被评分。

0.20 版本新增。

cv整型，交叉验证生成器或可迭代对象，默认值为 None

确定交叉验证分割策略。cv 的可能输入包括

  • None，使用默认的 5 折交叉验证，

  • 整型，指定折叠数量。

  • CV 分割器,

  • 一个生成 (训练集, 测试集) 分割的迭代器，以索引数组的形式。

对于整型/None 输入，如果 y 是二分类或多分类，则使用 StratifiedKFold。如果估计器不是分类器，或者 y 既不是二分类也不是多分类，则使用 KFold。

有关此处可用的各种交叉验证策略，请参阅用户指南。

0.22 版本修改：cv 的默认值 None 从 3 折变为 5 折。

scoring字符串或可调用对象，默认值为 None

用于评估 RFE 选择器性能的评分方法。选项

verbose整型，默认值为 0

控制输出的详细程度。

n_jobs整型或 None，默认值为 None

在跨折叠拟合时并行运行的核数量。None 表示 1，除非在 joblib.parallel_backend 上下文之外。-1 表示使用所有处理器。有关更多详细信息，请参阅术语表。

0.18 版本新增。

importance_getter字符串或可调用对象，默认值为 ‘auto’

如果为 ‘auto’，则通过估计器的 coef_ 或 feature_importances_ 属性使用特征重要性。

也接受一个字符串，用于指定提取特征重要性的属性名称/路径。例如，在 TransformedTargetRegressor 的情况下，提供 regressor_.coef_，或者在 Pipeline 的最后一个步骤名为 clf 的情况下，提供 named_steps.clf.feature_importances_。

如果为 可调用对象，则会覆盖默认的特征重要性获取器。该可调用对象将与拟合的估计器一起传递，并且应返回每个特征的重要性。

0.24 版本新增。

属性:
classes_形状为 (n_classes,) 的 ndarray

当 estimator 是分类器时可用的类别标签。

estimator_估计器 实例

用于选择特征的已拟合估计器。

cv_results_ndarray 字典

所有数组（字典的值）按使用的特征数量升序排序（即，数组的第一个元素表示使用最少特征的模型，而最后一个元素表示使用所有可用特征的模型）。

1.0 版本新增。

此字典包含以下键

split(k)_test_score形状为 (n_subsets_of_features,) 的 ndarray

第 (k) 折的交叉验证分数。

mean_test_score形状为 (n_subsets_of_features,) 的 ndarray

各折叠分数的平均值。

std_test_score形状为 (n_subsets_of_features,) 的 ndarray

各折叠分数的标准差。

n_features形状为 (n_subsets_of_features,) 的 ndarray

每步使用的特征数量。

1.5 版本新增。

split(k)_ranking形状为 (n_subsets_of_features,) 的 ndarray

第 (k) 折的交叉验证排名。选定的（即，估计的最佳）特征被赋予排名 1。参见带交叉验证的递归特征消除中的图示

1.7 版本新增。

split(k)_support形状为 (n_subsets_of_features,) 的 ndarray

第 (k) 折的交叉验证支持掩码。支持掩码是选定特征的掩码。

1.7 版本新增。

n_features_整型

通过交叉验证选择的特征数量。

n_features_in_整型

在拟合期间看到的特征数量。仅当底层估计器在拟合时公开此属性时才定义。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。仅当 X 的所有特征名称都是字符串时才定义。

1.0 版本新增。

ranking_形状为 (n_features,) 的 ndarray

特征排名，其中 ranking_[i] 对应于第 i 个特征的排名位置。选定的（即，估计的最佳）特征被赋予排名 1。

support_形状为 (n_features,) 的 ndarray

选定特征的掩码。

另请参阅

RFE

递归特征消除。

备注

所有 cv_results_ 中值的尺寸等于 ceil((n_features - min_features_to_select) / step) + 1，其中 step 是每次迭代移除的特征数量。

如果底层估计器支持，则输入中允许存在 NaN/Inf。

参考文献

[1]

Guyon, I., Weston, J., Barnhill, S., & Vapnik, V., “Gene selection for cancer classification using support vector machines”, Mach. Learn., 46(1-3), 389–422, 2002。

示例

以下示例展示了如何从 Friedman #1 数据集中检索先验未知的 5 个信息量大的特征。

>>> from sklearn.datasets import make_friedman1
>>> from sklearn.feature_selection import RFECV
>>> from sklearn.svm import SVR
>>> X, y = make_friedman1(n_samples=50, n_features=10, random_state=0)
>>> estimator = SVR(kernel="linear")
>>> selector = RFECV(estimator, step=1, cv=5)
>>> selector = selector.fit(X, y)
>>> selector.support_
array([ True,  True,  True,  True,  True, False, False, False, False,
       False])
>>> selector.ranking_
array([1, 1, 1, 1, 1, 6, 4, 3, 2, 5])
decision_function(X)[source]#

计算 X 的决策函数。

参数:
X{类数组或稀疏矩阵}，形状为 (n_samples, n_features)

输入样本。在内部，它将被转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回:
score数组，形状为 [n_samples, n_classes] 或 [n_samples]

输入样本的决策函数。类别的顺序与属性 classes_ 中的顺序一致。回归和二元分类会生成形状为 [n_samples] 的数组。

fit(X, y, *, groups=None, **params)[source]#

拟合 RFE 模型并自动调整所选特征的数量。

参数:
X{类数组，稀疏矩阵}，形状为 (n_samples, n_features)

训练向量，其中 n_samples 是样本数量，n_features 是特征总数。

y类数组，形状为 (n_samples,)

目标值（分类为整数，回归为实数）。

groups类数组，形状为 (n_samples,) 或 None，默认值为 None

将数据集分割为训练集/测试集时使用的样本的分组标签。仅与“Group”交叉验证实例（例如，GroupKFold）结合使用。

0.20 版本新增。

**paramsstr -> object 字典

传递给估计器、评分器和交叉验证分割器的 fit 方法的参数。

1.6 版本新增：仅当 enable_metadata_routing=True 时可用，可通过使用 sklearn.set_config(enable_metadata_routing=True) 进行设置。有关更多详细信息，请参阅元数据路由用户指南。

返回:
self对象

已拟合估计器。

fit_transform(X, y=None, **fit_params)[source]#

拟合数据，然后进行转换。

使用可选参数 fit_params 将转换器拟合到 X 和 y，并返回 X 的转换版本。

参数:
X类数组，形状为 (n_samples, n_features)

输入样本。

y类数组，形状为 (n_samples,) 或 (n_samples, n_outputs)，默认值为 None

目标值（无监督转换时为 None）。

**fit_params字典

额外的拟合参数。

返回:
X_newndarray 数组，形状为 (n_samples, n_features_new)

转换后的数组。

get_feature_names_out(input_features=None)[source]#

根据选定的特征遮罩特征名称。

参数:
input_features字符串类数组或 None，默认值为 None

输入特征。

  • 如果 input_features 为 None，则使用 feature_names_in_ 作为输入特征名称。如果未定义 feature_names_in_，则生成以下输入特征名称：["x0", "x1", ..., "x(n_features_in_ - 1)"]。

  • 如果 input_features 是类数组，则如果定义了 feature_names_in_，则 input_features 必须与 feature_names_in_ 匹配。

返回:
feature_names_out字符串对象的 ndarray

转换后的特征名称。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

1.6 版本新增。

返回:
routingMetadataRouter

一个封装路由信息的 MetadataRouter。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:
deep布尔型，默认值为 True

如果为 True，将返回此估计器及其包含的作为估计器的子对象的参数。

返回:
params字典

参数名称映射到其值。

get_support(indices=False)[source]#

获取所选特征的掩码或整数索引。

参数:
indices布尔型，默认值为 False

如果为 True，返回值将是一个整数数组，而不是布尔掩码。

返回:
support数组

一个从特征向量中选择保留特征的索引。如果 indices 为 False，则这是一个形状为 [# 输入特征] 的布尔数组，其中一个元素为 True 当且仅当其对应的特征被选择保留。如果 indices 为 True，则这是一个形状为 [# 输出特征] 的整数数组，其值是输入特征向量的索引。

inverse_transform(X)[source]#

反转转换操作。

参数:
X数组，形状为 [n_samples, n_selected_features]

输入样本。

返回:
X_original数组，形状为 [n_samples, n_original_features]

在特征被 transform 移除的位置插入零列的 X。

predict(X, **predict_params)[source]#

将 X 降维到选定特征，并使用估计器进行预测。

参数:
X数组，形状为 [n_samples, n_features]

输入样本。

**predict_params字典

要路由到底层估计器 predict 方法的参数。

1.6 版本新增：仅当 enable_metadata_routing=True 时可用，可通过使用 sklearn.set_config(enable_metadata_routing=True) 进行设置。有关更多详细信息，请参阅元数据路由用户指南。

返回:
y数组，形状为 [n_samples]

预测的目标值。

predict_log_proba(X)[source]#

预测 X 的类别对数概率。

参数:
X数组，形状为 [n_samples, n_features]

输入样本。

返回:
p数组，形状为 (n_samples, n_classes)

输入样本的类别对数概率。类别的顺序与属性 classes_ 中的顺序一致。

predict_proba(X)[source]#

预测 X 的类别概率。

参数:
X{类数组或稀疏矩阵}，形状为 (n_samples, n_features)

输入样本。在内部，它将被转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回:
p数组，形状为 (n_samples, n_classes)

输入样本的类别概率。类别的顺序与属性 classes_ 中的顺序一致。

score(X, y, **score_params)[source]#

使用 scoring 选项对给定测试数据和标签进行评分。

参数:
X类数组，形状为 (n_samples, n_features)

测试样本。

y类数组，形状为 (n_samples,)

X 的真实标签。

**score_params字典

要传递给底层评分器 score 方法的参数。

1.6 版本新增：仅当 enable_metadata_routing=True 时可用，可通过使用 sklearn.set_config(enable_metadata_routing=True) 进行设置。有关更多详细信息，请参阅元数据路由用户指南。

返回:
score浮点型

self.predict(X) 相对于由 scoring 定义的 y 的分数。

set_output(*, transform=None)[source]#

设置输出容器。

有关如何使用此 API 的示例，请参阅介绍 set_output API。

参数:
transform{“default”, “pandas”, “polars”}，默认值为 None

配置 transform 和 fit_transform 的输出。

  • "default"：转换器的默认输出格式

  • "pandas"：DataFrame 输出

  • "polars"：Polars 输出

  • None：转换配置保持不变

1.4 版本新增：添加了 "polars" 选项。

返回:
self估计器实例

估计器实例。

set_params(**params)[source]#

设置此估计器的参数。

该方法适用于简单估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数:
**params字典

估计器参数。

返回:
self估计器实例

估计器实例。

transform(X)[source]#

将 X 降维到选定特征。

参数:
X数组，形状为 [n_samples, n_features]

输入样本。

返回:
X_r数组，形状为 [n_samples, n_selected_features]

仅包含选定特征的输入样本。