带交叉验证的递归特征消除#

class sklearn.feature_selection.RFECV(estimator, *, step=1, min_features_to_select=1, cv=None, scoring=None, verbose=0, n_jobs=None, importance_getter='auto')[source]#

带交叉验证的递归特征消除，用于选择特征。

通过在不同的交叉验证分割（由 cv 参数提供）上拟合 RFE 选择器来自动调整所选特征的数量。RFE 选择器的性能使用 scorer 对不同数量的选定特征进行评估，并进行汇总。最后，对各个折的得分进行平均，并将选定特征的数量设置为使交叉验证得分最大化的特征数量。参见交叉验证估计器的词汇表条目。

更多详情请参见用户指南。

参数:

estimator估计器 实例

一个带有 fit 方法的监督学习估计器，该方法通过 coef_ 属性或 feature_importances_ 属性提供关于特征重要性的信息。

stepint 或 float，默认为 1

如果大于或等于 1，则 step 表示每次迭代中移除的特征数（整数）。如果在 (0.0, 1.0) 范围内，则 step 表示每次迭代中移除的特征百分比（向下取整）。请注意，为了达到 min_features_to_select，最后一次迭代可能移除的特征少于 step 个。

min_features_to_selectint，默认为 1

要选择的最小特征数。即使原始特征数与 min_features_to_select 之间的差值不能被 step 整除，也会始终对这个数量的特征进行评分。

0.20 版本新增。

cvint，交叉验证生成器或可迭代对象，默认为 None

确定交叉验证拆分策略。cv 的可能输入为：

None，使用默认的 5 折交叉验证；
整数，指定折叠数。
CV 分隔器,
一个可迭代对象，产生 (train, test) 拆分作为索引数组。

对于整数/None 输入，如果 y 是二元或多类别，则使用 StratifiedKFold。如果估计器不是分类器，或者 y 既不是二元也不是多类别，则使用 KFold。

请参考用户指南，了解此处可使用的各种交叉验证策略。

0.22 版本变更： cv 的默认值 None 从 3 折更改为 5 折。

scoringstr，callable 或 None，默认为 None

一个字符串（参见评分参数：定义模型评估规则）或一个评分器可调用对象/函数，其签名为 scorer(estimator, X, y)。

verboseint，默认为 0

控制输出的详细程度。

n_jobsint 或 None，默认为 None

在拟合过程中跨折叠并行运行的核心数。 None 表示 1（除非在 joblib.parallel_backend 上下文中）。-1 表示使用所有处理器。更多详情请参见词汇表。

0.18 版本新增。

importance_getterstr 或 callable，默认为 ‘auto’

如果为 ‘auto’，则通过估计器的 coef_ 或 feature_importances_ 属性使用特征重要性。

还接受指定用于提取特征重要性的属性名称/路径的字符串。例如，对于 TransformedTargetRegressor，可以使用 regressor_.coef_；对于 Pipeline（其最后一步命名为 clf），可以使用 named_steps.clf.feature_importances_。

如果为 callable，则覆盖默认的特征重要性获取器。可调用对象将使用拟合后的估计器传递，并且它应该返回每个特征的重要性。

0.24 版本新增。

属性:

classes_形状为 (n_classes,) 的 ndarray

当 estimator 是分类器时可用的类别标签。

estimator_估计器 实例

用于选择特征的拟合估计器。

cv_results_ndarray 字典

所有数组（字典的值）都按使用的特征数量升序排序（即，数组的第一个元素表示使用最少特征的模型，而最后一个元素表示使用所有可用特征的模型）。

1.0 版本新增。

此字典包含以下键：

split(k)_test_score形状为 (n_subsets_of_features,) 的 ndarray: 跨 (k) 折的交叉验证分数。
mean_test_score形状为 (n_subsets_of_features,) 的 ndarray: 各折分数的平均值。
std_test_score形状为 (n_subsets_of_features,) 的 ndarray: 各折分数的标准差。
n_features形状为 (n_subsets_of_features,) 的 ndarray: 每一步使用的特征数。

1.5 版本新增。

n_features_int

使用交叉验证选择的特征数。

n_features_in_int

在拟合期间看到的特征数。仅当底层估计器在拟合时公开此类属性时才定义。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。仅当 X 的特征名称全部为字符串时才定义。

1.0 版本新增。

ranking_形状为 (n_features,) 的 narray

特征排名，使得 ranking_[i] 对应于第 i 个特征的排名位置。选定的（即估计最佳的）特征被赋予排名 1。

support_形状为 (n_features,) 的 ndarray

选定特征的掩码。

另请参见

RFE: 递归特征消除。

注释

cv_results_ 中所有值的长度等于 ceil((n_features - min_features_to_select) / step) + 1，其中 step 是每次迭代中移除的特征数。

如果底层估计器也允许，则允许输入中出现 NaN/Inf。

参考文献

[1]

Guyon, I., Weston, J., Barnhill, S., & Vapnik, V., “基于支持向量机的癌症分类基因选择”, Mach. Learn., 46(1-3), 389–422, 2002。

示例

以下示例演示如何在 Friedman #1 数据集中检索事先未知的 5 个信息特征。

>>> from sklearn.datasets import make_friedman1
>>> from sklearn.feature_selection import RFECV
>>> from sklearn.svm import SVR
>>> X, y = make_friedman1(n_samples=50, n_features=10, random_state=0)
>>> estimator = SVR(kernel="linear")
>>> selector = RFECV(estimator, step=1, cv=5)
>>> selector = selector.fit(X, y)
>>> selector.support_
array([ True,  True,  True,  True,  True, False, False, False, False,
       False])
>>> selector.ranking_
array([1, 1, 1, 1, 1, 6, 4, 3, 2, 5])

属性 classes_#

当 estimator 是分类器时可用的类别标签。

返回:

形状为 (n_classes,) 的 ndarray

decision_function(X)[源代码]#

计算 X 的决策函数。

参数:

X形状为 (n_samples, n_features) 的 {类数组或稀疏矩阵}: 输入样本。内部将将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回:

score数组，形状 = [n_samples, n_classes] 或 [n_samples]: 输入样本的决策函数。类的顺序与属性 classes_ 中的顺序一致。回归和二元分类会生成形状为 [n_samples] 的数组。

fit(X, y, *, groups=None, **params)[源代码]#

拟合 RFE 模型并自动调整所选特征的数量。

参数:

X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}: 训练向量，其中 n_samples 是样本数，n_features 是特征总数。
y形状为 (n_samples,) 的类数组: 目标值（分类为整数，回归为实数）。
groups形状为 (n_samples,) 的类数组或 None，默认为 None: 将数据集拆分为训练集/测试集时使用的样本的组标签。仅与“组” cv 实例（例如，GroupKFold）结合使用。

0.20 版本新增。
**paramsstr 到对象的字典: 传递给估计器的 fit 方法、评分器和 CV 分割器的参数。

1.6 版中新增：仅当 enable_metadata_routing=True 时才可用，这可以通过使用 sklearn.set_config(enable_metadata_routing=True) 来设置。有关更多详细信息，请参见元数据路由用户指南。

返回:

self对象: 拟合的估计器。

fit_transform(X, y=None, **fit_params)[源代码]#

拟合数据，然后转换数据。

使用可选参数 fit_params 将转换器拟合到 X 和 y，并返回 X 的转换版本。

参数:

X形状为 (n_samples, n_features) 的类数组: 输入样本。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组，默认为 None: 目标值（无监督转换则为 None）。
**fit_params字典: 其他拟合参数。

返回:

X_new形状为 (n_samples, n_features_new) 的 ndarray 数组: 转换后的数组。

get_feature_names_out(input_features=None)[源代码]#

根据选定的特征屏蔽特征名称。

参数:

input_featuresstr 的类数组或 None，默认为 None

输入特征。

如果 input_features 为 None，则 feature_names_in_ 用作输入特征名称。如果未定义 feature_names_in_，则会生成以下输入特征名称：["x0", "x1", ..., "x(n_features_in_ - 1)"]。
如果 input_features 是类数组，则如果定义了 feature_names_in_，则 input_features 必须与 feature_names_in_ 匹配。

返回:

feature_names_outstr 对象的 ndarray: 转换后的特征名称。

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

1.6 版中新增。

返回:

routingMetadataRouter: 一个封装路由信息的MetadataRouter。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deep布尔值，默认为 True: 如果为 True，则将返回此估计器和包含的子对象（这些子对象也是估计器）的参数。

返回:

params字典: 参数名称与其值的映射。

get_support(indices=False)[source]#

获取所选特征的掩码或整数索引。

参数:

indices布尔值，默认为 False: 如果为 True，则返回值将是整数数组，而不是布尔掩码。

返回:

support数组: 一个索引，用于从特征向量中选择保留的特征。如果 indices 为 False，则这是一个形状为 [# 输入特征] 的布尔数组，其中元素为 True 当且仅当其对应的特征被选中保留。如果 indices 为 True，则这是一个形状为 [# 输出特征] 的整数数组，其值是输入特征向量的索引。

inverse_transform(X)[source]#

反转转换操作。

参数:

X形状为 [n_samples, n_selected_features] 的数组: 输入样本。

返回:

X_r形状为 [n_samples, n_original_features] 的数组: 在 transform 将删除特征的位置插入零列的 X。

predict(X, **predict_params)[source]#

将 X 减少到选定的特征，并使用估计器进行预测。

参数:

X形状为 [n_samples, n_features] 的数组: 输入样本。
**predict_params字典: 要路由到基础估计器的 predict 方法的参数。

1.6 版中新增：仅当 enable_metadata_routing=True 时才可用，这可以通过使用 sklearn.set_config(enable_metadata_routing=True) 来设置。有关更多详细信息，请参见元数据路由用户指南。

返回:

y形状为 [n_samples] 的数组: 预测的目标值。

predict_log_proba(X)[source]#

预测 X 的类对数概率。

参数:

X形状为 [n_samples, n_features] 的数组: 输入样本。

返回:

p形状为 (n_samples, n_classes) 的数组: 输入样本的类对数概率。类的顺序与属性 classes_ 中的顺序一致。

predict_proba(X)[source]#

预测 X 的类概率。

参数:

X形状为 (n_samples, n_features) 的 {类数组或稀疏矩阵}: 输入样本。内部将将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回:

p形状为 (n_samples, n_classes) 的数组: 输入样本的类概率。类的顺序与属性 classes_ 中的顺序一致。

score(X, y, **score_params)[source]#

使用给定的测试数据和标签上的 scoring 选项进行评分。

参数:

X形状为 (n_samples, n_features) 的类数组: 测试样本。
y形状为 (n_samples,) 的类数组: X 的真实标签。
**score_params字典: 要传递给基础评分器的 score 方法的参数。

1.6 版中新增：仅当 enable_metadata_routing=True 时才可用，这可以通过使用 sklearn.set_config(enable_metadata_routing=True) 来设置。有关更多详细信息，请参见元数据路由用户指南。

返回:

score浮点数: 由 scoring 定义的 self.predict(X) 关于 y 的得分。

set_output(*, transform=None)[source]#

设置输出容器。

参见 Introducing the set_output API，了解如何使用 API 的示例。

参数:

transform{"default", "pandas", "polars"}，默认为 None

配置 transform 和 fit_transform 的输出。

"default"：转换器的默认输出格式
"pandas"：DataFrame 输出
"polars"：Polars 输出
None：转换配置保持不变

1.4 版本新增： "polars" 选项已添加。

返回:

self估计器实例: 估计器实例。

set_params(**params)[源代码]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数:

**params字典: 估计器参数。

返回:

self估计器实例: 估计器实例。

transform(X)[源代码]#

将 X 减少到选定的特征。

参数:

X形状为 [n_samples, n_features] 的数组: 输入样本。

返回:

X_r形状为 [n_samples, n_selected_features] 的数组: 仅包含选定特征的输入样本。

图库示例#

具有交叉验证的递归特征消除