RFE#

class sklearn.feature_selection.RFE(estimator, *, n_features_to_select=None, step=1, verbose=0, importance_getter='auto')[源]#

具有递归特征消除的特征排名。

给定一个外部估计器，该估计器为特征分配权重（例如，线性模型的系数），递归特征消除（RFE）的目标是通过递归地考虑越来越小的特征集来选择特征。首先，估计器在初始特征集上进行训练，并通过任何特定属性或可调用对象获取每个特征的重要性。然后，从当前特征集中修剪掉最不重要的特征。该过程在修剪后的集合上递归重复，直到最终达到所需选择的特征数量。

在用户指南中阅读更多内容。

参数:

estimatorEstimator 实例

一个具有 fit 方法的监督学习估计器，该方法提供有关特征重要性的信息（例如 coef_, feature_importances_）。

n_features_to_select整数或浮点数，默认值=None

要选择的特征数量。如果为 None，则选择一半特征。如果为整数，则该参数为要选择的特征的绝对数量。如果为介于0和1之间的浮点数，则为要选择的特征的比例。

0.24 版更改：为比例添加了浮点值。

step整数或浮点数，默认值=1

如果大于或等于1，则 step 对应于每次迭代要移除的（整数）特征数量。如果介于(0.0, 1.0)之间，则 step 对应于每次迭代要移除的特征百分比（向下取整）。

verboseint, default=0

控制输出的详细程度。

importance_getterstr or callable, default=’auto’

如果为 'auto'，则通过估计器的 coef_ 或 feature_importances_ 属性来使用特征重要性。

还接受一个字符串，该字符串指定用于提取特征重要性的属性名称/路径（通过 attrgetter 实现）。例如，在使用 TransformedTargetRegressor 时提供 regressor_.coef_，或者在使用最后一个步骤名为 clf 的 class:~sklearn.pipeline.Pipeline 时提供 named_steps.clf.feature_importances_。

If callable, overrides the default feature importance getter. The callable is passed with the fitted estimator and it should return importance for each feature.

0.24 版本新增。

属性:

classes_形状为 (n_classes,) 的 ndarray: 当 estimator 是分类器时可用的类别标签。
estimator_Estimator 实例: 用于选择特征的已拟合估计器。
n_features_整数: 选择的特征数量。
n_features_in_int: 在 fit 期间看到的特征数。仅当底层估计器在拟合时暴露此属性时才定义。

0.24 版本新增。
feature_names_in_shape 为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。
ranking_形状为 (n_features,) 的 ndarray: 特征排名，其中 ranking_[i] 对应于第 i 个特征的排名位置。已选（即估计最佳）特征被赋予等级 1。
support_形状为 (n_features,) 的 ndarray: 选定特征的掩码。

另请参阅

RFECV: 具有内置交叉验证最佳特征数量选择的递归特征消除。
SelectFromModel: 基于重要性权重阈值的特征选择。
SequentialFeatureSelector: 基于序列交叉验证的特征选择。不依赖于重要性权重。

注意事项

Allows NaN/Inf in the input if the underlying estimator does as well.

References

[1]

Guyon, I., Weston, J., Barnhill, S., & Vapnik, V., “Gene selection for cancer classification using support vector machines”, Mach. Learn., 46(1-3), 389–422, 2002.

示例

以下示例展示了如何在 Friedman #1 数据集中检索5个最具信息量的特征。

>>> from sklearn.datasets import make_friedman1
>>> from sklearn.feature_selection import RFE
>>> from sklearn.svm import SVR
>>> X, y = make_friedman1(n_samples=50, n_features=10, random_state=0)
>>> estimator = SVR(kernel="linear")
>>> selector = RFE(estimator, n_features_to_select=5, step=1)
>>> selector = selector.fit(X, y)
>>> selector.support_
array([ True,  True,  True,  True,  True, False, False, False, False,
       False])
>>> selector.ranking_
array([1, 1, 1, 1, 1, 6, 4, 3, 2, 5])

decision_function(X)[源]#

计算 X 的决策函数。

参数:

X{array-like or sparse matrix} of shape (n_samples, n_features): 输入样本。在内部，它将转换为 dtype=np.float32，如果提供了稀疏矩阵，则转换为稀疏的 csr_matrix。

返回:

score数组，形状 = [样本数, 类别数] 或 [样本数]: 输入样本的决策函数。类别的顺序与属性 classes_ 中的顺序一致。回归和二元分类产生一个形状为 [样本数] 的数组。

fit(X, y, **fit_params)[源]#

拟合 RFE 模型，然后在选定的特征上拟合底层估计器。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。

yarray-like of shape (n_samples,)

目标值。

**fit_paramsdict

如果 enable_metadata_routing=False（默认）：参数直接传递给底层估计器的 fit 方法。
如果 enable_metadata_routing=True：参数安全地路由到底层估计器的 fit 方法。

1.6 版更改：有关更多详细信息，请参阅元数据路由用户指南。

返回:

selfobject: 拟合的估计器。

fit_transform(X, y=None, **fit_params)[源]#

拟合数据，然后对其进行转换。

使用可选参数 fit_params 将转换器拟合到 X 和 y，并返回 X 的转换版本。

参数:

Xshape 为 (n_samples, n_features) 的 array-like: 输入样本。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象，默认=None: 目标值（对于无监督转换，为 None）。
**fit_paramsdict: 额外的拟合参数。仅当估计器在其 fit 方法中接受额外的参数时才传递。

返回:

X_newndarray array of shape (n_samples, n_features_new): 转换后的数组。

get_feature_names_out(input_features=None)[源]#

根据所选特征屏蔽特征名称。

参数:

input_featuresarray-like of str or None, default=None

输入特征。

如果 input_features 为 None，则使用 feature_names_in_ 作为输入特征名称。如果 feature_names_in_ 未定义，则生成以下输入特征名称：["x0", "x1", ..., "x(n_features_in_ - 1)"]。
如果 input_features 是 array-like，则如果定义了 feature_names_in_，input_features 必须与 feature_names_in_ 匹配。

返回:

feature_names_outstr 对象的 ndarray: 转换后的特征名称。

get_metadata_routing()[源]#

获取此对象的元数据路由。

请查阅用户指南，了解路由机制如何工作。

版本 1.6 中新增。

返回:

routingMetadataRouter: 封装路由信息的 MetadataRouter。

get_params(deep=True)[源]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

get_support(indices=False)[源]#

获取所选特征的掩码或整数索引。

参数:

indicesbool, default=False: 如果为 True，返回值将是一个整数数组，而不是布尔掩码。

返回:

supportarray: 从特征向量中选择保留特征的索引。如果 indices 为 False，则这是一个形状为 [# input features] 的布尔数组，其中元素为 True 当且仅当其对应的特征被选中保留。如果 indices 为 True，则这是一个形状为 [# output features] 的整数数组，其值是输入特征向量中的索引。

inverse_transform(X)[源]#

反转转换操作。

参数:

Xarray of shape [n_samples, n_selected_features]: 输入样本。

返回:

X_originalarray of shape [n_samples, n_original_features]: 在 transform 移除特征的位置插入零列的 X。

predict(X, **predict_params)[源]#

将 X 降维到选定的特征，并使用估计器进行预测。

参数:

Xarray of shape [n_samples, n_features]: 输入样本。
**predict_params字典: 要路由到底层估计器 predict 方法的参数。

版本 1.6 中新增：仅当 enable_metadata_routing=True 时可用，可通过使用 sklearn.set_config(enable_metadata_routing=True) 进行设置。有关详细信息，请参阅元数据路由用户指南。

返回:

y形状为 [样本数] 的数组: 预测的目标值。

predict_log_proba(X)[源]#

预测 X 的类别对数概率。

参数:

Xarray of shape [n_samples, n_features]: 输入样本。

返回:

p形状为 (样本数, 类别数) 的数组: 输入样本的类别对数概率。类的顺序对应于属性 classes_ 中的顺序。

predict_proba(X)[源]#

预测 X 的类别概率。

参数:

X{array-like or sparse matrix} of shape (n_samples, n_features): 输入样本。在内部，它将转换为 dtype=np.float32，如果提供了稀疏矩阵，则转换为稀疏的 csr_matrix。

返回:

p形状为 (样本数, 类别数) 的数组: 输入样本的类别概率。类的顺序对应于属性 classes_ 中的顺序。

score(X, y, **score_params)[源]#

将 X 降维到选定的特征，并返回估计器的分数。

参数:

Xarray of shape [n_samples, n_features]

输入样本。

y形状为 [样本数] 的数组

目标值。

**score_paramsdict

如果 enable_metadata_routing=False（默认）：参数直接传递给底层估计器的 score 方法。
如果 enable_metadata_routing=True：参数安全地路由到底层估计器的 score 方法。

1.0 版本新增。

1.6 版更改：有关更多详细信息，请参阅元数据路由用户指南。

返回:

scorefloat: 使用 rfe.transform(X) 和 y 返回的选定特征计算的底层基本估计器的分数。

set_output(*, transform=None)[源]#

设置输出容器。

请参阅用户指南以了解更多详细信息，并参考引入 set_output API 获取关于如何使用该 API 的示例。

参数:

transform{“default”, “pandas”, “polars”}, default=None

配置 transform 和 fit_transform 的输出。

"default": 转换器的默认输出格式
"pandas": DataFrame 输出
"polars": Polars 输出
None: 转换配置保持不变

1.4 版本新增: 添加了 "polars" 选项。

返回:

selfestimator instance: 估计器实例。

set_params(**params)[源]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计器参数。

返回:

selfestimator instance: 估计器实例。

transform(X)[源]#

将 X 减少到所选特征。

参数:

Xarray of shape [n_samples, n_features]: 输入样本。

返回:

X_rarray of shape [n_samples, n_selected_features]: 仅包含所选特征的输入样本。

Gallery examples#

递归特征消除