RFE#

类 sklearn.feature_selection.RFE(estimator, *, n_features_to_select=None, step=1, verbose=0, importance_getter='auto')[source]#

使用递归特征消除进行特征排序。

给定一个为特征分配权重的外部估计器（例如，线性模型的系数），递归特征消除（RFE）的目标是通过递归地考虑越来越小的特征集来选择特征。首先，在初始特征集上训练估计器，并通过任何特定属性或可调用对象获取每个特征的重要性。然后，从当前特征集中剪除最不重要的特征。该过程在剪除后的集合上递归重复，直到最终达到所需的特征数量。

在用户指南中阅读更多内容。

参数:

estimatorEstimator 实例

一个具有fit方法的有监督学习估计器，该方法提供特征重要性信息（例如coef_、feature_importances_）。

n_features_to_select整数或浮点数, 默认值=None

要选择的特征数量。如果为None，则选择一半的特征。如果为整数，则参数是选择特征的绝对数量。如果为0到1之间的浮点数，则表示选择特征的比例。

版本 0.24 中的变化: 为分数添加了浮点值。

step整数或浮点数, 默认值=1

如果大于或等于1，则step对应于每次迭代中要删除的特征的（整数）数量。如果介于(0.0, 1.0)之间，则step对应于每次迭代中要删除的特征的百分比（向下取整）。

verbose整数, 默认值=0

控制输出的详细程度。

importance_getter字符串或可调用对象, 默认值=’auto’

如果为'auto'，则通过估计器的coef_或feature_importances_属性获取特征重要性。

也接受一个指定属性名称/路径的字符串，用于提取特征重要性（通过attrgetter实现）。例如，对于TransformedTargetRegressor，可给出regressor_.coef_；对于类：~sklearn.pipeline.Pipeline，其最后一步名为clf，则可给出named_steps.clf.feature_importances_。

如果为callable，则会覆盖默认的特征重要性获取器。该可调用对象会传入已拟合的估计器，并应返回每个特征的重要性。

版本 0.24 中新增。

属性:

classes_形状为 (n_classes,) 的 ndarray: 当estimator是分类器时，可用的类别标签。
estimator_Estimator 实例: 用于选择特征的已拟合估计器。
n_features_整数: 所选特征的数量。
n_features_in_整数: 在拟合期间看到的特征数量。仅当底层估计器在拟合时公开此属性时才定义。

版本 0.24 中新增。
feature_names_in_形状为 (n_features_in_,) 的 ndarray: 在拟合期间看到的特征名称。仅当X的特征名称均为字符串时才定义。

版本 1.0 中新增。
ranking_形状为 (n_features,) 的 ndarray: 特征排名，其中ranking_[i]对应于第i个特征的排名位置。已选择的（即估计最佳的）特征被分配排名1。
support_形状为 (n_features,) 的 ndarray: 已选特征的掩码。

另请参阅

RFECV: 带有内置交叉验证的最佳特征数量选择的递归特征消除。
SelectFromModel: 基于重要性权重阈值的特征选择。
SequentialFeatureSelector: 基于顺序交叉验证的特征选择。不依赖于重要性权重。

备注

如果底层估计器也允许，则输入中允许NaN/Inf。

参考文献

[1]

Guyon, I., Weston, J., Barnhill, S., & Vapnik, V., “使用支持向量机进行癌症分类的基因选择”, Mach. Learn., 46(1-3), 389–422, 2002。

示例

以下示例展示了如何从 Friedman #1 数据集中检索5个最具信息量的特征。

>>> from sklearn.datasets import make_friedman1
>>> from sklearn.feature_selection import RFE
>>> from sklearn.svm import SVR
>>> X, y = make_friedman1(n_samples=50, n_features=10, random_state=0)
>>> estimator = SVR(kernel="linear")
>>> selector = RFE(estimator, n_features_to_select=5, step=1)
>>> selector = selector.fit(X, y)
>>> selector.support_
array([ True,  True,  True,  True,  True, False, False, False, False,
       False])
>>> selector.ranking_
array([1, 1, 1, 1, 1, 6, 4, 3, 2, 5])

decision_function(X)[source]#

计算X的决策函数。

参数:

X{类数组或稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。

返回:

score数组, 形状为 [n_samples, n_classes] 或 [n_samples]: 输入样本的决策函数。类别的顺序与属性classes_中的顺序一致。回归和二元分类会生成形状为 [n_samples] 的数组。

fit(X, y, **fit_params)[source]#

拟合RFE模型，然后在所选特征上拟合底层估计器。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features)

训练输入样本。

y形状为 (n_samples,) 的类数组

目标值。

**fit_params字典

如果enable_metadata_routing=False (默认值)：直接传递给底层估计器的fit方法的参数。
如果enable_metadata_routing=True：安全地路由到底层估计器的fit方法的参数。

版本 1.6 中的变化: 有关更多详细信息，请参阅元数据路由用户指南。

返回:

self对象: 已拟合的估计器。

fit_transform(X, y=None, **fit_params)[source]#

拟合数据，然后对其进行转换。

使用可选参数fit_params将转换器拟合到X和y，并返回X的转换版本。

参数:

X形状为 (n_samples, n_features) 的类数组: 输入样本。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组, 默认值=None: 目标值（对于无监督转换，为 None）。
**fit_params字典: 额外的拟合参数。

返回:

X_new形状为 (n_samples, n_features_new) 的 ndarray 数组: 转换后的数组。

get_feature_names_out(input_features=None)[source]#

根据所选特征屏蔽特征名称。

参数:

input_features字符串类数组或 None, 默认值=None

输入特征。

如果input_features为None，则使用feature_names_in_作为输入特征名称。如果feature_names_in_未定义，则生成以下输入特征名称：["x0", "x1", ..., "x(n_features_in_ - 1)"]。
如果input_features是类数组，那么如果feature_names_in_已定义，则input_features必须与feature_names_in_匹配。

返回:

feature_names_out字符串对象 ndarray: 转换后的特征名称。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅用户指南了解路由机制的工作原理。

版本 1.6 中新增。

返回:

routingMetadataRouter: 一个封装路由信息的MetadataRouter。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deep布尔值, 默认值=True: 如果为True，将返回此估计器及其包含的作为估计器的子对象的参数。

返回:

params字典: 参数名称及其对应的值。

get_support(indices=False)[source]#

获取所选特征的掩码或整数索引。

参数:

indices布尔值, 默认值=False: 如果为True，返回值将是一个整数数组，而不是布尔掩码。

返回:

support数组: 一个索引，用于从特征向量中选择保留的特征。如果indices为False，这是一个形状为[# input features]的布尔数组，其中一个元素为True当且仅当其对应的特征被选择保留。如果indices为True，这是一个形状为[# output features]的整数数组，其值是输入特征向量的索引。

inverse_transform(X)[source]#

反转转换操作。

参数:

X形状为 [n_samples, n_selected_features] 的数组: 输入样本。

返回:

X_original形状为 [n_samples, n_original_features] 的数组: 在transform方法移除特征的位置插入零列的X。

predict(X, **predict_params)[source]#

将X降维到所选特征，并使用估计器进行预测。

参数:

X形状为 [n_samples, n_features] 的数组: 输入样本。
**predict_params字典: 路由到底层估计器的predict方法的参数。

版本 1.6 中新增: 仅当enable_metadata_routing=True时可用，可通过使用sklearn.set_config(enable_metadata_routing=True)进行设置。有关更多详细信息，请参阅元数据路由用户指南。

返回:

y形状为 [n_samples] 的数组: 预测的目标值。

predict_log_proba(X)[source]#

预测X的类别对数概率。

参数:

X形状为 [n_samples, n_features] 的数组: 输入样本。

返回:

p形状为 (n_samples, n_classes) 的数组: 输入样本的类别对数概率。类别的顺序与属性classes_中的顺序一致。

predict_proba(X)[source]#

预测X的类别概率。

参数:

X{类数组或稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。

返回:

p形状为 (n_samples, n_classes) 的数组: 输入样本的类别概率。类别的顺序与属性classes_中的顺序一致。

score(X, y, **score_params)[source]#

将X降维到所选特征，并返回估计器的得分。

参数:

X形状为 [n_samples, n_features] 的数组

输入样本。

y形状为 [n_samples] 的数组

目标值。

**score_params字典

如果enable_metadata_routing=False (默认值)：直接传递给底层估计器的score方法的参数。
如果enable_metadata_routing=True：安全地路由到底层估计器的score方法的参数。

版本 1.0 中新增。

版本 1.6 中的变化: 有关更多详细信息，请参阅元数据路由用户指南。

返回:

score浮点数: 使用rfe.transform(X)和y返回的所选特征计算的底层基本估计器的得分。

set_output(*, transform=None)[source]#

设置输出容器。

有关如何使用此API的示例，请参阅set_output API简介。

参数:

transform{“default”, “pandas”, “polars”}, 默认值=None

配置transform和fit_transform的输出。

"default": 转换器的默认输出格式
"pandas": DataFrame 输出
"polars": Polars 输出
None: 转换配置不变

版本 1.4 中新增: 添加了"polars"选项。

返回:

self估计器实例: 估计器实例。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单估计器以及嵌套对象（例如Pipeline）。后者具有<component>__<parameter>形式的参数，以便可以更新嵌套对象的每个组件。

参数:

**params字典: 估计器参数。

返回:

self估计器实例: 估计器实例。

transform(X)[source]#

将X降维到所选特征。

参数:

X形状为 [n_samples, n_features] 的数组: 输入样本。

返回:

X_r形状为 [n_samples, n_selected_features] 的数组: 仅包含所选特征的输入样本。

图库示例#

递归特征消除

RFE#

图库示例#

本页