带交叉验证的递归特征消除#

一个递归特征消除 (RFE) 示例，通过交叉验证自动调整所选特征的数量。

数据生成#

我们使用 3 个信息特征构建了一个分类任务。引入 2 个额外的冗余（即相关）特征的效果是，所选特征会因交叉验证折叠而异。其余特征是非信息性的，因为它们是随机绘制的。

from sklearn.datasets import make_classification

X, y = make_classification(
    n_samples=500,
    n_features=15,
    n_informative=3,
    n_redundant=2,
    n_repeated=0,
    n_classes=8,
    n_clusters_per_class=1,
    class_sep=0.8,
    random_state=0,
)

模型训练和选择#

我们创建 RFE 对象并计算交叉验证分数。评分策略“准确率”优化了正确分类样本的比例。

from sklearn.feature_selection import RFECV
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold

min_features_to_select = 1  # Minimum number of features to consider
clf = LogisticRegression()
cv = StratifiedKFold(5)

rfecv = RFECV(
    estimator=clf,
    step=1,
    cv=cv,
    scoring="accuracy",
    min_features_to_select=min_features_to_select,
    n_jobs=2,
)
rfecv.fit(X, y)

print(f"Optimal number of features: {rfecv.n_features_}")

Optimal number of features: 3

在本例中，发现具有 3 个特征（对应于真实的生成模型）的模型是最优的。

绘制特征数量与交叉验证分数的关系图#

import matplotlib.pyplot as plt
import pandas as pd

cv_results = pd.DataFrame(rfecv.cv_results_)
plt.figure()
plt.xlabel("Number of features selected")
plt.ylabel("Mean test accuracy")
plt.errorbar(
    x=cv_results["n_features"],
    y=cv_results["mean_test_score"],
    yerr=cv_results["std_test_score"],
)
plt.title("Recursive Feature Elimination \nwith correlated features")
plt.show()

Recursive Feature Elimination with correlated features

从上图中，我们可以进一步注意到，对于 3 到 5 个选定特征，存在一个等效分数的平台（相似的平均值和重叠的误差线）。这是引入相关特征的结果。实际上，RFE 选择的最优模型可以位于此范围内，具体取决于交叉验证技术。测试精度在超过 5 个选定特征后会下降，也就是说，保留非信息性特征会导致过拟合，因此不利于模型的统计性能。

脚本总运行时间：（0 分钟 0.521 秒）