使用树集成进行特征转换

将您的特征转换为高维稀疏空间，然后在此类特征上训练线性模型。

首先在训练集上拟合一个树集成（完全随机树、随机森林或梯度提升树）。随后，集成中每棵树的每个叶子节点都被分配到一个新特征空间中固定的任意特征索引。这些叶子索引随后以独热（one-hot）方式进行编码。

每个样本都会穿过集成中每棵树的决策路径，并最终停在每棵树的一个叶子节点上。通过将这些叶子对应的特征值设为 1，其余设为 0，从而对样本进行编码。

由此得到的转换器便学习到了数据的监督式、稀疏、高维类别嵌入。

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

首先，我们将创建一个大型数据集并将其拆分为三个部分：

• 一个用于训练集成方法的集合，该集合稍后将作为特征工程转换器使用；

• 一个用于训练线性模型的集合；

• 一个用于测试线性模型的集合。

以这种方式拆分数据非常重要，可以避免因数据泄露导致的过拟合。

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=80_000, random_state=10)

X_full_train, X_test, y_full_train, y_test = train_test_split(
    X, y, test_size=0.5, random_state=10
)
X_train_ensemble, X_train_linear, y_train_ensemble, y_train_linear = train_test_split(
    X_full_train, y_full_train, test_size=0.5, random_state=10
)

对于每种集成方法，我们将使用 10 个估计器（estimators）和 3 层的最大深度。

n_estimators = 10
max_depth = 3

首先，我们将在分离出的训练集上开始训练随机森林和梯度提升模型。

from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier

random_forest = RandomForestClassifier(
    n_estimators=n_estimators, max_depth=max_depth, random_state=10
)
random_forest.fit(X_train_ensemble, y_train_ensemble)

gradient_boosting = GradientBoostingClassifier(
    n_estimators=n_estimators, max_depth=max_depth, random_state=10
)
_ = gradient_boosting.fit(X_train_ensemble, y_train_ensemble)

请注意，对于中等规模数据集（n_samples >= 10_000），HistGradientBoostingClassifier 的速度要快得多，尽管这并非本示例的情况。

RandomTreesEmbedding 是一种无监督方法，因此不需要单独训练。

from sklearn.ensemble import RandomTreesEmbedding

random_tree_embedding = RandomTreesEmbedding(
    n_estimators=n_estimators, max_depth=max_depth, random_state=0
)

现在，我们将创建三个流水线（pipelines），它们将使用上述嵌入作为预处理阶段。

由于随机树嵌入是一个标准的 scikit-learn 转换器，它可以直接与逻辑回归流水线化。

from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline

rt_model = make_pipeline(random_tree_embedding, LogisticRegression(max_iter=1000))
rt_model.fit(X_train_linear, y_train_linear)

Pipeline(steps=[('randomtreesembedding',
                 RandomTreesEmbedding(max_depth=3, n_estimators=10,
                                      random_state=0)),
                ('logisticregression', LogisticRegression(max_iter=1000))])

在 Jupyter 环境中，请重新运行此单元格以显示 HTML 表示形式或信任 notebook。
在 GitHub 上，HTML 表示形式无法渲染，请尝试使用 nbviewer.org 加载此页面。

最后，我们可以将随机森林或梯度提升与逻辑回归进行流水线化。然而，特征转换是通过调用 apply 方法实现的。scikit-learn 中的流水线期望调用 transform。因此，我们用 FunctionTransformer 包装了对 apply 的调用。

from sklearn.preprocessing import FunctionTransformer, OneHotEncoder


def rf_apply(X, model):
    return model.apply(X)


rf_leaves_yielder = FunctionTransformer(rf_apply, kw_args={"model": random_forest})

rf_model = make_pipeline(
    rf_leaves_yielder,
    OneHotEncoder(handle_unknown="ignore"),
    LogisticRegression(max_iter=1000),
)
rf_model.fit(X_train_linear, y_train_linear)

Pipeline(steps=[('functiontransformer',
                 FunctionTransformer(func=<function rf_apply at 0x78414c6c97a0>,
                                     kw_args={'model': RandomForestClassifier(max_depth=3,
                                                                              n_estimators=10,
                                                                              random_state=10)})),
                ('onehotencoder', OneHotEncoder(handle_unknown='ignore')),
                ('logisticregression', LogisticRegression(max_iter=1000))])

在 Jupyter 环境中，请重新运行此单元格以显示 HTML 表示形式或信任 notebook。
在 GitHub 上，HTML 表示形式无法渲染，请尝试使用 nbviewer.org 加载此页面。

def gbdt_apply(X, model):
    return model.apply(X)[:, :, 0]


gbdt_leaves_yielder = FunctionTransformer(
    gbdt_apply, kw_args={"model": gradient_boosting}
)

gbdt_model = make_pipeline(
    gbdt_leaves_yielder,
    OneHotEncoder(handle_unknown="ignore"),
    LogisticRegression(max_iter=1000),
)
gbdt_model.fit(X_train_linear, y_train_linear)

Pipeline(steps=[('functiontransformer',
                 FunctionTransformer(func=<function gbdt_apply at 0x78414c6c9e80>,
                                     kw_args={'model': GradientBoostingClassifier(n_estimators=10,
                                                                                  random_state=10)})),
                ('onehotencoder', OneHotEncoder(handle_unknown='ignore')),
                ('logisticregression', LogisticRegression(max_iter=1000))])

在 Jupyter 环境中，请重新运行此单元格以显示 HTML 表示形式或信任 notebook。
在 GitHub 上，HTML 表示形式无法渲染，请尝试使用 nbviewer.org 加载此页面。

最后，我们可以展示所有模型不同的 ROC 曲线。

import matplotlib.pyplot as plt

from sklearn.metrics import RocCurveDisplay

_, ax = plt.subplots()

models = [
    ("RT embedding -> LR", rt_model),
    ("RF", random_forest),
    ("RF embedding -> LR", rf_model),
    ("GBDT", gradient_boosting),
    ("GBDT embedding -> LR", gbdt_model),
]

model_displays = {}
for name, pipeline in models:
    model_displays[name] = RocCurveDisplay.from_estimator(
        pipeline, X_test, y_test, ax=ax, name=name
    )
_ = ax.set_title("ROC curve")

_, ax = plt.subplots()
for name, pipeline in models:
    model_displays[name].plot(ax=ax)

ax.set_xlim(0, 0.2)
ax.set_ylim(0.8, 1)
_ = ax.set_title("ROC curve (zoomed in at top left)")

相关示例

手写数字上的流形学习：局部线性嵌入、Isomap…

手写数字流形学习：局部线性嵌入、Isomap...

决策树回归

决策树回归

scikit-learn 0.22 发布亮点

scikit-learn 0.22 发布亮点

比较随机森林和直方图梯度提升模型

比较随机森林和直方图梯度提升模型