绘制个体和投票回归预测

投票回归器是一种集成元估计器，它在整个数据集上拟合多个基础回归器。然后它平均各个预测以形成最终预测。我们将使用三种不同的回归器来预测数据：GradientBoostingRegressor、RandomForestRegressor 和 LinearRegression。然后上述 3 个回归器将用于 VotingRegressor。

最后，我们将绘制所有模型做出的预测以进行比较。

我们将使用糖尿病数据集，该数据集包含从一组糖尿病患者收集的 10 个特征。目标是基线后一年疾病进展的定量测量。

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import matplotlib.pyplot as plt

from sklearn.datasets import load_diabetes
from sklearn.ensemble import (
    GradientBoostingRegressor,
    RandomForestRegressor,
    VotingRegressor,
)
from sklearn.linear_model import LinearRegression

训练分类器

首先，我们将加载糖尿病数据集，并初始化一个梯度提升回归器、一个随机森林回归器和一个线性回归器。接下来，我们将使用这 3 个回归器来构建投票回归器

X, y = load_diabetes(return_X_y=True)

# Train classifiers
reg1 = GradientBoostingRegressor(random_state=1)
reg2 = RandomForestRegressor(random_state=1)
reg3 = LinearRegression()

reg1.fit(X, y)
reg2.fit(X, y)
reg3.fit(X, y)

ereg = VotingRegressor([("gb", reg1), ("rf", reg2), ("lr", reg3)])
ereg.fit(X, y)

VotingRegressor(estimators=[('gb', GradientBoostingRegressor(random_state=1)),
                            ('rf', RandomForestRegressor(random_state=1)),
                            ('lr', LinearRegression())])

在 Jupyter 环境中，请重新运行此单元格以显示 HTML 表示或信任此笔记本。
在 GitHub 上，HTML 表示无法渲染，请尝试使用 nbviewer.org 加载此页面。

进行预测

现在我们将使用每个回归器进行前 20 个预测。

xt = X[:20]

pred1 = reg1.predict(xt)
pred2 = reg2.predict(xt)
pred3 = reg3.predict(xt)
pred4 = ereg.predict(xt)

绘制结果

最后，我们将可视化这 20 个预测。红色星号显示了由 VotingRegressor 做出的平均预测。

plt.figure()
plt.plot(pred1, "gd", label="GradientBoostingRegressor")
plt.plot(pred2, "b^", label="RandomForestRegressor")
plt.plot(pred3, "ys", label="LinearRegression")
plt.plot(pred4, "r*", ms=10, label="VotingRegressor")

plt.tick_params(axis="x", which="both", bottom=False, top=False, labelbottom=False)
plt.ylabel("predicted")
plt.xlabel("training samples")
plt.legend(loc="best")
plt.title("Regressor predictions and their average")

plt.show()

相关示例

使用堆叠组合预测器

使用堆叠组合预测器

带 AdaBoost 的决策树回归

带 AdaBoost 的决策树回归

梯度提升回归

梯度提升回归

比较随机森林和多输出元估计器

比较随机森林和多输出元估计器