注意

转到末尾下载完整的示例代码。或通过 JupyterLite 或 Binder 在浏览器中运行此示例

偏依赖和个体条件期望图#

偏依赖图显示目标函数[2]与一组感兴趣的特征之间的依赖关系，对所有其他特征（补充特征）的值进行边缘化。由于人类感知的局限性，感兴趣的特征集的大小必须很小（通常是一个或两个），因此它们通常在最重要的特征中选择。

类似地，个体条件期望 (ICE) 图[3]显示目标函数与感兴趣特征之间的依赖关系。但是，与显示感兴趣特征平均效应的偏依赖图不同，ICE 图分别为每个样本显示预测对特征的依赖性，每个样本一条线。ICE 图仅支持一个感兴趣的特征。

本示例演示如何从在自行车共享数据集上训练的MLPRegressor和HistGradientBoostingRegressor获得偏依赖和 ICE 图。本示例的灵感来自[1]。

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

使用不同模型的一维偏依赖#

在本节中，我们将使用两种不同的机器学习模型计算单变量偏依赖： (i) 多层感知器和 (ii) 梯度提升模型。通过这两个模型，我们将演示如何计算和解释数值和类别特征的偏依赖图 (PDP) 和个体条件期望 (ICE)。

多层感知器#

让我们拟合一个MLPRegressor并计算单变量偏依赖图。

from time import time

from sklearn.neural_network import MLPRegressor
from sklearn.pipeline import make_pipeline

print("Training MLPRegressor...")
tic = time()
mlp_model = make_pipeline(
    mlp_preprocessor,
    MLPRegressor(
        hidden_layer_sizes=(30, 15),
        learning_rate_init=0.01,
        early_stopping=True,
        random_state=0,
    ),
)
mlp_model.fit(X_train, y_train)
print(f"done in {time() - tic:.3f}s")
print(f"Test R2 score: {mlp_model.score(X_test, y_test):.2f}")

Training MLPRegressor...
done in 0.679s
Test R2 score: 0.61

我们使用专门为神经网络创建的预处理器配置了一个管道，并调整了神经网络的大小和学习率，以在训练时间和测试集上的预测性能之间取得合理的平衡。

重要的是，这个表格数据集的特征具有非常不同的动态范围。神经网络往往对具有不同尺度的特征非常敏感，忘记预处理数值特征会导致模型性能非常差。

可以使用更大的神经网络获得更高的预测性能，但训练成本也会显著增加。

请注意，在绘制偏依赖图之前，务必检查模型在测试集上的准确性是否足够，因为解释给定特征对预测性能差的模型预测函数的影响几乎没有意义。在这方面，我们的MLP模型运行良好。

我们将绘制平均偏依赖。

import matplotlib.pyplot as plt

from sklearn.inspection import PartialDependenceDisplay

common_params = {
    "subsample": 50,
    "n_jobs": 2,
    "grid_resolution": 20,
    "random_state": 0,
}

print("Computing partial dependence plots...")
features_info = {
    # features of interest
    "features": ["temp", "humidity", "windspeed", "season", "weather", "hour"],
    # type of partial dependence plot
    "kind": "average",
    # information regarding categorical features
    "categorical_features": categorical_features,
}
tic = time()
_, ax = plt.subplots(ncols=3, nrows=2, figsize=(9, 8), constrained_layout=True)
display = PartialDependenceDisplay.from_estimator(
    mlp_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    (
        "Partial dependence of the number of bike rentals\n"
        "for the bike rental dataset with an MLPRegressor"
    ),
    fontsize=16,
)

Partial dependence of the number of bike rentals for the bike rental dataset with an MLPRegressor

Computing partial dependence plots...
done in 0.649s

梯度提升#

现在让我们拟合一个HistGradientBoostingRegressor，并对相同的特征计算偏依赖。我们还使用为此模型创建的特定预处理器。

from sklearn.ensemble import HistGradientBoostingRegressor

print("Training HistGradientBoostingRegressor...")
tic = time()
hgbdt_model = make_pipeline(
    hgbdt_preprocessor,
    HistGradientBoostingRegressor(
        categorical_features=categorical_features,
        random_state=0,
        max_iter=50,
    ),
)
hgbdt_model.fit(X_train, y_train)
print(f"done in {time() - tic:.3f}s")
print(f"Test R2 score: {hgbdt_model.score(X_test, y_test):.2f}")

Training HistGradientBoostingRegressor...
done in 0.128s
Test R2 score: 0.62

在这里，我们使用了梯度提升模型的默认超参数，无需任何预处理，因为基于树的模型天生就对数值特征的单调变换具有鲁棒性。

请注意，在这个表格数据集中，梯度提升机比神经网络的训练速度快得多，而且准确性也更高。调整它们的超参数也便宜得多（默认值往往效果很好，而神经网络通常并非如此）。

我们将绘制一些数值和类别特征的偏依赖图。

print("Computing partial dependence plots...")
tic = time()
_, ax = plt.subplots(ncols=3, nrows=2, figsize=(9, 8), constrained_layout=True)
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    (
        "Partial dependence of the number of bike rentals\n"
        "for the bike rental dataset with a gradient boosting"
    ),
    fontsize=16,
)

Partial dependence of the number of bike rentals for the bike rental dataset with a gradient boosting

Computing partial dependence plots...
done in 1.218s

图的分析#

我们将首先查看数值特征的PDP。对于这两个模型，温度的PDP总体趋势是自行车租赁数量随着温度的升高而增加。我们可以进行类似的分析，但湿度特征的趋势相反。湿度增加时，自行车租赁数量减少。最后，我们看到风速特征也存在同样的趋势。对于这两个模型，风速增加时，自行车租赁数量减少。我们还观察到MLPRegressor的预测比HistGradientBoostingRegressor平滑得多。

现在，我们将查看类别特征的偏依赖图。

我们观察到，对于季节特征，春季是最低的。对于天气特征，降雨类别是最低的。关于小时特征，我们在早上7点和下午6点左右看到两个峰值。这些发现与我们之前对数据集的观察结果一致。

但是，值得注意的是，如果特征之间存在相关性，我们可能会创建潜在的无意义的合成样本。

ICE 与 PDP#

PDP是特征边际效应的平均值。我们对提供的数据集的所有样本的响应进行平均。因此，一些影响可能会被隐藏。在这方面，可以绘制每个单独的响应。这种表示称为个体效应图 (ICE)。在下图中，我们绘制了温度和湿度特征的50个随机选择的ICE。

print("Computing partial dependence plots and individual conditional expectation...")
tic = time()
_, ax = plt.subplots(ncols=2, figsize=(6, 4), sharey=True, constrained_layout=True)

features_info = {
    "features": ["temp", "humidity"],
    "kind": "both",
    "centered": True,
}

display = PartialDependenceDisplay.from_estimator(
    hgbdt_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle("ICE and PDP representations", fontsize=16)

Computing partial dependence plots and individual conditional expectation...
done in 0.507s

我们看到，温度特征的ICE为我们提供了一些额外的信息：一些ICE线是平的，而另一些则显示出在温度高于35摄氏度时依赖性下降。我们观察到湿度特征也存在类似的模式：当湿度高于80%时，一些ICE线急剧下降。

并非所有ICE线都是平行的，这表明模型发现了特征之间的交互作用。我们可以通过使用参数interaction_cst约束梯度提升模型不使用特征之间的任何交互作用来重复实验。

from sklearn.base import clone

interaction_cst = [[i] for i in range(X_train.shape[1])]
hgbdt_model_without_interactions = (
    clone(hgbdt_model)
    .set_params(histgradientboostingregressor__interaction_cst=interaction_cst)
    .fit(X_train, y_train)
)
print(f"Test R2 score: {hgbdt_model_without_interactions.score(X_test, y_test):.2f}")

Test R2 score: 0.38

_, ax = plt.subplots(ncols=2, figsize=(6, 4), sharey=True, constrained_layout=True)

features_info["centered"] = False
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model_without_interactions,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
_ = display.figure_.suptitle("ICE and PDP representations", fontsize=16)

二维交互图#

具有两个感兴趣特征的PDP使我们能够可视化它们之间的交互作用。但是，ICE不能以简单的方式绘制，因此难以解释。我们将展示from_estimator中提供的表示，这是一个二维热图。

print("Computing partial dependence plots...")
features_info = {
    "features": ["temp", "humidity", ("temp", "humidity")],
    "kind": "average",
}
_, ax = plt.subplots(ncols=3, figsize=(10, 4), constrained_layout=True)
tic = time()
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    "1-way vs 2-way of numerical PDP using gradient boosting", fontsize=16
)

1-way vs 2-way of numerical PDP using gradient boosting

Computing partial dependence plots...
done in 8.160s

双变量偏依赖图显示了自行车租赁数量对温度和湿度的联合值的依赖性。我们清楚地看到了这两个特征之间的相互作用。对于高于20摄氏度的温度，湿度对自行车租赁数量的影响似乎与温度无关。

另一方面，对于低于20摄氏度的温度，温度和湿度都会持续影响自行车租赁数量。

此外，20摄氏度阈值的影响脊的斜率很大程度上取决于湿度水平：在干燥条件下脊很陡峭，但在湿度高于70%的潮湿条件下则平缓得多。

现在，我们将这些结果与为约束模型计算的相同图进行对比，该模型被约束为学习一个不依赖于这种非线性特征交互的预测函数。

print("Computing partial dependence plots...")
features_info = {
    "features": ["temp", "humidity", ("temp", "humidity")],
    "kind": "average",
}
_, ax = plt.subplots(ncols=3, figsize=(10, 4), constrained_layout=True)
tic = time()
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model_without_interactions,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    "1-way vs 2-way of numerical PDP using gradient boosting", fontsize=16
)

Computing partial dependence plots...
done in 7.703s

对于被约束为不建模特征交互的模型，一维偏依赖图显示每个特征单独存在局部峰值，特别是对于“湿度”特征。这些峰值可能反映了模型的退化行为，该模型试图通过过度拟合特定训练点来补偿被禁止的交互作用。请注意，根据测试集测量的此模型的预测性能明显低于原始的、不受约束的模型。

另请注意，在这些图上可见的局部峰值的数量取决于PD图本身的网格分辨率参数。

局部峰值导致二维偏依赖 (PD) 图呈现出噪声较大的网格状。由于湿度特征存在高频振荡，很难判断这些特征之间是否存在相互作用。然而，可以清楚地看到，当温度超过20度边界时观察到的简单交互效应在这个模型中不再可见。

类别特征之间的偏依赖性将提供一个离散的表示，可以以热图的形式显示。例如，季节、天气和目标变量之间的交互作用如下所示：

print("Computing partial dependence plots...")
features_info = {
    "features": ["season", "weather", ("season", "weather")],
    "kind": "average",
    "categorical_features": categorical_features,
}
_, ax = plt.subplots(ncols=3, figsize=(14, 6), constrained_layout=True)
tic = time()
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)

print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    "1-way vs 2-way PDP of categorical features using gradient boosting", fontsize=16
)

1-way vs 2-way PDP of categorical features using gradient boosting

Computing partial dependence plots...
done in 0.732s

三维表示#

让我们针对两个特征的交互作用绘制相同的偏依赖图，这次使用三维表示。

# unused but required import for doing 3d projections with matplotlib < 3.2
import mpl_toolkits.mplot3d  # noqa: F401
import numpy as np

from sklearn.inspection import partial_dependence

fig = plt.figure(figsize=(5.5, 5))

features = ("temp", "humidity")
pdp = partial_dependence(
    hgbdt_model, X_train, features=features, kind="average", grid_resolution=10
)
XX, YY = np.meshgrid(pdp["grid_values"][0], pdp["grid_values"][1])
Z = pdp.average[0].T
ax = fig.add_subplot(projection="3d")
fig.add_axes(ax)

surf = ax.plot_surface(XX, YY, Z, rstride=1, cstride=1, cmap=plt.cm.BuPu, edgecolor="k")
ax.set_xlabel(features[0])
ax.set_ylabel(features[1])
fig.suptitle(
    "PD of number of bike rentals on\nthe temperature and humidity GBDT model",
    fontsize=16,
)
# pretty init view
ax.view_init(elev=22, azim=122)
clb = plt.colorbar(surf, pad=0.08, shrink=0.6, aspect=10)
clb.ax.set_title("Partial\ndependence")
plt.show()

PD of number of bike rentals on the temperature and humidity GBDT model, Partial dependence

脚本总运行时间：（0 分钟 25.018 秒）

偏依赖和个体条件期望图#

机器学习模型的预处理器#

神经网络模型的预处理器#

梯度提升模型的预处理器#

使用不同模型的一维偏依赖#

多层感知器#

梯度提升#

图的分析#

ICE 与 PDP#

二维交互图#

三维表示#

偏依赖和个体条件期望图#

自行车共享数据集预处理#

机器学习模型的预处理器#

神经网络模型的预处理器#

梯度提升模型的预处理器#

使用不同模型的一维偏依赖#

多层感知器#

梯度提升#

图的分析#

ICE 与 PDP#

二维交互图#

三维表示#