GradientBoostingRegressor#

class sklearn.ensemble.GradientBoostingRegressor(*, loss='squared_error', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)[source]#

用于回归的梯度提升。

这个估计器以正向阶段式构建加性模型；它允许优化任意可微分的损失函数。在每个阶段，都会针对给定损失函数的负梯度拟合一个回归树。

HistGradientBoostingRegressor 是该算法针对中大型数据集 (n_samples >= 10_000) 的更快变体，并支持单调约束。

在用户指南中阅读更多内容。

参数:

loss{'squared_error', 'absolute_error', 'huber', 'quantile'}，默认='squared_error'

要优化的损失函数。“squared_error”表示回归的平方误差。“absolute_error”表示回归的绝对误差，是一个鲁棒的损失函数。“huber”是两者的组合。“quantile”允许分位数回归（使用 alpha 指定分位数）。有关演示如何使用 loss='quantile' 进行分位数回归以创建预测区间的示例，请参阅梯度提升回归的预测区间。

learning_ratefloat, default=0.1

学习率通过 learning_rate 缩小每棵树的贡献。学习率和 n_estimators 之间存在权衡。值必须在 [0.0, inf) 范围内。

n_estimatorsint, default=100

要执行的boosting阶段数。梯度提升对过拟合相当鲁棒，因此较大的数值通常会带来更好的性能。值必须在 [1, inf) 范围内。

subsample浮点数，默认=1.0

用于拟合单个基本学习器的样本比例。如果小于 1.0，则产生随机梯度提升。subsample 与参数 n_estimators 相互作用。选择 subsample < 1.0 会导致方差减小而偏差增加。值必须在 (0.0, 1.0] 范围内。

criterion{'friedman_mse', 'squared_error'}，默认='friedman_mse'

衡量分割质量的函数。支持的准则有“friedman_mse”（Friedman改进分数的均方误差）和“squared_error”（均方误差）。默认值“friedman_mse”通常是最佳选择，因为它在某些情况下可以提供更好的近似。

版本 0.18 新增。

min_samples_splitint or float, default=2

分割内部节点所需的最小样本数。

如果为整数，则值必须在 [2, inf) 范围内。
如果为浮点数，则值必须在 (0.0, 1.0] 范围内，并且 min_samples_split 将为 ceil(min_samples_split * n_samples)。

版本 0.18 更改：添加了分数浮点值。

min_samples_leafint or float, default=1

叶节点所需的最小样本数。只有当分割点在左右分支中都留下至少 min_samples_leaf 个训练样本时，才会考虑该分割点。这可能具有平滑模型的效果，尤其是在回归中。

如果为整数，则值必须在 [1, inf) 范围内。
如果为浮点数，则值必须在 (0.0, 1.0) 范围内，并且 min_samples_leaf 将为 ceil(min_samples_leaf * n_samples)。

版本 0.18 更改：添加了分数浮点值。

min_weight_fraction_leaffloat, default=0.0

在叶节点处所需的总权重（所有输入样本的权重之和）的最小加权分数。如果未提供 sample_weight，则样本具有相同的权重。值必须在 [0.0, 0.5] 范围内。

max_depth整数或 None，默认=3

单个回归估计器的最大深度。最大深度限制了树中的节点数。调整此参数以获得最佳性能；最佳值取决于输入变量的交互。如果为 None，则节点会一直扩展，直到所有叶子都纯净或所有叶子都包含少于 min_samples_split 个样本。如果为整数，则值必须在 [1, inf) 范围内。

min_impurity_decreasefloat, default=0.0

如果分割引起的杂质减少大于或等于此值，则节点将被分割。值必须在 [0.0, inf) 范围内。

加权杂质减少方程如下

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中 N 是样本总数，N_t 是当前节点的样本数，N_t_L 是左子节点中的样本数，N_t_R 是右子节点中的样本数。

如果传递了 sample_weight，则 N、N_t、N_t_R 和 N_t_L 都指的是加权和。

Added in version 0.19.

init估计器或 'zero'，默认=None

用于计算初始预测的估计器对象。init 必须提供 fit 和 predict。如果为 'zero'，则初始原始预测设置为零。默认情况下，使用 DummyEstimator，预测平均目标值（对于 loss='squared_error'）或其他损失的分位数。

random_stateint, RandomState instance or None, default=None

控制在每次boosting迭代中赋予每个树估计器的随机种子。此外，它还控制每次分割时特征的随机排列（详见注释）。如果 n_iter_no_change 不为 None，它还控制训练数据的随机分割以获得验证集。传入一个整数以在多次函数调用中获得可重现的输出。请参阅词汇表。

max_features{'sqrt', 'log2'}，整数或浮点数，默认=None

寻找最佳分割时要考虑的特征数量。

如果为整数，则值必须在 [1, inf) 范围内。
如果为浮点数，则值必须在 (0.0, 1.0] 范围内，并且每次分割时考虑的特征将是 max(1, int(max_features * n_features_in_))。
如果为 “sqrt”，则 max_features=sqrt(n_features)。
如果为 “log2”，则 max_features=log2(n_features)。
如果为 None，则 max_features=n_features。

选择 max_features < n_features 会导致方差减小而偏差增加。

注意：即使需要有效检查多于 max_features 个特征，搜索分割也不会停止，直到找到至少一个有效的节点样本分区。

alpha浮点数，默认=0.9

Huber损失函数和分位数损失函数的alpha分位数。仅当 loss='huber' 或 loss='quantile' 时有效。值必须在 (0.0, 1.0) 范围内。

verboseint, default=0

启用详细输出。如果为 1，则偶尔打印进度和性能（树越多，频率越低）。如果大于 1，则为每棵树打印进度和性能。值必须在 [0, inf) 范围内。

max_leaf_nodesint, default=None

以最佳优先的方式生长具有 max_leaf_nodes 的树。最佳节点被定义为杂质的相对减少。值必须在 [2, inf) 范围内。如果为 None，则叶节点数量不受限制。

warm_startbool, default=False

当设置为 True 时，重用上次调用 fit 的解决方案，并向集成添加更多估计器；否则，清除之前的解决方案。请参阅词汇表。

validation_fractionfloat, default=0.1

用于提前停止的训练数据中作为验证集留出的比例。值必须在 (0.0, 1.0) 范围内。仅当 n_iter_no_change 设置为整数时使用。

0.20 版本新增。

n_iter_no_change整数，默认=None

n_iter_no_change 用于决定当验证分数没有改善时是否使用早期停止来终止训练。默认设置为 None 以禁用早期停止。如果设置为一个数字，它将把 validation_fraction 大小的训练数据作为验证集，并在前 n_iter_no_change 次迭代中验证分数没有改善时终止训练。值必须在 [1, inf) 范围内。请参阅梯度提升中的早期停止。

0.20 版本新增。

tolfloat, default=1e-4

早期停止的容差。当损失在 n_iter_no_change 次迭代（如果设置为一个数字）内没有至少改进 tol 时，训练停止。值必须在 [0.0, inf) 范围内。

0.20 版本新增。

ccp_alphanon-negative float, default=0.0

用于最小成本复杂度剪枝的复杂度参数。将选择成本复杂度小于 ccp_alpha 的最大子树。默认情况下，不执行剪枝。值必须在 [0.0, inf) 范围内。有关详细信息，请参阅最小成本复杂度剪枝。有关此类剪枝的示例，请参阅使用成本复杂度剪枝后剪枝决策树。

版本 0.22 新增。

属性:

n_estimators_整数: 通过早期停止选择的估计器数量（如果指定了 n_iter_no_change）。否则，它被设置为 n_estimators。
n_trees_per_iteration_int: 每次迭代中构建的树的数量。对于回归器，这始终为 1。

添加于版本 1.4.0。
feature_importances_ndarray of shape (n_features,): 基于杂质的特征重要性。
oob_improvement_形状为 (n_estimators,) 的 ndarray: 相对于上一次迭代，袋外样本的损失改进。oob_improvement_[0] 是第一阶段相对于 init 估计器的损失改进。仅当 subsample < 1.0 时可用。
oob_scores_形状为 (n_estimators,) 的 ndarray: 袋外样本上损失值的完整历史记录。仅当 subsample < 1.0 时可用。

在版本 1.3 中新增。
oob_score_float: 袋外样本上损失的最后一个值。它与 oob_scores_[-1] 相同。仅当 subsample < 1.0 时可用。

在版本 1.3 中新增。
train_score_形状为 (n_estimators,) 的 ndarray: 第 i 个分数 train_score_[i] 是模型在迭代 i 时在袋内样本上的损失。如果 subsample == 1，则这是训练数据上的损失。
init_估计器: 提供初始预测的估计器。通过 init 参数设置。
estimators_形状为 (n_estimators, 1) 的 DecisionTreeRegressor 的 ndarray: 已拟合子估计器的集合。
n_features_in_int: 在拟合期间看到的特征数。

0.24 版本新增。
feature_names_in_shape 为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。
max_features_int: 推断的 max_features 值。

另请参阅

HistGradientBoostingRegressor: 基于直方图的梯度提升分类树。
sklearn.tree.DecisionTreeRegressor: 决策树回归器。
sklearn.ensemble.RandomForestRegressor: 随机森林回归器。

注意事项

每次分割时特征总是随机排列的。因此，即使使用相同的训练数据和 max_features=n_features，如果准则的改进对于在寻找最佳分割过程中枚举的几个分割是相同的，那么找到的最佳分割也可能不同。为了在拟合过程中获得确定性行为，必须固定 random_state。

References

J. Friedman, Greedy Function Approximation: A Gradient Boosting Machine, The Annals of Statistics, Vol. 29, No. 5, 2001.

Friedman, Stochastic Gradient Boosting, 1999

T. Hastie, R. Tibshirani 和 J. Friedman. 《统计学习要素》第2版，Springer，2009。

示例

>>> from sklearn.datasets import make_regression
>>> from sklearn.ensemble import GradientBoostingRegressor
>>> from sklearn.model_selection import train_test_split
>>> X, y = make_regression(random_state=0)
>>> X_train, X_test, y_train, y_test = train_test_split(
...     X, y, random_state=0)
>>> reg = GradientBoostingRegressor(random_state=0)
>>> reg.fit(X_train, y_train)
GradientBoostingRegressor(random_state=0)
>>> reg.predict(X_test[1:2])
array([-61.1])
>>> reg.score(X_test, y_test)
0.4...

有关利用 GradientBoostingRegressor 拟合弱预测模型集成的详细示例，请参阅梯度提升回归。

apply(X)[source]#

将集成中的树应用于 X，返回叶子索引。

版本0.17中新增。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:

X_leaves形状为 (n_samples, n_estimators) 的类数组: 对于 X 中的每个数据点 x 以及集成中的每棵树，返回 x 在每个估计器中最终所在的叶子的索引。

fit(X, y, sample_weight=None, monitor=None)[source]#

拟合梯度提升模型。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，它将转换为 dtype=np.float32，如果提供了稀疏矩阵，则转换为稀疏的 csr_matrix。
yarray-like of shape (n_samples,): 目标值（分类中的字符串或整数，回归中的实数）。对于分类，标签必须与类别相对应。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。如果为 None，则样本权重相等。在每个节点中搜索分割时，将忽略会创建净零或负权重子节点的分割。在分类的情况下，如果分割会导致任一子节点中的任何单个类具有负权重，也会忽略该分割。
monitor可调用对象，默认=None: 监视器在每次迭代后被调用，其中包含当前迭代、估计器引用以及 _fit_stages 的局部变量作为关键字参数 callable(i, self, locals())。如果可调用对象返回 True，则拟合过程停止。监视器可用于各种用途，例如计算保留估计、早期停止、模型自省和快照。

返回:

selfobject: 拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅用户指南，了解路由机制如何工作。

返回:

routingMetadataRequest: 封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

predict(X)[source]#

预测 X 的回归目标。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，它将转换为 dtype=np.float32，如果提供了稀疏矩阵，则转换为稀疏的 csr_matrix。

返回:

yndarray of shape (n_samples,): 预测值。

score(X, y, sample_weight=None)[source]#

返回测试数据的决定系数。

决定系数，$R^2$，定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，$v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳可能分数为 1.0，它也可以为负（因为模型可能任意差）。一个总是预测 y 期望值，不考虑输入特征的常数模型将获得 0.0 的 $R^2$ 分数。

参数:

Xshape 为 (n_samples, n_features) 的 array-like: 测试样本。对于某些估计器，这可能是一个预先计算的核矩阵或一个通用对象列表，形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是用于估计器拟合的样本数。
yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like: X 的真实值。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。

返回:

scorefloat: self.predict(X) 相对于 y 的 $R^2$。

注意事项

从版本 0.23 开始，在回归器上调用 score 时使用的 $R^2$ 分数使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这会影响所有多输出回归器（除了 MultiOutputRegressor）的 score 方法。

set_fit_request(*, monitor: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → GradientBoostingRegressor[source]#

配置是否应请求元数据以传递给 fit 方法。

请注意，此方法仅在以下情况下相关：此估计器用作元估计器中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看用户指南以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。
False：不请求元数据，元估计器不会将其传递给 fit。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

monitorstr, True, False, 或 None，默认=sklearn.utils.metadata_routing.UNCHANGED: fit 中 monitor 参数的元数据路由。
sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED: fit 方法中 sample_weight 参数的元数据路由。

返回: