梯度提升回归器#

class sklearn.ensemble.GradientBoostingRegressor(*, loss='squared_error', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)[source]#

梯度提升回归。

这个估计器以一种前向阶段方式构建加性模型；它允许优化任意可微分的损失函数。在每个阶段，都会根据给定损失函数的负梯度拟合一个回归树。

对于中等和大型数据集（n_samples >= 10_000），HistGradientBoostingRegressor 是该算法的一个快得多的变体，并且支持单调约束。

更多信息请阅读用户指南。

参数：

loss{‘squared_error’, ‘absolute_error’, ‘huber’, ‘quantile’}, default=’squared_error’

要优化的损失函数。'squared_error' 指的是回归的平方误差。'absolute_error' 指的是回归的绝对误差，是一个鲁棒的损失函数。'huber' 是两者的结合。'quantile' 允许分位数回归（使用 alpha 指定分位数）。参见梯度提升回归的预测区间，其中包含一个演示如何使用 loss='quantile' 创建预测区间的分位数回归示例。

learning_ratefloat, default=0.1

学习率将每棵树的贡献缩小 learning_rate 倍。学习率和 n_estimators 之间存在权衡。值必须在 [0.0, inf) 范围内。

n_estimatorsint, default=100

要执行的提升阶段数。梯度提升对过拟合相当稳健，因此较大的数量通常会导致更好的性能。值必须在 [1, inf) 范围内。

subsamplefloat, default=1.0

用于拟合单个基学习器的样本比例。如果小于 1.0，则会导致随机梯度提升。subsample 与参数 n_estimators 相互作用。选择 subsample < 1.0 会导致方差减小和偏差增大。值必须在 (0.0, 1.0] 范围内。

criterion{‘friedman_mse’, ‘squared_error’}, default=’friedman_mse’

用于衡量分割质量的函数。支持的标准包括用于均方误差的“friedman_mse”（Friedman改进分数）和用于均方误差的“squared_error”。默认值“friedman_mse”通常是最好的，因为它在某些情况下可以提供更好的近似值。

版本 0.18 中新增。

min_samples_splitint 或 float, default=2

拆分内部节点所需的最小样本数。

如果为 int，则值必须在 [2, inf) 范围内。
如果为 float，则值必须在 (0.0, 1.0] 范围内，并且 min_samples_split 将为 ceil(min_samples_split * n_samples)。

版本 0.18 中更改：添加了浮点值以表示分数。

min_samples_leafint 或 float, default=1

叶子节点所需的最小样本数。只有当分裂点在任何深度都至少留下 min_samples_leaf 个训练样本在左右分支时，才会考虑该分裂点。这可能会使模型更加平滑，尤其是在回归中。

如果为整数，则值必须在范围 [1, inf) 内。
如果为浮点数，则值必须在范围 (0.0, 1.0) 内，并且 min_samples_leaf 将为 ceil(min_samples_leaf * n_samples)。

版本 0.18 中更改：添加了浮点值以表示分数。

min_weight_fraction_leaf浮点数，默认值=0.0

叶子节点所需的总权重（所有输入样本的权重之和）的最小加权分数。如果未提供 sample_weight，则样本具有相等的权重。值必须在范围 [0.0, 0.5] 内。

max_depth整数或 None，默认值=3

单个回归估计器的最大深度。最大深度限制了树中的节点数。调整此参数以获得最佳性能；最佳值取决于输入变量的交互作用。如果为 None，则节点会一直扩展，直到所有叶子节点都是纯净的，或者所有叶子节点包含的样本少于 min_samples_split 个样本。如果为整数，则值必须在范围 [1, inf) 内。

min_impurity_decrease浮点数，默认值=0.0

如果此分裂导致杂质减少量大于或等于此值，则将分裂节点。值必须在范围 [0.0, inf) 内。

加权杂质减少方程如下所示

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中 N 是样本总数，N_t 是当前节点的样本数，N_t_L 是左子节点的样本数，N_t_R 是右子节点的样本数。

如果传递了 sample_weight，则 N、N_t、N_t_R 和 N_t_L 都指加权和。

0.19 版本中添加。

init估计器或 ‘zero’，默认值=None

用于计算初始预测的估计器对象。init 必须提供 fit 和 predict。如果为 ‘zero’，则初始原始预测设置为零。默认情况下，使用 DummyEstimator，预测平均目标值（对于 loss='squared_error'）或其他损失的 quantile。

random_state整数、RandomState 实例或 None，默认值=None

控制在每次提升迭代中提供给每个树估计器的随机种子。此外，它还控制每次分裂时特征的随机排列（有关更多详细信息，请参见注释）。如果 n_iter_no_change 不为 None，它还控制训练数据的随机分割以获得验证集。传递整数以在多次函数调用中获得可重复的输出。参见词汇表。

max_features{'sqrt', 'log2'}、整数或浮点数，默认值=None

查找最佳分割时要考虑的特征数量。

如果为整数，则值必须在范围 [1, inf) 内。
如果为浮点数，则值必须在范围 (0.0, 1.0] 内，并且每次分割时考虑的特征将为 max(1, int(max_features * n_features_in_))。
如果为“sqrt”，则 max_features=sqrt(n_features)。
如果为“log2”，则 max_features=log2(n_features)。
如果为 None，则 max_features=n_features。

选择 max_features < n_features 会导致方差减小和偏差增大。

注意：即使需要有效检查超过 max_features 个特征，搜索分割也不会停止，直到找到节点样本至少一个有效的划分。

alpha浮点数，默认值=0.9

huber 损失函数和分位数损失函数的 alpha 分位数。仅当 loss='huber' 或 loss='quantile' 时适用。值必须在范围 (0.0, 1.0) 内。

verbose整数，默认值=0

启用详细输出。如果为 1，则它会偶尔打印进度和性能（树越多，频率越低）。如果大于 1，则它会为每棵树打印进度和性能。值必须在范围 [0, inf) 内。

max_leaf_nodes整数，默认值=None

以最佳优先的方式，使用 max_leaf_nodes 增长树。最佳节点定义为杂质的相对减少量。值必须在范围 [2, inf) 内。如果为 None，则叶子节点数量不限。

warm_start布尔值，默认值=False

设置为 True 时，重用对 fit 的先前调用的解决方案并将更多估计器添加到集成中，否则，只需删除先前的解决方案。参见词汇表。

validation_fraction浮点数，默认值=0.1

要留出作为验证集用于提前停止的训练数据的比例。值必须在范围 (0.0, 1.0) 内。仅当 n_iter_no_change 设置为整数时才使用。

0.20 版本中添加。

n_iter_no_change整数，默认值=None

n_iter_no_change 用于确定是否使用提前停止在验证分数没有提高时终止训练。默认情况下，将其设置为 None 以禁用提前停止。如果设置为数字，它将留出 validation_fraction 大小的训练数据作为验证集，并在验证分数在所有先前的 n_iter_no_change 次迭代中都没有提高时终止训练。值必须在范围 [1, inf) 内。参见梯度提升中的提前停止。

0.20 版本中添加。

tol浮点数，默认值=1e-4

提前停止的容忍度。当损失在n_iter_no_change次迭代（如果设置为数字）内没有至少提高tol时，训练停止。值必须在[0.0, inf)范围内。

0.20 版本中添加。

ccp_alpha非负浮点数，默认值=0.0

用于最小成本复杂度剪枝的复杂度参数。将选择成本复杂度小于ccp_alpha的最大子树。默认情况下，不执行剪枝。值必须在[0.0, inf)范围内。详情请参见最小成本复杂度剪枝。有关此类剪枝的示例，请参见使用成本复杂度剪枝的后剪枝决策树。

0.22 版本新增。

属性：

n_estimators_int: 由提前停止选择的估计器数量（如果指定了n_iter_no_change）。否则将其设置为n_estimators。
n_trees_per_iteration_int: 每次迭代构建的树的数量。对于回归器，这始终为 1。

1.4.0 版本新增。
feature_importances_形状为 (n_features,) 的 ndarray: 基于杂质的特征重要性。
oob_improvement_形状为 (n_estimators,) 的 ndarray: 相对于先前迭代，袋外样本损失的改进。oob_improvement_[0] 是第一阶段损失相对于init估计器的改进。仅当subsample < 1.0时可用。
oob_scores_形状为 (n_estimators,) 的 ndarray: 袋外样本损失值的完整历史记录。仅当subsample < 1.0时可用。

1.3 版本新增。
oob_score_float: 袋外样本损失的最后一个值。它与oob_scores_[-1]相同。仅当subsample < 1.0时可用。

1.3 版本新增。
train_score_形状为 (n_estimators,) 的 ndarray: 第 i 个分数train_score_[i]是在第i次迭代时模型在袋内样本上的损失。如果subsample == 1，则这是训练数据的损失。
init_估计器: 提供初始预测的估计器。通过init参数设置。
estimators_形状为 (n_estimators, 1) 的 DecisionTreeRegressor ndarray: 拟合的子估计器的集合。
n_features_in_int: 在拟合期间看到的特征数量。

0.24 版本新增。
feature_names_in_形状为 (n_features_in_,) 的 ndarray: 在拟合期间看到的特征名称。仅当X具有全是字符串的特征名称时定义。

1.0 版本新增。
max_features_int: max_features 的推断值。

另请参见

HistGradientBoostingRegressor: 基于直方图的梯度提升分类树。
sklearn.tree.DecisionTreeRegressor: 决策树回归器。
sklearn.ensemble.RandomForestRegressor: 随机森林回归器。

备注

在每次分割时都会随机排列特征。因此，即使使用相同的训练数据和max_features=n_features，如果标准的改进对于在搜索最佳分割时枚举的几个分割是相同的，找到的最佳分割也可能会有所不同。为了在拟合过程中获得确定性的行为，必须固定random_state。

参考文献

J. Friedman, Greedy Function Approximation: A Gradient Boosting Machine, The Annals of Statistics, Vol. 29, No. 5, 2001。

Friedman, Stochastic Gradient Boosting, 1999

T. Hastie, R. Tibshirani 和 J. Friedman. Elements of Statistical Learning Ed. 2, Springer, 2009。

示例

>>> from sklearn.datasets import make_regression
>>> from sklearn.ensemble import GradientBoostingRegressor
>>> from sklearn.model_selection import train_test_split
>>> X, y = make_regression(random_state=0)
>>> X_train, X_test, y_train, y_test = train_test_split(
...     X, y, random_state=0)
>>> reg = GradientBoostingRegressor(random_state=0)
>>> reg.fit(X_train, y_train)
GradientBoostingRegressor(random_state=0)
>>> reg.predict(X_test[1:2])
array([-61...])
>>> reg.score(X_test, y_test)
0.4...

有关使用GradientBoostingRegressor拟合弱预测模型集的详细示例，请参阅梯度提升回归。

apply(X)[source]#

将集成中的树应用于 X，返回叶索引。

0.17 版本新增。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}: 输入样本。内部，其 dtype 将转换为dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏csr_matrix。

返回：

X_leaves形状为 (n_samples, n_estimators) 的类数组: 对于 X 中的每个数据点 x 和集成中的每棵树，返回 x 在每个估计器中最终所在的叶子的索引。

property feature_importances_#

基于杂质的特征重要性。

数值越高，特征越重要。特征的重要性计算为该特征带来的标准（归一化）总减少量。它也称为基尼重要性。

警告：对于高基数特征（许多唯一值），基于杂质的特征重要性可能具有误导性。请参阅 sklearn.inspection.permutation_importance 作为替代方案。

返回：

feature_importances_形状为 (n_features,) 的 ndarray: 除非所有树都是仅由根节点组成的单节点树，否则此数组的值之和为 1，在这种情况下，它将是一个全零数组。

fit(X, y, sample_weight=None, monitor=None)[source]#

拟合梯度提升模型。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}: 输入样本。内部将将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。
y形状为 (n_samples,) 的类数组: 目标值（分类中的字符串或整数，回归中的实数）对于分类，标签必须与类别对应。
sample_weight形状为 (n_samples,) 的类数组，默认为 None: 样本权重。如果为 None，则样本权重相等。在搜索每个节点的分割时，将忽略那些会创建净权重为零或负的子节点的分割。在分类的情况下，如果分割会导致任何单个类别在任一子节点中具有负权重，则也会忽略这些分割。
monitor可调用对象，默认为 None: 在每次迭代后调用监视器，使用当前迭代、估计器的引用以及 _fit_stages 的局部变量作为关键字参数 callable(i, self, locals())。如果可调用对象返回 True，则拟合过程将停止。监视器可用于各种用途，例如计算保留估计值、提前停止、模型自省和快照。

返回：

self对象: 已拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回：

routingMetadataRequest: 一个 MetadataRequest 封装路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：

deepbool，默认为 True: 如果为 True，则将返回此估计器和作为估计器的包含子对象的参数。

返回：

paramsdict: 参数名称与其值的映射。

predict(X)[source]#

预测 X 的回归目标。

参数：

X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}: 输入样本。内部将将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回：

y形状为 (n_samples,) 的 ndarray: 预测值。

score(X, y, sample_weight=None)[source]#

返回预测的决定系数。

决定系数 $R^2$ 定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，而 $v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数为 1.0，它可以为负数（因为模型可以任意差）。始终预测 y 的期望值的常数模型，忽略输入特征，其 $R^2$ 分数将为 0.0。

参数：

X形状为 (n_samples, n_features) 的类数组: 测试样本。对于某些估计器，这可能是预计算的核矩阵或形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: X 的真实值。
sample_weight形状为 (n_samples,) 的类数组，默认为 None: 样本权重。

返回：

scorefloat: self.predict(X) 关于 y 的 $R^2$。

备注

在回归器上调用score时使用的$R^2$得分从0.23版本开始使用multioutput='uniform_average'，以保持与r2_score的默认值一致。这会影响所有多输出回归器的score方法（MultiOutputRegressor除外）。

set_fit_request(*, monitor: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → GradientBoostingRegressor[source]#

请求传递给fit方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config）此方法才相关。请参阅用户指南了解路由机制的工作原理。

每个参数的选项为

True：请求元数据，如果提供则传递给fit。如果未提供元数据，则忽略请求。
False：不请求元数据，元估计器不会将其传递给fit。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而不对其他参数进行更改。

1.3 版本新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline内部使用）时，此方法才相关。否则，它无效。

参数：

monitorstr、True、False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED: fit 中 monitor 参数的元数据路由。
sample_weightstr、True、False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED: fit 中 sample_weight 参数的元数据路由。

返回：