梯度提升分类器#

class sklearn.ensemble.GradientBoostingClassifier(*, loss='log_loss', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, init=None, random_state=None, max_features=None, verbose=0, max_leaf_nodes=None, warm_start=False, validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)[source]#

用于分类的梯度提升算法。

该算法以一种前向分阶段的方式构建加性模型；它允许优化任意可微分的损失函数。在每个阶段，都会根据损失函数的负梯度（例如，二元或多元对数损失）拟合 n_classes_ 个回归树。二元分类是一个特例，其中只诱导单个回归树。

对于中等和大型数据集（n_samples >= 10_000），HistGradientBoostingClassifier 是该算法的一种速度快得多的变体，并且支持单调约束。

更多信息请阅读 用户指南。

参数：
loss{'log_loss', 'exponential'}, default='log_loss'

要优化的损失函数。'log_loss' 指的是二项式和多项式偏差，与逻辑回归中使用的相同。对于具有概率输出的分类，这是一个不错的选择。对于损失 'exponential'，梯度提升恢复 AdaBoost 算法。

learning_ratefloat, default=0.1

学习率通过 learning_rate 缩小每棵树的贡献。学习率和 n_estimators 之间存在权衡。值必须在 [0.0, inf) 范围内。

n_estimatorsint, default=100

要执行的提升阶段数。梯度提升对过拟合相当稳健，因此较大的数量通常会导致更好的性能。值必须在 [1, inf) 范围内。

subsamplefloat, default=1.0

用于拟合单个基学习器的样本分数。如果小于 1.0，则会导致随机梯度提升。subsample 与参数 n_estimators 相互作用。选择 subsample < 1.0 会导致方差减小和偏差增加。值必须在 (0.0, 1.0] 范围内。

criterion{'friedman_mse', 'squared_error'}, default='friedman_mse'

用于衡量分割质量的函数。支持的标准是 'friedman_mse'（用于具有 Friedman 改善分数的均方误差）和 'squared_error'（用于均方误差）。'friedman_mse' 的默认值通常是最好的，因为它在某些情况下可以提供更好的近似值。

0.18 版本中新增。

min_samples_splitint 或 float, default=2

拆分内部节点所需的最小样本数。

  • 如果为 int，则值必须在 [2, inf) 范围内。

  • 如果为 float，则值必须在 (0.0, 1.0] 范围内，并且 min_samples_split 将为 ceil(min_samples_split * n_samples)。

0.18 版本中的变更： 添加了浮点值以表示分数。

min_samples_leafint 或 float, default=1

叶子节点所需的最小样本数。只有当任何深度的分割点至少在左右两个分支中留下 min_samples_leaf 个训练样本时，才会考虑该分割点。这可能会起到平滑模型的作用，尤其是在回归中。

  • 如果为 int，则值必须在 [1, inf) 范围内。

  • 如果为 float，则值必须在 (0.0, 1.0) 范围内，并且 min_samples_leaf 将为 ceil(min_samples_leaf * n_samples)。

0.18 版本中的变更： 添加了浮点值以表示分数。

min_weight_fraction_leaffloat, default=0.0

叶节点所需的总权重之和（所有输入样本的权重）的最小加权分数。如果未提供sample_weight，则样本具有相等的权重。值必须在范围[0.0, 0.5]内。

max_depthint 或 None，默认值=3

单个回归估计器的最大深度。最大深度限制了树中的节点数量。调整此参数以获得最佳性能；最佳值取决于输入变量的交互。如果为 None，则节点将一直扩展到所有叶子节点都纯净，或者所有叶子节点包含的样本数少于 min_samples_split。如果为 int，则值必须在范围[1, inf)内。

min_impurity_decreasefloat，默认值=0.0

如果此分割导致杂质减少大于或等于此值，则将分割节点。值必须在范围[0.0, inf)内。

加权杂质减少方程如下所示：

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中N是样本总数，N_t是当前节点的样本数，N_t_L是左子节点的样本数，N_t_R是右子节点的样本数。

如果传递了sample_weight，则N、N_t、N_t_R和N_t_L都指加权和。

在 0.19 版本中添加。

init估计器或“zero”，默认值=None

用于计算初始预测的估计器对象。init必须提供fit和predict_proba。如果为“zero”，则初始原始预测设置为零。默认情况下，使用预测类别先验的DummyEstimator。

random_stateint、RandomState 实例或 None，默认值=None

控制在每次提升迭代中提供给每个树估计器的随机种子。此外，它还控制每次分割时特征的随机排列（有关更多详细信息，请参见注释）。如果n_iter_no_change不为 None，它还控制训练数据的随机分割以获得验证集。传递 int 以在多次函数调用中获得可重复的输出。参见词汇表。

max_features{'sqrt'，'log2'}，int 或 float，默认值=None

查找最佳分割时要考虑的特征数量。

  • 如果为 int，则值必须在 [1, inf) 范围内。

  • 如果为 float，则值必须在范围(0.0, 1.0]内，并且每次分割时考虑的特征将为max(1, int(max_features * n_features_in_))。

  • 如果为“sqrt”，则max_features=sqrt(n_features)。

  • 如果为“log2”，则max_features=log2(n_features)。

  • 如果为 None，则max_features=n_features。

选择max_features < n_features会导致方差减小和偏差增大。

注意：即使需要有效检查超过max_features个特征，搜索分割也不会停止，直到找到节点样本至少一个有效的划分。

verboseint，默认值=0

启用详细输出。如果为 1，则它会偶尔打印进度和性能（树越多，频率越低）。如果大于 1，则它会为每棵树打印进度和性能。值必须在范围[0, inf)内。

max_leaf_nodesint，默认值=None

以最佳优先方式种植具有max_leaf_nodes的树。最佳节点定义为杂质的相对减少。值必须在范围[2, inf)内。如果为None，则叶节点数量不限。

warm_startbool，默认值=False

设置为True时，重用先前调用 fit 的解决方案并将更多估计器添加到集合中，否则，只需擦除先前的解决方案。参见词汇表。

validation_fractionfloat，默认值=0.1

要留作验证集以进行提前停止的训练数据的比例。值必须在范围(0.0, 1.0)内。仅当n_iter_no_change设置为整数时才使用。

在 0.20 版本中添加。

n_iter_no_changeint，默认值=None

n_iter_no_change用于确定是否使用提前停止来终止验证分数没有改进时的训练。默认情况下，它设置为 None 以禁用提前停止。如果设置为数字，它将留出validation_fraction大小的训练数据作为验证集，并在验证分数在所有先前n_iter_no_change次迭代中均未改进时终止训练。分割是分层的。值必须在范围[1, inf)内。参见梯度提升中的提前停止。

在 0.20 版本中添加。

tolfloat，默认值=1e-4

提前停止的容差。当损失在n_iter_no_change次迭代（如果设置为数字）中至少没有提高 tol 时，训练停止。值必须在范围[0.0, inf)内。

在 0.20 版本中添加。

ccp_alpha非负 float，默认值=0.0

用于最小成本复杂度剪枝的复杂度参数。将选择成本复杂度大于ccp_alpha的最大的子树。默认情况下，不执行剪枝。值必须在范围[0.0, inf)内。有关详细信息，请参见最小成本复杂度剪枝。有关此类剪枝的示例，请参见使用成本复杂度剪枝的后剪枝决策树。

在 0.22 版本中添加。

属性：
n_estimators_int

由提前停止选择的估计器数量（如果指定了n_iter_no_change）。否则将其设置为n_estimators。

在 0.20 版本中添加。

n_trees_per_iteration_int

每次迭代构建的树木数量。对于二元分类器，这始终为 1。

1.4.0 版本新增。

feature_importances_形状为 (n_features,) 的 ndarray

基于杂质的特征重要性。

oob_improvement_形状为 (n_estimators,) 的 ndarray

相对于前一次迭代，袋外样本损失的改进。 oob_improvement_[0] 是第一阶段损失相对于 init 估计器的改进。仅当 subsample < 1.0 时可用。

oob_scores_形状为 (n_estimators,) 的 ndarray

袋外样本损失值的完整历史记录。仅当 subsample < 1.0 时可用。

1.3 版本新增。

oob_score_浮点数

袋外样本损失的最后一个值。它与 oob_scores_[-1] 相同。仅当 subsample < 1.0 时可用。

1.3 版本新增。

train_score_形状为 (n_estimators,) 的 ndarray

第 i 个得分 train_score_[i] 是模型在第 i 次迭代中对袋内样本的损失。如果 subsample == 1，则这是训练数据的损失。

init_估计器

提供初始预测的估计器。通过 init 参数设置。

estimators_形状为 (n_estimators, n_trees_per_iteration_) 的 DecisionTreeRegressor 数组

拟合的子估计器的集合。n_trees_per_iteration_ 对于二元分类为 1，否则为 n_classes。

classes_形状为 (n_classes,) 的 ndarray

类别标签。

n_features_in_整数

在 fit 期间看到的特征数量。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 fit 期间看到的特征名称。仅当 X 的特征名称全部为字符串时定义。

1.0 版本新增。

n_classes_整数

类别数量。

max_features_整数

推断出的 max_features 值。

另请参阅

HistGradientBoostingClassifier

基于直方图的梯度提升分类树。

sklearn.tree.DecisionTreeClassifier

决策树分类器。

RandomForestClassifier

一个元估计器，它在数据集的各种子样本上拟合多个决策树分类器，并使用平均值来提高预测精度和控制过拟合。

AdaBoostClassifier

一个元估计器，它首先在原始数据集上拟合一个分类器，然后在相同的数据集上拟合分类器的附加副本，其中错误分类实例的权重被调整，以便后续的分类器更关注困难的案例。

备注

在每次分割时，特征总是随机排列。因此，即使使用相同的训练数据和 max_features=n_features，如果标准的改进对于在最佳分割搜索期间枚举的多个分割是相同的，则找到的最佳分割也可能会有所不同。为了在拟合过程中获得确定性的行为，必须固定 random_state。

参考文献

J. Friedman，贪婪函数逼近：梯度提升机，统计年鉴，第 29 卷，第 5 期，2001 年。

  1. Friedman，随机梯度提升，1999 年

T. Hastie、R. Tibshirani 和 J. Friedman。统计学习要素，第二版，Springer，2009 年。

示例

以下示例展示了如何使用 100 个决策树桩作为弱学习器来拟合梯度提升分类器。

>>> from sklearn.datasets import make_hastie_10_2
>>> from sklearn.ensemble import GradientBoostingClassifier

>>> X, y = make_hastie_10_2(random_state=0)
>>> X_train, X_test = X[:2000], X[2000:]
>>> y_train, y_test = y[:2000], y[2000:]

>>> clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
...     max_depth=1, random_state=0).fit(X_train, y_train)
>>> clf.score(X_test, y_test)
0.913...
apply(X)[source]#

将集成中的树应用于 X，返回叶索引。

0.17 版本新增。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其 dtype 转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csr_matrix。

返回：
X_leaves形状为 (n_samples, n_estimators, n_classes) 的数组

对于 X 中的每个数据点 x 和集成中的每棵树，返回 x 在每个估计器中最终所在的叶子的索引。在二元分类的情况下，n_classes 为 1。

decision_function(X)[source]#

计算 X 的决策函数。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回：
score形状为 (n_samples, n_classes) 或 (n_samples,) 的 ndarray

输入样本的决策函数，对应于从集成树预测的原始值。类别的顺序与属性 classes_ 中的顺序相对应。回归和二元分类产生形状为 (n_samples,) 的数组。

property feature_importances_#

基于杂质的特征重要性。

特征的重要性与其等级成正比。特征的重要性计算方法是该特征带来的标准（归一化）总减少量。这也称为基尼重要性。

警告：对于高基数特征（许多唯一值），基于杂质的特征重要性可能会产生误导。请参考 sklearn.inspection.permutation_importance 作为替代方法。

返回：
feature_importances_形状为 (n_features,) 的ndarray

除非所有树都是仅由根节点组成的单节点树，否则此数组的值之和为 1，在这种情况下，它将是一个全为零的数组。

fit(X, y, sample_weight=None, monitor=None)[source]#

拟合梯度提升模型。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

y形状为 (n_samples,) 的类数组

目标值（分类中的字符串或整数，回归中的实数）。对于分类，标签必须与类别相对应。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。如果为 None，则样本权重相等。在搜索每个节点的分割时，会忽略那些会创建净权重为零或负的子节点的分割。在分类的情况下，如果分割会导致任何单个类别在任一子节点中具有负权重，则也会忽略这些分割。

monitor可调用对象，默认为 None

监视器在每次迭代后被调用，并传入当前迭代次数、估计器的引用以及 _fit_stages 的局部变量作为关键字参数 callable(i, self, locals())。如果可调用对象返回 True，则拟合过程将停止。监视器可用于各种用途，例如计算保留估计、提前停止、模型内省和快照。

返回：
self对象

拟合后的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看 用户指南，了解路由机制的工作原理。

返回：
routingMetadataRequest

一个 MetadataRequest 封装了路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：
deep布尔值，默认为 True

如果为 True，则将返回此估计器和包含的作为估计器的子对象的参数。

返回：
params字典

参数名称与其值的映射。

predict(X)[source]#

预测 X 的类别。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回：
y形状为 (n_samples,) 的ndarray

预测值。

predict_log_proba(X)[source]#

预测 X 的类别对数概率。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回：
p形状为 (n_samples, n_classes) 的ndarray

输入样本的类别对数概率。类别的顺序与属性 classes_ 中的顺序一致。

引发:
AttributeError

如果 loss 不支持概率。

predict_proba(X)[source]#

预测 X 的类别概率。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

返回：
p形状为 (n_samples, n_classes) 的ndarray

输入样本的类别概率。类别的顺序与属性 classes_ 中的顺序一致。

引发:
AttributeError

如果 loss 不支持概率。

score(X, y, sample_weight=None)[source]#

返回给定测试数据和标签的平均准确率。

在多标签分类中，这是子集准确率，这是一个严格的指标，因为它要求每个样本的每个标签集都被正确预测。

参数：
X形状为 (n_samples, n_features) 的类数组

测试样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实标签。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。

返回：
score浮点数

self.predict(X) 相对于 y 的平均准确率。

set_fit_request(*, monitor: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → GradientBoostingClassifier[source]#

请求传递给fit方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config），此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项为：

  • True：请求元数据，如果提供则传递给fit。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给fit。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而不对其他参数进行更改。

1.3 版本新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline中使用）时，此方法才相关。否则它无效。

参数：
monitorstr, True, False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED

fit方法中monitor参数的元数据路由。

sample_weightstr, True, False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED

fit方法中sample_weight参数的元数据路由。

返回：
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如Pipeline）。后者具有<component>__<parameter>形式的参数，因此可以更新嵌套对象的每个组件。

参数：
**paramsdict

估计器参数。

返回：
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → GradientBoostingClassifier[source]#

请求传递给score方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config），此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项为：

  • True：请求元数据，如果提供则传递给score。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而不对其他参数进行更改。

1.3 版本新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline中使用）时，此方法才相关。否则它无效。

参数：
sample_weightstr, True, False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED

score方法中sample_weight参数的元数据路由。

返回：
self对象

更新后的对象。

staged_decision_function(X)[source]#

计算每次迭代的X的决策函数。

此方法允许在每个阶段之后进行监控（即确定测试集上的错误）。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

产量：
score形状为 (n_samples, k) 的 ndarray 生成器

输入样本的决策函数，对应于集成中树预测的原始值。类别对应于属性classes_中的类别。回归和二元分类是特例，其中k == 1，否则k==n_classes。

staged_predict(X)[source]#

预测X在每个阶段的类别。

此方法允许在每个阶段之后进行监控（即确定测试集上的错误）。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

产量：
y形状为(n_samples,)的ndarray生成器

输入样本的预测值。

staged_predict_proba(X)[source]#

预测X在每个阶段的类别概率。

此方法允许在每个阶段之后进行监控（即确定测试集上的错误）。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

输入样本。内部将其转换为 dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏 csr_matrix。

产量：
y形状为(n_samples,)的ndarray生成器

输入样本的预测值。