AdaBoostRegressor#

class sklearn.ensemble.AdaBoostRegressor(estimator=None, *, n_estimators=50, learning_rate=1.0, loss='linear', random_state=None)[源]#

AdaBoost 回归器。

AdaBoost [1] 回归器是一个元估计器，它首先在原始数据集上拟合一个回归器，然后在新数据集上拟合额外的回归器副本，但实例的权重会根据当前预测的误差进行调整。因此，后续的回归器会更关注疑难样本。

该类实现了 AdaBoost.R2 [2] 算法。

欲了解更多信息，请阅读用户指南。

版本 0.14 中新增。

参数:

estimatorobject, default=None: 用于构建提升集成的基础估计器。如果为 None，则基础估计器为使用 max_depth=3 初始化的 DecisionTreeRegressor。

版本 1.2 中新增： base_estimator 已重命名为 estimator。
n_estimatorsint, 默认值=50: 提升终止时的最大估计器数量。如果完美拟合，学习过程会提前停止。值必须在 [1, inf) 范围内。
learning_ratefloat, 默认值=1.0: 在每次提升迭代中应用于每个回归器的权重。较高的学习率会增加每个回归器的贡献。在 learning_rate 和 n_estimators 参数之间存在权衡。值必须在 (0.0, inf) 范围内。
loss{'linear', 'square', 'exponential'}, 默认值='linear': 每次提升迭代后更新权重时使用的损失函数。
random_stateint, RandomState instance or None, default=None: 控制在每次提升迭代中赋予每个 estimator 的随机种子。因此，仅当 estimator 暴露 random_state 时才使用它。此外，它还控制用于在每次提升迭代中训练 estimator 的权重自举。传入一个整数可确保跨多个函数调用获得可复现的输出。参见术语表。

属性:

estimator_estimator: 用于构建集成的基础估计器。

版本 1.2 中新增: base_estimator_ 已重命名为 estimator_。
estimators_回归器列表: 已拟合子估计器的集合。
estimator_weights_浮点型 numpy 数组: 提升集成中每个估计器的权重。
estimator_errors_浮点型 numpy 数组: 提升集成中每个估计器的回归误差。
feature_importances_ndarray of shape (n_features,): 基于杂质的特征重要性。
n_features_in_int: 在拟合期间看到的特征数。

0.24 版本新增。
feature_names_in_shape 为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。

另请参阅

AdaBoostClassifier: AdaBoost 分类器。
GradientBoostingRegressor: 梯度提升分类树。
sklearn.tree.DecisionTreeRegressor: 决策树回归器。

References

[1]

Y. Freund, R. Schapire, “A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting”, 1995.

[2]

Drucker, “Improving Regressors using Boosting Techniques”, 1997.

示例

>>> from sklearn.ensemble import AdaBoostRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_features=4, n_informative=2,
...                        random_state=0, shuffle=False)
>>> regr = AdaBoostRegressor(random_state=0, n_estimators=100)
>>> regr.fit(X, y)
AdaBoostRegressor(n_estimators=100, random_state=0)
>>> regr.predict([[0, 0, 0, 0]])
array([4.7972])
>>> regr.score(X, y)
0.9771

有关利用 AdaBoostRegressor 拟合决策树序列作为弱学习器的详细示例，请参阅使用 AdaBoost 的决策树回归。

fit(X, y, sample_weight=None)[源]#

从训练集 (X, y) 构建一个提升分类器/回归器。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。
yarray-like of shape (n_samples,): 目标值。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。如果为 None，则样本权重初始化为 1 / n_samples。

返回:

selfobject: 拟合的估计器。

get_metadata_routing()[源]#

引发 NotImplementedError。

此估计器尚不支持元数据路由。

get_params(deep=True)[源]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

predict(X)[源]#

预测 X 的回归值。

输入样本的预测回归值被计算为集成中回归器的加权中位数预测。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

返回:

yndarray of shape (n_samples,): 预测的回归值。

score(X, y, sample_weight=None)[源]#

返回测试数据的决定系数。

决定系数，$R^2$，定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，$v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳可能分数为 1.0，它也可以为负（因为模型可能任意地差）。一个总是预测 y 期望值而不考虑输入特征的常数模型将获得 0.0 的 $R^2$ 分数。

参数:

Xshape 为 (n_samples, n_features) 的 array-like: 测试样本。对于某些估计器，这可能是一个预先计算的核矩阵或一个通用对象列表，形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是用于估计器拟合的样本数。
yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like: X 的真实值。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。

返回:

scorefloat: self.predict(X) 相对于 y 的 $R^2$。

注意事项

从 0.23 版本开始，在回归器上调用 score 时使用的 $R^2$ 分数使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这会影响所有多输出回归器（MultiOutputRegressor 除外）的 score 方法。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostRegressor[源]#

配置是否应请求元数据以传递给 fit 方法。

请注意，此方法仅在以下情况下相关：此估计器用作元估计器中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看用户指南以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。
False：不请求元数据，元估计器不会将其传递给 fit。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED: fit 方法中 sample_weight 参数的元数据路由。

返回:

selfobject: 更新后的对象。

set_params(**params)[源]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计器参数。

返回:

selfestimator instance: 估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostRegressor[源]#

配置是否应请求元数据以传递给 score 方法。

请注意，此方法仅在以下情况下相关：此估计器用作元估计器中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看用户指南以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。
False：不请求元数据，元估计器不会将其传递给 score。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED: score 方法中 sample_weight 参数的元数据路由。

返回:

selfobject: 更新后的对象。

staged_predict(X)[源]#

返回 X 的阶段性预测。

输入样本的预测回归值被计算为集成中回归器的加权中位数预测。

此生成器方法在每次提升迭代后生成集成预测，因此允许进行监控，例如在每次提升后确定测试集上的预测。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练输入样本。

生成:

ygenerator of ndarray of shape (n_samples,): 预测的回归值。

staged_score(X, y, sample_weight=None)[源]#

返回 X, y 的阶段性评分。

此生成器方法在每次提升迭代后生成集成评分，因此允许进行监控，例如在每次提升后确定测试集上的评分。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。
yarray-like of shape (n_samples,): X 的标签。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。

生成:

zfloat

Gallery examples#

带 AdaBoost 的决策树回归