AdaBoost 回归器#

class sklearn.ensemble.AdaBoostRegressor(estimator=None, *, n_estimators=50, learning_rate=1.0, loss='linear', random_state=None)[source]#

AdaBoost回归器。

AdaBoost [1] 回归器是一种元估计器，它首先在原始数据集上拟合一个回归器，然后在相同的数据集上拟合回归器的附加副本，但实例的权重会根据当前预测的误差进行调整。因此，后续的回归器会更关注困难的案例。

此类实现称为 AdaBoost.R2 [2] 的算法。

在 用户指南 中了解更多信息。

版本 0.14 中添加。

参数：
estimator对象，默认为 None

构建增强集成所用的基础估计器。如果为 None，则基础估计器为 DecisionTreeRegressor，并初始化为 max_depth=3。

版本 1.2 中添加： base_estimator 已重命名为 estimator。

n_estimatorsint，默认为 50

终止提升的估计器最大数量。如果完全拟合，则学习过程会提前停止。值必须在范围 [1, inf) 内。

learning_ratefloat，默认为 1.0

应用于每次提升迭代中每个回归器的权重。较高的学习率会增加每个回归器的贡献。 learning_rate 和 n_estimators 参数之间存在权衡。值必须在范围 (0.0, inf) 内。

loss{'linear'，'square'，'exponential'}，默认为 'linear'

每次提升迭代后更新权重时使用的损失函数。

random_stateint，RandomState 实例或 None，默认为 None

控制每次提升迭代中每个 estimator 给定的随机种子。因此，只有当 estimator 公开 random_state 时才使用它。此外，它还控制用于训练每次提升迭代中 estimator 的权重的自举。传递一个 int 以在多次函数调用中获得可重复的输出。参见 词汇表。

属性：
estimator_估计器

从中增长集成的基础估计器。

版本 1.2 中添加： base_estimator_ 已重命名为 estimator_。

estimators_回归器列表

拟合的子估计器的集合。

estimator_weights_浮点数的 ndarray

增强集成中每个估计器的权重。

estimator_errors_浮点数的 ndarray

增强集成中每个估计器的回归误差。

feature_importances_形状为 (n_features,) 的 ndarray

基于杂质的特征重要性。

n_features_in_int

在 拟合期间看到的特征数量。

版本 0.24 中添加。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 拟合期间看到的特征名称。仅当 X 具有全是字符串的特征名称时才定义。

版本 1.0 中添加。

另请参阅

AdaBoostClassifier

AdaBoost 分类器。

GradientBoostingRegressor

梯度提升分类树。

sklearn.tree.DecisionTreeRegressor

决策树回归器。

参考文献

[1]

Y. Freund、R. Schapire，“在线学习的决策理论概括及其在提升中的应用”，1995 年。

[2]

  1. Drucker，“使用提升技术改进回归器”，1997 年。

示例

>>> from sklearn.ensemble import AdaBoostRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_features=4, n_informative=2,
...                        random_state=0, shuffle=False)
>>> regr = AdaBoostRegressor(random_state=0, n_estimators=100)
>>> regr.fit(X, y)
AdaBoostRegressor(n_estimators=100, random_state=0)
>>> regr.predict([[0, 0, 0, 0]])
array([4.7972...])
>>> regr.score(X, y)
0.9771...

有关利用 AdaBoostRegressor 将一系列决策树拟合为弱学习器的详细示例，请参阅 使用 AdaBoost 的决策树回归。

property feature_importances_#

基于杂质的特征重要性。

越高，特征越重要。特征的重要性计算为该特征带来的标准（归一化）总减少量。它也称为基尼重要性。

警告：对于高基数特征（许多唯一值），基于杂质的特征重要性可能会产生误导。请参阅 sklearn.inspection.permutation_importance 作为替代方法。

返回值：
feature_importances_形状为 (n_features,) 的 ndarray

特征重要性。

fit(X, y, sample_weight=None)[source]#

根据训练集 (X, y) 构建提升的分类器/回归器。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL 格式。COO、DOK 和 LIL 会被转换为 CSR 格式。

y形状为 (n_samples,) 的类数组

目标值。

sample_weight形状为 (n_samples,) 的类数组，默认值为 None

样本权重。如果为 None，则样本权重初始化为 1 / n_samples。

返回值：
self对象

已拟合的估计器。

get_metadata_routing()[source]#

引发 NotImplementedError。

此估计器尚不支持元数据路由。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：
deep布尔值，默认为 True

如果为 True，则将返回此估计器和作为估计器的包含子对象的参数。

返回值：
params字典

参数名称与其值的映射。

predict(X)[source]#

预测 X 的回归值。

输入样本的预测回归值计算为集成中回归器的加权中位数预测。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL 格式。COO、DOK 和 LIL 会被转换为 CSR 格式。

返回值：
y形状为 (n_samples,) 的 ndarray

预测的回归值。

score(X, y, sample_weight=None)[source]#

返回预测的决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，而 \(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数为 1.0，它可以为负数（因为模型可以任意差）。始终预测 y 的期望值的常数模型，忽略输入特征，其 \(R^2\) 分数为 0.0。

参数：
X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器，这可能是预先计算的核矩阵，或者形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实值。

sample_weight形状为 (n_samples,) 的类数组，默认值为 None

样本权重。

返回值：
score浮点数

self.predict(X) 关于 y 的 \(R^2\)。

备注

从 0.23 版开始，调用回归器的 score 时使用的 \(R^2\) 分数使用 multioutput='uniform_average'，以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法（MultiOutputRegressor 除外）。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostRegressor[source]#

请求传递给 fit 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅 用户指南，了解路由机制的工作原理。

每个参数的选项为

  • True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给 fit。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而其他参数则保持不变。

版本 1.3 中新增。

注意

只有当此估计器用作元估计器的子估计器时（例如，在Pipeline中使用），此方法才相关。否则，它没有效果。

参数：
sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit方法中sample_weight参数的元数据路由。

返回值：
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如Pipeline）。后者具有<component>__<parameter>形式的参数，因此可以更新嵌套对象的每个组件。

参数：
**paramsdict

估计器参数。

返回值：
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostRegressor[source]#

请求传递给score方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅 用户指南，了解路由机制的工作原理。

每个参数的选项为

  • True：请求元数据，如果提供则传递给score。如果未提供元数据，则忽略此请求。

  • False：不请求元数据，元估计器不会将其传递给score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而其他参数则保持不变。

版本 1.3 中新增。

注意

只有当此估计器用作元估计器的子估计器时（例如，在Pipeline中使用），此方法才相关。否则，它没有效果。

参数：
sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

score方法中sample_weight参数的元数据路由。

返回值：
self对象

更新后的对象。

staged_predict(X)[source]#

返回 X 的阶段性预测。

输入样本的预测回归值计算为集成中回归器的加权中位数预测。

此生成器方法在提升的每次迭代后产生集成预测，因此允许进行监控，例如确定每次提升后测试集上的预测。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

训练输入样本。

生成：
y形状为 (n_samples,) 的 ndarray 生成器

预测的回归值。

staged_score(X, y, sample_weight=None)[source]#

返回 X, y 的阶段性分数。

此生成器方法在提升的每次迭代后产生集成分数，因此允许进行监控，例如确定每次提升后测试集上的分数。

参数：
X形状为 (n_samples, n_features) 的 {数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL 格式。COO、DOK 和 LIL 会被转换为 CSR 格式。

y形状为 (n_samples,) 的类数组

X 的标签。

sample_weight形状为 (n_samples,) 的类数组，默认值为 None

样本权重。

生成：
zfloat