BaggingRegressor#

class sklearn.ensemble.BaggingRegressor(estimator=None, n_estimators=10, *, max_samples=1.0, max_features=1.0, bootstrap=True, bootstrap_features=False, oob_score=False, warm_start=False, n_jobs=None, random_state=None, verbose=0)[source]#

一个 Bagging 回归器。

Bagging 回归器是一种集成元估计器，它在原始数据集的随机子集上拟合每个基础回归器，然后聚合它们的个体预测（通过投票或平均）以形成最终预测。这种元估计器通常可用于通过在其构建过程中引入随机性并从中构建集成，从而减少黑盒估计器（例如决策树）的方差。

该算法涵盖了文献中的多项工作。当数据集的随机子集作为样本的随机子集被抽取时，该算法被称为 Pasting [1]。如果样本是进行有放回抽样，则该方法被称为 Bagging [2]。当数据集的随机子集作为特征的随机子集被抽取时，该方法被称为 Random Subspaces [3]。最后，当基础估计器在样本和特征的子集上构建时，该方法被称为 Random Patches [4]。

在用户指南中阅读更多内容。

在版本 0.15 中添加。

参数:
estimator对象，默认值=None

用于在数据集的随机子集上拟合的基础估计器。如果为 None，则基础估计器是 DecisionTreeRegressor。

版本 1.2 新增：base_estimator 已重命名为 estimator。

n_estimators整型，默认值=10

集成中的基础估计器数量。

max_samples整型或浮点型，默认值=1.0

从 X 中抽样以训练每个基础估计器的样本数量（默认有放回抽样，有关详细信息请参阅 bootstrap）。

  • 如果是整型，则抽取 max_samples 个样本。

  • 如果是浮点型，则抽取 max_samples * X.shape[0] 个样本。

max_features整型或浮点型，默认值=1.0

从 X 中抽取以训练每个基础估计器的特征数量（默认无放回抽样，有关详细信息请参阅 bootstrap_features）。

  • 如果是整型，则抽取 max_features 个特征。

  • 如果是浮点型，则抽取 max(1, int(max_features * n_features_in_)) 个特征。

bootstrap布尔型，默认值=True

样本是否进行有放回抽样。如果为 False，则进行无放回抽样。

bootstrap_features布尔型，默认值=False

特征是否进行有放回抽样。

oob_score布尔型，默认值=False

是否使用袋外 (out-of-bag) 样本来估计泛化误差。仅当 bootstrap=True 时可用。

warm_start布尔型，默认值=False

当设置为 True 时，重用上次调用 fit 的解决方案并向集成中添加更多估计器，否则，将拟合一个全新的集成。请参阅术语表。

n_jobs整型，默认值=None

fit 和 predict 并行运行的任务数量。None 表示 1，除非在 joblib.parallel_backend 上下文中。-1 表示使用所有处理器。更多详细信息请参阅术语表。

random_state整型，RandomState 实例或 None，默认值=None

控制原始数据集（按样本和按特征）的随机重采样。如果基础估计器接受 random_state 属性，则为集成中的每个实例生成不同的种子。传递一个整型值可确保多次函数调用之间输出的可重现性。请参阅术语表。

verbose整型，默认值=0

控制拟合和预测时的详细程度。

属性:
estimator_估计器

集成所基于的基础估计器。

版本 1.2 新增：base_estimator_ 已重命名为 estimator_。

n_features_in_整型

在拟合期间看到的特征数量。

在版本 0.24 中添加。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。仅当 X 的所有特征名称都是字符串时才定义。

在版本 1.0 中添加。

estimators_估计器列表

已拟合的子估计器集合。

estimators_samples_数组列表

每个基础估计器抽取的样本子集。

estimators_features_数组列表

每个基础估计器抽取的特征子集。

oob_score_浮点型

使用袋外估计获得的训练数据集分数。此属性仅当 oob_score 为 True 时存在。

oob_prediction_形状为 (n_samples,) 的 ndarray

使用训练集上的袋外估计计算的预测。如果 n_estimators 很小，则可能某个数据点在自举过程中从未被排除在外。在这种情况下，oob_prediction_ 可能包含 NaN。此属性仅当 oob_score 为 True 时存在。

另请参阅

BaggingClassifier

一个 Bagging 分类器。

参考文献

[1]

L. Breiman, “Pasting small votes for classification in large databases and on-line”, Machine Learning, 36(1), 85-103, 1999。

[2]

L. Breiman, “Bagging predictors”, Machine Learning, 24(2), 123-140, 1996。

[3]

T. Ho, “The random subspace method for constructing decision forests”, Pattern Analysis and Machine Intelligence, 20(8), 832-844, 1998。

[4]

G. Louppe and P. Geurts, “Ensembles on Random Patches”, Machine Learning and Knowledge Discovery in Databases, 346-361, 2012。

示例

>>> from sklearn.svm import SVR
>>> from sklearn.ensemble import BaggingRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_samples=100, n_features=4,
...                        n_informative=2, n_targets=1,
...                        random_state=0, shuffle=False)
>>> regr = BaggingRegressor(estimator=SVR(),
...                         n_estimators=10, random_state=0).fit(X, y)
>>> regr.predict([[0, 0, 0, 0]])
array([-2.8720])
fit(X, y, sample_weight=None, **fit_params)[source]#

从训练集 (X, y) 构建一个 Bagging 集成估计器。

参数:
X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}

训练输入样本。仅当基础估计器支持稀疏矩阵时才接受稀疏矩阵。

y形状为 (n_samples,) 的类数组

目标值（分类中的类别标签，回归中的实数）。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

样本权重。如果为 None，则样本权重相等。请注意，仅当基础估计器支持样本权重时，才支持此参数。

**fit_params字典

传递给底层估计器的参数。

版本 1.5 新增：仅当 enable_metadata_routing=True 时可用，可以通过使用 sklearn.set_config(enable_metadata_routing=True) 进行设置。有关更多详细信息，请参阅元数据路由用户指南。

返回:
self对象

已拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅用户指南，了解路由机制的工作原理。

在版本 1.5 中添加。

返回:
routingMetadataRouter

一个封装路由信息的 MetadataRouter。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:
deep布尔型，默认值=True

如果为 True，将返回此估计器及其包含的作为估计器的子对象的参数。

返回:
params字典

参数名称及其对应的值。

predict(X, **params)[source]#

预测 X 的回归目标。

输入样本的预测回归目标是作为集成中估计器预测回归目标的平均值来计算的。

参数:
X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}

训练输入样本。仅当基础估计器支持稀疏矩阵时才接受稀疏矩阵。

**params字典

通过元数据路由 API 路由到子估计器的 predict 方法的参数。

版本 1.7 新增：仅当设置了 sklearn.set_config(enable_metadata_routing=True) 时可用。有关更多详细信息，请参阅元数据路由用户指南。

返回:
y形状为 (n_samples,) 的 ndarray

预测值。

score(X, y, sample_weight=None)[source]#

返回测试数据上的决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，\(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳可能分数是 1.0，它也可以是负数（因为模型可能任意糟糕）。一个总是预测 y 期望值而不考虑输入特征的常数模型，其 \(R^2\) 分数将为 0.0。

参数:
X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器，这可能是一个预先计算的核矩阵，或者是一个通用对象列表，其形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是估计器拟合中使用的样本数量。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实值。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

样本权重。

返回:
score浮点型

self.predict(X) 相对于 y 的 \(R^2\) 值。

注意

在回归器上调用 score 时使用的 \(R^2\) 分数从 0.23 版本开始使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这影响了所有多输出回归器（MultiOutputRegressor 除外）的 score 方法。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → BaggingRegressor[source]#

请求传递给 fit 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时才相关（参见 sklearn.set_config）。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项包括

  • True: 请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。

  • False: 不请求元数据，并且元估计器不会将其传递给 fit。

  • None: 不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str: 元数据应使用此给定别名而非原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求，而不更改其他参数。

在版本 1.3 中添加。

注意

此方法仅在将此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用时。否则，它不起作用。

参数:
sample_weight字符串，True，False 或 None，默认值=sklearn.utils.metadata_routing.UNCHANGED

fit 方法中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

该方法适用于简单估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，以便可以更新嵌套对象的每个组件。

参数:
**params字典

估计器参数。

返回:
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → BaggingRegressor[source]#

请求传递给 score 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时才相关（参见 sklearn.set_config）。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项包括

  • True: 请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。

  • False: 不请求元数据，并且元估计器不会将其传递给 score。

  • None: 不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str: 元数据应使用此给定别名而非原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求，而不更改其他参数。

在版本 1.3 中添加。

注意

此方法仅在将此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用时。否则，它不起作用。

参数:
sample_weight字符串，True，False 或 None，默认值=sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。