BaggingRegressor#

class sklearn.ensemble.BaggingRegressor(estimator=None, n_estimators=10, *, max_samples=1.0, max_features=1.0, bootstrap=True, bootstrap_features=False, oob_score=False, warm_start=False, n_jobs=None, random_state=None, verbose=0)[source]#

Bagging 回归器。

Bagging回归器是一种集成元估计器，它对原始数据集的随机子集分别拟合多个基础回归器，然后聚合它们的单个预测结果（通过投票或平均），从而形成最终预测。这种元估计器通常可以用来降低黑盒估计器（例如决策树）的方差，方法是在其构建过程中引入随机性，然后从中构建一个集成。

该算法涵盖了文献中的几项工作。当数据集的随机子集被抽取为样本的随机子集时，该算法被称为Pasting [1]。如果样本是有放回地抽取的，则该方法被称为Bagging [2]。当数据集的随机子集被抽取为特征的随机子集时，则该方法被称为随机子空间 [3]。最后，当基础估计器建立在样本和特征的子集上时，该方法被称为随机块 [4]。

在用户指南中了解更多信息。

版本 0.15 中新增。

参数：

estimator对象，默认为 None

要在数据集的随机子集上拟合的基础估计器。如果为 None，则基础估计器为 DecisionTreeRegressor。

版本 1.2 中新增： base_estimator 已重命名为 estimator。

n_estimatorsint，默认为 10

集成中的基础估计器数量。

max_samplesint 或 float，默认为 1.0

从 X 中抽取以训练每个基础估计器的样本数量（默认情况下有放回，有关详细信息，请参阅 bootstrap）。

如果为 int，则抽取 max_samples 个样本。
如果为 float，则抽取 max_samples * X.shape[0] 个样本。

max_featuresint 或 float，默认为 1.0

从 X 中抽取以训练每个基础估计器的特征数量（默认情况下无放回，有关详细信息，请参阅 bootstrap_features）。

如果为 int，则抽取 max_features 个特征。
如果为 float，则抽取 max(1, int(max_features * n_features_in_)) 个特征。

bootstrapbool，默认为 True

样本是否是有放回抽取的。如果为 False，则执行无放回抽样。

bootstrap_featuresbool，默认为 False

特征是否是有放回抽取的。

oob_scorebool，默认为 False

是否使用包外样本估计泛化误差。仅当 bootstrap=True 时可用。

warm_startbool，默认为 False

设置为 True 时，重用先前调用 fit 的解决方案并在集成中添加更多估计器；否则，只拟合一个全新的集成。参见词汇表。

n_jobsint，默认为 None

用于 fit 和 predict 的并行运行作业数。None 表示 1，除非在 joblib.parallel_backend 上下文中。-1 表示使用所有处理器。有关详细信息，请参见词汇表。

random_stateint、RandomState 实例或 None，默认为 None

控制原始数据集的随机重采样（样本和特征）。如果基础估计器接受 random_state 属性，则为集成中的每个实例生成不同的种子。传递一个 int 以在多次函数调用中获得可重复的结果。参见词汇表。

verboseint，默认为 0

控制拟合和预测时的详细程度。

属性：

estimator_估计器: 从中生成集成的基础估计器。

版本 1.2 中新增： base_estimator_ 已重命名为 estimator_。
n_features_in_int: 在 fit 期间看到的特征数量。

版本 0.24 中新增。
feature_names_in_形状为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 的特征名称全部为字符串时定义。

版本 1.0 中新增。
estimators_估计器列表: 拟合的子估计器的集合。
estimators_samples_数组列表: 每个基础估计器抽取的样本子集。
estimators_features_数组列表: 每个基础估计器抽取的特征子集。
oob_score_float: 使用包外估计获得的训练数据集的得分。仅当 oob_score 为 True 时，此属性才存在。
oob_prediction_形状为 (n_samples,) 的 ndarray: 使用训练集上的包外估计计算的预测。如果 n_estimators 很小，则在 bootstrap 期间可能从未遗漏数据点。在这种情况下，oob_prediction_ 可能包含 NaN。仅当 oob_score 为 True 时，此属性才存在。

另请参阅

BaggingClassifier: Bagging 分类器。

参考文献

[1]

L. Breiman, “Pasting small votes for classification in large databases and on-line”, Machine Learning, 36(1), 85-103, 1999.

[2]

L. Breiman, “Bagging predictors”, Machine Learning, 24(2), 123-140, 1996.

[3]

T. Ho，“基于随机子空间方法构建决策森林”, 模式分析与机器智能, 20(8), 832-844, 1998.

[4]

G. Louppe and P. Geurts，“基于随机块的集成学习”, 数据库中的机器学习和知识发现, 346-361, 2012.

示例

>>> from sklearn.svm import SVR
>>> from sklearn.ensemble import BaggingRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_samples=100, n_features=4,
...                        n_informative=2, n_targets=1,
...                        random_state=0, shuffle=False)
>>> regr = BaggingRegressor(estimator=SVR(),
...                         n_estimators=10, random_state=0).fit(X, y)
>>> regr.predict([[0, 0, 0, 0]])
array([-2.8720...])

属性 estimators_samples_#

每个基础估计器抽取的样本子集。

返回一个动态生成的索引列表，标识用于拟合集成中每个成员的样本，即包内样本。

注意：为了减少对象内存占用，该属性在每次调用时都会重新创建，不会存储采样数据。因此，获取该属性的速度可能会比预期慢。

fit(X, y, *, sample_weight=None, **fit_params)[源码]#

从训练集 (X, y) 构建一个 Bagging 集成估计器。

参数：

X形状为 (n_samples, n_features) 的{数组、稀疏矩阵}: 训练输入样本。只有当基础估计器支持时才接受稀疏矩阵。
y形状为 (n_samples,) 的数组: 目标值（分类中的类别标签，回归中的实数）。
sample_weight形状为 (n_samples,) 的数组，默认为 None: 样本权重。如果为 None，则样本权重相等。请注意，只有当基础估计器支持样本加权时才支持此功能。
**fit_params字典: 传递给底层估计器的参数。

版本 1.5 中新增：仅当 enable_metadata_routing=True 时可用，可以通过使用 sklearn.set_config(enable_metadata_routing=True) 来设置。有关更多详细信息，请参见元数据路由用户指南。

返回：

self对象: 已拟合的估计器。

get_metadata_routing()[源码]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

版本 1.5 中新增。

返回：

routingMetadataRouter: 一个 MetadataRouter 封装了路由信息。

get_params(deep=True)[源码]#

获取此估计器的参数。

参数：

deep布尔值，默认为 True: 如果为 True，则将返回此估计器和作为估计器的包含子对象的参数。

返回：

params字典: 参数名称与其值的映射。

predict(X)[源码]#

预测 X 的回归目标。

输入样本的预测回归目标计算为集成中估计器的平均预测回归目标。

参数：

X形状为 (n_samples, n_features) 的{数组、稀疏矩阵}: 训练输入样本。只有当基础估计器支持时才接受稀疏矩阵。

返回：

y形状为 (n_samples,) 的ndarray: 预测值。

score(X, y, sample_weight=None)[源码]#

返回预测的决定系数。

决定系数 $R^2$ 定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，而 $v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数为 1.0，也可能为负数（因为模型可能任意差）。始终预测 y 的期望值的常数模型，忽略输入特征，将获得 0.0 的 $R^2$ 分数。

参数：

X形状为 (n_samples, n_features) 的数组: 测试样本。对于某些估计器，这可能是预计算的核矩阵或形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的数组: X 的真实值。
sample_weight形状为 (n_samples,) 的数组，默认为 None: 样本权重。

返回：

score浮点数: self.predict(X) 关于 y 的 $R^2$。

备注

从版本 0.23 开始，在回归器上调用 score 时使用的 $R^2$ 分数使用 multioutput='uniform_average'，以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法（MultiOutputRegressor 除外）。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → BaggingRegressor[source]#

请求传递到fit方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config）此方法才相关。请参见用户指南了解路由机制的工作原理。

每个参数的选项为：

True：请求元数据，如果提供则将其传递给fit。如果未提供元数据，则忽略请求。
False：不请求元数据，元估计器不会将其传递给fit。
None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。
str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求，而不对其他参数进行更改。

版本 1.3 中新增。

注意

仅当此估计器用作元估计器的子估计器时（例如，在Pipeline中使用）此方法才相关。否则，它无效。

参数：

sample_weightstr, True, False, 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED: fit方法中sample_weight参数的元数据路由。

返回：

self对象: 更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单估计器以及嵌套对象（例如Pipeline）。后者具有<component>__<parameter>形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**paramsdict: 估计器参数。

返回：

self估计器实例: 估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → BaggingRegressor[source]#

请求传递到score方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config）此方法才相关。请参见用户指南了解路由机制的工作原理。

每个参数的选项为：

True：请求元数据，如果提供则将其传递给score。如果未提供元数据，则忽略请求。
False：不请求元数据，元估计器不会将其传递给score。
None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。
str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求，而不对其他参数进行更改。

版本 1.3 中新增。

注意

仅当此估计器用作元估计器的子估计器时（例如，在Pipeline中使用）此方法才相关。否则，它无效。

参数：

sample_weightstr, True, False, 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED: score方法中sample_weight参数的元数据路由。

返回：

self对象: 更新后的对象。

图库示例#

单估计器与Bagging：偏差-方差分解