堆叠回归器#

class sklearn.ensemble.StackingRegressor(estimators, final_estimator=None, *, cv=None, n_jobs=None, passthrough=False, verbose=0)[source]#

具有最终回归器的估计器堆栈。

堆叠泛化包括堆叠单个估计器的输出，并使用回归器计算最终预测。堆叠允许通过使用其输出作为最终估计器的输入来利用每个单个估计器的优势。

请注意，estimators_是在完整的X上拟合的，而final_estimator_是使用cross_val_predict的基估计器的交叉验证预测进行训练的。

在用户指南中了解更多信息。

在0.22版本中添加。

参数：
estimatorslist of (str, estimator)

将堆叠在一起的基估计器。列表的每个元素都定义为字符串（即名称）和估计器实例的元组。可以使用set_params将估计器设置为“drop”。

final_estimatorestimator, default=None

一个用于组合基础估计器的回归器。默认回归器为RidgeCV。

cvint、交叉验证生成器、可迭代对象或“prefit”，默认值=None

确定在cross_val_predict中用于训练final_estimator的交叉验证拆分策略。cv 的可能输入为：

  • None，使用默认的 5 折交叉验证；

  • 整数，指定 (分层) K 折交叉验证中的折叠数；

  • 用作交叉验证生成器的对象；

  • 产生训练集和测试集拆分的可迭代对象；

  • "prefit"，假设estimators已预先拟合。在这种情况下，估计器将不会被重新拟合。

对于整数/None 输入，如果估计器是分类器并且 y 是二元或多类，则使用StratifiedKFold。在所有其他情况下，使用KFold。这些拆分器使用shuffle=False实例化，因此拆分在每次调用中都将相同。

请参阅用户指南，了解此处可以使用各种交叉验证策略。

如果传递“prefit”，则假设所有estimators都已拟合。 final_estimator_在estimators对完整训练集的预测结果上进行训练，并且**不是**交叉验证预测。请注意，如果模型已在用于训练堆叠模型的相同数据上进行训练，则存在非常高的过拟合风险。

1.1 版中新增： “prefit”选项在 1.1 版中添加

注意

如果训练样本数量足够大，则增加拆分数不会带来任何好处。实际上，训练时间会增加。cv不用于模型评估，而用于预测。

n_jobsint，默认值=None

为所有estimators的fit并行运行的作业数。None表示 1（除非在joblib.parallel_backend上下文中）。-1 表示使用所有处理器。有关详细信息，请参见词汇表。

passthroughbool，默认值=False

如果为 False，则只有估计器的预测将用作final_estimator的训练数据。如果为 True，则final_estimator将根据预测结果以及原始训练数据进行训练。

verboseint，默认值=0

详细程度。

属性:
estimators_估计器列表

estimators参数的元素，已在训练数据上拟合。如果将估计器设置为'drop'，则它不会出现在estimators_中。当cv="prefit"时，estimators_设置为estimators，并且不会再次拟合。

named_estimators_Bunch

用于按名称访问任何已拟合子估计器的属性。

n_features_in_int

在拟合期间看到的特征数。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。只有在底层估计器在拟合时公开此类属性时才定义。

1.0 版中新增。

final_estimator_估计器

在estimators_的输出上拟合并负责最终预测的回归器。

stack_method_字符串列表

每个基础估计器使用的方法。

另请参阅

StackingClassifier

具有最终分类器的估计器堆栈。

参考文献

[1]

Wolpert，David H. “Stacked generalization.” Neural networks 5.2 (1992): 241-259。

示例

>>> from sklearn.datasets import load_diabetes
>>> from sklearn.linear_model import RidgeCV
>>> from sklearn.svm import LinearSVR
>>> from sklearn.ensemble import RandomForestRegressor
>>> from sklearn.ensemble import StackingRegressor
>>> X, y = load_diabetes(return_X_y=True)
>>> estimators = [
...     ('lr', RidgeCV()),
...     ('svr', LinearSVR(random_state=42))
... ]
>>> reg = StackingRegressor(
...     estimators=estimators,
...     final_estimator=RandomForestRegressor(n_estimators=10,
...                                           random_state=42)
... )
>>> from sklearn.model_selection import train_test_split
>>> X_train, X_test, y_train, y_test = train_test_split(
...     X, y, random_state=42
... )
>>> reg.fit(X_train, y_train).score(X_test, y_test)
0.3...
fit(X, y, *, sample_weight=None, **fit_params)[source]#

拟合估计器。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中n_samples是样本数，n_features是特征数。

y形状为 (n_samples,) 的类数组

目标值。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

样本权重。如果为 None，则样本的权重相等。请注意，只有在所有底层估计器都支持样本权重时才支持此功能。

**fit_params**字典

传递给底层估计器的参数。

1.6版本新增： 仅当 enable_metadata_routing=True 时可用，可以通过 sklearn.set_config(enable_metadata_routing=True) 设置。更多详情请参见 元数据路由用户指南。

返回：
self对象

返回已拟合的实例。

fit_transform(X, y, *, sample_weight=None, **fit_params)[源代码]#

拟合估计器并返回每个估计器的 X 预测值。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中n_samples是样本数，n_features是特征数。

y形状为 (n_samples,) 的类数组

目标值。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

样本权重。如果为 None，则样本的权重相等。请注意，只有在所有底层估计器都支持样本权重时才支持此功能。

**fit_params**字典

传递给底层估计器的参数。

1.6版本新增： 仅当 enable_metadata_routing=True 时可用，可以通过 sklearn.set_config(enable_metadata_routing=True) 设置。更多详情请参见 元数据路由用户指南。

返回：
y_preds形状为 (n_samples, n_estimators) 的ndarray

每个估计器的预测输出。

get_feature_names_out(input_features=None)[源代码]#

获取转换后的特征名称。

参数：
input_features字符串数组或None，默认为None

输入特征。只有当 passthrough 为 True 时才会使用输入特征名称。

  • 如果 input_features 为 None，则使用 feature_names_in_ 作为输入特征名称。如果 feature_names_in_ 未定义，则会生成名称： [x0, x1, ..., x(n_features_in_ - 1)]。

  • 如果 input_features 是数组，则如果定义了 feature_names_in_，input_features 必须与 feature_names_in_ 匹配。

如果 passthrough 为 False，则仅使用 estimators 的名称来生成输出特征名称。

返回：
feature_names_out字符串对象的ndarray

转换后的特征名称。

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请查看 用户指南，了解路由机制的工作原理。

1.6版本新增。

返回：
routingMetadataRouter

一个 MetadataRouter 封装了路由信息。

get_params(deep=True)[源代码]#

获取集成中估计器的参数。

返回构造函数中给定的参数以及 estimators 参数中包含的估计器。

参数：
deep布尔值，默认为True

将其设置为 True 将获取各种估计器以及估计器的参数。

返回：
params字典

参数和估计器名称映射到它们的值，或者参数名称映射到它们的值。

属性 n_features_in_#

在拟合期间看到的特征数。

属性 named_estimators#

用于按名称访问任何已拟合的子估计器的字典。

返回：
Bunch对象
predict(X, **predict_params)[源代码]#

预测 X 的目标值。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中n_samples是样本数，n_features是特征数。

**predict_params**str 到 obj 的字典

传递给 final_estimator 调用的 predict 的参数。请注意，这可用于使用 return_std 或 return_cov 从某些估计器返回不确定性。请注意，它只考虑最终估计器中的不确定性。

  • 如果 enable_metadata_routing=False（默认）：参数直接传递给 final_estimator 的 predict 方法。

  • 如果 enable_metadata_routing=True：参数安全地路由到 final_estimator 的 predict 方法。更多详情请参见 元数据路由用户指南。

1.6版本变更： **predict_params 可以通过元数据路由 API 进行路由。

返回：
y_pred形状为 (n_samples,) 或 (n_samples, n_output) 的ndarray

预测的目标值。

score(X, y, sample_weight=None)[source]#

返回预测结果的决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，而 \(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳得分是 1.0，但也可能为负数（因为模型可能任意差）。一个始终预测 y 期望值的常数模型，忽略输入特征，其 \(R^2\) 得分为 0.0。

参数：
X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器，这可能是一个预先计算的核矩阵，或者是一个形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实值。

sample_weight形状为 (n_samples,) 的类数组，默认值=None

样本权重。

返回：
score浮点数

self.predict(X) 相对于 y 的 \(R^2\)。

备注

从 0.23 版本开始，在回归器上调用 score 时使用的 \(R^2\) 得分使用 multioutput='uniform_average'，以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法（MultiOutputRegressor 除外）。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → StackingRegressor[source]#

请求传递到 fit 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config），此方法才相关。请参见 用户指南，了解路由机制的工作原理。

每个参数的选项为

  • True：请求元数据，如果提供则传递到 fit。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递到 fit。

  • None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而不对其他参数进行更改。

1.3 版中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，用在 Pipeline 中）时，此方法才相关。否则，它没有效果。

参数：
sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

fit 中 sample_weight 参数的元数据路由。

返回：
self对象

更新后的对象。

set_output(*, transform=None)[source]#

设置输出容器。

参见 介绍 set_output API，了解如何使用 API 的示例。

参数：
transform{"default", "pandas", "polars"}，默认为 None

配置 transform 和 fit_transform 的输出。

  • "default"：转换器的默认输出格式

  • "pandas"：DataFrame 输出

  • "polars"：Polars 输出

  • None：转换配置不变

1.4 版本新增： "polars" 选项已添加。

返回：
self估计器实例

估计器实例。

set_params(**params)[source]#

设置集成中估计器的参数。

可以使用 get_params() 列出有效的参数键。请注意，您可以直接设置包含在 estimators 中的估计器的参数。

参数：
**params关键字参数

使用例如 set_params(parameter_name=new_value) 的特定参数。此外，除了设置估计器的参数外，还可以设置估计器的各个估计器，或者通过将其设置为“drop”将其删除。

返回：
self对象

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → StackingRegressor[source]#

请求传递给 score 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config），此方法才相关。请参见 用户指南，了解路由机制的工作原理。

每个参数的选项为

  • True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给 score。

  • None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而不对其他参数进行更改。

1.3 版中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，用在 Pipeline 中）时，此方法才相关。否则，它没有效果。

参数：
sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

score 中 sample_weight 参数的元数据路由。

返回：
self对象

更新后的对象。

transform(X)[source]#

返回每个估计器的 X 预测值。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中n_samples是样本数，n_features是特征数。

返回：
y_preds形状为 (n_samples, n_estimators) 的ndarray

每个估计器的预测输出。