堆叠分类器#(StackingClassifier)

class sklearn.ensemble.StackingClassifier(estimators, final_estimator=None, *, cv=None, stack_method='auto', n_jobs=None, passthrough=False, verbose=0)[source]#

堆叠的估计器，带最终分类器。

堆叠泛化包括堆叠单个估计器的输出，并使用分类器来计算最终预测。堆叠允许通过使用各个估计器的输出作为最终估计器的输入来利用每个估计器的优势。

请注意，estimators_ 在完整的 X 上拟合，而 final_estimator_ 使用交叉验证预测（cross_val_predict）训练。

在 用户指南 中了解更多信息。

0.22 版本中新增。

参数：
estimatorslist of (str, estimator)

将一起堆叠的基本估计器。列表的每个元素定义为字符串（即名称）和估计器实例的元组。可以使用 set_params 将估计器设置为“drop”。

估计器的类型通常应为分类器。但是，对于某些用例（例如序数回归），可以传递回归器。

final_estimatorestimator, default=None

将用于组合基本估计器的分类器。默认分类器是 LogisticRegression。

cvint, cross-validation generator, iterable, or “prefit”, default=None

确定在 cross_val_predict 中用于训练 final_estimator 的交叉验证拆分策略。cv 的可能输入为：

  • None，使用默认的 5 折交叉验证；

  • 整数，指定 (Stratified) KFold 中的折叠数；

  • 用作交叉验证生成器的对象；

  • 产生训练集和测试集拆分的可迭代对象；

  • "prefit"，假设 estimators 已预先拟合。在这种情况下，估计器将不会重新拟合。

对于整数/None 输入，如果估计器是分类器，并且 y 是二元或多类，则使用 StratifiedKFold。在所有其他情况下，使用 KFold。这些拆分器使用 shuffle=False 实例化，因此拆分在调用之间将保持一致。

请参阅 用户指南，了解此处可使用的各种交叉验证策略。

如果传递“prefit”，则假设所有 estimators 都已拟合。 final_estimator_ 在 estimators 对完整训练集的预测上进行训练，并且 **不是** 交叉验证预测。请注意，如果模型已在用于训练堆叠模型的相同数据上进行训练，则存在非常高的过拟合风险。

1.1 版本中新增： ’prefit’ 选项在 1.1 版本中新增

注意

如果训练样本数量足够大，则增加拆分数量不会带来任何好处。实际上，训练时间会增加。cv 不用于模型评估，而是用于预测。

stack_method{‘auto’, ‘predict_proba’, ‘decision_function’, ‘predict’}, default=’auto’

为每个基本估计器调用的方法。它可以是：

  • 如果为“auto”，它将尝试按顺序为每个估计器调用 'predict_proba'、'decision_function' 或 'predict'。

  • 否则，为 'predict_proba'、'decision_function' 或 'predict' 之一。如果估计器未实现该方法，则会引发错误。

n_jobsint, default=None

为所有 estimators 的 fit 并行运行的作业数。None 表示 1（除非在 joblib.parallel_backend 上下文中）。-1 表示使用所有处理器。有关详细信息，请参阅 词汇表。

passthroughbool, default=False

如果为 False，则只有估计器的预测将用作 final_estimator 的训练数据。如果为 True，则 final_estimator 将在预测以及原始训练数据上进行训练。

verboseint, default=0

详细程度。

属性：
classes_ndarray of shape (n_classes,) or list of ndarray if y is of type "multilabel-indicator".

类别标签。

estimators_list of estimators

estimators 参数的元素，已在训练数据上拟合。如果将估计器设置为 'drop'，则它不会出现在 estimators_ 中。当 cv="prefit" 时，estimators_ 设置为 estimators，并且不会再次拟合。

named_estimators_Bunch

用于按名称访问任何已拟合的子估计器的属性。

n_features_in_int

在 拟合过程中看到的特征数量。

feature_names_in_ndarray of shape (n_features_in_,)

在 拟合过程中看到的特征名称。仅当底层估计器在拟合时公开此类属性时才定义。

版本 1.0 中新增。

final_estimator_估计器

拟合在 estimators_ 输出上的分类器，负责最终预测。

stack_method_str 列表

每个基础估计器使用的方法。

另请参见

StackingRegressor

具有最终回归器的估计器堆栈。

备注

当每个估计器使用 predict_proba 时（即，对于 stack_method='auto' 或专门对于 stack_method='predict_proba' 大多数情况下），在二元分类问题中，将删除每个估计器预测的第一个列。事实上，这两个特征将完全共线性。

在某些情况下（例如，序数回归），可以将回归器作为 StackingClassifier 的第一层传递。但是，请注意 y 将在内部以数值递增顺序或字典顺序进行编码。如果此顺序不合适，则应手动以所需的顺序对类进行数值编码。

参考文献

[1]

Wolpert，David H. “堆叠泛化。”神经网络 5.2 (1992)：241-259。

示例

>>> from sklearn.datasets import load_iris
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.svm import LinearSVC
>>> from sklearn.linear_model import LogisticRegression
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.ensemble import StackingClassifier
>>> X, y = load_iris(return_X_y=True)
>>> estimators = [
...     ('rf', RandomForestClassifier(n_estimators=10, random_state=42)),
...     ('svr', make_pipeline(StandardScaler(),
...                           LinearSVC(random_state=42)))
... ]
>>> clf = StackingClassifier(
...     estimators=estimators, final_estimator=LogisticRegression()
... )
>>> from sklearn.model_selection import train_test_split
>>> X_train, X_test, y_train, y_test = train_test_split(
...     X, y, stratify=y, random_state=42
... )
>>> clf.fit(X_train, y_train).score(X_test, y_test)
0.9...
decision_function(X)[source]#

使用最终估计器计算 X 中样本的决策函数。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回:
decisions形状为 (n_samples,)、(n_samples, n_classes) 或 (n_samples, n_classes * (n_classes-1) / 2) 的ndarray

最终估计器计算的决策函数。

fit(X, y, *, sample_weight=None, **fit_params)[source]#

拟合估计器。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

y形状为 (n_samples,) 的类数组

目标值。请注意，y 将在内部以数值递增顺序或字典顺序进行编码。如果顺序很重要（例如，对于序数回归），则应在调用 fit 之前对目标 y 进行数值编码。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。如果为 None，则样本权重相等。请注意，只有当所有底层估计器都支持样本权重时才支持此功能。

**fit_paramsdict

传递给底层估计器的参数。

版本 1.6 中新增： 仅当 enable_metadata_routing=True 时才可用，这可以通过使用 sklearn.set_config(enable_metadata_routing=True) 来设置。有关更多详细信息，请参阅 元数据路由用户指南。

返回:
self对象

返回拟合的估计器实例。

fit_transform(X, y=None, **fit_params)[source]#

拟合数据，然后转换它。

使用可选参数 fit_params 将转换器拟合到 X 和 y，并返回 X 的转换版本。

参数：
X形状为 (n_samples, n_features) 的类数组

输入样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组，默认为 None

目标值（无监督转换则为 None）。

**fit_paramsdict

附加拟合参数。

返回:
X_new形状为 (n_samples, n_features_new) 的ndarray 数组

转换后的数组。

get_feature_names_out(input_features=None)[source]#

获取转换的输出特征名称。

参数：
input_featuresstr 类数组或 None，默认为 None

输入特征。只有当 passthrough 为 True 时才会使用输入特征名称。

  • 如果input_features为None，则使用feature_names_in_作为输入特征名。如果feature_names_in_未定义，则会生成名称：[x0, x1, ..., x(n_features_in_ - 1)]。

  • 如果input_features是类数组对象，则如果feature_names_in_已定义，input_features必须与feature_names_in_匹配。

如果passthrough为False，则仅使用estimators的名称来生成输出特征名。

返回:
feature_names_outstr 对象的ndarray

转换后的特征名称。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南了解路由机制的工作原理。

1.6 版本新增。

返回:
routingMetadataRouter

一个MetadataRouter，封装了路由信息。

get_params(deep=True)[source]#

获取集成估计器的参数。

返回构造函数中给定的参数以及estimators参数中包含的估计器。

参数：
deepbool，默认为 True

将其设置为 True 可以获取各种估计器及其参数。

返回:
paramsdict

参数和估计器名称与其值映射，或参数名称与其值映射。

property n_features_in_#

在 拟合过程中看到的特征数量。

property named_estimators#

用于按名称访问任何已拟合子估计器的字典。

返回:
数据包 (Bunch)
predict(X, **predict_params)[source]#

预测 X 的目标。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

**predict_paramsdict of str -> obj

传递给final_estimator调用的predict方法的参数。请注意，这可用于使用return_std或return_cov从某些估计器返回不确定性。请注意，它只考虑最终估计器的不确定性。

  • 如果enable_metadata_routing=False（默认值）：参数直接传递到final_estimator的predict方法。

  • 如果enable_metadata_routing=True：参数安全地路由到final_estimator的predict方法。更多详情请参见元数据路由用户指南。

1.6 版本中更改： **predict_params可以通过元数据路由 API 进行路由。

返回:
y_pred形状为 (n_samples,) 或 (n_samples, n_output) 的 ndarray

预测的目标。

predict_proba(X)[source]#

使用最终估计器预测 X 的类概率。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回:
probabilities形状为 (n_samples, n_classes) 的 ndarray 或形状为 (n_output,) 的 ndarray 列表

输入样本的类概率。

score(X, y, sample_weight=None)[source]#

返回给定测试数据和标签的平均准确率。

在多标签分类中，这是子集准确率，这是一个严格的指标，因为您要求对每个样本正确预测每个标签集。

参数：
X形状为 (n_samples, n_features) 的类数组

测试样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象

X 的真实标签。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。

返回:
scorefloat

self.predict(X)相对于y的平均准确率。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → StackingClassifier[source]#

向fit方法请求传递的元数据。

请注意，只有在enable_metadata_routing=True时，此方法才相关（参见sklearn.set_config）。请参阅用户指南了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则传递给fit。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给fit。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而无需更改其他参数。

版本1.3中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline内部使用）时，此方法才相关。否则它无效。

参数：
sample_weightstr、True、False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED

fit方法中sample_weight参数的元数据路由。

返回:
self对象

更新后的对象。

set_output(*, transform=None)[source]#

设置输出容器。

有关如何使用此API的示例，请参见介绍 set_output API。

参数：
transform{"default", "pandas", "polars"}，默认为None

配置transform和fit_transform的输出。

  • "default"：转换器的默认输出格式

  • "pandas"：DataFrame 输出

  • "polars"：Polars 输出

  • None：转换配置保持不变

版本 1.4 中新增： 添加了"polars"选项。

返回:
self估计器实例

估计器实例。

set_params(**params)[source]#

使用集成中的估计器设置参数。

可以使用get_params()列出有效的参数键。请注意，您可以直接设置estimators中包含的估计器的参数。

参数：
**params关键字参数

使用例如set_params(parameter_name=new_value)的特定参数。此外，除了设置估计器的参数外，还可以设置估计器的各个估计器，或者可以通过将其设置为“drop”来删除它们。

返回:
self对象

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → StackingClassifier[source]#

向score方法请求传递的元数据。

请注意，只有在enable_metadata_routing=True时，此方法才相关（参见sklearn.set_config）。请参阅用户指南了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则传递给score。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求而无需更改其他参数。

版本1.3中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在Pipeline内部使用）时，此方法才相关。否则它无效。

参数：
sample_weightstr、True、False 或 None，默认为sklearn.utils.metadata_routing.UNCHANGED

score方法中sample_weight参数的元数据路由。

返回:
self对象

更新后的对象。

transform(X)[source]#

返回每个估计器的 X 的类标签或概率。

参数：
X形状为 (n_samples, n_features) 的{类数组、稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回:
y_preds形状为 (n_samples, n_estimators) 或 (n_samples, n_classes * n_estimators) 的 ndarray

每个估计器的预测输出。