StackingClassifier#

class sklearn.ensemble.StackingClassifier(estimators, final_estimator=None, *, cv=None, stack_method='auto', n_jobs=None, passthrough=False, verbose=0)[source]#

带有最终分类器的估算器堆栈。

堆叠泛化（Stacked generalization）是指堆叠各个评估器的输出，并使用一个分类器来计算最终预测结果。堆叠允许通过将各个评估器的输出作为最终评估器的输入，来利用每个评估器的优势。

请注意，estimators_ 会在完整的 X 上进行拟合，而 final_estimator_ 则使用基评估器的交叉验证预测结果（通过 cross_val_predict）进行训练。

在 用户指南 中阅读更多内容。

版本 0.22 新增。

参数:
estimators列表，格式为 (str, estimator)

将要堆叠在一起的基评估器。列表中的每个元素定义为一个包含字符串（即名称）和评估器实例的元组。可以使用 set_params 将某个评估器设置为 ‘drop’。

评估器的类型通常预期为分类器。但在某些用例中（例如序数回归），也可以传入回归器。

final_estimator评估器，默认=None

用于组合基评估器的分类器。默认分类器是 LogisticRegression。

cv整数、交叉验证生成器、可迭代对象或 “prefit”，默认=None

确定在 cross_val_predict 中用于训练 final_estimator 的交叉验证拆分策略。cv 的可能输入如下：

  • None，使用默认的 5 折交叉验证，

  • 整数，指定 (Stratified) KFold 中的折数，

  • 用作交叉验证生成器的对象，

  • 产生训练集/测试集拆分的可迭代对象，

  • "prefit"，假定 estimators 已经拟合。在这种情况下，评估器不会被重新拟合。

对于整数/None 输入，如果评估器是分类器且 y 为二分类或多分类，则使用 StratifiedKFold。在所有其他情况下，使用 KFold。这些拆分器实例化时均使用 shuffle=False，因此多次调用中的拆分结果将保持一致。

有关此处可使用的各种交叉验证策略，请参阅 用户指南。

如果传入 “prefit”，则假定所有 estimators 都已完成拟合。final_estimator_ 会在 estimators 对完整训练集的预测结果上进行训练，且不是交叉验证的预测结果。请注意，如果模型是在用于训练堆叠模型的相同数据上进行训练的，则存在极高的过拟合风险。

版本 1.1 新增： ‘prefit’ 选项在 1.1 版本中添加

注意

如果训练样本数量足够大，增加拆分数量不会带来任何好处。实际上，训练时间会增加。cv 不用于模型评估，而用于预测。

stack_method{‘auto’, ‘predict_proba’, ‘decision_function’, ‘predict’}, 默认=’auto’

为每个基评估器调用的方法。它可以是：

  • 如果是 ‘auto’，它将尝试依次调用每个评估器的 'predict_proba'、'decision_function' 或 'predict'。

  • 否则，为 'predict_proba'、'decision_function' 或 'predict' 之一。如果评估器未实现该方法，将会引发错误。

n_jobsint, default=None

所有 estimators 进行 fit 时并行运行的任务数。None 表示 1（除非在 joblib.parallel_backend 上下文中）。-1 表示使用所有处理器。有关更多详细信息，请参阅 术语表。

passthrough布尔值，默认=False

当为 False 时，仅将评估器的预测结果用作 final_estimator 的训练数据。当为 True 时，final_estimator 将基于预测结果以及原始训练数据进行训练。

verboseint, default=0

详细程度。

属性:
classes_形状为 (n_classes,) 的 ndarray，如果 y 为 "multilabel-indicator" 类型，则为 ndarray 列表。

类别标签。

estimators_list of estimators

estimators 参数的元素，已在训练数据上拟合。如果评估器被设置为 'drop'，它将不会出现在 estimators_ 中。当 cv="prefit" 时，estimators_ 被设置为 estimators 且不会再次拟合。

named_estimators_Bunch

按名称访问任何已拟合的子估计器的属性。

n_features_in_int

在 拟合 期间看到的特征数。

feature_names_in_shape 为 (n_features_in_,) 的 ndarray

在 fit 期间看到的特征名称。仅当底层估计器在拟合时公开此类属性时才定义。

1.0 版本新增。

final_estimator_评估器

在 estimators_ 的输出上进行拟合，并负责最终预测的分类器。

stack_method_字符串列表

每个基评估器所使用的方法。

另请参阅

StackingRegressor

带有最终回归器的估算器堆栈。

注意事项

当每个评估器使用 predict_proba 时（即 stack_method='auto' 或 stack_method='predict_proba' 的大多数情况），在二分类问题中，每个评估器预测的第一列将被丢弃。因为这两个特征将是完全共线的。

在某些情况下（例如序数回归），可以将回归器作为 StackingClassifier 的第一层。但是，请注意 y 将在内部按数值递增顺序或字典顺序进行编码。如果这种顺序不合适，则应手动按所需顺序对类进行数值编码。

References

[1]

Wolpert, David H. “Stacked generalization.” Neural networks 5.2 (1992): 241-259.

示例

>>> from sklearn.datasets import load_iris
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.svm import LinearSVC
>>> from sklearn.linear_model import LogisticRegression
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.ensemble import StackingClassifier
>>> X, y = load_iris(return_X_y=True)
>>> estimators = [
...     ('rf', RandomForestClassifier(n_estimators=10, random_state=42)),
...     ('svr', make_pipeline(StandardScaler(),
...                           LinearSVC(random_state=42)))
... ]
>>> clf = StackingClassifier(
...     estimators=estimators, final_estimator=LogisticRegression()
... )
>>> from sklearn.model_selection import train_test_split
>>> X_train, X_test, y_train, y_test = train_test_split(
...     X, y, stratify=y, random_state=42
... )
>>> clf.fit(X_train, y_train).score(X_test, y_test)
0.9...
decision_function(X)[source]#

使用最终评估器对 X 中的样本计算决策函数。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练向量，其中 n_samples 是样本数量，n_features 是特征数量。

返回:
decisions形状为 (n_samples,)、(n_samples, n_classes) 或 (n_samples, n_classes * (n_classes-1) / 2) 的 ndarray

由最终评估器计算的决策函数。

fit(X, y, **fit_params)[source]#

拟合估计器。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练向量，其中 n_samples 是样本数量，n_features 是特征数量。

yarray-like of shape (n_samples,)

目标值。请注意，y 将在内部按数值递增顺序或字典顺序进行编码。如果顺序很重要（例如序数回归），则应在调用 fit 之前对目标 y 进行数值编码。

**fit_paramsdict

Parameters to pass to the underlying estimators.

版本 1.6 中新增： 仅当 enable_metadata_routing=True 时可用，可通过使用 sklearn.set_config(enable_metadata_routing=True) 进行设置。有关详细信息，请参阅元数据路由用户指南。

返回:
selfobject

返回一个已拟合的评估器实例。

fit_transform(X, y=None, **fit_params)[source]#

拟合数据，然后对其进行转换。

使用可选参数 fit_params 将转换器拟合到 X 和 y，并返回 X 的转换版本。

参数:
Xshape 为 (n_samples, n_features) 的 array-like

输入样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象，默认=None

目标值（对于无监督转换，为 None）。

**fit_paramsdict

额外的拟合参数。仅当估计器在其 fit 方法中接受额外的参数时才传递。

返回:
X_newndarray array of shape (n_samples, n_features_new)

转换后的数组。

get_feature_names_out(input_features=None)[source]#

获取转换的输出特征名称。

参数:
input_featuresarray-like of str or None, default=None

输入特征。输入特征名称仅在 passthrough 为 True 时使用。

  • 如果 input_features 为 None，则使用 feature_names_in_ 作为输入特征名称。如果未定义 feature_names_in_，则生成名称：[x0, x1, ..., x(n_features_in_ - 1)]。

  • 如果 input_features 是 array-like，则如果定义了 feature_names_in_，input_features 必须与 feature_names_in_ 匹配。

如果 passthrough 为 False，则仅使用 estimators 的名称来生成输出特征名称。

返回:
feature_names_outstr 对象的 ndarray

转换后的特征名称。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅 用户指南，了解路由机制如何工作。

版本 1.6 中新增。

返回:
routingMetadataRouter

封装路由信息的 MetadataRouter。

get_params(deep=True)[source]#

获取集合中估计器的参数。

返回构造函数中给定的参数以及 estimators 参数中包含的估计器。

参数:
deepbool, default=True

将其设置为 True 将获取各种估计器以及估计器的参数。

返回:
paramsdict

参数和估计器名称映射到它们的值，或者参数名称映射到它们的值。

property named_estimators#

按名称访问任何已拟合的子估计器的字典。

返回:
Bunch
predict(X, **predict_params)[source]#

预测 X 的目标值。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练向量，其中 n_samples 是样本数量，n_features 是特征数量。

**predict_params字典，str -> obj

传递给 final_estimator 所调用的 predict 方法的参数。请注意，这可能用于返回某些带有 return_std 或 return_cov 参数的评估器的不确定性。请注意，它仅考虑最终评估器中的不确定性。

  • 如果 enable_metadata_routing=False（默认）：参数直接传递给 final_estimator 的 predict 方法。

  • 如果 enable_metadata_routing=True：参数被安全地路由到 final_estimator 的 predict 方法。详情请参阅 元数据路由用户指南。

版本 1.6 变更： **predict_params 可以通过元数据路由 API 进行路由。

返回:
y_pred形状为 (n_samples,) 或 (n_samples, n_output) 的 ndarray

预测的目标值。

predict_proba(X)[source]#

使用最终评估器对 X 预测类别概率。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练向量，其中 n_samples 是样本数量，n_features 是特征数量。

返回:
probabilities形状为 (n_samples, n_classes) 的 ndarray，或形状为 (n_output,) 的 ndarray 列表

输入样本的类别概率。

score(X, y, sample_weight=None)[source]#

返回在提供的数据和标签上的 准确率 (accuracy)。

在多标签分类中，这是子集准确率 (subset accuracy)，这是一个严格的指标，因为它要求每个样本的每个标签集都被正确预测。

参数:
Xshape 为 (n_samples, n_features) 的 array-like

测试样本。

yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like

X 的真实标签。

sample_weightshape 为 (n_samples,) 的 array-like, default=None

样本权重。

返回:
scorefloat

self.predict(X) 相对于 y 的平均准确率。

set_output(*, transform=None)[source]#

设置输出容器。

请参阅 用户指南 以了解更多详细信息，并参考 引入 set_output API 获取关于如何使用该 API 的示例。

参数:
transform{“default”, “pandas”, “polars”}, default=None

配置 transform 和 fit_transform 的输出。

  • "default": 转换器的默认输出格式

  • "pandas": DataFrame 输出

  • "polars": Polars 输出

  • None: 转换配置保持不变

1.4 版本新增: 添加了 "polars" 选项。

返回:
selfestimator instance

估计器实例。

set_params(**params)[source]#

设置集合中估计器的参数。

有效的参数键可以通过 get_params() 列出。请注意，您可以直接设置 estimators 中包含的估计器的参数。

参数:
**paramskeyword arguments

使用例如 set_params(parameter_name=new_value) 设置特定参数。除了设置估计器的参数外，还可以设置 estimators 的单个估计器，或者通过将它们设置为 ‘drop’ 来移除。

返回:
selfobject

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → StackingClassifier[source]#

配置是否应请求元数据以传递给 score 方法。

请注意，此方法仅在以下情况下相关：此估计器用作 元估计器 中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看 用户指南 以了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。

  • False：不请求元数据，元估计器不会将其传递给 score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:
sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回:
selfobject

更新后的对象。

transform(X)[source]#

返回 X 中每个评估器的类标签或概率。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练向量，其中 n_samples 是样本数量，n_features 是特征数量。

返回:
y_preds形状为 (n_samples, n_estimators) 或 (n_samples, n_classes * n_estimators) 的 ndarray

每个评估器的预测输出。