AdaBoostClassifier#

class sklearn.ensemble.AdaBoostClassifier(estimator=None, *, n_estimators=50, learning_rate=1.0, random_state=None)[源码]#

AdaBoost 分类器。

AdaBoost [1] 分类器是一个元估计器，它首先在原始数据集上拟合一个分类器，然后在同一数据集上拟合分类器的额外副本，但会调整错误分类实例的权重，使后续分类器更侧重于困难的案例。

此类实现了基于 [2] 的算法。

在用户指南中阅读更多内容。

版本 0.14 中新增。

参数:
estimatorobject, default=None

用于构建增强集成模型的基础估计器。要求支持样本加权，以及正确的 classes_ 和 n_classes_ 属性。如果为 None，则基础估计器是使用 max_depth=1 初始化的 DecisionTreeClassifier。

版本 1.2 中新增： base_estimator 已重命名为 estimator。

n_estimators整型, 默认值=50

增强停止时的最大估计器数量。如果完美拟合，学习过程会提前停止。取值范围必须在 [1, inf) 之间。

learning_rate浮点型, 默认值=1.0

在每次增强迭代中应用于每个分类器的权重。更高的学习率会增加每个分类器的贡献。在 learning_rate 和 n_estimators 参数之间存在权衡。取值范围必须在 (0.0, inf) 之间。

random_stateint, RandomState instance or None, default=None

控制在每次增强迭代中赋予每个 estimator 的随机种子。因此，它仅在 estimator 暴露 random_state 时使用。传递一个整型值以确保多次函数调用之间输出的可重现性。参见术语表。

属性:
estimator_estimator

用于构建集成的基础估计器。

版本 1.2 中新增: base_estimator_ 已重命名为 estimator_。

estimators_分类器列表

已拟合子估计器的集合。

classes_ndarray of shape (n_classes,)

类别标签。

n_classes_int

类的数量。

estimator_weights_浮点型ndarray

增强集成模型中每个估计器的权重。

estimator_errors_浮点型ndarray

增强集成模型中每个估计器的分类误差。

feature_importances_ndarray of shape (n_features,)

基于杂质的特征重要性。

n_features_in_int

在 拟合 期间看到的特征数。

0.24 版本新增。

feature_names_in_shape 为 (n_features_in_,) 的 ndarray

在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。

另请参阅

AdaBoostRegressor

AdaBoost 回归器首先在原始数据集上拟合一个回归器，然后在同一数据集上拟合回归器的额外副本，但会根据当前预测的误差调整实例的权重。

GradientBoostingClassifier

GB（梯度提升）以前向分阶段方式构建加性模型。回归树拟合二项式或多项式偏差损失函数的负梯度。二元分类是一种特殊情况，其中只生成一棵回归树。

sklearn.tree.DecisionTreeClassifier

一种用于分类的非参数监督学习方法。通过学习从数据特征推断出的简单决策规则来创建预测目标变量值的模型。

References

[1]

Y. Freund, R. Schapire, “A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting”, 1995.

示例

>>> from sklearn.ensemble import AdaBoostClassifier
>>> from sklearn.datasets import make_classification
>>> X, y = make_classification(n_samples=1000, n_features=4,
...                            n_informative=2, n_redundant=0,
...                            random_state=0, shuffle=False)
>>> clf = AdaBoostClassifier(n_estimators=100, random_state=0)
>>> clf.fit(X, y)
AdaBoostClassifier(n_estimators=100, random_state=0)
>>> clf.predict([[0, 0, 0, 0]])
array([1])
>>> clf.score(X, y)
0.96

有关使用 AdaBoost 拟合决策树序列作为弱学习器的详细示例，请参阅多类别 AdaBoost 决策树。

有关使用 AdaBoost 拟合由两个高斯分位数簇组成的非线性可分分类数据集的详细示例，请参阅二类别 AdaBoost。

decision_function(X)[源码]#

计算 X 的决策函数。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

返回:
score形状为 (n_samples, k) 的ndarray

输入样本的决策函数。输出顺序与 classes_ 属性的顺序相同。二元分类是 k == 1 的特殊情况，否则 k==n_classes。对于二元分类，值越接近 -1 或 1 分别表示越像 classes_ 中的第一类或第二类。

fit(X, y, sample_weight=None)[源码]#

从训练集 (X, y) 构建一个增强分类器/回归器。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

yarray-like of shape (n_samples,)

目标值。

sample_weightshape 为 (n_samples,) 的 array-like, default=None

样本权重。如果为 None，则样本权重初始化为 1 / n_samples。

返回:
selfobject

拟合的估计器。

get_metadata_routing()[源码]#

引发 NotImplementedError。

此估计器尚不支持元数据路由。

get_params(deep=True)[源码]#

获取此估计器的参数。

参数:
deepbool, default=True

如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:
paramsdict

参数名称映射到其值。

predict(X)[源码]#

预测 X 的类别。

输入样本的预测类别计算为集成模型中分类器的加权平均预测。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

返回:
yndarray of shape (n_samples,)

预测的类别。

predict_log_proba(X)[源码]#

预测 X 的类别对数概率。

输入样本的预测类别对数概率计算为集成模型中分类器的加权平均预测类别对数概率。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

返回:
pndarray of shape (n_samples, n_classes)

输入样本的类别概率。输出顺序与 classes_ 属性的顺序相同。

predict_proba(X)[源码]#

预测 X 的类别概率。

输入样本的预测类别概率计算为集成模型中分类器的加权平均预测类别概率。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

返回:
pndarray of shape (n_samples, n_classes)

输入样本的类别概率。输出顺序与 classes_ 属性的顺序相同。

score(X, y, sample_weight=None)[源码]#

返回在提供的数据和标签上的 准确率 (accuracy)。

在多标签分类中，这是子集准确率 (subset accuracy)，这是一个严格的指标，因为它要求每个样本的每个标签集都被正确预测。

参数:
Xshape 为 (n_samples, n_features) 的 array-like

测试样本。

yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like

X 的真实标签。

sample_weightshape 为 (n_samples,) 的 array-like, default=None

样本权重。

返回:
scorefloat

self.predict(X) 相对于 y 的平均准确率。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostClassifier[源码]#

配置是否应请求元数据以传递给 fit 方法。

请注意，此方法仅在以下情况下相关：此估计器用作 元估计器 中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看 用户指南 以了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。

  • False：不请求元数据，元估计器不会将其传递给 fit。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:
sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

fit 方法中 sample_weight 参数的元数据路由。

返回:
selfobject

更新后的对象。

set_params(**params)[源码]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，以便可以更新嵌套对象的每个组件。

参数:
**paramsdict

估计器参数。

返回:
selfestimator instance

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostClassifier[源码]#

配置是否应请求元数据以传递给 score 方法。

请注意，此方法仅在以下情况下相关：此估计器用作 元估计器 中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看 用户指南 以了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。

  • False：不请求元数据，元估计器不会将其传递给 score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:
sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回:
selfobject

更新后的对象。

staged_decision_function(X)[源码]#

为每个增强迭代计算 X 的决策函数。

此方法允许在每次增强迭代后进行监控（即确定测试集上的误差）。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

生成:
score形状为 (n_samples, k) 的ndarray生成器

输入样本的决策函数。输出顺序与 classes_ 属性的顺序相同。二元分类是 k == 1 的特殊情况，否则 k==n_classes。对于二元分类，值越接近 -1 或 1 分别表示越像 classes_ 中的第一类或第二类。

staged_predict(X)[源码]#

返回 X 的分阶段预测。

输入样本的预测类别计算为集成模型中分类器的加权平均预测。

此生成器方法在每次增强迭代后产生集成预测，因此允许进行监控，例如在每次增强后确定测试集上的预测。

参数:
Xshape 为 (n_samples, n_features) 的 array-like

输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

生成:
ygenerator of ndarray of shape (n_samples,)

预测的类别。

staged_predict_proba(X)[源码]#

预测 X 的类别概率。

输入样本的预测类别概率计算为集成模型中分类器的加权平均预测类别概率。

此生成器方法在每次增强迭代后产生集成预测类别概率，因此允许进行监控，例如在每次增强后确定测试集上的预测类别概率。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

生成:
p形状为 (n_samples,) 的ndarray生成器

输入样本的类别概率。输出顺序与 classes_ 属性的顺序相同。

staged_score(X, y, sample_weight=None)[源码]#

返回 X, y 的分阶段分数。

此生成器方法在每次增强迭代后产生集成模型分数，因此允许进行监控，例如在每次增强后确定测试集上的分数。

参数:
Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

yarray-like of shape (n_samples,)

X 的标签。

sample_weightshape 为 (n_samples,) 的 array-like, default=None

样本权重。

生成:
zfloat