AdaBoostClassifier

class sklearn.ensemble.AdaBoostClassifier(estimator=None, *, n_estimators=50, learning_rate=1.0, algorithm='deprecated', random_state=None)

AdaBoost 分类器。

AdaBoost [1] 分类器是一种元估计器，它首先在原始数据集上拟合一个分类器，然后在相同的数据集上拟合分类器的多个副本，但错误分类实例的权重会进行调整，以便后续的分类器更关注困难的案例。

此类实现了基于 [2] 的算法。

在 用户指南 中了解更多信息。

在 0.14 版本中添加。

参数：

estimator对象，默认为 None

构建增强集成模型的基础估计器。需要支持样本加权，以及正确的 classes_ 和 n_classes_ 属性。如果为 None，则基础估计器为 DecisionTreeClassifier，并初始化为 max_depth=1。

1.2 版本新增： base_estimator 已重命名为 estimator。

n_estimatorsint，默认为 50

提升终止时的最大估计器数量。如果完美拟合，则学习过程会提前停止。值必须在范围 [1, inf) 内。

learning_ratefloat，默认为 1.0

应用于每次提升迭代中每个分类器的权重。较高的学习率会增加每个分类器的贡献。 learning_rate 和 n_estimators 参数之间存在权衡。值必须在范围 (0.0, inf) 内。

algorithm{'SAMME'}，默认为 'SAMME'

使用 SAMME 离散提升算法。

自 1.6 版本起已弃用： algorithm 已弃用，将在 1.8 版本中移除。此估计器仅实现 'SAMME' 算法。

random_stateint、RandomState 实例或 None，默认为 None

控制每次提升迭代中每个 estimator 给出的随机种子。因此，只有当 estimator 公开 random_state 时才使用它。传递一个整数以在多次函数调用中获得可重复的结果。参见 词汇表。

属性：

estimator_估计器

从中增长集成模型的基础估计器。

1.2 版本新增： base_estimator_ 已重命名为 estimator_。

estimators_分类器列表

拟合的子估计器的集合。

classes_形状为 (n_classes,) 的 ndarray

类别标签。

n_classes_int

类别数量。

estimator_weights_浮点数的 ndarray

提升集成中每个估计器的权重。

estimator_errors_浮点数的 ndarray

提升集成中每个估计器的分类误差。

feature_importances_形状为 (n_features,) 的 ndarray

基于杂质的特征重要性。

n_features_in_int

在 拟合期间看到的特征数量。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 拟合期间看到的特征名称。仅当 X 的特征名称全部为字符串时定义。

1.0 版本新增。

另请参见

AdaBoostRegressor

一个 AdaBoost 回归器，它首先在原始数据集上拟合一个回归器，然后在相同的数据集上拟合回归器的附加副本，但实例的权重会根据当前预测的误差进行调整。

GradientBoostingClassifier

GB 以前向分阶段的方式构建加性模型。回归树拟合二项式或多项式偏差损失函数的负梯度。二元分类是一种特殊情况，其中只诱导单个回归树。

sklearn.tree.DecisionTreeClassifier

一种用于分类的非参数监督学习方法。创建预测目标变量值的模型，方法是学习从数据特征推断出的简单决策规则。

参考文献

[1]

Y. Freund, R. Schapire，“在线学习的决策理论概括及其在提升中的应用”，1995 年。

[2]

J. Zhu, H. Zou, S. Rosset, T. Hastie，“多类 adaboost”。统计及其接口 2.3 (2009)：349-360。

示例

>>> from sklearn.ensemble import AdaBoostClassifier
>>> from sklearn.datasets import make_classification
>>> X, y = make_classification(n_samples=1000, n_features=4,
...                            n_informative=2, n_redundant=0,
...                            random_state=0, shuffle=False)
>>> clf = AdaBoostClassifier(n_estimators=100, random_state=0)
>>> clf.fit(X, y)
AdaBoostClassifier(n_estimators=100, random_state=0)
>>> clf.predict([[0, 0, 0, 0]])
array([1])
>>> clf.score(X, y)
0.96...

有关使用 AdaBoost 将一系列决策树拟合为弱学习器的详细示例，请参考 多类 AdaBoosted 决策树。

有关使用 AdaBoost 拟合由两个高斯分位数聚类组成的非线性可分离分类数据集的详细示例，请参考 两类 AdaBoost。

decision_function(X)

计算 X 的决策函数。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

返回：

score形状为 (n_samples, k) 的 ndarray

输入样本的决策函数。输出顺序与 classes_ 属性的顺序相同。二元分类是 k == 1 的特例，否则 k==n_classes。对于二元分类，越接近 -1 或 1 的值越分别意味着更像 classes_ 中的第一个或第二个类别。

property feature_importances_

基于杂质的特征重要性。

值越高，特征越重要。特征的重要性计算为该特征带来的标准（归一化）总减少量。它也称为基尼重要性。

警告：对于高基数特征（许多唯一值），基于杂质的特征重要性可能会产生误导。请参阅 sklearn.inspection.permutation_importance 作为替代方法。

返回：

feature_importances_形状为 (n_features,) 的 ndarray

特征重要性。

fit(X, y, sample_weight=None)

根据训练集 (X, y) 建立增强型分类器/回归器。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

yarray-like of shape (n_samples,)

目标值。

sample_weightarray-like of shape (n_samples,), default=None

样本权重。如果为 None，则样本权重初始化为 1 / n_samples。

返回：

selfobject

已拟合的估计器。

get_metadata_routing()

引发 NotImplementedError。

此估计器尚不支持元数据路由。

get_params(deep=True)

获取此估计器的参数。

参数：

deepbool, default=True

如果为 True，则将返回此估计器和包含的子对象（这些子对象是估计器）的参数。

返回：

paramsdict

参数名称与其值的映射。

predict(X)

预测 X 的类别。

输入样本的预测类别计算为集成中分类器的加权平均预测。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

返回：

yndarray of shape (n_samples,)

预测的类别。

predict_log_proba(X)

预测 X 的类别对数概率。

输入样本的预测类别对数概率计算为集成中分类器的加权平均预测类别对数概率。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

返回：

pndarray of shape (n_samples, n_classes)

输入样本的类别概率。输出顺序与 classes_ 属性的顺序相同。

predict_proba(X)

预测 X 的类别概率。

输入样本的预测类别概率计算为集成中分类器的加权平均预测类别概率。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

返回：

pndarray of shape (n_samples, n_classes)

输入样本的类别概率。输出顺序与 classes_ 属性的顺序相同。

score(X, y, sample_weight=None)

返回给定测试数据和标签的平均准确率。

在多标签分类中，这是子集准确率，这是一个严格的指标，因为您要求每个样本的每个标签集都必须被正确预测。

参数：

Xarray-like of shape (n_samples, n_features)

测试样本。

yarray-like of shape (n_samples,) or (n_samples, n_outputs)

X 的真实标签。

sample_weightarray-like of shape (n_samples,), default=None

样本权重。

返回：

scorefloat

self.predict(X) 相对于 y 的平均准确率。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostClassifier

请求传递给 fit 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅 用户指南，了解路由机制的工作原理。

每个参数的选项为：

• True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给 fit。

• None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而其他参数则不变。

版本 1.3 中新增。

注意

此方法仅当此估计器用作元估计器的子估计器时才相关，例如，在Pipeline中使用。否则，它无效。

参数：

sample_weightstr、True、False 或 None，默认值=sklearn.utils.metadata_routing.UNCHANGED

fit 方法中 sample_weight 参数的元数据路由。

返回：

selfobject

更新后的对象。

set_params(**params)

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**paramsdict

估计器参数。

返回：

self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → AdaBoostClassifier

请求传递给 score 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅 用户指南，了解路由机制的工作原理。

每个参数的选项为：

• True：请求元数据，如果提供则将其传递给 score。如果未提供元数据，则忽略请求。

• False：不请求元数据，元估计器不会将其传递给 score。

• None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。

• str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而其他参数则不变。

版本 1.3 中新增。

注意

此方法仅当此估计器用作元估计器的子估计器时才相关，例如，在Pipeline中使用。否则，它无效。

参数：

sample_weightstr、True、False 或 None，默认值=sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回：

selfobject

更新后的对象。

staged_decision_function(X)

计算每次提升迭代的 X 的决策函数。

此方法允许在每次提升迭代后进行监控（即确定测试集上的误差）。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

Yields：

scoreshape 为 (n_samples, k) 的 ndarray 生成器

输入样本的决策函数。输出顺序与 classes_ 属性的顺序相同。二元分类是一个特例，k == 1，否则 k==n_classes。对于二元分类，越接近 -1 或 1 的值表示越像 classes_ 中的第一个或第二个类。

staged_predict(X)

返回 X 的分阶段预测。

输入样本的预测类别计算为集成中分类器的加权平均预测。

此生成器方法在每次提升迭代后产生集成预测，因此允许进行监控，例如确定每次提升后测试集上的预测。

参数：

Xarray-like of shape (n_samples, n_features)

输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 会转换为 CSR。

Yields：

yshape 为 (n_samples,) 的 ndarray 生成器

预测的类别。

staged_predict_proba(X)

预测 X 的类别概率。

输入样本的预测类别概率计算为集成中分类器的加权平均预测类别概率。

此生成器方法在每次提升迭代后产生集成预测的类概率，因此允许进行监控，例如确定每次提升后测试集上的预测类概率。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

Yields：

pshape 为 (n_samples,) 的 ndarray 生成器

输入样本的类别概率。输出顺序与 classes_ 属性的顺序相同。

staged_score(X, y, sample_weight=None)

返回 X、y 的分阶段分数。

此生成器方法在每次提升迭代后产生集成分数，因此允许进行监控，例如确定每次提升后测试集上的分数。

参数：

X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。稀疏矩阵可以是 CSC、CSR、COO、DOK 或 LIL。COO、DOK 和 LIL 将转换为 CSR。

yarray-like of shape (n_samples,)

X 的标签。

sample_weightarray-like of shape (n_samples,), default=None

样本权重。

Yields：

zfloat

图库示例

分类器比较

分类器比较

多类别 AdaBoosted 决策树

多类别 AdaBoosted 决策树

在鸢尾花数据集上绘制树集成体（ensemble）的决策面

在鸢尾花数据集上绘制树集成体（ensemble）的决策面

二元分类 AdaBoost

二元分类 AdaBoost

多类别 AdaBoosted 决策树

多类别 AdaBoosted 决策树