ExtraTreesClassifier#

class sklearn.ensemble.ExtraTreesClassifier(n_estimators=100, *, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features='sqrt', max_leaf_nodes=None, min_impurity_decrease=0.0, bootstrap=False, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None, ccp_alpha=0.0, max_samples=None, monotonic_cst=None)[source]#

一种极端随机树分类器。

此类实现了一个元估计器，它在数据集的各种子样本上拟合多个随机决策树（又称极端随机树），并通过平均来提高预测准确性并控制过拟合。

此估计器原生支持随机分割中的缺失值 (NaN)。在训练期间，将选择一个随机阈值来分割非缺失值。然后，非缺失值将根据随机选择的阈值发送到左侧或右侧子节点，而缺失值也将随机发送到左侧或右侧子节点。这在每次分割时对每个考虑的特征重复进行。从这些分割中选择最佳分割。

在用户指南中阅读更多内容。

参数:
n_estimatorsint, 默认值=100

森林中的树木数量。

0.22 版本中的更改: n_estimators 的默认值在 0.22 版本中从 10 更改为 100。

criterion{“gini”, “entropy”, “log_loss”}, 默认值=”gini”

衡量分割质量的函数。支持的准则包括用于 Gini 不纯度的“gini”，以及用于 Shannon 信息增益的“log_loss”和“entropy”，详见数学公式。注意：此参数是树特有的。

max_depthint, 默认值=None

树的最大深度。如果为 None，则节点会一直扩展，直到所有叶子节点都是纯的，或者直到所有叶子节点包含的样本少于 min_samples_split。

min_samples_splitint 或 float, 默认值=2

分割内部节点所需的最小样本数

  • 如果为 int，则将 min_samples_split 视为最小数量。

  • 如果为 float，则 min_samples_split 是一个分数，每个分割的最小样本数为 ceil(min_samples_split * n_samples)。

0.18 版本中的更改: 增加了分数的浮点值。

min_samples_leafint 或 float, 默认值=1

叶子节点所需的最小样本数。任何深度的分割点只有在左右分支中都至少留下 min_samples_leaf 个训练样本时才会被考虑。这可能对模型起到平滑作用，特别是在回归中。

  • 如果为 int，则将 min_samples_leaf 视为最小数量。

  • 如果为 float，则 min_samples_leaf 是一个分数，每个节点的最小样本数为 ceil(min_samples_leaf * n_samples)。

0.18 版本中的更改: 增加了分数的浮点值。

min_weight_fraction_leaffloat, 默认值=0.0

叶子节点所需的（所有输入样本）总权重和的最小加权分数。当未提供 sample_weight 时，样本具有相同的权重。

max_features{“sqrt”, “log2”, None}, int 或 float, 默认值=”sqrt”

寻找最佳分割时要考虑的特征数量

  • 如果为 int，则在每次分割时考虑 max_features 个特征。

  • 如果为 float，则 max_features 是一个分数，每次分割时考虑的特征数量为 max(1, int(max_features * n_features_in_))。

  • 如果为“sqrt”，则 max_features=sqrt(n_features)。

  • 如果为“log2”，则 max_features=log2(n_features)。

  • 如果为 None，则 max_features=n_features。

1.1 版本中的更改: max_features 的默认值从 "auto" 更改为 "sqrt"。

注意：即使需要有效检查多于 max_features 个特征，分割的搜索也不会停止，直到找到至少一个有效的节点样本分区。

max_leaf_nodesint, 默认值=None

以最佳优先方式增长具有 max_leaf_nodes 的树。最佳节点定义为不纯度的相对减少。如果为 None，则叶子节点数量不受限制。

min_impurity_decreasefloat, 默认值=0.0

如果分割导致不纯度的减少大于或等于此值，则该节点将被分割。

加权不纯度减少的公式如下

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中 N 是样本总数，N_t 是当前节点的样本数，N_t_L 是左子节点中的样本数，N_t_R 是右子节点中的样本数。

如果传入 sample_weight，则 N、N_t、N_t_R 和 N_t_L 都指代加权和。

0.19 版本新增。

bootstrapbool, 默认值=False

构建树时是否使用自助采样（bootstrap samples）。如果为 False，则使用整个数据集构建每棵树。

oob_scorebool 或 callable, 默认值=False

是否使用袋外（out-of-bag）样本来估计泛化分数。默认情况下，使用 accuracy_score。提供一个签名为 metric(y_true, y_pred) 的可调用对象以使用自定义指标。仅当 bootstrap=True 时可用。

n_jobsint, 默认值=None

并行运行的作业数。fit、predict、decision_path 和 apply 都可以在树之间并行执行。None 表示 1，除非在 joblib.parallel_backend 上下文。 -1 表示使用所有处理器。有关更多详细信息，请参见词汇表。

random_stateint, RandomState 实例或 None, 默认值=None

控制 3 个随机性来源

  • 构建树时使用的样本的自助采样（如果 bootstrap=True）

  • 在每个节点寻找最佳分割时考虑的特征采样（如果 max_features < n_features）

  • 为每个 max_features 进行分割的抽取

有关详细信息，请参见词汇表。

verboseint, 默认值=0

控制拟合和预测时的详细程度。

warm_startbool, 默认值=False

当设置为 True 时，重用上次调用 fit 的解决方案，并向集成中添加更多估计器；否则，仅拟合一个全新的森林。有关详细信息，请参见词汇表和拟合附加树。

class_weight{“balanced”, “balanced_subsample”}, dict 或 dict 列表, 默认值=None

与类别关联的权重，形式为 {class_label: weight}。如果未给出，则所有类别都假定权重为 1。对于多输出问题，可以提供一个 dict 列表，其顺序与 y 的列相同。

请注意，对于多输出（包括多标签），权重应在每个列的每个类别中定义为独立的 dict。例如，对于四类别多标签分类，权重应为 [{0: 1, 1: 1}, {0: 1, 1: 5}, {0: 1, 1: 1}, {0: 1, 1: 1}]，而不是 [{1:1}, {2:5}, {3:1}, {4:1}]。

“balanced”模式使用 y 的值自动调整权重，使其与输入数据中类别频率成反比，计算方式为 n_samples / (n_classes * np.bincount(y))。

“balanced_subsample”模式与“balanced”相同，但权重是根据每棵树的自助采样计算的。

对于多输出，y 的每一列的权重将被相乘。

请注意，如果指定了 sample_weight（通过 fit 方法传入），则这些权重将与 sample_weight 相乘。

ccp_alpha非负浮点数, 默认值=0.0

用于最小成本复杂性剪枝的复杂性参数。将选择成本复杂性最大但小于 ccp_alpha 的子树。默认情况下不执行剪枝。有关详细信息，请参见最小成本复杂性剪枝。有关此类剪枝的示例，请参见使用成本复杂性剪枝对决策树进行后剪枝。

0.22 版本新增。

max_samplesint 或 float, 默认值=None

如果 bootstrap 为 True，则从 X 中抽样以训练每个基本估计器的样本数。

  • 如果为 None（默认），则抽取 X.shape[0] 个样本。

  • 如果为 int，则抽取 max_samples 个样本。

  • 如果为 float，则抽取 max_samples * X.shape[0] 个样本。因此，max_samples 应在区间 (0.0, 1.0] 内。

0.22 版本新增。

monotonic_cst形状为 (n_features) 的 int 数组, 默认值=None
指示要对每个特征施加的单调性约束。

  • 1: 单调递增

  • 0: 无约束

  • -1: 单调递减

如果 monotonic_cst 为 None，则不应用任何约束。

单调性约束不支持以下情况：

  • 多类别分类（即当 n_classes > 2 时），

  • 多输出分类（即当 n_outputs_ > 1 时），

  • 在包含缺失值的数据上训练的分类。

约束适用于正类别的概率。

在用户指南中阅读更多内容。

1.4 版本新增。

属性:
estimator_ExtraTreeClassifier

用于创建拟合子估计器集合的子估计器模板。

1.2 版本新增: base_estimator_ 已更名为 estimator_。

estimators_DecisionTreeClassifier 列表

拟合子估计器的集合。

classes_形状为 (n_classes,) 的 ndarray 或此类数组的列表

类别标签（单输出问题），或类别标签数组的列表（多输出问题）。

n_classes_int 或 list

类别数（单输出问题），或包含每个输出的类别数的列表（多输出问题）。

feature_importances_形状为 (n_features,) 的 ndarray

基于不纯度的特征重要性。

n_features_in_int

fit 期间看到的特征数量。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

fit 期间看到的特征名称。仅当 X 的所有特征名称均为字符串时才定义。

1.0 版本新增。

n_outputs_int

执行 fit 时输出的数量。

oob_score_float

使用袋外估计获得的训练数据集分数。此属性仅当 oob_score 为 True 时存在。

oob_decision_function_形状为 (n_samples, n_classes) 或 (n_samples, n_classes, n_outputs) 的 ndarray

使用训练集上的袋外估计计算的决策函数。如果 n_estimators 较小，可能存在某个数据点在自助采样过程中从未被遗漏。在这种情况下，oob_decision_function_ 可能包含 NaN。此属性仅当 oob_score 为 True 时存在。

estimators_samples_数组列表

每个基本估计器抽取的样本子集。

另请参见

ExtraTreesRegressor

具有随机分割的极端随机树回归器。

RandomForestClassifier

具有最优分割的随机森林分类器。

RandomForestRegressor

使用具有最优分割的树的集成回归器。

备注

控制树大小的参数（例如 max_depth、min_samples_leaf 等）的默认值会导致完全生长且未剪枝的树，这在某些数据集上可能非常庞大。为了减少内存消耗，应通过设置这些参数值来控制树的复杂性和大小。

参考文献

[1]

P. Geurts, D. Ernst., and L. Wehenkel, “Extremely randomized trees”, Machine Learning, 63(1), 3-42, 2006.

示例

>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.datasets import make_classification
>>> X, y = make_classification(n_features=4, random_state=0)
>>> clf = ExtraTreesClassifier(n_estimators=100, random_state=0)
>>> clf.fit(X, y)
ExtraTreesClassifier(random_state=0)
>>> clf.predict([[0, 0, 0, 0]])
array([1])
apply(X)[source]#

将森林中的树应用于 X，返回叶子索引。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
X_leaves形状为 (n_samples, n_estimators) 的 ndarray

对于 X 中的每个数据点 x 和森林中的每棵树，返回 x 最终所在的叶子索引。

decision_path(X)[source]#

返回森林中的决策路径。

0.18 版本新增。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
indicator形状为 (n_samples, n_nodes) 的稀疏矩阵

返回一个节点指示矩阵，其中非零元素表示样本通过这些节点。该矩阵为 CSR 格式。

n_nodes_ptr形状为 (n_estimators + 1,) 的 ndarray

indicator[n_nodes_ptr[i]:n_nodes_ptr[i+1]] 中的列给出了第 i 个估计器的指示值。

fit(X, y, sample_weight=None)[source]#

根据训练集 (X, y) 构建一个树的森林。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

训练输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csc_matrix。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like

目标值（分类中的类别标签，回归中的实数）。

sample_weight形状为 (n_samples,) 的 array-like, 默认值=None

样本权重。如果为 None，则样本权重相等。在每个节点中寻找分割时，将忽略那些会创建净零或负权重子节点的分割。在分类的情况下，如果分割会导致任何单个类别在任一子节点中带有负权重，则也会忽略这些分割。

返回:
self对象

已拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南以了解路由机制的工作原理。

返回:
routingMetadataRequest

封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:
deepbool, 默认值=True

如果为 True，将返回此估计器及其包含的作为估计器的子对象的参数。

返回:
paramsdict

参数名称映射到其值。

predict(X)[source]#

预测 X 的类别。

输入样本的预测类别是森林中所有树的投票结果，并根据它们的概率估计进行加权。也就是说，预测类别是所有树中平均概率估计最高的类别。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray

预测的类别。

predict_log_proba(X)[source]#

预测 X 的类别对数概率。

输入样本的预测类别对数概率是森林中所有树的平均预测类别概率的对数。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
p形状为 (n_samples, n_classes) 的 ndarray，或此类数组的列表

输入样本的类别概率。类别的顺序与属性 classes_ 中的顺序一致。

predict_proba(X)[source]#

预测 X 的类别概率。

输入样本的预测类别概率是森林中所有树的平均预测类别概率。单棵树的类别概率是叶子节点中同类别样本的比例。

参数:
X形状为 (n_samples, n_features) 的 {array-like, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
p形状为 (n_samples, n_classes) 的 ndarray，或此类数组的列表

输入样本的类别概率。类别的顺序与属性 classes_ 中的顺序一致。

score(X, y, sample_weight=None)[source]#

返回在提供的数据和标签上的准确性。

在多标签分类中，这是子集准确性，这是一个严格的指标，因为它要求每个样本的每个标签集都正确预测。

参数:
X形状为 (n_samples, n_features) 的 array-like

测试样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like

X 的真实标签。

sample_weight形状为 (n_samples,) 的 array-like, 默认值=None

样本权重。

返回:
scorefloat

self.predict(X) 相对于 y 的平均准确性。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → ExtraTreesClassifier[source]#

请求传递给 fit 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时才相关（参见 sklearn.set_config）。请参阅用户指南以了解路由机制的工作原理。

每个参数的选项有

  • True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则请求被忽略。

  • False：不请求元数据，元估计器不会将其传递给 fit。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应以给定别名而非原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

1.3 版本新增。

注意

此方法仅在将此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用时。否则，它不起作用。

参数:
sample_weightstr, True, False 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED

fit 方法中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

该方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数:
**paramsdict

估计器参数。

返回:
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → ExtraTreesClassifier[source]#

请求传递给 score 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时才相关（参见 sklearn.set_config）。请参阅用户指南以了解路由机制的工作原理。

每个参数的选项有

  • True：请求元数据，如果提供则传递给 score。如果未提供元数据，则请求被忽略。

  • False：不请求元数据，元估计器不会将其传递给 score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应以给定别名而非原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

1.3 版本新增。

注意

此方法仅在将此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用时。否则，它不起作用。

参数:
sample_weightstr, True, False 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。