RandomForestClassifier#

class sklearn.ensemble.RandomForestClassifier(n_estimators=100, *, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features='sqrt', max_leaf_nodes=None, min_impurity_decrease=0.0, bootstrap=True, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None, ccp_alpha=0.0, max_samples=None, monotonic_cst=None)[source]#

随机森林分类器。

随机森林是一种元估计器，它在数据集的各种子样本上拟合多个决策树分类器，并使用平均值来提高预测精度并控制过拟合。森林中的树使用最佳拆分策略，即等同于向底层 DecisionTreeClassifier 传递 splitter="best"。如果 bootstrap=True（默认值），子样本大小由 max_samples 参数控制，否则使用整个数据集来构建每棵树。

有关基于树的集成模型的比较，请参阅示例比较随机森林和直方图梯度提升模型。

此估计器原生支持缺失值 (NaNs)。在训练过程中，树生长器会根据潜在增益，在每个分裂点学习具有缺失值的样本应该进入左子节点还是右子节点。在预测时，具有缺失值的样本相应地分配给左子节点或右子节点。如果在训练过程中某个给定特征没有遇到缺失值，那么具有缺失值的样本将被映射到具有最多样本的子节点。

在用户指南中阅读更多内容。

参数:

n_estimatorsint, default=100

森林中的树的数量。

版本 0.22 中更改: n_estimators 的默认值从 10 更改为 100。

criterion{“gini”, “entropy”, “log_loss”}, default=”gini”

用于衡量拆分质量的函数。支持的准则包括用于基尼不纯度的“gini”以及用于香农信息增益的“log_loss”和“entropy”，请参阅数学公式。注意：此参数是树特定的。

max_depthint, default=None

树的最大深度。如果为None，则节点会扩展直到所有叶子都是纯的，或者直到所有叶子包含的样本数少于 min_samples_split。

min_samples_splitint or float, default=2

分割内部节点所需的最小样本数。

如果为 int，则将 min_samples_split 视为最小数量。
如果为 float，则 min_samples_split 是一个分数，ceil(min_samples_split * n_samples) 是每次分割的最小样本数。

版本 0.18 更改：添加了分数浮点值。

min_samples_leafint or float, default=1

叶节点所需的最小样本数。只有当分割点在左右分支中都留下至少 min_samples_leaf 个训练样本时，才会考虑该分割点。这可能具有平滑模型的效果，尤其是在回归中。

如果为 int，则将 min_samples_leaf 视为最小数量。
如果为 float，则 min_samples_leaf 是一个分数，ceil(min_samples_leaf * n_samples) 是每个节点的最小样本数。

版本 0.18 更改：添加了分数浮点值。

min_weight_fraction_leaffloat, default=0.0

叶节点所需的总权重（所有输入样本的权重总和）的最小加权分数。如果未提供 sample_weight，则样本具有相等的权重。

max_features{“sqrt”, “log2”, None}, int or float, default=”sqrt”

寻找最佳分割时要考虑的特征数量。

如果为 int，则在每次分割时考虑 max_features 个特征。
如果为 float，则 max_features 是一个分数，max(1, int(max_features * n_features_in_)) 个特征在每次分割时被考虑。
如果为 “sqrt”，则 max_features=sqrt(n_features)。
如果为 “log2”，则 max_features=log2(n_features)。
如果为 None，则 max_features=n_features。

版本 1.1 中更改: max_features 的默认值从 "auto" 更改为 "sqrt"。

注意：即使需要有效检查多于 max_features 个特征，搜索分割也不会停止，直到找到至少一个有效的节点样本分区。

max_leaf_nodesint, default=None

以最佳优先方式增长树，直到达到 max_leaf_nodes。最佳节点被定义为相对不纯度降低。如果为 None，则叶节点数量不受限制。

min_impurity_decreasefloat, default=0.0

如果此分割导致的不纯度降低大于或等于此值，则该节点将被分割。

加权杂质减少方程如下

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中 N 是样本总数，N_t 是当前节点的样本数，N_t_L 是左子节点中的样本数，N_t_R 是右子节点中的样本数。

如果传递了 sample_weight，则 N、N_t、N_t_R 和 N_t_L 都指的是加权和。

Added in version 0.19.

bootstrapbool, default=True

构建树时是否使用 bootstrap 样本。如果为 False，则使用整个数据集来构建每棵树。

oob_scorebool or callable, default=False

是否使用袋外样本来估计泛化分数。默认情况下，使用 accuracy_score。提供一个签名为 metric(y_true, y_pred) 的可调用对象来使用自定义指标。仅在 bootstrap=True 时可用。

有关袋外（OOB）错误估计的说明，请参见示例随机森林的OOB错误。

n_jobsint, default=None

并行运行的作业数。fit、predict、decision_path 和 apply 都在树上并行化。None 表示 1，除非在 joblib.parallel_backend 上下文中。-1 表示使用所有处理器。有关更多详细信息，请参阅词汇表。

random_stateint, RandomState instance or None, default=None

控制在构建树时使用的样本的引导随机性（如果 bootstrap=True），以及在每个节点寻找最佳拆分时要考虑的特征采样（如果 max_features < n_features）。有关详细信息，请参阅词汇表。

verboseint, default=0

控制拟合和预测时的详细程度。

warm_startbool, default=False

当设置为 True 时，重用上次调用 fit 的结果并向集成中添加更多估计器，否则，拟合一个全新的森林。有关详细信息，请参阅词汇表和拟合额外的树。

class_weight{“balanced”, “balanced_subsample”}, dict or list of dicts, default=None

与类别关联的权重，形式为 {class_label: weight}。如果未给出，则所有类别的权重都假定为一。对于多输出问题，可以按照 y 的列顺序提供一个字典列表。

请注意，对于多输出（包括多标签），权重应针对每个列中的每个类别在各自的字典中定义。例如，对于四类多标签分类，权重应为 [{0: 1, 1: 1}, {0: 1, 1: 5}, {0: 1, 1: 1}, {0: 1, 1: 1}] 而不是 [{1:1}, {2:5}, {3:1}, {4:1}]。

“balanced”模式使用 y 的值根据输入数据中与类别频率成反比自动调整权重，计算公式为 n_samples / (n_classes * np.bincount(y))

“balanced_subsample”模式与“balanced”相同，只是权重是根据每棵生长树的引导样本计算的。

对于多输出，y 的每一列的权重将相乘。

请注意，如果指定了 sample_weight（通过 fit 方法传递），这些权重将与 sample_weight 相乘。

ccp_alphanon-negative float, default=0.0

用于最小成本复杂性剪枝的复杂性参数。将选择具有大于 ccp_alpha 的最大成本复杂性的子树。默认情况下，不执行剪枝。有关详细信息，请参阅最小成本复杂性剪枝。有关此类剪枝的示例，请参阅使用成本复杂性剪枝对决策树进行后剪枝。

版本 0.22 新增。

max_samplesint or float, default=None

如果 bootstrap 为 True，则从 X 中抽取用于训练每个基本估计器的样本数。

如果为 None（默认），则抽取 X.shape[0] 个样本。
如果为 int，则抽取 max_samples 个样本。
如果是浮点数，则抽取 max(round(n_samples * max_samples), 1) 个样本。因此，max_samples 应在区间 (0.0, 1.0] 内。

版本 0.22 新增。

monotonic_cstarray-like of int of shape (n_features), default=None

指示要对每个特征施加的单调性约束。

1：单调增加
0：无约束
-1：单调减少

如果 monotonic_cst 为 None，则不应用任何约束。

单调性约束不支持以下情况：

多类别分类（即当 n_classes > 2 时），
多输出分类（即当 n_outputs_ > 1 时），
在具有缺失值的数据上训练的分类。

约束适用于正类的概率。

欲了解更多信息，请阅读用户指南。

1.4 版本新增。

属性:

estimator_DecisionTreeClassifier: 用于创建已拟合子估计器集合的子估计器模板。

版本 1.2 中新增: base_estimator_ 已重命名为 estimator_。
estimators_list of DecisionTreeClassifier: 已拟合子估计器的集合。
classes_ndarray of shape (n_classes,) or a list of such arrays: 类别标签（单输出问题），或类别标签数组列表（多输出问题）。
n_classes_int or list: 类别数（单输出问题），或包含每个输出类别数的列表（多输出问题）。
n_features_in_int: 在拟合期间看到的特征数。

0.24 版本新增。
feature_names_in_shape 为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。
n_outputs_int: 执行 fit 时的输出数。
feature_importances_ndarray of shape (n_features,): 基于杂质的特征重要性。
oob_score_float: 使用袋外估计获得的训练数据集分数。此属性仅当 oob_score 为 True 时存在。
oob_decision_function_ndarray of shape (n_samples, n_classes) or (n_samples, n_classes, n_outputs): 在训练集上使用袋外估计计算的决策函数。如果 n_estimators 很小，可能存在某个数据点在 bootstrap 期间从未被排除在外的情况。在这种情况下，oob_decision_function_ 可能包含 NaN。此属性仅当 oob_score 为 True 时存在。
estimators_samples_list of arrays: 每个基本估计器抽取的样本子集。

另请参阅

sklearn.tree.DecisionTreeClassifier: 决策树分类器。
sklearn.ensemble.ExtraTreesClassifier: 超随机树分类器集成。
sklearn.ensemble.HistGradientBoostingClassifier: 基于直方图的梯度提升分类树，对于大型数据集 (n_samples >= 10_000) 速度非常快。

注意事项

控制树大小的参数（例如 max_depth、min_samples_leaf 等）的默认值会导致完全生长的、未剪枝的树，这在某些数据集上可能会非常大。为了减少内存消耗，应通过设置这些参数值来控制树的复杂性和大小。

在每次拆分时，特征总是随机排列的。因此，即使使用相同的训练数据、max_features=n_features 和 bootstrap=False，如果准则的改进对于在寻找最佳拆分时列举的几个拆分是相同的，找到的最佳拆分也可能有所不同。为了在拟合期间获得确定性行为，必须固定 random_state。

References

[1]

L. Breiman, “Random Forests”, Machine Learning, 45(1), 5-32, 2001.

示例

>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.datasets import make_classification
>>> X, y = make_classification(n_samples=1000, n_features=4,
...                            n_informative=2, n_redundant=0,
...                            random_state=0, shuffle=False)
>>> clf = RandomForestClassifier(max_depth=2, random_state=0)
>>> clf.fit(X, y)
RandomForestClassifier(...)
>>> print(clf.predict([[0, 0, 0, 0]]))
[1]

apply(X)[source]#

将森林中的树应用于 X，返回叶子索引。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将转换为稀疏 csr_matrix。

返回:

X_leavesndarray of shape (n_samples, n_estimators): 对于 X 中的每个数据点 x 和森林中的每棵树，返回 x 最终所在的叶子的索引。

decision_path(X)[source]#

返回森林中的决策路径。

版本 0.18 新增。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将转换为稀疏 csr_matrix。

返回:

indicatorsparse matrix of shape (n_samples, n_nodes): 返回节点指示矩阵，其中非零元素指示样本通过的节点。矩阵为 CSR 格式。
n_nodes_ptrndarray of shape (n_estimators + 1,): indicator[n_nodes_ptr[i]:n_nodes_ptr[i+1]] 中的列给出第 i 个估计器的指示值。

fit(X, y, sample_weight=None)[source]#

根据训练集 (X, y) 构建一个树的森林。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将转换为稀疏 csc_matrix。
yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like: 目标值（分类中的类别标签，回归中的实数）。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。如果为 None，则样本权重相等。在每个节点中搜索分割时，将忽略会创建净零或负权重子节点的分割。在分类的情况下，如果分割会导致任一子节点中的任何单个类具有负权重，也会忽略该分割。

返回:

selfobject: 拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅用户指南，了解路由机制如何工作。

返回:

routingMetadataRequest: 封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

predict(X)[source]#

预测 X 的类别。

输入样本的预测类别是森林中树的投票结果，并根据它们的概率估计进行加权。也就是说，预测类别是树的平均概率估计最高的那个类别。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将转换为稀疏 csr_matrix。

返回:

yndarray of shape (n_samples,) or (n_samples, n_outputs): 预测的类别。

predict_log_proba(X)[source]#

预测 X 的类别对数概率。

输入样本的预测类别对数概率计算为森林中树的平均预测类别概率的对数。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将转换为稀疏 csr_matrix。

返回:

pndarray of shape (n_samples, n_classes), or a list of such arrays: 输入样本的类别概率。类的顺序对应于属性 classes_ 中的顺序。

predict_proba(X)[source]#

预测 X 的类别概率。

输入样本的预测类别概率计算为森林中树的平均预测类别概率。单棵树的类别概率是叶子中属于同一类别的样本的比例。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供了稀疏矩阵，它将转换为稀疏 csr_matrix。

返回:

pndarray of shape (n_samples, n_classes), or a list of such arrays: 输入样本的类别概率。类的顺序对应于属性 classes_ 中的顺序。

score(X, y, sample_weight=None)[source]#

返回在提供的数据和标签上的准确率 (accuracy)。

在多标签分类中，这是子集准确率 (subset accuracy)，这是一个严格的指标，因为它要求每个样本的每个标签集都被正确预测。

参数:

Xshape 为 (n_samples, n_features) 的 array-like: 测试样本。
yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-like: X 的真实标签。
sample_weightshape 为 (n_samples,) 的 array-like, default=None: 样本权重。

返回:

scorefloat: self.predict(X) 相对于 y 的平均准确率。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → RandomForestClassifier[source]#

配置是否应请求元数据以传递给 fit 方法。

请注意，此方法仅在以下情况下相关：此估计器用作元估计器中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看用户指南以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。
False：不请求元数据，元估计器不会将其传递给 fit。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED: fit 方法中 sample_weight 参数的元数据路由。

返回:

selfobject: 更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计器参数。

返回:

selfestimator instance: 估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → RandomForestClassifier[source]#

配置是否应请求元数据以传递给 score 方法。

请注意，此方法仅在以下情况下相关：此估计器用作元估计器中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看用户指南以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。
False：不请求元数据，元估计器不会将其传递给 score。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED: score 方法中 sample_weight 参数的元数据路由。

返回:

selfobject: 更新后的对象。

Gallery examples#

绘制在 iris 数据集上训练的树集成的决策边界

排列重要性 vs 随机森林特征重要性（MDI）

scikit-learn 0.22 发布亮点

scikit-learn 0.24 发布亮点

scikit-learn 1.4 发布亮点

使用稀疏特征对文本文档进行分类

RandomForestClassifier#

Gallery examples#

本页