随机森林分类器#

class sklearn.ensemble.RandomForestClassifier(n_estimators=100, *, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features='sqrt', max_leaf_nodes=None, min_impurity_decrease=0.0, bootstrap=True, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None, ccp_alpha=0.0, max_samples=None, monotonic_cst=None)[source]#

随机森林分类器。

随机森林是一种元估计器，它在数据集的多个子样本上拟合多个决策树分类器，并使用平均值来提高预测精度和控制过拟合。森林中的树使用最佳分割策略，这相当于将splitter="best"传递给底层的DecisionTreeClassifier。如果bootstrap=True（默认值），则使用max_samples参数控制子样本大小，否则使用整个数据集来构建每棵树。

有关基于树的集成模型的比较，请参见示例比较随机森林和直方图梯度提升模型。

在用户指南中了解更多信息。

参数：

n_estimatorsint, default=100

森林中树的数量。

0.22版本中的更改： n_estimators的默认值在0.22版本中从10更改为100。

criterion{“gini”, “entropy”, “log_loss”}, default=”gini”

用于衡量分割质量的函数。支持的标准包括用于基尼杂质的“gini”以及用于香农信息增益的“log_loss”和“entropy”，参见数学公式。注意：此参数是特定于树的。

max_depthint, default=None

树的最大深度。如果为None，则扩展节点直到所有叶子都是纯净的，或者直到所有叶子包含少于min_samples_split个样本。

min_samples_splitint or float, default=2

分割内部节点所需的最小样本数。

如果为整数，则将min_samples_split视为最小数量。
如果为浮点数，则min_samples_split是一个分数，并且ceil(min_samples_split * n_samples)是每次分割的最小样本数。

0.18版本中的更改：添加了分数的浮点值。

min_samples_leafint or float, default=1

叶子节点所需的最小样本数。只有当它在左右分支中至少留下min_samples_leaf个训练样本时，才会考虑任何深度的分割点。这可能会使模型平滑，尤其是在回归中。

如果为整数，则将min_samples_leaf视为最小数量。
如果为浮点数，则min_samples_leaf是一个分数，并且ceil(min_samples_leaf * n_samples)是每个节点的最小样本数。

0.18版本中的更改：添加了分数的浮点值。

min_weight_fraction_leaffloat, default=0.0

叶子节点所需的权重总和的最小加权分数（所有输入样本的权重总和）。当未提供sample_weight时，样本具有相同的权重。

max_features{“sqrt”, “log2”, None}, int or float, default=”sqrt”

寻找最佳分割时要考虑的特征数。

如果为整数，则在每次分割时考虑max_features个特征。
如果为浮点数，则max_features是一个分数，并且max(1, int(max_features * n_features_in_))个特征在每次分割时都被考虑。
如果为“sqrt”，则max_features=sqrt(n_features)。
如果为“log2”，则max_features=log2(n_features)。
如果为None，则max_features=n_features。

1.1版本中的更改：max_features的默认值已从"auto"更改为"sqrt"。

注意：即使需要检查超过max_features个特征，分割搜索也不会停止，直到找到至少一个节点样本的有效划分。

max_leaf_nodesint，默认为None

以最佳优先的方式生长具有max_leaf_nodes个叶节点的树。最佳节点定义为杂质的相对减少。如果为None，则叶节点数量不受限制。

min_impurity_decreasefloat，默认为0.0

如果此分割引起的杂质减少大于或等于此值，则将分割节点。

加权杂质减少方程如下所示：

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中N是样本总数，N_t是当前节点的样本数，N_t_L是左子节点的样本数，N_t_R是右子节点的样本数。

如果传递了sample_weight，则N、N_t、N_t_R和N_t_L都指加权和。

0.19版本新增。

bootstrapbool，默认为True

构建树时是否使用bootstrap样本。如果为False，则使用整个数据集构建每棵树。

oob_scorebool或callable，默认为False

是否使用袋外样本估计泛化得分。默认情况下，使用accuracy_score。提供一个具有签名metric(y_true, y_pred)的可调用对象以使用自定义指标。仅当bootstrap=True时可用。

n_jobsint，默认为None

并行运行的作业数。fit、predict、decision_path和apply都针对树进行并行化。None表示1，除非在joblib.parallel_backend上下文中。-1表示使用所有处理器。有关更多详细信息，请参见词汇表。

random_stateint，RandomState 实例或 None，默认为 None

控制构建树时使用的样本bootstrap的随机性（如果bootstrap=True）以及在查找每个节点最佳分割时要考虑的特征的采样（如果max_features < n_features）。有关详细信息，请参见词汇表。

verboseint，默认为0

控制拟合和预测时的详细程度。

warm_startbool，默认为False

设置为True时，重用先前对拟合的调用的解决方案，并将更多估计器添加到集成中，否则，只拟合一个全新的森林。有关详细信息，请参见词汇表和拟合附加树。

class_weight{"balanced"，“balanced_subsample”}，dict或dict列表，默认为None

与类关联的权重，形式为{class_label: weight}。如果未给出，则所有类都被认为具有权重1。对于多输出问题，可以按y的列顺序提供字典列表。

请注意，对于多输出（包括多标签），应该为每一列的每个类在其自己的字典中定义权重。例如，对于四类多标签分类，权重应为[{0: 1, 1: 1}, {0: 1, 1: 5}, {0: 1, 1: 1}, {0: 1, 1: 1}]，而不是[{1:1}, {2:5}, {3:1}, {4:1}]。

“balanced”模式使用y的值来自动调整权重，使其与输入数据中的类频率成反比，如n_samples / (n_classes * np.bincount(y))

“balanced_subsample”模式与“balanced”相同，只是权重是基于为每棵生长的树计算的bootstrap样本。

对于多输出，y的每一列的权重将相乘。

请注意，如果指定了sample_weight（通过fit方法传递），则这些权重将与sample_weight相乘。

ccp_alpha非负浮点数，默认为0.0

用于最小成本复杂度剪枝的复杂度参数。将选择成本复杂度大于ccp_alpha的子树。默认情况下，不执行剪枝。有关详细信息，请参见最小成本复杂度剪枝。有关此类剪枝的示例，请参见使用成本复杂度剪枝后剪枝决策树。

0.22版本新增。

max_samplesint或float，默认为None

如果bootstrap为True，则从X中抽取用于训练每个基础估计器的样本数。

如果为None（默认值），则抽取X.shape[0]个样本。
如果为int，则抽取max_samples个样本。
如果为浮点数，则绘制 max(round(n_samples * max_samples), 1) 个样本。因此，max_samples 应在区间 (0.0, 1.0] 内。

0.22版本新增。

monotonic_cst形状为 (n_features) 的整数型数组，默认为 None

指示要对每个特征强制执行的单调性约束。

1：单调递增
0：无约束
-1：单调递减

如果 monotonic_cst 为 None，则不应用任何约束。

不支持以下情况的单调性约束：

多类别分类（即 n_classes > 2），
多输出分类（即 n_outputs_ > 1），
在具有缺失值的数据上训练的分类。

约束适用于正类别的概率。

在用户指南中了解更多信息。

1.4 版本中新增。

属性：

estimator_DecisionTreeClassifier: 用于创建拟合的子估计器集合的子估计器模板。

1.2 版本中新增：base_estimator_ 已重命名为 estimator_。
estimators_DecisionTreeClassifier 列表: 拟合的子估计器集合。
classes_形状为 (n_classes,) 的 ndarray 或此类数组的列表: 类别标签（单输出问题）或类别标签数组列表（多输出问题）。
n_classes_整数或列表: 类别数（单输出问题）或包含每个输出类别数的列表（多输出问题）。
n_features_in_整数: 在拟合期间看到的特征数。

0.24 版本中新增。
feature_names_in_形状为 (n_features_in_,) 的 ndarray: 在拟合期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本中新增。
n_outputs_整数: 执行 fit 时的输出数。
feature_importances_形状为 (n_features,) 的 ndarray: 基于杂质的特征重要性。
oob_score_浮点数: 使用包外估计获得的训练数据集的得分。仅当 oob_score 为 True 时，此属性才存在。
oob_decision_function_形状为 (n_samples, n_classes) 或 (n_samples, n_classes, n_outputs) 的 ndarray: 使用训练集上的包外估计计算的决策函数。如果 n_estimators 很小，则在 bootstrap 期间可能从未排除数据点。在这种情况下，oob_decision_function_ 可能包含 NaN。仅当 oob_score 为 True 时，此属性才存在。
estimators_samples_数组列表: 每个基本估计器的抽取样本子集。

另请参阅

sklearn.tree.DecisionTreeClassifier: 决策树分类器。
sklearn.ensemble.ExtraTreesClassifier: 极端随机树分类器的集合。
sklearn.ensemble.HistGradientBoostingClassifier: 基于直方图的梯度提升分类树，对于大型数据集 (n_samples >= 10_000) 非常快。

备注

控制树大小的参数的默认值（例如 max_depth、min_samples_leaf 等）会导致完全生长且未修剪的树，在某些数据集上可能会非常大。为了减少内存消耗，应通过设置这些参数值来控制树的复杂性和大小。

在每次分裂时，特征总是被随机置换。因此，即使使用相同的训练数据、max_features=n_features 和 bootstrap=False，如果标准的改进对于在最佳分裂搜索期间枚举的多个分裂是相同的，最佳分裂也会有所不同。为了在拟合过程中获得确定性的行为，必须固定 random_state。

参考文献

[1]

Breiman，“随机森林”，机器学习，45(1)，5-32，2001。

示例

>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.datasets import make_classification
>>> X, y = make_classification(n_samples=1000, n_features=4,
...                            n_informative=2, n_redundant=0,
...                            random_state=0, shuffle=False)
>>> clf = RandomForestClassifier(max_depth=2, random_state=0)
>>> clf.fit(X, y)
RandomForestClassifier(...)
>>> print(clf.predict([[0, 0, 0, 0]]))
[1]

apply(X)[source]#

将森林中的树应用于 X，返回叶索引。

参数：

X形状为 (n_samples, n_features) 的{类数组，稀疏矩阵}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csr_matrix。

返回值：

X_leaves形状为 (n_samples, n_estimators) 的 ndarray: 对于 X 中的每个数据点 x 和森林中的每棵树，返回 x 结束所在的叶子的索引。

decision_path(X)[source]#

返回森林中的决策路径。

0.18 版本中新增。

参数：

X形状为 (n_samples, n_features) 的{类数组，稀疏矩阵}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csr_matrix。

返回值：

indicator形状为 (n_samples, n_nodes) 的稀疏矩阵: 返回一个节点指示矩阵，其中非零元素表示样本经过这些节点。该矩阵为 CSR 格式。
n_nodes_ptr形状为 (n_estimators + 1,) 的 ndarray: 指示器矩阵中第 i 个估计器的指示器值位于 indicator[n_nodes_ptr[i]:n_nodes_ptr[i+1]] 列。

属性 estimators_samples_#

每个基本估计器的抽取样本子集。

返回一个动态生成的索引列表，标识用于拟合集成中每个成员的样本，即袋内样本。

注意：为了减少对象内存占用，该列表在每次调用属性时都会重新创建，不存储采样数据。因此，获取属性的速度可能比预期慢。

属性 feature_importances_#

基于杂质的特征重要性。

数值越高，特征越重要。特征的重要性计算为该特征带来的标准（归一化）总减少量。它也称为基尼重要性。

警告：对于高基数特征（许多唯一值），基于杂质的特征重要性可能会产生误导。请参考 sklearn.inspection.permutation_importance 作为替代方法。

返回值：

feature_importances_形状为 (n_features,) 的 ndarray: 除非所有树都是仅由根节点组成的单节点树，否则此数组的值之和为 1，在这种情况下，它将是一个全零数组。

fit(X, y, sample_weight=None)[source]#

根据训练集 (X, y) 构建树林。

参数：

X形状为 (n_samples, n_features) 的{类数组，稀疏矩阵}: 训练输入样本。内部，其 dtype 将被转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csc_matrix。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: 目标值（分类中的类别标签，回归中的实数）。
sample_weight形状为 (n_samples,) 的类数组，默认为 None: 样本权重。如果为 None，则样本权重相等。在搜索每个节点中的分割时，将忽略那些会创建净权重为零或负的子节点的分割。在分类的情况下，如果分割会导致任何单个类别在任何子节点中都带有负权重，则也会忽略这些分割。

返回值：

self对象: 已拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回值：

routingMetadataRequest: 一个 MetadataRequest 封装路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：

deep布尔值，默认为 True: 如果为 True，将返回此估计器和包含的子对象（它们是估计器）的参数。

返回值：

params字典: 参数名称与其值的映射。

predict(X)[source]#

预测 X 的类别。

输入样本的预测类别是森林中树木的投票结果，并根据其概率估计进行加权。也就是说，预测类别是平均概率估计最高的类别。

参数：

X形状为 (n_samples, n_features) 的{类数组，稀疏矩阵}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csr_matrix。

返回值：

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray: 预测的类别。

predict_log_proba(X)[source]#

预测 X 的类别对数概率。

输入样本的预测类别对数概率计算为森林中树木的平均预测类别概率的对数。

参数：

X形状为 (n_samples, n_features) 的{类数组，稀疏矩阵}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csr_matrix。

返回值：

p形状为 (n_samples, n_classes) 的 ndarray，或此类数组的列表: 输入样本的类别概率。类别的顺序与属性 classes_ 中的顺序相对应。

predict_proba(X)[source]#

预测 X 的类别概率。

输入样本的预测类别概率计算为森林中树木的平均预测类别概率。单棵树的类别概率是叶节点中相同类别的样本比例。

参数：

X形状为 (n_samples, n_features) 的{类数组，稀疏矩阵}: 输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将转换为稀疏 csr_matrix。

返回值：

p形状为 (n_samples, n_classes) 的 ndarray，或此类数组的列表: 输入样本的类别概率。类别的顺序与属性 classes_ 中的顺序相对应。

score(X, y, sample_weight=None)[source]#

返回给定测试数据和标签上的平均准确率。

在多标签分类中，这是子集准确率，这是一个严格的指标，因为它要求对每个样本都正确预测每个标签集。

参数：

X形状为 (n_samples, n_features) 的类数组: 测试样本。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: X 的真实标签。
sample_weight形状为 (n_samples,) 的类数组，默认为 None: 样本权重。

返回值：

score浮点数: self.predict(X) 相对于 y 的平均准确率。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → RandomForestClassifier[source]#

请求传递给 fit 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项为

True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略请求。
False：不请求元数据，元估计器不会将其传递给 fit。
None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。
str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。

1.3 版中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在 Pipeline 中使用）时，此方法才相关。否则，它无效。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED: fit 中 sample_weight 参数的元数据路由。

返回值：

self对象: 更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**params字典: 估计器参数。

返回值：

self估计器实例: 估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → RandomForestClassifier[source]#

请求传递给 score 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时（参见 sklearn.set_config）此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项为

True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略请求。
False：不请求元数据，元估计器不会将其传递给 score。
None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。
str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有的请求。这允许您更改某些参数的请求而不更改其他参数。

1.3 版中新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在 Pipeline 中使用）时，此方法才相关。否则，它无效。

参数：

sample_weightstr、True、False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED: score 中 sample_weight 参数的元数据路由。

返回值：

self对象: 更新后的对象。

图库示例#

scikit-learn 1.4 版本亮点

scikit-learn 0.24 版本亮点

scikit-learn 0.22 版本亮点

绘制 VotingClassifier 计算的类别概率

绘制鸢尾花数据集上树的集成决策面

排列重要性与随机森林特征重要性 (MDI) 的比较