RandomForestRegressor#

class sklearn.ensemble.RandomForestRegressor(n_estimators=100, *, criterion='squared_error', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=1.0, max_leaf_nodes=None, min_impurity_decrease=0.0, bootstrap=True, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, ccp_alpha=0.0, max_samples=None, monotonic_cst=None)[source]#

一个随机森林回归器。

随机森林是一种元估计器，它在数据集的各种子样本上拟合多个决策树回归器，并使用平均来提高预测精度和控制过拟合。森林中的树使用最佳分割策略，即等同于将 splitter="best" 传递给底层的 DecisionTreeRegressor。如果 bootstrap=True（默认），子样本大小由 max_samples 参数控制，否则使用整个数据集来构建每棵树。

此估计器原生支持缺失值（NaNs）。在训练期间，树生长器在每个分割点学习缺失值样本应进入左侧还是右侧子节点，这基于潜在增益。在预测时，缺失值样本相应地被分配到左侧或右侧子节点。如果在训练期间给定特征没有遇到缺失值，则缺失值样本被映射到拥有最多样本的子节点。

有关基于树的集成模型之间的比较，请参见示例 比较随机森林和直方图梯度提升模型。

更多信息请阅读 用户指南。

参数:
n_estimatorsint, 默认值=100

森林中的树木数量。

0.22 版本中的变更: n_estimators 的默认值在 0.22 版本中从 10 更改为 100。

criterion{“squared_error”, “absolute_error”, “friedman_mse”, “poisson”}, 默认值=”squared_error”

衡量分割质量的函数。支持的准则包括：用于均方误差的 “squared_error”，它等同于作为特征选择准则的方差减少，并使用每个叶节点的均值最小化 L2 损失；“friedman_mse”，它使用均方误差和 Friedman 的改进分数来评估潜在分割；用于平均绝对误差的 “absolute_error”，它使用每个叶节点的中位数最小化 L1 损失；以及 “poisson”，它使用泊松偏差的减少来寻找分割。使用 “absolute_error” 进行训练比使用 “squared_error” 慢得多。

0.18 版本新增: 平均绝对误差（MAE）准则。

1.0 版本新增: 泊松准则。

max_depthint, 默认值=None

树的最大深度。如果为 None，则节点会一直扩展，直到所有叶子节点都为纯净，或者所有叶子节点包含的样本少于 min_samples_split。

min_samples_splitint 或 float, 默认值=2

分割内部节点所需的最小样本数

  • 如果为 int，则将 min_samples_split 视为最小数量。

  • 如果为 float，则 min_samples_split 是一个分数，且 ceil(min_samples_split * n_samples) 是每次分割所需的最小样本数。

0.18 版本中的变更: 为分数添加了浮点值。

min_samples_leafint 或 float, 默认值=1

一个叶节点所需的最小样本数。在任何深度，只有当分割点在左右分支中都至少留下 min_samples_leaf 个训练样本时才会被考虑。这可能会平滑模型，尤其是在回归中。

  • 如果为 int，则将 min_samples_leaf 视为最小数量。

  • 如果为 float，则 min_samples_leaf 是一个分数，且 ceil(min_samples_leaf * n_samples) 是每个节点所需的最小样本数。

0.18 版本中的变更: 为分数添加了浮点值。

min_weight_fraction_leaffloat, 默认值=0.0

叶节点所需的总权重（所有输入样本权重之和）的最小加权分数。当未提供 sample_weight 时，样本具有相同权重。

max_features{“sqrt”, “log2”, None}, int 或 float, 默认值=1.0

寻找最佳分割时要考虑的特征数量

  • 如果为 int，则在每次分割时考虑 max_features 个特征。

  • 如果为 float，则 max_features 是一个分数，且每次分割时考虑 max(1, int(max_features * n_features_in_)) 个特征。

  • 如果为 “sqrt”，则 max_features=sqrt(n_features)。

  • 如果为 “log2”，则 max_features=log2(n_features)。

  • 如果为 None 或 1.0，则 max_features=n_features。

注意

默认值 1.0 等同于袋装树，通过设置较小的值（例如 0.3）可以实现更多的随机性。

1.1 版本中的变更: max_features 的默认值从 "auto" 更改为 1.0。

注意：即使需要实际检查超过 max_features 个特征，分割搜索也不会停止，直到找到至少一个有效的节点样本划分。

max_leaf_nodesint, 默认值=None

以最佳优先的方式增长树，使其具有 max_leaf_nodes。最佳节点定义为杂质的相对减少。如果为 None，则叶节点数量不受限制。

min_impurity_decreasefloat, 默认值=0.0

如果此分割导致的杂质减少量大于或等于此值，则节点将被分割。

加权杂质减少方程如下

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中 N 是样本总数，N_t 是当前节点的样本数，N_t_L 是左子节点中的样本数，N_t_R 是右子节点中的样本数。

如果传入 sample_weight，则 N、N_t、N_t_R 和 N_t_L 都指加权和。

0.19 版本新增。

bootstrapbool, 默认值=True

构建树时是否使用自助样本。如果为 False，则使用整个数据集构建每棵树。

oob_scorebool 或 callable, 默认值=False

是否使用袋外（out-of-bag）样本来估计泛化分数。默认情况下，使用 r2_score。提供一个签名为 metric(y_true, y_pred) 的可调用对象以使用自定义指标。仅当 bootstrap=True 时可用。

n_jobsint, 默认值=None

并行运行的作业数量。fit、predict、decision_path 和 apply 都可以在树上并行化。None 表示 1，除非在 joblib.parallel_backend 上下文中。-1 表示使用所有处理器。有关更多详细信息，请参见 术语表。

random_stateint, RandomState 实例或 None, 默认值=None

控制构建树时所用样本的自助采样的随机性（如果 bootstrap=True），以及在每个节点寻找最佳分割时要考虑的特征采样的随机性（如果 max_features < n_features）。有关详细信息，请参见 术语表。

verboseint, 默认值=0

控制拟合和预测时的详细程度。

warm_startbool, 默认值=False

当设置为 True 时，重用上次调用 fit 的解决方案并向集成中添加更多估计器；否则，将拟合一个全新的森林。有关详细信息，请参见 术语表 和 拟合额外的树。

ccp_alpha非负 float, 默认值=0.0

用于最小代价复杂度剪枝的复杂度参数。将选择代价复杂度小于 ccp_alpha 的最大子树。默认情况下不执行剪枝。有关详细信息，请参见 最小代价复杂度剪枝。有关此类剪枝的示例，请参见 使用代价复杂度剪枝对决策树进行后剪枝。

0.22 版本新增。

max_samplesint 或 float, 默认值=None

如果 bootstrap 为 True，则从 X 中抽取样本以训练每个基础估计器的数量。

  • 如果为 None（默认），则抽取 X.shape[0] 个样本。

  • 如果为 int，则抽取 max_samples 个样本。

  • 如果为 float，则抽取 max(round(n_samples * max_samples), 1) 个样本。因此，max_samples 应在区间 (0.0, 1.0] 内。

0.22 版本新增。

monotonic_cst形状为 (n_features) 的 int 数组，默认值=None
指示对每个特征施加的单调性约束。

  • 1: 单调递增

  • 0: 无约束

  • -1: 单调递减

如果 monotonic_cst 为 None，则不应用任何约束。

单调性约束不适用于

  • 多输出回归（即当 n_outputs_ > 1 时），

  • 对含有缺失值的数据进行训练的回归。

更多信息请阅读 用户指南。

1.4 版本新增。

属性:
estimator_DecisionTreeRegressor

用于创建拟合子估计器集合的子估计器模板。

1.2 版本新增: base_estimator_ 被重命名为 estimator_。

estimators_DecisionTreeRegressor 列表

拟合子估计器的集合。

feature_importances_形状为 (n_features,) 的 ndarray

基于杂质的特征重要性。

n_features_in_int

拟合 过程中看到的特征数量。

0.24 版本新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

拟合 过程中看到的特征名称。仅当 X 的所有特征名称均为字符串时才定义。

1.0 版本新增。

n_outputs_int

执行 fit 时输出的数量。

oob_score_float

使用袋外估计获得的训练数据集分数。此属性仅当 oob_score 为 True 时存在。

oob_prediction_形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray

使用训练集上的袋外估计计算的预测。此属性仅当 oob_score 为 True 时存在。

estimators_samples_数组列表

每个基础估计器抽取的样本子集。

另请参阅

sklearn.tree.DecisionTreeRegressor

一个决策树回归器。

sklearn.ensemble.ExtraTreesRegressor

超随机树回归器的集成。

sklearn.ensemble.HistGradientBoostingRegressor

一个基于直方图的梯度提升回归树，对于大型数据集（n_samples >= 10_000）速度非常快。

备注

控制树大小的参数（例如 max_depth、min_samples_leaf 等）的默认值会导致树完全生长且不剪枝，这在某些数据集上可能会非常大。为了减少内存消耗，应通过设置这些参数值来控制树的复杂性和大小。

特征在每次分割时总是随机排列的。因此，即使在相同的训练数据下，如果多个分割在寻找最佳分割过程中准则的改进相同，所找到的最佳分割也可能有所不同，即使 max_features=n_features 且 bootstrap=False。为了在拟合过程中获得确定性行为，必须固定 random_state。

默认值 max_features=1.0 使用 n_features 而不是 n_features / 3。后者最初在 [1] 中提出，而前者最近在 [2] 中通过经验得到证实。

参考文献

[1]

  1. Breiman，“随机森林”，《机器学习》，45(1)，5-32页，2001年。

[2]

P. Geurts, D. Ernst. 和 L. Wehenkel，“超随机树”，《机器学习》，63(1)，3-42页，2006年。

示例

>>> from sklearn.ensemble import RandomForestRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_features=4, n_informative=2,
...                        random_state=0, shuffle=False)
>>> regr = RandomForestRegressor(max_depth=2, random_state=0)
>>> regr.fit(X, y)
RandomForestRegressor(...)
>>> print(regr.predict([[0, 0, 0, 0]]))
[-8.32987858]
apply(X)[source]#

将森林中的树应用于 X，返回叶子索引。

参数:
X形状为 (n_samples, n_features) 的 {类数组, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
X_leaves形状为 (n_samples, n_estimators) 的 ndarray

对于 X 中的每个数据点 x 和森林中的每棵树，返回 x 最终所在的叶子索引。

decision_path(X)[source]#

返回森林中的决策路径。

0.18 版本新增。

参数:
X形状为 (n_samples, n_features) 的 {类数组, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
indicator形状为 (n_samples, n_nodes) 的稀疏矩阵

返回一个节点指示矩阵，其中非零元素表示样本通过这些节点。该矩阵为 CSR 格式。

n_nodes_ptr形状为 (n_estimators + 1,) 的 ndarray

来自 indicator[n_nodes_ptr[i]:n_nodes_ptr[i+1]] 的列给出第 i 个估计器的指示值。

fit(X, y, sample_weight=None)[source]#

从训练集 (X, y) 构建一个树的森林。

参数:
X形状为 (n_samples, n_features) 的 {类数组, 稀疏矩阵}

训练输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将被转换为稀疏的 csc_matrix。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

目标值（分类中的类别标签，回归中的实数）。

sample_weight形状为 (n_samples,) 的类数组, 默认值=None

样本权重。如果为 None，则样本权重相等。在每个节点寻找分割时，如果分割会创建净零或负权重的子节点，则忽略该分割。在分类的情况下，如果分割会导致任何单个类别在任一子节点中带有负权重，则也忽略该分割。

返回:
self对象

已拟合的估计器。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅 用户指南 了解路由机制的工作原理。

返回:
routingMetadataRequest

封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:
deepbool, 默认值=True

如果为 True，将返回此估计器及其包含的子对象（如果它们是估计器）的参数。

返回:
paramsdict

参数名称映射到其值。

predict(X)[source]#

预测 X 的回归目标。

输入样本的预测回归目标是森林中所有树的预测回归目标的平均值。

参数:
X形状为 (n_samples, n_features) 的 {类数组, 稀疏矩阵}

输入样本。在内部，其 dtype 将转换为 dtype=np.float32。如果提供稀疏矩阵，它将被转换为稀疏的 csr_matrix。

返回:
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray

预测值。

score(X, y, sample_weight=None)[source]#

返回测试数据上的 决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，\(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数是 1.0，它也可以是负数（因为模型可能任意差）。一个总是预测 y 期望值而不考虑输入特征的常数模型将获得 0.0 的 \(R^2\) 分数。

参数:
X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器，这可能是一个预计算的核矩阵，或者是一个通用对象的列表，其形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是用于估计器拟合的样本数量。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实值。

sample_weight形状为 (n_samples,) 的类数组, 默认值=None

样本权重。

返回:
scorefloat

\(R^2\) 是 self.predict(X) 相对于 y 的得分。

备注

在回归器上调用 score 时使用的 \(R^2\) 分数从 0.23 版本开始使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这会影响所有多输出回归器（除了 MultiOutputRegressor）的 score 方法。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → RandomForestRegressor[source]#

请求传递给 fit 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时才相关（参见 sklearn.set_config）。请参阅 用户指南 了解路由机制的工作原理。

每个参数的选项为

  • True: 请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。

  • False: 不请求元数据，元估计器也不会将其传递给 fit。

  • None: 不请求元数据，如果用户提供，元估计器将引发错误。

  • str: 元数据应使用此给定别名而非原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

1.3 版本新增。

注意

此方法仅当此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用。否则它没有效果。

参数:
sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED

fit 方法中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数:
**paramsdict

估计器参数。

返回:
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → RandomForestRegressor[source]#

请求传递给 score 方法的元数据。

请注意，此方法仅在 enable_metadata_routing=True 时才相关（参见 sklearn.set_config）。请参阅 用户指南 了解路由机制的工作原理。

每个参数的选项为

  • True: 请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。

  • False: 不请求元数据，元估计器也不会将其传递给 score。

  • None: 不请求元数据，如果用户提供，元估计器将引发错误。

  • str: 元数据应使用此给定别名而非原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

1.3 版本新增。

注意

此方法仅当此估计器用作元估计器的子估计器时才相关，例如在 Pipeline 内部使用。否则它没有效果。

参数:
sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回:
self对象

更新后的对象。