决策树回归器#

class sklearn.tree.DecisionTreeRegressor(*, criterion='squared_error', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, ccp_alpha=0.0, monotonic_cst=None)[source]#

决策树回归器。

更多信息请参见 用户指南

参数:
criterion{“squared_error”, “friedman_mse”, “absolute_error”, “poisson”}, default=”squared_error”

用于衡量分割质量的函数。支持的标准包括: “squared_error” 表示均方误差,它等于方差减少作为特征选择标准,并使用每个终端节点的均值最小化 L2 损失;“friedman_mse” 使用均方误差和弗里德曼改进评分来评估潜在分割;“absolute_error” 表示平均绝对误差,它使用每个终端节点的中位数最小化 L1 损失;“poisson” 使用减少一半的平均泊松偏差来查找分割。

0.18版本新增: 平均绝对误差 (MAE) 标准。

0.24版本新增: 泊松偏差标准。

splitter{“best”, “random”}, default=”best”

用于在每个节点选择分割的策略。支持的策略包括:“best” 选择最佳分割,以及 “random” 选择最佳随机分割。

max_depthint, default=None

树的最大深度。如果为 None,则节点会一直扩展,直到所有叶子节点都纯净,或者所有叶子节点包含的样本数都小于 min_samples_split。

有关 max_depth 如何影响模型的示例,请参见 决策树回归

min_samples_splitint 或 float, default=2

拆分内部节点所需的最小样本数。

  • 如果为整数,则将 min_samples_split 视为最小数量。

  • 如果为浮点数,则 min_samples_split 是一个分数,并且 ceil(min_samples_split * n_samples) 是每个分割的最小样本数。

0.18版本变更: 添加了分数的浮点值。

min_samples_leafint 或 float, default=1

叶节点所需的最小样本数。只有当分割点在任何深度都至少在左右两个分支中留下 min_samples_leaf 个训练样本时,才会考虑该分割点。这可能会使模型变得更平滑,尤其是在回归中。

  • 如果为整数,则将 min_samples_leaf 视为最小数量。

  • 如果为浮点数,则 min_samples_leaf 是一个分数,并且 ceil(min_samples_leaf * n_samples) 是每个节点的最小样本数。

0.18版本变更: 添加了分数的浮点值。

min_weight_fraction_leaffloat, default=0.0

叶节点所需的总权重(所有输入样本的权重总和)的最小加权分数。当不提供 sample_weight 时,样本具有相同的权重。

max_featuresint, float 或 {“sqrt”, “log2”}, default=None

寻找最佳分割时要考虑的特征数量。

  • 如果为整数,则在每次分割时考虑 max_features 个特征。

  • 如果为浮点数,则 max_features 是一个分数,并且 max(1, int(max_features * n_features_in_)) 个特征在每次分割时都会被考虑。

  • 如果为 “sqrt”,则 max_features=sqrt(n_features)

  • 如果为 “log2”,则 max_features=log2(n_features)

  • 如果为 None,则 max_features=n_features

注意:即使需要有效检查超过 max_features 个特征,搜索分割也不会停止,直到找到节点样本至少一个有效的划分。

random_stateint, RandomState 实例或 None, default=None

控制估计器的随机性。即使将 splitter 设置为 "best",在每次分割时,特征也会始终被随机排列。当 max_features < n_features 时,算法将在找到它们之间的最佳分割之前,在每次分割时随机选择 max_features。但是,即使 max_features=n_features,最佳分割也可能在不同的运行中有所不同。如果标准的改进对于多个分割是相同的,并且必须随机选择一个分割,则会出现这种情况。为了在拟合过程中获得确定性行为,必须将 random_state 固定为整数。详情请参见 词汇表

max_leaf_nodesint, default=None

以最佳优先的方式生长一棵具有 max_leaf_nodes 个叶节点的树。最佳节点定义为杂质的相对减少。如果为 None,则叶节点数量不限。

min_impurity_decreasefloat, default=0.0

如果此分割引起的杂质减少大于或等于此值,则将分割节点。

加权杂质减少方程如下

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中N表示样本总数,N_t表示当前节点的样本数,N_t_L表示左子节点的样本数,N_t_R表示右子节点的样本数。

如果传递了sample_weight,则NN_tN_t_RN_t_L都指加权和。

版本 0.19 中新增。

ccp_alpha非负浮点数,默认为 0.0

用于最小成本复杂度剪枝的复杂度参数。将选择成本复杂度小于ccp_alpha的最大子树。默认情况下,不执行剪枝。详情请参阅最小成本复杂度剪枝。有关此类剪枝的示例,请参阅使用成本复杂度剪枝进行决策树后剪枝

版本 0.22 中新增。

monotonic_cst形状为 (n_features,) 的整数型数组,默认为 None
指示要对每个特征强制执行的单调性约束。
  • 1:单调递增

  • 0:无约束

  • -1:单调递减

如果 monotonic_cst 为 None,则不应用任何约束。

不支持以下情况下的单调性约束:
  • 多输出回归(即 n_outputs_ > 1),

  • 在包含缺失值的数据上训练的回归模型。

用户指南中了解更多信息。

版本 1.4 中新增。

属性:
feature_importances_形状为 (n_features,) 的 ndarray

返回特征重要性。

max_features_整数

max_features 的推断值。

n_features_in_整数

拟合期间看到的特征数量。

版本 0.24 中新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

拟合期间看到的特征名称。仅当X具有全部为字符串的特征名称时才定义。

版本 1.0 中新增。

n_outputs_整数

执行fit时的输出数量。

tree_树实例

底层的树对象。有关树对象的属性,请参阅help(sklearn.tree._tree.Tree),有关这些属性的基本用法,请参阅理解决策树结构

另请参阅

决策树分类器

决策树分类器。

备注

控制树大小的参数(例如max_depthmin_samples_leaf等)的默认值会导致完全生长和未剪枝的树,在某些数据集上可能非常大。为了减少内存消耗,应通过设置这些参数值来控制树的复杂性和大小。

参考文献

[2]

L. Breiman, J. Friedman, R. Olshen 和 C. Stone,“分类和回归树”,Wadsworth,Belmont,CA,1984。

[3]

T. Hastie、R. Tibshirani 和 J. Friedman。“统计学习要素”,Springer,2009。

[4]

L. Breiman 和 A. Cutler,“随机森林”,https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm

示例

>>> from sklearn.datasets import load_diabetes
>>> from sklearn.model_selection import cross_val_score
>>> from sklearn.tree import DecisionTreeRegressor
>>> X, y = load_diabetes(return_X_y=True)
>>> regressor = DecisionTreeRegressor(random_state=0)
>>> cross_val_score(regressor, X, y, cv=10)
...                    
...
array([-0.39..., -0.46...,  0.02...,  0.06..., -0.50...,
       0.16...,  0.11..., -0.73..., -0.30..., -0.00...])
apply(X, check_input=True)[source]#

返回每个样本预测到的叶子的索引。

版本 0.17 中新增。

参数:
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

输入样本。内部将将其转换为dtype=np.float32,如果提供稀疏矩阵,则将其转换为稀疏csr_matrix

check_input布尔值,默认为 True

允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。

返回值:
X_leaves形状为 (n_samples,) 的类数组

对于 X 中的每个数据点 x,返回 x 所在叶子的索引。叶子在[0; self.tree_.node_count)内编号,编号可能会有间隙。

cost_complexity_pruning_path(X, y, sample_weight=None)[source]#

计算最小成本复杂度剪枝过程中的剪枝路径。

有关剪枝过程的详细信息,请参阅最小成本复杂度剪枝

参数:
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。内部将将其转换为dtype=np.float32,如果提供稀疏矩阵,则将其转换为稀疏csc_matrix

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

目标值(类标签)为整数或字符串。

sample_weight形状为 (n_samples,) 的类数组,默认为 None

样本权重。如果为 None,则样本的权重相等。在搜索每个节点中的分割时,将忽略会创建净权重为零或负的子节点的分割。如果分割会导致任何单个类在任一子节点中具有负权重,则也会忽略这些分割。

返回值:
ccp_pathBunch

字典类对象,具有以下属性。

ccp_alphasndarray

剪枝过程中子树的有效 alpha 值。

impuritiesndarray

对应于ccp_alphas中 alpha 值的子树叶节点的杂质总和。

decision_path(X, check_input=True)[source]#

返回树中的决策路径。

0.18 版本新增。

参数:
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

输入样本。内部将将其转换为dtype=np.float32,如果提供稀疏矩阵,则将其转换为稀疏csr_matrix

check_input布尔值,默认为 True

允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。

返回值:
indicator形状为 (n_samples, n_nodes) 的稀疏矩阵

返回一个节点指示符 CSR 矩阵,其中非零元素表示样本经过这些节点。

property feature_importances_#

返回特征重要性。

特征的重要性计算为该特征带来的标准(归一化)总减少量。也称为基尼重要性。

警告:对于高基数特征(许多唯一值),基于杂质的特征重要性可能会产生误导。请参阅 sklearn.inspection.permutation_importance 作为替代方法。

返回值:
feature_importances_形状为 (n_features,) 的 ndarray

特征带来的标准(归一化)判据总减少量(基尼重要性)。

fit(X, y, sample_weight=None, check_input=True)[source]#

根据训练集 (X, y) 构建决策树回归器。

参数:
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

训练输入样本。内部将将其转换为dtype=np.float32,如果提供稀疏矩阵,则将其转换为稀疏csc_matrix

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

目标值(实数)。为了获得最大效率,请使用 dtype=np.float64order='C'

sample_weight形状为 (n_samples,) 的类数组,默认为 None

样本权重。如果为 None,则样本权重相等。在搜索每个节点的分割时,会忽略那些会创建净权重为零或负的子节点的分割。

check_input布尔值,默认为 True

允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。

返回值:
selfDecisionTreeRegressor

已拟合的估计器。

get_depth()[source]#

返回决策树的深度。

树的深度是根与任何叶子之间的最大距离。

返回值:
self.tree_.max_depthint

树的最大深度。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看 用户指南 ,了解路由机制的工作原理。

返回值:
routingMetadataRequest

一个 MetadataRequest 封装了路由信息。

get_n_leaves()[source]#

返回决策树的叶子数。

返回值:
self.tree_.n_leavesint

叶子数。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:
deepbool,默认为 True

如果为 True,则将返回此估计器和包含的作为估计器的子对象的参数。

返回值:
paramsdict

参数名称与其值的映射。

predict(X, check_input=True)[source]#

预测 X 的类别或回归值。

对于分类模型,将返回 X 中每个样本的预测类别。对于回归模型,将返回基于 X 的预测值。

参数:
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

输入样本。内部将将其转换为dtype=np.float32,如果提供稀疏矩阵,则将其转换为稀疏csr_matrix

check_input布尔值,默认为 True

允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。

返回值:
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

预测的类别或预测值。

score(X, y, sample_weight=None)[source]#

返回预测的决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\),其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum(),而 \(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数为 1.0,也可能为负数(因为模型可能任意差)。始终预测 y 的期望值的常数模型(忽略输入特征)将获得 0.0 的 \(R^2\) 分数。

参数:
X形状为 (n_samples, n_features) 的类数组

测试样本。对于某些估计器,这可能是预计算的核矩阵,或者形状为 (n_samples, n_samples_fitted) 的泛型对象列表,其中 n_samples_fitted 是估计器拟合中使用的样本数。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真值。

sample_weight形状为 (n_samples,) 的类数组,默认为 None

样本权重。

返回值:
score浮点数

\(R^2\) of self.predict(X) 关于 y

备注

从 0.23 版本开始,在回归器上调用 score 时使用的 \(R^2\) 分数使用 multioutput='uniform_average',以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法(MultiOutputRegressor 除外)。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') DecisionTreeRegressor[source]#

请求传递到 fit 方法的元数据。

请注意,只有当 enable_metadata_routing=True 时(参见 sklearn.set_config),此方法才相关。请参阅 用户指南,了解路由机制的工作原理。

每个参数的选项为

  • True:请求元数据,如果提供则传递到 fit。如果未提供元数据,则忽略请求。

  • False:不请求元数据,元估计器不会将其传递到 fit

  • None:不请求元数据,如果用户提供元数据,元估计器将引发错误。

  • str:元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值(sklearn.utils.metadata_routing.UNCHANGED)保留现有的请求。这允许您更改某些参数的请求而无需更改其他参数。

1.3 版本中新增。

注意

仅当此估计器用作元估计器的子估计器时(例如,在 Pipeline 中使用)此方法才相关。否则,它无效。

参数:
sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED

fit 方法中 sample_weight 参数的元数据路由。

返回值:
self对象

更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单估计器以及嵌套对象(例如 Pipeline)。后者具有 <component>__<parameter> 形式的参数,因此可以更新嵌套对象的每个组件。

参数:
**params字典

估计器参数。

返回值:
self估计器实例

估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') DecisionTreeRegressor[source]#

请求传递到 score 方法的元数据。

请注意,只有当 enable_metadata_routing=True 时(参见 sklearn.set_config),此方法才相关。请参阅 用户指南,了解路由机制的工作原理。

每个参数的选项为

  • True:请求元数据,如果提供则传递到 score。如果未提供元数据,则忽略请求。

  • False:不请求元数据,元估计器不会将其传递到 score

  • None:不请求元数据,如果用户提供元数据,元估计器将引发错误。

  • str:元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值(sklearn.utils.metadata_routing.UNCHANGED)保留现有的请求。这允许您更改某些参数的请求而无需更改其他参数。

1.3 版本中新增。

注意

仅当此估计器用作元估计器的子估计器时(例如,在 Pipeline 中使用)此方法才相关。否则,它无效。

参数:
sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED

score 方法中 sample_weight 参数的元数据路由。

返回值:
self对象

更新后的对象。