决策树回归器#
- class sklearn.tree.DecisionTreeRegressor(*, criterion='squared_error', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, ccp_alpha=0.0, monotonic_cst=None)[source]#
决策树回归器。
更多信息请参见 用户指南。
- 参数:
- criterion{“squared_error”, “friedman_mse”, “absolute_error”, “poisson”}, default=”squared_error”
用于衡量分割质量的函数。支持的标准包括: “squared_error” 表示均方误差,它等于方差减少作为特征选择标准,并使用每个终端节点的均值最小化 L2 损失;“friedman_mse” 使用均方误差和弗里德曼改进评分来评估潜在分割;“absolute_error” 表示平均绝对误差,它使用每个终端节点的中位数最小化 L1 损失;“poisson” 使用减少一半的平均泊松偏差来查找分割。
0.18版本新增: 平均绝对误差 (MAE) 标准。
0.24版本新增: 泊松偏差标准。
- splitter{“best”, “random”}, default=”best”
用于在每个节点选择分割的策略。支持的策略包括:“best” 选择最佳分割,以及 “random” 选择最佳随机分割。
- max_depthint, default=None
树的最大深度。如果为 None,则节点会一直扩展,直到所有叶子节点都纯净,或者所有叶子节点包含的样本数都小于 min_samples_split。
有关
max_depth
如何影响模型的示例,请参见 决策树回归。- min_samples_splitint 或 float, default=2
拆分内部节点所需的最小样本数。
如果为整数,则将
min_samples_split
视为最小数量。如果为浮点数,则
min_samples_split
是一个分数,并且ceil(min_samples_split * n_samples)
是每个分割的最小样本数。
0.18版本变更: 添加了分数的浮点值。
- min_samples_leafint 或 float, default=1
叶节点所需的最小样本数。只有当分割点在任何深度都至少在左右两个分支中留下
min_samples_leaf
个训练样本时,才会考虑该分割点。这可能会使模型变得更平滑,尤其是在回归中。如果为整数,则将
min_samples_leaf
视为最小数量。如果为浮点数,则
min_samples_leaf
是一个分数,并且ceil(min_samples_leaf * n_samples)
是每个节点的最小样本数。
0.18版本变更: 添加了分数的浮点值。
- min_weight_fraction_leaffloat, default=0.0
叶节点所需的总权重(所有输入样本的权重总和)的最小加权分数。当不提供 sample_weight 时,样本具有相同的权重。
- max_featuresint, float 或 {“sqrt”, “log2”}, default=None
寻找最佳分割时要考虑的特征数量。
如果为整数,则在每次分割时考虑
max_features
个特征。如果为浮点数,则
max_features
是一个分数,并且max(1, int(max_features * n_features_in_))
个特征在每次分割时都会被考虑。如果为 “sqrt”,则
max_features=sqrt(n_features)
。如果为 “log2”,则
max_features=log2(n_features)
。如果为 None,则
max_features=n_features
。
注意:即使需要有效检查超过
max_features
个特征,搜索分割也不会停止,直到找到节点样本至少一个有效的划分。- random_stateint, RandomState 实例或 None, default=None
控制估计器的随机性。即使将
splitter
设置为"best"
,在每次分割时,特征也会始终被随机排列。当max_features < n_features
时,算法将在找到它们之间的最佳分割之前,在每次分割时随机选择max_features
。但是,即使max_features=n_features
,最佳分割也可能在不同的运行中有所不同。如果标准的改进对于多个分割是相同的,并且必须随机选择一个分割,则会出现这种情况。为了在拟合过程中获得确定性行为,必须将random_state
固定为整数。详情请参见 词汇表。- max_leaf_nodesint, default=None
以最佳优先的方式生长一棵具有
max_leaf_nodes
个叶节点的树。最佳节点定义为杂质的相对减少。如果为 None,则叶节点数量不限。- min_impurity_decreasefloat, default=0.0
如果此分割引起的杂质减少大于或等于此值,则将分割节点。
加权杂质减少方程如下
N_t / N * (impurity - N_t_R / N_t * right_impurity - N_t_L / N_t * left_impurity)
其中
N
表示样本总数,N_t
表示当前节点的样本数,N_t_L
表示左子节点的样本数,N_t_R
表示右子节点的样本数。如果传递了
sample_weight
,则N
、N_t
、N_t_R
和N_t_L
都指加权和。版本 0.19 中新增。
- ccp_alpha非负浮点数,默认为 0.0
用于最小成本复杂度剪枝的复杂度参数。将选择成本复杂度小于
ccp_alpha
的最大子树。默认情况下,不执行剪枝。详情请参阅最小成本复杂度剪枝。有关此类剪枝的示例,请参阅使用成本复杂度剪枝进行决策树后剪枝。版本 0.22 中新增。
- monotonic_cst形状为 (n_features,) 的整数型数组,默认为 None
- 指示要对每个特征强制执行的单调性约束。
1:单调递增
0:无约束
-1:单调递减
如果 monotonic_cst 为 None,则不应用任何约束。
- 不支持以下情况下的单调性约束:
多输出回归(即
n_outputs_ > 1
),在包含缺失值的数据上训练的回归模型。
在用户指南中了解更多信息。
版本 1.4 中新增。
- 属性:
feature_importances_
形状为 (n_features,) 的 ndarray返回特征重要性。
- max_features_整数
max_features 的推断值。
- n_features_in_整数
在拟合期间看到的特征数量。
版本 0.24 中新增。
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在拟合期间看到的特征名称。仅当
X
具有全部为字符串的特征名称时才定义。版本 1.0 中新增。
- n_outputs_整数
执行
fit
时的输出数量。- tree_树实例
底层的树对象。有关树对象的属性,请参阅
help(sklearn.tree._tree.Tree)
,有关这些属性的基本用法,请参阅理解决策树结构。
另请参阅
决策树分类器
决策树分类器。
备注
控制树大小的参数(例如
max_depth
、min_samples_leaf
等)的默认值会导致完全生长和未剪枝的树,在某些数据集上可能非常大。为了减少内存消耗,应通过设置这些参数值来控制树的复杂性和大小。参考文献
[2]L. Breiman, J. Friedman, R. Olshen 和 C. Stone,“分类和回归树”,Wadsworth,Belmont,CA,1984。
[3]T. Hastie、R. Tibshirani 和 J. Friedman。“统计学习要素”,Springer,2009。
[4]L. Breiman 和 A. Cutler,“随机森林”,https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm
示例
>>> from sklearn.datasets import load_diabetes >>> from sklearn.model_selection import cross_val_score >>> from sklearn.tree import DecisionTreeRegressor >>> X, y = load_diabetes(return_X_y=True) >>> regressor = DecisionTreeRegressor(random_state=0) >>> cross_val_score(regressor, X, y, cv=10) ... ... array([-0.39..., -0.46..., 0.02..., 0.06..., -0.50..., 0.16..., 0.11..., -0.73..., -0.30..., -0.00...])
- apply(X, check_input=True)[source]#
返回每个样本预测到的叶子的索引。
版本 0.17 中新增。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}
输入样本。内部将将其转换为
dtype=np.float32
,如果提供稀疏矩阵,则将其转换为稀疏csr_matrix
。- check_input布尔值,默认为 True
允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。
- 返回值:
- X_leaves形状为 (n_samples,) 的类数组
对于 X 中的每个数据点 x,返回 x 所在叶子的索引。叶子在
[0; self.tree_.node_count)
内编号,编号可能会有间隙。
- cost_complexity_pruning_path(X, y, sample_weight=None)[source]#
计算最小成本复杂度剪枝过程中的剪枝路径。
有关剪枝过程的详细信息,请参阅最小成本复杂度剪枝。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}
训练输入样本。内部将将其转换为
dtype=np.float32
,如果提供稀疏矩阵,则将其转换为稀疏csc_matrix
。- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
目标值(类标签)为整数或字符串。
- sample_weight形状为 (n_samples,) 的类数组,默认为 None
样本权重。如果为 None,则样本的权重相等。在搜索每个节点中的分割时,将忽略会创建净权重为零或负的子节点的分割。如果分割会导致任何单个类在任一子节点中具有负权重,则也会忽略这些分割。
- 返回值:
- ccp_path
Bunch
字典类对象,具有以下属性。
- ccp_alphasndarray
剪枝过程中子树的有效 alpha 值。
- impuritiesndarray
对应于
ccp_alphas
中 alpha 值的子树叶节点的杂质总和。
- ccp_path
- decision_path(X, check_input=True)[source]#
返回树中的决策路径。
0.18 版本新增。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}
输入样本。内部将将其转换为
dtype=np.float32
,如果提供稀疏矩阵,则将其转换为稀疏csr_matrix
。- check_input布尔值,默认为 True
允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。
- 返回值:
- indicator形状为 (n_samples, n_nodes) 的稀疏矩阵
返回一个节点指示符 CSR 矩阵,其中非零元素表示样本经过这些节点。
- property feature_importances_#
返回特征重要性。
特征的重要性计算为该特征带来的标准(归一化)总减少量。也称为基尼重要性。
警告:对于高基数特征(许多唯一值),基于杂质的特征重要性可能会产生误导。请参阅
sklearn.inspection.permutation_importance
作为替代方法。- 返回值:
- feature_importances_形状为 (n_features,) 的 ndarray
特征带来的标准(归一化)判据总减少量(基尼重要性)。
- fit(X, y, sample_weight=None, check_input=True)[source]#
根据训练集 (X, y) 构建决策树回归器。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}
训练输入样本。内部将将其转换为
dtype=np.float32
,如果提供稀疏矩阵,则将其转换为稀疏csc_matrix
。- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
目标值(实数)。为了获得最大效率,请使用
dtype=np.float64
和order='C'
。- sample_weight形状为 (n_samples,) 的类数组,默认为 None
样本权重。如果为 None,则样本权重相等。在搜索每个节点的分割时,会忽略那些会创建净权重为零或负的子节点的分割。
- check_input布尔值,默认为 True
允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。
- 返回值:
- selfDecisionTreeRegressor
已拟合的估计器。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查看 用户指南 ,了解路由机制的工作原理。
- 返回值:
- routingMetadataRequest
一个
MetadataRequest
封装了路由信息。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deepbool,默认为 True
如果为 True,则将返回此估计器和包含的作为估计器的子对象的参数。
- 返回值:
- paramsdict
参数名称与其值的映射。
- predict(X, check_input=True)[source]#
预测 X 的类别或回归值。
对于分类模型,将返回 X 中每个样本的预测类别。对于回归模型,将返回基于 X 的预测值。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}
输入样本。内部将将其转换为
dtype=np.float32
,如果提供稀疏矩阵,则将其转换为稀疏csr_matrix
。- check_input布尔值,默认为 True
允许绕过多个输入检查。除非您知道自己在做什么,否则不要使用此参数。
- 返回值:
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
预测的类别或预测值。
- score(X, y, sample_weight=None)[source]#
返回预测的决定系数。
决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\),其中 \(u\) 是残差平方和
((y_true - y_pred)** 2).sum()
,而 \(v\) 是总平方和((y_true - y_true.mean()) ** 2).sum()
。最佳分数为 1.0,也可能为负数(因为模型可能任意差)。始终预测y
的期望值的常数模型(忽略输入特征)将获得 0.0 的 \(R^2\) 分数。- 参数:
- X形状为 (n_samples, n_features) 的类数组
测试样本。对于某些估计器,这可能是预计算的核矩阵,或者形状为
(n_samples, n_samples_fitted)
的泛型对象列表,其中n_samples_fitted
是估计器拟合中使用的样本数。- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
X
的真值。- sample_weight形状为 (n_samples,) 的类数组,默认为 None
样本权重。
- 返回值:
- score浮点数
\(R^2\) of
self.predict(X)
关于y
。
备注
从 0.23 版本开始,在回归器上调用
score
时使用的 \(R^2\) 分数使用multioutput='uniform_average'
,以保持与r2_score
的默认值一致。这会影响所有多输出回归器的score
方法(MultiOutputRegressor
除外)。
- set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') DecisionTreeRegressor [source]#
请求传递到
fit
方法的元数据。请注意,只有当
enable_metadata_routing=True
时(参见sklearn.set_config
),此方法才相关。请参阅 用户指南,了解路由机制的工作原理。每个参数的选项为
True
:请求元数据,如果提供则传递到fit
。如果未提供元数据,则忽略请求。False
:不请求元数据,元估计器不会将其传递到fit
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:元数据应使用此给定的别名而不是原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有的请求。这允许您更改某些参数的请求而无需更改其他参数。1.3 版本中新增。
注意
仅当此估计器用作元估计器的子估计器时(例如,在
Pipeline
中使用)此方法才相关。否则,它无效。- 参数:
- sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
fit
方法中sample_weight
参数的元数据路由。
- 返回值:
- self对象
更新后的对象。
- set_params(**params)[source]#
设置此估计器的参数。
此方法适用于简单估计器以及嵌套对象(例如
Pipeline
)。后者具有<component>__<parameter>
形式的参数,因此可以更新嵌套对象的每个组件。- 参数:
- **params字典
估计器参数。
- 返回值:
- self估计器实例
估计器实例。
- set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') DecisionTreeRegressor [source]#
请求传递到
score
方法的元数据。请注意,只有当
enable_metadata_routing=True
时(参见sklearn.set_config
),此方法才相关。请参阅 用户指南,了解路由机制的工作原理。每个参数的选项为
True
:请求元数据,如果提供则传递到score
。如果未提供元数据,则忽略请求。False
:不请求元数据,元估计器不会将其传递到score
。None
:不请求元数据,如果用户提供元数据,元估计器将引发错误。str
:元数据应使用此给定的别名而不是原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有的请求。这允许您更改某些参数的请求而无需更改其他参数。1.3 版本中新增。
注意
仅当此估计器用作元估计器的子估计器时(例如,在
Pipeline
中使用)此方法才相关。否则,它无效。- 参数:
- sample_weightstr、True、False 或 None,默认为 sklearn.utils.metadata_routing.UNCHANGED
score
方法中sample_weight
参数的元数据路由。
- 返回值:
- self对象
更新后的对象。