DecisionTreeClassifier#

class sklearn.tree.DecisionTreeClassifier(*, criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, class_weight=None, ccp_alpha=0.0, monotonic_cst=None)[source]#

一个决策树分类器。

在用户指南中阅读更多信息。

参数:

criterion{“gini”, “entropy”, “log_loss”}, 默认值=”gini”

用于衡量分割质量的函数。支持的判别标准有用于基尼不纯度的“gini”，以及用于香农信息增益的“log_loss”和“entropy”，详见数学公式。

splitter{“best”, “random”}, 默认值=”best”

在每个节点选择分割的策略。支持的策略有“best”选择最佳分割，“random”选择最佳随机分割。

max_depthint, 默认值=None

树的最大深度。如果为None，则节点会一直扩展，直到所有叶子节点都为纯净或所有叶子节点包含的样本少于min_samples_split。

min_samples_splitint 或 float, 默认值=2

分割内部节点所需的最小样本数

如果为int，则将min_samples_split视为最小样本数。
如果为float，则min_samples_split是一个分数，每个分割所需的最小样本数是ceil(min_samples_split * n_samples)。

0.18 版中修改: 添加了浮点值表示分数。

min_samples_leafint 或 float, 默认值=1

叶子节点所需的最小样本数。只有当分割点在左右分支中都至少保留min_samples_leaf个训练样本时，才会在任何深度考虑该分割点。这可能对模型有平滑效果，尤其是在回归中。

如果为int，则将min_samples_leaf视为最小样本数。
如果为float，则min_samples_leaf是一个分数，每个节点所需的最小样本数是ceil(min_samples_leaf * n_samples)。

0.18 版中修改: 添加了浮点值表示分数。

min_weight_fraction_leaffloat, 默认值=0.0

叶子节点所需的（所有输入样本）总权重之和的最小加权分数。如果未提供sample_weight，则样本具有相同的权重。

max_featuresint, float 或 {“sqrt”, “log2”}, 默认值=None

在寻找最佳分割时要考虑的特征数量

如果为int，则在每个分割处考虑max_features个特征。
如果为float，则max_features是一个分数，每个分割处考虑max(1, int(max_features * n_features_in_))个特征。
如果为“sqrt”，则max_features=sqrt(n_features)。
如果为“log2”，则max_features=log2(n_features)。
如果为None，则max_features=n_features。

备注

即使需要实际检查超过max_features个特征，分割的搜索也不会停止，直到找到至少一个有效的节点分区为止。

random_stateint, RandomState 实例或 None, 默认值=None

控制估计器的随机性。特征在每次分割时总是随机排列的，即使splitter设置为"best"。当max_features < n_features时，算法在每次分割时会随机选择max_features个特征，然后从中找到最佳分割。但是，即使max_features=n_features，找到的最佳分割也可能在不同运行中有所不同。如果判别标准的改进对于多个分割相同，并且必须随机选择一个分割，则会出现这种情况。为了在拟合过程中获得确定性行为，必须将random_state固定为一个整数。有关详细信息，请参阅词汇表。

max_leaf_nodesint, 默认值=None

以最佳优先方式生长具有max_leaf_nodes的树。最佳节点定义为不纯度的相对减少。如果为None，则叶子节点数量不受限制。

min_impurity_decreasefloat, 默认值=0.0

如果此分割导致不纯度减少大于或等于此值，则该节点将被分割。

加权不纯度减少公式如下

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中N是样本总数，N_t是当前节点的样本数，N_t_L是左子节点的样本数，N_t_R是右子节点的样本数。

如果传入了sample_weight，则N、N_t、N_t_R和N_t_L均指加权和。

0.19 版中新增。

class_weightdict, list of dict 或 “balanced”, 默认值=None

以{class_label: weight}形式表示的与类别相关的权重。如果为None，则所有类别被认为具有权重一。对于多输出问题，可以按照y的列的相同顺序提供字典列表。

请注意，对于多输出（包括多标签），应在其各自的字典中为每个列的每个类别定义权重。例如，对于四类别多标签分类，权重应为[{0: 1, 1: 1}, {0: 1, 1: 5}, {0: 1, 1: 1}, {0: 1, 1: 1}]，而不是[{1:1}, {2:5}, {3:1}, {4:1}]。

“balanced”模式使用y的值自动调整权重，使其与输入数据中类别频率成反比，即n_samples / (n_classes * np.bincount(y))

对于多输出，y的每列的权重将相乘。

请注意，如果指定了sample_weight（通过fit方法传入），这些权重将与sample_weight相乘。

ccp_alpha非负浮点数, 默认值=0.0

用于最小成本-复杂度剪枝的复杂度参数。将选择成本复杂度小于ccp_alpha的最大子树。默认情况下，不执行剪枝。有关剪枝过程的详细信息，请参见最小成本-复杂度剪枝。有关此类剪枝的示例，请参见使用成本复杂度剪枝对决策树进行后剪枝。

0.22 版中新增。

monotonic_cst形状为 (n_features) 的 int 类型类数组, 默认值=None

指示对每个特征强制执行的单调性约束。

1: 单调递增
0: 无约束
-1: 单调递减

如果monotonic_cst为None，则不应用任何约束。

不支持单调性约束的场景有：

多类别分类（即当n_classes > 2时），
多输出分类（即当n_outputs_ > 1时），
在包含缺失值的数据上训练的分类。

约束适用于正类别的概率。

在用户指南中阅读更多信息。

1.4 版中新增。

属性:

classes_形状为 (n_classes,) 的 ndarray 或 ndarray 列表: 类别标签（单输出问题），或类别标签数组列表（多输出问题）。
feature_importances_形状为 (n_features,) 的 ndarray: 返回特征重要性。
max_features_int: 推断出的max_features值。
n_classes_int 或 int 列表: 类别数量（对于单输出问题），或包含每个输出的类别数量的列表（对于多输出问题）。
n_features_in_int: 拟合期间看到的特征数量。

0.24 版中新增。
feature_names_in_形状为 (n_features_in_,) 的 ndarray: 拟合期间看到的特征名称。仅当X的特征名称都是字符串时才定义。

1.0 版中新增。
n_outputs_int: 执行fit时的输出数量。
tree_Tree 实例: 底层Tree对象。有关Tree对象的属性，请参考help(sklearn.tree._tree.Tree)；有关这些属性的基本用法，请参考理解决策树结构。

另请参阅

DecisionTreeRegressor: 一个决策树回归器。

备注

控制树大小的参数（例如max_depth、min_samples_leaf等）的默认值会导致在某些数据集上完全生长且未剪枝的树，这可能非常庞大。为了减少内存消耗，应通过设置这些参数值来控制树的复杂性和大小。

predict方法使用numpy.argmax函数对predict_proba的输出进行操作。这意味着如果最高预测概率相同，分类器将预测classes_中索引最低的同概率类别。

参考文献

[1]

https://en.wikipedia.org/wiki/Decision_tree_learning

[2]

L. Breiman, J. Friedman, R. Olshen, and C. Stone, “Classification and Regression Trees”, Wadsworth, Belmont, CA, 1984.

[3]

T. Hastie, R. Tibshirani and J. Friedman. “Elements of Statistical Learning”, Springer, 2009.

[4]

L. Breiman, and A. Cutler, “Random Forests”, https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm

示例

>>> from sklearn.datasets import load_iris
>>> from sklearn.model_selection import cross_val_score
>>> from sklearn.tree import DecisionTreeClassifier
>>> clf = DecisionTreeClassifier(random_state=0)
>>> iris = load_iris()
>>> cross_val_score(clf, iris.data, iris.target, cv=10)
...                             
...
array([ 1.     ,  0.93,  0.86,  0.93,  0.93,
        0.93,  0.93,  1.     ,  0.93,  1.      ])

apply(X, check_input=True)[source]#

返回每个样本被预测为的叶子节点的索引。

0.17 版中新增。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。
check_inputbool, 默认值=True: 允许绕过一些输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回:

X_leaves形状为 (n_samples,) 的类数组: 对于X中的每个数据点x，返回x最终所在的叶子节点的索引。叶子节点在[0; self.tree_.node_count)范围内编号，可能存在编号上的间隙。

cost_complexity_pruning_path(X, y, sample_weight=None)[source]#

在最小成本-复杂度剪枝期间计算剪枝路径。

有关剪枝过程的详细信息，请参阅最小成本-复杂度剪枝。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 训练输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csc_matrix。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: 目标值（类别标签）为整数或字符串。
sample_weight形状为 (n_samples,) 的类数组, 默认值=None: 样本权重。如果为None，则样本权重相等。在每个节点寻找分割时，忽略那些会创建净权重为零或负的子节点的分割。如果分割会导致任何单个类别在任一子节点中带有负权重，也会忽略该分割。

返回:

ccp_pathBunch

字典状对象，具有以下属性。

ccp_alphasndarray: 剪枝期间子树的有效 alpha 值。
impuritiesndarray: 对应ccp_alphas中 alpha 值的子树叶子节点的不纯度之和。

decision_path(X, check_input=True)[source]#

返回树中的决策路径。

0.18 版中新增。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。
check_inputbool, 默认值=True: 允许绕过一些输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回:

indicator形状为 (n_samples, n_nodes) 的稀疏矩阵: 返回一个节点指示器CSR矩阵，其中非零元素表示样本通过了这些节点。

fit(X, y, sample_weight=None, check_input=True)[source]#

从训练集 (X, y) 构建决策树分类器。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 训练输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csc_matrix。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: 目标值（类别标签）为整数或字符串。
sample_weight形状为 (n_samples,) 的类数组, 默认值=None: 样本权重。如果为None，则样本权重相等。在每个节点寻找分割时，忽略那些会创建净权重为零或负的子节点的分割。如果分割会导致任何单个类别在任一子节点中带有负权重，也会忽略该分割。
check_inputbool, 默认值=True: 允许绕过一些输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回:

selfDecisionTreeClassifier: 已拟合的估计器。

get_depth()[source]#

返回决策树的深度。

树的深度是根节点到任何叶子节点的最大距离。

返回:

self.tree_.max_depthint: 树的最大深度。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南以了解路由机制的工作原理。

返回:

routingMetadataRequest: 一个封装路由信息的MetadataRequest。

get_n_leaves()[source]#

返回决策树的叶子节点数量。

返回:

self.tree_.n_leavesint: 叶子节点数量。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, 默认值=True: 如果为True，将返回此估计器及其包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

predict(X, check_input=True)[source]#

预测X的类别或回归值。

对于分类模型，返回X中每个样本的预测类别。对于回归模型，返回基于X的预测值。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。
check_inputbool, 默认值=True: 允许绕过一些输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回:

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: 预测的类别，或预测的值。

predict_log_proba(X)[source]#

预测输入样本X的类别对数概率。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。

返回:

proba形状为 (n_samples, n_classes) 的 ndarray，如果 n_outputs > 1，则为 n_outputs 个此类数组的列表: 输入样本的类别对数概率。类别的顺序与属性classes_中的顺序一致。

predict_proba(X, check_input=True)[source]#

预测输入样本X的类别概率。

预测的类别概率是叶子节点中同类样本的比例。

参数:

X{类数组, 稀疏矩阵}, 形状为 (n_samples, n_features): 输入样本。在内部，它将被转换为dtype=np.float32，如果提供稀疏矩阵，则转换为稀疏csr_matrix。
check_inputbool, 默认值=True: 允许绕过一些输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回: