逐步网格搜索交叉验证#

class sklearn.model_selection.HalvingGridSearchCV(estimator, param_grid, *, factor=3, resource='n_samples', max_resources='auto', min_resources='exhaust', aggressive_elimination=False, cv=5, scoring=None, refit=True, error_score=nan, return_train_score=True, random_state=None, n_jobs=None, verbose=0)[source]#

使用逐步缩减法搜索指定的参数值。

搜索策略从使用少量资源评估所有候选者开始，并迭代地选择最佳候选者，使用越来越多的资源。

更多信息请阅读用户指南。

注意

此估计器目前仍在**实验阶段**: 预测和 API 可能会在没有任何弃用周期的情况下发生更改。要使用它，您需要显式导入 enable_halving_search_cv

>>> # explicitly require this experimental feature
>>> from sklearn.experimental import enable_halving_search_cv # noqa
>>> # now you can import normally from model_selection
>>> from sklearn.model_selection import HalvingGridSearchCV

参数：

estimator估计器对象

假设这实现了 scikit-learn 估计器接口。估计器需要提供 score 函数，或者必须传递 scoring。

param_grid字典或字典列表

键为参数名称（字符串），值为要尝试的参数设置列表的字典，或者此类字典的列表，在这种情况下，将探索列表中每个字典所跨越的网格。这使得可以搜索任何参数设置序列。

factor整数或浮点数，默认为 3

“缩减”参数，它决定了每次后续迭代中选择的候选者的比例。例如，factor=3 表示仅选择三分之一的候选者。

resource'n_samples' 或 str，默认为 'n_samples'

定义每次迭代都增加的资源。默认情况下，资源是样本数。它也可以设置为基本估计器的任何接受正整数值的参数，例如梯度提升估计器的“n_iterations”或“n_estimators”。在这种情况下，max_resources 不能为“auto”，必须显式设置。

max_resources整数，默认为 'auto'

任何候选者在给定迭代中允许使用的最大资源量。默认情况下，当 resource='n_samples'（默认值）时，将其设置为 n_samples，否则会引发错误。

min_resources{'exhaust'，'smallest'} 或整数，默认为 'exhaust'

任何候选者在给定迭代中允许使用的最小资源量。等效地，这定义了在第一次迭代中为每个候选者分配的资源量 r0。

“smallest”是一种启发式方法，它将 r0 设置为一个较小的值
- n_splits * 2 当 resource='n_samples' 用于回归问题时
- n_classes * n_splits * 2 当 resource='n_samples' 用于分类问题时
- 1 当 resource != 'n_samples' 时
“exhaust”将设置 r0，以便**最后**一次迭代尽可能多地使用资源。也就是说，最后一次迭代将使用小于 max_resources 的最大值，该值是 min_resources 和 factor 的倍数。通常，使用“exhaust”会导致更准确的估计器，但略微更耗时。

请注意，每次迭代使用的资源量始终是 min_resources 的倍数。

aggressive_elimination布尔值，默认为 False

这仅与在最后一次迭代后没有足够的资源将剩余候选者减少到最多 factor 的情况下相关。如果为 True，则搜索过程将根据需要“重播”第一次迭代，直到候选者数量足够小为止。默认情况下为 False，这意味着最后一次迭代可能评估的候选者多于 factor 个。有关详细信息，请参阅候选者的积极消除。

cv整数、交叉验证生成器或迭代器，默认为 5

确定交叉验证分割策略。cv 的可能输入为

整数，用于指定 (Stratified)KFold 中的折叠数，
CV 分割器,
一个迭代器，它将 (train, test) 分割作为索引数组生成。

对于整数/None输入，如果估计器是分类器并且y是二元或多类的，则使用StratifiedKFold。在所有其他情况下，使用KFold。这些分割器使用shuffle=False实例化，因此分割在多次调用中将保持一致。

请参阅用户指南，了解此处可使用的各种交叉验证策略。

注意

由于实现细节，cv生成的折叠必须在多次调用cv.split()时保持一致。对于内置的scikit-learn迭代器，可以通过禁用洗牌(shuffle=False)或将cv的random_state参数设置为整数来实现。

scoringstr、callable 或 None，默认值=None

用于评估测试集上预测结果的单个字符串（参见评分参数：定义模型评估规则）或可调用对象（参见可调用评分器）。如果为 None，则使用估计器的 score 方法。

refitbool，默认值=True

如果为 True，则使用在整个数据集上找到的最佳参数重新拟合估计器。

重新拟合的估计器可在best_estimator_属性中获得，并允许直接在此HalvingGridSearchCV实例上使用predict。

error_score‘raise’ 或数值

如果估计器拟合过程中发生错误，则分配给分数的值。如果设置为“raise”，则引发错误。如果给出数值，则会引发 FitFailedWarning。此参数不影响重新拟合步骤，该步骤将始终引发错误。默认为np.nan。

return_train_scorebool，默认值=False

如果为False，则cv_results_属性将不包含训练分数。计算训练分数用于深入了解不同的参数设置如何影响过拟合/欠拟合权衡。但是，在训练集上计算分数在计算上可能代价高昂，并且严格来说不需要选择产生最佳泛化性能的参数。

random_stateint、RandomState 实例或 None，默认值=None

当resources != 'n_samples'时，用于对数据集进行子采样的伪随机数生成器状态。否则忽略。传递一个整数，以便在多次函数调用中获得可重复的输出。参见词汇表。

n_jobsint 或 None，默认值=None

并行运行的作业数。None表示 1，除非在joblib.parallel_backend上下文中。-1表示使用所有处理器。有关更多详细信息，请参见词汇表。

verboseint

控制详细程度：越高，消息越多。

属性：

n_resources_整数列表

每次迭代使用的资源量。

n_candidates_整数列表

每次迭代评估的候选参数数量。

n_remaining_candidates_int

最后一次迭代后剩余的候选参数数量。它对应于ceil(n_candidates[-1] / factor)

max_resources_int

任何候选者在给定迭代中允许使用的最大资源数。请注意，由于每次迭代使用的资源数必须是min_resources_的倍数，因此最后一次迭代使用的实际资源数可能小于max_resources_。

min_resources_int

第一次迭代为每个候选者分配的资源量。

n_iterations_int

实际运行的迭代次数。如果aggressive_elimination为True，则等于n_required_iterations_。否则，等于min(n_possible_iterations_, n_required_iterations_)。

n_possible_iterations_int

从min_resources_资源开始且不超过max_resources_资源可能进行的迭代次数。

n_required_iterations_int

从min_resources_资源开始，在最后一次迭代中最终少于factor个候选者所需的迭代次数。当资源不足时，这将小于n_possible_iterations_。

cv_results_numpy（掩码）ndarrays 字典

一个字典，其中键作为列标题，值作为列，可以导入到 pandas DataFrame中。它包含大量信息，用于分析搜索结果。有关详细信息，请参阅用户指南。

best_estimator_估计器或字典

搜索选择的估计器，即在留出数据上得分最高（或损失最小，如果指定）的估计器。如果 refit=False，则不可用。

best_score_浮点数

最佳估计器的平均交叉验证分数。

best_params_字典

在留出数据上产生最佳结果的参数设置。

best_index_整数

对应于最佳候选参数设置的 cv_results_ 数组的索引。

search.cv_results_['params'][search.best_index_] 中的字典给出了最佳模型的参数设置，该模型具有最高平均分数（search.best_score_）。

scorer_函数或字典

用于保留数据的评分函数，用于为模型选择最佳参数。

n_splits_整数

交叉验证分割（折叠/迭代）的次数。

refit_time_浮点数

在整个数据集上重新拟合最佳模型所用的秒数。

仅当 refit 不是 False 时才存在。

multimetric_布尔值

评分器是否计算多个指标。

classes_形状为 (n_classes,) 的 ndarray

类别标签。

n_features_in_整数

在拟合期间看到的特征数量。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。仅当 best_estimator_ 已定义（有关详细信息，请参阅 refit 参数的文档）且 best_estimator_ 在拟合时公开 feature_names_in_ 时才定义。

1.0 版本中添加。

另请参阅

逐步随机搜索交叉验证 (HalvingRandomSearchCV): 使用连续减半对一组参数进行随机搜索。

备注

根据评分参数，选择的参数是最大化保留数据分数的参数。

所有以 NaN 评分的参数组合将共享最低排名。

示例

>>> from sklearn.datasets import load_iris
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.experimental import enable_halving_search_cv  # noqa
>>> from sklearn.model_selection import HalvingGridSearchCV
...
>>> X, y = load_iris(return_X_y=True)
>>> clf = RandomForestClassifier(random_state=0)
...
>>> param_grid = {"max_depth": [3, None],
...               "min_samples_split": [5, 10]}
>>> search = HalvingGridSearchCV(clf, param_grid, resource='n_estimators',
...                              max_resources=10,
...                              random_state=0).fit(X, y)
>>> search.best_params_  
{'max_depth': None, 'min_samples_split': 10, 'n_estimators': 9}

属性 classes_#

类别标签。

仅当 refit=True 且估计器是分类器时才可用。

decision_function(X)[source]#

使用找到的最佳参数在估计器上调用 decision_function。

仅当 refit=True 且底层估计器支持 decision_function 时才可用。

参数：

X可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。

返回:

y_score形状为 (n_samples,) 或 (n_samples, n_classes) 或 (n_samples, n_classes * (n_classes-1) / 2) 的 ndarray: 基于具有最佳找到参数的估计器的 X 的决策函数的结果。

fit(X, y=None, **params)[source]#

使用所有参数集运行拟合。

参数：

X类数组，形状为 (n_samples, n_features): 训练向量，其中 n_samples 是样本数，n_features 是特征数。
y类数组，形状为 (n_samples,) 或 (n_samples, n_output)，可选: 针对分类或回归的与 X 相关的目标；无监督学习为 None。
**params字符串 -> 对象的字典: 传递给估计器的 fit 方法的参数。

返回:

self对象: 已拟合估计器的实例。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

1.4 版本中添加。

返回:

routingMetadataRouter: 一个 MetadataRouter，封装了路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：

deep布尔值，默认为 True: 如果为 True，则将返回此估计器和作为估计器的包含子对象的参数。

返回:

params字典: 参数名称映射到其值。

inverse_transform(X=None, Xt=None)[source]#

调用具有最佳参数的估计器的 inverse_transform。

仅当底层估计器实现 inverse_transform 且 refit=True 时可用。

参数：

X可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。
Xt可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。

自 1.5 版本起已弃用: Xt 已在 1.5 版本中弃用，并将在 1.7 版本中移除。请改用 X。

返回:

X形状为 (n_samples, n_features) 的 {ndarray, sparse matrix}: 基于具有最佳参数的估计器，对 Xt 应用 inverse_transform 函数的结果。

property n_features_in_#

在拟合期间看到的特征数量。

仅当 refit=True 时可用。

predict(X)[source]#

使用具有最佳参数的估计器调用 predict。

仅当 refit=True 且底层估计器支持 predict 时可用。

参数：

X可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。

返回:

y_pred形状为 (n_samples,) 的 ndarray: 基于具有最佳参数的估计器，对 X 的预测标签或值。

predict_log_proba(X)[source]#

使用具有最佳参数的估计器调用 predict_log_proba。

仅当 refit=True 且底层估计器支持 predict_log_proba 时可用。

参数：

X可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。

返回:

y_pred形状为 (n_samples,) 或 (n_samples, n_classes) 的 ndarray: 基于具有最佳参数的估计器，对 X 的预测类别对数概率。类别的顺序与拟合属性 classes_ 中的顺序一致。

predict_proba(X)[source]#

使用具有最佳参数的估计器调用 predict_proba。

仅当 refit=True 且底层估计器支持 predict_proba 时可用。

参数：

X可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。

返回:

y_pred形状为 (n_samples,) 或 (n_samples, n_classes) 的 ndarray: 基于具有最佳参数的估计器，对 X 的预测类别概率。类别的顺序与拟合属性 classes_ 中的顺序一致。

score(X, y=None, **params)[source]#

如果已重新拟合估计器，则返回给定数据上的分数。

这使用由 scoring 定义的分数，否则使用 best_estimator_.score 方法。

参数：

X形状为 (n_samples, n_features) 的类数组: 输入数据，其中 n_samples 是样本数，n_features 是特征数。
y形状为 (n_samples, n_output) 或 (n_samples,) 的类数组，默认为 None: 针对分类或回归的与 X 相关的目标；无监督学习为 None。
**paramsdict: 要传递到底层评分器(s)的参数。

1.4 版本中新增: 仅当 enable_metadata_routing=True 时可用。详情请参阅元数据路由用户指南。

返回:

scorefloat: 如果提供，则为 scoring 定义的分数；否则为 best_estimator_.score 方法。

score_samples(X)[source]#

使用具有最佳参数的估计器调用 score_samples。

仅当 refit=True 且底层估计器支持 score_samples 时可用。

0.24 版本中新增。

参数：

X可迭代对象: 要预测的数据。必须满足底层估计器的输入要求。

返回:

y_score形状为 (n_samples,) 的 ndarray: best_estimator_.score_samples 方法。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**paramsdict: 估计器参数。

返回:

self估计器实例: 估计器实例。

transform(X)[source]#

使用找到的最佳参数调用估计器的 transform 方法。

仅当底层估计器支持transform 和 refit=True 时才可用。

参数：

X可索引的，长度为 n_samples: 必须满足底层估计器的输入假设。

返回:

Xt{ndarray, sparse matrix} 形状为 (n_samples, n_features): 基于具有最佳参数的估计器，在新的空间中转换的X。

图库示例#

scikit-learn 0.24 版本亮点

网格搜索和逐次减半的比较

逐次减半迭代