check_scoring#

sklearn.metrics.check_scoring(estimator=None, scoring=None, *, allow_none=False, raise_exc=True)[source]#

根据用户选项确定评分器。

如果估计器无法评分，将抛出 TypeError。

参数:

estimator实现了‘fit’方法的估计器对象，或 None，默认=None

用于拟合数据的对象。如果为 None，则此函数可能会根据 allow_none 的值报错。

scoringstr, callable, list, tuple, set, 或 dict，默认=None

要使用的评分器。如果 scoring 表示单一分数，则可以使用：

单个字符串（参见字符串名称评分器）；
一个返回单个值的可调用对象（参见可调用评分器）；
None，使用 estimator 的默认评估标准。

如果 scoring 代表多个分数，可以使用

包含唯一字符串的列表、元组或集合；
一个返回字典的可调用对象，其中键为指标名称，值为指标评分器；
一个以指标名称为键、可调用对象为值的字典。这些可调用对象必须具有签名 callable(estimator, X, y)。

allow_nonebool，默认=False

当未指定 scoring 且估计器没有 score 方法时，是否返回 None 或引发错误。

raise_excbool，默认=True

在多指标评分中，如果部分评分器失败，是引发异常还是返回错误代码。

如果设置为 True，则会引发失败评分器的异常。
如果设置为 False，则会将异常详细信息的格式化字符串作为失败评分器的结果返回。

此参数仅在 scoring 为列表、元组、集合或字典时适用。如果 scoring 是字符串或可调用对象，则忽略该参数。

版本 1.6 中新增。

返回:

scoringcallable: 一个具有签名 scorer(estimator, X, y) 的评分器可调用对象/函数。

示例

>>> from sklearn.datasets import load_iris
>>> from sklearn.metrics import check_scoring
>>> from sklearn.tree import DecisionTreeClassifier
>>> X, y = load_iris(return_X_y=True)
>>> classifier = DecisionTreeClassifier(max_depth=2).fit(X, y)
>>> scorer = check_scoring(classifier, scoring='accuracy')
>>> scorer(classifier, X, y)
0.96...

>>> from sklearn.metrics import make_scorer, accuracy_score, mean_squared_log_error
>>> X, y = load_iris(return_X_y=True)
>>> y *= -1
>>> clf = DecisionTreeClassifier().fit(X, y)
>>> scoring = {
...     "accuracy": make_scorer(accuracy_score),
...     "mean_squared_log_error": make_scorer(mean_squared_log_error),
... }
>>> scoring_call = check_scoring(estimator=clf, scoring=scoring, raise_exc=False)
>>> scores = scoring_call(clf, X, y)
>>> scores
{'accuracy': 1.0, 'mean_squared_log_error': 'Traceback ...'}