3.5. 验证曲线：绘制分数以评估模型#

每个估计器都有其优点和缺点。其泛化误差可以根据偏差、方差和噪声进行分解。估计器的**偏差**是其针对不同训练集的平均误差。估计器的**方差**表示其对不同训练集的敏感程度。噪声是数据的属性。

在下图中，我们看到一个函数 \(f(x) = \cos (\frac{3}{2} \pi x)\) 和来自该函数的一些噪声样本。我们使用三个不同的估计器来拟合该函数：具有 1 次、4 次和 15 次多项式特征的线性回归。我们看到，第一个估计器最多只能对样本和真实函数提供较差的拟合，因为它过于简单（高偏差），第二个估计器几乎完美地逼近它，而最后一个估计器完美地逼近训练数据，但不能很好地拟合真实函数，即它对不同的训练数据非常敏感（高方差）。

../_images/sphx_glr_plot_underfitting_overfitting_001.png

偏差和方差是估计器的固有属性，我们通常必须选择学习算法和超参数，以便偏差和方差都尽可能低（参见偏差-方差困境）。减少模型方差的另一种方法是使用更多训练数据。但是，只有当真实函数过于复杂而无法由方差较低的估计器逼近时，才应收集更多训练数据。

在我们示例中看到的简单一维问题中，很容易看出估计器是否受到偏差或方差的影响。但是，在高维空间中，模型的可视化可能会非常困难。因此，使用下面描述的工具通常很有帮助。

示例

3.5.1. 验证曲线#

要验证模型，我们需要一个评分函数（参见度量和评分：量化预测的质量），例如分类器的准确性。当然，选择估计器的多个超参数的正确方法是网格搜索或类似方法（参见调整估计器的超参数），这些方法在验证集或多个验证集上选择具有最大分数的超参数。请注意，如果我们根据验证分数优化超参数，则验证分数会有偏差，不再是泛化程度的良好估计。为了获得泛化程度的正确估计，我们必须计算另一个测试集上的分数。

但是，有时绘制单个超参数对训练分数和验证分数的影响以找出估计器对于某些超参数值是否过拟合或欠拟合会很有帮助。

函数validation_curve在这种情况下可以提供帮助。

>>> import numpy as np
>>> from sklearn.model_selection import validation_curve
>>> from sklearn.datasets import load_iris
>>> from sklearn.svm import SVC

>>> np.random.seed(0)
>>> X, y = load_iris(return_X_y=True)
>>> indices = np.arange(y.shape[0])
>>> np.random.shuffle(indices)
>>> X, y = X[indices], y[indices]

>>> train_scores, valid_scores = validation_curve(
...     SVC(kernel="linear"), X, y, param_name="C", param_range=np.logspace(-7, 3, 3),
... )
>>> train_scores
array([[0.90..., 0.94..., 0.91..., 0.89..., 0.92...],
       [0.9... , 0.92..., 0.93..., 0.92..., 0.93...],
       [0.97..., 1...   , 0.98..., 0.97..., 0.99...]])
>>> valid_scores
array([[0.9..., 0.9... , 0.9... , 0.96..., 0.9... ],
       [0.9..., 0.83..., 0.96..., 0.96..., 0.93...],
       [1.... , 0.93..., 1....  , 1....  , 0.9... ]])

如果您只想绘制验证曲线，则类ValidationCurveDisplay 比手动使用 matplotlib 处理 validation_curve 函数的结果更直接。您可以使用 from_estimator 方法，其使用方法与 validation_curve 类似，来生成和绘制验证曲线。

from sklearn.datasets import load_iris
from sklearn.model_selection import ValidationCurveDisplay
from sklearn.svm import SVC
from sklearn.utils import shuffle
X, y = load_iris(return_X_y=True)
X, y = shuffle(X, y, random_state=0)
ValidationCurveDisplay.from_estimator(
   SVC(kernel="linear"), X, y, param_name="C", param_range=np.logspace(-7, 3, 10)
)
../_images/learning_curve-1.png

如果训练得分和验证得分都很低，则估计器欠拟合。如果训练得分高而验证得分低，则估计器过拟合；否则，估计器工作良好。训练得分低而验证得分高的情况通常是不可能的。

3.5.2. 学习曲线#

学习曲线显示了估计器在不同数量的训练样本下的验证得分和训练得分。它是一个工具，可以帮助我们了解增加更多训练数据能带来多少益处，以及估计器是否更多地受到方差误差或偏差误差的影响。考虑以下示例，我们绘制了朴素贝叶斯分类器和 SVM 的学习曲线。

对于朴素贝叶斯，随着训练集大小的增加，验证得分和训练得分都收敛到一个相当低的数值。因此，我们可能不会从更多训练数据中获益多少。

相反，对于少量数据，SVM 的训练得分远大于验证得分。增加更多训练样本很可能会提高泛化能力。

../_images/sphx_glr_plot_learning_curve_001.png

我们可以使用函数 learning_curve 来生成绘制学习曲线所需的值（已使用的样本数、训练集上的平均得分和验证集上的平均得分）。

>>> from sklearn.model_selection import learning_curve
>>> from sklearn.svm import SVC

>>> train_sizes, train_scores, valid_scores = learning_curve(
...     SVC(kernel='linear'), X, y, train_sizes=[50, 80, 110], cv=5)
>>> train_sizes
array([ 50, 80, 110])
>>> train_scores
array([[0.98..., 0.98 , 0.98..., 0.98..., 0.98...],
       [0.98..., 1.   , 0.98..., 0.98..., 0.98...],
       [0.98..., 1.   , 0.98..., 0.98..., 0.99...]])
>>> valid_scores
array([[1. ,  0.93...,  1. ,  1. ,  0.96...],
       [1. ,  0.96...,  1. ,  1. ,  0.96...],
       [1. ,  0.96...,  1. ,  1. ,  0.96...]])

如果您只想绘制学习曲线，则类 LearningCurveDisplay 更易于使用。您可以使用 from_estimator 方法，其使用方法与 learning_curve 类似，来生成和绘制学习曲线。

from sklearn.datasets import load_iris
from sklearn.model_selection import LearningCurveDisplay
from sklearn.svm import SVC
from sklearn.utils import shuffle
X, y = load_iris(return_X_y=True)
X, y = shuffle(X, y, random_state=0)
LearningCurveDisplay.from_estimator(
   SVC(kernel="linear"), X, y, train_sizes=[50, 80, 110], cv=5)
../_images/learning_curve-2.png

示例