3.5. 验证曲线：绘制分数以评估模型#
每个估计器都有其优缺点。它的泛化误差可以分解为偏差、方差和噪声。估计器的**偏差**是其针对不同训练集的平均误差。估计器的**方差**表示其对不同训练集的敏感程度。噪声是数据的属性。
在下图中，我们看到一个函数 \(f(x) = \cos (\frac{3}{2} \pi x)\) 和来自该函数的一些噪声样本。我们使用三个不同的估计器来拟合该函数：具有 1、4 和 15 次多项式特征的线性回归。我们看到第一个估计器最多只能对样本和真实函数提供较差的拟合，因为它太简单了（高偏差），第二个估计器几乎完美地近似了它，而最后一个估计器完美地近似了训练数据，但没有很好地拟合真实函数，即它对不同的训练数据非常敏感（高方差）。
偏差和方差是估计器的固有属性，我们通常必须选择学习算法和超参数，以便偏差和方差都尽可能低（参见 偏差-方差困境）。减少模型方差的另一种方法是使用更多训练数据。但是，只有当真实函数过于复杂，无法用方差较低的估计器来近似时，你才应该收集更多训练数据。
在我们示例中看到的一维简单问题中，很容易看出估计器是否受到偏差或方差的影响。但是，在高维空间中，模型可能变得非常难以可视化。出于这个原因，使用下面描述的工具通常很有帮助。
示例
3.5.1. 验证曲线#
为了验证模型，我们需要一个评分函数（参见 指标和评分：量化预测质量），例如分类器的准确率。选择估计器多个超参数的正确方法当然是网格搜索或类似方法（参见 调整估计器的超参数），这些方法选择在验证集或多个验证集上得分最高的超参数。请注意，如果我们根据验证得分优化超参数，则验证得分会有偏差，不再是泛化能力的良好估计。为了获得泛化能力的正确估计，我们必须在另一个测试集上计算得分。
但是，有时绘制单个超参数对训练得分和验证得分的影响以找出估计器在某些超参数值下是否过拟合或欠拟合会有所帮助。
函数 validation_curve 在这种情况下可以提供帮助
>>> import numpy as np
>>> from sklearn.model_selection import validation_curve
>>> from sklearn.datasets import load_iris
>>> from sklearn.svm import SVC
>>> np.random.seed(0)
>>> X, y = load_iris(return_X_y=True)
>>> indices = np.arange(y.shape[0])
>>> np.random.shuffle(indices)
>>> X, y = X[indices], y[indices]
>>> train_scores, valid_scores = validation_curve(
... SVC(kernel="linear"), X, y, param_name="C", param_range=np.logspace(-7, 3, 3),
... )
>>> train_scores
array([[0.90..., 0.94..., 0.91..., 0.89..., 0.92...],
[0.9... , 0.92..., 0.93..., 0.92..., 0.93...],
[0.97..., 1... , 0.98..., 0.97..., 0.99...]])
>>> valid_scores
array([[0.9..., 0.9... , 0.9... , 0.96..., 0.9... ],
[0.9..., 0.83..., 0.96..., 0.96..., 0.93...],
[1.... , 0.93..., 1.... , 1.... , 0.9... ]])
如果您打算仅绘制验证曲线，则类 ValidationCurveDisplay 比在 validation_curve 的结果上手动使用 matplotlib 更直接。您可以使用方法 from_estimator 与 validation_curve 类似地生成和绘制验证曲线
from sklearn.datasets import load_iris
from sklearn.model_selection import ValidationCurveDisplay
from sklearn.svm import SVC
from sklearn.utils import shuffle
X, y = load_iris(return_X_y=True)
X, y = shuffle(X, y, random_state=0)
ValidationCurveDisplay.from_estimator(
SVC(kernel="linear"), X, y, param_name="C", param_range=np.logspace(-7, 3, 10)
)
如果训练得分和验证得分都很低，则估计器将欠拟合。如果训练得分很高而验证得分很低，则估计器过拟合，否则它工作得很好。训练得分低而验证得分高通常是不可能的。欠拟合、过拟合和工作模型在下图中显示，我们在此图中改变了在数字数据集上使用 RBF 内核的 SVM 的参数 gamma。
3.5.2. 学习曲线#
学习曲线显示了估计器在不同训练样本数量下的验证得分和训练得分。它是一种工具，用于找出我们从添加更多训练数据中获得了多少收益，以及估计器是否更多地受到方差误差或偏差误差的影响。考虑以下示例，我们在此示例中绘制了朴素贝叶斯分类器和 SVM 的学习曲线。
对于朴素贝叶斯，验证得分和训练得分都随着训练集大小的增加而收敛到一个相当低的值。因此，我们可能不会从更多训练数据中获得太多收益。
相反，对于少量数据，SVM 的训练得分远大于验证得分。添加更多训练样本很可能会提高泛化能力。
我们可以使用函数 learning_curve 生成绘制此类学习曲线所需的数值（已使用的样本数量、训练集上的平均得分和验证集上的平均得分）
>>> from sklearn.model_selection import learning_curve
>>> from sklearn.svm import SVC
>>> train_sizes, train_scores, valid_scores = learning_curve(
... SVC(kernel='linear'), X, y, train_sizes=[50, 80, 110], cv=5)
>>> train_sizes
array([ 50, 80, 110])
>>> train_scores
array([[0.98..., 0.98 , 0.98..., 0.98..., 0.98...],
[0.98..., 1. , 0.98..., 0.98..., 0.98...],
[0.98..., 1. , 0.98..., 0.98..., 0.99...]])
>>> valid_scores
array([[1. , 0.93..., 1. , 1. , 0.96...],
[1. , 0.96..., 1. , 1. , 0.96...],
[1. , 0.96..., 1. , 1. , 0.96...]])
如果您打算仅绘制学习曲线，则类 LearningCurveDisplay 将更容易使用。您可以使用方法 from_estimator 与 learning_curve 类似地生成和绘制学习曲线
from sklearn.datasets import load_iris
from sklearn.model_selection import LearningCurveDisplay
from sklearn.svm import SVC
from sklearn.utils import shuffle
X, y = load_iris(return_X_y=True)
X, y = shuffle(X, y, random_state=0)
LearningCurveDisplay.from_estimator(
SVC(kernel="linear"), X, y, train_sizes=[50, 80, 110], cv=5)
