使用不同的 SVM 核绘制分类边界#

此示例展示了 SVC（支持向量分类器）中的不同核如何影响二元二维分类问题中的分类边界。

SVC 的目标是找到一个超平面，通过最大化每个类别的最外层数据点之间的边距，有效地将训练数据中的类别分开。这是通过找到定义决策边界超平面的最佳权重向量 \(w\) 并最小化错误分类样本的铰链损失之和来实现的，如 hinge_loss 函数所衡量的那样。默认情况下，正则化使用参数 C=1 应用，这允许一定程度的错误分类容忍度。

如果数据在原始特征空间中不是线性可分的，则可以设置非线性核参数。根据核的不同，该过程涉及添加新特征或转换现有特征以丰富数据并可能为数据添加意义。当设置除 "linear" 之外的核时，SVC 会应用 核技巧，该技巧使用核函数计算数据点对之间的相似性，而无需显式转换整个数据集。核技巧通过仅考虑所有数据点对之间的关系，超越了否则必要的整个数据集的矩阵转换。核函数使用两个向量的点积将两个向量（每对观测值）映射到它们的相似性。

然后可以使用核函数计算超平面，就好像数据集在更高维空间中表示一样。使用核函数而不是显式矩阵转换可以提高性能，因为核函数的时间复杂度为 \(O({n}^2)\)，而矩阵转换的规模取决于所应用的特定转换。

在此示例中，我们比较了支持向量机的最常见核类型：线性核 ("linear")、多项式核 ("poly")、径向基函数核 ("rbf") 和 sigmoid 核 ("sigmoid")。

# Code source: Gaël Varoquaux
# License: BSD 3 clause

创建数据集#

我们创建一个包含 16 个样本和两个类别的二维分类数据集。我们使用与它们各自目标匹配的颜色绘制样本。

import matplotlib.pyplot as plt
import numpy as np

X = np.array(
    [
        [0.4, -0.7],
        [-1.5, -1.0],
        [-1.4, -0.9],
        [-1.3, -1.2],
        [-1.1, -0.2],
        [-1.2, -0.4],
        [-0.5, 1.2],
        [-1.5, 2.1],
        [1.0, 1.0],
        [1.3, 0.8],
        [1.2, 0.5],
        [0.2, -2.0],
        [0.5, -2.4],
        [0.2, -2.3],
        [0.0, -2.7],
        [1.3, 2.1],
    ]
)

y = np.array([0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1])

# Plotting settings
fig, ax = plt.subplots(figsize=(4, 3))
x_min, x_max, y_min, y_max = -3, 3, -3, 3
ax.set(xlim=(x_min, x_max), ylim=(y_min, y_max))

# Plot samples by color and add legend
scatter = ax.scatter(X[:, 0], X[:, 1], s=150, c=y, label=y, edgecolors="k")
ax.legend(*scatter.legend_elements(), loc="upper right", title="Classes")
ax.set_title("Samples in two-dimensional feature space")
_ = plt.show()
Samples in two-dimensional feature space

我们可以看到样本不能通过直线清晰地分离。

训练 SVC 模型并绘制决策边界#

我们定义一个函数，该函数拟合一个 SVC 分类器，允许 kernel 参数作为输入，然后使用 DecisionBoundaryDisplay 绘制模型学习的决策边界。

请注意，为了简便起见，在本例中，C 参数设置为其默认值 (C=1)，并且 gamma 参数设置为 gamma=2，适用于所有内核，尽管它会自动忽略线性内核。在实际的分类任务中，如果性能至关重要，则强烈建议进行参数调整（例如，使用 GridSearchCV），以捕获数据中的不同结构。

在 DecisionBoundaryDisplay 中设置 response_method="predict" 会根据预测的类别对区域进行着色。使用 response_method="decision_function" 允许我们绘制决策边界以及它两侧的边距。最后，通过训练好的 SVC 的 support_vectors_ 属性识别训练期间使用的支持向量（始终位于边距上），并将其绘制出来。

from sklearn import svm
from sklearn.inspection import DecisionBoundaryDisplay


def plot_training_data_with_decision_boundary(
    kernel, ax=None, long_title=True, support_vectors=True
):
    # Train the SVC
    clf = svm.SVC(kernel=kernel, gamma=2).fit(X, y)

    # Settings for plotting
    if ax is None:
        _, ax = plt.subplots(figsize=(4, 3))
    x_min, x_max, y_min, y_max = -3, 3, -3, 3
    ax.set(xlim=(x_min, x_max), ylim=(y_min, y_max))

    # Plot decision boundary and margins
    common_params = {"estimator": clf, "X": X, "ax": ax}
    DecisionBoundaryDisplay.from_estimator(
        **common_params,
        response_method="predict",
        plot_method="pcolormesh",
        alpha=0.3,
    )
    DecisionBoundaryDisplay.from_estimator(
        **common_params,
        response_method="decision_function",
        plot_method="contour",
        levels=[-1, 0, 1],
        colors=["k", "k", "k"],
        linestyles=["--", "-", "--"],
    )

    if support_vectors:
        # Plot bigger circles around samples that serve as support vectors
        ax.scatter(
            clf.support_vectors_[:, 0],
            clf.support_vectors_[:, 1],
            s=150,
            facecolors="none",
            edgecolors="k",
        )

    # Plot samples by color and add legend
    ax.scatter(X[:, 0], X[:, 1], c=y, s=30, edgecolors="k")
    ax.legend(*scatter.legend_elements(), loc="upper right", title="Classes")
    if long_title:
        ax.set_title(f" Decision boundaries of {kernel} kernel in SVC")
    else:
        ax.set_title(kernel)

    if ax is None:
        plt.show()

线性内核#

线性内核是输入样本的点积

\[K(\mathbf{x}_1, \mathbf{x}_2) = \mathbf{x}_1^\top \mathbf{x}_2\]

然后将其应用于数据集中的任意两个数据点（样本）的组合。两个点的点积决定了它们之间的 cosine_similarity。值越高，点越相似。

plot_training_data_with_decision_boundary("linear")
Decision boundaries of linear kernel in SVC

在线性内核上训练 SVC 会导致未转换的特征空间，其中超平面和边距是直线。由于线性内核缺乏表现力，训练好的类别无法完美地捕获训练数据。

多项式内核#

多项式内核改变了相似性的概念。内核函数定义为

\[K(\mathbf{x}_1, \mathbf{x}_2) = (\gamma \cdot \ \mathbf{x}_1^\top\mathbf{x}_2 + r)^d\]

其中 \({d}\) 是多项式的次数 (degree)，\({\gamma}\) (gamma) 控制每个单独训练样本对决策边界的影響，而 \({r}\) 是偏差项 (coef0)，它会将数据向上或向下移动。在这里，我们使用内核函数中多项式次数的默认值 (degree=3)。当 coef0=0（默认值）时，数据仅被转换，但不会添加额外的维度。使用多项式内核等效于创建 PolynomialFeatures，然后在转换后的数据上使用线性内核拟合 SVC，尽管这种替代方法对于大多数数据集来说计算量很大。

plot_training_data_with_decision_boundary("poly")
Decision boundaries of poly kernel in SVC

具有 gamma=2` 的多项式内核很好地适应训练数据，导致超平面两侧的边距相应弯曲。

RBF 内核#

径向基函数 (RBF) 内核，也称为高斯内核，是 scikit-learn 中支持向量机的默认内核。它测量无限维空间中两个数据点之间的相似性，然后通过多数投票进行分类。内核函数定义为

\[K(\mathbf{x}_1, \mathbf{x}_2) = \exp\left(-\gamma \cdot {\|\mathbf{x}_1 - \mathbf{x}_2\|^2}\right)\]

其中 \({\gamma}\) (gamma) 控制每个单独训练样本对决策边界的影響。

两个点 \(\|\mathbf{x}_1 - \mathbf{x}_2\|^2\) 之间的欧几里得距离越大，内核函数越接近零。这意味着两个距离很远的点更有可能不相似。

plot_training_data_with_decision_boundary("rbf")
Decision boundaries of rbf kernel in SVC

在图中，我们可以看到决策边界如何倾向于收缩到彼此靠近的数据点周围。

Sigmoid 内核#

Sigmoid 内核函数定义为

\[K(\mathbf{x}_1, \mathbf{x}_2) = \tanh(\gamma \cdot \mathbf{x}_1^\top\mathbf{x}_2 + r)\]

其中内核系数 \({\gamma}\) (gamma) 控制每个单独训练样本对决策边界的影響，而 \({r}\) 是偏差项 (coef0)，它会将数据向上或向下移动。

在 Sigmoid 内核中，使用双曲正切函数 (\(\tanh\)) 计算两个数据点之间的相似性。内核函数会缩放并可能移动两个点 (\(\mathbf{x}_1\) 和 \(\mathbf{x}_2\)) 的点积。

plot_training_data_with_decision_boundary("sigmoid")
Decision boundaries of sigmoid kernel in SVC

我们可以看到，使用 Sigmoid 内核获得的决策边界看起来弯曲且不规则。决策边界试图通过拟合 S 形曲线来分离类别，从而导致复杂的边界，可能无法很好地推广到未见数据。从这个例子中可以明显看出，Sigmoid 内核在处理具有 S 形形状的数据时具有非常具体的用例。在这个例子中，仔细的微调可能会找到更具泛化性的决策边界。由于其特殊性，Sigmoid 内核在实践中不如其他内核常用。

结论#

在本例中，我们可视化了使用提供的 dataset 训练的决策边界。这些图直观地展示了不同的内核如何利用训练数据来确定分类边界。

超平面和边距虽然是间接计算的，但可以想象成转换后的特征空间中的平面。但是，在图中，它们是相对于原始特征空间表示的，导致多项式、RBF 和 Sigmoid 内核的决策边界弯曲。

请注意，这些图不会评估单个内核的准确性或质量。它们旨在提供对不同内核如何使用训练数据的直观理解。

为了进行全面评估，建议使用诸如 GridSearchCV 之类的技术对 SVC 参数进行微调，以捕获数据中的潜在结构。

XOR 数据集#

一个经典的例子，即数据集不是线性可分的，就是 XOR 模式。在这里，我们演示了不同的内核如何在这样的数据集上工作。

xx, yy = np.meshgrid(np.linspace(-3, 3, 500), np.linspace(-3, 3, 500))
np.random.seed(0)
X = np.random.randn(300, 2)
y = np.logical_xor(X[:, 0] > 0, X[:, 1] > 0)

_, ax = plt.subplots(2, 2, figsize=(8, 8))
args = dict(long_title=False, support_vectors=False)
plot_training_data_with_decision_boundary("linear", ax[0, 0], **args)
plot_training_data_with_decision_boundary("poly", ax[0, 1], **args)
plot_training_data_with_decision_boundary("rbf", ax[1, 0], **args)
plot_training_data_with_decision_boundary("sigmoid", ax[1, 1], **args)
plt.show()
linear, poly, rbf, sigmoid

从上面的图中可以看出，只有 rbf 内核才能为上述数据集找到合理的决策边界。

脚本的总运行时间：（0 分钟 1.329 秒）

相关示例

RBF SVM 参数

RBF SVM 参数

在 iris 数据集中绘制不同的 SVM 分类器

在 iris 数据集中绘制不同的 SVM 分类器

半监督分类器与 SVM 在 Iris 数据集上的决策边界

半监督分类器与 SVM 在 Iris 数据集上的决策边界

SVM：最大边距分离超平面

SVM：最大边距分离超平面

由 Sphinx-Gallery 生成的图库

本页内容
Launch JupyterLite
Launch binder