核主成分分析

class sklearn.decomposition.KernelPCA(n_components=None, *, kernel='linear', gamma=None, degree=3, coef0=1, kernel_params=None, alpha=1.0, fit_inverse_transform=False, eigen_solver='auto', tol=0, max_iter=None, iterated_power='auto', remove_zero_eig=False, random_state=None, copy_X=True, n_jobs=None)

核主成分分析 (KPCA)。

通过使用核函数进行非线性降维[1]，另见 成对度量、亲和度和核函数。

它使用 scipy.linalg.eigh LAPACK 实现的完整奇异值分解或 scipy.sparse.linalg.eigsh ARPACK 实现的截断奇异值分解，具体取决于输入数据的形状和要提取的组件数量。它还可以根据[3]中提出的方法使用随机截断奇异值分解，参见 eigen_solver。

有关用法示例以及主成分分析 (PCA) 及其核化版本 (KPCA) 之间的比较，请参见 核PCA。

有关使用 KPCA 对图像进行去噪的用法示例，请参见 使用核PCA进行图像去噪。

在 用户指南 中了解更多信息。

参数：

n_componentsint, default=None

组件数量。如果为 None，则保留所有非零组件。

kernel{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘cosine’, ‘precomputed’} or callable, default=’linear’

用于 PCA 的核函数。

gammafloat, default=None

rbf、poly 和 sigmoid 核的核系数。其他核函数忽略此参数。如果 gamma 为 None，则将其设置为 1/n_features。

degreefloat, default=3

poly 核的阶数。其他核函数忽略此参数。

coef0float, default=1

poly 和 sigmoid 核中的独立项。其他核函数忽略此参数。

kernel_paramsdict, default=None

作为可调用对象传递的核函数的参数（关键字参数）和值。其他核函数忽略此参数。

alphafloat, default=1.0

学习逆变换（当 fit_inverse_transform=True 时）的岭回归的超参数。

fit_inverse_transformbool, default=False

学习非预计算核的逆变换（即学习如何找到一个点的原像）。此方法基于 [2]。

eigen_solver{‘auto’, ‘dense’, ‘arpack’, ‘randomized’}, default=’auto’

选择要使用的特征值求解器。如果 n_components 远小于训练样本的数量，则随机化（或在较小程度上为 arpack）可能比密集特征值求解器更有效。根据 Halko 等人的方法执行随机 SVD [3]。

auto

根据 n_samples（训练样本的数量）和 n_components 选择求解器：如果要提取的组件数量小于 10（严格）并且样本数量大于 200（严格），则启用 ‘arpack’ 方法。否则，计算精确的完整特征值分解，并可选地在之后进行截断（‘dense’ 方法）。

dense

通过 scipy.linalg.eigh 调用标准 LAPACK 求解器运行精确的完整特征值分解，并通过后处理选择组件。

arpack

使用 scipy.sparse.linalg.eigsh 调用 ARPACK 求解器运行截断到 n_components 的 SVD。它要求严格 0 < n_components < n_samples。

randomized

根据 Halko 等人的方法运行随机 SVD [3]。当前的实现基于它们的模数选择特征值；因此，如果核不是半正定的，则使用此方法可能会导致意外的结果。另见 [4]。

1.0 版本中的变更： 添加了 'randomized'。

tolfloat, default=0

arpack 的收敛容差。如果为 0，则 arpack 将选择最佳值。

max_iterint, default=None

arpack 的最大迭代次数。如果为 None，则 arpack 将选择最佳值。

iterated_powerint >= 0, 或 ‘auto’，默认为’auto’

当 `svd_solver == 'randomized'` 时，幂法迭代次数。当为 ‘auto’ 时，如果 n_components < 0.1 * min(X.shape)，则设置为 7；否则设置为 4。

版本 1.0 中新增。

remove_zero_eigbool，默认为 False

如果为 True，则移除所有特征值为零的成分，因此输出中的成分数量可能小于 n_components（有时由于数值不稳定甚至可能为零）。当 n_components 为 None 时，此参数将被忽略，无论如何都会移除特征值为零的成分。

random_stateint、RandomState 实例或 None，默认为 None

当 eigen_solver == ‘arpack’ 或 ‘randomized’ 时使用。传递一个整数以便在多次函数调用中获得可重复的结果。参见 词汇表。

版本 0.18 中新增。

copy_Xbool，默认为 True

如果为 True，则复制输入 X 并将其存储在模型的 X_fit_ 属性中。如果 X 不再需要修改，则设置 copy_X=False 可以通过存储引用来节省内存。

版本 0.18 中新增。

n_jobsint，默认为 None

要运行的并行作业数。 None 表示 1（除非在 joblib.parallel_backend 上下文中）。-1 表示使用所有处理器。有关更多详细信息，请参见 词汇表。

版本 0.18 中新增。

属性：

eigenvalues_形状为 (n_components,) 的 ndarray

居中核矩阵的特征值，按降序排列。如果未设置 n_components 和 remove_zero_eig，则存储所有值。

eigenvectors_形状为 (n_samples, n_components) 的 ndarray

居中核矩阵的特征向量。如果未设置 n_components 和 remove_zero_eig，则存储所有成分。

dual_coef_形状为 (n_samples, n_features) 的 ndarray

逆变换矩阵。仅当 fit_inverse_transform 为 True 时可用。

X_transformed_fit_形状为 (n_samples, n_components) 的 ndarray

拟合数据在核主成分上的投影。仅当 fit_inverse_transform 为 True 时可用。

X_fit_形状为 (n_samples, n_features) 的 ndarray

用于拟合模型的数据。如果 copy_X=False，则 X_fit_ 是一个引用。此属性用于转换调用。

n_features_in_int

在 拟合 期间看到的特征数量。

版本 0.24 中新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 拟合 期间看到的特征名称。仅当 X 的特征名称全部为字符串时定义。

版本 1.0 中新增。

gamma_float

用于 rbf、poly 和 sigmoid 核的核系数。当显式提供 gamma 时，这与 gamma 相同。当 gamma 为 None 时，这是核系数的实际值。

版本 1.3 中新增。

另请参见

FastICA

用于独立成分分析的快速算法。

IncrementalPCA

增量主成分分析。

NMF

非负矩阵分解。

PCA

主成分分析。

SparsePCA

稀疏主成分分析。

TruncatedSVD

使用截断 SVD 的降维。

参考文献

[1]

Schölkopf, Bernhard, Alexander Smola, and Klaus-Robert Müller. “Kernel principal component analysis.” International conference on artificial neural networks. Springer, Berlin, Heidelberg, 1997.

[2]

Bakır, Gökhan H., Jason Weston, and Bernhard Schölkopf. “Learning to find pre-images.” Advances in neural information processing systems 16 (2004): 449-456.

[3] (1,2,3)

Halko, Nathan, Per-Gunnar Martinsson, and Joel A. Tropp. “Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions.” SIAM review 53.2 (2011): 217-288.

[4]

Martinsson, Per-Gunnar, Vladimir Rokhlin, and Mark Tygert. “A randomized algorithm for the decomposition of matrices.” Applied and Computational Harmonic Analysis 30.1 (2011): 47-68.

示例

>>> from sklearn.datasets import load_digits
>>> from sklearn.decomposition import KernelPCA
>>> X, _ = load_digits(return_X_y=True)
>>> transformer = KernelPCA(n_components=7, kernel='linear')
>>> X_transformed = transformer.fit_transform(X)
>>> X_transformed.shape
(1797, 7)

fit(X, y=None)

根据 X 中的数据拟合模型。

参数：

X形状为 (n_samples, n_features) 的 {array-like，稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

y忽略

未使用，出于 API 一致性约定而存在。

返回：

self对象

返回实例本身。

fit_transform(X, y=None, **params)

根据 X 中的数据拟合模型并转换 X。

参数：

X形状为 (n_samples, n_features) 的 {array-like，稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

y忽略

未使用，出于 API 一致性约定而存在。

**paramskwargs

传递给 fit_transform 实例的参数（关键字参数）和值。

返回：

X_new形状为 (n_samples, n_components) 的 ndarray

返回实例本身。

get_feature_names_out(input_features=None)

获取转换的输出特征名称。

输出的特征名称将以小写的类名作为前缀。例如，如果转换器输出 3 个特征，则输出的特征名称为：["class_name0", "class_name1", "class_name2"]。

参数：

input_featuresstr 的 array-like 或 None，默认为 None

仅用于使用在 fit 中看到的名称验证特征名称。

返回：

feature_names_outstr 对象的 ndarray

转换后的特征名称。

get_metadata_routing()

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回：

routingMetadataRequest

一个MetadataRequest 封装了路由信息。

get_params(deep=True)

获取此估计器的参数。

参数：

deepbool, default=True

如果为 True，则将返回此估计器和包含的作为估计器的子对象的的参数。

返回：

paramsdict

参数名称与其值的映射。

inverse_transform(X)

将 X 变换回原始空间。

inverse_transform 使用学习到的预图像来近似逆变换。预图像通过原始数据在其低维表示向量上的核岭回归来学习。

注意

当用户想要计算“线性”核的逆变换时，建议他们使用PCA。与PCA不同，当使用“线性”核时，KernelPCA 的 inverse_transform 不会重建数据的均值，这是由于使用了中心化核。

参数：

X形状为 (n_samples, n_components) 的 {array-like, sparse matrix}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回：

X_new形状为 (n_samples, n_features) 的 ndarray

返回实例本身。

参考文献

Bakır, Gökhan H., Jason Weston, and Bernhard Schölkopf. “Learning to find pre-images.” Advances in neural information processing systems 16 (2004): 449-456.

set_output(*, transform=None)

设置输出容器。

参见介绍 set_output API，了解如何使用该 API 的示例。

参数：

transform{“default”, “pandas”, “polars”}, default=None

配置transform和fit_transform的输出。

• "default": 变换器的默认输出格式

• "pandas": DataFrame 输出

• "polars": Polars 输出

• None: 变换配置不变

1.4 版新增: "polars" 选项已添加。

返回：

self估计器实例

估计器实例。

set_params(**params)

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**paramsdict

估计器参数。

返回：

self估计器实例

估计器实例。

transform(X)

变换 X。

参数：

X形状为 (n_samples, n_features) 的 {array-like，稀疏矩阵}

训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回：

X_new形状为 (n_samples, n_components) 的 ndarray

返回实例本身。

图库示例

核 PCA

核 PCA

使用核 PCA 进行图像去噪

使用核 PCA 进行图像去噪

核 PCA

核 PCA