KernelPCA#

class sklearn.decomposition.KernelPCA(n_components=None, *, kernel='linear', gamma=None, degree=3, coef0=1, kernel_params=None, alpha=1.0, fit_inverse_transform=False, eigen_solver='auto', tol=0, max_iter=None, iterated_power='auto', remove_zero_eig=False, random_state=None, copy_X=True, n_jobs=None)[source]#

核主成分分析 (KPCA)。

通过使用核函数进行非线性降维 [1]，另请参阅 Pairwise metrics, Affinities and Kernels（成对指标、亲和度和核函数）。

它使用 scipy.linalg.eigh LAPACK 实现来计算完整 SVD，或者使用 scipy.sparse.linalg.eigsh ARPACK 实现来计算截断 SVD，具体取决于输入数据的形状和要提取的分量数量。它还可以使用 [3] 中提出的方法进行随机化截断 SVD，请参阅 eigen_solver。

有关主成分分析 (PCA) 及其核化版本 (KPCA) 之间的使用示例和比较，请参阅核 PCA。

有关使用 KPCA 对图像进行降噪的使用示例，请参阅使用核 PCA 进行图像降噪。

在用户指南中阅读更多内容。

参数:

n_componentsint, default=None

分量数量。如果为 None，则保留所有非零分量。

kernel{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘cosine’, ‘precomputed’} 或 callable, default=’linear’

用于 PCA 的核函数。

gammafloat, default=None

rbf、poly 和 sigmoid 核函数的核系数。其他核函数忽略此参数。如果 gamma 为 None，则设置为 1/n_features。

degreefloat, default=3

poly 核函数的度。其他核函数忽略此参数。

coef0float, default=1

poly 和 sigmoid 核函数中的独立项。其他核函数忽略此参数。

kernel_paramsdict, default=None

作为可调用对象传递的核函数的参数（关键字参数）和值。其他核函数忽略此参数。

alphafloat, default=1.0

学习逆变换（当 fit_inverse_transform=True 时）的岭回归的超参数。

fit_inverse_transformbool, default=False

为非预计算核函数学习逆变换（即学习找到点的原像）。此方法基于 [2]。

eigen_solver{‘auto’, ‘dense’, ‘arpack’, ‘randomized’}, default=’auto’

选择要使用的特征求解器。如果 n_components 远小于训练样本数，则随机化（或在较小程度上 arpack）可能比密集特征求解器更有效。随机化 SVD 根据 Halko et al [3] 中提出的方法执行。

auto: 根据 n_samples（训练样本数）和 n_components 的默认策略选择求解器：如果要提取的分量数量小于 10（严格），且样本数大于 200（严格），则启用 'arpack' 方法。否则，计算精确的完整特征值分解，并选择性地截断（'dense' 方法）。
dense: 运行精确的完整特征值分解，通过 scipy.linalg.eigh 调用标准 LAPACK 求解器，并通过后处理选择分量
arpack: 运行截断为 n_components 的 SVD，使用 scipy.sparse.linalg.eigsh 调用 ARPACK 求解器。它要求严格满足 0 < n_components < n_samples
randomized: 根据 Halko et al. [3] 的方法运行随机化 SVD。当前的实现根据特征值的模数选择特征值；因此，如果核函数不是正半定的，使用此方法可能会导致意外结果。另请参阅 [4]。

版本 1.0 中有更改: 添加了 'randomized'。

tolfloat, default=0

arpack 的收敛容差。如果为 0，则 arpack 将选择最优值。

max_iterint, default=None

arpack 的最大迭代次数。如果为 None，则 arpack 将选择最优值。

iterated_powerint >= 0, or ‘auto’, default=’auto’

svd_solver == ‘randomized’ 计算的幂方法的迭代次数。当为 ‘auto’ 时，如果 n_components < 0.1 * min(X.shape)，则设置为 7，否则设置为 4。

1.0 版本新增。

remove_zero_eigbool, default=False

如果为 True，则删除所有特征值为零的分量，因此输出中的分量数量可能小于 n_components（有时由于数值不稳定甚至为零）。当 n_components 为 None 时，此参数被忽略，无论如何都会删除特征值为零的分量。

random_stateint, RandomState instance or None, default=None

当 eigen_solver == ‘arpack’ 或 ‘randomized’ 时使用。传入 int 以在多次函数调用中获得可重现的结果。请参阅词汇表。

版本 0.18 新增。

copy_Xbool, default=True

如果为 True，输入 X 将被复制并存储在模型的 X_fit_ 属性中。如果不对 X 进行进一步更改，设置 copy_X=False 可通过存储引用来节省内存。

版本 0.18 新增。

n_jobsint, default=None

The number of parallel jobs to run. None means 1 unless in a joblib.parallel_backend context. -1 means using all processors. See Glossary for more details.

版本 0.18 新增。

属性:

eigenvalues_ndarray of shape (n_components,): 中心核矩阵的特征值，按降序排列。如果未设置 n_components 和 remove_zero_eig，则存储所有值。
eigenvectors_ndarray of shape (n_samples, n_components): 中心核矩阵的特征向量。如果未设置 n_components 和 remove_zero_eig，则存储所有分量。
dual_coef_ndarray of shape (n_samples, n_features): 逆变换矩阵。仅当 fit_inverse_transform 为 True 时可用。
X_transformed_fit_ndarray of shape (n_samples, n_components): 拟合数据在核主成分上的投影。仅当 fit_inverse_transform 为 True 时可用。
X_fit_ndarray of shape (n_samples, n_features): 用于拟合模型的数据。如果 copy_X=False，则 X_fit_ 是一个引用。此属性用于调用 transform。
n_features_in_int: 在拟合期间看到的特征数。

0.24 版本新增。
feature_names_in_shape 为 (n_features_in_,) 的 ndarray: 在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。
gamma_float: rbf、poly 和 sigmoid 核函数的核系数。当显式提供 gamma 时，这与 gamma 相同。当 gamma 为 None 时，这是核系数的实际值。

在版本 1.3 中新增。

另请参阅

FastICA: 用于独立分量分析的快速算法。
IncrementalPCA: 增量主成分分析。
NMF: 非负矩阵分解。
PCA: 主成分分析。
SparsePCA: 稀疏主成分分析。
TruncatedSVD: 使用截断 SVD 进行降维。

References

[1]

Schölkopf, Bernhard, Alexander Smola, and Klaus-Robert Müller. “Kernel principal component analysis.” International conference on artificial neural networks. Springer, Berlin, Heidelberg, 1997.

[2]

Bakır, Gökhan H., Jason Weston, and Bernhard Schölkopf. “Learning to find pre-images.” Advances in neural information processing systems 16 (2004): 449-456.

[3] (1,2,3)

Halko, Nathan, Per-Gunnar Martinsson, and Joel A. Tropp. “Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions.” SIAM review 53.2 (2011): 217-288.

[4]

Martinsson, Per-Gunnar, Vladimir Rokhlin, and Mark Tygert. “A randomized algorithm for the decomposition of matrices.” Applied and Computational Harmonic Analysis 30.1 (2011): 47-68.

示例

>>> from sklearn.datasets import load_digits
>>> from sklearn.decomposition import KernelPCA
>>> X, _ = load_digits(return_X_y=True)
>>> transformer = KernelPCA(n_components=7, kernel='linear')
>>> X_transformed = transformer.fit_transform(X)
>>> X_transformed.shape
(1797, 7)

fit(X, y=None)[source]#

根据 X 中的数据拟合模型。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练向量，其中 n_samples 是样本数，n_features 是特征数。
y被忽略: 未使用，按照惯例为保持 API 一致性而存在。

返回:

selfobject: 返回实例本身。

fit_transform(X, y=None, **params)[source]#

从 X 中的数据拟合模型并转换 X。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练向量，其中 n_samples 是样本数，n_features 是特征数。
y被忽略: 未使用，按照惯例为保持 API 一致性而存在。
**paramskwargs: 传递给 fit_transform 实例的参数（关键字参数）和值。

返回:

X_newndarray of shape (n_samples, n_components): 转换后的值。

get_feature_names_out(input_features=None)[source]#

获取转换的输出特征名称。

The feature names out will prefixed by the lowercased class name. For example, if the transformer outputs 3 features, then the feature names out are: ["class_name0", "class_name1", "class_name2"].

参数:

input_featuresarray-like of str or None, default=None: Only used to validate feature names with the names seen in fit.

返回:

feature_names_outstr 对象的 ndarray: 转换后的特征名称。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅用户指南，了解路由机制如何工作。

返回:

routingMetadataRequest: 封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, default=True: 如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict: 参数名称映射到其值。

inverse_transform(X)[source]#

将 X 转换回原始空间。

inverse_transform 使用学习到的原像来近似逆变换。原像通过对原始数据在低维表示向量上的核岭回归来学习。

注意

当用户想要计算“linear”核函数的逆变换时，建议使用 PCA 代替。KernelPCA 的 inverse_transform 与 PCA 不同，在使用“linear”核函数时，由于使用了中心化核函数，它不会重建数据的均值。

参数:

X{array-like, sparse matrix} of shape (n_samples, n_components): 训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回:

X_original形状为 (n_samples, n_features) 的 ndarray: 原始数据，其中 n_samples 是样本数量，n_features 是特征数量。

References

Bakır, Gökhan H., Jason Weston, and Bernhard Schölkopf. “Learning to find pre-images.” Advances in neural information processing systems 16 (2004): 449-456.

set_output(*, transform=None)[source]#

设置输出容器。

有关如何使用 API 的示例，请参阅引入 set_output API。

参数:

transform{“default”, “pandas”, “polars”}, default=None

配置 transform 和 fit_transform 的输出。

"default": 转换器的默认输出格式
"pandas": DataFrame 输出
"polars": Polars 输出
None: 转换配置保持不变

1.4 版本新增: 添加了 "polars" 选项。

返回:

selfestimator instance: 估计器实例。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计器参数。

返回:

selfestimator instance: 估计器实例。

transform(X)[source]#

转换 X。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}: 训练向量，其中 n_samples 是样本数，n_features 是特征数。

返回:

X_newndarray of shape (n_samples, n_components): X 在第一主成分上的投影，其中 n_samples 是样本数量，n_components 是分量数量。

Gallery examples#

使用核 PCA 进行图像去噪

核 PCA

KernelPCA#

Gallery examples#

本页