PCA#

class sklearn.decomposition.PCA(n_components=None, *, copy=True, whiten=False, svd_solver='auto', tol=0.0, iterated_power='auto', n_oversamples=10, power_iteration_normalizer='auto', random_state=None)[source]#

主成分分析（PCA）。

使用数据的奇异值分解将其投影到低维空间，从而实现线性降维。在应用奇异值分解之前，输入数据会针对每个特征进行中心化处理，但不会进行缩放。

它使用完整的奇异值分解的 LAPACK 实现，或者根据输入数据的形状和要提取的组件数量，使用 Halko 等人 2009 年提出的随机截断奇异值分解方法。

对于稀疏输入，可以使用截断奇异值分解的 ARPACK 实现（即通过 scipy.sparse.linalg.svds）。另外，也可以考虑 TruncatedSVD，其数据未中心化。

请注意，此类别仅支持某些求解器（如“arpack”和“covariance_eigh”）的稀疏输入。对于稀疏数据，请参阅 TruncatedSVD 以获取替代方案。

有关使用示例，请参阅鸢尾花数据集上的主成分分析 (PCA)

在用户指南中阅读更多内容。

参数:

n_componentsint, float 或 'mle', 默认值=None

要保留的组件数量。如果未设置 n_components，则保留所有组件。

n_components == min(n_samples, n_features)

如果 n_components == 'mle' 且 svd_solver == 'full'，则使用 Minka 的 MLE 估计维度。n_components == 'mle' 的使用会将 svd_solver == 'auto' 解释为 svd_solver == 'full'。

如果 0 < n_components < 1' 且 svd_solver == 'full'，则选择组件数量，使得需要解释的方差量大于由 n_components 指定的百分比。

如果 svd_solver == 'arpack'，则组件数量必须严格小于 n_features 和 n_samples 中的最小值。

因此，None 情况导致

n_components == min(n_samples, n_features) - 1

copybool, 默认值=True

如果为 False，则传递给 fit 的数据将被覆盖，运行 fit(X).transform(X) 将不会产生预期结果，请改用 fit_transform(X)。

whitenbool, 默认值=False

当为 True（默认为 False）时，components_ 向量将乘以 n_samples 的平方根，然后除以奇异值，以确保输出不相关且具有单位分量方差。

白化会从转换后的信号中去除一些信息（组件的相对方差尺度），但有时可以通过使数据符合某些硬编码的假设来提高下游估计器的预测精度。

svd_solver{'auto', 'full', 'covariance_eigh', 'arpack', 'randomized'}, 默认值='auto'

“auto”: 求解器由默认的“auto”策略选择，该策略基于 X.shape 和 n_components：如果输入数据具有少于 1000 个特征且样本数量是特征数量的 10 倍以上，则使用“covariance_eigh”求解器。否则，如果输入数据大于 500x500 且要提取的组件数量低于数据最小维度的 80%，则选择更高效的“randomized”方法。否则，计算精确的“full”SVD，并可选地进行截断。
“full”: 通过 scipy.linalg.svd 调用标准 LAPACK 求解器，运行精确的完整 SVD，并通过后处理选择组件。
“covariance_eigh”: 预先计算协方差矩阵（在中心化数据上），通常使用 LAPACK 对协方差矩阵运行经典的特征值分解，并通过后处理选择组件。此求解器对于 n_samples >> n_features 且 n_features 较小的情况非常高效。但是，对于较大的 n_features 则不可行（需要大量的内存来具体化协方差矩阵）。另请注意，与“full”求解器相比，此求解器实际上使条件数加倍，因此数值稳定性较差（例如，对于具有大范围奇异值的输入数据）。
“arpack”: 通过 scipy.sparse.linalg.svds 调用 ARPACK 求解器，运行截断到 n_components 的 SVD。它要求严格 0 < n_components < min(X.shape)。
“randomized”: 根据 Halko 等人的方法运行随机 SVD。

在 0.18.0 版本中新增。

1.5 版本中更改: 新增了“covariance_eigh”求解器。

tolfloat, 默认值=0.0

svd_solver == 'arpack' 计算的奇异值容差。必须在 [0.0, infinity) 范围内。

在 0.18.0 版本中新增。

iterated_powerint 或 'auto', 默认值='auto'

svd_solver == 'randomized' 计算的幂方法迭代次数。必须在 [0, infinity) 范围内。

在 0.18.0 版本中新增。

n_oversamplesint, 默认值=10

此参数仅在 svd_solver="randomized" 时相关。它对应于用于对 X 范围进行采样的额外随机向量数量，以确保适当的条件。有关更多详细信息，请参阅 randomized_svd。

在 1.1 版本中新增。

power_iteration_normalizer{'auto', 'QR', 'LU', 'none'}, 默认值='auto'

用于随机 SVD 求解器的幂迭代归一化器。ARPACK 未使用。有关更多详细信息，请参阅 randomized_svd。

在 1.1 版本中新增。

random_stateint, RandomState 实例或 None, 默认值=None

当使用“arpack”或“randomized”求解器时使用。传递一个整数可在多次函数调用中获得可重现的结果。参见词汇表。

在 0.18.0 版本中新增。

属性:

components_形状为 (n_components, n_features) 的 ndarray

特征空间中的主轴，表示数据中最大方差的方向。等效地，中心化输入数据的右奇异向量，平行于其特征向量。组件按递减的 explained_variance_ 排序。

explained_variance_形状为 (n_components,) 的 ndarray

每个选定组件解释的方差量。方差估计使用 n_samples - 1 自由度。

等于 X 协方差矩阵的 n_components 个最大特征值。

在 0.18 版本中新增。

explained_variance_ratio_形状为 (n_components,) 的 ndarray

每个选定组件解释的方差百分比。

如果未设置 n_components，则存储所有组件，并且比率之和等于 1.0。

singular_values_形状为 (n_components,) 的 ndarray

每个选定组件对应的奇异值。奇异值等于低维空间中 n_components 个变量的 2-范数。

在 0.19 版本中新增。

mean_形状为 (n_features,) 的 ndarray

每个特征的经验均值，从训练集中估计。

等于 X.mean(axis=0)。

n_components_int

估计的组件数量。当 n_components 设置为“mle”或 0 到 1 之间的数字（svd_solver == 'full'）时，此数字从输入数据中估计。否则，它等于参数 n_components，如果 n_components 为 None，则等于 n_features 和 n_samples 中较小的值。

n_samples_int

训练数据中的样本数量。

noise_variance_float

根据 Tipping 和 Bishop 1999 年的概率 PCA 模型估计的噪声协方差。参见 C. Bishop 的“模式识别与机器学习”，12.2.1 节，第 574 页，或 http://www.miketipping.com/papers/met-mppca.pdf。这是计算估计数据协方差和评分样本所必需的。

等于 X 的协方差矩阵中 (min(n_features, n_samples) - n_components) 个最小特征值的平均值。

n_features_in_int

在拟合期间看到的特征数量。

在 0.24 版本中新增。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合期间看到的特征名称。仅当 X 的所有特征名称均为字符串时才定义。

在 1.0 版本中新增。

另请参阅

KernelPCA: 核主成分分析。
SparsePCA: 稀疏主成分分析。
TruncatedSVD: 使用截断 SVD 进行降维。
IncrementalPCA: 增量主成分分析。

参考资料

对于 n_components == 'mle'，此类别使用以下方法：Minka, T. P.. “PCA 的维度自动选择”. In NIPS, pp. 598-604

通过 score 和 score_samples 方法实现了 Tipping 和 Bishop 1999 年提出的概率 PCA 模型：Tipping, M. E., and Bishop, C. M. (1999). “概率主成分分析”. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 61(3), 611-622.。

对于 svd_solver == 'arpack'，请参阅 scipy.sparse.linalg.svds。

对于 svd_solver == 'randomized'，请参阅：Halko, N., Martinsson, P. G., and Tropp, J. A. (2011). “用随机性寻找结构：构建近似矩阵分解的概率算法”. SIAM review, 53(2), 217-288. 和 Martinsson, P. G., Rokhlin, V., and Tygert, M. (2011). “矩阵分解的随机算法”. Applied and Computational Harmonic Analysis, 30(1), 47-68.

示例

>>> import numpy as np
>>> from sklearn.decomposition import PCA
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> pca = PCA(n_components=2)
>>> pca.fit(X)
PCA(n_components=2)
>>> print(pca.explained_variance_ratio_)
[0.9924 0.0075]
>>> print(pca.singular_values_)
[6.30061 0.54980]

>>> pca = PCA(n_components=2, svd_solver='full')
>>> pca.fit(X)
PCA(n_components=2, svd_solver='full')
>>> print(pca.explained_variance_ratio_)
[0.9924 0.00755]
>>> print(pca.singular_values_)
[6.30061 0.54980]

>>> pca = PCA(n_components=1, svd_solver='arpack')
>>> pca.fit(X)
PCA(n_components=1, svd_solver='arpack')
>>> print(pca.explained_variance_ratio_)
[0.99244]
>>> print(pca.singular_values_)
[6.30061]