潜在狄利克雷分配#

class sklearn.decomposition.LatentDirichletAllocation(n_components=10, *, doc_topic_prior=None, topic_word_prior=None, learning_method='batch', learning_decay=0.7, learning_offset=10.0, max_iter=10, batch_size=128, evaluate_every=-1, total_samples=1000000.0, perp_tol=0.1, mean_change_tol=0.001, max_doc_update_iter=100, n_jobs=None, verbose=0, random_state=None)[source]#

采用在线变分贝叶斯算法的潜在狄利克雷分配。

该实现基于 [1] 和 [2]。

在 0.17 版本中添加。

在 用户指南 中了解更多信息。

参数：
n_componentsint，默认值=10

主题数量。

0.19 版本中的变更： n_topics 已重命名为 n_components

doc_topic_priorfloat，默认值=None

文档主题分布 theta 的先验。如果值为 None，则默认为 1 / n_components。在 [1] 中，这被称为 alpha。

topic_word_priorfloat，默认值=None

主题词分布 beta 的先验。如果值为 None，则默认为 1 / n_components。在 [1] 中，这被称为 eta。

learning_method{'batch', 'online'}，默认值='batch'

用于更新 _component 的方法。仅在 fit 方法中使用。通常，如果数据量很大，在线更新将比批量更新快得多。

有效选项

  • ‘batch’：批量变分贝叶斯方法。在每次 EM 更新中使用所有训练数据。旧的 components_ 将在每次迭代中被覆盖。

  • ‘online’：在线变分贝叶斯方法。在每次 EM 更新中，使用训练数据的迷你批次来增量更新 components_ 变量。学习率由 learning_decay 和 learning_offset 参数控制。

0.20 版本中的变更： 默认学习方法现在是 "batch"。

learning_decayfloat，默认值=0.7

它是一个控制在线学习方法中学习率的参数。该值应设置为 (0.5, 1.0] 之间以保证渐近收敛。当值为 0.0 且 batch_size 为 n_samples 时，更新方法与批量学习相同。在文献中，这被称为 kappa。

learning_offsetfloat，默认值=10.0

一个（正）参数，用于降低在线学习中早期迭代的权重。它应该大于 1.0。在文献中，这被称为 tau_0。

max_iterint，默认值=10

对训练数据（又称 epochs）进行的最大迭代次数。它只影响 fit 方法的行为，而不影响 partial_fit 方法。

batch_sizeint，默认值=128

每次 EM 迭代中使用的文档数量。仅在线学习中使用。

evaluate_everyint，默认值=-1

评估困惑度的频率。仅在 fit 方法中使用。将其设置为 0 或负数表示根本不评估训练过程中的困惑度。评估困惑度可以帮助您检查训练过程中的收敛性，但它也会增加总训练时间。在每次迭代中评估困惑度可能会使训练时间增加多达两倍。

total_samplesint，默认值=1e6

文档总数。仅在 partial_fit 方法中使用。

perp_tolfloat，默认值=1e-1

困惑度容差。仅当 evaluate_every 大于 0 时使用。

mean_change_tolfloat，默认值=1e-3

E 步中更新文档主题分布的停止容差。

max_doc_update_iterint，默认值=100

E 步中更新文档主题分布的最大迭代次数。

n_jobsint，默认值=None

在 E 步中使用的作业数。None 表示 1，除非在 joblib.parallel_backend 上下文中。-1 表示使用所有处理器。有关更多详细信息，请参见 词汇表。

verboseint，默认值=0

详细程度。

random_stateint，RandomState 实例或 None，默认值=None

传递一个整数以在多次函数调用中获得可重复的结果。请参见 词汇表。

属性：
components_形状为 (n_components, n_features) 的 ndarray

主题词分布的变分参数。由于主题词分布的完整条件是一个狄利克雷分布，components_[i, j] 可以被视为表示将单词 j 分配给主题 i 的次数的伪计数。它也可以被视为归一化后每个主题的单词分布：model.components_ / model.components_.sum(axis=1)[:, np.newaxis]。

exp_dirichlet_component_形状为 (n_components, n_features) 的 ndarray

对数主题词分布期望的指数值。在文献中，这是 exp(E[log(beta)])。

n_batch_iter_int

EM 步骤的迭代次数。

n_features_in_int

在 拟合期间看到的特征数。

在 0.24 版本中添加。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在拟合过程中观察到的特征名称。仅当X的特征名称全部为字符串时才定义。

版本 1.0 中新增。

n_iter_int

对数据集的迭代次数。

bound_float

训练集上的最终困惑度得分。

doc_topic_prior_float

文档主题分布theta的先验概率。如果值为 None，则为1 / n_components。

random_state_RandomState 实例

从种子、随机数生成器或np.random生成的 RandomState 实例。

topic_word_prior_float

主题词分布beta的先验概率。如果值为 None，则为1 / n_components。

另请参阅

sklearn.discriminant_analysis.LinearDiscriminantAnalysis

具有线性决策边界的分类器，通过将类条件密度拟合到数据并使用贝叶斯规则生成。

参考文献

[1] (1,2,3)

“在线学习潜在狄利克雷分配”，Matthew D. Hoffman、David M. Blei、Francis Bach，2010 blei-lab/onlineldavb

[2]

“随机变分推断”，Matthew D. Hoffman、David M. Blei、Chong Wang、John Paisley，2013

示例

>>> from sklearn.decomposition import LatentDirichletAllocation
>>> from sklearn.datasets import make_multilabel_classification
>>> # This produces a feature matrix of token counts, similar to what
>>> # CountVectorizer would produce on text.
>>> X, _ = make_multilabel_classification(random_state=0)
>>> lda = LatentDirichletAllocation(n_components=5,
...     random_state=0)
>>> lda.fit(X)
LatentDirichletAllocation(...)
>>> # get topics for some given samples:
>>> lda.transform(X[-2:])
array([[0.00360392, 0.25499205, 0.0036211 , 0.64236448, 0.09541846],
       [0.15297572, 0.00362644, 0.44412786, 0.39568399, 0.003586  ]])
fit(X, y=None)[source]#

使用变分贝叶斯方法学习数据 X 的模型。

当learning_method为“online”时，使用小批量更新。否则，使用批量更新。

参数：
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

文档词矩阵。

y忽略

未使用，出于 API 一致性约定而在此处显示。

返回：
self

已拟合的估计器。

fit_transform(X, y=None, *, normalize=True)[source]#

拟合数据，然后转换它。

将转换器拟合到X和y，并返回X的转换版本。

参数：
X形状为 (n_samples, n_features) 的类数组

输入样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组，默认为 None

目标值（无监督转换则为 None）。

normalizebool，默认为 True

是否在transform中规范化文档主题分布。

返回：
X_new形状为 (n_samples, n_features_new) 的 ndarray 数组

转换后的数组。

get_feature_names_out(input_features=None)[source]#

获取转换的输出特征名称。

输出的特征名称将以小写的类名作为前缀。例如，如果转换器输出 3 个特征，则输出的特征名称为：["class_name0", "class_name1", "class_name2"]。

参数：
input_featuresstr 的类数组或 None，默认为 None

仅用于使用在fit中看到的名称验证特征名称。

返回：
feature_names_outstr 对象的 ndarray

转换后的特征名称。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回：
routingMetadataRequest

一个MetadataRequest，封装了路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：
deepbool，默认为 True

如果为 True，则将返回此估计器和包含的子对象（它们是估计器）的参数。

返回：
paramsdict

参数名称与其值的映射。

partial_fit(X, y=None)[source]#

使用小批量更新的在线 VB。

参数：
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

文档词矩阵。

y忽略

未使用，出于 API 一致性约定而在此处显示。

返回：
self

部分拟合的估计器。

perplexity(X, sub_sampling=False)[source]#

计算数据 X 的近似困惑度。

困惑度定义为 exp(-1. * 每词对数似然)

版本 0.19 中已更改：doc_topic_distr 参数已被弃用并被忽略，因为用户不再可以访问未归一化的分布

参数：
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

文档词矩阵。

sub_samplingbool

是否进行子采样。

返回：
score浮点数

困惑度得分。

score(X, y=None)[源代码]#

计算近似对数似然作为得分。

参数：
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

文档词矩阵。

y忽略

未使用，出于 API 一致性约定而在此处显示。

返回：
score浮点数

使用近似界限作为得分。

set_output(*, transform=None)[源代码]#

设置输出容器。

参见 set_output API 介绍，了解如何使用该 API 的示例。

参数：
transform{"default", "pandas", "polars"}, 默认值=None

配置transform和fit_transform的输出。

  • "default": 变换器的默认输出格式

  • "pandas": DataFrame 输出

  • "polars": Polars 输出

  • None: 变换配置保持不变

1.4 版本新增: 添加了"polars"选项。

返回：
self估计器实例

估计器实例。

set_params(**params)[源代码]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：
**params字典

估计器参数。

返回：
self估计器实例

估计器实例。

set_transform_request(*, normalize: bool | None | str = '$UNCHANGED$') → LatentDirichletAllocation[源代码]#

请求传递给transform方法的元数据。

请注意，只有在enable_metadata_routing=True时（参见 sklearn.set_config）此方法才相关。请参见 用户指南，了解路由机制的工作原理。

每个参数的选项为

  • True: 请求元数据，如果提供则传递给transform。如果未提供元数据，则忽略请求。

  • False: 不请求元数据，元估计器不会将其传递给transform。

  • None: 不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str: 元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而不会更改其他参数的请求。

1.3 版本新增。

注意

仅当将此估计器用作元估计器的子估计器时（例如，在 Pipeline 中使用）此方法才相关。否则，它无效。

参数：
normalizestr，True，False 或 None，默认值=sklearn.utils.metadata_routing.UNCHANGED

transform中normalize参数的元数据路由。

返回：
self对象

更新后的对象。

transform(X, *, normalize=True)[源代码]#

根据拟合的模型转换数据 X。

0.18 版本变更: doc_topic_distr 现在已标准化。

参数：
X形状为 (n_samples, n_features) 的 {类数组、稀疏矩阵}

文档词矩阵。

normalizebool，默认为 True

是否标准化文档主题分布。

返回：
doc_topic_distr形状为 (n_samples, n_components) 的 ndarray

X 的文档主题分布。