TF-IDF 变换器#

class sklearn.feature_extraction.text.TfidfTransformer(*, norm='l2', use_idf=True, smooth_idf=True, sublinear_tf=False)[source]#

将计数矩阵转换为标准化的tf或tf-idf表示。

Tf表示词频，而tf-idf表示词频乘以逆文档频率。这是一种常见的文本加权方案，在信息检索和文档分类中都有很好的应用。

使用tf-idf而不是在给定文档中某个词元的原始出现频率的原因是，为了缩小在给定语料库中非常频繁出现的词元的影响，因为从经验来看，这些词元的信息量不如在训练语料库的一小部分中出现的特征。

用于计算文档集内文档 d 中术语 t 的 tf-idf 值的公式为：tf-idf(t, d) = tf(t, d) * idf(t)，其中 idf 的计算公式为：idf(t) = log [ n / df(t) ] + 1（如果 smooth_idf=False），其中 n 是文档集中的文档总数，df(t) 是 t 的文档频率；文档频率是指文档集中包含术语 t 的文档数量。在上述等式中添加“1”的作用是，idf 为零的术语（即在训练集中所有文档中都出现的术语）不会被完全忽略。（请注意，上述 idf 公式与标准教科书中将 idf 定义为 idf(t) = log [ n / (df(t) + 1) ] 的表示法不同）。

如果 smooth_idf=True（默认值），则将常数“1”添加到 idf 的分子和分母，就像看到一个额外的文档，其中包含集合中每个术语恰好一次一样，这可以防止出现零除：idf(t) = log [ (1 + n) / (1 + df(t)) ] + 1。

此外，用于计算 tf 和 idf 的公式取决于与信息检索 (IR) 中使用的 SMART 表示法相对应的参数设置，如下所示：

默认情况下，Tf 为“n”（自然），当 sublinear_tf=True 时为“l”（对数）。当给出 use_idf 时，Idf 为“t”，否则为“n”（无）。当 norm='l2' 时，归一化为“c”（余弦），当 norm=None 时为“n”（无）。

更多信息请阅读 用户指南。

参数：
norm{'l1', 'l2'} 或 None，默认为 'l2'

每一输出行都将具有单位范数，具体如下：

  • ‘l2’：向量元素的平方和为 1。当应用 l2 范数时，两个向量之间的余弦相似度是它们的点积。

  • ‘l1’：向量元素的绝对值之和为 1。参见 normalize。

  • None：不进行归一化。

use_idf布尔值，默认为 True

启用逆文档频率重新加权。如果为 False，则 idf(t) = 1。

smooth_idf布尔值，默认为 True

通过将 1 添加到文档频率来平滑 idf 权重，就像看到一个额外的文档，其中包含集合中每个术语恰好一次一样。这可以防止出现零除。

sublinear_tf布尔值，默认为 False

应用次线性 tf 缩放，即用 1 + log(tf) 替换 tf。

属性：
idf_形状为 (n_features) 的数组

逆文档频率 (IDF) 向量；仅当 use_idf 为 True 时才定义。

在 0.20 版本中添加。

n_features_in_整数

在 拟合期间看到的特征数量。

在 1.0 版本中添加。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 拟合期间看到的特征名称。仅当 X 具有全是字符串的特征名称时才定义。

在 1.0 版本中添加。

另请参见

CountVectorizer

将文本转换为 n-gram 计数的稀疏矩阵。

TfidfVectorizer

将原始文档集合转换为 TF-IDF 特征矩阵。

HashingVectorizer

将文本文档集合转换为标记出现次数矩阵。

参考文献

[Yates2011]

R. Baeza-Yates 和 B. Ribeiro-Neto (2011)。现代信息检索。Addison Wesley，第 68-74 页。

[MRS2008]

C.D. Manning、P. Raghavan 和 H. Schütze (2008)。信息检索导论。剑桥大学出版社，第 118-120 页。

示例

>>> from sklearn.feature_extraction.text import TfidfTransformer
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> from sklearn.pipeline import Pipeline
>>> corpus = ['this is the first document',
...           'this document is the second document',
...           'and this is the third one',
...           'is this the first document']
>>> vocabulary = ['this', 'document', 'first', 'is', 'second', 'the',
...               'and', 'one']
>>> pipe = Pipeline([('count', CountVectorizer(vocabulary=vocabulary)),
...                  ('tfid', TfidfTransformer())]).fit(corpus)
>>> pipe['count'].transform(corpus).toarray()
array([[1, 1, 1, 1, 0, 1, 0, 0],
       [1, 2, 0, 1, 1, 1, 0, 0],
       [1, 0, 0, 1, 0, 1, 1, 1],
       [1, 1, 1, 1, 0, 1, 0, 0]])
>>> pipe['tfid'].idf_
array([1.        , 1.22314355, 1.51082562, 1.        , 1.91629073,
       1.        , 1.91629073, 1.91629073])
>>> pipe.transform(corpus).shape
(4, 8)
fit(X, y=None)[source]#

学习 idf 向量（全局术语权重）。

参数：
X形状为 (n_samples, n_features) 的稀疏矩阵

术语/标记计数矩阵。

yNone

此参数不需要计算 tf-idf。

返回值：
self对象

已拟合的转换器。

fit_transform(X, y=None, **fit_params)[source]#

拟合数据，然后转换它。

使用可选参数 fit_params 将转换器拟合到 X 和 y，并返回 X 的转换版本。

参数：
X形状为 (n_samples, n_features) 的类数组

输入样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组，默认为 None

目标值（无监督转换则为 None）。

**fit_params字典

其他拟合参数。

返回值：
X_new形状为 (n_samples, n_features_new) 的 ndarray 数组

转换后的数组。

get_feature_names_out(input_features=None)[source]#

获取转换的输出特征名称。

参数：
input_features字符串类数组或 None，默认为 None

输入特征。

  • 如果 input_features 为 None，则使用 feature_names_in_ 作为输入特征名称。如果 feature_names_in_ 未定义，则生成以下输入特征名称：["x0", "x1", ..., "x(n_features_in_ - 1)"]。

  • 如果 input_features 是类数组，则如果 feature_names_in_ 已定义，则 input_features 必须与 feature_names_in_ 匹配。

返回值：
feature_names_outstr 对象的ndarray

与输入特征相同。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看 用户指南，了解路由机制的工作原理。

返回值：
routingMetadataRequest

一个 MetadataRequest 封装了路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：
deepbool，默认为 True

如果为 True，则将返回此估计器和包含的作为估计器的子对象的参数。

返回值：
paramsdict

参数名称与其值的映射。

set_output(*, transform=None)[source]#

设置输出容器。

查看 Introducing the set_output API，了解如何使用此 API 的示例。

参数：
transform{"default", "pandas", "polars"}，默认为 None

配置 transform 和 fit_transform 的输出。

  • "default"：转换器的默认输出格式

  • "pandas"：DataFrame 输出

  • "polars"：Polars 输出

  • None：转换配置保持不变

1.4 版新增： 添加了 "polars" 选项。

返回值：
self估计器实例

估计器实例。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：
**paramsdict

估计器参数。

返回值：
self估计器实例

估计器实例。

set_transform_request(*, copy: bool | None | str = '$UNCHANGED$') → TfidfTransformer[source]#

请求传递给 transform 方法的元数据。

请注意，只有在 enable_metadata_routing=True 时，此方法才相关（请参阅 sklearn.set_config）。请查看 用户指南，了解路由机制的工作原理。

每个参数的选项为

  • True：请求元数据，如果提供则传递给 transform。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给 transform。

  • None：不请求元数据，如果用户提供元数据，则元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有请求。这允许您更改某些参数的请求，而无需更改其他参数的请求。

1.3 版新增。

注意

仅当将此估计器用作元估计器的子估计器（例如，在 Pipeline 中使用）时，此方法才相关。否则，它无效。

参数：
copystr, True, False 或 None，默认值=sklearn.utils.metadata_routing.UNCHANGED

transform 方法中 copy 参数的元数据路由。

返回值：
self对象

更新后的对象。

transform(X, copy=True)[source]#

将计数矩阵转换为 tf 或 tf-idf 表示。

参数：
X(n_samples, n_features) 形状的稀疏矩阵

术语/标记计数矩阵。

copy布尔值，默认值为 True

是否复制 X 并对副本进行操作，或执行就地操作。copy=False 仅对 CSR 稀疏矩阵有效。

返回值：
vectors(n_samples, n_features) 形状的稀疏矩阵

Tf-idf 加权的文档-词项矩阵。