独热编码器#
- class sklearn.preprocessing.OneHotEncoder(*, categories='auto', drop=None, sparse_output=True, dtype=<class 'numpy.float64'>, handle_unknown='error', min_frequency=None, max_categories=None, feature_name_combiner='concat')[source]#
将分类特征编码为独热数值数组。
此转换器的输入应为整数或字符串的数组,表示分类(离散)特征所取的值。这些特征使用独热(也称为“one-of-K”或“虚拟”)编码方案进行编码。这会为每个类别创建一个二进制列,并返回稀疏矩阵或密集数组(取决于
sparse_output
参数)。默认情况下,编码器根据每个特征中的唯一值来推导出类别。或者,您也可以手动指定
categories
。此编码对于将分类数据馈送到许多 scikit-learn 估计器(特别是具有标准核的线性模型和 SVM)是必需的。
注意:y 标签的独热编码应该使用 LabelBinarizer 代替。
在用户指南中阅读更多信息。有关不同编码器的比较,请参阅:目标编码器与其他编码器的比较。
- 参数:
- categories‘auto’ 或数组列表,默认为 ‘auto’
每个特征的类别(唯一值)
‘auto’:从训练数据中自动确定类别。
list:
categories[i]
包含第 i 列中预期的类别。传递的类别不应在一个特征内混合字符串和数值,并且在数值情况下应排序。
使用的类别可以在
categories_
属性中找到。0.20 版本中添加。
- drop {‘first’, ‘if_binary’} 或形状为 (n_features,) 的数组,默认为 None
指定用于删除每个特征的一个类别的使用方法。这在完美共线特征导致问题的情况(例如,将结果数据馈送到未正则化的线性回归模型时)非常有用。
但是,删除一个类别会破坏原始表示的对称性,因此可能会在后续模型中引入偏差,例如对于惩罚线性分类或回归模型。
None:保留所有特征(默认值)。
‘first’:删除每个特征中的第一个类别。如果只有一个类别,则将完全删除该特征。
‘if_binary’:删除每个具有两个类别的特征中的第一个类别。具有 1 个或多于 2 个类别的特征保持不变。
array:
drop[i]
是应删除的特征X[:, i]
中的类别。
当配置
max_categories
或min_frequency
来分组不频繁的类别时,分组后会处理删除行为。0.21 版本中添加:参数
drop
在 0.21 版本中添加。0.23 版本中更改:选项
drop='if_binary'
在 0.23 版本中添加。1.1 版本中更改:支持删除不频繁的类别。
- sparse_output布尔值,默认为 True
当为
True
时,它返回scipy.sparse.csr_matrix
,即“压缩稀疏行”(CSR)格式的稀疏矩阵。1.2 版本中添加:
sparse
重命名为sparse_output
- dtype数字类型,默认为 np.float64
所需的输出 dtype。
- handle_unknown {‘error’, ‘ignore’, ‘infrequent_if_exist’, ‘warn’},默认为 ‘error’
指定在
transform
期间处理未知类别的方式。‘error’:如果在转换期间存在未知类别,则引发错误。
‘ignore’:当在转换期间遇到未知类别时,此特征的结果独热编码列将全部为零。在逆转换中,未知类别将表示为 None。
‘infrequent_if_exist’:当在转换过程中遇到未知类别时,此特征的最终 one-hot 编码列将映射到不频繁类别(如果存在)。不频繁类别将映射到编码中的最后位置。在逆转换过程中,如果存在“
'infrequent'
”类别,则未知类别将映射到表示为'infrequent'
的类别。如果不存在'infrequent'
类别,则transform
和inverse_transform
将像handle_unknown='ignore'
一样处理未知类别。不频繁类别的存在基于min_frequency
和max_categories
。更多信息请阅读用户指南。‘warn’:当在转换过程中遇到未知类别时,会发出警告,然后按照
handle_unknown="infrequent_if_exist"
所述方式进行编码。
1.1 版本变更: 添加了
'infrequent_if_exist'
以自动处理未知类别和不频繁类别。1.6 版本新增: 1.6 版本中添加了
"warn"
选项。- min_frequencyint 或 float,默认值:None
指定一个最小频率,低于此频率的类别将被认为是不频繁类别。
如果为
int
,则基数较小的类别将被视为不频繁类别。如果为
float
,则基数小于min_frequency * n_samples
的类别将被视为不频繁类别。
1.1 版本新增: 更多信息请阅读用户指南。
- max_categoriesint,默认值:None
在考虑不频繁类别时,指定每个输入特征的输出特征数量的上限。如果存在不频繁类别,则
max_categories
包括表示不频繁类别的类别以及频繁类别。如果为None
,则对输出特征的数量没有限制。1.1 版本新增: 更多信息请阅读用户指南。
- feature_name_combiner“concat” 或可调用对象,默认值:“concat”
具有签名
def callable(input_feature, category)
的可调用对象,返回一个字符串。这用于创建get_feature_names_out
返回的特征名称。"concat"
使用feature + "_" + str(category)
将编码后的特征名称和类别连接起来。例如,具有值 1、6、7 的特征 X 将创建特征名称X_1, X_6, X_7
。1.3 版本新增。
- 属性:
- categories_数组列表
在拟合过程中确定的每个特征的类别(按照 X 中特征的顺序,并与
transform
的输出相对应)。这包括在drop
中指定的类别(如果有)。- drop_idx_形状为 (n_features,) 的数组
drop_idx_[i]
是categories_[i]
中要为每个特征删除的类别的索引。drop_idx_[i] = None
如果不需要从索引为i
的特征中删除任何类别,例如,当drop='if_binary'
且特征不是二元特征时。drop_idx_ = None
如果所有转换后的特征都将保留。
如果通过将
min_frequency
或max_categories
设置为非默认值来启用不频繁类别,并且drop_idx[i]
对应于不频繁类别,则整个不频繁类别将被删除。0.23 版本变更: 增加了包含
None
值的可能性。infrequent_categories_
ndarray 列表每个特征的不频繁类别。
- n_features_in_int
在 拟合 过程中看到的特征数量。
1.0 版本新增。
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在 拟合 过程中看到的特征名称。仅当
X
具有全是字符串的特征名称时才定义。1.0 版本新增。
- feature_name_combiner可调用对象或 None
具有签名
def callable(input_feature, category)
的可调用对象,返回一个字符串。这用于创建get_feature_names_out
返回的特征名称。1.3 版本新增。
另请参见
序数编码器
对分类特征执行序数(整数)编码。
目标编码器
使用目标对分类特征进行编码。
sklearn.feature_extraction.DictVectorizer
对字典项执行 one-hot 编码(也处理字符串值特征)。
sklearn.feature_extraction.FeatureHasher
对字典项或字符串执行近似的 one-hot 编码。
标签二值化器
以一对多方式二值化标签。
多标签二值化器
在可迭代的可迭代对象和多标签格式之间进行转换,例如,表示类标签存在的 (样本 x 类别) 二元矩阵。
示例
给定一个具有两个特征的数据集,我们让编码器找到每个特征的唯一值,并将数据转换为二元的 one-hot 编码。
>>> from sklearn.preprocessing import OneHotEncoder
可以丢弃在
fit
过程中未看到的类别。>>> enc = OneHotEncoder(handle_unknown='ignore') >>> X = [['Male', 1], ['Female', 3], ['Female', 2]] >>> enc.fit(X) OneHotEncoder(handle_unknown='ignore') >>> enc.categories_ [array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)] >>> enc.transform([['Female', 1], ['Male', 4]]).toarray() array([[1., 0., 1., 0., 0.], [0., 1., 0., 0., 0.]]) >>> enc.inverse_transform([[0, 1, 1, 0, 0], [0, 0, 0, 1, 0]]) array([['Male', 1], [None, 2]], dtype=object) >>> enc.get_feature_names_out(['gender', 'group']) array(['gender_Female', 'gender_Male', 'group_1', 'group_2', 'group_3'], ...)
可以始终删除每个特征的第一列。
>>> drop_enc = OneHotEncoder(drop='first').fit(X) >>> drop_enc.categories_ [array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)] >>> drop_enc.transform([['Female', 1], ['Male', 2]]).toarray() array([[0., 0., 0.], [1., 1., 0.]])
或者只删除只有 2 个类别的特征的一列。
>>> drop_binary_enc = OneHotEncoder(drop='if_binary').fit(X) >>> drop_binary_enc.transform([['Female', 1], ['Male', 2]]).toarray() array([[0., 1., 0., 0.], [1., 0., 1., 0.]])
可以更改创建特征名称的方式。
>>> def custom_combiner(feature, category): ... return str(feature) + "_" + type(category).__name__ + "_" + str(category) >>> custom_fnames_enc = OneHotEncoder(feature_name_combiner=custom_combiner).fit(X) >>> custom_fnames_enc.get_feature_names_out() array(['x0_str_Female', 'x0_str_Male', 'x1_int_1', 'x1_int_2', 'x1_int_3'], dtype=object)
通过设置
max_categories
或min_frequency
来启用不频繁类别。>>> import numpy as np >>> X = np.array([["a"] * 5 + ["b"] * 20 + ["c"] * 10 + ["d"] * 3], dtype=object).T >>> ohe = OneHotEncoder(max_categories=3, sparse_output=False).fit(X) >>> ohe.infrequent_categories_ [array(['a', 'd'], dtype=object)] >>> ohe.transform([["a"], ["b"]]) array([[0., 0., 1.], [1., 0., 0.]])
- fit(X, y=None)[source]#
将 OneHotEncoder 拟合到 X。
- 参数:
- X形状为 (n_samples, n_features) 的类数组
用于确定每个特征类别的數據。
- yNone
忽略。此参数仅为了与
Pipeline
保持兼容性。
- 返回:
- self
已拟合的编码器。
- fit_transform(X, y=None, **fit_params)[source]#
拟合数据,然后转换数据。
使用可选参数
fit_params
将转换器拟合到X
和y
,并返回X
的转换版本。- 参数:
- X形状为 (n_samples, n_features) 的类数组
输入样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组,默认为 None
目标值(对于无监督转换,则为 None)。
- **fit_params字典
附加拟合参数。
- 返回:
- X_new形状为 (n_samples, n_features_new) 的 ndarray 数组
转换后的数组。
- get_feature_names_out(input_features=None)[source]#
获取转换后的特征名称。
- 参数:
- input_features字符串类数组或 None,默认为 None
输入特征。
如果
input_features
为None
,则使用feature_names_in_
作为输入特征名称。如果feature_names_in_
未定义,则生成以下输入特征名称:["x0", "x1", ..., "x(n_features_in_ - 1)"]
。如果
input_features
是类数组,则如果定义了feature_names_in_
,input_features
必须与feature_names_in_
匹配。
- 返回:
- feature_names_out字符串对象的 ndarray
转换后的特征名称。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查看 用户指南,了解路由机制的工作原理。
- 返回:
- routingMetadataRequest
一个
MetadataRequest
封装路由信息。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deep布尔值,默认为 True
如果为 True,则将返回此估计器和包含的作为估计器的子对象的参数。
- 返回:
- params字典
参数名称与其值的映射。
- property infrequent_categories_#
每个特征的不频繁类别。
- inverse_transform(X)[source]#
将数据转换回原始表示。
遇到未知类别(独热编码中的全零)时,使用
None
表示此类别。如果具有未知类别的特征具有已删除的类别,则已删除的类别将是其反向。对于给定的输入特征,如果存在不频繁的类别,则将使用“infrequent_sklearn”表示不频繁的类别。
- 参数:
- X形状为 (n_samples, n_encoded_features) 的 {类数组,稀疏矩阵}
转换后的数据。
- 返回:
- X_tr形状为 (n_samples, n_features) 的 ndarray
逆转换后的数组。
- set_output(*, transform=None)[source]#
设置输出容器。
参见 介绍 set_output API,了解如何使用此 API 的示例。
- 参数:
- transform{"default", "pandas", "polars"},默认为 None
配置
transform
和fit_transform
的输出。"default"
:转换器的默认输出格式"pandas"
:DataFrame 输出"polars"
:Polars 输出None
:转换配置保持不变
1.4版本新增:
"polars"
选项已添加。
- 返回:
- self估计器实例
估计器实例。
- set_params(**params)[source]#
设置此估计器的参数。
此方法适用于简单的估计器以及嵌套对象(例如
Pipeline
)。后者具有<component>__<parameter>
形式的参数,因此可以更新嵌套对象的每个组件。- 参数:
- **params**字典
估计器参数。
- 返回:
- self估计器实例
估计器实例。
- transform(X)[source]#
使用独热编码转换 X。
如果
sparse_output=True
(默认值),则返回scipy.sparse._csr.csr_matrix
(CSR 格式)的实例。如果某个特征存在不常见的类别(通过指定
max_categories
或min_frequency
设置),则这些不常见的类别将被组合成一个类别。- 参数:
- X形状为 (n_samples, n_features) 的类数组
要编码的数据。
- 返回:
- X_out形状为 (n_samples, n_encoded_features) 的 {ndarray, 稀疏矩阵}
转换后的输入。如果
sparse_output=True
,则返回稀疏矩阵。