OneHotEncoder#
- class sklearn.preprocessing.OneHotEncoder(*, categories='auto', drop=None, sparse_output=True, dtype=<class 'numpy.float64'>, handle_unknown='error', min_frequency=None, max_categories=None, feature_name_combiner='concat')[source]#
将分类特征编码为独热(one-hot)数值数组。
此转换器的输入应为一个类数组对象,包含整数或字符串,表示分类(离散)特征的值。这些特征使用独热(也称“one-of-K”或“哑变量”)编码方案进行编码。这会为每个类别创建一个二进制列,并返回一个稀疏矩阵或密集数组(取决于
sparse_output
参数)。默认情况下,编码器根据每个特征中的唯一值来推断类别。或者,您也可以手动指定
categories
。这种编码对于将分类数据输入到许多 scikit-learn 估计器(特别是线性模型和使用标准核的 SVM)是必需的。
注意:y 标签的独热编码应使用
LabelBinarizer
。更多信息请参阅用户指南。有关不同编码器的比较,请参阅:目标编码器与其他编码器的比较。
- 参数:
- categories‘auto’ 或一个类数组对象列表,默认值为 ‘auto’
每个特征的类别(唯一值)
‘auto’:从训练数据中自动确定类别。
list:
categories[i]
包含第 i 列中预期的类别。传入的类别不应在单个特征中混合字符串和数值,且数值类别应排序。
使用的类别可以在
categories_
属性中找到。版本 0.20 中新增。
- drop{‘first’, ‘if_binary’} 或形状为 (n_features,) 的类数组对象,默认值为 None
指定一种方法来删除每个特征中的一个类别。这在完全共线特征导致问题(例如将结果数据输入到未正则化的线性回归模型中)的情况下非常有用。
然而,删除一个类别会破坏原始表示的对称性,因此可能在下游模型(例如惩罚线性分类或回归模型)中引入偏差。
None:保留所有特征(默认)。
‘first’:删除每个特征中的第一个类别。如果只有一个类别存在,则该特征将被完全删除。
‘if_binary’:删除每个具有两个类别的特征中的第一个类别。具有 1 个或多于 2 个类别的特征保持不变。
array:
drop[i]
是特征X[:, i]
中应删除的类别。
当
max_categories
或min_frequency
配置为对不常见类别进行分组时,删除行为将在分组后处理。版本 0.21 中新增:参数
drop
在 0.21 中添加。版本 0.23 中更改:选项
drop='if_binary'
在 0.23 中添加。版本 1.1 中更改:支持删除不常见类别。
- sparse_output布尔值,默认值为 True
当
True
时,它返回一个scipy.sparse.csr_matrix
实例,即“压缩稀疏行”(CSR)格式的稀疏矩阵。版本 1.2 中新增:
sparse
被重命名为sparse_output
- dtype数值类型,默认值为 np.float64
输出的期望数据类型。
- handle_unknown{‘error’, ‘ignore’, ‘infrequent_if_exist’, ‘warn’},默认值为 ‘error’
指定在
transform
期间如何处理未知类别。‘error’:如果在转换过程中存在未知类别,则引发错误。
‘ignore’:在转换过程中遇到未知类别时,该特征的独热编码列将全部为零。在逆转换中,未知类别将表示为 None。
‘infrequent_if_exist’:在转换过程中遇到未知类别时,如果存在不常见类别,则该特征的独热编码列将映射到不常见类别。不常见类别将被映射到编码的最后一位。在逆转换期间,如果存在被标记为
'infrequent'
的类别,未知类别将被映射到该类别。如果'infrequent'
类别不存在,则transform
和inverse_transform
将像handle_unknown='ignore'
一样处理未知类别。不常见类别的存在是基于min_frequency
和max_categories
。更多信息请参阅用户指南。‘warn’:在转换过程中遇到未知类别时,会发出警告,然后编码按照
handle_unknown="infrequent_if_exist"
的描述进行。
版本 1.1 中更改:添加了
'infrequent_if_exist'
以自动处理未知类别和不常见类别。版本 1.6 中新增:选项
"warn"
在 1.6 中添加。- min_frequency整数或浮点数,默认值为 None
指定一个最小频率,低于此频率的类别将被视为不常见类别。
如果是
int
,基数较小的类别将被视为不常见类别。如果是
float
,基数小于min_frequency * n_samples
的类别将被视为不常见类别。
版本 1.1 中新增:更多信息请参阅用户指南。
- max_categories整数,默认值为 None
指定在考虑不常见类别时,每个输入特征的输出特征数量的上限。如果存在不常见类别,
max_categories
会包含代表不常见类别的类别以及常见类别。如果为None
,则输出特征的数量没有限制。版本 1.1 中新增:更多信息请参阅用户指南。
- feature_name_combiner“concat” 或可调用对象,默认值为 “concat”
签名形如
def callable(input_feature, category)
的可调用对象,返回一个字符串。这用于创建由get_feature_names_out
返回的特征名称。"concat"
使用feature + "_" + str(category)
拼接编码后的特征名称和类别。例如,具有值 1、6、7 的特征 X 会创建特征名称X_1, X_6, X_7
。版本 1.3 中新增。
- 属性:
- categories_数组列表
在拟合期间确定的每个特征的类别(按 X 中特征的顺序,并与
transform
的输出对应)。这包括在drop
中指定的类别(如果有)。- drop_idx_形状为 (n_features,) 的数组
drop_idx_[i]
是categories_[i]
中要为每个特征删除的类别的索引。如果索引为
i
的特征不删除任何类别,则drop_idx_[i] = None
,例如当drop='if_binary'
且特征不是二元的时。如果保留所有转换后的特征,则
drop_idx_ = None
。
如果通过将
min_frequency
或max_categories
设置为非默认值来启用不常见类别,并且drop_idx[i]
对应一个不常见类别,那么整个不常见类别将被删除。版本 0.23 中更改:增加了包含
None
值的可能性。infrequent_categories_
ndarray 列表每个特征的不常见类别。
- n_features_in_整数
在 fit 期间看到的特征数量。
版本 1.0 中新增。
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在 fit 期间看到的特征名称。仅当
X
的所有特征名称均为字符串时才定义。版本 1.0 中新增。
- feature_name_combiner可调用对象或 None
签名形如
def callable(input_feature, category)
的可调用对象,返回一个字符串。这用于创建由get_feature_names_out
返回的特征名称。版本 1.3 中新增。
另请参见
OrdinalEncoder
对分类特征执行序数(整数)编码。
TargetEncoder
使用目标对分类特征进行编码。
sklearn.feature_extraction.DictVectorizer
对字典项执行独热编码(也处理字符串值特征)。
sklearn.feature_extraction.FeatureHasher
对字典项或字符串执行近似独热编码。
LabelBinarizer
以一对多(one-vs-all)方式对标签进行二值化。
MultiLabelBinarizer
在可迭代对象的迭代和多标签格式之间进行转换,例如表示类标签存在的(样本数 x 类别数)二进制矩阵。
示例
给定一个具有两个特征的数据集,我们让编码器找到每个特征的唯一值,并将数据转换为二进制独热编码。
>>> from sklearn.preprocessing import OneHotEncoder
可以丢弃在
fit
期间未见的类别>>> enc = OneHotEncoder(handle_unknown='ignore') >>> X = [['Male', 1], ['Female', 3], ['Female', 2]] >>> enc.fit(X) OneHotEncoder(handle_unknown='ignore') >>> enc.categories_ [array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)] >>> enc.transform([['Female', 1], ['Male', 4]]).toarray() array([[1., 0., 1., 0., 0.], [0., 1., 0., 0., 0.]]) >>> enc.inverse_transform([[0, 1, 1, 0, 0], [0, 0, 0, 1, 0]]) array([['Male', 1], [None, 2]], dtype=object) >>> enc.get_feature_names_out(['gender', 'group']) array(['gender_Female', 'gender_Male', 'group_1', 'group_2', 'group_3'], ...)
始终可以删除每个特征的第一个列
>>> drop_enc = OneHotEncoder(drop='first').fit(X) >>> drop_enc.categories_ [array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)] >>> drop_enc.transform([['Female', 1], ['Male', 2]]).toarray() array([[0., 0., 0.], [1., 1., 0.]])
或者只删除具有 2 个类别的特征的一个列
>>> drop_binary_enc = OneHotEncoder(drop='if_binary').fit(X) >>> drop_binary_enc.transform([['Female', 1], ['Male', 2]]).toarray() array([[0., 1., 0., 0.], [1., 0., 1., 0.]])
可以更改特征名称的创建方式。
>>> def custom_combiner(feature, category): ... return str(feature) + "_" + type(category).__name__ + "_" + str(category) >>> custom_fnames_enc = OneHotEncoder(feature_name_combiner=custom_combiner).fit(X) >>> custom_fnames_enc.get_feature_names_out() array(['x0_str_Female', 'x0_str_Male', 'x1_int_1', 'x1_int_2', 'x1_int_3'], dtype=object)
通过设置
max_categories
或min_frequency
可以启用不常见类别。>>> import numpy as np >>> X = np.array([["a"] * 5 + ["b"] * 20 + ["c"] * 10 + ["d"] * 3], dtype=object).T >>> ohe = OneHotEncoder(max_categories=3, sparse_output=False).fit(X) >>> ohe.infrequent_categories_ [array(['a', 'd'], dtype=object)] >>> ohe.transform([["a"], ["b"]]) array([[0., 0., 1.], [1., 0., 0.]])
- fit(X, y=None)[source]#
将 OneHotEncoder 拟合到 X。
- 参数:
- X形状为 (n_samples, n_features) 的类数组对象
用于确定每个特征类别的输入数据。
- yNone
忽略。此参数仅为与
Pipeline
兼容而存在。
- 返回:
- self
已拟合的编码器。
- fit_transform(X, y=None, **fit_params)[source]#
拟合数据,然后转换。
使用可选参数
fit_params
将转换器拟合到X
和y
,并返回X
的转换版本。- 参数:
- X形状为 (n_samples, n_features) 的类数组对象
输入样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象,默认值为 None
目标值(无监督转换时为 None)。
- **fit_params字典
额外的拟合参数。
- 返回:
- X_new形状为 (n_samples, n_features_new) 的 ndarray 数组
转换后的数组。
- get_feature_names_out(input_features=None)[source]#
获取转换的输出特征名称。
- 参数:
- input_features字符串类数组对象或 None,默认值为 None
输入特征。
如果
input_features
为None
,则使用feature_names_in_
作为输入特征名称。如果未定义feature_names_in_
,则生成以下输入特征名称:["x0", "x1", ..., "x(n_features_in_ - 1)"]
。如果
input_features
是一个类数组对象,那么如果定义了feature_names_in_
,则input_features
必须与feature_names_in_
匹配。
- 返回:
- feature_names_out字符串对象 ndarray
转换后的特征名称。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查阅用户指南以了解路由机制的工作原理。
- 返回:
- routingMetadataRequest
一个封装路由信息的
MetadataRequest
。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deep布尔值,默认值为 True
如果为 True,将返回此估计器及其包含的作为估计器的子对象的参数。
- 返回:
- params字典
参数名称映射到其值。
- inverse_transform(X)[source]#
将数据转换回原始表示。
当遇到未知类别(独热编码中全部为零)时,使用
None
来表示此类别。如果具有未知类别的特征包含一个被删除的类别,则该被删除的类别将是其逆。对于给定的输入特征,如果存在不常见类别,将使用 ‘infrequent_sklearn’ 来表示不常见类别。
- 参数:
- X形状为 (n_samples, n_encoded_features) 的 {类数组对象, 稀疏矩阵}
转换后的数据。
- 返回:
- X_original形状为 (n_samples, n_features) 的 ndarray
逆转换后的数组。
- set_output(*, transform=None)[source]#
设置输出容器。
有关如何使用此 API 的示例,请参阅介绍 set_output API。
- 参数:
- transform{“default”, “pandas”, “polars”},默认值为 None
配置
transform
和fit_transform
的输出。"default"
:转换器的默认输出格式"pandas"
:DataFrame 输出"polars"
:Polars 输出None
:转换配置未更改
版本 1.4 中新增:添加了
"polars"
选项。
- 返回:
- self估计器实例
估计器实例。
- set_params(**params)[source]#
设置此估计器的参数。
该方法适用于简单的估计器以及嵌套对象(例如
Pipeline
)。后者具有<component>__<parameter>
形式的参数,因此可以更新嵌套对象的每个组件。- 参数:
- **params字典
估计器参数。
- 返回:
- self估计器实例
估计器实例。
- transform(X)[source]#
使用独热编码转换 X。
如果
sparse_output=True
(默认值),它返回一个scipy.sparse._csr.csr_matrix
实例(CSR 格式)。如果某个特征存在不常见类别(通过指定
max_categories
或min_frequency
设置),这些不常见类别将分组为一个单独的类别。- 参数:
- X形状为 (n_samples, n_features) 的类数组对象
要编码的数据。
- 返回:
- X_out形状为 (n_samples, n_encoded_features) 的 {ndarray, 稀疏矩阵}
转换后的输入。如果
sparse_output=True
,将返回一个稀疏矩阵。