OneHotEncoder#
- class sklearn.preprocessing.OneHotEncoder(*, categories='auto', drop=None, sparse_output=True, dtype=<class 'numpy.float64'>, handle_unknown='error', min_frequency=None, max_categories=None, feature_name_combiner='concat')[source]#
将分类特征编码为 one-hot 数字数组。
此转换器的输入应该是整数或字符串的数组状对象,表示分类(离散)特征的值。特征使用独热(也称为“one-of-K”或“dummy”)编码方案进行编码。这将为每个类别创建一个二进制列,并返回稀疏矩阵或密集数组(取决于
sparse_output参数)。默认情况下,编码器根据每个特征中的唯一值推断类别。或者,您也可以手动指定
categories。许多 scikit-learn 估计器(尤其是线性模型和具有标准核的 SVM)都需要这种编码才能输入分类数据。
注意:对 y 标签进行独热编码应使用 LabelBinarizer。
在 用户指南 中阅读更多内容。有关不同编码器的比较,请参阅:比较目标编码器与其他编码器。
- 参数:
- categories‘auto’ 或 array-like 列表,默认为 ‘auto’
每个特征的类别(唯一值)。
‘auto’:从训练数据自动确定类别。
list:
categories[i]包含第 i 列中预期的类别。传入的类别不应在一个特征内混合字符串和数值,并且在数值情况下应排序。
使用的类别可以在
categories_属性中找到。0.20 版本新增。
- drop{‘first’, ‘if_binary’} 或 shape 为 (n_features,) 的 array-like,默认为 None
指定一种方法来删除每个特征的一个类别。这在完全共线的特征导致问题的情况下很有用,例如将结果数据输入到无正则化的线性回归模型。
然而,删除一个类别会破坏原始表示的对称性,因此可能在下游模型中引入偏差,例如对于带惩罚的线性分类或回归模型。
None:保留所有特征(默认)。
‘first’:删除每个特征的第一个类别。如果只有一个类别,该特征将被完全删除。
‘if_binary’:删除具有两个类别的每个特征的第一个类别。具有 1 个或 2 个以上类别的特征保持不变。
array:
drop[i]是特征X[:, i]中应被删除的类别。
当配置
max_categories或min_frequency来组合不频繁类别时,删除行为将在组合后处理。0.21 版本新增:
drop参数在 0.21 版本中添加。0.23 版本已更改:
drop='if_binary'选项在 0.23 版本中添加。1.1 版本已更改: 支持删除不频繁类别。
- sparse_outputbool,默认为 True
如果为
True,则返回一个scipy.sparse.csr_matrix,即“Compressed Sparse Row”(CSR)格式的稀疏矩阵。1.2 版本新增:
sparse已重命名为sparse_output- dtype数字类型,默认为 np.float64
输出所需的 dtype。
- handle_unknown{‘error’, ‘ignore’, ‘infrequent_if_exist’, ‘warn’},默认为 ‘error’
指定在
transform期间处理未知类别的方式。‘error’:如果在 transform 过程中遇到未知类别,则引发错误。
‘ignore’:如果在 transform 过程中遇到未知类别,则该特征的相应独热编码列将全为零。在 inverse_transform 中,未知类别将表示为 None。
‘infrequent_if_exist’:如果在 transform 过程中遇到未知类别,则该特征的相应独热编码列将映射到不频繁类别(如果存在)。不频繁类别将映射到编码中的最后一个位置。在 inverse_transform 期间,未知类别将映射到表示为
'infrequent'的类别(如果存在)。如果'infrequent'类别不存在,则transform和inverse_transform将像handle_unknown='ignore'一样处理未知类别。不频繁类别根据min_frequency和max_categories存在。在 用户指南 中阅读更多内容。‘warn’:如果在 transform 过程中遇到未知类别,则会发出警告,然后编码继续,如
handle_unknown="infrequent_if_exist"所述。
1.1 版本已更改: 添加了
'infrequent_if_exist'以自动处理未知类别和不频繁类别。1.6 版本新增:
"warn"选项在 1.6 版本中添加。- min_frequencyint 或 float,默认为 None
指定类别被视为不频繁的最小频率。
如果为
int,则基数较小的类别将被视为不频繁。如果为
float,则基数小于min_frequency * n_samples的类别将被视为不频繁。
1.1 版本新增: 在 用户指南 中阅读更多内容。
- max_categoriesint,默认为 None
在考虑不频繁类别时,指定每个输入特征的输出特征数量的上限。如果存在不频繁类别,
max_categories将包含表示不频繁类别的类别以及频繁类别。如果为None,则输出特征的数量没有限制。1.1 版本新增: 在 用户指南 中阅读更多内容。
- feature_name_combiner“concat” 或可调用对象,默认为 “concat”
具有签名
def callable(input_feature, category)的可调用对象,该对象返回一个字符串。这用于创建由get_feature_names_out返回的特征名称。"concat"使用feature + "_" + str(category)将编码的特征名称和类别连接起来。例如,值为 1、6、7 的特征 X 会创建特征名称X_1, X_6, X_7。在版本 1.3 中新增。
- 属性:
- categories_数组列表
在拟合过程中确定的每个特征的类别(按 X 中的特征顺序排列,并与
transform的输出对应)。这包括drop中指定的类别(如果有)。- drop_idx_shape 为 (n_features,) 的数组
drop_idx_[i]是每个特征要删除的类别在categories_[i]中的索引。drop_idx_[i] = None如果没有类别要从索引为i的特征中删除,例如当drop='if_binary'且特征不是二进制时。drop_idx_ = None如果所有转换后的特征都将被保留。
如果通过将
min_frequency或max_categories设置为非默认值来启用不频繁类别,并且drop_idx[i]对应于不频繁类别,则整个不频繁类别将被删除。0.23 版本已更改: 增加了包含
None值的可能性。infrequent_categories_数组列表每个特征的不频繁类别。
- n_features_in_int
在 拟合 期间看到的特征数。
1.0 版本新增。
- feature_names_in_shape 为 (
n_features_in_,) 的 ndarray 在 fit 期间看到的特征名称。仅当
X具有全部为字符串的特征名称时才定义。1.0 版本新增。
- feature_name_combiner可调用对象或 None
具有签名
def callable(input_feature, category)的可调用对象,该对象返回一个字符串。这用于创建由get_feature_names_out返回的特征名称。在版本 1.3 中新增。
另请参阅
OrdinalEncoder对分类特征进行序数(整数)编码。
TargetEncoder使用目标对分类特征进行编码。
sklearn.feature_extraction.DictVectorizer对字典项进行独热编码(也处理字符串值特征)。
sklearn.feature_extraction.FeatureHasher对字典项或字符串进行近似独热编码。
LabelBinarizer以“一对多”的方式二值化标签。
MultiLabelBinarizer在可迭代对象列表和多标签格式之间进行转换,例如(样本 x 类)二进制矩阵,指示类别的存在。
示例
给定一个具有两个特征的数据集,我们让编码器找到每个特征的唯一值,并将数据转换为二进制独热编码。
>>> from sklearn.preprocessing import OneHotEncoder
可以丢弃在
fit期间未见的类别。>>> enc = OneHotEncoder(handle_unknown='ignore') >>> X = [['Male', 1], ['Female', 3], ['Female', 2]] >>> enc.fit(X) OneHotEncoder(handle_unknown='ignore') >>> enc.categories_ [array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)] >>> enc.transform([['Female', 1], ['Male', 4]]).toarray() array([[1., 0., 1., 0., 0.], [0., 1., 0., 0., 0.]]) >>> enc.inverse_transform([[0, 1, 1, 0, 0], [0, 0, 0, 1, 0]]) array([['Male', 1], [None, 2]], dtype=object) >>> enc.get_feature_names_out(['gender', 'group']) array(['gender_Female', 'gender_Male', 'group_1', 'group_2', 'group_3'], ...)
可以始终删除每个特征的第一列。
>>> drop_enc = OneHotEncoder(drop='first').fit(X) >>> drop_enc.categories_ [array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)] >>> drop_enc.transform([['Female', 1], ['Male', 2]]).toarray() array([[0., 0., 0.], [1., 1., 0.]])
或者删除仅具有 2 个类别的特征的列。
>>> drop_binary_enc = OneHotEncoder(drop='if_binary').fit(X) >>> drop_binary_enc.transform([['Female', 1], ['Male', 2]]).toarray() array([[0., 1., 0., 0.], [1., 0., 1., 0.]])
可以更改创建特征名称的方式。
>>> def custom_combiner(feature, category): ... return str(feature) + "_" + type(category).__name__ + "_" + str(category) >>> custom_fnames_enc = OneHotEncoder(feature_name_combiner=custom_combiner).fit(X) >>> custom_fnames_enc.get_feature_names_out() array(['x0_str_Female', 'x0_str_Male', 'x1_int_1', 'x1_int_2', 'x1_int_3'], dtype=object)
通过设置
max_categories或min_frequency来启用不频繁类别。>>> import numpy as np >>> X = np.array([["a"] * 5 + ["b"] * 20 + ["c"] * 10 + ["d"] * 3], dtype=object).T >>> ohe = OneHotEncoder(max_categories=3, sparse_output=False).fit(X) >>> ohe.infrequent_categories_ [array(['a', 'd'], dtype=object)] >>> ohe.transform([["a"], ["b"]]) array([[0., 0., 1.], [1., 0., 0.]])
- fit(X, y=None)[source]#
用 X 拟合 OneHotEncoder。
- 参数:
- Xshape 为 (n_samples, n_features) 的 array-like
用于确定每个特征类别的数据。
- yNone
忽略。此参数仅用于与
Pipeline的兼容性。
- 返回:
- self
已拟合的编码器。
- fit_transform(X, y=None, **fit_params)[source]#
拟合数据,然后对其进行转换。
使用可选参数
fit_params将转换器拟合到X和y,并返回X的转换版本。- 参数:
- Xshape 为 (n_samples, n_features) 的 array-like
输入样本。
- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组对象,默认=None
目标值(对于无监督转换,为 None)。
- **fit_paramsdict
额外的拟合参数。仅当估计器在其
fit方法中接受额外的参数时才传递。
- 返回:
- X_newndarray array of shape (n_samples, n_features_new)
转换后的数组。
- get_feature_names_out(input_features=None)[source]#
获取转换的输出特征名称。
- 参数:
- input_featuresarray-like of str or None, default=None
输入特征。
如果
input_features为None,则使用feature_names_in_作为输入特征名称。如果feature_names_in_未定义,则生成以下输入特征名称:["x0", "x1", ..., "x(n_features_in_ - 1)"]。如果
input_features是 array-like,则如果定义了feature_names_in_,input_features必须与feature_names_in_匹配。
- 返回:
- feature_names_outstr 对象的 ndarray
转换后的特征名称。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查阅 用户指南,了解路由机制如何工作。
- 返回:
- routingMetadataRequest
封装路由信息的
MetadataRequest。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deepbool, default=True
如果为 True,将返回此估计器以及包含的子对象(如果它们是估计器)的参数。
- 返回:
- paramsdict
参数名称映射到其值。
- inverse_transform(X)[source]#
将数据转换回原始表示。
当遇到未知类别时(独热编码中的全零),
None用于表示此类别。如果具有未知类别的特征有一个已删除的类别,则已删除的类别将是其逆。对于给定的输入特征,如果存在不频繁类别,则使用“infrequent_sklearn”来表示不频繁类别。
- 参数:
- X{array-like, sparse matrix},shape 为 (n_samples, n_encoded_features)
转换后的数据。
- 返回:
- X_original形状为 (n_samples, n_features) 的 ndarray
逆转换后的数组。
- set_output(*, transform=None)[source]#
设置输出容器。
有关如何使用 API 的示例,请参阅引入 set_output API。
- 参数:
- transform{“default”, “pandas”, “polars”}, default=None
配置
transform和fit_transform的输出。"default": 转换器的默认输出格式"pandas": DataFrame 输出"polars": Polars 输出None: 转换配置保持不变
1.4 版本新增: 添加了
"polars"选项。
- 返回:
- selfestimator instance
估计器实例。
- set_params(**params)[source]#
设置此估计器的参数。
此方法适用于简单的估计器以及嵌套对象(如
Pipeline)。后者具有<component>__<parameter>形式的参数,以便可以更新嵌套对象的每个组件。- 参数:
- **paramsdict
估计器参数。
- 返回:
- selfestimator instance
估计器实例。
- transform(X)[source]#
使用独热编码转换 X。
如果
sparse_output=True(默认),则返回一个scipy.sparse._csr.csr_matrix实例(CSR 格式)。如果一个特征存在不频繁类别(通过指定
max_categories或min_frequency设置),则不频繁类别将被组合成一个类别。- 参数:
- Xshape 为 (n_samples, n_features) 的 array-like
要编码的数据。
- 返回:
- X_out{ndarray, sparse matrix},shape 为 (n_samples, n_encoded_features)
转换后的输入。如果
sparse_output=True,则将返回稀疏矩阵。