quantile_transform#

sklearn.preprocessing.quantile_transform(X, *, axis=0, n_quantiles=1000, output_distribution='uniform', ignore_implicit_zeros=False, subsample=100000, random_state=None, copy=True)[source]#

使用分位数信息变换特征。

此方法将特征变换为服从均匀分布或正态分布。因此,对于给定的特征,此变换倾向于分散最频繁的值。它还减少了(边缘)异常值的影响:因此这是一种稳健的预处理方案。

变换独立地应用于每个特征。首先,使用特征的累积分布函数(CDF)估计值将原始值映射到均匀分布。然后,使用相关的分位数函数将获得的值映射到所需的输出分布。新/未见过数据中超出拟合范围的特征值将被映射到输出分布的边界。请注意,此变换是非线性的。它可能会扭曲在相同尺度上测量的变量之间的线性相关性,但使在不同尺度上测量的变量更具可比性。

用户指南 中了解更多。

参数:
X{类数组对象, 稀疏矩阵},形状为 (n_samples, n_features)

要变换的数据。

axisint, 默认值=0

用于计算均值和标准差的轴。如果为0,则变换每个特征;否则(如果为1)变换每个样本。

n_quantilesint, 默认值=1000 或 n_samples

要计算的分位数数量。它对应于用于离散化累积分布函数的标志点数量。如果 n_quantiles 大于样本数量,则 n_quantiles 会设置为样本数量,因为更大的分位数数量并不会更好地近似累积分布函数估计器。

output_distribution{'uniform', 'normal'}, 默认值='uniform'

变换后数据的边缘分布。可选项为 'uniform' (默认) 或 'normal'。

ignore_implicit_zerosbool, 默认值=False

仅适用于稀疏矩阵。如果为 True,则舍弃矩阵的稀疏条目以计算分位数统计量。如果为 False,则这些条目被视为零。

subsampleint 或 None, 默认值=1e5

用于估算分位数的最大样本数量,以提高计算效率。请注意,对于值相同的稀疏和密集矩阵,子采样过程可能有所不同。通过设置 subsample=None 禁用子采样。

新增于版本 1.5: 增加了禁用子采样的选项 None

random_stateint, RandomState 实例或 None, 默认值=None

确定子采样和平滑噪声的随机数生成。更多详情请参阅 subsample。传递一个整数可在多次函数调用中获得可重现的结果。参见 术语表

copybool, 默认值=True

如果为 False,尝试避免复制并就地变换。这并不保证总能就地工作;例如,如果数据是 int 类型的 NumPy 数组,即使 copy=False 也会返回一个副本。

修改于版本 0.23: copy 的默认值在 0.23 版本中从 False 更改为 True。

返回:
Xt{ndarray, 稀疏矩阵},形状为 (n_samples, n_features)

变换后的数据。

参见

QuantileTransformer

QuantileTransformer

power_transform

使用 Transformer API 执行基于分位数的缩放(例如,作为预处理 Pipeline 的一部分)。

scale

power_transform

robust_scale

使用幂变换将数据映射到正态分布。

scale

执行标准化,更快,但对异常值鲁棒性较差。

robust_scale

执行鲁棒标准化,消除异常值的影响,但不会将异常值和正常值放在相同的尺度上。

注意事项

NaN 被视为缺失值:在拟合时忽略,在变换时保留。

示例

>>> import numpy as np
>>> from sklearn.preprocessing import quantile_transform
>>> rng = np.random.RandomState(0)
>>> X = np.sort(rng.normal(loc=0.5, scale=0.25, size=(25, 1)), axis=0)
>>> quantile_transform(X, n_quantiles=10, random_state=0, copy=True)
array([...])
除非您清楚自己在做什么,否则请勿使用 quantile_transform。一个常见的错误是在将数据分割成训练集和测试集 之前 将其应用于整个数据。这会使模型评估产生偏差,因为信息将从测试集泄露到训练集。通常,我们建议在 Pipeline 中使用 QuantileTransformer,以防止大部分数据泄露风险:pipe = make_pipeline(QuantileTransformer(), LogisticRegression())