mutual_info_regression#

sklearn.feature_selection.mutual_info_regression(X, y, *, discrete_features='auto', n_neighbors=3, copy=True, random_state=None, n_jobs=None)[source]#

估计连续目标变量的互信息。

互信息（MI）[1]是两个随机变量之间的一个非负值，用于衡量变量之间的依赖关系。当且仅当两个随机变量相互独立时，互信息等于零，值越高则表示依赖性越高。

该函数依赖于基于k近邻距离的熵估计的非参数方法，如[2]和[3]中所述。这两种方法都基于最初在[4]中提出的思想。

它可用于单变量特征选择，详情请阅读用户指南。

参数:
Xarray-like or sparse matrix, shape (n_samples, n_features)

特征矩阵。

yarray-like of shape (n_samples,)

目标向量。

discrete_features{‘auto’, bool, array-like}, default=’auto’

如果为布尔值，则确定是所有特征都视为离散的还是连续的。如果为数组，则它应为形状为 (n_features,) 的布尔掩码或离散特征的索引数组。如果为 'auto'，则对于密集 X 分配为 False，对于稀疏 X 分配为 True。

n_neighborsint, default=3

用于连续变量MI估计的邻居数，参见[2]和[3]。值越高会降低估计的方差，但可能会引入偏差。

copy布尔值, 默认为 True

是否复制给定数据。如果设置为 False，则初始数据将被覆盖。

random_stateint, RandomState instance or None, default=None

确定用于向连续变量添加微小噪声以消除重复值的随机数生成。传入一个整数可确保跨多次函数调用的结果可重现。参见词汇表。

n_jobsint, default=None

用于计算互信息的作业数。并行化在 X 的列上完成。

None 表示 1，除非在 joblib.parallel_backend 上下文中。 -1 表示使用所有处理器。有关更多详细信息，请参阅词汇表。

1.5 版本新增。

返回:
mindarray, shape (n_features,)

每个特征与目标之间以 nat 为单位估计的互信息。

注意事项

  1. 使用“离散特征”一词而不是将其命名为“分类”，因为它更准确地描述了本质。例如，图像的像素强度是离散特征（但很难说是分类特征），如果将其标记为离散特征，您将获得更好的结果。另请注意，将连续变量视为离散变量，反之亦然，通常会给出不正确的结果，因此请务必注意这一点。

  2. 真实的互信息不能为负值。如果其估计值结果为负，则将其替换为零。

References

[1]

互信息在维基百科上的解释。

[2] (1,2)

A. Kraskov, H. Stogbauer and P. Grassberger, “Estimating mutual information”. Phys. Rev. E 69, 2004.

[3] (1,2)

B. C. Ross “Mutual Information between Discrete and Continuous Data Sets”. PLoS ONE 9(2), 2014.

[4]

L. F. Kozachenko, N. N. Leonenko, “Sample Estimate of the Entropy of a Random Vector”, Probl. Peredachi Inf., 23:2 (1987), 9-16

示例

>>> from sklearn.datasets import make_regression
>>> from sklearn.feature_selection import mutual_info_regression
>>> X, y = make_regression(
...     n_samples=50, n_features=3, n_informative=1, noise=1e-4, random_state=42
... )
>>> mutual_info_regression(X, y)
array([0.117, 2.645, 0.0287])