F 检验和互信息的比较#
此示例说明了单变量 F 检验统计量和互信息之间的差异。
我们考虑在 [0, 1] 上均匀分布的 3 个特征 x_1、x_2、x_3,目标依赖于它们,如下所示
y = x_1 + sin(6 * pi * x_2) + 0.1 * N(0, 1),即第三个特征完全不相关。
下面的代码绘制了 y 对单个 x_i 的依赖关系,以及单变量 F 检验统计量和互信息的归一化值。
由于 F 检验仅捕获线性依赖关系,因此它将 x_1 评为最具判别性的特征。另一方面,互信息可以捕获变量之间的任何类型的依赖关系,它将 x_2 评为最具判别性的特征,这可能与我们对这个例子的直观感知更加一致。两种方法都正确地将 x_3 标记为不相关。
import matplotlib.pyplot as plt
import numpy as np
from sklearn.feature_selection import f_regression, mutual_info_regression
np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)
f_test, _ = f_regression(X, y)
f_test /= np.max(f_test)
mi = mutual_info_regression(X, y)
mi /= np.max(mi)
plt.figure(figsize=(15, 5))
for i in range(3):
plt.subplot(1, 3, i + 1)
plt.scatter(X[:, i], y, edgecolor="black", s=20)
plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
if i == 0:
plt.ylabel("$y$", fontsize=14)
plt.title("F-test={:.2f}, MI={:.2f}".format(f_test[i], mi[i]), fontsize=16)
plt.show()
脚本总运行时间:(0 分钟 0.255 秒)
相关示例
使用排列测试分类分数的显著性
聚类性能评估中的机会调整
单变量特征选择
网格搜索和连续减半之间的比较