绘制岭回归系数作为正则化函数的图像#
显示共线性对估计量系数的影响。
本例中使用的估计量是Ridge
回归。每种颜色代表系数向量的一种不同特征,并将其显示为正则化参数的函数。
此示例还展示了将岭回归应用于高度病态矩阵的有效性。对于此类矩阵,目标变量的微小变化会导致计算出的权重出现巨大差异。在这种情况下,设置一定的正则化 (alpha) 以减少这种变化(噪声)非常有用。
当 alpha 非常大时,正则化效应在平方损失函数中占主导地位,系数趋于零。在路径的末端,随着 alpha 趋于零且解趋于普通最小二乘法,系数表现出很大的振荡。在实践中,有必要调整 alpha,以便在两者之间保持平衡。
# Author: Fabian Pedregosa -- <[email protected]>
# License: BSD 3 clause
import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
# X is the 10x10 Hilbert matrix
X = 1.0 / (np.arange(1, 11) + np.arange(0, 10)[:, np.newaxis])
y = np.ones(10)
计算路径#
n_alphas = 200
alphas = np.logspace(-10, -2, n_alphas)
coefs = []
for a in alphas:
ridge = linear_model.Ridge(alpha=a, fit_intercept=False)
ridge.fit(X, y)
coefs.append(ridge.coef_)
显示结果#
ax = plt.gca()
ax.plot(alphas, coefs)
ax.set_xscale("log")
ax.set_xlim(ax.get_xlim()[::-1]) # reverse axis
plt.xlabel("alpha")
plt.ylabel("weights")
plt.title("Ridge coefficients as a function of the regularization")
plt.axis("tight")
plt.show()
脚本总运行时间:(0 分钟 0.369 秒)
相关示例
岭回归系数作为 L2 正则化函数的图像
HuberRegressor 与 Ridge 在具有强异常值的数据集上的比较
HuberRegressor 与 Ridge 在具有强异常值的数据集上的比较
线性模型系数解释中的常见陷阱
使用 LARS 的 Lasso 路径