使用预计算 Gram 矩阵和加权样本拟合弹性网 (Elastic Net)

以下示例展示了如何在使用 ElasticNet 时预计算 Gram 矩阵，并同时使用加权样本。

如果使用加权样本，在计算 Gram 矩阵之前，必须对设计矩阵进行中心化，并按权重向量的平方根进行重新缩放。

注意

sample_weight 向量也会被重新缩放以使其和为 n_samples，请参阅

fit 方法中 sample_weight 参数的文档。

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

让我们先加载数据集并创建一些样本权重。

import numpy as np

from sklearn.datasets import make_regression

rng = np.random.RandomState(0)

n_samples = int(1e5)
X, y = make_regression(n_samples=n_samples, noise=0.5, random_state=rng)

sample_weight = rng.lognormal(size=n_samples)
# normalize the sample weights
normalized_weights = sample_weight * (n_samples / (sample_weight.sum()))

为了使用 precompute 选项配合样本权重来拟合弹性网，我们必须在计算 Gram 矩阵之前，先对设计矩阵进行中心化，并按归一化后的权重进行重新缩放。

X_offset = np.average(X, axis=0, weights=normalized_weights)
X_centered = X - np.average(X, axis=0, weights=normalized_weights)
X_scaled = X_centered * np.sqrt(normalized_weights)[:, np.newaxis]
gram = np.dot(X_scaled.T, X_scaled)

现在我们可以进行拟合了。我们必须将中心化后的设计矩阵传递给 fit，否则弹性网估计器将检测到它未经过中心化，从而丢弃我们传递的 Gram 矩阵。然而，如果我们直接传递缩放后的设计矩阵，预处理代码会错误地对其进行二次缩放。

from sklearn.linear_model import ElasticNet

lm = ElasticNet(alpha=0.01, precompute=gram)
lm.fit(X_centered, y, sample_weight=normalized_weights)

ElasticNet(alpha=0.01,
           precompute=array([[ 9.98809919e+04, -4.48938813e+02, -1.03237920e+03, ...,
        -2.25349312e+02, -3.53959628e+02, -1.67451144e+02],
       [-4.48938813e+02,  1.00768662e+05,  1.19112072e+02, ...,
        -1.07963978e+03,  7.47987268e+01, -5.76195467e+02],
       [-1.03237920e+03,  1.19112072e+02,  1.00393284e+05, ...,
        -3.07582983e+02,  6.66670169e+02,  2.65799352e+02],
       ...,
       [-2.25349312e+02, -1.07963978e+03, -3.07582983e+02, ...,
         9.99891212e+04, -4.58195950e+02, -1.58667835e+02],
       [-3.53959628e+02,  7.47987268e+01,  6.66670169e+02, ...,
        -4.58195950e+02,  9.98350372e+04,  5.60836363e+02],
       [-1.67451144e+02, -5.76195467e+02,  2.65799352e+02, ...,
        -1.58667835e+02,  5.60836363e+02,  1.00911944e+05]],
      shape=(100, 100)))

在 Jupyter 环境中，请重新运行此单元格以显示 HTML 表示形式或信任 notebook。
在 GitHub 上，HTML 表示形式无法渲染，请尝试使用 nbviewer.org 加载此页面。

相关示例

SVM：加权样本

SVM：加权样本

开发符合元数据路由规则的评估器

开发符合元数据路由规则的评估器

SGD：加权样本

SGD：加权样本

最近邻回归

最近邻回归