KernelRidge#
- class sklearn.kernel_ridge.KernelRidge(alpha=1, *, kernel='linear', gamma=None, degree=3, coef0=1, kernel_params=None)[source]#
核岭回归。
核岭回归 (KRR) 将岭回归(带 L2 范数正则化的线性最小二乘)与核技巧相结合。因此,它在由相应核和数据诱导的空间中学习一个线性函数。对于非线性核,这对应于原始空间中的非线性函数。
KRR 学习的模型形式与支持向量回归 (SVR) 相同。然而,它们使用了不同的损失函数:KRR 使用平方误差损失,而支持向量回归使用 epsilon-不敏感损失,两者都结合了 L2 正则化。与 SVR 相比,KRR 模型可以以闭合形式拟合,并且对于中等大小的数据集通常更快。另一方面,KRR 学习的模型是非稀疏的,因此在预测时比 SVR 慢,因为 SVR 在 epsilon > 0 时学习稀疏模型。
此估计器内置支持多变量回归(即,当 y 是形状为 [n_samples, n_targets] 的 2D 数组时)。
在用户指南中阅读更多内容。
- 参数:
- alpha浮点数或形状为 (n_targets,) 的类数组,默认值=1.0
正则化强度;必须是正浮点数。正则化改善了问题的条件性并降低了估计值的方差。值越大表示正则化强度越大。Alpha 对应于其他线性模型(如
LogisticRegression
或LinearSVC
)中的1 / (2C)
。如果传入一个数组,则假定惩罚是针对特定目标的。因此,它们的数量必须对应。有关公式,请参阅岭回归和分类。- kernel字符串或可调用对象,默认值=”linear”
内部使用的核映射。此参数直接传递给
pairwise_kernels
。如果kernel
是一个字符串,它必须是pairwise.PAIRWISE_KERNEL_FUNCTIONS
中的度量之一或“precomputed”。如果kernel
是“precomputed”,则假定 X 是一个核矩阵。另外,如果kernel
是一个可调用函数,它将对每对实例(行)调用,并记录结果值。该可调用函数应以 X 中的两行为输入,并返回相应的核值作为单个数字。这意味着不允许使用sklearn.metrics.pairwise
中的可调用函数,因为它们对矩阵而不是单个样本进行操作。请改用标识核的字符串。- gamma浮点数,默认值=None
RBF、拉普拉斯、多项式、指数 chi2 和 sigmoid 核的 Gamma 参数。默认值的解释取决于核;请参阅 sklearn.metrics.pairwise 的文档。其他核会忽略此参数。
- degree浮点数,默认值=3
多项式核的次数。其他核会忽略此参数。
- coef0浮点数,默认值=1
多项式和 sigmoid 核的零系数。其他核会忽略此参数。
- kernel_params字典,默认值=None
作为可调用对象传递的核函数的附加参数(关键字参数)。
- 属性:
- dual_coef_形状为 (n_samples,) 或 (n_samples, n_targets) 的 ndarray
核空间中权重向量的表示
- X_fit_形状为 (n_samples, n_features) 的 {ndarray, 稀疏矩阵}
训练数据,预测时也需要。如果 kernel == “precomputed”,则这是预计算的训练矩阵,形状为 (n_samples, n_samples)。
- n_features_in_整型
在拟合期间看到的特征数量。
0.24 版本新增。
- feature_names_in_形状为 (
n_features_in_
,) 的 ndarray 在拟合期间看到的特征名称。仅当
X
的特征名称都是字符串时才定义。1.0 版本新增。
另请参阅
sklearn.gaussian_process.GaussianProcessRegressor
高斯过程回归器,提供自动核超参数调优和预测不确定性。
sklearn.linear_model.Ridge
线性岭回归。
sklearn.linear_model.RidgeCV
内置交叉验证的岭回归。
sklearn.svm.SVR
支持向量回归,支持多种核函数。
参考文献
Kevin P. Murphy “Machine Learning: A Probabilistic Perspective”,麻省理工学院出版社,第 14.4.3 章,第 492-493 页
示例
>>> from sklearn.kernel_ridge import KernelRidge >>> import numpy as np >>> n_samples, n_features = 10, 5 >>> rng = np.random.RandomState(0) >>> y = rng.randn(n_samples) >>> X = rng.randn(n_samples, n_features) >>> krr = KernelRidge(alpha=1.0) >>> krr.fit(X, y) KernelRidge(alpha=1.0)
- fit(X, y, sample_weight=None)[source]#
拟合核岭回归模型。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组,稀疏矩阵}
训练数据。如果 kernel == “precomputed”,则这是预计算的核矩阵,形状为 (n_samples, n_samples)。
- y形状为 (n_samples,) 或 (n_samples, n_targets) 的类数组
目标值。
- sample_weight浮点数或形状为 (n_samples,) 的类数组,默认值=None
每个样本的单独权重,如果传入 None 则忽略。
- 返回:
- self对象
返回实例本身。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查看用户指南以了解路由机制的工作原理。
- 返回:
- routingMetadataRequest
一个封装路由信息的
MetadataRequest
对象。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deep布尔值,默认值=True
如果为 True,将返回此估计器及其包含的作为估计器的子对象的参数。
- 返回:
- params字典
参数名称及其对应值的映射。
- predict(X)[source]#
使用核岭模型进行预测。
- 参数:
- X形状为 (n_samples, n_features) 的 {类数组,稀疏矩阵}
样本。如果 kernel == “precomputed”,则这是预计算的核矩阵,形状为 [n_samples, n_samples_fitted],其中 n_samples_fitted 是此估计器拟合中使用的样本数量。
- 返回:
- C形状为 (n_samples,) 或 (n_samples, n_targets) 的 ndarray
返回预测值。
- score(X, y, sample_weight=None)[source]#
返回测试数据上的决定系数。
决定系数\(R^2\)定义为\((1 - \frac{u}{v})\),其中\(u\)是残差平方和
((y_true - y_pred)** 2).sum()
,\(v\)是总平方和((y_true - y_true.mean()) ** 2).sum()
。最佳分数是 1.0,也可能为负(因为模型可能任意差)。一个总是预测y
期望值(不考虑输入特征)的常数模型,将获得 0.0 的\(R^2\)分数。- 参数:
- X形状为 (n_samples, n_features) 的类数组
测试样本。对于某些估计器,这可能是一个预计算的核矩阵,或者是一个通用对象列表,形状为
(n_samples, n_samples_fitted)
,其中n_samples_fitted
是估计器拟合中使用的样本数量。- y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组
X
的真实值。- sample_weight形状为 (n_samples,) 的类数组,默认值=None
样本权重。
- 返回:
- score浮点数
self.predict(X)
相对于y
的\(R^2\)分数。
说明
在回归器上调用
score
时使用的\(R^2\)分数从 0.23 版本开始使用multioutput='uniform_average'
,以与r2_score
的默认值保持一致。这会影响所有多输出回归器(MultiOutputRegressor
除外)的score
方法。
- set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') KernelRidge [source]#
请求传递给
fit
方法的元数据。请注意,此方法仅在
enable_metadata_routing=True
时相关(参阅sklearn.set_config
)。请参阅用户指南以了解路由机制的工作原理。每个参数的选项是
True
:请求元数据,如果提供则传递给fit
。如果未提供元数据,则忽略该请求。False
:不请求元数据,并且元估计器不会将其传递给fit
。None
:不请求元数据,如果用户提供,元估计器将引发错误。str
:元数据应以给定别名而非原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有请求。这允许您更改某些参数的请求而不更改其他参数。1.3 版本新增。
注意
此方法仅在将此估计器用作元估计器的子估计器时相关,例如在
Pipeline
内部使用时。否则它没有效果。- 参数:
- sample_weight字符串,True,False 或 None,默认值=sklearn.utils.metadata_routing.UNCHANGED
fit
方法中sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。
- set_params(**params)[source]#
设置此估计器的参数。
此方法适用于简单估计器以及嵌套对象(例如
Pipeline
)。后者具有<component>__<parameter>
形式的参数,因此可以更新嵌套对象的每个组件。- 参数:
- **params字典
估计器参数。
- 返回:
- self估计器实例
估计器实例。
- set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') KernelRidge [source]#
请求传递给
score
方法的元数据。请注意,此方法仅在
enable_metadata_routing=True
时相关(参阅sklearn.set_config
)。请参阅用户指南以了解路由机制的工作原理。每个参数的选项是
True
:请求元数据,如果提供则传递给score
。如果未提供元数据,则忽略该请求。False
:不请求元数据,并且元估计器不会将其传递给score
。None
:不请求元数据,如果用户提供,元估计器将引发错误。str
:元数据应以给定别名而非原始名称传递给元估计器。
默认值(
sklearn.utils.metadata_routing.UNCHANGED
)保留现有请求。这允许您更改某些参数的请求而不更改其他参数。1.3 版本新增。
注意
此方法仅在将此估计器用作元估计器的子估计器时相关,例如在
Pipeline
内部使用时。否则它没有效果。- 参数:
- sample_weight字符串,True,False 或 None,默认值=sklearn.utils.metadata_routing.UNCHANGED
score
方法中sample_weight
参数的元数据路由。
- 返回:
- self对象
更新后的对象。