多层感知器回归器#

class sklearn.neural_network.MLPRegressor(hidden_layer_sizes=(100,), activation='relu', *, solver='adam', alpha=0.0001, batch_size='auto', learning_rate='constant', learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08, n_iter_no_change=10, max_fun=15000)[source]#

多层感知器回归器。

该模型使用LBFGS或随机梯度下降法优化平方误差。

0.18版本新增。

参数：

hidden_layer_sizesarray-like of shape(n_layers - 2,), default=(100,)

第i个元素表示第i个隐藏层中的神经元数量。

activation{‘identity’, ‘logistic’, ‘tanh’, ‘relu’}, default=’relu’

隐藏层的激活函数。

‘identity’，无操作激活函数，用于实现线性瓶颈，返回f(x) = x。
‘logistic’，逻辑 sigmoid 函数，返回f(x) = 1 / (1 + exp(-x))。
‘tanh’，双曲正切函数，返回f(x) = tanh(x)。
‘relu’，修正线性单元函数，返回f(x) = max(0, x)。

solver{‘lbfgs’, ‘sgd’, ‘adam’}, default=’adam’

权重优化的求解器。

‘lbfgs’ 是拟牛顿法家族中的一个优化器。
‘sgd’ 指的是随机梯度下降。
‘adam’ 指的是Kingma, Diederik和Jimmy Ba提出的基于随机梯度的优化器。

关于Adam优化器和SGD的比较，请参见比较MLPClassifier的随机学习策略。

注意：默认求解器“adam”在相对较大的数据集（具有数千个或更多训练样本）上，在训练时间和验证分数方面都表现得相当好。但是，对于小型数据集，“lbfgs”可以更快收敛并表现更好。

alphafloat, default=0.0001

L2正则化项的强度。L2正则化项在添加到损失时除以样本大小。

batch_sizeint, default=’auto’

随机优化器的minibatches大小。如果求解器是'lbfgs'，则回归器将不使用minibatch。当设置为“auto”时，batch_size=min(200, n_samples)。

learning_rate{‘constant’, ‘invscaling’, ‘adaptive’}, default=’constant’

权重更新的学习率调度。

‘constant’ 是由 ‘learning_rate_init’ 给出的常数学习率。
‘invscaling’ 使用 ‘power_t’ 的逆缩放指数，在每个时间步长 ‘t’ 逐渐降低学习率 learning_rate_。effective_learning_rate = learning_rate_init / pow(t, power_t)
‘adaptive’ 保持学习率常数为 ‘learning_rate_init’，只要训练损失持续下降。每次连续两个时期未能至少降低 tol 的训练损失，或者如果启用了 ‘early_stopping’ ，未能至少提高 tol 的验证分数时，当前学习率将除以 5。

仅在 solver='sgd' 时使用。

learning_rate_initfloat, default=0.001

使用的初始学习率。它控制更新权重的步长。仅在 solver='sgd' 或 'adam' 时使用。

power_tfloat, default=0.5

逆缩放学习率的指数。当 learning_rate 设置为 'invscaling' 时，它用于更新有效学习率。仅在 solver='sgd' 时使用。

max_iterint, default=200

最大迭代次数。求解器会迭代直到收敛（由‘tol’确定）或达到此迭代次数。对于随机求解器（‘sgd’，‘adam’），请注意，这决定的是时期数（每个数据点将被使用多少次），而不是梯度步数。

shufflebool，默认值=True

是否在每次迭代中打乱样本。仅当solver='sgd'或'adam'时使用。

random_stateint，RandomState 实例，默认值=None

确定权重和偏差初始化的随机数生成、如果使用提前停止则进行训练测试分割，以及当solver='sgd'或'adam'时的批次采样。传递一个整数以在多次函数调用中获得可重复的结果。参见术语表。

tolfloat，默认值=1e-4

优化的容差。当损失或分数在连续 n_iter_no_change 次迭代中没有至少改进 tol 时，除非 learning_rate 设置为‘adaptive’，则认为达到收敛并停止训练。

verbosebool，默认值=False

是否将进度消息打印到标准输出。

warm_startbool，默认值=False

设置为 True 时，重用先前对 fit 的调用的解决方案作为初始化，否则，只需擦除先前的解决方案。参见术语表。

momentumfloat，默认值=0.9

梯度下降更新的动量。应在 0 和 1 之间。仅当 solver='sgd' 时使用。

nesterovs_momentumbool，默认值=True

是否使用 Nesterov 动量。仅当 solver='sgd' 且 momentum > 0 时使用。

early_stoppingbool，默认值=False

是否使用提前停止，当验证分数没有提高时终止训练。如果设置为 True，它将自动将 validation_fraction 的训练数据作为验证集，并在连续 n_iter_no_change 个时期内验证分数没有至少提高 tol 时终止训练。仅当 solver='sgd' 或 'adam' 时有效。

validation_fractionfloat，默认值=0.1

留作验证集用于提前停止的训练数据的比例。必须在 0 和 1 之间。仅当 early_stopping 为 True 时使用。

beta_1float，默认值=0.9

adam 中第一矩向量估计的指数衰减率，应在 [0, 1) 中。仅当 solver='adam' 时使用。

beta_2float，默认值=0.999

adam 中第二矩向量估计的指数衰减率，应在 [0, 1) 中。仅当 solver='adam' 时使用。

epsilonfloat，默认值=1e-8

adam 中数值稳定性的值。仅当 solver='adam' 时使用。

n_iter_no_changeint，默认值=10

未达到 tol 改进的最大时期数。仅当 solver='sgd' 或 'adam' 时有效。

在 0.20 版本中添加。

max_funint，默认值=15000

仅当 solver='lbfgs' 时使用。最大函数调用次数。求解器会迭代直到收敛（由 tol 确定）、迭代次数达到 max_iter 或此函数调用次数。请注意，对于 MLPRegressor，函数调用次数将大于或等于迭代次数。

在 0.22 版本中添加。

属性:

loss_float: 使用损失函数计算的当前损失。
best_loss_float: 求解器在整个拟合过程中达到的最小损失。如果 early_stopping=True，则此属性设置为 None。请改用拟合属性 best_validation_score_。仅当 solver='sgd' 或 'adam' 时可访问。
loss_curve_形状为 (n_iter_,) 的列表: 在每个训练步骤结束时计算的损失值。列表中的第 i 个元素表示第 i 次迭代时的损失。仅当 solver='sgd' 或 'adam' 时可访问。
validation_scores_形状为 (n_iter_,) 的列表或 None: 每次迭代在保留的验证集上的分数。报告的分数是 R2 分数。仅当 early_stopping=True 时可用，否则属性设置为 None。仅当 solver='sgd' 或 'adam' 时可访问。
best_validation_score_float 或 None: 触发提前停止的最佳验证分数（即 R2 分数）。仅当 early_stopping=True 时可用，否则属性设置为 None。仅当 solver='sgd' 或 'adam' 时可访问。
t_int: 求解器在拟合过程中看到的训练样本数。数学上等于 n_iters * X.shape[0]，表示 time_step，由优化器的学习率调度器使用。
coefs_形状为 (n_layers - 1,) 的列表: 列表中的第 i 个元素表示对应于第 i 层的权重矩阵。
intercepts_形状为 (n_layers - 1,) 的列表: 列表中的第 i 个元素表示对应于第 i + 1 层的偏差向量。
n_features_in_int: 在拟合期间看到的特征数量。

在 0.24 版本中添加。
feature_names_in_形状为 (n_features_in_,) 的 ndarray: 在拟合期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时定义。

在 1.0 版本中添加。
n_iter_int: 求解器运行的迭代次数。
n_layers_int: 层数。
n_outputs_int: 输出数量。
out_activation_str: 输出激活函数的名称。

另请参见

伯努利受限玻尔兹曼机 (BernoulliRBM): 伯努利受限玻尔兹曼机 (RBM)。
多层感知器分类器 (MLPClassifier): 多层感知器分类器。
sklearn.linear_model.SGDRegressor: 通过使用 SGD 最小化正则化经验损失来拟合的线性模型。

备注

MLPRegressor 迭代式训练，因为在每个时间步长都会计算损失函数相对于模型参数的偏导数以更新参数。

它还可以向损失函数添加正则化项，以缩小模型参数以防止过拟合。

此实现适用于表示为密集和稀疏浮点值 numpy 数组的数据。

参考文献

Hinton, Geoffrey E. “Connectionist learning procedures.” Artificial intelligence 40.1 (1989): 185-234。

Glorot, Xavier, and Yoshua Bengio. “Understanding the difficulty of training deep feedforward neural networks.” International Conference on Artificial Intelligence and Statistics. 2010。

He, Kaiming 等 (2015)。“深入探究整流器：在 ImageNet 分类任务上超越人类水平的性能。”

Kingma, Diederik 和 Jimmy Ba (2014) “Adam：一种随机优化方法。”

示例

>>> from sklearn.neural_network import MLPRegressor
>>> from sklearn.datasets import make_regression
>>> from sklearn.model_selection import train_test_split
>>> X, y = make_regression(n_samples=200, n_features=20, random_state=1)
>>> X_train, X_test, y_train, y_test = train_test_split(X, y,
...                                                     random_state=1)
>>> regr = MLPRegressor(random_state=1, max_iter=2000, tol=0.1)
>>> regr.fit(X_train, y_train)
MLPRegressor(max_iter=2000, random_state=1, tol=0.1)
>>> regr.predict(X_test[:2])
array([  28..., -290...])
>>> regr.score(X_test, y_test)
0.98...

fit(X, y)[source]#

将模型拟合到数据矩阵 X 和目标值 y。

参数：

X形状为 (n_samples, n_features) 的 ndarray 或稀疏矩阵: 输入数据。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray: 目标值（分类中的类别标签，回归中的实数）。

返回:

self对象: 返回一个训练好的 MLP 模型。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回:

routingMetadataRequest: 一个 MetadataRequest 封装了路由信息。

get_params(deep=True)[source]#

获取此估计器的参数。

参数：

deep布尔值，默认为 True: 如果为 True，则将返回此估计器和包含的作为估计器的子对象的参数。

返回:

params字典: 参数名称与其值的映射。

partial_fit(X, y)[source]#

使用给定数据的一次迭代更新模型。

参数：

X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}: 输入数据。
y形状为 (n_samples,) 的 ndarray: 目标值。

返回:

self对象: 训练好的 MLP 模型。

predict(X)[source]#

使用多层感知器模型进行预测。

参数：

X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}: 输入数据。

返回:

y形状为 (n_samples, n_outputs) 的 ndarray: 预测值。

score(X, y, sample_weight=None)[source]#

返回预测的决定系数。

决定系数 $R^2$ 定义为 $(1 - \frac{u}{v})$，其中 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum()，而 $v$ 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最佳分数为 1.0，也可能为负值（因为模型可能任意差）。一个始终预测 y 期望值的常数模型，忽略输入特征，其 $R^2$ 分数为 0.0。

参数：

X形状为 (n_samples, n_features) 的类数组: 测试样本。对于某些估计器，这可能是一个预先计算的核矩阵，或者是一个形状为 (n_samples, n_samples_fitted) 的泛型对象列表，其中 n_samples_fitted 是估计器拟合中使用的样本数。
y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组: X 的真实值。
sample_weight形状为 (n_samples,) 的类数组，默认为 None: 样本权重。

返回:

score浮点数: self.predict(X) 相对于 y 的 $R^2$。

备注

从 0.23 版本开始，在回归器上调用 score 时使用的 $R^2$ 分数使用 multioutput='uniform_average'，以保持与 r2_score 的默认值一致。这会影响所有多输出回归器的 score 方法（MultiOutputRegressor 除外）。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：

**params**dict: 估计器参数。

返回:

selfestimator instance: 估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → MLPRegressor[source]#

请求传递给 score 方法的元数据。

请注意，只有当 enable_metadata_routing=True 时（参见 sklearn.set_config），此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项为：

True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略请求。
False：不请求元数据，元估计器不会将其传递给 score。
None：不请求元数据，如果用户提供元数据，元估计器将引发错误。
str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而其他参数则不变。

版本 1.3 中新增。

注意

只有当此估计器用作元估计器的子估计器时（例如，在 Pipeline 中使用），此方法才相关。否则，它没有效果。

参数：

sample_weightstr, True, False, 或 None, 默认值=sklearn.utils.metadata_routing.UNCHANGED: score 中 sample_weight 参数的元数据路由。

返回:

self对象: 更新后的对象。

图库示例#

时间相关的特征工程

部分依赖和个体条件期望图

使用部分依赖的高级绘图