多层感知器分类器#

class sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100,), activation='relu', *, solver='adam', alpha=0.0001, batch_size='auto', learning_rate='constant', learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08, n_iter_no_change=10, max_fun=15000)[source]#

多层感知器分类器。

该模型使用LBFGS或随机梯度下降法优化对数损失函数。

0.18版本新增。

参数：
hidden_layer_sizesarray-like of shape(n_layers - 2,), default=(100,)

第i个元素表示第i个隐藏层中的神经元数量。

activation{‘identity’, ‘logistic’, ‘tanh’, ‘relu’}, default=’relu’

隐藏层的激活函数。

  • ‘identity’，无操作激活函数，用于实现线性瓶颈，返回f(x) = x。

  • ‘logistic’，逻辑sigmoid函数，返回f(x) = 1 / (1 + exp(-x))。

  • ‘tanh’，双曲正切函数，返回f(x) = tanh(x)。

  • ‘relu’，修正线性单元函数，返回f(x) = max(0, x)。

solver{‘lbfgs’, ‘sgd’, ‘adam’}, default=’adam’

权重优化的求解器。

  • ‘lbfgs’是拟牛顿法家族中的一个优化器。

  • ‘sgd’指随机梯度下降。

  • ‘adam’指Kingma, Diederik和Jimmy Ba提出的基于随机梯度的优化器。

关于Adam优化器和SGD的比较，请参见比较MLPClassifier的随机学习策略。

注意：默认求解器“adam”在训练时间和验证分数方面，在大数据集（数千个或更多训练样本）上运行良好。但是，对于小型数据集，“lbfgs”可以更快收敛并获得更好的性能。

alphafloat, default=0.0001

L2正则化项的强度。L2正则化项在添加到损失函数时除以样本大小。

关于不同正则化的使用示例和可视化，请参见多层感知器中的不同正则化。

batch_sizeint, default=’auto’

随机优化器的最小批次大小。如果求解器为“lbfgs”，则分类器将不使用最小批次。当设置为“auto”时，batch_size=min(200, n_samples)。

learning_rate{‘constant’, ‘invscaling’, ‘adaptive’}, default=’constant’

权重更新的学习率调度。

  • ‘constant’是‘learning_rate_init’给出的常数学习率。

  • ‘invscaling’使用‘power_t’的逆比例指数在每个时间步长‘t’逐渐降低学习率。effective_learning_rate = learning_rate_init / pow(t, power_t)

  • ‘adaptive’保持学习率为‘learning_rate_init’常数，只要训练损失持续下降。每次连续两个时期未能至少减少tol的训练损失，或者如果开启了‘early_stopping’，未能至少增加tol的验证分数，当前学习率将除以5。

仅在solver='sgd'时使用。

learning_rate_initfloat, default=0.001

使用的初始学习率。它控制更新权重的步长。仅当solver='sgd'或'adam'时使用。

power_tfloat, default=0.5

逆比例学习率的指数。当learning_rate设置为‘invscaling’时，它用于更新有效学习率。仅当solver='sgd'时使用。

max_iterint, default=200

最大迭代次数。求解器迭代直到收敛（由“tol”确定）或达到此迭代次数。对于随机求解器（'sgd'，'adam'），请注意，这决定了时期数（每个数据点将被使用多少次），而不是梯度步数。

shufflebool, default=True

是否在每次迭代中打乱样本。仅当solver='sgd'或'adam'时使用。

random_stateint，RandomState 实例，默认值=None

确定权重和偏差初始化的随机数生成、如果使用提前停止则进行训练测试分割，以及当 solver='sgd' 或 'adam' 时的批量采样。传递一个整数以在多次函数调用中获得可重复的结果。参见 词汇表。

tolfloat，默认值=1e-4

优化的容差。当损失或分数在连续 n_iter_no_change 次迭代中至少没有改进 tol 时，除非 learning_rate 设置为 'adaptive'，否则认为达到收敛并停止训练。

verbosebool，默认值=False

是否将进度消息打印到标准输出。

warm_startbool，默认值=False

设置为 True 时，重用先前对 fit 的调用的解决方案作为初始化，否则，只擦除先前的解决方案。参见 词汇表。

momentumfloat，默认值=0.9

梯度下降更新的动量。应在 0 和 1 之间。仅当 solver='sgd' 时使用。

nesterovs_momentumbool，默认值=True

是否使用 Nesterov 的动量。仅当 solver='sgd' 且 momentum > 0 时使用。

early_stoppingbool，默认值=False

是否使用提前停止，当验证分数没有提高时终止训练。如果设置为 true，它将自动留出 10% 的训练数据作为验证集，并在连续 n_iter_no_change 个 epochs 验证分数没有改进至少 tol 时终止训练。分割是分层的，除了多标签设置。如果提前停止为 False，则当训练损失在连续 n_iter_no_change 次遍历训练集后没有改善超过 tol 时，训练停止。仅当 solver='sgd' 或 'adam' 时有效。

validation_fractionfloat，默认值=0.1

留作验证集以进行提前停止的训练数据的比例。必须在 0 和 1 之间。仅当 early_stopping 为 True 时使用。

beta_1float，默认值=0.9

adam 中第一矩向量估计的指数衰减率，应在 [0, 1) 中。仅当 solver='adam' 时使用。

beta_2float，默认值=0.999

adam 中第二矩向量估计的指数衰减率，应在 [0, 1) 中。仅当 solver='adam' 时使用。

epsilonfloat，默认值=1e-8

adam 中数值稳定性的值。仅当 solver='adam' 时使用。

n_iter_no_changeint，默认值=10

未达到 tol 改善的最大 epoch 数。仅当 solver='sgd' 或 'adam' 时有效。

在 0.20 版中添加。

max_funint，默认值=15000

仅当 solver='lbfgs' 时使用。损失函数调用的最大次数。求解器迭代直到收敛（由 'tol' 确定），迭代次数达到 max_iter，或此损失函数调用次数。请注意，对于 MLPClassifier，损失函数调用的次数将大于或等于迭代次数。

在 0.22 版中添加。

属性：
classes_ndarray 或形状为 (n_classes,) 的 ndarray 列表

每个输出的类别标签。

loss_float

使用损失函数计算的当前损失。

best_loss_float 或 None

求解器在整个拟合过程中达到的最小损失。如果 early_stopping=True，则此属性设置为 None。请改用拟合属性 best_validation_score_。

loss_curve_形状为 (n_iter_,) 的列表

列表中的第 i 个元素表示第 i 次迭代时的损失。

validation_scores_形状为 (n_iter_,) 的列表或 None

每次迭代在保留的验证集上的分数。报告的分数是准确性分数。仅当 early_stopping=True 时可用，否则属性设置为 None。

best_validation_score_float 或 None

触发提前停止的最佳验证分数（即准确性分数）。仅当 early_stopping=True 时可用，否则属性设置为 None。

t_int

求解器在拟合过程中看到的训练样本数。

coefs_形状为 (n_layers - 1,) 的列表

列表中的第 i 个元素表示对应于第 i 层的权重矩阵。

intercepts_形状为 (n_layers - 1,) 的列表

列表中的第 i 个元素表示对应于第 i + 1 层的偏差向量。

n_features_in_int

在 拟合期间看到的特征数。

在 0.24 版中添加。

feature_names_in_形状为 (n_features_in_,) 的 ndarray

在 拟合期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时定义。

在 1.0 版中添加。

n_iter_int

求解器运行的迭代次数。

n_layers_int

层数。

n_outputs_int

输出数。

out_activation_str

输出激活函数的名称。

另见

多层感知器回归器 (MLPRegressor)

多层感知器回归器。

伯努利受限玻尔兹曼机 (BernoulliRBM)

伯努利受限玻尔兹曼机 (RBM)。

备注

MLPClassifier 迭代地进行训练，因为在每个时间步长，都会计算损失函数相对于模型参数的偏导数来更新参数。

它还可以向损失函数添加正则化项，以缩小模型参数以防止过度拟合。

此实现适用于表示为密集 numpy 数组或稀疏 scipy 浮点值数组的数据。

参考文献

Hinton，Geoffrey E。“连接主义学习程序。”人工智能 40.1（1989）：185-234。

Glorot，Xavier 和 Yoshua Bengio。“理解训练深度前馈神经网络的难度。”国际人工智能与统计会议。2010 年。

He，Kaiming 等（2015）。“深入整流器：在 ImageNet 分类上超越人类水平的性能。”

Kingma，Diederik 和 Jimmy Ba（2014）“Adam：一种随机优化方法。”

示例

>>> from sklearn.neural_network import MLPClassifier
>>> from sklearn.datasets import make_classification
>>> from sklearn.model_selection import train_test_split
>>> X, y = make_classification(n_samples=100, random_state=1)
>>> X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y,
...                                                     random_state=1)
>>> clf = MLPClassifier(random_state=1, max_iter=300).fit(X_train, y_train)
>>> clf.predict_proba(X_test[:1])
array([[0.038..., 0.961...]])
>>> clf.predict(X_test[:5, :])
array([1, 0, 1, 0, 1])
>>> clf.score(X_test, y_test)
0.8...
fit(X, y)[source]#

将模型拟合到数据矩阵 X 和目标值 y。

参数：
X形状为 (n_samples, n_features) 的 ndarray 或稀疏矩阵

输入数据。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的 ndarray

目标值（分类中的类别标签，回归中的实数）。

返回值：
self对象

返回一个训练好的MLP模型。

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请查看用户指南，了解路由机制的工作原理。

返回值：
routingMetadataRequest

一个MetadataRequest，封装了路由信息。

get_params(deep=True)[源代码]#

获取此估计器的参数。

参数：
deep布尔值，默认为True

如果为True，则将返回此估计器及其包含的子对象（也是估计器）的参数。

返回值：
params字典

参数名称与其值的映射。

partial_fit(X, y, classes=None)[源代码]#

使用给定数据进行单次迭代来更新模型。

参数：
X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}

输入数据。

y形状为 (n_samples,) 的类数组

目标值。

classes形状为 (n_classes,) 的数组，默认为 None

对所有对 partial_fit 的调用进行分类。可以通过 np.unique(y_all) 获得，其中 y_all 是整个数据集的目标向量。此参数对于第一次调用 partial_fit 是必需的，在后续调用中可以省略。请注意，y 不需要包含 classes 中的所有标签。

返回值：
self对象

训练好的MLP模型。

predict(X)[源代码]#

使用多层感知器分类器进行预测。

参数：
X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}

输入数据。

返回值：
yndarray，形状为 (n_samples,) 或 (n_samples, n_classes)

预测的类别。

predict_log_proba(X)[源代码]#

返回概率估计的对数。

参数：
X形状为 (n_samples, n_features) 的ndarray

输入数据。

返回值：
log_y_prob形状为 (n_samples, n_classes) 的ndarray

模型中每个类别的样本预测对数概率，其中类别按其在 self.classes_ 中的顺序排列。等同于 log(predict_proba(X))。

predict_proba(X)[源代码]#

概率估计。

参数：
X形状为 (n_samples, n_features) 的 {类数组，稀疏矩阵}

输入数据。

返回值：
y_prob形状为 (n_samples, n_classes) 的ndarray

模型中每个类别的样本预测概率，其中类别按其在 self.classes_ 中的顺序排列。

score(X, y, sample_weight=None)[源代码]#

返回给定测试数据和标签的平均准确率。

在多标签分类中，这是子集准确率，这是一个严格的指标，因为您要求每个样本的每个标签集都必须被正确预测。

参数：
X形状为 (n_samples, n_features) 的类数组

测试样本。

y形状为 (n_samples,) 或 (n_samples, n_outputs) 的类数组

X 的真实标签。

sample_weight形状为 (n_samples,) 的类数组，默认为 None

样本权重。

返回值：
score浮点数

self.predict(X) 关于 y 的平均准确率。

set_params(**params)[源代码]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（例如 Pipeline）。后者具有 <component>__<parameter> 形式的参数，因此可以更新嵌套对象的每个组件。

参数：
**params字典

估计器参数。

返回值：
self估计器实例

估计器实例。

set_partial_fit_request(*, classes: bool | None | str = '$UNCHANGED$') → MLPClassifier[source]#

向partial_fit方法请求元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config）此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则将其传递给partial_fit。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给partial_fit。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而无需更改其他参数。

版本 1.3 中新增。

注意

仅当将此估计器用作元估计器的子估计器时（例如，在Pipeline内部使用）此方法才相关。否则，它没有任何效果。

参数：
classesstr, True, False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

partial_fit中classes参数的元数据路由。

返回值：
self对象

更新后的对象。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → MLPClassifier[source]#

向score方法请求元数据。

请注意，只有在enable_metadata_routing=True时（参见sklearn.set_config）此方法才相关。请参阅用户指南，了解路由机制的工作原理。

每个参数的选项如下：

  • True：请求元数据，如果提供则将其传递给score。如果未提供元数据，则忽略请求。

  • False：不请求元数据，元估计器不会将其传递给score。

  • None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

  • str：元数据应使用此给定的别名而不是原始名称传递给元估计器。

默认值（sklearn.utils.metadata_routing.UNCHANGED）保留现有的请求。这允许您更改某些参数的请求，而无需更改其他参数。

版本 1.3 中新增。

注意

仅当将此估计器用作元估计器的子估计器时（例如，在Pipeline内部使用）此方法才相关。否则，它没有任何效果。

参数：
sample_weightstr, True, False 或 None，默认为 sklearn.utils.metadata_routing.UNCHANGED

score中sample_weight参数的元数据路由。

返回值：
self对象

更新后的对象。