为成本敏感学习后调优决策阈值#
训练分类器后，predict 方法的输出对应于 decision_function 或 predict_proba 输出的阈值化的类标签预测。对于二元分类器，默认阈值定义为 0.5 的后验概率估计或 0.0 的决策分数。
但是，这种默认策略很可能不是当前任务的最佳策略。在这里，我们使用“Statlog”德国信贷数据集 [1] 来说明一个用例。在这个数据集中，任务是预测一个人是否有“好”或“坏”的信贷。此外，还提供了一个成本矩阵，它指定了误分类的成本。具体来说，将“坏”信贷误分类为“好”的成本平均而言是将“好”信贷误分类为“坏”的成本的五倍。
我们使用 TunedThresholdClassifierCV 来选择决策函数的截止点，该截止点可以最大程度地减少提供的业务成本。
在示例的第二部分，我们通过考虑信用卡交易欺诈检测问题进一步扩展了这种方法：在这种情况下，业务指标取决于每笔单独交易的金额。
参考资料
具有恒定收益和成本的成本敏感学习#
在本节中，我们说明了 TunedThresholdClassifierCV 在混淆矩阵的每个条目相关的收益和成本恒定的成本敏感学习环境中的使用。我们使用 [2] 中提出的问题，使用“Statlog”德国信贷数据集 [1]。
“Statlog”德国信贷数据集#
我们从 OpenML 获取德国信贷数据集。
import sklearn
from sklearn.datasets import fetch_openml
sklearn.set_config(transform_output="pandas")
german_credit = fetch_openml(data_id=31, as_frame=True, parser="pandas")
X, y = german_credit.data, german_credit.target
我们检查 X 中可用的特征类型。
X.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 20 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 checking_status 1000 non-null category
1 duration 1000 non-null int64
2 credit_history 1000 non-null category
3 purpose 1000 non-null category
4 credit_amount 1000 non-null int64
5 savings_status 1000 non-null category
6 employment 1000 non-null category
7 installment_commitment 1000 non-null int64
8 personal_status 1000 non-null category
9 other_parties 1000 non-null category
10 residence_since 1000 non-null int64
11 property_magnitude 1000 non-null category
12 age 1000 non-null int64
13 other_payment_plans 1000 non-null category
14 housing 1000 non-null category
15 existing_credits 1000 non-null int64
16 job 1000 non-null category
17 num_dependents 1000 non-null int64
18 own_telephone 1000 non-null category
19 foreign_worker 1000 non-null category
dtypes: category(13), int64(7)
memory usage: 69.9 KB
许多特征是分类特征，通常使用字符串进行编码。在开发预测模型时，我们需要对这些类别进行编码。让我们检查目标。
y.value_counts()
class
good 700
bad 300
Name: count, dtype: int64
另一个观察结果是数据集不平衡。在评估预测模型时，我们需要小心，并使用适合这种设置的一系列指标。
此外，我们观察到目标是使用字符串进行编码的。一些指标（例如精度和召回率）需要提供感兴趣的标签，也称为“正标签”。在这里，我们定义我们的目标是预测样本是否是“坏”信贷。
pos_label, neg_label = "bad", "good"
为了进行分析，我们使用单个分层拆分来拆分数据集。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)
我们已准备好设计预测模型和相关的评估策略。
评估指标#
在本节中，我们定义了一组指标，我们将在后面使用它们。为了查看调整截止点的影响，我们使用接收者操作特征 (ROC) 曲线和精度-召回率曲线来评估预测模型。因此，这些图上报告的值是真阳性率 (TPR)，也称为召回率或灵敏度，以及假阳性率 (FPR)，也称为特异度，用于 ROC 曲线，以及精度和召回率，用于精度-召回率曲线。
从这四个指标中，scikit-learn 没有为 FPR 提供评分器。因此，我们需要定义一个小的自定义函数来计算它。
from sklearn.metrics import confusion_matrix
def fpr_score(y, y_pred, neg_label, pos_label):
cm = confusion_matrix(y, y_pred, labels=[neg_label, pos_label])
tn, fp, _, _ = cm.ravel()
tnr = tn / (tn + fp)
return 1 - tnr
如前所述，“正标签”未定义为值“1”，并且使用此非标准值调用某些指标会导致错误。我们需要向指标提供“正标签”的指示。
因此，我们需要使用 make_scorer 定义一个 scikit-learn 评分器，其中传递信息。我们将所有自定义评分器存储在字典中。要使用它们，我们需要传递拟合模型、数据和我们想要评估预测模型的目标。
from sklearn.metrics import make_scorer, precision_score, recall_score
tpr_score = recall_score # TPR and recall are the same metric
scoring = {
"precision": make_scorer(precision_score, pos_label=pos_label),
"recall": make_scorer(recall_score, pos_label=pos_label),
"fpr": make_scorer(fpr_score, neg_label=neg_label, pos_label=pos_label),
"tpr": make_scorer(tpr_score, pos_label=pos_label),
}
此外，原始研究 [1] 定义了一个自定义业务指标。我们将“业务指标”定义为任何旨在量化预测（正确或错误）可能如何影响将给定机器学习模型部署在特定应用环境中的业务价值的指标函数。对于我们的信贷预测任务，作者提供了一个自定义成本矩阵，该矩阵编码将“坏”信贷分类为“好”的成本平均而言是相反情况的 5 倍：对于金融机构来说，拒绝可能不会违约的潜在客户的信贷（因此错过了原本会偿还信贷并支付利息的好客户）的成本低于向将违约的客户授予信贷的成本。
我们定义一个 Python 函数来加权混淆矩阵并返回总成本。
import numpy as np
def credit_gain_score(y, y_pred, neg_label, pos_label):
cm = confusion_matrix(y, y_pred, labels=[neg_label, pos_label])
# The rows of the confusion matrix hold the counts of observed classes
# while the columns hold counts of predicted classes. Recall that here we
# consider "bad" as the positive class (second row and column).
# Scikit-learn model selection tools expect that we follow a convention
# that "higher" means "better", hence the following gain matrix assigns
# negative gains (costs) to the two kinds of prediction errors:
# - a gain of -1 for each false positive ("good" credit labeled as "bad"),
# - a gain of -5 for each false negative ("bad" credit labeled as "good"),
# The true positives and true negatives are assigned null gains in this
# metric.
#
# Note that theoretically, given that our model is calibrated and our data
# set representative and large enough, we do not need to tune the
# threshold, but can safely set it to the cost ration 1/5, as stated by Eq.
# (2) in Elkan paper [2]_.
gain_matrix = np.array(
[
[0, -1], # -1 gain for false positives
[-5, 0], # -5 gain for false negatives
]
)
return np.sum(cm * gain_matrix)
scoring["cost_gain"] = make_scorer(
credit_gain_score, neg_label=neg_label, pos_label=pos_label
)
普通预测模型#
我们使用 HistGradientBoostingClassifier 作为本机处理分类特征和缺失值的预测模型。
from sklearn.ensemble import HistGradientBoostingClassifier
model = HistGradientBoostingClassifier(
categorical_features="from_dtype", random_state=0
).fit(X_train, y_train)
model
我们使用 ROC 和精度-召回率曲线来评估预测模型的性能。
import matplotlib.pyplot as plt
from sklearn.metrics import PrecisionRecallDisplay, RocCurveDisplay
fig, axs = plt.subplots(nrows=1, ncols=2, figsize=(14, 6))
PrecisionRecallDisplay.from_estimator(
model, X_test, y_test, pos_label=pos_label, ax=axs[0], name="GBDT"
)
axs[0].plot(
scoring["recall"](model, X_test, y_test),
scoring["precision"](model, X_test, y_test),
marker="o",
markersize=10,
color="tab:blue",
label="Default cut-off point at a probability of 0.5",
)
axs[0].set_title("Precision-Recall curve")
axs[0].legend()
RocCurveDisplay.from_estimator(
model,
X_test,
y_test,
pos_label=pos_label,
ax=axs[1],
name="GBDT",
plot_chance_level=True,
)
axs[1].plot(
scoring["fpr"](model, X_test, y_test),
scoring["tpr"](model, X_test, y_test),
marker="o",
markersize=10,
color="tab:blue",
label="Default cut-off point at a probability of 0.5",
)
axs[1].set_title("ROC curve")
axs[1].legend()
_ = fig.suptitle("Evaluation of the vanilla GBDT model")
我们记得这些曲线提供了对不同截止点下预测模型统计性能的见解。对于精度-召回率曲线，报告的指标是精度和召回率，而对于 ROC 曲线，报告的指标是 TPR（与召回率相同）和 FPR。
在这里，不同的截止点对应于 0 到 1 之间的不同后验概率估计水平。默认情况下，model.predict 使用概率估计为 0.5 的截止点。此类截止点的指标在曲线上的蓝色点处报告：它对应于使用 model.predict 时模型的统计性能。
但是，我们记得最初的目标是最小化成本（或最大化收益），如业务指标所定义。我们可以计算业务指标的值
print(f"Business defined metric: {scoring['cost_gain'](model, X_test, y_test)}")
Business defined metric: -232
在这个阶段，我们不知道是否有其他截止点可以带来更大的收益。为了找到最佳截止点，我们需要使用业务指标计算所有可能的截止点的成本收益，并选择最佳的。这种策略手动实现起来可能很繁琐，但TunedThresholdClassifierCV 类可以帮助我们。它会自动计算所有可能的截止点的成本收益，并针对scoring进行优化。
调整截止点#
我们使用TunedThresholdClassifierCV 来调整截止点。我们需要提供要优化的业务指标以及正标签。在内部，最佳截止点是通过交叉验证来选择，以最大化业务指标。默认情况下，使用 5 折分层交叉验证。
from sklearn.model_selection import TunedThresholdClassifierCV
tuned_model = TunedThresholdClassifierCV(
estimator=model,
scoring=scoring["cost_gain"],
store_cv_results=True, # necessary to inspect all results
)
tuned_model.fit(X_train, y_train)
print(f"{tuned_model.best_threshold_=:0.2f}")
tuned_model.best_threshold_=0.02
我们绘制了原始模型和调整模型的 ROC 曲线和精确率-召回率曲线。我们还绘制了每个模型将使用的截止点。因为我们稍后会重复使用相同的代码，所以我们定义了一个生成这些图表的函数。
def plot_roc_pr_curves(vanilla_model, tuned_model, *, title):
fig, axs = plt.subplots(nrows=1, ncols=3, figsize=(21, 6))
linestyles = ("dashed", "dotted")
markerstyles = ("o", ">")
colors = ("tab:blue", "tab:orange")
names = ("Vanilla GBDT", "Tuned GBDT")
for idx, (est, linestyle, marker, color, name) in enumerate(
zip((vanilla_model, tuned_model), linestyles, markerstyles, colors, names)
):
decision_threshold = getattr(est, "best_threshold_", 0.5)
PrecisionRecallDisplay.from_estimator(
est,
X_test,
y_test,
pos_label=pos_label,
linestyle=linestyle,
color=color,
ax=axs[0],
name=name,
)
axs[0].plot(
scoring["recall"](est, X_test, y_test),
scoring["precision"](est, X_test, y_test),
marker,
markersize=10,
color=color,
label=f"Cut-off point at probability of {decision_threshold:.2f}",
)
RocCurveDisplay.from_estimator(
est,
X_test,
y_test,
pos_label=pos_label,
linestyle=linestyle,
color=color,
ax=axs[1],
name=name,
plot_chance_level=idx == 1,
)
axs[1].plot(
scoring["fpr"](est, X_test, y_test),
scoring["tpr"](est, X_test, y_test),
marker,
markersize=10,
color=color,
label=f"Cut-off point at probability of {decision_threshold:.2f}",
)
axs[0].set_title("Precision-Recall curve")
axs[0].legend()
axs[1].set_title("ROC curve")
axs[1].legend()
axs[2].plot(
tuned_model.cv_results_["thresholds"],
tuned_model.cv_results_["scores"],
color="tab:orange",
)
axs[2].plot(
tuned_model.best_threshold_,
tuned_model.best_score_,
"o",
markersize=10,
color="tab:orange",
label="Optimal cut-off point for the business metric",
)
axs[2].legend()
axs[2].set_xlabel("Decision threshold (probability)")
axs[2].set_ylabel("Objective score (using cost-matrix)")
axs[2].set_title("Objective score as a function of the decision threshold")
fig.suptitle(title)
title = "Comparison of the cut-off point for the vanilla and tuned GBDT model"
plot_roc_pr_curves(model, tuned_model, title=title)
第一个要点是，两个分类器的 ROC 曲线和精确率-召回率曲线完全相同。这是预期的，因为默认情况下，分类器是在相同的训练数据上拟合的。在后面的部分中，我们将更详细地讨论有关模型重新拟合和交叉验证的可用选项。
第二个要点是，原始模型和调整模型的截止点不同。为了理解为什么调整模型选择了这个截止点，我们可以查看右边的图，该图绘制了目标分数，该分数与我们的业务指标完全相同。我们看到，最佳阈值对应于目标分数的最大值。这个最大值是在比 0.5 低得多的决策阈值下达成的：调整模型在显著降低精确率的情况下享受更高的召回率：调整模型更倾向于将“坏”类标签预测给更大比例的个体。
现在我们可以检查选择这个截止点是否会导致测试集上的分数更高。
print(f"Business defined metric: {scoring['cost_gain'](tuned_model, X_test, y_test)}")
Business defined metric: -134
我们观察到，调整决策阈值几乎将我们的业务收益提高了 2 倍。
关于模型重新拟合和交叉验证的考虑#
在上面的实验中，我们使用了TunedThresholdClassifierCV 的默认设置。特别是，截止点是使用 5 折分层交叉验证进行调整的。此外，一旦选择截止点，底层预测模型就会在整个训练数据上重新拟合。
可以通过提供refit 和cv 参数来更改这两种策略。例如，可以提供一个拟合的estimator 并设置cv="prefit"，在这种情况下，截止点是在拟合时提供的整个数据集上找到的。此外，通过设置refit=False，底层分类器不会被重新拟合。在这里，我们可以尝试进行这样的实验。
model.fit(X_train, y_train)
tuned_model.set_params(cv="prefit", refit=False).fit(X_train, y_train)
print(f"{tuned_model.best_threshold_=:0.2f}")
tuned_model.best_threshold_=0.28
然后，我们使用与之前相同的方法评估我们的模型。
title = "Tuned GBDT model without refitting and using the entire dataset"
plot_roc_pr_curves(model, tuned_model, title=title)
我们观察到，最佳截止点与之前实验中找到的截止点不同。如果我们查看右边的图，我们会发现，对于决策阈值的大范围，业务收益有一个接近最佳的 0 收益的较大平台。这种行为是过度拟合的症状。因为我们禁用了交叉验证，所以我们在模型训练的相同数据集上调整了截止点，这就是观察到的过度拟合的原因。
因此，应该谨慎使用此选项。需要确保在拟合时提供给TunedThresholdClassifierCV 的数据与用于训练底层分类器的數據不同。当想法只是在完全新的验证集上调整预测模型而无需进行昂贵的完整重新拟合时，这种情况有时会发生。
当交叉验证成本过高时，一个可能的替代方法是使用单个训练-测试拆分，方法是向cv 参数提供范围在[0, 1] 内的浮点数。它将数据拆分为训练集和测试集。让我们探索一下这个选项。
tuned_model.set_params(cv=0.75).fit(X_train, y_train)
title = "Tuned GBDT model without refitting and using the entire dataset"
plot_roc_pr_curves(model, tuned_model, title=title)
关于截止点，我们观察到，最佳截止点与多次重复交叉验证的情况类似。但是，请注意，单个拆分无法解释拟合/预测过程的可变性，因此我们无法知道截止点是否存在任何方差。重复交叉验证会平均消除这种影响。
另一个观察结果涉及调整模型的 ROC 曲线和精确率-召回率曲线。正如预期的那样，这些曲线与原始模型的曲线不同，因为我们在拟合期间提供的數據子集上训练了底层分类器，并保留了一个验证集用于调整截止点。
当收益和成本不固定时的成本敏感学习#
如[2] 中所述，在现实世界的问题中，收益和成本通常是不固定的。在本节中，我们使用与[2] 中类似的示例，用于检测信用卡交易记录中的欺诈行为。
信用卡数据集#
credit_card = fetch_openml(data_id=1597, as_frame=True, parser="pandas")
credit_card.frame.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 284807 entries, 0 to 284806
Data columns (total 30 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 V1 284807 non-null float64
1 V2 284807 non-null float64
2 V3 284807 non-null float64
3 V4 284807 non-null float64
4 V5 284807 non-null float64
5 V6 284807 non-null float64
6 V7 284807 non-null float64
7 V8 284807 non-null float64
8 V9 284807 non-null float64
9 V10 284807 non-null float64
10 V11 284807 non-null float64
11 V12 284807 non-null float64
12 V13 284807 non-null float64
13 V14 284807 non-null float64
14 V15 284807 non-null float64
15 V16 284807 non-null float64
16 V17 284807 non-null float64
17 V18 284807 non-null float64
18 V19 284807 non-null float64
19 V20 284807 non-null float64
20 V21 284807 non-null float64
21 V22 284807 non-null float64
22 V23 284807 non-null float64
23 V24 284807 non-null float64
24 V25 284807 non-null float64
25 V26 284807 non-null float64
26 V27 284807 non-null float64
27 V28 284807 non-null float64
28 Amount 284807 non-null float64
29 Class 284807 non-null category
dtypes: category(1), float64(29)
memory usage: 63.3 MB
该数据集包含有关信用卡记录的信息，其中一些是欺诈性的，另一些是合法的。因此，目标是预测信用卡记录是否为欺诈性的。
columns_to_drop = ["Class"]
data = credit_card.frame.drop(columns=columns_to_drop)
target = credit_card.frame["Class"].astype(int)
首先，我们检查数据集的类分布。
target.value_counts(normalize=True)
Class
0 0.998273
1 0.001727
Name: proportion, dtype: float64
该数据集高度不平衡，欺诈交易仅占数据的 0.17%。由于我们有兴趣训练机器学习模型，因此我们还应该确保在少数类中拥有足够的样本以训练模型。
target.value_counts()
Class
0 284315
1 492
Name: count, dtype: int64
我们观察到，我们大约有 500 个样本，这处于训练机器学习模型所需的样本数量的下限。除了目标分布之外，我们还检查了欺诈交易金额的分布。
fraud = target == 1
amount_fraud = data["Amount"][fraud]
_, ax = plt.subplots()
ax.hist(amount_fraud, bins=100)
ax.set_title("Amount of fraud transaction")
_ = ax.set_xlabel("Amount (€)")
使用业务指标解决问题#
现在，我们创建了依赖于每笔交易金额的业务指标。我们类似于[2] 定义了成本矩阵。接受合法的交易可以获得交易金额的 2% 的收益。但是，接受欺诈交易会导致损失交易金额。如[2] 中所述，与拒绝（欺诈和合法交易）相关的收益和损失并不容易定义。在这里，我们定义拒绝合法交易的估计损失为 5 欧元，而拒绝欺诈交易的估计收益为 50 欧元和交易金额。因此，我们定义了以下函数来计算给定决策的总收益。
def business_metric(y_true, y_pred, amount):
mask_true_positive = (y_true == 1) & (y_pred == 1)
mask_true_negative = (y_true == 0) & (y_pred == 0)
mask_false_positive = (y_true == 0) & (y_pred == 1)
mask_false_negative = (y_true == 1) & (y_pred == 0)
fraudulent_refuse = (mask_true_positive.sum() * 50) + amount[
mask_true_positive
].sum()
fraudulent_accept = -amount[mask_false_negative].sum()
legitimate_refuse = mask_false_positive.sum() * -5
legitimate_accept = (amount[mask_true_negative] * 0.02).sum()
return fraudulent_refuse + fraudulent_accept + legitimate_refuse + legitimate_accept
从这个业务指标中，我们创建了一个 scikit-learn 打分器，它在给定拟合的分类器和测试集的情况下计算业务指标。在这方面，我们使用make_scorer 工厂。变量amount 是要传递给打分器的附加元数据，我们需要使用元数据路由 来考虑此信息。
sklearn.set_config(enable_metadata_routing=True)
business_scorer = make_scorer(business_metric).set_score_request(amount=True)
在这个阶段，我们观察到交易金额被使用了两次：一次作为训练预测模型的特征，一次作为计算业务指标和模型统计性能的元数据。当用作特征时，我们只需要在 data 中包含一个包含每个交易金额的列。要将此信息用作元数据，我们需要有一个外部变量，可以将其传递给评分器或模型，该评分器或模型在内部将此元数据路由到评分器。因此，让我们创建这个变量。
amount = credit_card.frame["Amount"].to_numpy()
我们首先开始训练一个虚拟分类器，以获得一些基线结果。
from sklearn.model_selection import train_test_split
data_train, data_test, target_train, target_test, amount_train, amount_test = (
train_test_split(
data, target, amount, stratify=target, test_size=0.5, random_state=42
)
)
from sklearn.dummy import DummyClassifier
easy_going_classifier = DummyClassifier(strategy="constant", constant=0)
easy_going_classifier.fit(data_train, target_train)
benefit_cost = business_scorer(
easy_going_classifier, data_test, target_test, amount=amount_test
)
print(f"Benefit/cost of our easy-going classifier: {benefit_cost:,.2f}€")
Benefit/cost of our easy-going classifier: 221,445.07€
一个将所有交易预测为合法的分类器将产生约 220,000 欧元的利润。我们对将所有交易预测为欺诈的分类器进行相同的评估。
intolerant_classifier = DummyClassifier(strategy="constant", constant=1)
intolerant_classifier.fit(data_train, target_train)
benefit_cost = business_scorer(
intolerant_classifier, data_test, target_test, amount=amount_test
)
print(f"Benefit/cost of our intolerant classifier: {benefit_cost:,.2f}€")
Benefit/cost of our intolerant classifier: -668,903.24€
这样的分类器将造成约 670,000 欧元的损失。预测模型应该让我们获得超过 220,000 欧元的利润。将此业务指标与另一个“标准”统计指标（如平衡准确率）进行比较很有趣。
from sklearn.metrics import get_scorer
balanced_accuracy_scorer = get_scorer("balanced_accuracy")
print(
"Balanced accuracy of our easy-going classifier: "
f"{balanced_accuracy_scorer(easy_going_classifier, data_test, target_test):.3f}"
)
print(
"Balanced accuracy of our intolerant classifier: "
f"{balanced_accuracy_scorer(intolerant_classifier, data_test, target_test):.3f}"
)
Balanced accuracy of our easy-going classifier: 0.500
Balanced accuracy of our intolerant classifier: 0.500
这两个分类器的平衡准确率都为 0.5，这并不令人意外。但是，在接下来的评估中，我们需要谨慎：我们可能会获得一个具有相当平衡准确率但没有产生任何利润的模型。在这种情况下，该模型将对我们的业务有害。
现在，让我们使用逻辑回归创建一个预测模型，而不调整决策阈值。
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
logistic_regression = make_pipeline(StandardScaler(), LogisticRegression())
param_grid = {"logisticregression__C": np.logspace(-6, 6, 13)}
model = GridSearchCV(logistic_regression, param_grid, scoring="neg_log_loss").fit(
data_train, target_train
)
print(
"Benefit/cost of our logistic regression: "
f"{business_scorer(model, data_test, target_test, amount=amount_test):,.2f}€"
)
print(
"Balanced accuracy of our logistic regression: "
f"{balanced_accuracy_scorer(model, data_test, target_test):.3f}"
)
Benefit/cost of our logistic regression: 260,787.21€
Balanced accuracy of our logistic regression: 0.815
通过观察平衡准确率，我们发现我们的预测模型正在学习特征和目标之间的一些关联。业务指标还表明，我们的模型在利润方面超过了基线，并且使用它而不是忽略欺诈检测问题将是有益的。
调整决策阈值#
现在问题是：我们的模型是否适合我们想要做出的决策类型？到目前为止，我们还没有优化决策阈值。我们使用 TunedThresholdClassifierCV 来优化给定业务评分器的决策。为了避免嵌套交叉验证，我们将使用之前网格搜索中找到的最佳估计器。
tuned_model = TunedThresholdClassifierCV(
estimator=model.best_estimator_,
scoring=business_scorer,
thresholds=100,
n_jobs=2,
)
由于我们的业务评分器需要每个交易的金额，因此我们需要在 fit 方法中传递此信息。 TunedThresholdClassifierCV 负责自动将此元数据分派给底层评分器。
tuned_model.fit(data_train, target_train, amount=amount_train)
print(
"Benefit/cost of our logistic regression: "
f"{business_scorer(tuned_model, data_test, target_test, amount=amount_test):,.2f}€"
)
print(
"Balanced accuracy of our logistic regression: "
f"{balanced_accuracy_scorer(tuned_model, data_test, target_test):.3f}"
)
Benefit/cost of our logistic regression: 268,847.31€
Balanced accuracy of our logistic regression: 0.898
我们观察到，调整决策阈值会增加业务指标估计的部署模型的预期利润。最终，平衡准确率也提高了。请注意，情况可能并非总是如此，因为统计指标不一定是业务指标的替代指标。因此，只要有可能，就应根据业务指标优化决策阈值。
最后，业务指标本身的估计可能不可靠，尤其是在少数类别的样本数量非常少的情况下。通过对历史数据（离线评估）进行业务指标的交叉验证估算的任何业务影响，理想情况下应通过对实时数据（在线评估）进行 A/B 测试来确认。但是请注意，A/B 测试模型超出了 scikit-learn 库本身的范围。
手动设置决策阈值而不是调整它#
在前面的示例中，我们使用 TunedThresholdClassifierCV 来找到最佳决策阈值。但是，在某些情况下，我们可能对所面临的问题有一些先验知识，并且我们可能很乐意手动设置决策阈值。
类 FixedThresholdClassifier 允许我们手动设置决策阈值。在预测时，它的行为与之前调整的模型相同，但在拟合过程中不执行任何搜索。
在这里，我们将重新使用上一节中找到的决策阈值来创建一个新模型，并检查它是否给出相同的结果。
from sklearn.model_selection import FixedThresholdClassifier
model_fixed_threshold = FixedThresholdClassifier(
estimator=model, threshold=tuned_model.best_threshold_
).fit(data_train, target_train)
business_score = business_scorer(
model_fixed_threshold, data_test, target_test, amount=amount_test
)
print(f"Benefit/cost of our logistic regression: {business_score:,.2f}€")
print(
"Balanced accuracy of our logistic regression: "
f"{balanced_accuracy_scorer(model_fixed_threshold, data_test, target_test):.3f}"
)
Benefit/cost of our logistic regression: 268,847.31€
Balanced accuracy of our logistic regression: 0.898
我们观察到，我们获得了完全相同的结果，但拟合过程快得多，因为我们没有执行任何搜索。
脚本的总运行时间：（1 分钟 10.120 秒）
相关示例
