异常检测估计器的评估#
本示例比较了两种异常检测算法，即 局部异常因子 (LOF) 和 隔离森林 (IForest)，在 sklearn.datasets 中提供的真实世界数据集上。目标是表明不同的算法在不同的数据集上表现良好，并对比它们的训练速度和对超参数的敏感性。
这些算法在假定包含异常值的整个数据集上进行训练（无标签）。
1. 使用地面实况标签的知识计算 ROC 曲线，并使用 RocCurveDisplay 显示。
性能以 ROC-AUC 评估。
# Author: Pharuj Rajborirug <[email protected]>
# Arturo Amor <[email protected]>
# License: BSD 3 clause
数据集预处理和模型训练#
不同的异常检测模型需要不同的预处理。在存在分类变量的情况下，OrdinalEncoder 通常是基于树的模型（如 IsolationForest）的良好策略，而基于邻居的模型（如 LocalOutlierFactor）会受到序数编码引起的排序的影响。为了避免引入排序，应该使用 OneHotEncoder。
基于邻居的模型可能还需要对数值特征进行缩放（例如，参见 重新缩放对 k-neighbors 模型的影响）。在存在异常值的情况下，一个好的选择是使用 RobustScaler。
from sklearn.compose import ColumnTransformer
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import (
OneHotEncoder,
OrdinalEncoder,
RobustScaler,
)
def make_estimator(name, categorical_columns=None, iforest_kw=None, lof_kw=None):
"""Create an outlier detection estimator based on its name."""
if name == "LOF":
outlier_detector = LocalOutlierFactor(**(lof_kw or {}))
if categorical_columns is None:
preprocessor = RobustScaler()
else:
preprocessor = ColumnTransformer(
transformers=[("categorical", OneHotEncoder(), categorical_columns)],
remainder=RobustScaler(),
)
else: # name == "IForest"
outlier_detector = IsolationForest(**(iforest_kw or {}))
if categorical_columns is None:
preprocessor = None
else:
ordinal_encoder = OrdinalEncoder(
handle_unknown="use_encoded_value", unknown_value=-1
)
preprocessor = ColumnTransformer(
transformers=[
("categorical", ordinal_encoder, categorical_columns),
],
remainder="passthrough",
)
return make_pipeline(preprocessor, outlier_detector)
以下 fit_predict 函数返回 X 的平均异常值得分。
from time import perf_counter
def fit_predict(estimator, X):
tic = perf_counter()
if estimator[-1].__class__.__name__ == "LocalOutlierFactor":
estimator.fit(X)
y_pred = estimator[-1].negative_outlier_factor_
else: # "IsolationForest"
y_pred = estimator.fit(X).decision_function(X)
toc = perf_counter()
print(f"Duration for {model_name}: {toc - tic:.2f} s")
return y_pred
在示例的其余部分，我们每个部分处理一个数据集。加载数据后，目标被修改为包含两个类别：0 代表内点，1 代表异常值。由于 scikit-learn 文档的计算限制，一些数据集的样本大小使用分层 train_test_split 减少。
此外，我们将 n_neighbors 设置为与预期异常值数量匹配 expected_n_anomalies = n_samples * expected_anomaly_fraction。只要异常值的比例不太低，这是一种很好的启发式方法，原因是 n_neighbors 应该至少大于人口较少的集群中的样本数量（参见 使用局部异常因子 (LOF) 进行异常检测）。
KDDCup99 - SA 数据集#
Kddcup 99 数据集 是使用封闭网络和手动注入的攻击生成的。SA 数据集是它的一个子集，通过简单地选择所有正常数据和大约 3% 的异常比例获得。
import numpy as np
from sklearn.datasets import fetch_kddcup99
from sklearn.model_selection import train_test_split
X, y = fetch_kddcup99(
subset="SA", percent10=True, random_state=42, return_X_y=True, as_frame=True
)
y = (y != b"normal.").astype(np.int32)
X, _, y, _ = train_test_split(X, y, train_size=0.1, stratify=y, random_state=42)
n_samples, anomaly_frac = X.shape[0], y.mean()
print(f"{n_samples} datapoints with {y.sum()} anomalies ({anomaly_frac:.02%})")
10065 datapoints with 338 anomalies (3.36%)
SA 数据集包含 41 个特征，其中 3 个是分类特征：“protocol_type”、“service” 和 “flag”。
y_true = {}
y_pred = {"LOF": {}, "IForest": {}}
model_names = ["LOF", "IForest"]
cat_columns = ["protocol_type", "service", "flag"]
y_true["KDDCup99 - SA"] = y
for model_name in model_names:
model = make_estimator(
name=model_name,
categorical_columns=cat_columns,
lof_kw={"n_neighbors": int(n_samples * anomaly_frac)},
iforest_kw={"random_state": 42},
)
y_pred[model_name]["KDDCup99 - SA"] = fit_predict(model, X)
Duration for LOF: 2.12 s
Duration for IForest: 0.35 s
森林覆盖类型数据集#
森林覆盖类型 是一个多类数据集，目标是给定森林区域的树木优势种。它包含 54 个特征，其中一些（“Wilderness_Area” 和 “Soil_Type”）已经进行了二进制编码。虽然最初被认为是分类任务，但可以将内点视为用标签 2 编码的样本，将异常值视为用标签 4 编码的样本。
from sklearn.datasets import fetch_covtype
X, y = fetch_covtype(return_X_y=True, as_frame=True)
s = (y == 2) + (y == 4)
X = X.loc[s]
y = y.loc[s]
y = (y != 2).astype(np.int32)
X, _, y, _ = train_test_split(X, y, train_size=0.05, stratify=y, random_state=42)
X_forestcover = X # save X for later use
n_samples, anomaly_frac = X.shape[0], y.mean()
print(f"{n_samples} datapoints with {y.sum()} anomalies ({anomaly_frac:.02%})")
14302 datapoints with 137 anomalies (0.96%)
y_true["forestcover"] = y
for model_name in model_names:
model = make_estimator(
name=model_name,
lof_kw={"n_neighbors": int(n_samples * anomaly_frac)},
iforest_kw={"random_state": 42},
)
y_pred[model_name]["forestcover"] = fit_predict(model, X)
Duration for LOF: 2.02 s
Duration for IForest: 0.22 s
艾姆斯房价数据集#
艾姆斯房价数据集 最初是一个回归数据集，目标是爱荷华州艾姆斯市房屋的销售价格。在这里，我们将它转换为异常检测问题，将价格超过 70 美元/平方英尺的房屋视为异常值。为了简化问题，我们删除了 40 到 70 美元/平方英尺之间的中间价格。
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_openml
X, y = fetch_openml(name="ames_housing", version=1, return_X_y=True, as_frame=True)
y = y.div(X["Lot_Area"])
# None values in pandas 1.5.1 were mapped to np.nan in pandas 2.0.1
X["Misc_Feature"] = X["Misc_Feature"].cat.add_categories("NoInfo").fillna("NoInfo")
X["Mas_Vnr_Type"] = X["Mas_Vnr_Type"].cat.add_categories("NoInfo").fillna("NoInfo")
X.drop(columns="Lot_Area", inplace=True)
mask = (y < 40) | (y > 70)
X = X.loc[mask]
y = y.loc[mask]
y.hist(bins=20, edgecolor="black")
plt.xlabel("House price in USD/sqft")
_ = plt.title("Distribution of house prices in Ames")
y = (y > 70).astype(np.int32)
n_samples, anomaly_frac = X.shape[0], y.mean()
print(f"{n_samples} datapoints with {y.sum()} anomalies ({anomaly_frac:.02%})")
2714 datapoints with 30 anomalies (1.11%)
该数据集包含 46 个分类特征。在这种情况下，使用 make_column_selector 查找它们比手动传递列表更容易。
from sklearn.compose import make_column_selector as selector
categorical_columns_selector = selector(dtype_include="category")
cat_columns = categorical_columns_selector(X)
y_true["ames_housing"] = y
for model_name in model_names:
model = make_estimator(
name=model_name,
categorical_columns=cat_columns,
lof_kw={"n_neighbors": int(n_samples * anomaly_frac)},
iforest_kw={"random_state": 42},
)
y_pred[model_name]["ames_housing"] = fit_predict(model, X)
Duration for LOF: 0.91 s
Duration for IForest: 0.22 s
胎心图数据集#
胎心图数据集 是胎儿胎心图的多类数据集，类别是胎儿心率 (FHR) 模式，用 1 到 10 的标签编码。在这里，我们将类别 3（少数类别）设置为代表异常值。它包含 30 个数值特征，其中一些是二进制编码的，一些是连续的。
X, y = fetch_openml(name="cardiotocography", version=1, return_X_y=True, as_frame=False)
X_cardiotocography = X # save X for later use
s = y == "3"
y = s.astype(np.int32)
n_samples, anomaly_frac = X.shape[0], y.mean()
print(f"{n_samples} datapoints with {y.sum()} anomalies ({anomaly_frac:.02%})")
2126 datapoints with 53 anomalies (2.49%)
y_true["cardiotocography"] = y
for model_name in model_names:
model = make_estimator(
name=model_name,
lof_kw={"n_neighbors": int(n_samples * anomaly_frac)},
iforest_kw={"random_state": 42},
)
y_pred[model_name]["cardiotocography"] = fit_predict(model, X)
Duration for LOF: 0.06 s
Duration for IForest: 0.15 s
绘制和解释结果#
算法性能与低假阳性率 (FPR) 值下的真阳性率 (TPR) 有关。最好的算法在图的左上角具有曲线，并且曲线下面积 (AUC) 接近 1。对角虚线表示对异常值和内点的随机分类。
import math
from sklearn.metrics import RocCurveDisplay
cols = 2
pos_label = 0 # mean 0 belongs to positive class
datasets_names = y_true.keys()
rows = math.ceil(len(datasets_names) / cols)
fig, axs = plt.subplots(nrows=rows, ncols=cols, squeeze=False, figsize=(10, rows * 4))
for ax, dataset_name in zip(axs.ravel(), datasets_names):
for model_idx, model_name in enumerate(model_names):
display = RocCurveDisplay.from_predictions(
y_true[dataset_name],
y_pred[model_name][dataset_name],
pos_label=pos_label,
name=model_name,
ax=ax,
plot_chance_level=(model_idx == len(model_names) - 1),
chance_level_kw={"linestyle": ":"},
)
ax.set_title(dataset_name)
_ = plt.tight_layout(pad=2.0) # spacing between subplots
我们观察到，一旦邻居数量被调整，LOF 和 IForest 在森林覆盖和胎心图数据集的 ROC AUC 方面表现相似。IForest 的得分在 SA 数据集上略好，而 LOF 在艾姆斯房价数据集上的表现明显优于 IForest。
但是，请记住，隔离森林在具有大量样本的数据集上的训练速度往往比 LOF 快得多。LOF 需要计算成对距离以找到最近的邻居，这对于观察数量具有二次复杂度。这可能会使这种方法在大型数据集上变得不可行。
消融研究#
在本节中，我们探讨了超参数 n_neighbors 和对数值变量进行缩放的选择对 LOF 模型的影响。在这里，我们使用 森林覆盖类型 数据集，因为二进制编码的类别引入了欧几里得距离的自然尺度，介于 0 和 1 之间。然后，我们希望缩放方法避免赋予非二进制特征特权，并且对异常值足够鲁棒，以便查找它们的任務不会变得过于困难。
X = X_forestcover
y = y_true["forestcover"]
n_samples = X.shape[0]
n_neighbors_list = (n_samples * np.array([0.2, 0.02, 0.01, 0.001])).astype(np.int32)
model = make_pipeline(RobustScaler(), LocalOutlierFactor())
linestyles = ["solid", "dashed", "dashdot", ":", (5, (10, 3))]
fig, ax = plt.subplots()
for model_idx, (linestyle, n_neighbors) in enumerate(zip(linestyles, n_neighbors_list)):
model.set_params(localoutlierfactor__n_neighbors=n_neighbors)
model.fit(X)
y_pred = model[-1].negative_outlier_factor_
display = RocCurveDisplay.from_predictions(
y,
y_pred,
pos_label=pos_label,
name=f"n_neighbors = {n_neighbors}",
ax=ax,
plot_chance_level=(model_idx == len(n_neighbors_list) - 1),
chance_level_kw={"linestyle": (0, (1, 10))},
linestyle=linestyle,
linewidth=2,
)
_ = ax.set_title("RobustScaler with varying n_neighbors\non forestcover dataset")
我们观察到，邻居数量对模型的性能有很大影响。如果可以访问（至少一些）地面实况标签，那么调整 n_neighbors 非常重要。一种方便的方法是探索与预期污染程度数量级相同的 n_neighbors 值。
from sklearn.preprocessing import MinMaxScaler, SplineTransformer, StandardScaler
preprocessor_list = [
None,
RobustScaler(),
StandardScaler(),
MinMaxScaler(),
SplineTransformer(),
]
expected_anomaly_fraction = 0.02
lof = LocalOutlierFactor(n_neighbors=int(n_samples * expected_anomaly_fraction))
fig, ax = plt.subplots()
for model_idx, (linestyle, preprocessor) in enumerate(
zip(linestyles, preprocessor_list)
):
model = make_pipeline(preprocessor, lof)
model.fit(X)
y_pred = model[-1].negative_outlier_factor_
display = RocCurveDisplay.from_predictions(
y,
y_pred,
pos_label=pos_label,
name=str(preprocessor).split("(")[0],
ax=ax,
plot_chance_level=(model_idx == len(preprocessor_list) - 1),
chance_level_kw={"linestyle": (0, (1, 10))},
linestyle=linestyle,
linewidth=2,
)
_ = ax.set_title("Fixed n_neighbors with varying preprocessing\non forestcover dataset")
一方面，RobustScaler 使用默认的四分位距范围 (IQR) 独立地缩放每个特征，它是数据第 25 个百分位数和第 75 个百分位数之间的范围。它通过减去中位数来对数据进行居中，然后通过除以 IQR 来进行缩放。IQR 对异常值具有鲁棒性：中位数和四分位距范围受极值的影响小于范围、平均值和标准差。此外，RobustScaler 不会压缩边缘异常值，与 StandardScaler 相反。
另一方面，MinMaxScaler 独立地缩放每个特征，使其范围映射到零到一之间的范围。如果数据中存在异常值，它们可能会将其偏向最小值或最大值，从而导致数据分布完全不同，边缘异常值很大：所有非异常值可能会因此而几乎完全坍缩在一起。
我们还评估了完全不进行预处理（通过将 None 传递给管道）、StandardScaler 和 SplineTransformer。有关更多详细信息，请参阅各自的文档。
请注意，最佳预处理取决于数据集，如下所示
X = X_cardiotocography
y = y_true["cardiotocography"]
n_samples, expected_anomaly_fraction = X.shape[0], 0.025
lof = LocalOutlierFactor(n_neighbors=int(n_samples * expected_anomaly_fraction))
fig, ax = plt.subplots()
for model_idx, (linestyle, preprocessor) in enumerate(
zip(linestyles, preprocessor_list)
):
model = make_pipeline(preprocessor, lof)
model.fit(X)
y_pred = model[-1].negative_outlier_factor_
display = RocCurveDisplay.from_predictions(
y,
y_pred,
pos_label=pos_label,
name=str(preprocessor).split("(")[0],
ax=ax,
plot_chance_level=(model_idx == len(preprocessor_list) - 1),
chance_level_kw={"linestyle": (0, (1, 10))},
linestyle=linestyle,
linewidth=2,
)
ax.set_title(
"Fixed n_neighbors with varying preprocessing\non cardiotocography dataset"
)
plt.show()
脚本总运行时间：（1 分钟 5.794 秒）
相关示例
