局部异常因子#
- class sklearn.neighbors.LocalOutlierFactor(n_neighbors=20, *, algorithm='auto', leaf_size=30, metric='minkowski', p=2, metric_params=None, contamination='auto', novelty=False, n_jobs=None)[source]#
使用局部异常因子 (LOF) 进行无监督异常检测。
每个样本的异常分数称为局部异常因子。它衡量给定样本的密度与其邻居密度的局部偏差。它是局部的,因为异常分数取决于对象相对于周围邻域的隔离程度。更准确地说,局部性由 k 近邻给出,其距离用于估计局部密度。通过将样本的局部密度与其邻居的局部密度进行比较,可以识别出密度明显低于其邻居的样本。这些被认为是异常值。
0.19 版本中新增。
- 参数:
- n_neighborsint,默认值=20
默认情况下,
kneighbors
查询使用的邻居数。如果 n_neighbors 大于提供的样本数,则将使用所有样本。- algorithm{'auto', 'ball_tree', 'kd_tree', 'brute'},默认值='auto'
用于计算最近邻的算法
注意:对稀疏输入进行拟合将覆盖此参数的设置,使用蛮力。
- leaf_sizeint,默认值=30
传递给
BallTree
或KDTree
的叶子大小。这会影响构建和查询的速度,以及存储树所需的内存。最佳值取决于问题的性质。- metricstr 或 callable,默认值='minkowski'
用于距离计算的度量。默认为“minkowski”,当 p = 2 时,结果为标准欧几里德距离。有关有效的度量值,请参阅 scipy.spatial.distance 的文档和
distance_metrics
中列出的度量。如果 metric 为“precomputed”,则假定 X 为距离矩阵,并且在拟合过程中必须为方阵。X 可以是 稀疏图,在这种情况下,只有“非零”元素可以被视为邻居。
如果 metric 是一个可调用的函数,它接受两个表示一维向量的数组作为输入,并且必须返回一个值来指示这两个向量之间的距离。这适用于 Scipy 的度量,但效率低于将度量名称作为字符串传递。
- pfloat,默认值=2
来自
sklearn.metrics.pairwise_distances
的 Minkowski 度量的参数。当 p = 1 时,这等效于使用 manhattan_distance (l1),而对于 p = 2,则使用 euclidean_distance (l2)。对于任意 p,使用 minkowski_distance (l_p)。- metric_paramsdict,默认值=None
度量函数的其他关键字参数。
- contamination‘auto’ 或 float,默认值='auto'
数据集的污染量,即数据集中异常值的比例。拟合时,这用于定义样本分数的阈值。
如果为‘auto’,则阈值如原始论文中所述确定;
如果为浮点数,则污染应在 (0, 0.5] 范围内。
0.22 版本中的更改:
contamination
的默认值已从 0.1 更改为'auto'
。- noveltybool,默认值=False
默认情况下,LocalOutlierFactor 仅用于异常检测 (novelty=False)。如果要将 LocalOutlierFactor 用于新颖性检测,请将 novelty 设置为 True。在这种情况下,请注意,您只应在新数据上使用 predict、decision_function 和 score_samples,而不应在训练集上使用;并且请注意,以此方式获得的结果可能与标准 LOF 结果不同。
0.20 版本中新增。
- n_jobsint,默认值=None
为邻居搜索运行的并行作业数。
None
表示 1,除非在joblib.parallel_backend
上下文中。-1
表示使用所有处理器。有关更多详细信息,请参见 词汇表。
- 属性:
- negative_outlier_factor_shape 为 (n_samples,) 的 ndarray
训练样本的反向 LOF 值。数值越高,越正常。内点倾向于具有接近 1 的 LOF 分数(
negative_outlier_factor_
接近 -1),而异常点则倾向于具有更大的 LOF 分数。样本的局部异常因子 (LOF) 反映了其所谓的“异常程度”。它是样本局部可达密度与其 k 个最近邻的局部可达密度的比率的平均值。
- n_neighbors_int
用于
kneighbors
查询的实际邻居数。- offset_float
用于根据原始分数获得二元标签的偏移量。
negative_outlier_factor_
小于offset_
的观测值被检测为异常值。除非提供了不同于“auto”的污染参数,否则偏移量设置为 -1.5(内点分数约为 -1)。在这种情况下,偏移量的定义方式使得我们在训练中获得预期的异常值数量。0.20 版本中新增。
- effective_metric_str
用于距离计算的有效度量。
- effective_metric_params_dict
度量函数的有效附加关键字参数。
- n_features_in_int
在 fit 期间看到的特征数量。
0.24 版本中添加。
- feature_names_in_shape 为 (
n_features_in_
,) 的 ndarray 在 fit 期间看到的特征名称。仅当
X
的特征名称全部为字符串时才定义。1.0 版本中添加。
- n_samples_fit_int
拟合数据中的样本数。
另请参阅
sklearn.svm.OneClassSVM
使用支持向量机进行无监督异常检测。
参考文献
[1]Breunig, M. M., Kriegel, H. P., Ng, R. T., & Sander, J. (2000, May). LOF: identifying density-based local outliers. In ACM sigmod record.
示例
>>> import numpy as np >>> from sklearn.neighbors import LocalOutlierFactor >>> X = [[-1.1], [0.2], [101.1], [0.3]] >>> clf = LocalOutlierFactor(n_neighbors=2) >>> clf.fit_predict(X) array([ 1, 1, -1, 1]) >>> clf.negative_outlier_factor_ array([ -0.9821..., -1.0370..., -73.3697..., -0.9821...])
- decision_function(X)[source]#
X 的局部异常因子的偏移反向值。
值越大越好,即大值对应于内点。
**仅适用于新颖性检测(当 novelty 设置为 True 时)。**偏移量允许将零阈值作为异常值。X 参数应该包含*新数据*:如果 X 包含来自训练的数据点,则它会考虑其自身邻域中的后一个点。此外,X 中的样本不被认为是任何点的邻域。
- 参数:
- Xshape 为 (n_samples, n_features) 的 {类数组,稀疏矩阵}
要计算相对于训练样本的局部异常因子的查询样本或样本。
- 返回:
- shifted_opposite_lof_scoresshape 为 (n_samples,) 的 ndarray
每个输入样本的局部异常因子的偏移反向值。数值越低,越异常。负分表示异常值,正分表示内点。
- fit(X, y=None)[source]#
根据训练数据集拟合局部异常因子检测器。
- 参数:
- Xshape 为 (n_samples, n_features) 或 (n_samples, n_samples)(如果 metric='precomputed')的 {类数组,稀疏矩阵}
训练数据。
- y忽略
未使用,出于 API 一致性约定而存在。
- 返回:
- selfLocalOutlierFactor
拟合的局部异常因子检测器。
- fit_predict(X, y=None)[source]#
将模型拟合到训练集 X 并返回标签。
**新颖性检测(当 novelty 设置为 True 时)不可用。**根据 LOF 分数和污染参数,内点标签为 1,异常值为 -1。
- 参数:
- Xshape 为 (n_samples, n_features) 的 {类数组,稀疏矩阵},默认值为 None
要计算相对于训练样本的局部异常因子的查询样本或样本。
- y忽略
未使用,出于 API 一致性约定而存在。
- 返回:
- is_inliershape 为 (n_samples,) 的 ndarray
对异常值/离群值返回 -1,对内点返回 1。
- get_metadata_routing()[source]#
获取此对象的元数据路由。
请查看 用户指南,了解路由机制的工作原理。
- 返回:
- routingMetadataRequest
一个
MetadataRequest
,封装了路由信息。
- get_params(deep=True)[source]#
获取此估计器的参数。
- 参数:
- deepbool,默认为 True
如果为 True,则将返回此估计器和包含的作为估计器的子对象的参数。
- 返回:
- paramsdict
参数名称映射到其值。
- kneighbors(X=None, n_neighbors=None, return_distance=True)[source]#
查找一个点的 K 近邻。
返回每个点的邻居的索引和距离。
- 参数:
- Xshape 为 (n_queries, n_features) 或 (n_queries, n_indexed)(如果 metric == 'precomputed')的 {类数组,稀疏矩阵},默认为 None
查询点或多个点。如果未提供,则返回每个索引点的邻居。在这种情况下,查询点不被认为是其自身的邻居。
- n_neighborsint,默认为None
每个样本所需的邻居数量。默认为传递给构造函数的值。
- return_distancebool,默认为True
是否返回距离。
- 返回:
- neigh_dist形状为 (n_queries, n_neighbors) 的ndarray
表示到点的长度的数组,仅当 return_distance=True 时存在。
- neigh_ind形状为 (n_queries, n_neighbors) 的ndarray
总体矩阵中最近点的索引。
示例
在下面的例子中,我们从一个表示我们数据集的数组构建一个 NearestNeighbors 类,并询问哪个点最接近 [1,1,1]
>>> samples = [[0., 0., 0.], [0., .5, 0.], [1., 1., .5]] >>> from sklearn.neighbors import NearestNeighbors >>> neigh = NearestNeighbors(n_neighbors=1) >>> neigh.fit(samples) NearestNeighbors(n_neighbors=1) >>> print(neigh.kneighbors([[1., 1., 1.]])) (array([[0.5]]), array([[2]]))
如你所见,它返回 [[0.5]] 和 [[2]],这意味着该元素的距离为 0.5,并且是样本的第三个元素(索引从 0 开始)。你也可以查询多个点。
>>> X = [[0., 1., 0.], [1., 0., 1.]] >>> neigh.kneighbors(X, return_distance=False) array([[1], [2]]...)
- kneighbors_graph(X=None, n_neighbors=None, mode='connectivity')[source]#
计算 X 中点的 k-近邻的(加权)图。
- 参数:
- X形状为 (n_queries, n_features) 的{类数组,稀疏矩阵},或者如果 metric == ‘precomputed’ 则为 (n_queries, n_indexed),默认为 None
查询点或多个点。如果未提供,则返回每个索引点的邻居。在这种情况下,查询点不被认为是其自身的邻居。对于
metric='precomputed'
,形状应为 (n_queries, n_indexed)。否则,形状应为 (n_queries, n_features)。- n_neighborsint,默认为None
每个样本的邻居数量。默认为传递给构造函数的值。
- mode{'connectivity', 'distance'},默认为 'connectivity'
返回矩阵的类型:'connectivity' 将返回具有 1 和 0 的连接矩阵,在 'distance' 中,边是点之间的距离,距离的类型取决于 NearestNeighbors 类中选择的 metric 参数。
- 返回:
- A形状为 (n_queries, n_samples_fit) 的稀疏矩阵
n_samples_fit
是拟合数据中的样本数。A[i, j]
给出连接i
到j
的边的权重。该矩阵为 CSR 格式。
另请参阅
NearestNeighbors.radius_neighbors_graph
计算 X 中点的邻居的(加权)图。
示例
>>> X = [[0], [3], [1]] >>> from sklearn.neighbors import NearestNeighbors >>> neigh = NearestNeighbors(n_neighbors=2) >>> neigh.fit(X) NearestNeighbors(n_neighbors=2) >>> A = neigh.kneighbors_graph(X) >>> A.toarray() array([[1., 0., 1.], [0., 1., 1.], [1., 0., 1.]])
- predict(X=None)[source]#
根据 LOF 预测 X 的标签(1 内点,-1 异常点)。
仅适用于新奇检测(当 novelty 设置为 True 时)。此方法允许将预测推广到新观察(不在训练集内)。请注意,
clf.fit(X)
然后clf.predict(X)
(其中novelty=True
)的结果可能与使用clf.fit_predict(X)
(其中novelty=False
)获得的结果不同。- 参数:
- Xshape 为 (n_samples, n_features) 的 {类数组,稀疏矩阵}
要计算相对于训练样本的局部异常因子的查询样本或样本。
- 返回:
- is_inliershape 为 (n_samples,) 的 ndarray
返回异常值/-1 和内点/+1。
- score_samples(X)[source]#
X 的局部异常因子 (LOF) 的相反数。
它是相反的,因为越大越好,即较大的值对应于内点。
仅适用于新奇检测(当 novelty 设置为 True 时)。参数 X 假设包含新数据:如果 X 包含训练中的点,则它会在其自身的邻域中考虑后者。此外,X 中的样本不被认为在任何点的邻域内。因此,通过
score_samples
获得的分数可能与标准 LOF 分数不同。可以通过negative_outlier_factor_
属性获得训练数据的标准 LOF 分数。- 参数:
- Xshape 为 (n_samples, n_features) 的 {类数组,稀疏矩阵}
要计算相对于训练样本的局部异常因子的查询样本或样本。
- 返回:
- opposite_lof_scores形状为 (n_samples,) 的ndarray
每个输入样本的局部异常因子 (LOF) 的相反数。越低,越异常。