跳转到主内容
思享编程网:思考分享,玩转编程世界!

无监督异常检测遇到噪声数据怎么办?STKD方法来帮你

大家好,我是陆砚码。今天我们来聊聊无监督异常检测中遇到的一个常见问题——噪声数据。别急,我会用通俗易懂的方式,带你了解STKD方法是如何解决这个问题的。

什么是噪声数据?

在无监督异常检测中,我们通常用正常图片来训练模型。但有时候,由于各种原因,训练数据中可能会混入异常图像。这些噪声数据会影响我们的检测性能。

解决措施

为了解决这个问题,作者提出了两种措施:

  • 迭代执行异常检测和训练步骤,细化训练集。
  • 通过教师模型进行监督,减少异常样本的影响。

模型

模型基于CutPaste,实验配置与CutPaste相似。

方法

作者引入了知识蒸馏技术。教师模型和学生模型的输入分别是正常图像和合成异常图像。教师模型在ImageNet上预训练,对于正常图像,教师和学生的KL散度比较小;对于合成异常图像,KL散度会变大。这可以帮助我们识别出需要进一步去除的图像,从而细化数据集。

消融实验

实验结果表明,这两种措施都能有效提升检测性能。

想法

虽然这种方法可以去除噪声数据,但也会导致可用数据减少,可能对系统性能产生影响。如图2所示,异常率增加,数据集内可用的训练数据减少,导致AUC下降较大。

好了,今天的内容就到这里。如果你对无监督异常检测还有其他疑问,欢迎在评论区留言。我是陆砚码,我们下期再见!

——来自思享编程网(www.sxgpb.com)的陆砚码

相关文章