当前位置: 代码迷 >> 综合 >> [数据分析学习笔记] 异常值分析方法
  详细解决方案

[数据分析学习笔记] 异常值分析方法

热度:75   发布时间:2024-01-15 19:01:12.0

异常值分析方法

什么叫异常值?

异常值是由于系统误差、人为误差或者固有数据的变异使得他们与总体的行为特征、结构或相关性等不一样,这部分数据称为异常值。

为什么要关注异常值?

异常值检测在数据挖掘中有着重要的意义,比如如果异常值是由于数据本身的变异造成的,那么对他们进行分析,就可以发现隐藏的更深层次的,潜在的,有价值的信息。

如何检测异常值?

异常值检测的方法:

1. 统计学方法对异常值的检测

(1)3σ准则(又叫拉依达准则)

在整理试验数据时,往往会遇到这样的情况,即在一组试验数据里,发现少数几个偏差特别大的可疑数据,这类数据称为Outlier或Exceptional Data,他们往往是由于过失误差引起。对于可疑数据的取舍要慎重。在试验进行中时,若发现异常数据,应立即停止试验,分析原因并及时纠正错误;当为试验结束后时,应先找原因,在对数据进行取舍。这类数据的不能清楚地判定原因时,可以借助一些统计方法进行验证处理。3σ准则就是其中的一种方法。

先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除就得出3σ。

在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴。

3σ:数值分布在(μ-σ,μ+σ)中的概率为0.6826;

  相关解决方案