异常值分析方法
什么叫异常值?
异常值是由于系统误差、人为误差或者固有数据的变异使得他们与总体的行为特征、结构或相关性等不一样,这部分数据称为异常值。
为什么要关注异常值?
异常值检测在数据挖掘中有着重要的意义,比如如果异常值是由于数据本身的变异造成的,那么对他们进行分析,就可以发现隐藏的更深层次的,潜在的,有价值的信息。
如何检测异常值?
异常值检测的方法:
1. 统计学方法对异常值的检测
(1)3σ准则(又叫拉依达准则)
在整理试验数据时,往往会遇到这样的情况,即在一组试验数据里,发现少数几个偏差特别大的可疑数据,这类数据称为Outlier或Exceptional Data,他们往往是由于过失误差引起。对于可疑数据的取舍要慎重。在试验进行中时,若发现异常数据,应立即停止试验,分析原因并及时纠正错误;当为试验结束后时,应先找原因,在对数据进行取舍。这类数据的不能清楚地判定原因时,可以借助一些统计方法进行验证处理。3σ准则就是其中的一种方法。
先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除就得出3σ。
在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴。
3σ:数值分布在(μ-σ,μ+σ)中的概率为0.6826;