R语言：异常数据处理
前言
在数据处理中，尤其在作函数拟合时，异常点的出现不仅会很大程度的改变函数拟合的效果，而且有时还会使得函数的梯度出现奇异梯度，这就导致算法的终止，从而影响研究变量之间的函数关系。为了有效的避免这些异常点造成的损失，我们需要采取一定的方法对其进行处理，而处理的第一步便是找到异常点在数据中的位置。
什么是异常值？如何检测异常值？
目录
1. 单变量异常值检测
2. 使用LOF（local outlier factor，局部异常因子）进行异常检测
3. 通过聚类的方法检验异常值
4. 检验时间序列数据里面的异常值
5. 讨论
主要程序包
install.packages(c(\,\)) library(DMwR) library(dprep）
1. 单变量异常值检测
这节主要讲单变量异常值检测，并演示如何将它应用到多元（多个自变量）数据中。使用函数boxplot.stats()实现单变量检测，该函数根据返回的统计数据生成箱线图。在上述函数的返回结果中，有一个参数out，它是由异常值组成的列表。更明确的说就是里面列出了箱线图中箱须线外面的数据点。其中参数coef可以控制箱须线从箱线盒上延伸出来的长度，关于该函数的更多细节可以通过输入‘？boxplot.ststs’查看。
画箱线图：
set.seed（3147）
#产生100个服从正态分布的数据 x <- rnorm(100) summary(x) #输出异常值
boxplot.stats(x)$out #绘制箱线图 boxplot(x)
如上的单变量异常检测可以用来发现多元数据中的异常值，通过简单搭配的方式。在下例中，我们首先产生一个数据框df，它有两列x和y。之后，异常值分别从x和y检测出来。然后，我们获取两列都是异常值的数据作为异常数据。
x <- rnorm(100) y <- rnorm(100)
# 生成一个包含列名分别为x与y的数据框df df<- data.frame(x, y) rm(x,y) head(df)
# 连接数据框df attach(df) # 输出x中的异常值
(a <- which(x %in% boxplot.stats(x)$out)) # 输出y中的异常值
(b <- which(y %in% boxplot.stats(y)$out)) # 断开与数据框的连接 detach(df) # 输出x,y相同的异常值
(outlier.list1 <- intersect(a,b)) plot(df) # 标注异常点
points(df[outlier.list1,], col=\, pch=\, cex=2.5) # x或y中的异常值
(outlier.list2 <- union(a, b)) plot(df)
points(df[outlier.list2,], col=\, pch=\, cex=2)
当有三个以上的变量时，最终的异常值需要考虑单变量异常检测结果的多数表决。当选择最佳方式在真实应用中进行搭配时，需要涉及领域知识。
2. 使用LOF（local outlier factor，局部异常因子）进行异常检测
LOF（局部异常因子）是一种基于密度识别异常值的算法。算法实现是：将一个点的局部密度与分布在它周围的点的密度相比较，如果前者明显的比后者小，那么这个点相对于周围的点来说就处于一个相对比较稀疏的区域，这就表明该点事一个异常值。（使用LOF，一个点的局部密度会与它的邻居进行比较。如果前者明显低于后者（有一个大于1 的LOF值），该点位于一个稀疏区域，对于它的邻居而言，这就表明，该点是一个异常值。）LOF算法的缺点是它只对数值型数据有效。