数据在建模之前,有的时候会存在大量噪声,这个时候就需要去噪算法对原始数据进行去噪处理。
目前了解到的去噪方法有:3标准差去噪,分箱去噪,dbscan去噪等。
其中,3标准差去噪,对于正态分布的数据具有较好的去噪性能,而对于数据属于偏态分布时,使用分箱去噪相对较好。
dbscan是基于数据聚类的原理进行去噪的,对于不属于类别之内的数据,视作离群点,输出结果为一个打标的矩阵,其中标记为-1的数据即为视作是噪声的点,相比前两种方法,该方法复杂度相对较高。
三个资料Q群下载不了也转发不了,先放这里Fine_tuning.zipLangChain.zipdata_clear.rar