数据预处理的一些知识
做研究时只要与数据分析相关就避免不了数据预处理。我们常见的预处理包括:标准化(规范化),归一化,零均值(化),白化,正则化……这些预处理的目的是什么呢?网上查的总是零零散散,很难搞清楚。因此我用此片博客来总结下。借鉴其他博客的内容,可能未一一注明还请谅解。
一,数据标准化
目的:为了消除量纲影响和变量自身数值大小的影响,方便统计处理(尤其是加权),故将数据标准化。
例如:我们对一个人提取特征时获得:年龄20岁,身高183cm,体重70kg。第二个人:年龄14岁,身高160cm,体重60kg。我们在计算两个人的差距的时候如果这样计算:20-14+183-160+70-60=39。是不是感觉有问题,39中一个身高占了23,一半以上(似乎自己加了权值,还挺大,我们需要自己设定权值)。这就是因为没有标准化,使得个别变量过大产生的问题。
方法:
1、Min-max 标准化
min-max标准化方法是对原始数据进行线性变换。将某一属性的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x′,其公式为:
2、z-score标准化
这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x′。z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
3、其他标准化
Decimal scaling小数定标标准化:这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x使用decimal scaling标准化到x′的计算方法是:x′=x/(10∗j)其中,j是满足条件的最小整数。例如假定A的值由-986到917,A的最大绝对值为986,为使用小数定标标准化,我们用1000(即,j=3)除以每个值,这样,-986被规范化为-0.986。
注意,标准化会对原始数据做出改变,因此需要保存所使用的标准化方法的参数,以便对后续的数据进行统一的标准化。以上公式中所提高的极大值,极小值,方差等均是某一属性的,并非所有属性。标准化之后数据均值为0方差为1,数据可正可负。
二,归一化
目的:消除量纲和过大数据的影响,同时提高计算时的收敛速度。
知乎上有个解释:虽然同样作出了归一化,但归一化的目的却各不相同。对于不同的模型,不同的业务,归一化就会有不同的意义。
我本人总结如下:
1)无量纲化:
还是上面例子:年龄20岁,身高183cm,体重70kg。183cm在数值上比20岁大得多,但实际上这两个对于衡量一个人的特征同等重要,因此将各个属性进行归一化,纯数值对待。(注意和标准化时数据使用的目的不同)
2)避免数值问题:
太大的数会引发数值问题。
3)一些模型求解的需要:
例如梯度下降法。一种情况—–不归一化,容易产生陕谷,而学习率较大时,以之字形下降。学习率较小,则会产生直角形路线,速度较快。
方法:
归一化的映射函数并不固定。例如matlab中的mapminmax函数
y=(ymax−ymin)∗(x−xmin)/(xmax−xmin)+ymin
其中ymax,ymin,为自己定义的,一般默认[-1,1],也可以自己修改。
以下方法为基础方法。
1、线性函数转换:
y=(x−min)/(max−min)
说明:x、y分别为转换前、后的值,max、min分别为样本(与标准化对照下看区别)的最大值和最小值。
2、对数函数转换:
y=log10(x)
说明:以10为底的对数函数转换。
例如:常用将数据归一到[0,1]
区别标准化和归一化
标准化和归一化的处理目的不同。在做统计学时经常用到标准化(数据可正可负),在进行数据挖掘的时候经常用到归一化(所有数据在一个具体区间内),SVM和BP神经网络在输入数据前进行归一化可以显著提高准确率和速度。
应用归一化时所面临的问题:
(1)是对每一个样本进行进行归一化(按行归一化)还是对每一个维度进行归一化(按列归一化)?
(2)是将训练集和测试集分别归一化还是放在一起形成一个大矩阵一起进行归一化?
三,零均值
将数据转化为均值为零的数据。z-score方法也可以将作为零均值化的方法。例如:23 20 40 35
34均值为:30.4,方差:72.3;z-score标准化后的数据 -0.1024 -0.1438 0.1328 0.0636
0.0498,均值为−5.5511∗10−18,注意零均值一般操作在同一样本的不同属性之间,和z-score用于标准化用作统计学时的目的不同。
四,白化
白化:又称漂白或者球化;是对原始数据x实现一种变换,变换成x′;使x′的协方差矩阵的为单位阵。斯坦福的一篇关于白化的教程提到:由于原始图像相邻像素值具有高度相关性,所以图像数据信息冗余,对于白化的作用的描述主要有两个方面:1,减少特征之间的相关性;2,特征具有相同的方差(协方差阵为1);一般用在深度学习中的图像预处理。
步骤:
随机向量的“零均值化”和“空间解相关”是最常用的两个预处理过程,其中“零均值化”如上,而“空间解相关”如下矩阵处理:
若一零均值的随机向量Z=[z1,z2,....zm],满足E{Z∗Z′}=I,I为单位矩阵,我们称这个向量为白色向量。白化的本质在于去相关,这个同PCA原理相似;在ICA(独立成分分析)中,对于为零均值的独立源信号当i!=j时,S(t)=[s1(t),s2(t)......sn(t)],有E{Si∗Sj}=E{Si}∗E{Sj}=0,且协方差矩阵是单位阵cov(S)=I,(零均值时相关系数矩阵和协方差矩阵相等),因此,源信号是白色的。对观测信号X(t),我们应该寻找一个线性变换,使X(t)投影到新的子空间后变成白化向量,即:
Z(t)=W0∗X(t)
其中W0为白化矩阵,Z为白化向量
利用主分量分析,我们通过计算样本向量得到一个变换:
其中Λ和U分别代表协方差矩阵的特征向量矩阵和特征值矩阵。可以证明,线性变换W0满足白化变换的要求。通过正交变换,可以保证U′∗U=U∗U′=I。因此通过协方差阵:
由于线性变换连接的是两个白色随机矢量Z(t)和S(t),可以得出B一定是一个正交变换。如果把上式中Z(t)的看作新的观测信号,那么可以说,白化使原来的混合矩阵A简化成一个新的正交矩阵B。
五,正则化:
目的:对最小化经验误差函数上加约束,解决了逆问题的不适定性,产生的解是存在,唯一,同时降低依赖于数据的噪声对不适定的影响,解就不会过拟合,而且如果先验(正则化)合适,则解就倾向于是符合真解(更不会过拟合了),即使训练集中彼此间不相关的样本数很少。
正则化在不同的领域又有着不同的含义,我们说的正则化一般就是数据过拟合。这个处理过程严格的来说并不是
方法:正则化过程在公式中主要以正则项的方式体现,不过正则项的一些知识本人实在难以以自己的理解写出来,不过知乎上有一些回答很棒。
统计学中的几种类型数据
统计学中,统计数据可分为四种类型(级别从低到高):定类数据/定序数据/定距数据/定比数据。定类数据仅标识不同的类别,没有次序关系(eg:汉族、藏族、回族);定序数据用数字表示某个有序状态所处的位置,可以比较大小(有次序),但是不能做四则预算(eg:年龄划分为老、中、青);定距数据是具有间距的变量,有单位,无零点,只能加减不能乘除(eg:智商120,比智商60要高60,但不能说前者智商是后者两倍,因为智商为0不是绝对零点,不代表没有智商);定比数据除了有定局数据的特性之外,还有一个绝对零点,所以能加减也能乘除(eg:60元比30元多30元,且前者是后者的两倍)。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14