问题详述:数据分析预处理的时候必须要把数据标准化吗?
解答:
要想了解上面的问题需要先明白为什么要进行数据标准化、什么时候要进行标准化以及标准化的原则
1、为什么要进行数据标准化?
在现实生活中,一个目标变量(y)可以认为是由多个特征变量(x)影响和控制的,那么这些特征变量的量纲和数值的量级就会不一样,比如x1 = 10000,x2 = 1,x3 = 0.5 可以很明显的看出特征x1和x2、x3存在量纲的差距;x1对目标变量的影响程度将会比x2、x3对目标变量的影响程度要大(可以这样认为目标变量由x1掌控,x2,x3影响较小,一旦x1的值出现问题,将直接的影响到目标变量的预测,把目标变量的预测值由x1独揽大权,会存在高风险的预测)而通过标准化处理,可以使得不同的特征变量具有相同的尺度(也就是说将特征的值控制在某个范围内),这样目标变量就可以由多个相同尺寸的特征变量进行控制,这样,在使用梯度下降法学习参数的时候,不同特征对参数的影响程度就一样了。比如在训练神经网络的过程中,通过将数据标准化,能够加速权重参数的收敛。
简而言之:对数据标准化的目的是消除特征之间的差异性,便于特征一心一意学习权重。
2、什么时候需要进行数据标准化,什么时候不需要进行数据标准化?
由(1)我们可以知道当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理,反之则不需要进行数据标准化。
例如下面这几类问题一般都需要进行数据标准化:
3、标准化的原则
通用性
优先使用国际通用单词和用语
优先使用客户自身业务中常用的惯用语
优先使用客户自身定义且国内惯用的单词或用语
使用税务、法律、IT等行业的专业用语
考虑与外部机构的相互运行,最大限度地保持通用性
实用性
对实际的现行系统用语进行标准化,而不是理论上的标准化
避免出现难以理解或产生歧义的用语
从用语中能够直观地识别其含义,无需推测或类推
便利性
运用适合于客户自身运行环境的方法论及标准化指南








暂无数据