热线电话:13121318867

登录
2020-10-31 阅读量: 2296
数据分析预处理的时候必须要把数据标准化吗?

问题详述:数据分析预处理的时候必须要把数据标准化吗?

image.png


解答:

要想了解上面的问题需要先明白为什么要进行数据标准化、什么时候要进行标准化以及标准化的原则

1、为什么要进行数据标准化?

在现实生活中,一个目标变量(y)可以认为是由多个特征变量(x)影响和控制的,那么这些特征变量的量纲和数值的量级就会不一样,比如x1 = 10000,x2 = 1,x3 = 0.5 可以很明显的看出特征x1和x2、x3存在量纲的差距;x1对目标变量的影响程度将会比x2、x3对目标变量的影响程度要大(可以这样认为目标变量由x1掌控,x2,x3影响较小,一旦x1的值出现问题,将直接的影响到目标变量的预测,把目标变量的预测值由x1独揽大权,会存在高风险的预测)而通过标准化处理,可以使得不同的特征变量具有相同的尺度(也就是说将特征的值控制在某个范围内),这样目标变量就可以由多个相同尺寸的特征变量进行控制,这样,在使用梯度下降法学习参数的时候,不同特征对参数的影响程度就一样了。比如在训练神经网络的过程中,通过将数据标准化,能够加速权重参数的收敛。
简而言之:对数据标准化的目的是消除特征之间的差异性,便于特征一心一意学习权重。

2、什么时候需要进行数据标准化,什么时候不需要进行数据标准化?

由(1)我们可以知道当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理,反之则不需要进行数据标准化。
例如下面这几类问题一般都需要进行数据标准化:

image.png

3、标准化的原则

通用性

  • 优先使用国际通用单词和用语

  • 优先使用客户自身业务中常用的惯用语

  • 优先使用客户自身定义且国内惯用的单词或用语

  • 使用税务、法律、IT等行业的专业用语

  • 考虑与外部机构的相互运行,最大限度地保持通用性

实用性

  • 对实际的现行系统用语进行标准化,而不是理论上的标准化

  • 避免出现难以理解或产生歧义的用语

  • 从用语中能够直观地识别其含义,无需推测或类推

便利性

  • 运用适合于客户自身运行环境的方法论及标准化指南


30.7684
0
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子