作者 | George Seif
编译 | 廖琴 孙梦琪
来源 | 读芯术
数据科学家都应该知道如何有效地使用数据并从中获取信息。下面是小编整理的五大实用型统计学概念,每个数据科学家都应该熟知,它们能让你在数据科学领域发挥得更加行云流水。
从定义来看,数据科学实际上指的是从数据中获取信息的过程。数据科学旨在解释所有数据在现实世界中的意义,而不仅仅局限于数字层面。
为了提取嵌入在复杂数据集中的信息,数据科学家使用了许多工具和技术,包括数据探索、可视化和建模。在数据探索中常用的一类非常重要的数学技术是统计学。
从实践层面上讲,采用统计学使人们能够对数据进行具体的数学总结。人们可以使用统计数据来描述部分数据的属性,而不必试图描述每个数据点。通常这就足以提取一些关于数据结构和组成的信息。
有时候,在听到“统计学”这个词时,人们总会想得过于复杂。的确,它可能是有点抽象,但并不总是需要借助复杂的理论来从统计技术中获得有价值的内容。
最基本的统计学知识往往在数据科学中最有实用价值。
本文为大家介绍5个用于数据科学的实用统计学知识。它们不是令人抓狂的抽象概念,而是极为简单的、可以应用的技术,且前景很好。
那么开始吧!
1. 集中趋势
数据集或特征变量的集中趋势是指集的中心值或典型值。也就是说,可能存在一个值可以(在一定程度上)最充分地描述数据集。
例如,假设正态分布以(100,100)为中心。那么点(100,100)就是中心趋势,因为在所有可选择的点中,它总结数据的效果最佳。
对于数据科学,可以使用集中趋势测度快速简单地了解整体数据集。数据的“中心”可能是非常有价值的信息,可以说明数据集究竟是如何产生偏差的,因为数据所围绕的任何值本质上都是有偏差的。
在数学上有两种常见的选择集中趋势的方法。
平均数
数据集的平均数指整个数据集围绕分布的一个平均数值。在定义平均值时,所有用于计算平均数值的权重都是相等的。
例如,计算以下5个数字的平均数:
(3 + 64 + 187 + 12 + 52) / 5 = 63.6
平均值对于计算实际的数学平均数非常有用。使用像Numpy这样的Python库计算也非常快。
中位数
中位数是数据集的中间值。也就是说,如果把数据从小到大(或者从大到小)排序,然后取集的中间值:这便是中位数。
接下来再次计算相同的5个数的中位数:
[3, 12, 52, 64, 187]→52
中位数与平均数63.6相差很大。二者没有对错之分,可视情况和目的选择其一。
计算中位数需要对数据进行排序——如果数据集很大,这就不实用了。
另一方面,中位数对离群值的鲁棒性要强于平均数,因为如果有一些非常高的离群值,平均数就会偏大或偏小。
平均数和中位数可以用简单的numpy单行代码计算:
numpy.mean(array)
numpy.median(array)
2. 分布
在统计学中,数据分布是指在更大的范围内,数据集中趋向一个或多个值的程度。
看看下面的高斯概率分布图——假设这些是描述真实世界数据集的概率分布。
蓝色曲线的扩展值最小,因为其大部分数据点都在一个相当窄的范围内。红色曲线的扩展值最大,这是因为大多数数据点所占的范围要大得多。
图中显示了这些曲线的标准差值,下一节中将进行解释。
标准差
标准差是量化数据分布最常见的方法。计算分五步进行:
1.求平均数。
2.求每个数据点到平均数距离的平方。
3.对步骤2中的值进行求和。
4.除以数据点的个数。
5.取平方根。
值越大意味着数据离平均数更“分散”。值越小意味着数据更集中在平均值附近。
用Numpy很容易就能计算出标准差:
numpy.std(array)
3. 百分数
百分数可用于进一步描述范围内每个数据点的位置。
百分数根据数据点在值范围中的位置高低来描述数据点的确切位置。
更准确地说,第p个百分位是数据集中的值,在该值处可以将其分为两部分。下半部分包含p %的数据,即第p个百分位。
例如,看下列11个数字:
13 5 7 9 11 13 15 17 19 21
数字15是第70百分位,因为当在数字15处将数据集分成两部分时,剩余70%的数据小于15。
百分数与平均数和标准差相结合,可以让人们很好地了解特定的点在数据分布/数据范围内的位置。如果它是一个异常值,那么它的百分数将接近于终点——小于5%或大于95%。另一方面,如果百分位数计算结果接近50,那么可知其接近集中趋势。
数组的第50百分位可以用Numpy来计算,代码如下:
numpy.percentile(array, 50)
4. 偏态
数据偏态用于衡量数据的不对称性。
正偏态表示值集中在数据点中心的左侧;负偏度表示值集中在数据点中心的右侧。
下图充分说明了这一点。
下面的公式可用于计算偏态:
偏态可说明数据分布与高斯分布的差距。偏态越大,数据集离高斯分布越远。
这很重要,因为若对数据的分布有一个粗略的概念,就可以为特定的分布定制要训练的ML模型。此外,并非所有ML建模技术都能对非高斯数据起作用。
在开始建模之前,再次强调,统计数据提供了重要的信息!
下面是在Scipy代码中计算偏态的方法:
scipy.stats.skew(array)
5. 协方差和相关性
协方差
两个特征变量的协方差可用于衡量二者的“相关性”。如果两个变量有正协方差,那么当一个变量增加时,另一个也会增加;当协方差为负时,特征变量的值将向相反的方向变化。
相关性
相关性也就是简单的标准化(比例)协方差,即两个被分析变量的积差。这将有效地促使关联范围始终保持在-1.0和1.0之间。
若两个特征变量的相关系数为1.0,则两个特征变量的相关系数为正相关。这也就意味着,如果一个变量的变化量是给定的,那么第二个变量就会按比例向相同的方向移动。
当正相关系数小于1时,表示正相关系数小于完全正相关,且相关强度随着数字趋近于1而增大。这同样也适用于负相关值,只是特征变量的值朝相反的方向变化,而不是朝相同的方向变化。
了解相关性对于主成分分析(PCA)等降维技术非常有用。从计算一个相关矩阵开始——如果有两个或两个以上的变量高度相关,那么它们在解释数据时实际上是多余的,可以删除其中一些变量以降低复杂性。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14