作者:丁点helper
来源:丁点帮你
正态分布,这个我们从中学就学过的内容,真有这么重要吗?我想,真正学懂统计的人对这一点是不会质疑的,且不谈特别高深的统计理论,彻底弄懂正态分布是灵活运用统计学中各种假设检验方法、看懂p值,理解均数置信区间的前提。今天,我尝试带着大家搞懂对于正态分布你需要知道的所有知识点。
作为统计学的基础,我们会主要注重思维理解,复杂的数学计算在此略去。这并非意味着数学不重要,对数学的仔细专研恰恰会特别辅助理解和掌握,只是对于大部分数学基础不好的同学这个难度不小,所以我们在这里会尽可能少用难懂的数学理论,用简单的语言讲清最基础、最重要的逻辑。本篇文章主要来自于我们微信公众号“丁点帮你”的SPSS与统计思维的系列课程的第七讲 二项分布和正态分布,在这里形成文字是为了不方便看视频的同学学习和回顾。
1. 从名字说起
为什么叫“正态分布”,也有地方叫“常态分布”,这两个名字都不太直观,但如果我们各取一字变为“正常分布”,就很白话了,而这正是“正态分布”的本质含义,Normal Distribution。它太常见了,基本上能描述所有常见的事物和现象:正常人群的身高、体重、考试成绩、家庭收入等等。这里的描述是什么意思呢?就是说这些指标背后的数据都会呈现一种中间密集、两边稀疏的特征。以身高为例,服从正态分布意味着大部分人的身高都会在人群的平均身高上下波动,特别矮和特别高的都比较少见。
你可能不禁要问,这是为什么?我们认为,这其实与我们前面所讲的同质与变异的概念相关(参见课程第三讲 统计学核心思维与统计描述)。因为我们研究的对象具有同质性(比如都是成年的中国男子),所以其特征往往是趋同的,即存在一个基准;但由于个体变异的存在(当然变异不会太大),这些特征又不是完全一致,所以会以一定的幅度在基准的上下波动,从而形成了中间密集,两侧稀疏的特征。
2. 连续型随机变量研究区间概率
了解了正态分布的基本思想,我们来看看实际应用中我们需要掌握的要点。首先,正态分布属于“连续型随机变量分布”的一类。我们知道,对于连续型随机变量,我们不关注“点概率”,只关注“区间概率”,这是什么意思?
我们看这个例子,假定随机变量X指是“北京市成年男子的身高”,理论上它可以取任意正数,所以我们把它当做一个连续型随机变量(连续型变量,就是指可以取某一区间或整个实数轴上的任意一个值的变量)来看待。这里,我们先想一想如何计算P(X =1.87)? 即身高恰好完全exactly等于1.87的概率是多少,这就是所谓的“点概率”。更极端一点,让随机变量Y是[0,1]这个区间上的任意一点,那么Y的取值有多少个呢?无数多个,我们数不清楚,所以Y 取某一个具体的值的概率是1除以无数,即可以看做是0。于是,这里透露一个很重要的结论:连续型随机变量取任意某个确定的值的概率均为0。因此,对于连续型随机变量,我们通常不研究它取某个特定值的概率,而研究它在某一段区间上的取值,比如身高在1.70~1.80的概率。
3. 概率密度函数
对于初学者来讲,“概率密度”可能是最不友好的一个概念,直接谈概率不行吗,好好的为什么要生出一个“密度”?的确,没有太多数理基础,这个概念着实不太好理解。虽然文字和数学公式上你可能感觉很陌生,但我们特别熟知的那条中间高、两边低的“钟形曲线”恰恰就是正态分布的概率密度曲线。前面我们讲了区间概率,这里你就可以通过区间的角度来理解概率密度曲线:曲线越高,也就代表着这个区间的数据越密集,简单理解成在同样大小的房子里,这个房间的人数更多、更挤。除此之外,另一个关于概率密度函数的重要知识点是,积分(这里简单理解为“密度曲线下面积“即可)等于概率。随机变量X在某个区间比如(a,b)即a<X<b的概率,就是概率密度曲线在这个区间下的面积,数学上的表达就是密度函数在区间(a, b)上的积分。所以,概率的大小就是“概率密度函数曲线下的面积”的大小,这个不太起眼的概念实际上就决定了你日后是否能理解假设假设中所谓的“拒绝域”。
下图中的三条曲线f(x),就是概率密度函数,各种形式的概率就是相对应的曲线下面积。这里,数学基础不太好的同学不用特别深挖积分的计算过程,但对这三张图与对应的概率表达形式,同学们要熟知。
4. 均数和标准差
前面说对于正态分布的概率密度函数以及积分不用特别关注,那真正需要关注的是什么呢?就是均数和标准差。这里需要明确的是,一旦谈及正态分布,我们首先要想到它的两个参数:均数和标准差。每次一遇到正态分布就迅速找这两个概念,最好形成条件反射,因为这两个数才是我们日后运用正态分布解决实际问题的“利器”。
关于正态分布均数和标准差的性质,我们这里简单总结一下:1)概率密度曲线在均值处达到最大,并且对称;2)一旦均值和标准差确定,正态分布曲线也就确定;3)当X的取值向横轴左右两个方向无限延伸时,曲线的两个尾端也无限渐近横轴,理论上永远不会与之相交;4)正态随机变量在特定区间上的取值概率由正态曲线下的面积给出,而且其曲线下的总面积等于1 ;5)均值可取实数轴上的任意数值,决定正态曲线的具体位置;标准差决定曲线的“陡峭”或“扁平”程度:标准差越大,正态曲线越扁平;标准差越小,正态曲线越陡峭。这是因为,标准差越小,意味着大多数变量值离均数的距离越短,因此大多数值都紧密地聚集在均数周围,图形所能覆盖的变量值就少些(比如1±0.1涵盖[0.9,1.1]),于是都挤在一块,图形上呈现瘦高型。相反,标准差越大,数据跨度就比较大,分散程度大,所覆盖的变量值就越多(比如1±0.5涵盖[0.5,1.5]),图形呈现“矮胖型”。
我们可以对照下图直观地看一下,图中黄色曲线为A,蓝色曲线为B,紫红色曲线为C。如图,我们可以看到均数的大小决定了曲线的位置,标准差的大小决定了曲线的胖瘦。A和B的均值一样,但标准差不同,所以形状不同,根据我们的描述,图形越瘦高,标准差越小,图形越扁平,标准差越大。确实如此,图中B的标准差是1/2,小于A的标准差1。
5. 标准化与查表求概率
接下来,我们通过一个例子来看如何通过查表法计算正态分布变量在某个区间的概率。首先,我们看这个问题,说小明每天上学的通勤时间是一个随机变量X,这个变量服从正态分布。统计他过去20天的通勤时间(单位:分钟):26、33、65、28、34、55、25、44、50、36、26、37、43、62、35、38、45、32、28、34。现在我们想知道他上学花30~45分钟的概率。
首先,我们将问题转化为数学表达式,要算他上学花30~45分钟的概率,就是求P(30 < X < 45)。之前我们一直强调,一个变量服从正态分布,就要立马考虑到它的均数和标准差是多少。这里我们简化一下用他过去20天的样本数据来代替。所以,我们首先计算这20天通勤时间的样本均数及标准差,分别为38.8(分钟)和11.4(分钟)。
然后,我们进行标准化,这一步很重要,也称z变换。通过标准化,所有服从一般正态分布的随机变量都变成了服从均数为0,标准差为1的标准正态分布。对于服从标准正态分布的随机变量,专门用z表示。因此,求P(30 < X < 45),就转换成了求P(-0.77 < Z < 0.54),标准化的具体计算为:
这里简单提醒一下,经过标准化后,原来的曲线的形状不会变化,即不会改变胖瘦,只是位置发生平移,比如下图中的例子,经过标准化实际上只是均数从1010移到了0。
完成z变换,我们就通过可以利用z值表找到对应的概率值。下图就是z值表,一般的统计教科书后面都有,同学们也可以在网上查到。找不到的同学,可以关注我们的微信公众号后台留言索取。
再三强调,图中阴影部分的面积代表的是Z ≤ z的概率(注意是“≤”)。另外,还有两个根据定义成立的两个公式:一是P(Z ≥ z)= 1- P(Z ≤ z);二是P(Z≤-z)= 1-P(Z ≤ z)大家也需要了解。下面我们正式看看怎么查表,前面我们已经把问题转化成求P (-0.77 ≤ Z ≤0.54) = P (Z ≤ 0.54)–P (Z ≤ -0.77),于是,我们需要找当Z≤0.54和Z≤-0.77的概率值然后相减即可。
先看Z≤0.54的P值,对照下图,首先看表格最左边那一列,找到0.5,然后,因为0.54的第二位小数是4,所以定位到顶行找到“4”那一列,得到0.7054;同样的方法,我们找到Z≤-0.77对应的P值0.2206。最后我们就能算出,P (-0.77 ≤ Z ≤0.54) = 0.4848,约等于0.5。因此,我们可以说,小明上学通勤时间花费30~45分钟的概率是50%,这个概率还挺大的,占了一半。我们通过这个具体的例子详细讲解了随机变量在某个区间的概率求解,不是因为这个计算有多重要,而是想提前给你打好基础,方便理解假设检验及p值等相关概念。
P (Z ≤ 0.54) = 0.7054
P (Z ≤ -0.77) = 0.2206
6. 三个百分数:68%,95%,99.7%
熟悉了Z变换、查表求概率,我们来看看正态分布运用十分广泛的三个百分数:68%,95%,99.7%。先看标准正态分布,我们知道一个变量服从标准正态分布,它的均数是0,标准差是1,那除了这两个数字之外,我们还能获得更多的信息吗?可以,这三个百分数告诉了我们答案。看下面这3个图:
虽然理论上正态随机变量可以取无数个值,定义域是整个实数轴,但实际上在[-1,1]这个区间就包含了它可以取的68%的值,[-2,2]区间包含了95%的值,[-3,3]包含了它可能取的99.7%的值。这里的1,2,3分别代表一个、两个和三个标准差(标准正态分布的均数为0,标准差为1)。所以,根据这些,我们就可以推断,一个服从标准正态分布的变量,它的取值很不可能超过2,极不可能超过3。这个用处非常大,一下子把我们要研究的重心从整个实数轴缩小到[-3,3]这个区间。另外,这里虽然是以标准正态分布为例进行说明,但这个性质是完全可以推到普通的正态分布的变量的。百分数不变,不过均数和标准差不再是0和1,而是代入具体分布的均数和标准差即可。下面我们来看一个实际应用的例子。
某小学学生身高的平均值和标准差分别为1.4(米)和0.15(米),我们知道身高一般是服从正态分布的,由此我们可以知道这个学校有68%的学生的身高在1.25到1.55,这里的1.25和1.55就是1.4加减0.15得到的(均数加减一个标准差),有95%的学生身高在1.1到1.7之间(均数加减两个标准差),由此便极大地提升了我们对数据的掌握程度。讲完这些你会发现一种巧妙的求解均数和标准差的方法:如果我们知道了某个变量的95%区间的取值(关于均值对称),我们就可以算出对应的均数和标准差,进而几乎知道了一切。
以上即为梳理的有关正态分布的关键知识点,希望大家在遇到假设检验和p值等概念的理解障碍时能回头看看这些最基础的要点,相信对你会有所帮助。
——热门课程推荐:
想从事业务型数据分析师,您可以点击>>>“数据分析师”了解课程详情;
想从事大数据分析师,您可以点击>>>“大数据就业”了解课程详情;
想成为人工智能工程师,您可以点击>>>“人工智能就业”了解课程详情;
想了解Python数据分析,您可以点击>>>“Python数据分析师”了解课程详情;
想咨询互联网运营,你可以点击>>>“互联网运营就业班”了解课程详情;
数据分析咨询请扫描二维码
人工智能(AI)正迅速成为现代科技的核心,推动着各行各业的革新与发展。大学人工智能专业的学习内容非常广泛,涵盖了计算机科学 ...
2024-09-20数据分析师考证:CDA认证的全面指南 数据分析在现代商业和科技领域中的重要性日益增加,越来越多的企业依赖数据驱动决策来提升竞 ...
2024-09-20网络爬虫(Web Crawler),也被称为网络蜘蛛、网络机器人或网页抓取器,是一种自动化程序或脚本,用于在互联网上自动抓取和收集 ...
2024-09-20数据分析是现代商业和科学研究中不可或缺的一部分。Python凭借其强大的库和易用性,成为数据分析领域的首选编程语言。本文将深入 ...
2024-09-20数据分析师是一个需要多方面技能和特质的职业,适合做数据分析师的人通常具备以下特质和技能: 对数据有浓厚兴趣:数据爱好者, ...
2024-09-20CDA证书的考试内容涵盖了多个模块,具体包括: 数据分析概述与职业操守:包括数据分析的基本概念、方法论、角色,数据分析师的 ...
2024-09-20数字化转型的核心在于利用数字技术来推动企业或组织在业务模式、流程、文化和价值链等方面的根本性变革,以提高效率、创造新的增 ...
2024-09-20作为一名资深数据分析师,拥有CDA证书可以显著提升你的职业竞争力,并为你带来更多的职业发展机会。CDA证书在金融、电信、零售、 ...
2024-09-20数据分析师的月薪因地区、经验、技能和行业而异。根据2024年的数据,数据分析师在中国的平均月薪约为11,910元,但这个数字可能因 ...
2024-09-20CDA证书在统计学领域的应用非常广泛,特别是在数据分析和业务决策中。以下是CDA Level II级别中一些与统计学相关的应用: 数据 ...
2024-09-20统计学结合CDA证书可以为就业提供多样化的方向和广阔的前景。以下是一些主要的就业方向: 政府部门:统计学专业毕业生可以在政 ...
2024-09-20CDA认证分为三个级别,每个级别对应不同的数据分析技能: CDA Level I:这是入门级别,主要面向零基础就业转行者、应届毕业生以 ...
2024-09-20在职场中,将CDA(Certified Data Analyst)证书转化为实际的业务成果和价值,可以通过以下几个步骤实现: 提升专业技能:CDA证 ...
2024-09-20考取CDA(Certified Data Analyst)证书后,可以通过以下几个策略在职场中提升薪资: 深化专业技能:持续学习和实践,提高数据 ...
2024-09-20数字经济专业是一门综合性、交叉性的学科,旨在培养具备扎实经济学基础和熟练数字技能的数据分析与决策人才。该专业的课程内容丰 ...
2024-09-19数据分析师这个职位本身并不特定于性别,男性和女性都可以从事这项工作。至于是否会觉得累,这取决于多种因素,包括个人的工作经 ...
2024-09-19CDA认证考试的通过率会根据不同年份和考试难度有所变化。根据CDA数据科学研究院发布的数据,第十一届CDA认证考试的通过率如下: ...
2024-09-19大数据技术毕业生在职场中脱颖而出需要从多个方面进行努力和规划。首先,明确职业目标是关键一步。了解大数据相关的职业岗位,如 ...
2024-09-19在数据分析领域,有几个专业认证是值得考虑的,它们可以帮助提升你的专业技能,并在就业市场上增加竞争力。以下是一些推荐的认证 ...
2024-09-19金融数学专业是一门结合了数学、统计学和经济学的交叉学科,旨在培养具备扎实的数学基础和金融理论知识的复合型人才。随着全球 ...
2024-09-19