R语言统计与分布的相关知识
变量
变量按变量值是否连续可分为连续变量与离散变量两种。 连续变量(continuous variable)与离散变量(discrete variable)
连续变量
在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。
离散变量
离散变量是指其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得.
在R语言中的Data.Frame中的每一列可以表示一个变量;
变量关注点:1取值,2概率
得到了变量的取值及概率就获得了数据的分布
数据分布
数据分布的特征
集中趋势(位置)
离中趋势(分散程度)
偏态和峰态(形态)
一、集中趋势的度量
分类数据:众数
顺序数据:众数、中位数、分位数
数值型数据:众数、中位数、分位数、平均数
概念:
o
中位数(median):排序后处于中间位置上的值。如有5个数,排序后第3个数为中位数,如果为6个数,则对中间两个数求平均结果为中位数。M e四分位数(quartile): 排序后处于25%和75%位置上的值。
平均数(mean): 也称为期望
简单算数平均:
加权平均:
几何平均:
几何平均主要用于计算平均增长率;
特点:
1. 众数
不受极端值影响
具有不惟一性
数据分布偏斜程度较大时应用
2. 中位数
不受极端值影响
数据分布偏斜程度较大时应用
3. 平均数
易受极端值影响
数学性质优良
数据对称分布或接近对称分布时应用
关系:
均值在中位数左边为左偏,均值在中位数右边为右偏。
二、离散程度的度量
反映各变量值远离其中心值的程度(离散程度)
分类数据:异众比率
顺序数据:四分位差
相对位置的度量:标准分数
相对离散程度:离散系数
概念:
异众比率(variation ratio): 非众数组的频数占总频数的比例。
例子:
四分位差(quartile deviation):上四分位数与下四分位数之差。反应了中间50%数据的离散程度。
例子:
极差(range):数据中最大值与最小值之差。
方差(variance): 是各个数据分别与其平均数之差的平方的和的平均数; 反映了各变量值与均值的平均差异.
E{x}表示平均数
样本方差:
在统计学中样本的均差多是除以自由度(n-1),它是意思是样本能自由选择的程度。当选到只剩一个时,它不可能再有自由了,所以自由度是n-1。
标准差(standard deviation): 是各个数据分别与其平均数之差的平方的和的平均数的平方根;反映了各变量值与均值的平均差异. 反应了数据集的离散程度.
对方差进行开方
标准分数(standard score):也叫z分数(z-score) 是一个分数与平均数的差再除以标准差的过程。用公式表示为z=(x-μ)/σ。其中x为某一具体分数,分数即为值。
例子:
离散系数:又称为变异系数,常用的是标准差系数,用CV(Coefficient of Variance)表示。标准差与均值的比率。 用公式表示为:CV=σ/μ
离散系数反映单位均值上的离散程度,常用在两个总体均值不等的离散程度的比较上。若两个总体的均值相等,则比较标准差系数与比较标准差是等价的。在对比情况下,离散系数较大的其分布情况差异也大。
协方差:在概率论和统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。
期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为:
从直观上来看,协方差表示的是两个变量总体误差的期望。
如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值;
如果两个变量的变化趋势相反,即其中一个变量大于自身的期望值时另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
结果值范围为-∞~+∞,不同协方差之间是不能比较的
相关系数:
分布
离散变量的分布
1.两点分布 又称为伯努利分布
P(n) = p n (1-p) 1-n (n=1,或 n=0) 1表示成功,0表示失败
成功的概率为p,失败的概率为1-p;
2.二项分布 Binomial Distribution
即重复n次的伯努利试验(Bernoulli Experiment),用X表示随机试验的结果。
如果事件发生的概率是p,则不发生的概率q=1-p,N次独立重复试验中发生K次的概率是:
其中组合的计算公式为:
期望E(X)=np
方差D(X)=npq
例子:张三参加雅思考试,每次通过的概率假设为1/3,不通过的概率为2/3。如果他连续参加4次考试,那么恰好通过2次的概率是多少?
p=1/3, n=4, k=2 代入公式:结果为8/27
3.泊松分布 Poisson
泊松分布适用于描述单位时间内随机事件发生的次数。
泊松分布的概率函数:
期望和方差都为:λ
λ是单位时间内随机事件的平均发生率,k是指事件发生的次数。
当二项分布的n很大而p很小时,泊松分布可作为二项分布的近似,其中λ为np。通常当n≧10,p≦0.1时,二项分布就可以用泊松公式近似得计算。
在实际事例中,当一个随机事件,例如某电话交换台收到的呼叫、来到某公共汽车站的乘客、某放射性物质发射出的粒子、显微镜下某区域中的白血球等等,以固定的平均瞬时速率λ(或称密度)随机且独立地出现时,那么这个事件在单位时间(面积或体积)内出现的次数或个数就近似地服从泊松分布P(λ)。因此,泊松分布在管理科学、运筹学以及自然科学的某些问题中都占有重要的地位。
观察事物平均发生m次的条件下,实际发生x次的概率P(x)可用下式表示:
P(x)=m x *e -m /x!
例子:假设在一个公共汽车站上有许多不同线路的公交车,平均每5分钟会来2辆公交车。求5分钟内来5辆公交车的概率有多大。
k=5, λ=2 代入公式:
P(X=k=5)= 2 5 *2.71828 -2 /5*4*3*2*1 = 0.361
例子:已知某家小杂货店,平均每周售出4个水果罐头。请问该店水果罐头的每周最佳库存量是多少?
库存量越多浪费空间及金钱,库存量过少,无法满足用户的需求,减少销售量。
这里通过 累计概率 来计算,
P(X=k=0) 没有库存的概率
P(X=k=1) 库存为1的概率
P(X=k=2) 库存为2的概率
...
计算到k=7时,将这些概率进行相加,结果为92.98%,如果库存为7,说明有7.02%的概率会供不应求。这个k值根据实际应用场景进行调整。
连续变量的分布
1.均匀分布
2.指数分布
3.正态分布 Normal distribution 也叫高��分布(Gaussian distribution)
若随机变量X服从一个位置参数为μ、尺度参数为σ 的概率分布,且其概率密度函数为
μ是均值,σ 是标准差
则这个随机变量就称为正态随机变量,正态随机变量服从的分布就称为正态分布,记作X~N(μ,σ 2 ), 读作X服从正态分布。
期望E(X)=μ
方差D(X)=σ 2
期望E(X)=0
方差D(X)=1
μ变大,函数图像中轴向右移动
μ变小,函数图像中轴向左移动
σ变大,函数图像坡度变平缓
σ变小,函数图像坡度变陡
经验法则:
正态分布距离均值的左右各一个标准差的概率分布为68%,距离左右两边各两个标准差的概率分布为95%,三个标准差的概率分布式99.7%;
中心极限定理 central limit theorem:
在样本数据中随机抽取一部分数据,这部分数据的分布渐近与正态分布
概率密度函数PDF probability density function ;是一个描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函数。
正态分布的概率密度函数
累计密度函数CDF cumulative distribution function; 是概率密度函数的积分。f(x)当x=k,表示小于k值的所有概率之和。单调递增曲线,无线接近于1.
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14