
R语言统计与分布的相关知识
变量
变量按变量值是否连续可分为连续变量与离散变量两种。 连续变量(continuous variable)与离散变量(discrete variable)
连续变量
在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。
离散变量
离散变量是指其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得.
在R语言中的Data.Frame中的每一列可以表示一个变量;
变量关注点:1取值,2概率
得到了变量的取值及概率就获得了数据的分布
数据分布
数据分布的特征
集中趋势(位置)
离中趋势(分散程度)
偏态和峰态(形态)
一、集中趋势的度量
分类数据:众数
顺序数据:众数、中位数、分位数
数值型数据:众数、中位数、分位数、平均数
概念:
o
中位数(median):排序后处于中间位置上的值。如有5个数,排序后第3个数为中位数,如果为6个数,则对中间两个数求平均结果为中位数。M e四分位数(quartile): 排序后处于25%和75%位置上的值。
平均数(mean): 也称为期望
简单算数平均:
加权平均:
几何平均:
几何平均主要用于计算平均增长率;
特点:
1. 众数
不受极端值影响
具有不惟一性
数据分布偏斜程度较大时应用
2. 中位数
不受极端值影响
数据分布偏斜程度较大时应用
3. 平均数
易受极端值影响
数学性质优良
数据对称分布或接近对称分布时应用
关系:
均值在中位数左边为左偏,均值在中位数右边为右偏。
二、离散程度的度量
反映各变量值远离其中心值的程度(离散程度)
分类数据:异众比率
顺序数据:四分位差
相对位置的度量:标准分数
相对离散程度:离散系数
概念:
异众比率(variation ratio): 非众数组的频数占总频数的比例。
例子:
四分位差(quartile deviation):上四分位数与下四分位数之差。反应了中间50%数据的离散程度。
例子:
极差(range):数据中最大值与最小值之差。
方差(variance): 是各个数据分别与其平均数之差的平方的和的平均数; 反映了各变量值与均值的平均差异.
E{x}表示平均数
样本方差:
在统计学中样本的均差多是除以自由度(n-1),它是意思是样本能自由选择的程度。当选到只剩一个时,它不可能再有自由了,所以自由度是n-1。
标准差(standard deviation): 是各个数据分别与其平均数之差的平方的和的平均数的平方根;反映了各变量值与均值的平均差异. 反应了数据集的离散程度.
对方差进行开方
标准分数(standard score):也叫z分数(z-score) 是一个分数与平均数的差再除以标准差的过程。用公式表示为z=(x-μ)/σ。其中x为某一具体分数,分数即为值。
例子:
离散系数:又称为变异系数,常用的是标准差系数,用CV(Coefficient of Variance)表示。标准差与均值的比率。 用公式表示为:CV=σ/μ
离散系数反映单位均值上的离散程度,常用在两个总体均值不等的离散程度的比较上。若两个总体的均值相等,则比较标准差系数与比较标准差是等价的。在对比情况下,离散系数较大的其分布情况差异也大。
协方差:在概率论和统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。
期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为:
从直观上来看,协方差表示的是两个变量总体误差的期望。
如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值;
如果两个变量的变化趋势相反,即其中一个变量大于自身的期望值时另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
结果值范围为-∞~+∞,不同协方差之间是不能比较的
相关系数:
分布
离散变量的分布
1.两点分布 又称为伯努利分布
P(n) = p n (1-p) 1-n (n=1,或 n=0) 1表示成功,0表示失败
成功的概率为p,失败的概率为1-p;
2.二项分布 Binomial Distribution
即重复n次的伯努利试验(Bernoulli Experiment),用X表示随机试验的结果。
如果事件发生的概率是p,则不发生的概率q=1-p,N次独立重复试验中发生K次的概率是:
其中组合的计算公式为:
期望E(X)=np
方差D(X)=npq
例子:张三参加雅思考试,每次通过的概率假设为1/3,不通过的概率为2/3。如果他连续参加4次考试,那么恰好通过2次的概率是多少?
p=1/3, n=4, k=2 代入公式:结果为8/27
3.泊松分布 Poisson
泊松分布适用于描述单位时间内随机事件发生的次数。
泊松分布的概率函数:
期望和方差都为:λ
λ是单位时间内随机事件的平均发生率,k是指事件发生的次数。
当二项分布的n很大而p很小时,泊松分布可作为二项分布的近似,其中λ为np。通常当n≧10,p≦0.1时,二项分布就可以用泊松公式近似得计算。
在实际事例中,当一个随机事件,例如某电话交换台收到的呼叫、来到某公共汽车站的乘客、某放射性物质发射出的粒子、显微镜下某区域中的白血球等等,以固定的平均瞬时速率λ(或称密度)随机且独立地出现时,那么这个事件在单位时间(面积或体积)内出现的次数或个数就近似地服从泊松分布P(λ)。因此,泊松分布在管理科学、运筹学以及自然科学的某些问题中都占有重要的地位。
观察事物平均发生m次的条件下,实际发生x次的概率P(x)可用下式表示:
P(x)=m x *e -m /x!
例子:假设在一个公共汽车站上有许多不同线路的公交车,平均每5分钟会来2辆公交车。求5分钟内来5辆公交车的概率有多大。
k=5, λ=2 代入公式:
P(X=k=5)= 2 5 *2.71828 -2 /5*4*3*2*1 = 0.361
例子:已知某家小杂货店,平均每周售出4个水果罐头。请问该店水果罐头的每周最佳库存量是多少?
库存量越多浪费空间及金钱,库存量过少,无法满足用户的需求,减少销售量。
这里通过 累计概率 来计算,
P(X=k=0) 没有库存的概率
P(X=k=1) 库存为1的概率
P(X=k=2) 库存为2的概率
...
计算到k=7时,将这些概率进行相加,结果为92.98%,如果库存为7,说明有7.02%的概率会供不应求。这个k值根据实际应用场景进行调整。
连续变量的分布
1.均匀分布
2.指数分布
3.正态分布 Normal distribution 也叫高��分布(Gaussian distribution)
若随机变量X服从一个位置参数为μ、尺度参数为σ 的概率分布,且其概率密度函数为
μ是均值,σ 是标准差
则这个随机变量就称为正态随机变量,正态随机变量服从的分布就称为正态分布,记作X~N(μ,σ 2 ), 读作X服从正态分布。
期望E(X)=μ
方差D(X)=σ 2
期望E(X)=0
方差D(X)=1
μ变大,函数图像中轴向右移动
μ变小,函数图像中轴向左移动
σ变大,函数图像坡度变平缓
σ变小,函数图像坡度变陡
经验法则:
正态分布距离均值的左右各一个标准差的概率分布为68%,距离左右两边各两个标准差的概率分布为95%,三个标准差的概率分布式99.7%;
中心极限定理 central limit theorem:
在样本数据中随机抽取一部分数据,这部分数据的分布渐近与正态分布
概率密度函数PDF probability density function ;是一个描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函数。
正态分布的概率密度函数
累计密度函数CDF cumulative distribution function; 是概率密度函数的积分。f(x)当x=k,表示小于k值的所有概率之和。单调递增曲线,无线接近于1.
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28PCU:游戏运营的 “实时晴雨表”—— 从数据监控到运营决策的落地指南 在游戏行业,DAU(日活跃用户)、MAU(月活跃用户)是衡量 ...
2025-08-28Excel 聚类分析:零代码实现数据分群,赋能中小团队业务决策 在数字化转型中,“数据分群” 是企业理解用户、优化运营的核心手段 ...
2025-08-28CDA 数据分析师:数字化时代数据思维的践行者与价值推动者 当数字经济成为全球经济增长的核心引擎,数据已从 “辅助性信息” 跃 ...
2025-08-28ALTER TABLE ADD 多个 INDEX:数据库批量索引优化的高效实践 在数据库运维与性能优化中,索引是提升查询效率的核心手段。当业务 ...
2025-08-27Power BI 去重函数:数据清洗与精准分析的核心工具 在企业数据分析流程中,数据质量直接决定分析结果的可靠性。Power BI 作为主 ...
2025-08-27CDA 数据分析师:数据探索与统计分析的实践与价值 在数字化浪潮席卷各行业的当下,数据已成为企业核心资产,而 CDA(Certif ...
2025-08-27t 检验与 Wilcoxon 检验:数据差异比较的两大统计利器 在数据分析中,“比较差异” 是核心需求之一 —— 如新药疗效是否优于旧药 ...
2025-08-26季节性分解外推法:解锁时间序列预测的规律密码 在商业决策、资源调度、政策制定等领域,准确的预测是规避风险、提升效率的关键 ...
2025-08-26CDA 数据分析师:数据治理驱动下的企业数据价值守护者 在数字经济时代,数据已成为企业核心战略资产,其价值的释放离不开高 ...
2025-08-26