京公网安备 11010802034615号
经营许可证编号:京B2-20210330
批量数据采集过程中方差的计算
最近项目用需要判断开始数据是否稳定,即采集到的数据是否符合期望,我用方差来判断采集到的数据是否稳定。有两种判断方法:第一种是数据不断的进来,我累积的进行方差计算;第二钟是利用滑动窗口的思想,数据个数达到窗口大小时计算方差值,采用循环数组的模式来实现此功能。
第一种实现方法就是采用迭代式的思想进行方差计算。我实在网上看到一位大神的博客中有对此方法的描述,他用matlab代码进行了说明,,我用C语言实现了;下面附上代码:
[cpp] view plain copy
double GetVariance(uint64_t value)
{
static uint8_t cnt = 0;
static double Var = 0;
static double Esp = 0;
double TempValue = 0;
cnt = cnt + 1;
if(cnt == 1)
{
Var = 0;
Esp = value;
return Var;
}
TempValue = value - Esp;
Esp = (value + Esp*(cnt - 1))/cnt;
Var = Var + TempValue*(value - Esp);
return (Var/cnt);
}
这样在程序中不断调用该函数即可迭代式的计算出方差,而不需要知道数据的个数。
第二种方法是采用滑动窗口的思想,这里需要说明一下,我做的时候有两种情况,一种是窗口不动,数据不断前移,FIFO,这种实现起来最简单;还有一种情况是窗口向前移动,这种实现起来就比较复杂了,我用单步调试好多次,才搞清楚之间的区别。
(1)窗口不动,数据前移:
[cpp] view plain copy
double Function(uint16_t value)
{
static uint8_t cnt=0;
static uint8_t len=7;
static uint16_t sample[7]={0};
uint8_t i=0;
double var;
if(cnt < len)
{
sample[cnt++] = value;
return 0;
}
else
{
for(;i+1<cnt;i++)
{
sample[i]=sample[i+1];
}
sample[i]=value;
var=Variance(sample,7);
}
}
其中 Variance()是我写的计算方差函数,这样就实现了滑动计算数据方差值。
(2)窗口前移,这种实现数据的滑动,设定好窗口大小后,按照FIFO原则,数据不断进入出去,但是这种实现数据滑动后对计算方差增加了难度,这里只说出如何实现窗口向前滑动的代码:
[cpp] view plain copy
void Function(uint16_t value)
{
static uint8_t cnt=0;
static uint8_t len=7;
static uint8_t index=0;
static int order[7]={0};
static int sample[7]={0};
uint8_t i=0;
sample[index] = value;
if(cnt < len)
{
cnt++;
}
else
{
for(i=0;i<cnt;i++)
{
if(order[i] == index)
break;
}
for(;i+1<cnt;i++)
{
order[i]=order[i+1];
}
}
order[cnt-1] = index;
index=(1+index)%len;
}
最后把计算方差的函数Varanice()代码列出来:
[cpp] view plain copy
double Variance(uint16_t data[], uint8_t n)
{
double mean = 0, divisor;
uint16_t sum = 0,Varian = 0;
uint8_t i;
for(i=0;i<n;i++)
{
sum = sum + data[i];
}
mean = sum/n;
for(i=0;i<n;i++)
{
Varian = Varian + pow(data[i]-mean,2);
}
/*程序中divisor是自由度,20是小样本判断的一个标准。如果是小样本的话,约束较大,
自由度就要减一;如果是大样本的话,自由度为样本个数。*/
if(n<20)
{
divisor = n-1;
}
else
{
divisor = n;
}
return (Varian/divisor);
}
以上代码如有错误还望指正,共同进步
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在中介效应分析(或路径分析)中,间接效应是衡量“自变量通过中介变量影响因变量”这一间接路径强度与方向的核心指标。不同于直 ...
2025-12-30数据透视表是数据分析中高效汇总、多维度分析数据的核心工具,能快速将杂乱数据转化为结构化的汇总报表。在实际分析场景中,我们 ...
2025-12-30在金融投资、商业运营、用户增长等数据密集型领域,量化策略凭借“数据驱动、逻辑可验证、执行标准化”的优势,成为企业提升决策 ...
2025-12-30CDA(Certified Data Analyst),是在数字经济大背景和人工智能时代趋势下,源自中国,走向世界,面向全行业的专业技能认证,旨 ...
2025-12-29在数据分析领域,周期性是时间序列数据的重要特征之一——它指数据在一定时间间隔内重复出现的规律,广泛存在于经济、金融、气象 ...
2025-12-29数据分析师的核心价值在于将海量数据转化为可落地的商业洞察,而高效的工具则是实现这一价值的关键载体。从数据采集、清洗整理, ...
2025-12-29在金融、零售、互联网等数据密集型行业,量化策略已成为企业提升决策效率、挖掘商业价值的核心工具。CDA(Certified Data Analys ...
2025-12-29CDA中国官网是全国统一的数据分析师认证报名网站,由认证考试委员会与持证人会员、企业会员以及行业知名第三方机构共同合作,致 ...
2025-12-26在数字化转型浪潮下,审计行业正经历从“传统手工审计”向“大数据智能审计”的深刻变革。教育部发布的《大数据与审计专业教学标 ...
2025-12-26统计学作为数学的重要分支,是连接数据与决策的桥梁。随着数据规模的爆炸式增长和复杂问题的涌现,传统统计方法已难以应对高维、 ...
2025-12-26数字化浪潮席卷全球,数据已成为企业核心生产要素,“用数据说话、用数据决策”成为企业生存与发展的核心逻辑。在这一背景下,CD ...
2025-12-26箱线图(Box Plot)作为数据分布可视化的核心工具,凭借简洁的结构直观呈现数据的中位数、四分位数、异常值等关键信息,广泛应用 ...
2025-12-25在数据驱动决策的时代,基于历史数据进行精准预测已成为企业核心需求——无论是预测未来销售额、客户流失概率,还是产品需求趋势 ...
2025-12-25在数据驱动业务的实践中,CDA(Certified Data Analyst)数据分析师的核心工作,本质上是通过“指标”这一数据语言,解读业务现 ...
2025-12-25在金融行业的数字化转型进程中,SQL作为数据处理与分析的核心工具,贯穿于零售银行、证券交易、保险理赔、支付结算等全业务链条 ...
2025-12-24在数据分析领域,假设检验是验证“数据差异是否显著”的核心工具,而独立样本t检验与卡方检验则是其中最常用的两种方法。很多初 ...
2025-12-24在企业数字化转型的深水区,数据已成为核心生产要素,而“让数据可用、好用”则是挖掘数据价值的前提。对CDA(Certified Data An ...
2025-12-24数据分析师认证考试全面升级后,除了考试场次和报名时间,小伙伴们最关心的就是报名费了,报 ...
2025-12-23在Power BI数据可视化分析中,矩阵是多维度数据汇总的核心工具,而“动态计算平均值”则是矩阵分析的高频需求——无论是按类别计 ...
2025-12-23在SQL数据分析场景中,“日期转期间”是高频核心需求——无论是按日、周、月、季度还是年度统计数据,都需要将原始的日期/时间字 ...
2025-12-23