京公网安备 11010802034615号
经营许可证编号:京B2-20210330
批量数据采集过程中方差的计算
最近项目用需要判断开始数据是否稳定,即采集到的数据是否符合期望,我用方差来判断采集到的数据是否稳定。有两种判断方法:第一种是数据不断的进来,我累积的进行方差计算;第二钟是利用滑动窗口的思想,数据个数达到窗口大小时计算方差值,采用循环数组的模式来实现此功能。
第一种实现方法就是采用迭代式的思想进行方差计算。我实在网上看到一位大神的博客中有对此方法的描述,他用matlab代码进行了说明,,我用C语言实现了;下面附上代码:
[cpp] view plain copy
double GetVariance(uint64_t value)
{
static uint8_t cnt = 0;
static double Var = 0;
static double Esp = 0;
double TempValue = 0;
cnt = cnt + 1;
if(cnt == 1)
{
Var = 0;
Esp = value;
return Var;
}
TempValue = value - Esp;
Esp = (value + Esp*(cnt - 1))/cnt;
Var = Var + TempValue*(value - Esp);
return (Var/cnt);
}
这样在程序中不断调用该函数即可迭代式的计算出方差,而不需要知道数据的个数。
第二种方法是采用滑动窗口的思想,这里需要说明一下,我做的时候有两种情况,一种是窗口不动,数据不断前移,FIFO,这种实现起来最简单;还有一种情况是窗口向前移动,这种实现起来就比较复杂了,我用单步调试好多次,才搞清楚之间的区别。
(1)窗口不动,数据前移:
[cpp] view plain copy
double Function(uint16_t value)
{
static uint8_t cnt=0;
static uint8_t len=7;
static uint16_t sample[7]={0};
uint8_t i=0;
double var;
if(cnt < len)
{
sample[cnt++] = value;
return 0;
}
else
{
for(;i+1<cnt;i++)
{
sample[i]=sample[i+1];
}
sample[i]=value;
var=Variance(sample,7);
}
}
其中 Variance()是我写的计算方差函数,这样就实现了滑动计算数据方差值。
(2)窗口前移,这种实现数据的滑动,设定好窗口大小后,按照FIFO原则,数据不断进入出去,但是这种实现数据滑动后对计算方差增加了难度,这里只说出如何实现窗口向前滑动的代码:
[cpp] view plain copy
void Function(uint16_t value)
{
static uint8_t cnt=0;
static uint8_t len=7;
static uint8_t index=0;
static int order[7]={0};
static int sample[7]={0};
uint8_t i=0;
sample[index] = value;
if(cnt < len)
{
cnt++;
}
else
{
for(i=0;i<cnt;i++)
{
if(order[i] == index)
break;
}
for(;i+1<cnt;i++)
{
order[i]=order[i+1];
}
}
order[cnt-1] = index;
index=(1+index)%len;
}
最后把计算方差的函数Varanice()代码列出来:
[cpp] view plain copy
double Variance(uint16_t data[], uint8_t n)
{
double mean = 0, divisor;
uint16_t sum = 0,Varian = 0;
uint8_t i;
for(i=0;i<n;i++)
{
sum = sum + data[i];
}
mean = sum/n;
for(i=0;i<n;i++)
{
Varian = Varian + pow(data[i]-mean,2);
}
/*程序中divisor是自由度,20是小样本判断的一个标准。如果是小样本的话,约束较大,
自由度就要减一;如果是大样本的话,自由度为样本个数。*/
if(n<20)
{
divisor = n-1;
}
else
{
divisor = n;
}
return (Varian/divisor);
}
以上代码如有错误还望指正,共同进步
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
多层感知机(MLP,Multilayer Perceptron)作为深度学习中最基础、最经典的神经网络模型,其结构设计直接决定了模型的拟合能力、 ...
2026-03-30在TensorFlow深度学习实战中,数据集的加载与预处理是基础且关键的第一步。手动下载、解压、解析数据集不仅耗时费力,还容易出现 ...
2026-03-30在CDA(Certified Data Analyst)数据分析师的日常工作中,“无监督分组、挖掘数据内在聚类规律”是高频核心需求——电商场景中 ...
2026-03-30机器学习的本质,是让模型通过对数据的学习,自主挖掘规律、实现预测与决策,而这一过程的核心驱动力,并非单一参数的独立作用, ...
2026-03-27在SQL Server数据库操作中,日期时间处理是高频核心需求——无论是报表统计中的日期格式化、数据筛选时的日期类型匹配,还是业务 ...
2026-03-27在CDA(Certified Data Analyst)数据分析师的能力体系与职场实操中,高维数据处理是高频且核心的痛点——随着业务场景的复杂化 ...
2026-03-27在机器学习建模与数据分析实战中,特征维度爆炸、冗余信息干扰、模型泛化能力差是高频痛点。面对用户画像、企业经营、医疗检测、 ...
2026-03-26在这个数据无处不在的时代,数据分析能力已不再是数据从业者的专属技能,而是成为了职场人、管理者、创业者乃至个人发展的核心竞 ...
2026-03-26在CDA(Certified Data Analyst)数据分析师的能力体系中,线性回归是连接描述性统计与预测性分析的关键桥梁,也是CDA二级认证的 ...
2026-03-26在数据分析、市场研究、用户画像构建、学术研究等场景中,我们常常会遇到多维度、多指标的数据难题:比如调研用户消费行为时,收 ...
2026-03-25在流量红利见顶、获客成本持续攀升的当下,营销正从“广撒网”的经验主义,转向“精耕细作”的数据驱动主义。数据不再是营销的辅 ...
2026-03-25在CDA(Certified Data Analyst)数据分析师的全流程工作中,无论是前期的数据探索、影响因素排查,还是中期的特征筛选、模型搭 ...
2026-03-25在当下数据驱动决策的职场环境中,A/B测试早已成为互联网产品、运营、营销乃至产品迭代优化的核心手段,小到一个按钮的颜色、文 ...
2026-03-24在统计学数据分析中,尤其是分类数据的分析场景里,卡方检验和显著性检验是两个高频出现的概念,很多初学者甚至有一定统计基础的 ...
2026-03-24在CDA(Certified Data Analyst)数据分析师的日常业务分析与统计建模工作中,多组数据差异对比是高频且核心的分析场景。比如验 ...
2026-03-24日常用Excel做数据管理、台账维护、报表整理时,添加备注列是高频操作——用来标注异常、说明业务背景、记录处理进度、补充关键 ...
2026-03-23作为业内主流的自助式数据可视化工具,Tableau凭借拖拽式操作、强大的数据联动能力、灵活的仪表板搭建,成为数据分析师、业务人 ...
2026-03-23在CDA(Certified Data Analyst)数据分析师的日常工作与认证考核中,分类变量的关联分析是高频核心场景。用户性别是否影响商品 ...
2026-03-23在数据工作的全流程中,数据清洗是最基础、最耗时,同时也是最关键的核心环节,无论后续是做常规数据分析、可视化报表,还是开展 ...
2026-03-20在大数据与数据驱动决策的当下,“数据分析”与“数据挖掘”是高频出现的两个核心概念,也是很多职场人、入门学习者容易混淆的术 ...
2026-03-20