Stata软件对截断和删失数据处理方法介绍
截断和删失是完全不同的现象,都会导致我们的样本不完整。这些现象出现在医疗科学、工程、社会科学和其他研究领域。如果忽略截断和删失,当我们分析数据时,我们的人口参数估计就会不一致。
截断和删失会出现在处理样本的过程中,那我们就从定义左截断和左删失开始:
当低于阈值的个体在样本中不存在时,我们的数据就属于左截断。比如,我们想研究某些鱼的大小,以捕鱼网为样本,鱼小于鱼网,所以在我们的样本中是不存在的。
我们的数据从K开始左删失,如果每个个体值在样本中存在并低于K,但实际值未知。例如,我们有一个测量仪器,不能检测到一定水平以下的值时,就会发生这种情况。
我们主要讨论左截断和左删失,但是我们讨论的概念可以应用到所有的截断和删失中去:右截断、右删失和区间。
当执行截断或删失数据的估计时,我们需要使用一些工具来说明这些不完整的数据。对于截断线性回归,我们可以使用truncreg命令;对于删失线性回归,我们可以使用intreg和tobit命令。
这篇文章,我们将要分析截断数据和删失数据的特征,并讨论用truncreg命令和tobit命令来说明不完整的数据。
截断数据
案例:皇家海军陆战队
Fogel et al.(1978)发布了皇家海军陆战队人员的身高的数据集,此数据可以扩展到2个世纪。它可以用来确定不同时期,英国男性的平均身高。Trussell and Bloom (1979)指出样本被截断,由于新兵最低身高的限制。数据被截断了(而不是删失),因为身高低于最低限制的个人都没有出现在样本中。考虑到这一事实,他们拟合了1800年到1809年期间皇家海军陆战队身高的截断分布。
由于Trussell和Bloom提到的问题,我们使用了人工数据集。我们假设人口数据服从正态分布μ=65和σ=3.5,并且都是左截断到64.
我们使用一个直方图来总结我们的数据:
可以看到截断点,没有小于64的数据。
如果我们忽略截断,会发生什么呢?
如果我们忽略截断,将不完整的数据视为完整的,样本均值与总体均值就会不一致,因为截断点以下的所有观测值都是缺失的。在我们的实例中,真实的均值95%都在置信区间预测平均值外。
我们可以将样本直方图与忽略截断后得出的正态分布进行比较,并且把这些值看成是人口均值和标准差的估计。
使用truncreg考虑截断
我们可以使用truncreg来估计潜在非截断分布的参数。考虑左截断64,可以使用选项ll(64)。
现在估计的值接近我们的实际模拟值μ=65,σ=3.5。
让我们将截断密度重叠到数据直方图中去。
截断分布适合我们的样本,我们分析人口分布均值等于65,标准偏差等于3.5.
删失数据
现在我们看一下删失数据的案例,看看他们和截断数据之间的区别。
案例:家庭表面尼古丁的含量情况
Matt et al.在2004年进行了一项研究,对烟草烟雾污染吸烟者家庭的整个表面进行了评估。非常有趣的一项测量是家具表面的尼古丁含量情况。每个家庭中的擦拭样本来自每件家具。然而,尼古丁污染低于一定限度的,测量仪检测不到。
数据被删失了,而不是被截断了。当尼古丁污染低于检测极限值时,样本中仍然包含了尼古丁的检测值,这个检测值就等于最低极限值。被这项研究中的这个问题启发,我随意创建了一个人工数据集。尼古丁污染水平的日志被假定为正常。在这里,lognlevel包含尼古丁含量。用于模拟日志尼古丁含量的参数,删失数据是μ=ln(5),σ=2.5,左删失数据为0.1。我们开始绘制直方图。
直方图左侧有一个尖峰,因为在检测极限以下的值被记录为等于极限值。计算样本的原始均值和标准偏差,将不会为潜在的未经审查的高斯分布提供适当的估计。
均值和标准偏差分别估计为1.68和2.4,而实际参数为ln(5) =1.61 和2.5。
使用Tobit账户审核
我们估计均值和标准偏差分布,并使用ll选项的tobit来考虑左删失值(如果审核极限值随观测值而变化,那么可以用intreg来代替)。
潜在的未经审核的分布估计的均值为1.62,标准差2.49. 我们把未经审核的分布叠加到直方图中:
潜在的未经审核的分布匹配直方图的一部分,左边尾部补偿审查点的尖峰。
总结
在抽样数据中,删失和截断是不同的两种现象。截断高斯抽样中潜在的人口参数可以用truncreg来估计。删失高斯抽样中潜在的人口参数要用intreg或tobit来估计。
结语
我们已经讨论了删失和截断的概念,也举例说明了这两个概念的意思。与本次讨论有关的要点如下:
本次讨论是基于高斯模型之上的,但是主要的概念可以扩展到任意的分布中。以上的例子在没有协变量的情况下拟合回归模型,因此,我们可以更好地可视化删失和截断分布的形状。然而,这些概念很容易扩展到协变量的回归框架中,并且特定观测值的期望值是协变量函数。
我们已经讨论过使用truncreg和tobit来处理删失和截断数据。但是这些命令也可以应用到非删失和非截断数据中,只要这些数据是特定分布中的人口抽样。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14