大数据发展新方向 数据质量是关键
根据维基百科的定义:数据质量指的是“数据对其在操作、决策支持和规划中扮演角色的适应程度”。下面是数据质量常见的五个方面:
(1)一致性:信息集合中每个信息都不包含语义错误或相互矛盾的数据。例如,信息(公司=“先导”,国码=“86”,区号=“10”,城市=“上海”)就不一致,因为10是北京区号而非上海区号。又如,若银行信用卡信息库显示某持卡人同时在北京和新疆使用同一信用卡消费,这时就出现了同一时刻两个地点信息不一致的情况。
(2)精确性:信息集合中每个信息都能准确表述现实世界中的实体。例如,某城市人口数量为4130465,在信息库中的记载为400万。此数据看似合理,却不精确,未能包含剩余的130465人。
(3)完整性:信息集合中包含足够的信息来实现回答问题、查询信息或进行知识发现等功能。这也同样是数据质量评定中的一个重要因素!例如,某医疗信息库中的信息遗失了某些患者的既往病史,从而存在不完整性。一旦该患者需要治疗,这些缺失的信息将会导致医生不正确的诊断甚至引发严重医疗事故。
(4)时效性:信息集合中每个信息都要与时俱进。例如,把某小区住户的地址看作是数据的话,其中某位住户所登记的家庭地址是2010年的,但在2011年他可能搬家了,此时他所登记的家庭地址信息就不正确了,即信息过时,而这些过时信息将会导致严重后果。
(5)实体同一性:信息集合中描述同一实体的不同表示形式共享同一标识。例如,为防止信用卡欺诈,银行需监测信用卡的使用者和持有者是否为同一人。又如,同一企业中维护着各自不同的信息库的部门在兼并和重组时,会使新的客户信息库中产生大量具有差异的重复客户信息,而导致客户信息的混乱。
大数据中的数据质量问题
大数据,顾名思义,其最本质的特点在于数据量“大”,除此之外,还包括了获取、管理以及处理时的复杂性。大数据具有明显的时代特征,使用者们习惯上将其总结为4个“V”:规模性(volume),高速性(velocity),多样性(variety)和价值稀疏性(value)。由于这些特征,大数据才有更大可能产生数据质量问题,即更有可能出现不一致、不精确、不完整、过时等问题或者描述同一实体的数据出现了冲突(简称为实体不同一)等错误,具体原因包括:
(1)大数据具有规模性大的特点:越大规模的数据就越有可能在获取、存储、传输和计算过程中产生更多错误。即使想要进行人工 错误检测与修复也会由于成本极其巨大以至难以有效实施。
(2)大数据具有高速性的特点:数据的大量更新会导致过时数据迅速产生,在这个过程中也更易于产生不一致数据,为人工错误检测与修复带来困难。例如,某一大型实验设备中包含了15亿个传感器,平均每秒收集超过4亿条实验数据,每一秒钟就会有这些数据迅速过时,传统方法想要实现新数据替换对应的旧数据,就显得有些力不从心。
(3)大数据具有多样性的特点:它的多样性指的是数据来源和形式上的多样,这就使得数据有更大的可能产生不一致和冲突。例如,在互联网上的不同网购网站中获取到的同一商品的一些信息就有很大可能存在冲突。
数据质量的影响
如果没有良好的数据质量,大数据将会对决策产生误导,甚至产生不可估量的结果。
根据估算,数据错误每年对美国工业界造成的经济损失约占GDP的6%。
在医疗方面:根据美国医疗委员会的统计,由于数据错误引起的医疗事故仅在美国每年就导致高达98000名患者丧生。
在电信产业:数据错误经常导致故障排除的延误、多余设备租用和服务费收取错误,损害了企业信誉甚至会因此失去很多用户。
在商业上:美国零售业每年仅因标价错误就损失25亿美元。2009年戴尔台湾网站,在8小时内,售价本应是4800元新台币的19吋显示器被按照错误标价以500元新台币订购140万台!
在金融企业中:因数据质量问题导致的信用卡欺诈失察在2008年即造成48亿美元的损失。2001年雷曼兄弟公司将£300万错输入为£3亿,导致金融时报指数瞬间暴跌120点,百家蓝筹股的300亿英镑市值化为乌有,损失£500万-£1000万。2005年瑞穗证券同样因为输入错误,在16分钟内损失了19亿元人民币。
大数据质量管理的研究成果
在国家973高科技基础研究计划的资助下,哈尔滨工业大学等单位合作围绕“数据质量”这一重要主题进行项目“海量信息可用性基础理论与关键技术研究”已经超过3年,在数据质量方面已经取得了以下一系列研究成果:
数据质量评估技术:从数据质量常见的五个方面分别提出了数据质量不同的自动评估技术,并研究了这五个方面的关系,从而可以根据应用的需求判定数据的质量是否达到要求。
数据自动修复技术:利用网络提供的海量数据及从其中获得的知识来对数据进行修复。通过分析定义错误修复的语义蕴含与表现形式、自动修复的充分必要条件和基于WEB的自动修复模型,提出了查询关键词生成模型及算法,通过遗传算法实现查询关键词的自适应性调整,提出了实体抽取模型,该方法采用图模型来描述实体集之间的关系,利用图匹配的相关技术进行信息抽取,并基于抽取出的信息进行数据的自动修复。
实体识别技术:实体识别用于找出描述现实世界同一实体的数据。如今的数据集合大多具有复杂结构并具有更新频繁特点。课题组通过研究此种数据实体识别的理论和算法,提出了一系列针对关系数据、XML数据和图数据的实体识别算法,并将提出的技术应用到了商品信息的实体识别中。借助所得到的结论将淘宝等购物网站进行改进。
弱可用信息上的知识发现技术:网络上很多,要么不完整,要么带有可能误导用户的信息的数据以及很多通过自动化方法从非结构化数 据中(比如文本和图片)提取出来的数据,都是是典型的弱可用数据。课题组针对网络上的弱可用信息提出了多种知识发现的方法,使得人们可以借助多种数据挖掘方法在这些弱可用数据上进行知识提取,并且将这些提取出来的知识在不同领域的不同应用场景中进行验证。
数据质量自动检测技术在社保中的应用:在社保数据中,由于数据源多种多样,信息成因具有阶段性和分布性特点,造成了大量的数据孤岛的存在,即来自不同信息网络的数据信息经常会出现无法共享的问题,比如公安系统、民政局系统可能就会有信息重复或信息不匹配的情况发生。课题组利用数据质量自动检测技术解决了这些问题,确保了社保经济数据工程的顺利开展。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14