大数据的挑战:数据质量和历史偏见
撇开炒作,利用大数据和分析法将会对企业未来业绩产生重大影响,重整整个行业并孕育新的产业。然而,还面临着很多挑战。它们从众所周知的缺乏数据科学人员来处理大数据,到更加棘手且很少提及的根源于人性的问题。
后者之一是人类聚积数据的倾向。另一个是人类仍然固守先入为主的倾向,即使数据结果明显不同。最近举办的麻省理工斯隆学院CIO研讨会就大数据和分析法发言的数据专家们取得了共识。发现地雷?希望落空?那些已经取得进展的企业已经知道,大数据和分析法没有最终真理。迭代就是全部,专家们也同意。
不仅如此,除了迭代的价值,
CIO们可以将最佳实践抛于脑后。正在兴起的未来实践才是深入研究大数据的公司最可以依靠的,在旧金山工作的计算机科学家Michael
Chui说。他是麦肯锡全球研究院高级研究员,该研究院是位于纽约的麦肯锡咨询公司的研究机构。
“我们知道这不可行:等到5年后完美的数据仓库出现。”Chui说,他是去年重大麦肯锡大数据价值报告的作者。
相对地看待数据质量
Chui说,事实上,沉迷于数据质量是很多公司需要克服的第一个障碍,如果他们希望有效的使用大数据。数据的精确性对银行财务报告是至关重要的。然而,不精确的数据包含了模式可以突出业务问题或者提供可以产生重要价值的洞察力,比如另一个研讨会专家小组的相关新闻报道的,“抓住大数据和分析法,否则将落伍,MIT专家小组称”
专门小组成员Shvetank Shah说,相对那些快马加鞭以取得最佳质量数据的组织,那些“了解数据质量”的组织,即使使用元标签或颜色编码来标识数据质量-,对大数据的进展更快。他是华盛顿特区的咨询公司(CEB)的执行董事,一家位于。
Shah提醒道,然而大数据结构的混乱性使得商业才智至关重要:重视经理了解何时值得去追求这些数据的能力。他说:“你雇佣经理的原因就是:去分析,去联系和迭代。”[page]
在科学研究中,理解每一个变量的所有情况是不可能的,所以“迭代很重要”James
Noga说。他是波士顿的医疗保健非营利性组织Partners HealthCare System的CIO.
他说,那些擅长大数据处理的人必须能够挑选出有代表性的关键点,并且“在当时作出最好的推测”.
不管怎样这一点可以被推而广之,不仅是在关注数据质量的公司,而且那些习惯于结构化IT流程的IT公司中也可以推广。
消除旧观念和成见不易
专家组成员说,那些拥有模式识别技能、好奇心,并理解实验价值的人是有效使用大数据和分析法的关键。然而,CEB的Shah发现,使科学方法成为公司文化的一部分极其困难。“你可以让所有聪明的数据分析专家聚集在企业核心,做出很多聪明的决定。但是如果做不到这样的话,客服代表、经理们以及其它外围人员做出的决定就更加重要。”因为大多数公司没办法雇佣足够的数据科学人员去研究大数据,另一个挑战是寻找培训人才。
CEB发现很少公司能够使用大数据和分析法法去驱动业务决策。最新对近500家企业的研究发现,20%的调查对象使用直觉做决定;49%想要更多数据,另有38%被CEB称为“知情的怀疑论者”,也就是那些可以进行模糊数据,并推动业务向前发展。不仅如此,Shah说,人们倾向于坚持成见,“技术数据显示的恰恰相反”.“消除成见非常困难。”
聚积数据是另一个开发大数据的障碍。麦肯锡研究的一个发现是金融服务(其收集和分析数据的历史悠久)在使用大数据上滞后。Chui说:“我们发现很多西方银行的业务竖井的界限已经变得如此之大,以至于分享数据的想法非常,非常之弱。”
数据分析咨询请扫描二维码
人工智能(AI)正迅速成为现代科技的核心,推动着各行各业的革新与发展。大学人工智能专业的学习内容非常广泛,涵盖了计算机科学 ...
2024-09-20数据分析师考证:CDA认证的全面指南 数据分析在现代商业和科技领域中的重要性日益增加,越来越多的企业依赖数据驱动决策来提升竞 ...
2024-09-20网络爬虫(Web Crawler),也被称为网络蜘蛛、网络机器人或网页抓取器,是一种自动化程序或脚本,用于在互联网上自动抓取和收集 ...
2024-09-20数据分析是现代商业和科学研究中不可或缺的一部分。Python凭借其强大的库和易用性,成为数据分析领域的首选编程语言。本文将深入 ...
2024-09-20数据分析师是一个需要多方面技能和特质的职业,适合做数据分析师的人通常具备以下特质和技能: 对数据有浓厚兴趣:数据爱好者, ...
2024-09-20CDA证书的考试内容涵盖了多个模块,具体包括: 数据分析概述与职业操守:包括数据分析的基本概念、方法论、角色,数据分析师的 ...
2024-09-20数字化转型的核心在于利用数字技术来推动企业或组织在业务模式、流程、文化和价值链等方面的根本性变革,以提高效率、创造新的增 ...
2024-09-20作为一名资深数据分析师,拥有CDA证书可以显著提升你的职业竞争力,并为你带来更多的职业发展机会。CDA证书在金融、电信、零售、 ...
2024-09-20数据分析师的月薪因地区、经验、技能和行业而异。根据2024年的数据,数据分析师在中国的平均月薪约为11,910元,但这个数字可能因 ...
2024-09-20CDA证书在统计学领域的应用非常广泛,特别是在数据分析和业务决策中。以下是CDA Level II级别中一些与统计学相关的应用: 数据 ...
2024-09-20统计学结合CDA证书可以为就业提供多样化的方向和广阔的前景。以下是一些主要的就业方向: 政府部门:统计学专业毕业生可以在政 ...
2024-09-20CDA认证分为三个级别,每个级别对应不同的数据分析技能: CDA Level I:这是入门级别,主要面向零基础就业转行者、应届毕业生以 ...
2024-09-20在职场中,将CDA(Certified Data Analyst)证书转化为实际的业务成果和价值,可以通过以下几个步骤实现: 提升专业技能:CDA证 ...
2024-09-20考取CDA(Certified Data Analyst)证书后,可以通过以下几个策略在职场中提升薪资: 深化专业技能:持续学习和实践,提高数据 ...
2024-09-20数字经济专业是一门综合性、交叉性的学科,旨在培养具备扎实经济学基础和熟练数字技能的数据分析与决策人才。该专业的课程内容丰 ...
2024-09-19数据分析师这个职位本身并不特定于性别,男性和女性都可以从事这项工作。至于是否会觉得累,这取决于多种因素,包括个人的工作经 ...
2024-09-19CDA认证考试的通过率会根据不同年份和考试难度有所变化。根据CDA数据科学研究院发布的数据,第十一届CDA认证考试的通过率如下: ...
2024-09-19大数据技术毕业生在职场中脱颖而出需要从多个方面进行努力和规划。首先,明确职业目标是关键一步。了解大数据相关的职业岗位,如 ...
2024-09-19在数据分析领域,有几个专业认证是值得考虑的,它们可以帮助提升你的专业技能,并在就业市场上增加竞争力。以下是一些推荐的认证 ...
2024-09-19金融数学专业是一门结合了数学、统计学和经济学的交叉学科,旨在培养具备扎实的数学基础和金融理论知识的复合型人才。随着全球 ...
2024-09-19