当大数据真的变得更好时_数据分析师
以往的经验告诉我们,充分发挥扩展优势会带来更大的分析价值。但是大数据[注]并不是一把万能的锤子,而每一个问题也不是一个靠锤子就可以解决的钉子。
许多人认为大数据意味着越大越好。人们也常常从各种哲学视角来诠释“越大越好”这一问题。对此我将这些角度归纳为:
信仰:是指容量更大、速度更快和种类更丰富的数据总会带来更多洞察力,而这正是大数据分析的核心价值。如果我们无法发现这些洞察力,那是由于我们没有充分认真地尝试,或是我们的灵活程度还不够,或者是我们没有使用正确的工具和解决方案。
偶像:是指数据的庞大容量本身就是有其价值的,与我们是否能够从中获得特殊的洞察力无关。如果我们仅凭其所支持的特定商业应用来评估它们的效用,那么在这方面,我们是与数据科学家们当前的需求是不一致的,数据科学家们的需求是将数据不加分别地存储到数据湖中,以支持今后的探索工作。
负担:是指数据的庞大容量未必是好事或坏事,但是一个无法改变的事实是,它们会对现有数据库的存储和处理能力带来极大的压力,并因此让(Hadoop等)新平台成为必需品。如果我们不能跟上这些新数据增长的步伐,那么核心的业务需求将被迫转向新型数据库。
机遇:在我看来,这是一个处理大数据的正确解决方案。随着数据规模上升至新的层次,流动的速度更快,数据的来源和格式不断增长,这一解决方案将重点放在了更为高效地获取前所未有的洞察力方面。它没将大数据作为一种信仰或偶像,因为它知道即便较小的数据规模也能够持续获得许多不同的洞察力。它也没有将数据的规模视为一种负担,而是视为一种挑战,这种挑战能够通过新的数据库平台、工具和实践加以有效应对。
2013年,我在博客中曾就大数据的核心使用案例展开过讨论,但当时只涉及到如上方程式中的“机遇”部分。晚些时候,我发现大数据中“大”这一核心价值源自于能否用增加的内容揭示出所增加的背景环境。在你分析数据以探查其完整意义时,背景环境自然是越多越好。同样的,当你尝试着在自己的问题范畴中识别出所有的变量、关系、模式以找到更好的解决方案时,内容也是越多越好。总之,越来越多的内容加上越来越多的背景环境,通常会导致数据也变得越来越多。
大数据的另一个价值在于,它们能够纠正那些小规模数据所产生的错误。曾经有观察过该问题的人说过,对于数据科学家而言,在训练集中数据偏少意味着他们更容易受到多个模型风险的影响。首先,数据规模偏小可能会导致用户忽视关键的预测性变量。同时,用户选择没有代表性的样本导致模型出现偏差的几率变大。此外,用户可能会找到一些虚假关系,如果用户拥有能够揭示实际发挥作用的基本关系的完整数据,那么他们就能够识别出这些虚假关系。
规模非常重要
所有的人都认为,一些数据类型和使用案例比能够带来新洞察力的数据更有帮助。
我近期偶然看到了一篇名为《大数据的预测模式:越大就越好吗?》文章,文章对数据的一个特定范畴——稀少的细分行为数据进行了详细阐述。在这方面,数据规模通常能够提升预测成绩。文章的作者Junqué de Fortuny、Martens和Provost称:“这类数据集的一个重要问题是它们通常都比较稀少。对于任何给定的实例,绝大多数特征都没有价值,或是价值没有表现出来。”
最值得关注的是(作者通过引述丰富的研究来支持他们的论点)(+微信关注网络世界),这类数据是许多以客户分析为重点的大数据应用的核心。社交媒体行为数据、Web浏览行为数据、移动行为数据、广告反应行为数据、自然语言行为数据都属于这类数据。
作者认为,“实际上,对于大多数预测分析型的商业应用,例如金融业和电信业的定向市场营销、信用评分、损耗管理等应用,用于预测分析的数据都非常相似。这些产品的特点都集中于个人的背景特征、地域特征和心理特征,以及诸如优先购买行为等一些通过统计总结出来的特定行为。”
“更大的行为数据集往往会更好”的关键原因非常简单,作者认为“没有大量的数据,一些显著的行为可能就无法被有效地观察到。”这是因为在零散的数据集中,行为被记录的人可能只会展示次数有限的行为。但是当你放眼整个人群时,每一种特定类型的行为你可能会观察到至少一次,或者在特定的环境中观察到多次。如果数据偏少,那么所观察的目标和观察到的行为特征也就会偏少,这将导致你会忽略许多东西。
预测模型所依靠的正是源行为数据集的丰富性。为了在未来的更多场景中预测更为精准,数据规模通常是越大越好。
当越大等同于越模糊时
尽管如此,该文的作者也提到了一些场景。在这些场景中,越大越好的假设不成立,那么我们就不得不使用特定行为特征的预测价值。这时候,权衡取舍就成为了预测行为模型的基础。
预测模式中每一个增加的行为特征,应该与所做的预测充分地联系起来,以提升模型的学习收益和预测能力,克服不断拉大的差异,即过度拟合和预测错误,因为这通常会产生更大的特征集。正如该文章作者所说的那样,“大量不相关的特征只是增加了差异和过拟合的机率,而没有相应地提升学习到更好模型的机率。”
显然当“大”妨碍到了获取预测性洞察力时,越大并非越好。用户不希望自己的大数据分析努力成为数据规模扩张的牺牲品。数据科学家也必须充分了解应该何时调整数据模型的大小,以适应手中的分析任务。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14