
用好大数据,得小心绕过这些坑
在这个大数据被频繁提起的时代,要想去说说大数据的缺陷或是不好的地方,还是需要有一点底气的。好在我们并不是在否定它的作用与价值,而是想提醒每一个想利用好大数据、经营好大数据的单位与个人,必须小心在已有的实践中早已探明的一些大坑与陷阱,避开这些缺陷所引起的不必要失误。
1,千万注意样本的局限性或特殊性
某报纸记者为了采访当下关于DNA亲子鉴定的情况,前往某检测机构调查,在统计了相关数据之后,得到一个惊人的事实,所有的检测中,竟有近35%的结果是非亲子。这名记者还不放心,又多跑了更大范围的好几家检测机构,发现这个数据总体都相差不大,于是发布了新闻《惊人真相:超1/3的男人被戴绿帽》。其实不看数据,就算掰脚趾头也知道这新闻胡说八道了,但数据又是怎么一回事呢?问题就在于这采集样本太特殊了。这记者没去想想,什么样的人才会带孩子去做亲子鉴定?当然是有了其它显著性的证据或怀疑以后才去的嘛!
2,有些干扰性会随着数据量的增长超越正常
大数据的理论往往会主张,随着数据量的增长,分析结果会越来越准确。但是事实上,客观世界里的数据无限复杂,许多非常一般性的数据都有着不等的干扰性,一旦把它们都混合在一起,往往会过份地扩大这些干扰性,产生出许多带有欺骗性的结论。比如美国经济的预测,美国政府每年公布的经济指标数据有4.5万个,而私人机构提供的高达400万个,如此庞杂的数据,代入到二战后的11次经济衰退事实中去,得出的结果却是五花八门,对于预测下一次经济衰退毫无帮助。
3,数据自身的发展与变化同样会影响应用结果
最经典的大数据应用之一,就是谷歌利用搜索引擎预测流感趋势。谷歌没有用任何复杂的模型,也不依赖任何医疗检查,因为他们发现当人们出现或怀疑有流感症状时,就会上网搜索一些相关的内容。谷歌的工程师们只需动用算法对网上5000万个最热门的搜索字进行计算即可。谷歌流感趋势的成功,很快就成为了商业、技术和科学领域中最新趋势的象征。
然而仅仅4年后,人们突然发现在最近的一次流感爆发中,谷歌流感趋势不起作用了。在它作出了一次严重的流感爆发预警之后,事实发现并没有这么严重。对此,,预测结果比实际情况要夸大了几乎一倍。事后分析的原因有两点: 第一是这一年的媒体上充斥着各种关于流感的骇人故事,导致大量健康的人也会上网上搜索相关的词汇;还有就是谷歌更新了自己的搜索算法,在人们输入与病症相关的词汇时会自动推荐一些诊断结果,进而影响到了用户的搜索和浏览行为。
4,数据行为的表身有时并不代表用户的意愿
许多用户都对于“今日头条”这样的个性化新闻应用颇多抱怨,认为他们所宣称的基于大数据技术“精确推送”的新闻并不精准。其实我们回到日常应用中就会发现,事实上每个人点击每个标题的动因非常复杂,点击的意愿并不代表对于它的兴趣,更何况,网络上充斥着大量的标题党诱骗我们的点击,以及很多时候,我们明明知道它是标题党,但只是为了点进去看看它到底能玩出什么样的花样而已。如果这些因素都不能得到修正,那么这些点击行为统统被计算成使用偏好,得出来的结果则会大相径庭。因此,今日头条才会别行提供了“不感兴趣”的反向过滤功能,来修正这种误差。
5,为大数据而生的统计工具会成为污染的重点
因为大数据的应用存在于现实的商业环境之中,这些数据的得出,关联着众多的商业利益与个人利益。因此,许多相应就对以及试图影响的黑科技也会就此诞生。目前对于学生以及学者论文的查重工具非常流行,它们就是依赖于论文库的大数据对于检测论文的句词分析,来判断最终的重复可能与抄袭程度。一旦有人搞清这个程序与语法判断的逻辑,他们就可以相应地以另一种程序来避开检查,从而达到安全抄袭的目的。
同样,各种SEO技术,就是针对谷歌、百度等大搜索引擎的大数据分析排序算法,通过相应的技术应对,去影响到搜索引擎的最终计算结果,将一些并不重要的搜索结果排在了最前面。再比如,前几年,可以利用大数据技术,从互联网浩瀚的数据海洋中客观分析排出不同行业中真正有影响力的品牌与产品。而如今,随着大数据概念的普及,各种商业机构出于自身利益原因而大量制造、优化与推广的信息,远远超出了普通用户反馈的信息,从这里所谓大数据统计出来的结果,往往就是被污染的事实。
6,不要期望大数据绝对准确,往往只需要提高一点准确度即可
这是大数据应用中的最后一个浅坑,它的表述至少能给我们安慰。因为人类对于数据应用、数据分析以及数据与最终事实真相之间的关联研究,还未走到最后的关头。所以,任何期望大数据能够给我们绝对准确、绝对真实的结果的想法,都是不现实的。但也并非是完全否则,其实,我们只需要通过大数据,能够给现有的工作、生活带来点点准确度的提高即可。正如目前的天气预报,虽然无法以100%地准确,但已经带给人类社会以最大限度的帮助了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
透视表内计算两个字段乘积的实用指南 在数据处理与分析的过程中,透视表凭借其强大的数据汇总和整理能力,成为了众多数据工 ...
2025-06-20CDA 一级考试备考时长全解析,助你高效备考 CDA(Certified Data Analyst)一级认证考试,作为数据分析师领域的重要资格认证, ...
2025-06-20统计学模型:解锁数据背后的规律与奥秘 在数据驱动决策的时代,统计学模型作为挖掘数据价值的核心工具,发挥着至关重要的作 ...
2025-06-20Logic 模型特征与选择应用:构建项目规划与评估的逻辑框架 在项目管理、政策制定以及社会服务等领域,Logic 模型(逻辑模型 ...
2025-06-19SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的利器 在数据分析的众多方法中,Mann-Kendall(MK)检验凭借其对数据分 ...
2025-06-19CDA 数据分析能力与 AI 的一体化发展关系:重塑数据驱动未来 在数字化浪潮奔涌的当下,数据已然成为企业乃至整个社会发展进 ...
2025-06-19CDA 干货分享:统计学的应用 在数据驱动业务发展的时代浪潮中,统计学作为数据分析的核心基石,发挥着无可替代的关键作用。 ...
2025-06-18CDA 精益业务数据分析:解锁企业增长新密码 在数字化浪潮席卷全球的当下,数据已然成为企业最具价值的资产之一。如何精准地 ...
2025-06-18CDA 培训:开启数据分析师职业大门的钥匙 在大数据时代,数据分析师已成为各行业竞相争夺的关键人才。CDA(Certified Data ...
2025-06-18CDA 人才招聘市场分析:机遇与挑战并存 在数字化浪潮席卷各行业的当下,数据分析能力成为企业发展的核心竞争力之一,持有 C ...
2025-06-17CDA金融大数据案例分析:驱动行业变革的实践与启示 在金融行业加速数字化转型的当下,大数据技术已成为金融机构提升 ...
2025-06-17CDA干货:SPSS交叉列联表分析规范与应用指南 一、交叉列联表的基本概念 交叉列联表(Cross-tabulation)是一种用于展示两个或多 ...
2025-06-17TMT行业内审内控咨询顾问 1-2万 上班地址:朝阳门北大街8号富华大厦A座9层 岗位描述 1、为客户提供高质量的 ...
2025-06-16一文读懂 CDA 数据分析师证书考试全攻略 在数据行业蓬勃发展的今天,CDA 数据分析师证书成为众多从业者和求职者提升竞争力的重要 ...
2025-06-16数据分析师:数字时代的商业解码者 在数字经济蓬勃发展的今天,数据已成为企业乃至整个社会最宝贵的资产之一。无论是 ...
2025-06-16解锁数据分析师证书:开启数字化职业新篇 在数字化浪潮汹涌的当下,数据已成为驱动企业前行的关键要素。从市场趋势研判、用 ...
2025-06-16CDA 数据分析师证书含金量几何?一文为你讲清楚 在当今数字化时代,数据成为了企业决策和发展的重要依据。数据分析师这一职业 ...
2025-06-13CDA 数据分析师:数字化时代的关键人才 在当今数字化浪潮席卷全球的时代,数据已然成为驱动企业发展、推动行业变革的核心要素。 ...
2025-06-13CDA 数据分析师报考条件全解析 在大数据和人工智能时代,数据分析师成为了众多行业追捧的热门职业。CDA(Certified Data Analyst ...
2025-06-13“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2025-06-09