京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据:不再仅仅是一个流行词
大数据对很多人来说意味着许多东西,但它的影响到底有多广?想象一下大数据的这些特性,以及将它拼接在一起的大师们。
不再仅仅是一个流行词
大数据,无论你如何定义它,都已经被大肆盛赞过,也被恶意中伤过。它对很多人来说意味着许多东西:对科学家和零售店主来说是一种福利,同时也是应对大量隐私和安全威胁时的一种可用技术。
无论是救世主还是骗局–甚至可能是两者的结合-,大数据仍在权威人士、预言家、营销者和安全爱好者中间成为一个流行话题。它的非官方定义也在逐渐演变。那么,它到底是什么呢?Wikipedia(维基百科)的定义开了个好头:“任何数据的收集,数据的数量如此庞大、形式如此复杂,以至于很难采用手上的数据管理工具或传统的数据处理软件进行处理”。
但是,当数据分享设备呈几何级数增长的时候,管理大批量、各式各样、高速(经典的3V定义)涌来的数据集所面临的挑战内容正在改变。这些设备,我们统称为物联网(IoT),包括机器传感器和面向消费者的设备(例如相互连接的恒温器)、电灯泡、冰箱和可穿戴的健康监测仪。IDC预测IoT(物联网)市场将在未来数年爆发式增长,从2013年底的91亿部安装设备增长到2020年的281亿部。
对大数据的有用洞察可以帮助企业获得很多潜在的好处,不仅是可以销售更多地产品和服务,还能更好地管理健康、阻止假药泛滥、追踪恐怖分子,甚至可能跟踪你的通话记录。因此我们知道,大数据并没有天生的好坏之分,重要的是你怎么用它。
具有讽刺意味的是,无论大数据在增进人类经验方面的潜力有多大,它通常还是很难收集、筛选、分析和解释来获得那些珍贵的思考和见解。这个幻灯片审视了大数据面临的挑战及其应对能力。确凿的事实会让你感到吃惊。我们该有什么样的期待?好吧,看起来Hadoop这个领先的大数据平台的未来一片光明。数据科学家和相关的大数据专家们应该在来年获得收入丰厚的工作。
业内人士已经预计热门词“大数据”将逐渐淡出。Hortonworks总裁Herb Cunitz在2012年12月的一篇博文中写道:“终究全都归于数据。大数据和对这个空间的所有预测都将瓦解,被分析师和所有那些紧随其后的人(包括很多“大”供应商)导向“数据管理””。
Cunitz可能过早地预见了“大数据”的终结,但他准确地指出:终究全都归于数据。只有用于管理的工具将要改变。现在,请深入研究我们的幻灯片,并观看一些展示的统计分析和研究报告。
有多少数据被忽视?
根据Forrester公司最近的一项研究,大多数公司都预计它们分析了大约12%的现有数据。这是好还是坏?好吧,这些公司可能会错过隐藏在它们忽视的88%数据里的洞察和思考。或许它们明智地避开了资源耗竭、试图将海水煮沸的战略。Forrester认为,分析工具的缺乏和“强制性”的数据孤岛是公司忽视自己绝大部分数据的两个原因,原因还包括一个简单的事实:对公司来说,常常很难判断哪些信息有价值,哪些信息最好是置之不理。
大数据暴增
疯狂的大数据对拥有一定技能的技术工人来说是个利好消息。按照Dice的说法,在一个技术和工程师专业人才网站上,对数据专家的需求呈猛增的态势。该网站4月份的报告中提到,NoSQL专家的职位发布数量比上年增长了54%,“大数据人才”的职位则增长了46%。类似的Hadoop和Python人才职位则分别增长了43%和16%。当然,这跟数据安全专家的职位发布比起来是小巫见大巫了,根据一项令人印象深刻的统计,后者在过去的一年里飙升了162%。
大数据到底有多大?
数字世界的体量将在仅6年内从今天的3.2ZB增长到40ZB(1ZB大致相当于10亿TB)。Hortonworks公司CEORob Bearden 在加州圣何塞2014Hadoop峰会的主题演讲中说到:“我们十分兴奋地看到身边的数据数量在爆发,企业数据的数量从现在到2020年将增长50倍。最重要的是,这些数据的85%来自全新的数据来源”。Bearden指出,这些来源包括移动设备、社交媒体和联网机器生成的数据,对全球的企业来说,既是挑战也是机遇。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11