
你想知道的大数据知识都在这
毋庸置疑,现如今是属于大数据(Big Data)的,革命性的时代。从社交媒体到企业,每时每刻都在产生大量的数据。无所作为,从而把这样的宝藏白白浪费掉是及其愚蠢的。企业已经学会了收集大数据以获取更高的利润,并提供更好的服务以及更深入地了解其目标客户。
大数据主要是指企业中日常生成的,大量的有组织以及无组织的数据。在这种情况下,组织如何处理这些数据,与数据量是无关的。对大数据分析可以产生改善战略商务决策(Strategic business decision-making)的洞察力。
大数据的重要性
如前所述,大数据的价值不在于您拥有多少信息,而在于您要如何利用它。您可以从任何一个点收集数据(并对其进行检查),以找到下面四种情况的解决方案:
物价回降(Price reductions)
时间缩减(Time reductions)
新产品开发,以及改进产品
做出明智的判断
当您耗费大量精力分析聚合大数据时,下面这些业务关联的任务就可能实现:
实时识别故障原因、问题以及缺陷。
根据客户的购买历史,在销售端(Point-of-sale)生成凭证(Voucher)。
在几分钟内计算出特定功能的全部风险。
在欺骗行为影响到您的组织之前,将其检测出来。
▲图1 大数据基础结构
大数据实例
汽车行业 :福特现代混合动力车型 Fusion,它每小时产生高达 25GB 的数据。这些数据可以用于解释驾驶习惯和驾驶模式,以预防意外事故,转向碰撞等情况。
娱乐 :电子游戏行业每天都在使用大数据技术来检查超过 500GB 的有组织数据,以及 4TB 的功能性积压(Functional backlogs)。
社交媒体效应 :每天,社交媒体网站 Facebook 的数据库中都会增加大约 500TB 的新数据。
大数据类型
大数据可以分为以下三大类。
结构化 :可以以固定数据格式存储、处理和改进的数据称为结构化数据。随着时间的推移,如今计算机科学已经能够开发使用这些数据的方法,并从中获得价值。不过近来我们正预测与庞大数量的这类数据相关的问题,这些数据量将成为 ZB(10 亿 TB 等于 1ZB)级别的。
非结构化 :非映射(Unmapped)形式的数据称为非结构化数据。如何从大量的非结构化数据中获取价值,这其中充满挑战。例如,包含了简单文本文件、图片、音频,以及视频录像之集合的异构数据源(Heterogeneous data source),这些数据将难以进行分析。当下,组织拥有大量可用的数据,但不幸的是,他们并何从下手以提取数据的价值,因为这些数据是未经处理的形式。
半结构化 :这可以包含两种形式的数据。另外,我们可以将半结构化数据视为一种形式上的结构,但实际上数据本身并未定义。例如,XML 文件中所描述的数据。
大数据的四个 "V" 值
一些共同特征如图 2 所示。
体积(Volume) :数据量是决定大数据价值的重要因素。因此,体积是处理大数据时需要考虑的一个属性。
种类(Variety) :指的是各种数据源以及数据的性质,这其中既有结构的,也有非结构化的。曾经,电子表格和数据库是大多数实际应用中唯一考虑的数据来源。但现在,调查应用中还会考虑到电子邮件,图片,录音,以及监控设备等形式的数据。
速率(Velocity) :该术语是指 “数据是如何迅速生成的”。数据创建和提炼的速率要有多快,才能满足特定需求,这决定了它的真正潜力。大数据的速率是数据从业务流程、应用程序日志、网站等来源流出的速度。大数据流动的速度非常高,几乎从不间断。
精确性(Veracity) :这是指所生成数据的各种格式之间的不兼容性,这限制了挖掘或管理数据的过程。
▲图2 大数据的特征
大数据架构
大数据架构包含一致的、可扩展的,以及完全计算机化的数据管道(Data pipelines)。构建这种基础架构需要具有深入了解堆中的每一层的能力,即从集群设计(Cluster design)开始,直到设置负责处理数据的顶级链(Top chain)。图 3 展示了堆栈的复杂性以及数据管道工程如何触及其每个部分。
在图 3 中,数据管道收集原始数据并将其转化为有价值的东西。同时,大数据工程师必须计划好数据会发生什么情况,数据存储在集群中的方式,内部许可的访问方式,用于处理数据的设备,以及提供给外界访问的模式。那些设计和实现这种架构的人被称为大数据工程师。
大数据技术
众所周知,大数据的主题非常广泛,并且渗透到了许多新技术的发展中。以下对一些技术的概述旨在帮助用户对大数据进行改造。
1. MapReduce(映射化简):这使得任务的实现具有能够跨越数千台服务器的可扩展性。
Map :将输入数据集转换为一组不同的值。
Reduce : 将 Map 任务的输出联合起来,形成一组简化的值。
2. hadoop:这是 MapReduce 最令人钦佩的执行方式,它是一个完全开源的处理大数据的平台。Hadoop 足够灵活,它能够处理多种数据源,例如聚合数据以进行大规模处理,从数据库读取数据等。
3. Hive:这是一个类似 SQL 的链接,允许 BI(商业智能) 应用程序在 Hadoop 集群旁运行查询。这是由 Facebook 开发的,它已经被开源了一段时间,并且它还是 Hadoop 框架的更高层次的概念。此外,它允许每个人对存储在 Hadoop 集群中的数据进行查询,并改进了 Hadoop 的功能,使其成为了 BI 用户的理想选择。
▲图3 大数据体系结构
大数据处理的优势
处理大数据的能力具有多种益处。
企业可以在进行决策时利用外脑(Outside brainpower):使用来自搜索引擎以及 Facebook 和 Twitter 等网站的社交数据的权利,可以帮助企业改进商务战略。
增强客户服务:客户响应系统正在被使用了大数据技术的新系统所取代。在这些新系统中,大数据技术用于理解与评估消费者的反应。
在早期识别服务风险:可以事先识别风险因素,以提供完美的数据。
提高操作能力:大数据技术可用于在决定将哪些数据移入数据仓库之前,为新数据构建暂存区(Staging areas)或着陆区(Landing zones)。此外,这种大数据和数据仓库技术的结合可帮助企业绕过不经常访问的数据。
挑战
虽然很容易陷入各种关于大数据的炒作之中,但它未得到充分利用的原因之一就是,在使用到它的技术中仍有许多挑战需要解决。其中一些挑战如下:
公司面临着的问题是:识别正确的数据,以及审查如何最好地利用它们。构建与数据有关的商业案例,这往往意味着形成 “开箱即用(Out-of-the-box)” 的意见,以及寻找与传统商业模式截然不同的收入模式。
公司不情愿去挑选同时具有使用新技术和审查数据(以发掘重要的商业洞察)能力的优秀人才。
大量数据点还没有进行链接,公司通常没有合适的平台来整合和管理整个企业的数据。
数据世界的技术发展日新月异。借用数据之力,意味着能够与良好的、具有开拓性的伙伴一起运营 —— 这些公司可以帮助创建正确的 IT 设计,从而以良好的组织方式适应环境的变化。
大数据的可访问性(Accessibility),便宜的硬件产品,以及新的信息管理和分析软件聚合在一起,在数据分析的历史中创造了独特的时刻。我们现在有能力快速且经济高效地审查这些惊人的数据集,这是有史以来的第一次。这种能力象征着真正的飞跃,同时也象征着一个在工作效率、收入和成功方面大幅进步的机会。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
用 Power BI 制作地图热力图:基于经纬度数据的实践指南 在数据可视化领域,地图热力图凭借直观呈现地理数据分布密度的优势,成 ...
2025-07-24解析 insert into select 是否会锁表:原理、场景与应对策略 在数据库操作中,insert into select 是一种常用的批量数据插入语句 ...
2025-07-24CDA 数据分析师的工作范围解析 在数字化时代的浪潮下,数据已成为企业发展的核心资产之一。CDA(Certified Data Analyst)数据分 ...
2025-07-24从 CDA LEVEL II 考试题型看 Python 数据分析要点 在数据科学领域蓬勃发展的当下,CDA(Certified Data Analyst)认证成为众多从 ...
2025-07-23用 Python 开启数据分析之旅:从基础到实践的完整指南 在数据驱动决策的时代,数据分析已成为各行业不可或缺的核心能力。而 Pyt ...
2025-07-23鸢尾花判别分析:机器学习中的经典实践案例 在机器学习的世界里,有一个经典的数据集如同引路明灯,为无数初学者打开了模式识别 ...
2025-07-23解析 response.text 与 response.content 的核心区别 在网络数据请求与处理的场景中,开发者经常需要从服务器返回的响应中提取数 ...
2025-07-22解析神经网络中 Softmax 函数的核心作用 在神经网络的发展历程中,激活函数扮演着至关重要的角色,它们为网络赋予了非线性能力, ...
2025-07-22CDA数据分析师证书考取全攻略 一、了解 CDA 数据分析师认证 CDA 数据分析师认证是一套科学化、专业化、国际化的人才考核标准, ...
2025-07-22左偏态分布转正态分布:方法、原理与实践 左偏态分布转正态分布:方法、原理与实践 在统计分析、数据建模和科学研究中,正态分 ...
2025-07-22你是不是也经常刷到别人涨粉百万、带货千万,心里痒痒的,想着“我也试试”,结果三个月过去,粉丝不到1000,播放量惨不忍睹? ...
2025-07-21我是陈辉,一个创业十多年的企业主,前半段人生和“文字”紧紧绑在一起。从广告公司文案到品牌策划,再到自己开策划机构,我靠 ...
2025-07-21CDA 数据分析师的职业生涯规划:从入门到卓越的成长之路 在数字经济蓬勃发展的当下,数据已成为企业核心竞争力的重要来源,而 CD ...
2025-07-21MySQL执行计划中rows的计算逻辑:从原理到实践 MySQL 执行计划中 rows 的计算逻辑:从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-21在AI渗透率超85%的2025年,企业生存之战就是数据之战,CDA认证已成为决定企业存续的生死线!据麦肯锡全球研究院数据显示,AI驱 ...
2025-07-2035岁焦虑像一把高悬的利刃,裁员潮、晋升无望、技能过时……当职场中年危机与数字化浪潮正面交锋,你是否发现: 简历投了10 ...
2025-07-20CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-18刚入职场或是在职场正面临岗位替代、技能更新、人机协作等焦虑的打工人,想要找到一条破解职场焦虑和升职瓶颈的系统化学习提升 ...
2025-07-182025被称为“AI元年”,而AI,与数据密不可分。网易公司创始人丁磊在《AI思维:从数据中创造价值的炼金术 ...
2025-07-18CDA 数据分析师:数据时代的价值挖掘者 在大数据席卷全球的今天,数据已成为企业核心竞争力的重要组成部分。从海量数据中提取有 ...
2025-07-18