京公网安备 11010802034615号
经营许可证编号:京B2-20210330
关于大数据的十大重要事实_数据分析师
无论您青睐还是拒绝,大数据都已经成为一种事实。现在我们要追溯事实,探索真相。
大数据是当今一个最热门的话题,我们每一个人都无法置身其外。就像几年前出现的云计算一样,大数据已经引起市场的广泛关注;同样,企业迫切需要对大数据下定义。大数据缺少一个标准且普及性的定义,至少不像NIST 对云的定义那样,能被人们广泛接受。
调研公司IDC 的定义可能比较容易被人们所接受。它对大数据的定义是:一种新一代的技术和架构,具备高效率的捕捉、发现和分析能力,能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。
大数据已经成为各类大会的重要议题,管理人士们都不愿错过这一新兴趋势。毫无疑问,当未来企业尝试分析现有海量信息以推动业务价值增值时,必定会采用大数据技术。
另一方面,正如其它新兴趋势一样,也有很多人怀疑大数据的效用。事实上,当一种技术成为广泛争论的焦点时,必定会招致一些质疑和批评。
关于大数据的重要价值有两种截然不同的观点。不过双方的共同之处在于,两种观点都对大数据存在一些误解,并对大数据的本质模糊不清。
误解
误解1:大数据仅意味着数量庞大
大数据的名称本身就带有误导性,好像数据库的大小就是问题所在。但是这并非唯一的因素。英特尔欧洲、中东与非洲地区(EMEA)战略市场推广总 监Alan Priestley 认为,大数据还有其它要素,最明显的是数据类型繁杂,且数据要求快速交付。此外,企业还需要第一时间了解数据是否准确。
误解2:社交媒体最重要
很多关于大数据的讨论都集中在社交媒体数据对企业的影响。人们持有这种观点并不难理解:多数媒体的关注重点是获取客户最新信息这一传统业务。而现 在,则意味着查找社交媒体互动,诸Twitter、Facebook、Insta-gram 等等。 但是,Priestley指出,企业最常见的还是机器生成的数据,包括网络日志、数据中心日志以及其它信息等。
他表示:如今航空业也可以借助大数据的强大力量。例如,他们可以利用并分析航空旅行
数据以预测可能存在的问题。而在过去,他们只能在数小时的飞行或发生故障之后检查引擎。谁也不希望故障发生,但要是等到故障发生以后才检查引擎,就已经太晚了。 借助大数据分析,他们可以跟踪引擎的振动。通过检查生成的数据,他们能够在数据发现异常时及时发出告警,安排检查引擎。
作为示例,Priestley还介绍了宝马公司是如何成功利用大数据的。宝马公司的大量汽车均可以通过3G技术接入互联网。通过使用大数据和相关分析能 力,宝马公司可以跟踪这些汽车并联系车主。当然,相关示例还有很多,例如信用卡公司可以实时核对诈骗交易,确保远程购买交易合法,而所有这些操作仅需数秒 钟。英特尔自身也是大数据技术的重要用户。公司使用大数据控制晶圆制造工厂的效益,大幅地降低了成本,减少浪费。
误解3:大数据就是Hadoop
很多大数据的讨论都集中在Hadoop。Apache项目的知名度当然最高,它也是首个能够分析并存储非结构化数据,以从中获取价值的工具。但是, 它并不是唯一的工具。Priestley表示:有人认为只要开始使用Hadoop就万事无忧了,其实不然,传统数据仓库依然有存在的空间。人们需要保留 现有的IT基础设施。
Priestley 指出Hadoop 的吸引力在于,企业只需比较小的开销就可以获得大量信息。他补充说:你可以在Apache 下载Hadoop,它是一款免费软件并可在标准服务器上运行。其它替代方案就是购买Oracle或Teradata 等公司的集成解决方案。但对于很多企业而言,这可能不是一个可行的选择,除非他们能够充分意识到通过分析数据可获得的优势。
误解4:希望量化投资回报(ROI)
企业都喜欢硬性数字。首席信息官(CIO)一般喜欢这样说:迁移至大数据的成本是 X,将能够在三年内节省Y。事实上,大数据并非如此。从大数据计划中获得清晰的投资回报(ROI)是非常难的。正如Priestley 指出的,大量的大数据实施是假设信息,很难界定。
客户关系管理(CRM)等对企业的影响可以快速测量得出。但与此不同的是,计划采用大数据的企业必须接受这一差别。此外,企业针对重大项目的投资回 报(ROI)的思维方式也似乎正在发生变化。以前企业认为ROI始终是一种可以轻松测量的有形资产,并且业务优势必定会超过支出成本。但现在情况开始有所 转变。
最近,Claranet针对企业的云迁移方式进行了一项调查。调查结果表明,超过四分之一的受访者视ROI为决策因素之一,而79%的受访者认为 ROI计算并不能真实反映业务优势。虽然该调查主要针对云迁移,但是由此可以合理推测,大数据迁移的情形也不会有太大差别。这二者均代表着一次未来的技术 飞跃。
误解5:结果不可保证
大数据是个未知数。您正在做的就是分析无法估量、难以确定的数字。从本质上来说,大数据是不容易理解或者是抽象的。否则,您也就无需大数据技术了。 因此,企业必须认识到他们无法保证结果的准确性。企业试图获得结果和找到假设的支持数据是徒劳无益的。在上述示例中,航空公司可能希望飞机每50万飞行小 时维护一次,但是如果飞机每20万飞行小时就从空中坠落的话,航空公司的设想就将毫无意义。
如果说人们对大数据存在一些误解,那么,有关大数据的一些关键事实则需要不太看好大数据的企业去认真理解。
关键事实
关键事实1:需要不同技能
多数观察家都认同数据科学家短缺这一点。麦肯锡公司预测,到2019年,全球将缺少高达19万可处理大数据的科学家。原因不难发现。处理大数据项目需要完全不同于处理现有数据仓库实施的技能。而且它还不仅仅限于数据处理,还要求能够将数据转换为可执行的建议。
Hadoop 中有一个称为Map Reduce 的工具。它需要Java 编程技能,而这并不是当今很多数据分析师具有的技能。Priestley举例说到。而事情还不止如此。处理大数据的理想人员还需要了解业务流程、Java和统计知识,甚至还可能需要一些SQL技能。这是个大问题,因此很多人也认为数据科学家的短缺将成为大数据技术采用的一个重要阻碍。
关键事实2:明确您的目标
虽然企业不应当试图探究确定的结果,但是他们应当明确企业目标,一个需要实现的目标。例如,大数据可提高绩效的途径之一是收集更加准确的信息,包括个人数据、客户行为和购买决策等。
麦肯锡公司发现,数字之大令人震惊。这家企业咨询公司声称,如果美国医疗产业采用大数据,全美医疗费用将削减8%。另外,麦肯锡公司提到,通过减少诈骗诉讼和增加税收,欧洲公共部门在运行效率方面可节省一千亿欧元。
关键事实3:人是推动因素
大数据项目需要有人推动。技术并非关键问题。这不是指那些具有上述数据科学家技能的一些人,而是指那些能提出明确目标与需求,并能执行决策的一些人。
这些人并不需要特殊的管理技能。这些责任可能落在首席财务官(CFO)、首席信息(CIO)\甚至首席执行官(CEO)的肩上,但最终,需要有一个人担 负此重任。正如Priestley所指出的:大数据不仅仅是技术挑战,它还是业务挑战。企业需要了解这一点。对此,使用模式很重要。而在此方面,企业可 以有很多种模式,并以不同方式进行建模。
关键事实4:不仅仅是数据
大数据分析有三大要素:数据本身,数据分析,以及结果的呈现。拥有数据本身并没有实际意义。数据本身就已存在。重要的是如何处理、分析数据并呈现重 要信息,以将数据转变为重要价值。开展大数据项目需要周密规划。最好是从小规模起步,先实施单个项目,然后逐步扩展规模。数据采集之后需要进行详细的结果 分析。
关键事实5:大数据涉及所有人
很多关于大数据的讨论都聚焦在大型组织上,对于这些庞大的官僚机构来说,令人窒息的海量数据已经制约了组织的有效运行。很多率先采用大数据技术的组织都属于这一范畴,不过它们并不是唯一的受益者。
各类企业都希望获得评估隐藏数据并归纳模式的技能。有些小型企业需要处理大量工业数据。例如,FormulaOne设计公司的规模不大,但是管理的数据量十分庞大,因此即使是很小的企业也可以通过在日常工作中使用大数据而获益。
这些公司可能希望超越Excel进行客户分析,寻找客户购买模式。例如,如果您的饭店菜单上曾经有一道特色鱼,但后来取消了。那么当这道菜再次出现 在菜单上可供顾客点用的时候,您就可以使用电子邮件通知之前曾经点过这道菜的所有顾客。或者,如果您是一个酒商,您的库存里有某种葡萄酒正在酿造期,当它 们即将出库时,您可以提醒这种酒的爱好者。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在实验检测、质量控制、科研验证等场景中,“方法验证”是确保检测/分析结果可靠、可复用的核心环节——无论是新开发的检测方法 ...
2026-03-04在数据分析、科研实验、办公统计等场景中,我们常常需要对比两组数据的整体差异——比如两种营销策略的销售额差异、两种实验方案 ...
2026-03-04在数字化转型进入深水区的今天,企业对数据的依赖程度日益加深,而数据治理体系则是企业实现数据规范化、高质量化、价值化的核心 ...
2026-03-04在深度学习,尤其是卷积神经网络(CNN)的实操中,转置卷积(Transposed Convolution)是一个高频应用的操作——它核心用于实现 ...
2026-03-03在日常办公、数据分析、金融理财、科研统计等场景中,我们经常需要计算“平均值”来概括一组数据的整体水平——比如计算月度平均 ...
2026-03-03在数字化转型的浪潮中,数据已成为企业最核心的战略资产,而数据治理则是激活这份资产价值的前提——没有规范、高质量的数据治理 ...
2026-03-03在Excel办公中,数据透视表是汇总、分析繁杂数据的核心工具,我们常常通过它快速得到销售额汇总、人员统计、业绩分析等关键结果 ...
2026-03-02在日常办公和数据分析中,我们常常需要探究两个或多个数据之间的关联关系——比如销售额与广告投入是否正相关、员工出勤率与绩效 ...
2026-03-02在数字化运营中,时间序列数据是CDA(Certified Data Analyst)数据分析师最常接触的数据类型之一——每日的营收、每小时的用户 ...
2026-03-02在日常办公中,数据透视表是Excel、WPS等表格工具中最常用的数据分析利器——它能快速汇总繁杂数据、挖掘数据关联、生成直观报表 ...
2026-02-28有限元法(Finite Element Method, FEM)作为工程数值模拟的核心工具,已广泛应用于机械制造、航空航天、土木工程、生物医学等多 ...
2026-02-28在数字化时代,“以用户为中心”已成为企业运营的核心逻辑,而用户画像则是企业读懂用户、精准服务用户的关键载体。CDA(Certifi ...
2026-02-28在Python面向对象编程(OOP)中,类方法是构建模块化、可复用代码的核心载体,也是实现封装、继承、多态特性的关键工具。无论是 ...
2026-02-27在MySQL数据库优化中,索引是提升查询效率的核心手段—— 面对千万级、亿级数据量,合理创建索引能将查询时间从秒级压缩到毫秒级 ...
2026-02-27在数字化时代,企业积累的海量数据如同散落的珍珠,若缺乏有效的梳理与分类,终将难以发挥实际价值。CDA(Certified Data Analys ...
2026-02-27在问卷调研中,我们常遇到这样的场景:针对同一批调查对象,在不同时间点(如干预前、干预后、随访期)发放相同或相似的问卷,收 ...
2026-02-26在销售管理的实操场景中,“销售机会”是核心抓手—— 从潜在客户接触到最终成交,每一个环节都藏着业绩增长的关键,也暗藏着客 ...
2026-02-26在CDA数据分析师的日常工作中,数据提取、整理、加工是所有分析工作的起点,而“创建表”与“创建视图”,则是数据库操作中最基 ...
2026-02-26在机器学习分析、数据决策的全流程中,“数据质量决定分析价值”早已成为行业共识—— 正如我们此前在运用机器学习进行分析时强 ...
2026-02-25在数字化时代,数据已成为企业决策、行业升级的核心资产,但海量杂乱的原始数据本身不具备价值—— 只有通过科学的分析方法,挖 ...
2026-02-25