京公网安备 11010802034615号
经营许可证编号:京B2-20210330
这些关于大数据的事情 你都要看清楚
大数据是当今一个最热门的话题,我们每一个人都无法置身其外。就像几年前出现的云计算一样,大数据已经引起市场的广泛关注;同样,企业迫切需要对大数据下定义。大数据缺少一个标准且普及性的定义,至少不像NIST对云的定义那样,能被人们广泛接受。
大数据的定义是:一种新一代的技术和架构,具备高效率的捕捉、发现和分析能力,能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。
大数据已经成为各类大会的重要议题,管理人士们都不愿错过这一新兴趋势。毫无疑问,当未来企业尝试分析现有海量信息以推动业务价值增值时,必定会采用大数据技术。
另一方面,正如其它新兴趋势一样,也有很多人怀疑大数据的效用。事实上,当一种技术成为广泛争论的焦点时,必定会招致一些质疑和批评。
关于大数据的重要价值有两种截然不同的观点。不过双方的共同之处在于,两种观点都对大数据存在一些误解,并对大数据的本质模糊不清。
误解1:大数据仅意味着数量庞大
“大数据”的名称本身就带有误导性,好像数据库的大小就是问题所在。但是这并非唯一的因素。英特尔欧洲、中东与非洲地区(EMEA)战略市场推广总监AlanPriestley认为,大数据还有其它要素,最明显的是数据类型繁杂,且数据要求快速交付。此外,企业还需要第一时间了解数据是否准确。
误解2:社交媒体最重要
很多关于大数据的讨论都集中在社交媒体数据对企业的影响。人们持有这种观点并不难理解:多数媒体的关注重点是获取客户最新信息这一传统业务。而现在,则意味着查找社交媒体互动,诸Twitter、Facebook、Insta-gram等等。但是,Priestley指出,企业最常见的还是机器生成的数据,包括网络日志、数据中心日志以及其它信息等。
他表示:“如今航空业也可以借助大数据的强大力量。例如,他们可以利用并分析航空旅行数据以预测可能存在的问题。而在过去,他们只能在数小时的飞行或发生故障之后检查引擎。谁也不希望故障发生,但要是等到故障发生以后才检查引擎,就已经太晚了。“借助大数据分析,他们可以跟踪引擎的振动。通过检查生成的数据,他们能够在数据发现异常时及时发出告警,安排检查引擎。”
误解3:大数据就是Hadoop
很多大数据的讨论都集中在Hadoop。Apache项目的知名度当然最高,它也是首个能够分析并存储非结构化数据,以从中获取价值的工具。但是,它并不是唯一的工具。Priestley表示:“有人认为只要开始使用Hadoop就万事无忧了,其实不然,传统数据仓库依然有存在的空间。人们需要保留现有的IT基础设施。”
Priestley指出Hadoop的吸引力在于,企业只需比较小的开销就可以获得大量信息。他补充说:“你可以在Apache下载Hadoop,它是一款免费软件并可在标准服务器上运行。其它替代方案就是购买Oracle或Teradata等公司的集成解决方案。但对于很多企业而言,这可能不是一个可行的选择,除非他们能够充分意识到通过分析数据可获得的优势。”
误解4:希望量化投资回报(ROI)
企业都喜欢硬性数字。首席信息官(CIO)一般喜欢这样说:迁移至大数据的成本是X,将能够在三年内节省Y。事实上,大数据并非如此。从大数据计划中获得清晰的投资回报(ROI)是非常难的。正如Priestley指出的,大量的大数据实施是“假设信息”,很难界定。
客户关系管理(CRM)等对企业的影响可以快速测量得出。但与此不同的是,计划采用大数据的企业必须接受这一差别。此外,企业针对重大项目的投资回报(ROI)的思维方式也似乎正在发生变化。以前企业认为ROI始终是一种可以轻松测量的有形资产,并且业务优势必定会超过支出成本。但现在情况开始有所转变。
最近,Claranet针对企业的云迁移方式进行了一项调查。调查结果表明,超过四分之一的受访者视ROI为决策因素之一,而79%的受访者认为ROI计算并不能真实反映业务优势。虽然该调查主要针对云迁移,但是由此可以合理推测,大数据迁移的情形也不会有太大差别。这二者均代表着一次未来的技术飞跃。
误解5:结果不可保证
大数据是个未知数。您正在做的就是分析无法估量、难以确定的数字。从本质上来说,大数据是不容易理解或者是抽象的。否则,您也就无需大数据技术了。因此,企业必须认识到他们无法保证结果的准确性。企业试图获得结果和找到假设的支持数据是徒劳无益的。在上述示例中,航空公司可能希望飞机每50万飞行小时维护一次,但是如果飞机每20万飞行小时就从空中坠落的话,航空公司的设想就将毫无意义。
如果说人们对大数据存在一些误解,那么,有关大数据的一些关键事实则需要不太看好大数据的企业去认真理解。
关键事实1:需要不同技能
多数观察家都认同数据科学家短缺这一点。麦肯锡公司预测,到2019年,全球将缺少高达19万可处理大数据的科学家。原因不难发现。处理大数据项目需要完全不同于处理现有数据仓库实施的技能。而且它还不仅仅限于数据处理,还要求能够将数据转换为可执行的建议。
“Hadoop中有一个称为MapReduce的工具。它需要Java编程技能,而这并不是当今很多数据分析师具有的技能。”Priestley举例说到。而事情还不止如此。处理大数据的理想人员还需要了解业务流程、Java和统计知识,甚至还可能需要一些SQL技能。这是个大问题,因此很多人也认为数据科学家的短缺将成为大数据技术采用的一个重要阻碍。
关键事实2:明确您的目标
虽然企业不应当试图探究确定的结果,但是他们应当明确企业目标,一个需要实现的目标。例如,大数据可提高绩效的途径之一是收集更加准确的信息,包括个人数据、客户行为和购买决策等。
麦肯锡公司发现,数字之大令人震惊。这家企业咨询公司声称,如果美国医疗产业采用大数据,全美医疗费用将削减8%。另外,麦肯锡公司提到,通过减少诈骗诉讼和增加税收,欧洲公共部门在运行效率方面可节省一千亿欧元。
关键事实3:人是推动因素
大数据项目需要有人推动。技术并非关键问题。这不是指那些具有上述数据科学家技能的一些人,而是指那些能提出明确目标与需求,并能执行决策的一些人。
这些人并不需要特殊的管理技能。这些责任可能落在首席财务官(CFO)、首席信息(CIO)甚至首席执行官(CEO)的肩上,但最终,需要有一个人担负此重任。正如Priestley所指出的:“大数据不仅仅是技术挑战,它还是业务挑战。企业需要了解这一点。对此,使用模式很重要。而在此方面,企业可以有很多种模式,并以不同方式进行建模。”
关键事实4:不仅仅是数据
大数据分析有三大要素:数据本身,数据分析,以及结果的呈现。拥有数据本身并没有实际意义。数据本身就已存在。重要的是如何处理、分析数据并呈现重要信息,以将数据转变为重要价值。开展大数据项目需要周密规划。最好是从小规模起步,先实施单个项目,然后逐步扩展规模。数据采集之后需要进行详细的结果分析。
关键事实5:大数据涉及所有人
很多关于大数据的讨论都聚焦在大型组织上,对于这些庞大的官僚机构来说,令人窒息的海量数据已经制约了组织的有效运行。很多率先采用大数据技术的组织都属于这一范畴,不过它们并不是唯一的受益者。
各类企业都希望获得评估隐藏数据并归纳模式的技能。有些小型企业需要处理大量工业数据。这些公司可能希望超越Excel进行客户分析,寻找客户购买模式。例如,如果您的饭店菜单上曾经有一道特色鱼,但后来取消了。那么当这道菜再次出现在菜单上可供顾客点用的时候,您就可以使用电子邮件通知之前曾经点过这道菜的所有顾客。或者,如果您是一个酒商,您的库存里有某种葡萄酒正在酿造期,当它们即将出库时,您可以提醒这种酒的爱好者。
总而言之,无论您青睐还是拒绝,大数据都已经成为一种事实。现在我们要追溯事实,探索真相…
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-06-04在问卷调查与社会科学数据分析中,卡方检验是最常用、最基础的非参数检验方法,广泛应用于市场调研、用户分析、行为统计、满意度 ...
2026-06-03【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-03 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-06-03逻辑回归是数据分析、机器学习、统计建模中应用最广泛的二分类预测模型,常用于风险判断、行为预测、归因分析等场景。在SPSS、Py ...
2026-06-02数字经济时代,市场竞争日趋同质化,用户消费需求愈发个性化、多元化,传统依托经验、粗放式、广撒网的营销模式弊端日益凸显。长 ...
2026-06-02 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-06-02在市场竞争日趋饱和、用户需求不断细分的当下,企业创业创新、产品迭代与市场拓展不再依赖经验决策,而是需要系统化、工具化的商 ...
2026-06-01【核心关键词】调度、岗位、数据库、企业、报表、培训、程序、数据分析、数据加工、业务部门、企业数据、调度工具、业务指标、 ...
2026-06-01 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-06-01在数据统计分析、数据清洗、异常值识别与数据分布研究中,箱型图是最直观、高效、专业的可视化分析工具。相较于柱状图、折线图仅 ...
2026-05-29Tkinter是Python内置的标准GUI图形界面库,具备无需额外安装、调用简单、兼容性强、轻量化高效等优势,是Python快速开发桌面小程 ...
2026-05-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-05-29【核心关键词】大数据、经理、专业、金融、客户、传统、建模、数据产品、互联网金融、产品经理、数据分析、金融行业、数据模型 ...
2026-05-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-05-28