有人说大数据是大“忽悠”,有人说大数据没商业模式,凡此种种都反映出一个问题——大数据落地难。但就此否定大数据,无疑又走到了一个极端。可以把大数据理解为最初的蒸汽机,初期不是也有人驾马车一教高低吗?大数据也是如此!
从业务开始应用IT之日起,人们就没有停止过对数据的挖掘和利用。人们总是希望透过一定的技术方法,透视数据背后所隐藏的秘密。
在传统数据挖掘应用中,OLTP(On-Line Transaction Processing,联机事务处理系统)和OLAP(On-Line Analytical Processing,联机分析处理)是用户最为熟悉的技术应用。
OLTP也称为面向交易的处理系统,它可以即时地处理输入的数据,及时地回答,因此也称为实时系统(Real time System), OLTP通常是由数据库引擎负责完成的,其所处理的数据也被称为结构化数据。
OLAP主要用于多个角度、维度分析数据,多用于数据挖掘,为企业决策者提供分析依据。OLAP以数据仓库技术为基础,无论是报表、统计,还是客户数据分群、客户价值分析,以及类似逃税、漏税等数据挖据应用,辅助决策和人工智能的技术应用,历来备受用户重视。
OLAP数据主要来源于数据仓库、数据集市以及ODS(Operational Data Store,操作型数据存储)。在建模过程中,鉴于数据规格的差异,其数据很难被直接使用,需要经过抽取、清洗、转换和装载的复杂处理过程,所谓ETL(Extraction-Transformation-Loading)。此外,还要通过EAI(Enterprise Application Integration,企业应用集成)将进程、软件、标准和硬件联合起来,以追求对数据价值的分析和挖掘。
“啤酒和尿布”的故事历来被视为传统数据挖据应用的典范。但对于用户来说,无论是Informatica的Power Center、IBM的DataStage、Teradata的Automation,还是Oracle的ODM,这些专属ETL工具,无论对用户专业技能水准的要求,还是对使用成本都有非常高的要求,因此难以大范围推广应用。其应用也主要集中在在价值密度高的数据,所谓结构化数据。
如今,大数据也是如此,根据IDC调查显示,“提高竞争优势”、“削减成本”和“提高客户忠诚度”是用户对于大数据分析的期待。
谈到大数据,很多人知道大数据具有4个V的特点,即Volume、Variety、Value、Velocity,其中,价值密度低(Value)的特点,就注定了没有办法用传统OLAP方法进行大数据处理。
但价值密度低并不意味着数据价值低。众所周知,奥巴马竞选总统,大数据功不可没。大数据带给人们无限的遐想。不要小看Facebook、微博、微信等社交媒体的一个“顶”或“赞”,尽管从个体来讲,其传递的信息价值有限,但从群体高度进行审视,结果将大大不同。
小到总统选举,商业预测,大到一个民族、国家的走势未来,商业经济发展,都有会留有自己的数据印迹,无论多么隐秘的事情,都会留有蛛丝马迹,关键在于缺少能够抓住线索的眼睛。
大数据不仅需要思考问题的方法,也需要可以挖掘、探索数据的平台和工具。鉴于传统OLAP的局限,NoSQL和列式数据库技术应运而生。
NoSQL现在更多集中在Hadoop。如果用户技术能力足够强,完全可以驾驭,包括现在的Spark、Cassandra都可以用。其中,Spark是云计算和大数据的集大成者,也是Hadoop的取代者,属于第二代云计算大数据技术,作为一个基于内存计算的云计算大数据平台,在实时流处理、交互式查询、机器学习、图像处理、数据统计分析等方面具有无可比拟的优势。而Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,集Google BigTable数据模型和Amazon Dynamo于一身,于2008年被Facebook开源,已经是一种流行的分布式结构化数据存储方案。
列式数据库技术介于传统关系型数据库和NoSQL数据库之间,Vertica、Greenplum、GBase是国内外几大代表厂商,其中,Vertica、Greenplum已经分别为惠普和EMC公司所并购。从技术特点看,列式数据库主要适合于批量数据处理和即席查询等应用。
对于大数据应用而言,列式数据库堪称承上启下,可以分别与NoSQL和关系型数据库搭档,应用在大数据处理和应用。
大数据真正开始落地,始于互联网行业。以Google为代表,他们以x86服务器作为基础硬件平台,在其上构建了以NoSQL为核心的数据存储和处理方式,对外提供各种基于大数据分析和处理的服务,开创了大数据服务的先河。
目前没有人能够准确说出Google有多少台服务器,有人说100万台,也有消息称高达1000万台服务器。这是一个相当惊人的数量。根据相关统计显示,目前全球每年服务器的销量不过120万台。因此,大数据对于计算能力的需求高的惊人。
大数据具有海量、价值密度低的特征。因此,对于掌握大数据的互联网公司而言,如何按照其应用场景及需求对,对如此海量数据进行处理、分析,才是至关重要的。而他们也对于底层基础设施提出了更高的要求。,除了处理能力之外,成本是一个必须考量的因素开放的平台以及超高的性价比也是必须考量的因素。而这恰恰是x86通用标准服务器专长,与RISC处理器相比,英特尔处理器性价比优势明显,这就为为大数据奠定了物质基础。以最新英特尔至强E5-2600 v3 产品为例,借助每路处理器多达18个计算内核及 45MB 末级高速缓存以及高级矢量扩展指令集扩展(英特尔 AVX2),可将性能提升达1.9倍。E5-2600 v3可让每台服务器运行的虚拟机数量增加70%,借助新一代DDR4内存的支持,可让其性能提升达1.4 倍。
与之相比,如果采用RISC处理大数据,其成本将难以支撑。很难想象Google用100万台RISC服务器处理数据,不要说100万台,1万台都不是Google可以承受的。随着大数据时代的来临,英特尔也敏锐洞察到了大数据市场的需求和发展,在硬件与软件层面对用户进行全面的大数据技术支持为此,英特尔推出了Hadoop分发版,从技术给用户以支持。
今年5月,英特尔注资大数据领导厂商Cloudera,其7.4亿美元投入是英特尔在数据中心领域最大单笔资金投入。对此,英特尔(中国)行业合作与解决方案部中国区总监凌琦表示:英特尔对于Cloudera的扶植,并不是扶植一家厂商,而是扶植一个市场。
目前大数据应用已经不局限在互联网企业,而是开始向传统行业/企业市场蔓延,以x86服务器为基础,无论是Vertica、Greenplum、GBase等列式数据库,还是Cloudera等Hadoop分布式数据库管理和开发工具,大数据服务提供商,如Splunk、Acitan、SAS、Tibco,从硬件、软件平台到大数据分析、应用和展示,一个完整的产业生态链已经比较成熟,未来值得期待。
毫无疑问,我们正处于一个数据爆炸的时代,移动互联网、社交媒体的发达,为行业/企业研究消费者提供了充足的数据,如何驾驭好大数据,将关系到企业的业务创新。可以说,生长在当下这样的一个时代,企业与用户从没有今日如此之接近,因此大数据堪称未来行业/企业的胜负手。
未来的市场不再是看不见,摸不着的市场,大数据能力的强与弱,既有可能成为企业、社会乃至一个国家、民族的分水岭,人类文明将迎来前所未有的高速成长,历史的车轮将会提速,滚滚向前!
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14