大数据:从“技术驱动”转向“应用驱动”
继物联网、云计算之后,大数据已经成为当前信息技术产业最受关注的概念之一。大数据时代的来临,使得领域和行业边界愈加模糊,应用创新超越技术本身,生产模式向服务化转变,数据作为一种资产为企业带来新商业价值,数据开放让政府治理和个人福祉都面临着机遇和挑战……无论个人、企业组织、社会团体,还是国家和经济体,都能藉此实现大数据梦想。
当前,全球大数据产业正处于蓬勃发展的孕育期和机遇期。核心关键技术正在加快发展和更新换代,各类解决方案提供商加大力度宣传造势,尤其是围绕电信、航空、交通、生物、城市管理等重点领域描绘美好蓝图,力求推动行业应用和商业模式创新,抢占产业增长点。与此同时,小微企业和创业者对大数据热情高涨,期望借此机会实现高速成长的梦想。由于整个大数据产业开始转向应用创新阶段,高成长的预期让各方都对未来抱以乐观的态度。
从“技术驱动”转向“应用驱动”
作为一个独立的产业,大数据的产业体系框架表现为“两纵三横”:“两纵”基于技术的基础程度,分为底层技术和应用层技术,前者是共性、基础性技术,如Hadoop框架、Hbase数据库、Mahout算法集等;后者是“二次开发”行为,包括各类个性化方案、产品与服务。“三横”基于处理的流程顺序,分为基础设施、分析系统和应用工具,也可进一步细化为数据的采集、存储、处理、分析、服务五方面。目前,“两纵三横”的产业体系已经趋于成熟,能够应对绝大多数的产业应用需求。
广义的大数据应用本质上是一种“增值分析”,前景有着近似无限的可能,不受任何行业、资源、地域、用户的约束。从这个层面看,各产业领域未来发展方向几乎都能和大数据挂钩。以“十二五”国家战略性新兴产业发展规划为例,很多技术前沿的描述和布局,均与大数据相一致或关联,或是可以通过大数据实现。如新一代信息技术产业布局了物联网、移动终端设备、云计算、海量数据处理软件;节能环保产业布局了高效储能、节能监测和能源计量;生物医药产业布局了生物资源样本库、基因测序,以及基于物联网的远程健康管理服务等。
由于大数据技术兴起于互联网时代,互联网的快速发展与其持有的开放、共享、合作等观念密切相关,因而大数据技术的创新也引入了互联网的这种价值观。例如有不少大数据技术是开源的,可无偿供给全世界的开发者使用和改进。开源项目、开源社区和开放性创新联盟组织的成熟更是推动了大数据核心技术的发展,催生了多种用于存储、处理和分析大数据的新产品。这一过程有效降低了产业技术的壁垒,推动更多的企业和创业者介入,进一步加快了技术应用转化的过程,有助于产业的迅速成长。
虽然大数据产业的“技术驱动”色彩十分明显,与“应用驱动”阶段尚有一段距离,但这一转变过程正在加速进行。
细化的产业竞争策略逐步成型
大数据产业是典型的知识密集型服务业,除了基础设施环节会带来一定能耗之外,其余环节均为零能耗、高附加值。其在初始资本、法规监管等方面的准入门槛极低,但对人才资源的要求较高。为此,产业竞争呈现出数量大、水平高的特点,企业竞争策略逐步分化。
尽管大数据从业者正在急剧增加--几乎所有的信息技术企业都在此领域布局,同时创业者持续不断地进入,竞争者甚多,然而由此带来的并非过度竞争,而是良性竞争,最终将推动技术的创新和价值的实现。
这主要归功于两个原因:一是高创新的属性。大数据技术是信息技术领域中的高附加值环节,以谷歌、亚马逊等为代表的大数据企业,无论是在技术先进性、创新活跃度还是在市场份额上,都在全球处于领先位置。二是高增长的预期。作为企业个体,在产业急速成长的预期之下,基本都选择了追求专业性的策略,依靠产品性能和服务取胜,而摈弃了追求低成本的策略。
在竞争过程中,不同类型的竞争者各具优势。按照技术的变革性与应用水平,主要分化为三类竞争者:一是“互联网颠覆者”,谷歌以及各类大数据开源项目发展了全新的基础技术与数据库构架,依靠免费、开源的所谓互联网模式,彻底改变了原有的技术标准与游戏规则,颠覆了以往各自为阵的信息技术产业。
二是“初生牛犊”,在新的规则面前,大公司与创业者处在同一条起跑线上,一些拥有核心人才与市场嗅觉的创业企业,在特定工具、专业平台方面迅速抢占先机,填补市场空白,获得快速发展,在产业链中拥有了一席之地。
三是“系统集成商”,像微软、IBM这样的传统IT巨头拥有强大的资金、研发能力和市场资源。他们能够敏锐意识到自我革命的紧迫性并马上采取应对举措,积极收购大数据相关企业,将收购获得的技术产品组装为面向行业的应用解决方案,并加强大数据商业营销。
另外,政府也是大数据产业的重要一环,主要体现在政府对公共数据的开放上这将使政府在促进产业发展上扮演更加重要的角色。
2009年,刚上任的美国总统奥巴马签署的首份总统备忘录即为《透明和开放的政府》,随后建立了统一的政府数据开放门户网站:Data.Gov,逐步开放政府拥有的公共数据,并提供多种应用程序接口,供开发者创建特色应用。截至2014年初,该网站开放的数据集已经超过了85000项,汇集了1200余个应用程序和软件工具、手机插件,其中超过300个是由个人或民间组织开发。新的商业模式和企业随之产生,如FlightCaster公司基于美国交通统计局、联邦航空局交通管制中心警报、美国气象局和航班运行状况信息网站FlightStats的数据,提供航班晚点预报,比航空公司的正式通知早6个小时,且准确率达到85%-90%.
数据驱动型的商业模式创新
数据驱动型的商业模式有如雨后春笋,在全球大量涌现。按照数据的获取、管理、分析、应用环节的区分方式,可以将大数据的商业模式分为数据托管和交易平台、关系挖掘和沉淀价值利用、数据社交和跨界连接三种类型。
数据托管和交易平台模式应用已有数十年之久,是发展最为成熟、最为普遍的大数据商业模式,本质是发挥规模效应,降低单个企业在数据信息存储和寻找上的投入成本。主要业务形态有空间出租托管、数据商店、数据市场等,典型的代表企业为亚马逊、EMC2、DropBox.
近年来引入“云”的概念,从简单的数据存储,逐步扩展到数据聚合平台,最终形成云服务;而以独特数据资源进行的整合朝着纵向产业链上下游整合和横向多种产业整合两个方向发展,促使了一站式数据商店和数据交易平台的出现。如亚马逊、微软等企业均建立了可以交易应用程序和高级数据集的数据商店,目前已有数万亿个数据点、数千个订阅、数百个应用程序。
关系挖掘是媒体热炒的主流大数据商业模式,也是数据科学的主要应用模式。核心是通过数据发现隐藏的相关性,最终用于指导商业、精准化服务与辅助决策。
实现这种模式需要一些先决条件,主要是面向数据的处理分析环节:一是目标领域的完全量化,如互联网广告领域,从广告点击到用户购买行为,均有完整详实的数据记录;二是数据处理能力的大幅提升,要能够处理非关系型数据,并在海量条件下保持实时快速的性能。该模式的难点在于需要颠覆常规的用户思维和需求逻辑,典型类型是沉淀价值的利用,将一些通常无意义的数据甚至是垃圾数据进行利用,最终得出有价值的结论。
例如,谷歌公司利用数十亿用户搜索时的错误拼写记录来提升其拼写检查器的智能性。就目前而言,基于关系挖掘的大数据模式尚未成熟,但承载了社会各界的较高期望:这种模式将有助于驱动产业转型和发展新兴产业,如推动生物医药等研发密集型产业、企业咨询等知识密集型产业向数据密集型产业转型,推动零售、交通等传统服务业向现代服务业转型,推动传统制造业向智能制造业转型等。
与前两种模式不同,数据社交和跨界连接模式直接面向每一个社会个体,本质上是充分挖掘物理世界的个体资源,将其变成虚拟世界的一个节点,与其他的节点进行连接、交互和交易,从而大大降低各类商业化业务的推广成本,并形成新兴业态。这种模式正在走向成熟,最典型的代表就是O2O.
例如微信成为了连接线上线下、开展移动支付的重要入口;打车软件有效降低了供需双方的信息不对称,提升了出租车市场的智能化程度;可穿戴设备将人体的讯息进一步量化,并提供决策建议;苹果Passbook软件为用户提供了一个智能的电子卡包。推行这种模式也有几个必要条件,主要是针对数据的采集传输环节:移动化,需要带有位置服务、能够发射无线信号的智能终端;稳定连接,需要高速、泛在的外部网络环境;在线支付,依靠用户最终的支付行为实现盈利;持续感知能力,需要先进的传感器技术、低功耗芯片技术以及电池技术作为保障。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14