京公网安备 11010802034615号
经营许可证编号:京B2-20210330
结合大数据分析技术 云端应用服务开创新价值
通讯科技的进步与普及,带动智能手机的发展,使得人们可随时随地将图片或视频上传到影音网站,而高解析度显示技术的发展,使得影音片段所须储存的数据量增加,加上近距离通讯将移动物件的数据传输便利化等,在在让全球数位数据量呈现快速成长。
另一方面,云计算(Cloud Computing)技术将分散于各地数据中心的资源加以动态组合形成服务,提供给数百亿的资通讯设备如手机、联网电视和电脑等,更让散布于全球各地的数据聚合而成数位宇宙(Digital Universe)。
数据量大爆炸 Big Data商机起飞
市场调查机构IDC指出,数位宇宙数据量自2005-2020年将成长三百倍,由2005年的130艾位元组(Exabytes,相当于109Gigabytes)激增至2020年的40,000艾位元组,相当于每年数据量成长两倍。
数位宇宙如此多元与庞大的数据量,如何连结与产生有效益的资讯,成为近年来资通讯技术与产业发展的主要议题;大数据(Big Data)技术遂于2012年继云计算技术后,成为资讯产业界最热门的话题。
IDC定义大数据技术为运用高速撷取、发现或分析技巧于各式各样型态的庞大数据中,以经济的方式萃取出价值的新一代资讯技术与架构。IDC分析师认为大数据应具有三个主要特点,分别为数据本身、分析推论,以及分析结果的表达方式,之后才能由它们组合延展为产品和服务。
市场研究机构Transparency Market Research研究报告预测,未来5年内全球大数据技术市场规模,将由2012年的63亿美元成长至2018年的483亿美元,年复合成长率为 40.5%;该报告亦指出2012年全球60%以上的大数据市场由惠普(HP)、Teradata、Opera Solutions、Mu Sigma及Splunk等五家公司主导。
大数据的发展使得传统占有商业智能(Business Intelligence)市场的大型厂商如SAP Business Objects、IBM Cognos、Oracle OBIEE和MicroStrategy,在2012年的市占率被压缩,一般认为商业智能的需求于未来将更多角化,更多新创公司会贡献创新的作法。
大数据兴起 全球IT资本支出走扬
Gartner市场研究机构分析,大数据的特性为数据集的产出量、产出样式与复杂度及产出速度,远大于超过一个机构以往所面对及处理的数据,亦简称为3Vs特性(Volume、Variety、Velocity)。
Gartner指出,目前全球于大数据的资本支出,主要需求来自于将传统的IT解决方案转为需要大数据技术的IT方案,这些需求来自于机器产生的数据、社交数据、过于多样式的数据,以及无法预测产生速率的数据。大数据技术未来将为全球IT资本支出的新驱动力,并逐渐改变传统的资讯管理实务与技术。
大数据呈现的数据格式,目前大多以影音、文字和数值等为主,样式可为结构化或非结构化,输入模式可为串流或批次。除企业拥有的商务与公开数据外,因为企业可运用收集和分析消费者资讯的创新资源增多,使得大数据技术的应用将更加广泛,更多连续性数据的来源包含如量测设备所产生的数据、射频辨识系统 (RFID)传感事件、社群网路的讯息、气象与天文数据、监控与传感数据、移动设备所产生与位置相关的数据流等。大数据技术因全球积极推动的物联网 (IoT)、智能电网(Smart Grid)和智能城市(Smart City)等重点应用领域,在2012-2018年间,大多数的数据不再是由人产生,而是由具备资通讯功能的物件如交通工具、生产设备和家电等之间的互动产生。
IDC统计显示,目前全球所有的数据约只有千分之五曾被分析过。大数据技术未来几年中仍将在商业智能应用为发展主流,虽然目前它依然是新兴且尚未发展成熟的概念。Gartner市场调查机构预测,至2015年大数据将创造全球四百四十万人的就业机会,用以解决目前大数据数据分析师与软体工具的庞大缺口问题。
2012年为数不少的美国大型公司转为使用大数据软体平台Hadoop与丛集计算架构来执行企业内部大量数据应用,许多美国资服业者亦将支援Hadoop功能整合至他们的分析与储存软体解决方案。
大数据分析平台厂商Alteryx总经理George Mathew认为,2013年由于使用云端平台的服务成长,当越来越多组织开始使用平价合理的云端服务商业模式,企业将会分析应用转换至云端服务平台来执行,以云端平台来提供使用者存取、分享与收集分析资讯的软体工具将越来越多。
除商务智能外,2012年大数据技术也被应用于运动、健康照护等领域。由于拥有过去所累积的各类运动数据纪录,运动爱好者可藉由分析找出他们最喜欢的球员和运动的资讯。体育精算师John Dewan就运用大数据结合奥运模拟软体,预测美国在2012年的夏季奥运会将得到一百零八面奖牌,而美国最后得到一百零四面。
在技术发展上,Google的MapReduce分散式平行计算架构亦为大数据处理的重要软体工具。虽然MapReduce结合Hadoop平台的解决方案已完成,但Hadoop的研发社群似乎不太重视此一方案的成长性。据推测,Hadoop社群将研发重点聚焦于以Hadoop平台的分散式特性,提供支援即时处理和其他新的功能,让Hadoop更适合下一代数据处理应用,而这些新功能已被其他平台解决方案如Storm、Druid列为研发要点。
目前有许多新创公司如Continuuity、Infochimps和Precog等,以让应用开发者可存取到大数据的发展策略进行技术扩展。另一个发展方式则为选择利基应用,如使用者行为分析、网路安全、人工智能和客户服务等使用情境做为开发标的,进而将使用案例转为服务或产品,运用此一模式的业者包括Google、脸书(Facebook)等自身拥有大数据的公司。
2013年大数据技术发展的热门应用领域为移动商务智能、物联网和机器学习等,须要垂直整合的应用领域则为能源、公用事业、健康照护和人力资源等。在技术面,则以取得与合併数据的技术、降低初始分析因数据不足的失败率(Start-Up Failure)、增加预测精确度与新平台的研发为主要发展趋势。下面将以几个案例,来说明相关技术如何运用于各应用领域。
善用智能分析工具 用户移动商务经验提升
由于智能移动设备的成长与渗透率提高,智能移动设备内建多种传感元件,例如影像传感器、卫星定位、加速度计和高度计,使得服务营运商可自智能移动设备即时取得使用者资讯,例如定位数据、移动方向、兴趣点和交易数据的方式增多,移动商务智能的获得,将促使营运商投资大数据分析软体与平台建置。
移动商务智能分析须融合使用者、智能移动设备与环境等多方资讯,才能有效地由巨量的使用者资讯中萃取出商业价值,探勘使用者于移动环境中所需服务及偏好成为价值萃取的标的,运用此价值资讯将协助服务营运商提供最适合的资讯与服务给使用者,进而提升使用者使用移动商务的经验并增进服务商获利能力。
举例而言,以位置为基础的移动商务智能分析技术,可透过多种位置资讯的传感方式来收集混合的移动轨迹数据,并增加只运用单一位置资讯传感方式的定位精度轨迹探勘精确度。研发自动丛集多源定位的移动轨迹数据,来改善定位精度容错范围,以提升轨迹可探勘率为此类应用的基础技巧,但于技术应用面须进一步考量消费者、广告商及平台商各自的商业利益,延展出具有三赢功效的轨迹样式探勘处理技术,才能提升移动服务推荐满足率及成交效益,创造大数据技术的市场价值。
除以定址服务(LBS)为商务智能分析的主要发展趋势外,另一个值得关注的发展为社群资讯服务。2012年美国运用巨量连续的社群串流资讯,即时自动发现所含的热门议题资讯,用以成功阻止流感的扩散。
2013年以社群串流资讯结合大数据分析技术的应用持续增加,巨集大量短讯息数据的微网誌(Microblog)社群网路平台如Twitter、 Plurk和微博等,成为许多厂商寻找大数据商机之处。透过微网誌,使用者可发布关于自己的日常生活琐事,以及分享每天所遭遇到的事情,亦能即时了解朋友的近况动态等。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据驱动决策的体系中,数据分析按照分析目的可分为描述性分析、诊断性分析、预测性分析与指导性分析四大类型。其中,诊断性分 ...
2026-09-01网络请求是Python爬虫开发、接口测试、数据拉取的核心基础功能,Python生态中主要依靠 urllib 和 requests 两大库实现HTTP请求操 ...
2026-09-01 很多数据分析师面对业务问题时,常常感到“知道要分析,却不知道用什么方法”。其实,数据分析并非无章可循——从三大基础范 ...
2026-09-01在数据库设计与业务数据维护中,自增ID是数据表最常用的主键字段,用于唯一标识每一条业务数据,正常状态下ID应保持连续递增。但 ...
2026-08-31在数理统计、数据分析、经济测算与日常量化评估中,平均值是刻画数据集中趋势、反映整体水平的基础核心指标。在实际应用中,最常 ...
2026-08-31在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-08-31在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24