
结合大数据分析技术 云端应用服务开创新价值2_数据分析师
此大数据分析技术的重点为当微网誌短讯息快速、连续性产生时,仍可即时处理串流讯息分群以进行议题侦测,包括如何自动侦测最新出现的热门关键字,以及解决串流文字讯息概念漂移(Concept-Drift)的问题,并即时群聚串流文字短讯以侦测未知数量议题与事件。萃取出的情报资讯将可应用于新产品市场意见回馈、客户关係管理(Customer Relation Management, CRM)、民意调查和灾情追踪等领域,以提供市场行销决策参考依据。
联网电视、移动与社群等服务结合云端计算技术的快速发展,将商务资讯匯流至服务平台,有助于虚实整合O2O(Online to Offline)电子商务服务业者的发展。O2O将实体世界的商务发展和资通网路结合,让资通网路成为商务交易的前台。
换言之,O2O模式主要的精神是透过资通讯技术寻找消费者,然后将他们带到实体商店中。图1为运用数种即时巨量商务数据分析技术形成O2O商务系统平台,分析平台解析巨量且异质的消费者与店家数据,将适切的服务推荐至使用者来提升商务效益。同时,更贴近使用者个人化需求的服务,将随着大数据技术的发展更加完善。
图1 巨量商务分析技术于O2O商务应用 数据来源:工研院南分院云服中心整理
大数据收集有弹性 环境分析应用计划开跑
在数据收集技术与新兴大数据应用方面,IBM自2009年起,在数据较缺乏的领域如健康照护与环境应用,展开数据收集与建立的投资,其中包含与 Marine Institute Ireland合作进行对海洋中海浪、污染和海产生命等数据即时监控与收集的「SmartBay Calway」先导计划。
该计划将收集到的巨量监控数据加以分析提供服务,并以Web或其他智能通讯设备传递给使用者,将数据多元提供不同领域的应用,此计划数据收集与提供如图2所示。
图2 SmartBay Calway监控数据收集示意图 数据来源:John Kennedy--Silicon Republic
自动化数据收集及设备管理应用的技术实施,主要由数据收集与服务传递的闸道器,以及内建于传感器的数据处理软体元件组成。在养殖应用案例上,布建于养殖水域的环境传感器,将传感到的水质温度值、酸硷值及溶氧值等数据数据,透过有线或无线通讯技术,将资讯传送至后端的传感数据收集闸道器。传感数据收集闸道器解析各项水质环境资讯后,再依据场域环境,透过适切的通讯方式传送环境数据至养殖应用平台储存。
为多元应用的数据存取便利与设备互通性,在系统实施面的设计上可採用OSGi开放式服务闸道器技术,系统架构如图3所示,OSGi技术允许任意加入及删除传感器设备,如场域管理者欲新增/删除监控水质项目,仅须布建/移除传感器与实作安装/反安装相对应传感软体元件,此技术提供易于修改与扩展,以及降低系统维护成本的优点。
图3 养殖数据收集案例
加入大数据分析 再生能源市场接受度高
在新兴能源应用方面,智能电网与再生能源的推动,为全球现今积极发展的技术,智能电网运用整合型通讯与新控制技术,让电网效益与效率发挥。欧美已有许多能源服务公司(ESCO),透过能源监控数据的收集与大数据技术,并结合云端服务来强化太阳能发电效益及公司的营运,其中美国能源服务公司 SolarCity于2012年上市筹资,成功扩展此类营运的经济规模。
由于一般民众对太阳能发电系统相关的建置资讯与投资报酬率的了解程度不深,因此须要藉由太阳能监控技术来强化相关资讯的曝光率,并建构更普及的接受度。如 SolarCity的系统营运商更有赖于太阳能监控管理系统的开发,来降低营运成本与提高维运效率,并能主动提供系统异常塬因与性能衰煺预警,提供业界託管服务。
目前较成熟的太阳能发电与监控系统,可由图4来说明。一般的太阳能监控系统为使用者集中管理的方便性,并考量乙太网路已是目前物联网最为广泛的数据传递媒介,通常採用一组于发电转换器(Inverter)至网路介面(ADSL Modem)之间的协定转换器(Bus Adapter),将太阳能的发电状态透过网际网路(Internet)传递至远端的中央控管伺服器,让使用者可透过个人电脑或主机来观测太阳能发电的状态。
图4 太阳能发电与监控系统
在云端化管理平台部分,通常使用Hadoop云端平台软体,将该软体分散建置于数台实体机器,并于Hadoop云端平台上开发太阳能监控管理服务,结合远端监控及云端服务达到即时且长期监控的效果。此外,透过云端技术与移动应用程式(App)的结合,使用者可经由随身设备随时地监控整个系统。
透过分析来自太阳能监控管理系统的大数据,将可提供许多有效资讯,这些资讯包含能源比例调整最佳化(依据发电效率、成本、其他替代能源种类/成本,做为系统发电成本最佳的规划)、系统大小配置仿真功能(依据欲建置的场域大小与发电量,模拟建置发电系统设备的规模)、能源使用概况(模拟太阳能系统发电期间的使用概况,可提供投资者有效追踪与管理发电系统的发电效能),以及综合财务分析(提供投资者成本回收推估、费率结构比较和销售价格预订等项目)。
大数据技术已开始运用于更多的领域,用以发现更多数据的精华价值,而它却只是新一代数据管理技术的开端。未来,将有更多的公司将更深一层的去思考如何由他们拥有的数据资产中发现价值,或连结公开的数据来创造价值,而管理大数据的创新演算法与软体,将成为IT业者竞争的战场。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
如何考取数据分析师证书:以 CDA 为例 在数字化浪潮席卷各行各业的当下,数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析:驱动企业高效决策的核心引擎 在数字经济时代,企业面临着前所未有的数据洪流,如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战:数据整合的灵活之道 在 MySQL 数据库的日常操作中,我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15Python Pandas:数据科学的瑞士军刀 在数据驱动的时代,面对海量、复杂的数据,如何高效地进行处理、分析和挖掘成为关键。 ...
2025-07-15用 SQL 生成逆向回滚 SQL:数据操作的 “后悔药” 指南 在数据库操作中,误删数据、错改字段或误执行批量更新等问题时有发生。 ...
2025-07-14t检验与Wilcoxon检验的选择:何时用t.test,何时用wilcox.test? t 检验与 Wilcoxon 检验的选择:何时用 t.test,何时用 wilcox. ...
2025-07-14AI 浪潮下的生存与进阶: CDA数据分析师—开启新时代职业生涯的钥匙(深度研究报告、发展指导白皮书) 发布机构:CDA数据科 ...
2025-07-13LSTM 模型输入长度选择技巧:提升序列建模效能的关键 在循环神经网络(RNN)家族中,长短期记忆网络(LSTM)凭借其解决长序列 ...
2025-07-11CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-11数据透视表中两列相乘合计的实用指南 在数据分析的日常工作中,数据透视表凭借其强大的数据汇总和分析功能,成为了 Excel 用户 ...
2025-07-11尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08