结合大数据分析技术 云端应用服务开创新价值2_数据分析师

此大数据分析技术的重点为当微网誌短讯息快速、连续性产生时，仍可即时处理串流讯息分群以进行议题侦测，包括如何自动侦测最新出现的热门关键字，以及解决串流文字讯息概念漂移（Concept-Drift）的问题，并即时群聚串流文字短讯以侦测未知数量议题与事件。萃取出的情报资讯将可应用于新产品市场意见回馈、客户关係管理（Customer Relation Management， CRM）、民意调查和灾情追踪等领域，以提供市场行销决策参考依据。

　　联网电视、移动与社群等服务结合云端计算技术的快速发展，将商务资讯匯流至服务平台，有助于虚实整合O2O（Online to Offline）电子商务服务业者的发展。O2O将实体世界的商务发展和资通网路结合，让资通网路成为商务交易的前台。

　　换言之，O2O模式主要的精神是透过资通讯技术寻找消费者，然后将他们带到实体商店中。图1为运用数种即时巨量商务数据分析技术形成O2O商务系统平台，分析平台解析巨量且异质的消费者与店家数据，将适切的服务推荐至使用者来提升商务效益。同时，更贴近使用者个人化需求的服务，将随着大数据技术的发展更加完善。

　　图1 巨量商务分析技术于O2O商务应用　数据来源：工研院南分院云服中心整理

　　大数据收集有弹性　环境分析应用计划开跑

　　在数据收集技术与新兴大数据应用方面，IBM自2009年起，在数据较缺乏的领域如健康照护与环境应用，展开数据收集与建立的投资，其中包含与 Marine Institute Ireland合作进行对海洋中海浪、污染和海产生命等数据即时监控与收集的「SmartBay Calway」先导计划。

　　该计划将收集到的巨量监控数据加以分析提供服务，并以Web或其他智能通讯设备传递给使用者，将数据多元提供不同领域的应用，此计划数据收集与提供如图2所示。

　　图2 SmartBay Calway监控数据收集示意图　数据来源：John Kennedy--Silicon Republic

　　自动化数据收集及设备管理应用的技术实施，主要由数据收集与服务传递的闸道器，以及内建于传感器的数据处理软体元件组成。在养殖应用案例上，布建于养殖水域的环境传感器，将传感到的水质温度值、酸硷值及溶氧值等数据数据，透过有线或无线通讯技术，将资讯传送至后端的传感数据收集闸道器。传感数据收集闸道器解析各项水质环境资讯后，再依据场域环境，透过适切的通讯方式传送环境数据至养殖应用平台储存。

　　为多元应用的数据存取便利与设备互通性，在系统实施面的设计上可採用OSGi开放式服务闸道器技术，系统架构如图3所示，OSGi技术允许任意加入及删除传感器设备，如场域管理者欲新增/删除监控水质项目，仅须布建/移除传感器与实作安装/反安装相对应传感软体元件，此技术提供易于修改与扩展，以及降低系统维护成本的优点。

　　图3 养殖数据收集案例

　　加入大数据分析　再生能源市场接受度高

　　在新兴能源应用方面，智能电网与再生能源的推动，为全球现今积极发展的技术，智能电网运用整合型通讯与新控制技术，让电网效益与效率发挥。欧美已有许多能源服务公司（ESCO），透过能源监控数据的收集与大数据技术，并结合云端服务来强化太阳能发电效益及公司的营运，其中美国能源服务公司 SolarCity于2012年上市筹资，成功扩展此类营运的经济规模。

　　由于一般民众对太阳能发电系统相关的建置资讯与投资报酬率的了解程度不深，因此须要藉由太阳能监控技术来强化相关资讯的曝光率，并建构更普及的接受度。如 SolarCity的系统营运商更有赖于太阳能监控管理系统的开发，来降低营运成本与提高维运效率，并能主动提供系统异常塬因与性能衰煺预警，提供业界託管服务。

　　目前较成熟的太阳能发电与监控系统，可由图4来说明。一般的太阳能监控系统为使用者集中管理的方便性，并考量乙太网路已是目前物联网最为广泛的数据传递媒介，通常採用一组于发电转换器（Inverter）至网路介面（ADSL Modem）之间的协定转换器（Bus Adapter），将太阳能的发电状态透过网际网路（Internet）传递至远端的中央控管伺服器，让使用者可透过个人电脑或主机来观测太阳能发电的状态。

　　图4 太阳能发电与监控系统

　　在云端化管理平台部分，通常使用Hadoop云端平台软体，将该软体分散建置于数台实体机器，并于Hadoop云端平台上开发太阳能监控管理服务，结合远端监控及云端服务达到即时且长期监控的效果。此外，透过云端技术与移动应用程式（App）的结合，使用者可经由随身设备随时地监控整个系统。

　　透过分析来自太阳能监控管理系统的大数据，将可提供许多有效资讯，这些资讯包含能源比例调整最佳化（依据发电效率、成本、其他替代能源种类/成本，做为系统发电成本最佳的规划）、系统大小配置仿真功能（依据欲建置的场域大小与发电量，模拟建置发电系统设备的规模）、能源使用概况（模拟太阳能系统发电期间的使用概况，可提供投资者有效追踪与管理发电系统的发电效能），以及综合财务分析（提供投资者成本回收推估、费率结构比较和销售价格预订等项目）。

　　大数据技术已开始运用于更多的领域，用以发现更多数据的精华价值，而它却只是新一代数据管理技术的开端。未来，将有更多的公司将更深一层的去思考如何由他们拥有的数据资产中发现价值，或连结公开的数据来创造价值，而管理大数据的创新演算法与软体，将成为IT业者竞争的战场。