京公网安备 11010802034615号
经营许可证编号:京B2-20210330
蜕变中的大数据分析平台与应用实务
大数据虽然是一座宝山,但并非有数据,就能产生价值。大同世界科技业务营运中心技术工程处处长张文祥指出,大数据的分析与应用,必须透过很多生态系统搭配组合,才能产生用户所需要的资讯。
事实上,国际顾问研究机构Gartner在2015年所提出的十大策略性技术与趋势,其中「无所不在隐于无形进阶数据分析高居第四名,就可看出大数据分析的重要性。
任何新创技术的成熟度都非一蹴可及,而是要经历科技诞生的促动期、过高期望的尖峰期、泡沬化的谷底期、稳健成长的光明期及实质生产的高峰期,许多新创技术在促动期就可能失败,尖峰期则是发展的临界点,如果能够熬过谷底期,才能步入光明期及高峰期,而数据分析技术,目前正是已经步入谷底期及光明期的临界点。
要掌握大数据分析的发展趋势,首先要先了解大数据的核心,也就是「数据」的本质,如那些数据有助于解决特定的问题;如何、多久及何处取得数据;数据保存的型态及时间;数据要如何萃取;数据要如何藉由视觉化图表或整合式数据予以呈现等。
了解何谓「数据」后,接下来就得了解大数据的叁大特性,思考其应用特性。包括数据量的规模(Volume):通常是以TB、PB等级的数据量为基本单位;数据异动的速度(Velocity):数据的时效性一旦错过,可能就不具任何价值,在金融交易领域尤其明显;多样性(Variety):数据可能有各种型式,包括文字、影音、图像、网页、串流。
大数据的分析应用与传统的关联式数据库结构化数据分析相较,超大量的半结构化/非结构化数据的储存及分析,很容易造成其效能瓶颈。但若能根据数据特性,建构使用合适的数据分析平台及分析工具,将能以最佳的性价比提供最具深度的数据分析,以洞悉资讯发挥其最大的价值。
大数据时代之所以到来,其与物联网及云端运算的推波助澜有相当密切的关系。引述Gartner的数据指出,不包含PC、平板及智慧型手机在内的物联网装置用户数,将于2020年成长至260亿台,物联网产品与服务供应商将创造逾3,000亿美元的边际收益,且绝大部分在服务领域,其各类终端市场的销售业绩,将为全球带来1.9兆美元的经济附加价值。
结合云端运算无远弗界、随取随用的服务特性以及搭配大数据的探勘、分析与整合技术,让业者得以大规模蒐集、传递、储存及分析数据,以延伸更多深入应用,进而迅速扩大物联网的规模及应用。但在此同时,其也间接深化推动云端运算与大数据分析的应用发展,3者共生共荣,缺一不可。
根据国外针对大数据解决方案所形成的生态系统的分析结果观察,单单在数据架构平台 、分析管理工具、跨数据平台/分析工具、数据应用软件、数据来源、开放技术等几大类,就至少超过350家相关业者。
正由于大数据扮演如此重要角色,因此如何针对应用资讯服务并掌握其中核心技术,对于企业而言,将会是改变未来的关键力量。
新一代企业数据中心必须在兼具成本优势,且快速满足对RPO与RTO需求的前提下,能充分因应云端服务伴随而来的大数据成长挑战。考量数据应用于不同情境下,成长量、效能、服务等级及成本效益需求各有不同,其实很难用单一架构来满足所有的数据储存的需求。因此采用混合式数据储存(Hybrid Storage)将会是其中的关键应用。
至于新一代企业储存架构平台该采用何种储存技术,融合式数据储存、云端储存及水平扩充式储存相当值得关注。
它们的共同点是藉由无远弗届的网路力量,打破数据处理与储存的樊篱,采用分散式架构,支援上千个节点及Petabyte等级的数据量,并可搭配开放塬始码软件框架,不但拥有储存与处理大量数据的能力,还可藉由平行分散档案的处理,得到快速的回应,充分满足大量数据分散式储存与分析应用之需求。
其实传统储存系统、融合储存、云端储存及水平扩充储存各有擅长,企业若能善用混合数据储存技术及平台特性,透过软件定义架构 ,消弭不同应用平台间的差异,将可提升快速回应与增加数据中心弹性,大幅缩小部署时间,并可藉由ITaaS及随选服务,将可大幅提升使用弹性,成为企业可靠的数据储存平台。
企业若能针对商业智慧应用,善用前述技术建立新一代数据中心分析平台,就能打通大数据分析的任督二脉,轻松驾驭大数据分析,细致打造高效率企业数据中心数据平台。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
主讲人简介 张冲,海归统计学硕士,CDA 认证数据分析师,前云南白药集团资深数据分析师,自媒体 Python 讲师,全网课程播放量破 ...
2026-04-10在数据可视化与业务分析中,同比分析是衡量业务发展趋势、识别周期波动的核心手段,其核心逻辑是将当前周期数据与上年同期数据进 ...
2026-04-10在机器学习模型的落地应用中,预测精度并非衡量模型可靠性的唯一标准,不确定性分析同样不可或缺。尤其是在医疗诊断、自动驾驶、 ...
2026-04-10数据本身是沉默的,唯有通过有效的呈现方式,才能让其背后的规律、趋势与价值被看见、被理解、被运用。统计制图(数据可视化)作 ...
2026-04-10在全球化深度发展的今天,跨文化传播已成为连接不同文明、促进多元共生的核心纽带,其研究核心围绕“信息传递、文化解读、意义建 ...
2026-04-09在数据可视化领域,折线图是展示时序数据、趋势变化的核心图表类型之一,其简洁的线条的能够清晰呈现数据的起伏规律。Python ECh ...
2026-04-09在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-04-09长短期记忆网络(LSTM)作为循环神经网络(RNN)的重要改进模型,凭借其独特的门控机制(遗忘门、输入门、输出门),有效解决了 ...
2026-04-08在数据分析全流程中,数据质量是决定分析结论可靠性的核心前提,而异常值作为数据集中的“异类”,往往会干扰统计检验、模型训练 ...
2026-04-08在数字经济飞速发展的今天,数据已渗透到各行各业的核心场景,成为解读趋势、优化决策、创造价值的核心载体。而数据分析,作为挖 ...
2026-04-08在数据分析全流程中,数据处理是基础,图形可视化是核心呈现手段——前者负责将杂乱无章的原始数据转化为干净、规范、可分析的格 ...
2026-04-07在数据分析与统计推断中,p值是衡量假设检验结果显著性的核心指标,其本质是在原假设(通常为“无效应”“无差异”)成立的前提 ...
2026-04-07在数字经济深度渗透的今天,数据已成为企业生存发展的核心资产,企业的竞争本质已转变为数据利用能力的竞争。然而,大量来自生产 ...
2026-04-07Python凭借简洁的语法、丰富的生态库,成为算法开发、数据处理、机器学习等领域的首选语言。但受限于动态类型、解释性执行的特性 ...
2026-04-03在深度学习神经网络中,卷积操作是实现数据特征提取的核心引擎,更是让模型“看懂”数据、“解读”数据的关键所在。不同于传统机 ...
2026-04-03当数字化转型从企业的“战略口号”落地为“生存之战”,越来越多的企业意识到,转型的核心并非技术的堆砌,而是数据价值的深度挖 ...
2026-04-03在日常办公数据分析中,数据透视表凭借高效的汇总、分组功能,成为Excel、WPS等办公软件中最常用的数据分析工具之一。其中,“计 ...
2026-04-02在数字化交互的全场景中,用户的每一次操作都在生成动态的行为轨迹——电商用户的“浏览商品→点击详情→加入购物车”,内容APP ...
2026-04-02在数字化转型深度推进的今天,企业数据已成为驱动业务增长、构建核心竞争力的战略资产,而数据安全则是守护这份资产的“生命线” ...
2026-04-02在数据驱动决策的浪潮中,数据挖掘与数据分析是两个高频出现且极易被混淆的概念。有人将二者等同看待,认为“做数据分析就是做数 ...
2026-04-01