活用大数据,创造应用价值

大数据(BigData)近年来已成为业界最炙手可热的话题之一，在大数据时代,企业不仅需要提升储存容量与数据管理能力,更重要的是，要设法从庞大、多元格式的数据海洋中，挖掘出数据的极致价值,进而创造新的商业机会与营运决策。

国立台北商业技术学院教授邹庆士指出，大数据是个大议题，大家其实都还在学习阶段，但可以确定的是,对电脑而言,最有价值的东西已经不再是硬体，而是数据,许多产品及应用也都是以数据为基础,才能进一步产生重大价值。

邹庆士指出，大数据的主要应用，仍是以数据探勘为主，但跟过去相比，特点在于数据量变得非常大，但大数据不见得数大就是美，容量大小还可以靠技术来解决，整理的时间则因为变得非常长，已经成为数据分析的困扰。邹庆士认为，唯有从数据分析的本质开始思考，才能真正深入大数据这个议题。

邹庆士甚至认为，就像Web 1.0是建立网站，Web 2.0则是经营网站，现在的大数据应用，应该要进入「大数据2.0」的时代。在「大数据1.0」的时代，数据是靠IT科技来建立，后来则是透过统计领域或机器学习模式，来建立模式，但现在需要的是达到视觉化及诠释数据的能力。邹庆士认为，在大数据1.0，需要的是掌握新技术与系统，但在大数据2.0，需要培育新型数据分析人才。

若从数据探勘角度来思考，为了要让大数据发挥价值,以数据为基础来做决策,首先要注意的是,数据探勘是一个跨领域的科学,涉及统计、AI、MachineLearning等,必须将来自于不同领域的数据收集起来后，才能整合调理得出结论。

邹庆士将跨产业的数据探勘过程,简化成三个步骤,分别是数据预先处理、数据探勘及后处理，其中又以第一个阶段花最多的时间，邹庆士表示,前置处理非常重要,才不会在后面产生问题,导致「垃圾进、垃圾出」的数据输出结果。

至于第二阶段的主要工作，分别是预测(Predictive)、群集(Cluster)、关联、异常等管理为主。但回到数据分析的根本,邹庆士认为,第一步要先做到数据有感,才知道该怎么对待数据;第二步是数据混搭，要懂很多不同的模式，知道每一个模式建模的特性,最后才能落实想法，先后完成模型混搭及雏型化工具，再一步步放大，但一定要建立在商业理解上。

邹庆士还将大数据的属性分成四类，第一类是名目尺度(nominal)，如身分证号码、眼色、邮递区号，特征是仅能比较异同;第二类是顺序尺度(ordinal)，如排名、年级、高度等，特称是能够分别顺讯;第三类是区间指度(interval)，如日期、温度等,特征为有绝对零点，差异或距离都有其意义;第四类为比例尺度(ratio)，如长度、时间、次数等，特征为有自然零点，比率有其意义。

邹庆士强调，每一类的处理方式都不同，运算的方式也因此会有适用的领域，不能随便乱用。数据集类型则分为三种，分别是记录数据(如数据矩阵、文件或交易数据)、图形数据(如全球资讯网或分子结构)及有序数据(如时间、次序、间或基因序列数据等)，邹庆士指出，大数据时代要面对的数据不只一种，而是多元的数据来源。

大数据时代的数据来源，其实是充斥在每个领域，包括推文串流、网页伺服器记录等。邹庆士指出，其实重点不在找数据，而是如何混搭各方来源数据，进行混模加值。

因此,邹庆士建议,面对大数据时代,企业要练就数据柔术(DataJiujtsu)，好的数据人才，不能只是懂科技,而是要涉猎许多领域,才有办法将大问题分解成小问题,不用立即处理海量数据,做到小处着眼，反覆加值，以机敏弹性的流程，逐步迈向目标。

邹庆士指出，R工具的出现，就是要因应前述的需求,目前已有5,000多个套件,而且支持开放源，所有的演算逻辑都是公开的，可以藉此了解其他工程师的思维。

但在使用工具解决大数据的问题时，邹庆士认为要注意三个议题，分别是撰写有效率的程式，提高执行速度;将数据储存在外部，以避免记忆体受限的问题;运用专门的统计程序，以有效率的方式分析大量数据。

但不管是什么工具，都会一直不断地在演化，邹庆士指出，要特别注意工具的发展，工作才会有效率。此外,大数据分析要能伸缩自如,可大可小,数据分析的思维,一定要回到数据本身的属性,如纷丝团经营指标最佳权重,数据栏位超过90个,所以在开始进行大数据分析时，第一个步骤反而是删除不必要的栏位。

邹庆士指出，活化大数据应用价值的关键，主要是加强个人与组织的数据分析思考能力，唯有将数据、程式及人的智慧加以整合，才会产生价值。企业还必须要能活化顾客留下的数据轨迹，因为价值的关键在于应用。