云消费时代大数据与商业智能的应用

云消费时代随着电子商务的普及与电子身份识别、传感技术的快速发展，越来越多的经济行为被记录下来，例如淘宝网站单日数据产生量超过5万GB，百度公司每天大约要处理60亿次搜索请求，目前数据总量超过10亿GB，而一个8Mbps的摄像头一小时就能产生3.6GB的数据，一个城市每月产生的数据则高达上千万GB。《国际数据公司（IDC）全球大数据研究报告》指出，过去3年人类社会产生的数据总量被以往4万年还多，到2020年数据量将增长10倍，达到44ZB（ZB：十万亿亿字节=1024*1024*1024TB）。这些数据不但在数量上十分庞大，包含的信息类型也越来越繁杂，相较于过去的数据量被称之为大数据。

云消费时代的大数据发展趋势

1、大数据的技术应用特征

大数据其表现的特征如下：首先是数据来源多，这其中包括企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源；其次是数据类型多，表现为保存在关系数据库中的结构化数据只占少数，80%以上数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据；以及关联性强，表现为数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。

图1结构化数据与非/半结构化数据比例

在商业领域，这些信息不仅仅包括交易行为本身，还包括消费者线上交易从搜索、对比、选择、购买、一直到售后评价等一系列操作数据，以及消费者线下交易通过手机电子标签、商场的识别装置等记录的浏览轨迹、停留时间、商品购买频率等一系列活动数据。这些数据与以往以字段为基本数据单位的结构化数据大不相同，被称为非结构化数据，而对非结构化读取、处理的技术，即是大数据技术的重要组成。在小数据时代，依靠传统商业智能的计算方法以批处理为主，采用离线计算、集中式运行。而在云消费时代，海量数据的查询、分析与利用所需要的时间从量变到质变，1s响应时间成为临界点。对于大数据应用而言，必须要在1秒钟内形成答案，否则处理结果就是过时和无效的。因此支持流计算，能够实时分析，数据库采用分布式结构，成为云消费时代商业智能的主流处理方式。而在的计算方式上，传统数据分析依靠企业报表系统，通过特定数值的比对、增长分析、交叉分析、回归分析等，数据向算法靠拢，将数据套入到固定的算法当中，对数据进行整合分析与报送。而云消费时代，海量数据处理的最终结果不再仅仅是对一组或几组数据的趋势性概况与分析，而是通过更加深入的智能挖掘，算法向数据靠拢，根据数据的形式与结构采用更加灵活也更加复杂的算法，从而将过去的历史数据报送转变为对未来与结果的预测。以上就是区别大数据以及云消费时代的商业智能与传统数据仓库技术、商业智能技术的关键差别。

2、大数据的发展规模与前景

据国际数据公司（IDC）预计，全球大数据技术及服务市场2016年收入将达238亿美元，接近1500亿元人民币，中国市场规模未来5年将增长近7倍。据中国产业发展研究网报告，2014年，中国大数据应用市场规模为80.54亿元，同比增长3.2%，预计2015年市场规模将增长37.3%，至110.56亿元，预计到2020年，中国大数据应用市场规模将增长至5019.58亿元。2015-2017年复合增速为87.8%，这也是中国大数据应用市场预计增长最快的三年。

图2  2014-2020年中国大数据产业规模市场及预测

以大数据为核心的变革正在商业领域掀起巨大波澜，从搜索引擎、社交网络、电子商务平台等IT企业，到批发、零售、商业服务等流通领域企业，无不感到变革带来的巨大机遇与挑战。大数据与云消费时代的商业智能助力企业优化运营、简化组织、智能决策以及创造更大的客户价值，大数据应用越来越成为商业企业创新发展、制胜未来的重要因素。