大数据的最后一公里—数据可视化的价值

今年以来，大数据是整个IT领域非常热门的话题，特别是阿里巴巴的马云提出 “人类正从IT时代走向DT时代”，把大数据推向了风口浪尖。然而对于大部分企业来说，往往是空有海量数据而无实际使用价值，更不要说帮助管理者进行业务决策。

云智慧作为一家专业的应用性能管理服务商，常年与客户的各种IT数据打交道，我们是如何看待大数据的呢，又是如何让大数据对企业的业务决策产生价值的呢?请看云智慧高级产品经理Fox对于大数据的最后一公里——数据可视化价值的思考。

什么是大数据

选择分享这个主题的灵感主要来源于在云智慧所负责透视宝产品工作，以及Fox(以下为第一人称)与父亲的一次简短交流。

我父亲是一个公务员，他每天有一个爱好是看新闻联播，经常新闻中会提到大数据，偶尔会问我什么是大数据?国际上给出的定义是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。是不是很难懂?

有个段子可以帮大家生动的理解大数据，林彪带兵打仗的时候有个特别的习惯，那就是每次战斗结束后，都要用小本子记下所缴获的武器种类、数量等数据，乐此不疲，而大家对此都不以为意。有一天，在又一次遭遇战后，士兵在给他念缴获的武器数量时，他突然叫停，然后兴奋地指出，这次遭遇战很可能遇到的是敌人的指挥部队。原因是，这次缴获的小枪与大枪的比例高于普通的战斗，小车与大车的比例以及军官与士兵的比例也都高于平均，因此他得到了这个结论。在这个数据的指导下，部队一鼓作气，追击逃脱的部队，成功的把敌人的指挥官抓获。

通过这个故事大家就能生动的理解大数据的作用和价值。无论多数企业或个人是否已经意识到大数据的真实存在，毫无疑问，我们生活在大数据时代。随着大数据的兴起，数据分析被分成以下几个步骤：采集、统计、分析、呈现，而数据呈现即数据的可视化，被称为大数据的最后一公里。

什么是数据可视化

大数据已经被国家列入十三五规划，提倡开放，共享。开放共享的背后意味着人人都可以接触和进入大数据领域，企业不再为数据资源的垄断发愁，因为一切都是开放的，如何获取数据将不再是问题，困难在于数据有什么价值，用什么样的手段才能把数据的价值直观而清晰的表达出来。

我之前看到过一篇文章《设计中的设计》，里面提出一个概念叫视觉对话。如果要两个语言、文字不通的陌生人进行沟通，给他们一张纸，一只笔，他们一定是用最简洁的方式把自己的想法画下来进行交流，这就是视觉对话。

其实这也正是数据可视化的本质，通过可视化图表将用比文字快10倍的速度将陌生的读者带进门，大数据时代一个显著特征就是数据可视化的崛起。作为大数据最后一公里的展现环节，数据可视化将技术与艺术完美结合，借助图形化的手段，清晰有效地传达与沟通信息。

一方面，数据赋予可视化以价值;另一方面，可视化增加数据的灵性，两者相辅相成，帮助企业从信息中提取知识、从知识中收获价值。

为什么要做数据可视化

为什么很多企业开始拥抱数据可视化?是什么趋势在驱动可视化，换言之为什么企业变得更具视觉性?

我们首先澄清一点，数据可视化绝对不是最近才流行起来的，早在原始社会穴居人类就将岩画作为一种信息传递手段，而目前我用过最牛的大数据分析软件就是Excel。

和5年前相比，企业对于数据可视化的需求越来越强烈。原因很简单，数据实在是太多了。正因为信息大爆炸，才会造就Google和百度这两家以IT信息检索为核心业务的搜索引擎巨头。

而今天我们所生活的移动互联网时代，又与传统互联网时代截然不同，一方面移动互联网用户是传统互联网的3倍，使用频率是传统互联网的5倍，因此我们说这是一个15倍于传统互联网的市场。大数据的概念在最近两年越来越热，我们可以看一下来自Aigra的大数据图表，就可以知道在互联网上一分钟内会产生的内容是多少了。

通过这张图我们可以看到大数据到底有多大，而这对企业来说意味着两点：一方面，企业需要新的工具才能分析和理解大数据;另一方面，企业最终的目的是利用这些数据更好的做商业决策，并通过数据分析能够最直观的理解数据的含义，这就离不开数据可视化。

数据可视化的作用和实现方法

数据可视化对企业有什么作用呢?我个人觉得不是所有数据都非得可视化，很多数据可视化确实有些牵强，但数据可视化能给我们带来的3个作用：

1、大规模的数据可视化可以帮助企业管理者对大量的数据有个迅速的了解，工作更高效。

2、正确的数据可视化可以清晰展现数据背后的意义。

3、数据可视化可以帮助企业做出准确的决策。

数据越来越多，企业越来越希望搞清楚数据背后的意义和价值，而我们云智慧的透视宝也越来越有优势!大家常用的用户统计分析系统或日志分析所采集的数据局限于用户行为和IT系统本身，而对于企业业务来说，二者是息息相关的，IT性能的优劣影响着用户体验和用户转化，而蜂拥而至的用户也会造成性能的瓶颈。

通过透视宝可以把用户的行为数据和系统性能关联起来，不仅可以分析受用户喜好的功能是什么，也可以分析他们的性能对用户的影响，而当我们的透视宝所覆盖的行业越来越广泛，企业还能用自身的数据和行业平均指标进行横向对比，进而辅助企业决策，这对于企业来说是很有价值的，这就是大数据可视化的魅力。

基本上各种各样的图表在不同的场景下，所表达的含义是有区别的，上图就指导了我们什么类型的数据需要什么类型的图表，展示会更清楚，也更容易让客户理解数据的价值。在透视宝中也需要根据不同的使用场景选择更适合的图表展示，后续我们会有针对性的优化和做适度的调整。

这是一张很经典的数据可视化图表，以地图的方式实时展现QQ在线使用人数，我们可以换个角度思考，如果这是某个企业APP的在线使用人数，是不是可以挂在老板的办公室里，让老板随时对应用的当前用户使用情况有清晰的了解，哪些地区一片黑，哪些地区用户活跃集中，这商业决策上无疑有很大的帮助。这些数据都是透视宝可以拿到的，也就是说我们的透视宝可以发挥超级大的作用。

这是Audubon鸟类和气候变化的报告中的一部分，它预测了季节变化的区域，黄色代表现在是夏季，蓝色代表冬天。地图具有神奇的能力，既是一个强大的数据可视化工具，也是一个强大的报告工具，可以给我们展示不能直接看到的东西。

我个人以为在数据可视化领域相对应的三项技术：

1、数据降维，我认为数据降维是处理数据的首要任务，我们通常将自己的个人欲望强加到数据可视化中，我们有太多的指标都需要通过一个信息图处理完成，这里面就出现一个问题这些维度的数据真的需要一张图表现吗?表现出来的信息，客户能看的明白吗?所以往往数据降维化繁为简是首要工作，其次我们要将数据清洗，去掉所谓的噪音，留下有价值的信息，否则在后面分析数据的时候就会受到不必要的干扰。

2、关联关系，数据本身并无意义，只有关联起来才能产生含义和价值，将不同的散点通过内在和外在的联系聚合在一起，使得数据之间可以通过不同的维度进行关联，传递数据的价值，比如人群与性别，年龄，身高就是一个很典型的关联关系。

3、扁平交互，PC 和手机屏幕是有限的，每增加一种颜色都会增加信息量，从而干扰对原有信息的传递，我们可以在地图可视化中采取两种策略实现数据隐藏，一种是逐级钻取，充分利用地域的分级包含关系，使信息按照省-市-县层次展示，而不必一下子展开;另一种是扩展图，将复杂的信息浓缩收集，像抽屉一样，需要的时候再打开。

这三项技术说起来容易，但做起来却不一定，因为我们往往很难控制自己的欲望，加数据，加关联，加功能。不管做什么，控制自己的欲望和坚持很重要，不忘初心，方得始终。

举个栗子

说下可视化组织的典范吧，最大的大数据公司是哪个?是拥有12亿注册用户的Facebook吗?还是Amzaon和GOOGLE?他们都是大红大紫，享誉国际的大公司，这些公司也都不是等闲之辈，但要说典范，目前此荣誉当属Netflix(网飞)。

这家公司的起家跟互联网或大数据没有半毛钱关系，说的通俗点就是个租光盘的，Netflix 成立于1997年，最初只是开展通过邮递租借DVD的业务。那个年代不论是外国还是中国，都有种路边店叫录像租赁店，要租借视频必须亲自去商店里左淘右淘，又因为经常延期交还光盘而收取滞纳金。Netflix不开店面采用邮寄的模式，一炮而红，2000年Netflix光滞纳金收入就达到8亿美元，占总收入的16%。

十年过去了，视频租借模式已经从成熟走向衰落，更重要的是随着时间的推移， DVD的损坏，客户的偷窃，邮递成本不断增加等诸多问题都给Netflix的租赁模式难以为继，所以在2007年Netflix开始了自我颠覆，从实物DVD向流媒体的转变。这个过程中Netfilx意识到客户生成了多得令人难以置信的数据，这不仅是关于谁看了什么节目的数据，还收集到更多有价值的信息：

地理定位数据，发现用户在哪里观看视频;

设备数据，发现用户通过什么终端看视频;

时间数据，用户什么时候观看视频，比如星期几和具体时间等;

行为数据，用户每次看视频的后退、快进和暂停的行为。

不仅如此，Netflix还通过社交网络Facebooke，Twitter及其他网站采集用户的社交行为数据，然后通过坚实的基础平台和强大的大数据分析能力将数据可视化，并且成功的预测了用户的喜好和偏爱。

未来Netflix可以进一步强化对客户下一步想要观看什么视频和内容的预测能力，通过声音，风景，颜色等因素进行推荐，这些元数据对客户想看什么提供更有价值的洞察。