【大数据生态】云散之后赤裸裸的数据你会用吗_数据分析师

云计算大潮有没有退去暂时谁也说不好，而就研究机构Gartner的最新调查报告显示，云计算领域还将保持增长趋势，而增长的幅度将会放缓，毕竟云计算已经风风火火了不少时间。

而今，和云计算同样没有明确定义的一个新概念越来越流行——“大数据”。而且大数据已经开始改变了IT格局，根据Gartner的数据显示，仅2012年大数据就带动全球280亿美元的IT支出，2013年带动的IT支出规模可望进一步增至340亿美元。

回头看谁走在大数据的前面?

大数据论起源肯定是美国，也流行于美国，并不是因为美国的技术有多么发达，而是因为他们有用户量巨大的互联网服务基础。社交网络、物联网、电子商务起步早，移动设备普及度高等“先天”因素也让他们的数据不再“单纯”，而且单纯的数据格式也无法满足这些业务需要。结构化数据、半结构化数据和非结构化数据的三种类型中，结构化数据目前的传统RDBMS的技术(关系型数据库管理系统)相对于其他技术来说成熟而且性能优势明显，而对于其他两种形式的数据，目前解决方案仍然处于成长甚至是刚刚起步阶段。

对于大数据的产生，可以说毫无疑问的要归功于互联网公司，但实际上并不是只有互联网公司才用到大数据，当下的银行、保险类金融业企业、电信运营商、某些制造业领域的企业、气象行业、医疗行业等都是大数据的真实而直接的用户。现在互联网、电子商务、快消业的企业因为数据量增长最为迅速，而使得他们的需求走在了大数据的最前端。蒋居裕先生认为这些公司或多或少都有自己的解决方案和技术，而从美国的经验来看，大数据处理平台中一个主流处理技术Hadoop，虽然不是唯一的解决方案，却成为主要的解决方案之一，尤其是2006年被开源以后，近6、7年的发展日趋稳定。

破解大数据误区

尽管有人说大数据和云计算是截然不同的两个概念，但是不可否认的是二者有着很多交集，甚至是“大数据离不开云”的意味。从硬件层上说分布式存储、虚拟化服务器的弹性支持等都是云计算的重要特性，但也正因如此很多人产生了一些误区。

误区一、“大数据就是存储”，一种新的存储技术。

而实际上这种“误区”只是认识的片面，主要在于大数据的存储是基础，而更重要的是处理工作，毕竟存储是为进一步处理做准备。所以从这个角度来看，一般人的理解有些错误。所以请记住大数据一定是存储跟计算同时要发生的。

误区二、行业受众小，并非广泛适用。

虽然大数据起源互联网，但因为异构数据的存在，很多传统行业其实需求更加迫切。像图形、图像识别等领域、自动控制领域很多场景都需要大数据的帮助。

当然，还有人会认为结构化数据处理起来相对容易，用不到“大数据”的概念，或者大数据处理可能只是BI，为企业提供商业智能。实际上，除了BI之外，有时候需要做文字或者图形上的搜索；同样，还有一些来自改善用户体验使用的，比如运营商、金融保险类公司。我们首先可以对数据进行了一个分层描述：

顶层：Hot Data，这是比较热的数据，它的实时需求最高，在查询之后几秒钟就要得到结果;

中层：Warm Data，有一点温度的，它需要随时查询，它处理的时候不需要几秒钟得到结果;

底层：Cold Data，这类数据最大的特性就是看起来我不会再用到它，只需要从起来就可以了。

而这三层数据中，最容易做的其实就是底层冷数据Cold Data，只要条件允许，这部分数据可以一直沉淀在磁盘上。最直接的入手点就是顶层，大量数据挖掘、数据仓储的案例和解决方案让基于关系型的Hot Data容易被应用。

当然完成这所有三层数据的处理工作，已经说明这家公司有一套数据生命周期管理。但重点还是会回到数据本身上，这些所有的数据可以做什么?保存这么数据到底有多大价值?也许这个问题在于是如何找出你跟同行之间不同、如何提供与竞争对手不同服务，让用户体验与同行之间的出发点上。而目前市场来看虽然很多企业有这个需求，但是大部分大数据解决方案都是以项目形式体现，没有一个产品化或者针对某个行业而推出的标准产品推出，这让更多的用户很难去说清楚自己的需求，也对技术实现本身产生了巨大的阻碍。这样的现状催生了我们推出软/硬件一体的大数据一体机，用产品化的形式交付给用户，推动大数据市场。

功不可没的Hadoop是把双刃剑

双刃之一：内部人才与技术的压力

其实从Hadoop宣布开源开始，自身的不断完善，虽然经历了多年的发展，但是人才压力、技术压力还是存在的，比如一个明显的例子就是目前老牌互联网公司都拥有这样一群人，他们仍然以内部项目的形式服务于公司，而非放到市场上。目前来看，这样的队伍需要以产品和方案为主要任务，以垂直行业作为服务划分的范围，即化解了服务压力，又能够给客户提供本土的技术支持服务。

双刃之二，外部环境竞争压力

Hadoop其实不是解决大数据的唯一途径，不同厂商都有自己的解决方案，无论是老牌IT巨鳄，还是存储领域的领航员都有自己的产品，而且其中不乏针对Hadoop深度优化的发行版。但是有一点不同的是，无论如何Hadoop仅仅是构建在操作系统上的一个“软件”，虽然这个软件可以管理的数据很大，但是对于操作系统的以来仍然不容忽视的。

现有的大数据一体机Appliance不止是具备它的技术价值，当用户不知道自己在某方面的具体需求的时候、或者说有需求方向但貌似无从下手的时候，大数据一体机帮助用户进行寻找需求甚至是引导用户挖掘需求，将不同行业的标准产品进行“插入”，来支撑各行各业的需求。

大数据服务，一是硬件，二是软件，三是服务，从基础到应用，再到对业务的帮助必须把这三方面捆绑起来，让用户体验一站式服务。

与其说这样是一种产品规划策略，不如说这是一种市场培养和培育手段。对于大数据服务，尤其是基于Hadoop的大数据服务选择本与水土相符的服务很重要。

回归数据 云散之后让数据重现真身

在云大行其道的今天，大数据所处理的是一般企业现在所没有处理的，所谓半结构和非结构数据。现在企业管理软件目前大部分是利用数据库或数据存储来做数据的存储或者分析，这些只占到传统企业里面所有数据的15%，剩下的85%，才需要用到这种大数据的处理平台做进一步的分析，在里面找到竞争差异化的来源，能够让客户的体验更加好。

但是我们常说的大数据真正的价值却往往被人理想化。在大数据的3V(Velocity速度、Volume体积、Variety种类)组成的3维空间中，却经常充满着互斥的矛盾。当然这里笔者故意没有提到第四个V，原因在于Value价值的不确定因素更大，相对其他3V的指标要求更难界定，所以没有划入3V空间。

如果换一种看法，将这3V组成一个椭圆型，在边缘的轨迹上任意三个点都能够组成一个3V的三角形，而往往这个三角形形状一定会有所偏好：有的量大，实时要求低；有的实时要求高，数据量不是特别大。当然不同的厂商可能画出的椭圆形状不太一样，可是这些都是属于大数据要去分析处理的范畴。而把一种新的数据处理来源引进新的数据处理平台，引进之后，还可以给这些已经存在企业里头的BI系统或进到数据仓储，企业可以用原本就存在的管理软件直接来调用，看到它的结果。所以从这个角度来看，其实大数据跟传统企业数据是互补的。

IaaS、PaaS、SaaS三层云的服务模式，IaaS和PaaS从理论上讲应该是支撑SaaS服务的技术，而目前来看，尤其是国内这个有三种服务形态构成的云三角形并不稳定，原本应该成为营收之最的SaaS在国内仍然没有得到充分的发挥。换句话说，目前国内的云业态仍然没有得到全面的发展，目前又一窝蜂的投入到大数据的浪潮中，也许存储技术、网络技术能够满足大数据的需求，但是追捧过云的用户们真的能够分辨出自己对大数据的需求么？不明需求的用户到底要不要启用大数据、到底应该如何处理大数据，参考产品化的解决方案，也许是不错的敲门砖。

转观一众大数据解决方案供应商，鼓吹技术不如树立行业标准化解决方案，靠产品打天下、靠技术服务用户、靠概念领导业界、靠品牌构建生态系统。