大数据：一场骗局还是一次新的商业变革_数据分析师考试

大数据会是一场概念的骗局么？近期这样的讨论在网上随着大数据的话题而不断涌现出来。其实大数据并不是一项全新的技术，它的本质表现在数据的形态更为复杂，增长的速度更快和交互的频率更高。

如何对具备这样特征的数据集群进行管理和使用，是区别于传统数据应用的主要特点。更为重要的一点是：当前的技术将大数据应用的成本降低到了中小型企业也可以使用的阶段，在有关大数据的话题讨论中，这一点也是备受关注和认可的。 伴随着传统的商业智能系统向纵深应用的拓展，商业决策已经越来越依赖于数据。然而，传统的商业智能系统中用于分析的数据，大都是企业自身信息系统中产生的运营数据，这些数据大都是标准化、结构化的。

事实上，这些数据只占到了企业所能获取的数据中很小的一部分，还有更加广泛的数据是存在于Social、Mobile、电子商务等应用中的非结构化数据。 企业用以分析的数据越全面，结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将它与已知业务的各个细节相融合。

微软亚太研发集团服务器与开发工具事业部，中国云计算创新中心商务战略总监殷皓在接受51CTO记者专访时特别谈到了一个很有意思的案例：“某汽车销售机构希望了解历年油价的波动对汽车销售带来的影响，这时他们不需要重新采集关于油价的数据，而是通过Windows Azure上的一个数据集市服务，获得了准确而专业的数据信息，很快的完成了这项分析，充分体现了数据服务带来的价值。”殷皓认为数据不能停留数据存储的阶段，而是要转换成为有价值的信息服务，创造新的商业机会。 大数据将改变谁的命运 DBA是在传统数据库应用领域中极为重要的人群，也许大数据会带给他们理念上的转变。“DBA曾经是IT行业中的金饭碗，因为核心的数据库技术发展相对来说变化的较少，所以有些DBA会慢慢变懒”，殷皓谈到：“但是，变化少不代表不变。如果DBA的工作定位偏向底层运维型的话，那么他们的职能会变得越来越小，甚至会被自动化的服务来取代，未来DBA对基础设施的管理会越来越少，更多的向上层业务扩展。” 我们关注到发展中的DBA分工，其中的一种可能会涉及到企业核心安全保障，成为企业里数据的守门人之一。

另一种角色是研发DBA，它和业务应用结合的非常紧密。包括数据定义、数据建模，从逻辑建模到物理建模，以及后端存储的设计等，未来更多的是成为企业数据模型的管理者。“这实际上也是一个职业发展的过程“，殷皓认为：“运维DBA需要确保7*24的业务连续性，研发DBA更多的负责物理建模，完成开发人员写的存储过程。

而我们看到的数据架构师层面，就是需要从业务需求出发来实现逻辑建模。因为对业务的理解是自动化工具所不能取代的，这也是在大数据的趋势下，DBA所要面临的转变。” SQL Server与大数据的对接 Hadoop是大数据的一个分布式系统架构。5月与微软SQL Server 2012同时发布的还有将Hadoop和SQL Server连在一起的连通器，他们通过标准的ODBC模式，把Hadoop和PDW微软并行数据仓库连在一起，实现多核并发的并行数据仓库。

“用户无需对应用做出很大的改动，只是连接到SQL Server、数据仓库，或者是一个对象。通过这个对象可以把我的连接通过连接键引申出去，然后把所有的数据整合在一起”，殷皓兴奋的分享到：“在这种场景下，我可以把结构化数据和非结构化数据、甚至是数据仓库在模型中的数据整合在一起，做更加深入的数据分析。” SQL Server 2012版本中，微软亚太研发集团服务器与开发工具事业部参与了两个大的功能研发：数据的迁移工具SSIS，数据库升级的服务。

微软针对Hadoop在Windows Server Kernel上做出性能的优化、安全认证的整合，形成企业级的AD整合，并实现了和BI工具的整合。“微软在NoSQL上加一个SQL的索引层，比如eBay的底层用了MangoDB，但所有的交易数据都按照SQL来存储到结点中”，殷浩认为：“NoSQL提供了一个很好的存储机制，但要提高数据利用的效率，最好回到SQL的场景。NoSQL将会是数据库发展过程中的一个中间阶段，会逐渐体现为数据服务中的一部分，而非数据平台的主流。” 

关于大数据的话题还将继续争论下去，但可以看到的是，在企业商业智能的发展基础上，数据分析将作为一种服务提供给用户。IT技术提供商们开始实践的大数据，不仅是把数据用于企业内部的业务分析和决策支持，而是以提供数据分析模型的方式优化企业决策。这不仅仅是技术的更新，而是IT消费模式的变革。