云计算是大数据价值形成的基础_数据分析师培训

近年来，伴随着移动互联网、物联网、云计算的快速发展，大数据的价值被更多的行业企业所重视、发掘并利用，在当今的数据洪流时代，各类企业在数据的生产、存储、清洗、应用等方面都在进行着全方位的立体创新。

　　大数据要依靠云计算

　　降本增效

　　一直以来，大数据技术被认为是由硬件摩尔定律、并行计算体系创新的技术驱动，互联网应用、智慧地球的业务推动迅猛发展起来的，而大数据应用层面却需要解决成本、效率、质量的多重问题，为此，大数据只有经过云计算的降本增效才能快速发展。

　　云计算将计算、存储资源低成本、便捷化、弹性可扩展，为大数据这个杀手级的应用提供了可靠的保障。随着数据越来越多、越来越复杂、越来越实时，更需要云计算进行挖掘、提炼、过滤、分析，才能产生价值。

　　以Hadoop为代表的云计算技术使得对PB级的海量非结构化数据的集中处理和存储成为可能，构建在X86平台上的MPP数据仓库提高了横向扩展性，并使得集中化地对海量结构化数据的处理和存储成为可能，万兆以太网等技术使得大规模数据中心成为可能，OTN技术以及近几年对传输基础设施的投入，使得跨地域大量数据的传输成为可能……由此可见，大数据是落地的云，是云应用的价值体现。

　　我们看到，集中式存储、分布式数据库为大数据提供了良好的设施保障，而大数据的发展不能再依赖于人的智慧分析能力，它更多地需要机器具备一定的自我学习、自我成长、智慧处理的计算能力。未来一段时间，购买设备自建IT基础设施已经成为一种“作坊”行为，面对互联网、移动互联网催生的产业信息化浪潮，需要云计算这样庞大集群的基础设施，才能保证大数据的产出，才能保证价值服务的形成。

　　信息安全是大数据的

　　首要课题

　　正如Gartner在《大数据时代的美国信息网络安全新战略分析》中所述，“大数据安全是一场必要的战争”。大数据从其起步开始，就与安全问题如影随形。

　　面对PB到ZB级的海量存储数据，无论是Hadoop、SQL、NoSQL，还是严格的访问设置和隐私管理，对这些不同系统、不同应用关系、不同来源的数据洪流的安全防范，都会存在信息泄露的风险。

　　而且，大数据分析挖掘技术本身就是风险来源之一。大数据的发展依赖于信息挖掘、分析、清洗、整理的能力，在挖掘过程中，难免会触及挖掘对象的个人信息、隐私数据，甚至成为很多信息处理公司争相渔利的市场，这一点需要政策立法层面的信息保护。

　　此外，大数据环境下的资源滥用、不安全集成等应用防护风险，身份仿冒、信息劫持等接入风险，恶意篡改、虚拟应用融合风险等大量并存，需要从顶层设计角度关注大数据的系统风险。

　　美国早在2012年3月22日就将“大数据”上升为国家战略，甚至将大数据定义为“未来的新石油”，并将安全机制上升到国家层面。我国也需要从立法层面规范大数据的信息安全标准、原则、管控手段。

　　同时，基于云平台的安全技术框架、安全监测技术保障、应用防护安全应用、云端的安全审计等也是必不可少的，这样“云计算能力+云存储能力+大数据技术+安全防护”才是大数据快速发展的根本。

　　运营商开展数据经营

　　大有可为

　　在互联网乃至移动互联网时代，运营商是数据交换的中心，运营商的客服系统、业务平台、网络管道都产生着大量的数据，这些数据的精准分析有利于改善客户体验、优化网络质量、刺激业务创新、开展精准营销，可见，数据经营已经成为大势所趋。

　　大数据为运营商带来前所未有的机遇。一是运营商具有庞大的基础网络，具有用户聚合优势，已经成为客户应用大数据的重要入口。二是大数据对云平台、对基础设施的高度要求，为运营商网络平台及应用服务的全面升级提供了广阔的市场空间。三是运营商的数据经营将产生更灵活更创新的商业模式，安全地提供数据挖掘服务，为丰富互联网应用、中小企业发展、产业行业发展会做出更多的贡献。

　　当然，运营商数据经营还存在一定的挑战。一方面，运营商的内部系统多数存在分省建设、模型迥异、标准不统一等问题，这对大数据要求的集中整合和实时交互是个巨大挑战；另一方面，原有高端商用系统多数具备结构化数据的处理能力，需要提升面向互联网应用的大量非结构化数据处理能力。

　　运营商已经纷纷启动大数据经营与服务。在内部应用上，以集中数据为指引，统一顶层架构设计、集中数据统一管理、开放数据能力服务，以数据集中引领生产系统集中，促进生产系统逻辑集中和流程贯穿。在外部服务上，运营商基于IaaS层基础电信能力，开展PaaS、SaaS层产品合作，沉淀并挖掘有价值的数据服务信息，向特定细分市场有选择、有目标地安全开放。