大数据引发的新挑战_数据分析师培训

到2015年，数据的增长量可能是现在的24倍，不管是CIO还是IT服务商都需要重新思考IT的新挑战。

    全球的经济正在发生着深层次的转型。在未来的10～15年的时间里，全球大概有30亿人将富裕起来。这意味着像中国这样在过去20年当中的一个世界的制造中心，正在转型成为世界上最大的消费市场，新型经济体将持续成为全球经济发展的一个重要动力来源。企业必须挑战包括供应链管理、产业链管理、上下游企业之间的关系、以及如何应对仓储、物流的变化等转型。与此同时，企业面临的一个变化是“大数据的爆发”，数据在企业和整个商业世界中发挥的作用和产生的能量发生了质的变化。
    在2012年IBM举行的对全球企业CEO持续调研中，1709位领导者给予了我们3个重要的反馈：第一，必须产生新的人才战略，以价值体系激励员工。旧的管理制度已经淘汰，员工所拥有的交流平台发生了根本的变化。企业能否提供更加开放、互相协作的交流平台正在愈发决定了企业内部管理的顺畅度。第二，企业上下游之间、供应链上的关系正在发生较大的变化。必须创建广泛的伙伴关系，以协作促进创新。第三，在CEO认为的对企业发展最重大意义的外部因素中，“技术”首次被提到了第一位。企业唯有建立必备的分析洞察能力，才能以个性化的服务赢得客户。数据、技术正在引领着企业转型，产生新的价值，为企业开拓新的市场。从“开源节流”的角度来讲，技术更多地被企业理解成为一个节流的方式和辅助手段，如何整合内部系统和资源，如何能够更好地管控自己的企业，如何降低成本、管理好上下游产业链，大数据正在为企业带来更多的机会。
   到2015年，数据的增长量可能是现在的24倍。信息量在急剧膨胀，信息的性质也随之而改变。我们预测，所增加的信息绝大部分来源于物联网、传感器、社交网络以及语音数据等。伴随着数据量的增长，企业的新挑战油然而生。首先是数据量巨大，数据处理规模正在从TB级增长到EB级；其次，在速度上，数据不仅成批量地产生，而且呈流状涌现。
    因此，商业智能分析企业必须实现数据处理的实时性，在几秒甚至几毫秒内做出反应。同时，企业要思考全新的IT问题，例如：非结构化数据与传统业务系统产生的关系性数据之间是怎样的关系？是否需要从业务角度出发，进行融合及整合等等。数据仓库当中的模型有没有新的变化？语境的搜索、数据生命周期的管理、安全性的管理等等。这些都是需要企业考虑和解决的问题。
    以往，企业数据的含金量很高，即一个企业存下来的数据都是经过思考的，要存什么数据，数据存储以后有什么作用，用何种工具进行分析，都是预先想好的，所以留下来的数据极其有用，含金量高。但对于淘宝等电商平台而言，所存储的是各式各样非结构化数据，这之中有很多是没有价值的，“含金量”成为一个必须探讨的问题。
    当数据的含金量急剧下降时，如何应对这个挑战，这对硬件、软件处理的能力提出了怎样的新需求？另外，如何构建一个平台使用户无需关注技术上的细节？咨询、服务、硬件、软件，各方面整合起来的能力将是一个厂商能否足够解决大数据问题的关键所在。文章来源：CDA数据分析师官网