不仅仅是机遇 细数大数据领域待解决问题_数据分析师考试

大数据，现在已经不仅仅是人们日常工作和生活当中的必需品了，很多国家已经开始将大数据技术和应用上升到国家的战略层面，在2012年3月，美国政府就宣布将大数据以及相关产业上升为国家战略，很多行业包括军事、能源等都被列入到了大数据应用领域。

其实从上述内容我们不难看出，大数据的诞生和发展带给我们的不仅仅是机遇，同时在技术和应用层面用户也面临着很多挑战和困难，放眼国内的大数据领域市场，有很多行业压力摆在我们面前，本期我们就来说说国内目前的大数据仍然面临的几大问题。

数据来源良莠不齐

我们都知道，我国国内的人口众多，大数据给我们带来的机遇和压力都不小，作为一个新兴领域，尽管大数据意味着大机遇，拥有巨大的应用价值，但同时也遭遇工程技术、管理政策、人才培养、资金投入等诸多领域的大挑战。只有解决这些基础性的挑战问题，才能充分利用这个大机遇，让大数据为企业为社会充分发挥的最大价值与贡献。

丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。

现在很多企业时时刻刻都在产生着大量数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。

大数据时代，我们需要更加全面的数据来提高分析预测的准确度，因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的浏览器有意或者无意记载着个人的信息数据之外，手机、智能手表、智能手环等各种可穿戴设备也在无时无刻地产生着数据。

云计算平台和大数据之间的相辅相成关系是现在IT业界所共识的，机等各种网络入口以及无处不在的传感器等，都会对个人数据进行采集、存储、使用、分享，而这一切大都是在人们并不知晓的情况下发生。

数据分析模型建设困难

现在越来越多的用户开始试图用大数据分析技术来去解决很多问题，但是大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本。

大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现;时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。

要以低成本和可扩展的方式处理大数据，这就需要对整个IT架构进行重构，开发先进的软件平台和算法。这方面，国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。

用户使用权和隐私的平衡

很多人现在一说到大数据就“谈虎色变”，究其很重要的原因之一就是大数据挖掘和分析技术带来的用户隐私的泄露。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。

笔者在以前的文章当中曾经写过，大数据技术其实是一把双刃剑，我们如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。

数据增值的关键在于整合，但自由整合的前提是数据的开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料、生活数据自由地流动起来。

数据的管理难度

海量数据通过挖掘、收集、存储、分析、最后被应用在不同行业当中，这当中的众多步骤在管理方面都是需要仔细计划的。因为显而易见，大数据的用户体验效果很有可能直接影响到企业以及个人用户的一些决策。

大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。大数据应用领域仍窄小，应用费用过高，制约大数据应用。国内能利用大数据背后产业价值的行业主要集中在金融、电信、能源、证券、烟草等超大型行业。

大数据技术作为当下最为火热的IT话题，已经开始在很多行业和企业当中进行了充分的应用，放眼国外一些领先企业的大数据解决方案我们不难发现，和云计算、虚拟化等诸多技术之间的整合作用是十分重要的，所以在未来国内的大数据市场发展当中，利用云平台的高扩展性进行灵活整合是我们需要关注的。