基于大数据的信息系统关键技术研究

信息技术、计算机技术和互联网技术的高速发展促进了人类社会各类数据的爆炸性增长如何对这些结构复杂的大数据进行有效管理己经成为当前社会的热点问题之一。自2011年EMC公司首次在年度大会中提出大数据的概念，己有多家公司和机构对大数据问题进行了研究。由于信息技术己经渗透到人类社会的多个领域，大数据问题会给整个社会带来深刻的影响可以预见，大数据问题必然会给信息技术产业带来一场深刻的技术变革。基于大数据的信息系统的技术创新是未来发展信息技术的关键，也是有关国家发展战略的重要课题。面对着大数据问题带来的机遇和挑战，我国有必要加大科研力度，努力缩小在信息技术领域与国际先进水平的差距。

一、大数据的特征与价值

对于大数据的定义目前仍没有一种通行的标准，不过从数据使用者的角度来讲，大数据可以定义为超过使用者所能处理和分析能力上限的数据。由于信息技术在人类社会的应用广泛而又深刻，各行业的公司、企业乃至政府机构都存储了大量的数据然而，这些大数据内的大量有价值的信息却很少被挖掘出来加以利用。究其原因，一方面是由于目前人们对于大数据的利用价值没有全面而深刻的认识，忽视了大数据中存在的重要信息;另一方面，由于缺乏相关的技术和人才，不能对这些大数据进行有效地处理和分析，以挖掘出其中有价值的信息。

大数据的基本特征是多样性、体量、速度以及价值所谓多样性是指大数据的来源丰富，且结构组成也相对多样化：体量即指数据量卜大：而速度是指数据的生成、变化和处理的速度都很快：价值则指大数据蕴含的应用价值。由于大数据的这些基本特征给当前的数据处理和分析技术带来了极大的难度，也给信息技术发展带来了新的挑战。为了对大数据进行处理以挖掘有价值的信息，我们不仅需要提升硬件设施的性能，而且要研发出能够处理大容量数据的技术、算法以及应用软件。

现代社会的信息化和数字化必然会导致大量数据的产生和累积。就现代企业而言，其在采购、生产、运输、销伟等环节都产生了大量数据。这些数据包含了企业运营过程中接触到的供应商、客户、人力资源等重要信息。现代企业的诸多决策很大程度上依赖于这些数据分析的结果。国外相关的研究表明，大数据存在着卜大的潜力，将会给整个社会的经济发展、技术创新和价值取向带来重大的变革充分发挥大数据的价值，企业可以显着提高其运营效益：而政府的运行和管理效率也会得到大幅提高。总之，大数据的潜在价值卜大，研究基于大数据的信息系统关键技术具有重要的战略意义。

二、基于大数据的信息系统关键技术

2.1分布式数据库与处理系统

由于大数据的多样性和大体量等特征，关系型数据库在处理大数据时普遍存在着不可忽视的缺陷。而大数据的价值密度也相对较低，对于数据库提出了新的要求。分布式数据库系统采用更加简单的模型对数据信息进行管理Bigtable技术采用字符串的形式实现了对数据信息的高效管理：而Dynam.技术采用分布式哈希表等技术也实现对基于大数据的信息系统的可靠管理。分布式的数据处理系统的主要数据处理技术包括批处理技术和流处理技术。批处理技术按照某一特定方式将大数据划分为多个部分。划分后的数据可以同时在多个处理器进行分析和处理批处理技术削弱了数据之间的关联性，以达到增强数据可调度性的目的，其技术关键在于数据的划分方式、分配方式以及处理技术而流处理技术则是将大数据视为连续的流，进入系统的数据能被实时处理并将结果返同。流处理技术显着地提升了系统的时效性。

2. 2分布式文件管理技术

传统的文件管理技术在存储和管理大数据时的表现难以让人满意。因此，针对大数据信息系统设计的分布式文件管理技术在各大互联网企业中己经得到了应用，并且收到了不错的效果其中，Google提出的GFS文件管理技术以大量低成本服务器为基础，组建了一个具有较高拓展性的文件管理系统。大量数据

被分块存储到不同的服务器中，并通过关联链接等方式进行管理由于该技术在存储和读取大数据时效率较低，多种类GFS技术采用了增加缓冲层的方式以提高数据的存储和读取速度。

除上述技术以外，基于大数据的信息系统的关键技术还包括数据挖掘技术、稀疏处理技术等。

三、结语

大数据的潜在价值己经得到了业内人士的广泛关注和认可，研究基于大数据的信息系统关键技术不仅与信息产业的发展密切相关，而且将在一定程度上影响整个国家的发展战略。随着信息技术的不断发展和数字化进程的不断推进，大数据信息系统必然会对整个人类社会产生深远的影响。