大数据时代国内厂商的路在何方_数据分析师考试

近几年中，web和企业已经见证了数据膨胀。这一现象有很多种原因，例如，便宜的terabyte量级的存储硬件的商品化，随着时间的推移已接近临界规模的企业数据，以及允许轻松进行信息供应和交换的标准。

　　从企业的角度来说，日益增长的信息已经很难存储在标准关系型数据库甚至数据仓库中。这些问题提到了一些在实践中已存在多年的难题。例如：怎样查询一个十亿行的表？怎样跨越数据中心所有服务器上的所有日志来运行一个查询？更为复杂的问题是，大量需要处理的数据是非结构化或者半结构化的，这就更难查询了。

　　这就不能不提到一个词汇BIG DATA（大数据）

　　大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库（relational database）用于分析时会花费过多时间和金钱。尽管大数据并没有指定某一个特定数量，这个词常在说到拍字节和艾字节的数据时用到。

　　查看大数据（Big data）的最初目的是发现可重复的商业模式。大众普遍认为大部分非结构化数据（unstructured data）存在于文本文件中，它至少占据了企业数据的80%。如果放任这些数据不进行管理，企业内每年产生的这些庞大的非结构化数据量会在存储上花费巨额。如果信息没有进入合规性审计（compliance audit）或诉讼文件中，不受管理的数据还能构成责任。

　　大数据（Big data）分析常和云计算（cloud computing）联系到一起，因为实时的大型数据集（data set）分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

　　在今天的商业活动中，“大数据”扮演着另外一种角色：大企业越来越多地面临对大量结构数据和非结构数据进行维护的问题，这些数据可能来自资料库中员工对于交易信息的报告，也可能是供应商的日常供货信息——总之这些都是政府要求企业在日常运营中需要保留的数据。最近的一些法庭案例更使上述问题凸现出来，使企业不得不保留大量的文件、电子邮件信息和其他电子通讯记录，例如即时信息、IP电话记录等，这些都可以在他们面临诉讼时作为进行电子信息调查的依据。

　　也许累积大数据所面临的最大的挑战就是建立一个可以存储和得到所有实时和未来信息的数据库，并且让这些信息可以在线用于成本效率分析的平台。那就意味着这个平台应该是可升级的。这个平台应该涵盖计算机存储技术、语言查询技术、分析工具、内容分析工具和传输设备，因为IT中囊括了太多变化的、需要有效利用和维护的内容。

　　世界银行在线提供其世界范围内的统计数据，美国国会图书馆自2006年3月起就对Tweiter论坛上的数据进行归档处理。此外，美国国会图书馆还提供大量低成本信息和投资数据服务。大数据技术可被用于对数据资源进行分析，其中就包括你自己拥有的数据，或者将这些数据放在一起进行分析。

　　举个例子，Flight Caster是一家提供航班延误信息预测的公司，它主要根据主要航空公司的航班运行情况进行预测。与航空公司所拥有的类似航班运行情况的专有信息一样，该公司拥有大量国内航班飞行和航班实时运行状况的历史数据。Flightcaster的秘诀就是其对大数据分析的有效利用和使用适当的软件工具对产出数据进行实时管理。这或许对于中国国内航空公司来说也许是值得借鉴的。