大数据是指互联网时代数码化的数据超高速增长的现象。数据大只是量的概念，而“数码化”是质的变化。数码化数据可以用电脑高速处理。数码相机取代了胶卷相机就是因为它可以实时地用电脑芯片处理数据而生成照片和映像。这种变革是划时代的，它改变了一个产业。

　　数码化的数据除了量大（Volume）以外，它积累的速度（Velocity）更是惊人。积累的方式已不是过去的批量式而是源源不断的数据流。 数据的产生也是多源化（Variety）的。采集手段包括手机、传感器、电脑、扫描器、监测仪等。数据形态包括数字、文字、声音、照片、影视等。这种从现 实生活中产生的实时数据具有很大的噪音（Voracity）。既有传统的有结构数据，更有大量半结构和无结构数据。

大数据为何重要？

　　不管你承认与否，大数据已成为现代生活的现实，而且在改变着我们的思维和行为方式。当你在互联网上购买一本书时，你会同时收到网站给你推荐的另 几本书。这就是供应商在背后应用大数据的方法对其他成千上万购买同一本书的群体进行比较分析后的结果。被推荐的书正是该群体最常买的相关书籍。

　　大数据的处理技术使我们能做过去认为做不到的事情。中国人的治学境界是要“破万卷书，行万里路”。今天用电脑“看”数码化的书，破万卷书是轻而一举的事。

　　大数据实时处理多媒体、多渠道提供的数码化数据的能力正在改变我们的生活。正在兴起的远程医疗就是一例。在病人家中安装监测仪定时采集医疗数 据，病人用智能手机自我检查的结果等数据可以实时地传送给医院。医护人员可根据实时电子病历进行诊断、治疗和护理。这些不断积累的电子病历又经过数据挖掘 而产生新的信息和智能，促进医护服务质量的改进和提高。

　　大数据对传统统计学提出了挑战的同时也创造了机遇。以概率为基础的抽样统计的理念是以尽可能 小的随机样本来推测总体的状态和行为。我们必须先设计调查问卷，再进行数据采集、清理、分析以形成报告。这个过程很长，数据采集费用高， 而能回答的问题又受问卷的限制。这就产生了抽样统计的不治之症：慢、少、贵。即使行政统计，也都是用预制表格采集有结构数据。大数据的理念是对现代生活中 通过多种渠道和手段源源不断得到的半结构、无结构的数码化的数据进行处理、挖掘和分析而产生信息。它是实时或接近实时的数据处理，寻找的是相关性而不是因 果性，回答的问题不受问卷和表格的限制。

　　如果说抽样统计和行政统计是统计1.0，我们可以把包括大数据的统计研究叫做统计2.0。统计1.0的数据是有结构的样本和行政数据。而统计 2.0的数据还要加上无结构或半结构的、从现实生活中通过多种渠道获得的数码化数据。从这个意义上讲，大数据为解决传统统计“慢、少、贵”的顽症提供了新 的可能性。

大数据与现代信息技术

　　近年来信息技术的快速发展促进了大数据时代的到来。

　　首先，海量数据的高速处理必须解决传统数据处理的瓶颈问题：数据库需要一个一个排起队来处理。搜索一个数据库可以瞬时完成，但搜索50个，上百 个数据库，即使再快的电脑也需很长时间。网上搜索引擎巨头公司如雅虎（Yahoo）和谷歌（Google）即率先研发应用以Hadoop为代表的数据分散 组合处理技术。这种技术的核心理念是把搜索50个数据库的任务分散到50台电脑服务器上同时进行，然后把所有搜索结果组合后反馈给用户，大大加快了数据处 理速度。

　　第二，由于大数据处理（如Hadoop）技术需要大量的硬件投资和专业人员的维护，大部分公司和政府部门都无力承担其费用。云计算使得资源共享成为可能，因而大大降低了大数据技术应用的成本，推动了大数据发展的进程。

　　第三，大数据处理过程中需要组合多源数据。而我们知道数据库有多种（如：Oracle， SQL， 等），它们之间在数据结构、定义等各方面是不匹配的。近年来以XML语言为基础的数据整合技术（Data Mashup）的发展和成熟使实时的网上现场多源数据整合成为可能，为大数据时代的到来扫除了一个障碍。

　　第四，海量数据处理和分析的结果常常是分散和杂乱的。如何使数据分析结果变成简明易懂的信息是大数据产生价值的关键。近年来方兴未艾的数据可视 化技术（Data Visualization）上的创新和发展使以数据为基础的，实时的智能决策支持成为可能，为大数据时代开了绿灯。

美国大数据的应用现状

　　谷歌、亚马逊、沃尔玛、等大公司在应用大数据获得商业利益上取得了成功。这些公司的共同点是自己拥有数据而且起步早。由于前一段大数据热，为大 数据处理研发工具的一批新公司也获得了一定的成功。以提供大数据分析服务为目标的公司出现了一大批，但成功的很少。美国各级政府自奥巴马就任以来在开放数 据方面取得很大进展，但大多是行政数据，大数据应用的成功例子是凤毛麟角。

　　大数据高端分析人才（Data Scientist – 数据科学家）短缺。美国很多大学已开始设置数据科学家的课程和学位。传统统计学家很难接受大数据的新理念和掌握新的分析手段和技能。

　　由于缺少成功的分析模式，海量数据不能很快产生商业价值，对大数据产业的投资迅速降温。

　　保护个人隐私和权益仍是一个令人困惑的大问题，因为它涉及到道德、法律、和信息技术等多方面。

　　大数据的应用上也存在着很多潜在问题。大数据可以揭示大量相关性但很难确定那个是有意义的。一旦计算方法暴露，数据造假很容易。网络数据的回声 效应很强，很容易引起以讹传讹使错误信息快速升级和传播。用数据分析的方法把复杂的问题归结于一个简单的数字常常会产生误导的结论（如：计算特定字词出现 的次数来确定某人或事件的历史地位）。在数据整合方面的挑战更大。商场如战场，企业之间都要保护自己的数据，数据共享几乎不可能。政府部门之间也因责、 权、利上的冲突，以邻为壑，各自把持自己的数据。这不是技术问题，而是利益、政治、政策、法律和道德问题。

结语

　　大数据代表了信息时代发展的一个新趋势，其重要性和影响力不可低估。这一新工具为我们提供了认识和解决问题的新机遇和手段。但它不是能治百病的 万能药，也不能取代传统统计学和数据分析。比如，大数据可以对海量数据进行实时处理而发现大量的相关性但不能确定哪个相关性是最有意义的。而在科学研究和 智能决策的过程中， 一个可确定的因果关系比多个不可确定的相关性关系更重要和有意义。如果说抽样和行政统计（小数据）是点杀步枪，大数据则是扫射的机关枪。明智的指挥员知道 武器的性能和特点并能实行有效的火力配置去赢得战斗的胜利。

数据分析师