警惕“大数据傲慢”(1)_数据分析师考试

我们每天听到“数据”一词的频率突然高起来，如“大数据”、“数据经济”和“政府数据公开”等，“数据”与现代社会、与大家的日常生活越来越息息相关。

　　从“数字”、“数值”到“数据”

　　没有计算机和信息技术的年代里，“数据”更多的是“数字”或“数值”，至多也就是用于统计的“数字”或“数值”。计算机问世初期，信息技术有了“数值计算”和“数据处理”的差别，只不过，“数值”通常指连续变化的物理量；而“数据处理”处理的是离散的一组组“数字”而已，“数据”仍然停留在统计应用的水平。

　　随着计算机和信息技术的普及和发展，互联网的普及特别是移动互联网的普及，“数据”有了更多的内涵和更广外延，“数据”不再限于“数字”或“数值”，只要是计算机可以处理，“数据”可以是文本、语音、图形、图片、视频和更多其他的形式。“金融数据”包括但不限于银行交易、证券交易、外汇牌价和交易、信贷、资信、金融趋势等。“医疗数据”包括但不限于病人症状、检查结论、诊断、用药、流行病、专家就诊时间、医疗资源分布等。“教育数据”包括但不限于适龄学生数、课程计划、成绩、教育质量、升学、就业等等。各种数据，林林总总，不一而足。

　　曾记得，“数字化”风靡一时。科学家香农在上个世纪40年代就提出了采样定理，即对一个连续函数，按给定间隔提取其值，就可以用一组离散的数字序列代表这个连续函数，这就是数字化的重要基础。“数字化”的另一个意思是“数字化标示”，用一串数字来标示一个客体。“数字化”目标是数字计算机可以处理模拟信号，也可以纪录处理各种客体的“数字化标示”，我们不能不说这是一场技术革命，只不过这个革命是一种工具（计算机）或过程（计算机处理）的革命。“数据”就不同了，“数据”是现在信息社会的一个新生儿，它像石油和矿石，是一种新的原材料，可以用来加工、产生价值；它像农具和机器，是一种新的生产资料，可以提高生产的效率；它像高速路和机场，是一种新的基础设施，投资和利用它可以改善经济和民生。

　　有创新企业的生产原材料就是“数据”，他们对这样的原材料加工，生产去形形色色的“数据产品”，获得受益，比如：加工过的病案数据对于医药企业，加工过的点评数据对于餐饮企业，加工过的人口流动数据对于规划部门。有些企业很好的利用了“数据”这种生产资料，通过收集分析用户习惯“数据”，可以设计生产出更有人缘的产品，比如：世界知名的互联网公司和手机公司都不断在收集分析用户使用习惯的“数据”，进而改进自己的产品，搜索服务提供商不停收集用户的搜索关键词，借以分析各种有价值的趋势。也有不少地方开始关注对于“数据”基础设施的投入，提高本地区的竞争力，

　　有企业家说，鼠标嫁给水泥，诞生的宝宝叫数据经济。

　　“大数据”并不仅仅是因为“数据”量大

　　“大数据”极大的提升了“数据”一词的使用频率。多大是“大”？

　　其实历史上“海量数据”被用过很长时间，“海量数据”也是在说“数据”的规模，“大数据”也包含“数据”的规模，不同的是：“大数据”不仅关乎规模，同时还涉及数据的多样性和复杂性，最关键的是用传统的理论和方法都无法高效处理。

　　曾几何时，人民熟知的数据大小的单位，从位、K（千、10的3次方）、M（百万、10的6次方）、G（十亿、10的9次方）、到了T（兆、10的12次方）、P（千兆、10的15次方）、甚至E（百京、10的18次方）。《经济学人》期刊2010年2月出版的专辑“The data deluge（数据洪流）”中提到数据大小的单位E时，不少专业人士也得上网查查，E到底是多大？

　　“大数据”与“数据”或“传统数据”有规模上的不同，同时在收集方式上，特别是分析方法上有着根本的差别。搜索服务提供商不停收集用户搜索关键字，用于分析各种趋势；社交网络不停收集聊天主体，分析其中关键字和语义，判断社会大众心情；电商则通过售买数据解读热销产品，这些和“传统数据”或“小数据”的收集方式有明显的差异。“传统数据”的分析方法主要是统计和数据挖掘。“大数据”的加工与“传统数据完全不同”：高度并发的数据采集、数据全集（而非抽样）的处理、数据清洗等预处理，非结构化数据的处理、语义分析、深度学习。正是由于采用了各种新的数据处理方法，“数据”才能成为“大数据”，“数据”才有价值，“数据”才能成为原材料、生产资料、基础设施。