生活步入“数据化”时代 大数据中“商机无限”_数据分析师考试

不少人都曾有过这种经历刚打开微博，网页就给你推荐了一些“你可能认识的人”，而这些人里面，还真有不少你失去联系多年的朋友、同学；打开购物网站，在网页上显示的推荐购物清单里头，你真的发现了一些自己正打算购买的物品；打开新闻网站，系统推荐的新闻正中你的胃口。

 其实，这些都有赖于“大数据技术”，这些网站通过分析你的浏览搜索习惯等众多数据，分析出你的喜好、社交圈甚至是生活习惯…… 喜 从大数据中赢得决断 成功预测总统大选结果 去年美国总统大选时，数据专家纳特•席尔瓦（Nate Silver）以大数据为基础，成功预测了几乎每个州的大选选情和最后的胜出者。当时奥巴马和罗姆尼选情普遍认为很接近，评论员们都无法预计哪方会获胜，席尔瓦以主要民调机构在各州不断更新的访查结果为基础，计算出“真实”情况，指出二者并非处于旗鼓相当的局面。在投票当天他成功预测奥巴马将有90.9%的机会获得大多数选票，最后他对美国50个州投票结果的预测全对了。 

事实上，2008年美国总统大选时，席尔瓦也预测对了最终结果，美国50个州的投票结果他预测对了49个。 预测罪案发生的时间地点 许多公共服务部门，尤其是警察局和安保机构，也开始享用大数据带来的好处。一些城市已经运用大数据推算出了某些街区发生罪案的几率。美国加利福尼亚州圣克鲁兹市就是其中之一。 

大数据算法可以计算出某时某地罪案（入室行窃、抢劫、偷车，但不包括杀人案）发生的几率，在过去两年中，该市的大约100名巡警在巡逻时会有针对性地出巡，他们携带的电子卡上会显示出附近最有可能发生罪案的15处地点。而在三分之二的情况下，大数据算法预测的罪案都确实发生了。根据该市警察局局长克拉克的介绍，引入这个大数据算法后，该市的入室行窃案件减少了11%，偷车案减少了8%，相应的，逮捕罪犯的成功率则提高了56%。 现在，美国已经有超过10市的警察局引入了这个大数据算法，其中包括洛杉矶、波士顿和芝加哥。 相亲、治病也靠它 除了为企业创造利润，大数据还能为人类社会带来别的好处。

 对于许多人来说，他们生活中最私密的方面也已经开始依赖于这种机械算法的预测能力了。例如，许多在线相亲机构都会要求你填写一份非常详细的问卷，然后根据大数据算法来提高你找到另一半的几率。 本月初，英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立。据介绍，这个研究中心通过搜集、存储和分析大量医疗信息，确定新药物的研发方向，从而减少药物开发成本，同时为发现新的治疗手段提供线索。 英国曼彻斯特大学的研究者们正在进行针对独居老人的“魔毯”计划。“魔毯”看起来就像一张普通的地毯，但是装满了用来记录老人脚步的传感器，这些数据会被上传，计算机可以将之与老人健康时的脚步相比较，然后分辨出老人是否出现需要就医的紧急情况，若是，则会自动触发警报。

 入 “大数据”无处不在 谷歌公司在2009年比美国国家疾控中心更早知道甲型H1N1流感的暴发时间、地域；苹果之父乔布斯是全球第一个拥有自身整个基因密码的人；美国Target百货公司在完全不和顾客沟通的情况下比少女的父亲更早知道女儿怀孕的信息。 这些也仅仅是大数据时代的冰山一角，大数据的作用不仅限于此。无论企业还是政府，都已经意识到将巨量的数据进行计算分析并进行下一步的推测非常有用。 但是，大数据带来的不仅是各种便利及机会，同样也会让我们时刻都暴露在“第三只眼”之下，个人隐私受到了前所未有的威胁。 说到大数据，必须先了解之前的“小数据”时代。鉴于工具及方法的局限，很难做到大规模的数据采集并进行分析，而且成本颇高、时效性差。

为解决问题，统计学家们发挥出作用，提出以随机采样的方式来替代全数据采集，不过其成功取决于样本选择的随机性，但实际上非常难以实现，一旦采样过程存在任何偏见，分析结果就会相去甚远。来到大数据时代，由于有了足够的数据处理和存储能力，加上最先进的分析技术，就能做到放弃样本分析这条捷径，选择收集全面而完整的数据，即采取全数据模式“样本＝总体”。 大数据的特点就是“大”，而且随着时间的推移，数据的容量将会越来越大。

2012年一年，我们创造了2.8泽字节（泽）的数据。1个泽字节为1,000,000,000,000,000,000千字节。专家预测说，到2020年，每年新创的数据容量将会达到40泽字节。如果要用DVD光盘储存一天在互联网里传送的数据的话，大约需要2.5亿张光盘这个数量每两年就会翻番。 热大数据创造大价值 现在，企业、政府机构和科学家们都开始分析手头的数据资源。储存空间对于现代人来说不是问题，电脑也越来越先进，可以在短时间内分析出一大堆不同数据的内在联系。 

大数据本身对普通人的作用其实不大，但大数据算法和应用程序现在却几乎无处不在。例如，通过算法对大数据进行分析，信用卡公司能够很快地发现用卡异常情况，当信用卡在持卡人从未出现过的地方被刷时，系统会自动向持卡人发出警报；能源公司可以通过天气数据分析，精确地查找到使用风力涡轮发电机的理想地点；电商也开始通过数据分析优化营销策略，最常见的就是网页上的“购买了这件商品的顾客还买了……”

 大数据创造价值是基于这样一个核心逻辑，即当今社会在商业、经济、政府及相关领域中，决策行为越来越取决于数据和分析，而不再是经验和直觉。大数据技术可以为决策提供一定的“预见参考”，而成功的分析和预见往往能带来商业和经济价值。 谷歌和脸谱网站目前的商业模式就是建立在搜集、分析和营销其客户制造出来的各类数据之上的，通过向用户推送为其量身定做的广告来实现。对于脸谱公司的投资者来说，“脸谱”掌握着超过10亿个人的资料数据，其商业价值至少达到1000万美元。从超市到汽车公司，从航空公司到银行和保险公司，将手头的巨量数据转化成盈利的前景让各行各业都开始心动。德国最大的IT产业协会BITKOM发表数据称，2012年全球与大数据应用相关的销售额达到了46亿欧元，到2016年这个数字会上升到160亿欧元。 

说到商业应用，大数据技术创造价值的能力已经在英国崭露头角。一份行业报告显示，英国政府通过高效使用公共大数据技术每年可节省约330亿英镑，相当于英国每人每年节省约500英镑。 一些政府机构也开始利用大数据来改进工作。在瑞典首都斯德哥尔摩，有关部门使用数据算法管理交通后，驾车通过该市中心城区的时间缩短了一半，尾气排放也下降了10%。 虽然经济不景气，财政被迫收紧，但大数据依然是英国政府舍得为之一掷千金的“宠儿”。今年年初，英国商业、创新和技能部宣布，将注资6亿英镑(1英镑约合1.52美元)发展8类高新技术，大数据独揽其中的1.89亿英镑。 在医药和科学界，与大数据有关的应用也相继试水。 忧 生活在“第三只眼”下 大数据带来的不仅是各种便利及机会，同样也会让我们时刻都暴露在“第三只眼”之下。 

生活处处被窥视 亚马逊网站监视我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博窃取着我们的社交关系网。在各种机构搜集数据的同时，普通人的各种私人信息也会成为被收集的数据。在哪里使用了购物卡、租用汽车等等，这些信息都会被收集起来。 这些私人信息被收集起来后会供给谁使用？会继续保持匿名，还是在使用后被删除？曾经有公司宣布要通过“脸谱”、推特和其他社交网站收集的信息分析个人的贷款信誉，结果引发了民众的抗议，这个计划最终被取消。

 在荷兰，许多使用“TomTom”牌导航仪的司机发现，生产商将导航仪记录下来的数据信息打包卖给了荷兰政府，警察根据数据显示的司机驾驶习惯，在那些最可能“创收”的地方设置了限速“陷阱”，不少司机都因此“中招”。此事被曝光后，TomTom公司的CEO公开道歉。 可能遭遇数据“轰炸” 当大数据应用软件细化和明确到每个人的数据时，企业就可以针对每个人的喜好来进行非常具体的营销。例如，如果某人在社交网站上表示自己喜欢某个品牌某个款式的牛仔裤，那么百货商店就可以在此人下一次进入该品牌专柜时向他的手机发送该款式的优惠券。也许零售商和部分消费者会喜欢这种促销模式，但是其中涉及的隐私泄露也是非常可怕的。

 迄今为止，许多公司都会标明收集的信息是“匿名”的，但信息越多，被对号入座的可能性就越大。已经有研究显示，这些收集到的移动样本是如此的不同，以致它们可以被用来“独特地标识出95%的个体”。 美国普林斯顿大学的计算机科学家纳拉亚南表示，只需要33比特（二进位制信息单位）的信息，就足以辨识出一个人的身份。 在大数据的采集和分析中，还会存在着各种偏差，哈佛商业评论博客作者凯特•克劳福德最近发表的一篇博文阐述了大数据的隐形偏差。他表示，数据和数据集本身并不是客观的，而是由人们设计的，是人们用数据来说话，从数据进行推断以及解释数据。因此在数据采集和数据分析阶段，都不可避免地存在偏差。