大数据时代的技术与隐私_数据分析师培训

“大数据”是当今最热的概念之一，有人把大数据形容为未来世界的石油，有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界，美国政府甚至已经把对大数据的研究上升为国家战略。喧哗的背后，实际上，随着信息与通讯技术的发展，“大数据”正进入与我们息息相关的每一个角落。近日，记者参加中国科协主办的第36期科学家与媒体面对面活动，采访相关专家，请他们畅谈了大数据时代的技术特色与隐私保护。

大数据是什么

故事一：无法完成的任务

大数据是一个时髦的新词，也是一个古老的现象。因为，对某个时代来说，超出当时社会信息处理能力的数据，就可以说是大数据。

以人类遇到的第一个大数据人口普查为例。中国在公元2年就有史书记载的人口普查数据（《汉书 地理志》）：全国103个郡国，人口是59594978人。对当时的古代中国来说，近六千万人口的普查无疑就是一个难以处理的大数据。美国宪法曾规定，美国人口普查十年一次。1880年开始，美国人花8年完成了一次人口普查，并预计1890年做下一次人口普查大概需要13年时间。也就是说，人口普查成为当时一项无法完成的任务。不过，危机常常带来新的技术革命。有人发明了穿孔卡片制表机，使得这个任务仅用一年时间就可以完成。穿孔卡片制表机就是今天计算机的前身。

“大数据不是今天就出现的，你对付不了的就是大数据。”工业和信息化部电信研究院互联网中心主任何宝宏说：“今天所说的大数据革命也是2008年之后，这5年来信息发生了翻天覆地的变化。大数据让物质世界变得可计算，这是整个人类的目标。”

无法完成的任务，带来的是前所未有的技术突破。如今，移动互联网、物联网、基因测序等采集数据的工具越来越多样化，使我们对物质世界的描述越来越精确，拥有的数据量越来越大；云计算等处理数据的工具越来越经济，又使得大数据的应用走入百姓身边，对我们的生产和生活方式产生深远的影响。

目前大数据最成熟的应用是互联网广告营销。近一年中，老百姓在搜索或者浏览网页时会发现，网上推出的广告越来越精确。这是因为互联网广告已经进入到完全自动、实时竞价的状态，通过对个人上网行为的分析，推导出这个人的性格特征和可能需要，并有针对性地投放广告。广告请求、竞价邀请、受众筛选、申请出价、中标投放的全过程，仅需120毫秒也就是0.12秒即可完成，而在传统媒体完成这样的工作，很可能需要几个月的时间。

互联网金融也是近一年的大热点，根基就是由于大数据技术的成熟。互联网金融在面对中小企业的贷款业务中，拥有独特的优势。据一份对中国互联网金融的调查报告显示，互联网金融对小微企业贷款时，不良贷款率仅为1.02%，单笔放款成本为2.3元；而传统银行对小微企业的贷款不良率为5.5%至6%，单笔成本达800元至2000元。这种低成本、低坏账率、全时服务（机器可以全天候开启）的金融服务，使广大中小企业变成了互联网金融的客户，可以解决小微企业贷款难的问题——这其实也是一个过去无法完成的任务。

大数据怎么用

故事二：不懂外语的翻译

百度公司发展研究中心副主任率鹏给记者讲了一个有趣的故事。“百度翻译”这个工具，目前已经提供了24种语言的自动翻译服务，翻译质量在行业中领先。“但这24种语言中有12种语言，整个百度翻译的团队没有人能懂。”率鹏说，“大数据的技术使我们完全在不了解、不懂得、不能够理解这种语言的情况下，仅仅靠技术本身就开发出一个非常好的翻译工具，这在以往的时代是难以想象的。”

不懂外语的外语翻译，这个听起来很天方夜谭的故事，其实精准反映了如今大数据技术的一大特点——不需要知道为什么，只需要知道是什么。

这个技术特点，是由如今大数据本身的特点决定的。中国通信学会副理事长兼秘书长张新生表示，大数据有四大特点：一是海量，大到“以目前的技术无法管理的数据量”；二是多样，数据种类复杂，非结构数据占到所存储数据总量的75%—95%，这些非结构数据无法以现在的技术手段与关系分析的数据库来处理；三是速度，数据产生的频率和传送频率非常快，需要进行实时处理；四是价值密度低，需从大量的低质量、低价值的数据中获取知识，犹如大海捞针，获取数据成本很高。

事实上，大数据还将越来越大。在过去两年中，全球产生的信息占到人类整体掌握信息总量的90%，现在每天全球产生的数据相当于国家图书馆馆藏总量的1500倍。而互联网数据中心IDC预测，到2020年全世界将有300亿个物联网终端。中国在这一市场上将占据至关重要地位，届时中国普通家庭将拥有40个到50个智能设备或传感器，每年创造出20TB的数据。而中国国家图书馆藏书是2631万册，信息量相当于41TB。也就是说，届时一个普通中国家庭每年产生的数据，就相当于半个国家图书馆。

我们如何才能不被大数据所淹没？

“大数据的核心重点在于深度挖掘，通过挖掘产生新的应用。”张新生表示，大数据的处理技术是一个工具，它有几个新特色：不再是小样本、随机样本，而要全体数据；接收数据有混杂性，不再追求精确性；关注事物之间的相关性，可以只知道是什么，不知道为什么；对所获数据可多次、反复利用，并可扩展，具有互用性，也就是未来可能知道为什么。

大数据产业也在变得越来越大。大数据的采集和传感、物联网领域有很大关联性；大数据的处理，又和云计算等产业相关；大数据的应用和医疗、金融等各个行业相关。未来将有越来越多企业发展成大数据企业。

“大数据应该是我们的战略性新兴产业中新一代信息技术重要的产业部分，和互联网产业、物联网产业、电信产业都有很大关联性。”中国联通网络技术研究院首席专家唐雄燕表示：“大数据本身和很多产业相关，现在可能已经有几千亿元的产业规模，将来会无处不在。大数据的从业者，未来也将不止是高科技人员，也会有很多蓝领。大数据是一个材料，和石油、矿藏一样，需要有采集数据的人员，需要有探矿的人员，各种各样的人都需要。”文章来源：CDA数据分析师官网