京公网安备 11010802034615号
经营许可证编号:京B2-20210330
“大数据”的便利与“暴政”_数据分析师
对于大多数人来说,“大数据”还是一个陌生的术语,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……
牛津大学教授维克多·梅耶-舍恩伯格在其新书《大数据》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。
1 商业:
提供“精准预测”
在一些公司、实验室和政府机构,“数据”被捧为21世纪新型“石油”或“黄金”。一些统计学家、物理学家和所谓的数据科学家从中获利丰厚,他们服务于大数据应用程序开发公司,“蓝色彼岸”便是其中之一。
“蓝色彼岸”成立于5年前,目前有85名员工。经理尤韦·魏斯介绍,公司利用自行开发的软件,分析超市刷卡记录、天气资讯、学校放假信息和交通报告等数据,为客户提供“精准预测”。他们的客户包括德国邮购业泰斗奥托集团和dm连锁药店。
魏斯说,“蓝色彼岸”的软件不仅能从单条信息中分析出更多内容,而且能发现信息间关联,对零售业极为有用,可以避免发货出错,最大限度降低库存成本。
例如,“蓝色彼岸”发现,某些日子里,一家超市连锁店的牛奶、巧克力棒和苹果的销量大幅上升,而这一时间恰好与附近一家青年旅社里一群学生的到来相吻合。于是,公司搜集邻近各州学校放假安排等资讯,利用软件计算出某一特定时间可能到来的学生人数。
再如,“蓝色彼岸”发现,如果遇到周三为节假日,其前后几天小孩不用上学,因此对面包片的需求量减少,“蓝色彼岸”的存货预订系统会自动做出相应调节。
此外,“蓝色彼岸”帮助dm连锁药店计算最合理的员工人数,并为每家分店提供销售预测报告。
奥托集团说,自从使用“蓝色彼岸”的软件,销售预测准确度提高20%到40%。它准备把该软件应用推广到公司运动品牌零售商SportScheck,并收购“蓝色彼岸”50%股权。
“大数据正在重塑整个经济,我们只是处于起步阶段,”魏斯说。
2医疗:
开启个性化治疗
位于柏林巴伯尔斯贝格地区的哈索·普拉特纳研究所(HPI)可能成为数以百万计癌症患者的希望。研究所二楼的计算机房常年保持低温,以免价值150万欧元的处理器过热。普通计算机只有1个处理器,但那里的每台计算机有40个处理器,运算速度是传统计算机的1000倍,甚至更快。
普拉特纳是全球最大的企业管理和系统化商务解决方案供应商“思爱普”(SAP)创始人,也是HPI赞助人。他介绍说,HPI的汉娜数据库技术始于一个名叫“Sanssouci DB”项目,由8个大学生创立,曾获得创新大奖,如今已成为“内存储处理”的代名词。
HPI负责人、数学家克里斯托弗·迈内尔认为,该技术不仅有广泛的商业前景,而且为癌症治疗提供机遇,“我们正站在个性化医疗的门槛上”。
迈内尔说,每一种肿瘤都不尽相同,这意味着同样的治疗方法对不同人会产生不同效果。目前,为了给患者制定有针对性的治疗方案,需花费数月破译其基因组。这并不奇怪,因为每个人有大约30亿个DNA“积木”。但在HPI“超级大脑”的帮助下,破译基因组只需要短短数秒。
此外,HPI的电脑可以从公共基因库中精选所有信息,为每一个患者寻找到最合适他症状的治疗方案。“目前,这种搜索配对过程还需花费数月时间,”迈内尔说。
曼彻斯特大学研究人员正在从事另一个“大数据”项目——帮助独居老人的“神奇地毯”。它看上去与普通地毯没有什么区别,但装有内置感应器记录老人的行动规律。如果有违正常规律,则意味着可能发生意外,“神奇地毯”会发出警报。
科学家们还做了相关衍生实验,比如在假肢上安装芯片和感应器,以达到预警效果。
3安全:
助力抓贼反恐斗黑客
在美国加州圣克鲁斯市一个地下车库,一名小偷正在撬车,却被几米开外正在一辆车里吃午餐的警察逮了个正着。这名警察并非“碰巧”出现在那里,而是根据一个计算机软件的推荐在此守株待兔。
过去两年里,这座城市的警察换班时,都会根据长官和软件发出的指示外出巡逻。该软件输入了警方所有数据,不断更新,用于计算何时何地可能发生夜盗、抢劫、偷车等犯罪行为,其中三分之二确实发生了。
这一软件由计算机专家乔治·莫勒和从事犯罪学研究的人类学家杰弗里·布兰廷汉姆联合编写,参照了预测地震余震的程序模式。圣克鲁斯警察局副局长史蒂夫·克拉克于2011年偶然得知这一创意,三人共同开展了一个测试项目。他们把圣克鲁斯市8年来的犯罪记录输入程序,再加上其他潜在相关数据,比如天气状况、公园资讯和公交线路等。
“起初,很多人持怀疑态度,包括我自己,”克拉克说,“但数据本身证明其确实有效。”据他介绍,使用犯罪预测系统一年后,夜盗案件减少11%,盗车案件减少8%,破案率大幅提升56%。
目前,圣克鲁斯整个警界都在使用犯罪预测系统,所有警察外出巡逻时都配备智能手机和接入预测系统的平板电脑。只要有机会,他们就会进入标识出的案发高概率区域,制止可能的犯罪行为。
莫勒和布兰廷汉姆后来成立公司,将“预警巡逻”软件推向全球,仅美国就有十几个城市的警察局是其用户,包括洛杉矶、波士顿和芝加哥。近日,克拉克前往英国肯特,指导当地警察局使用这一软件。
除警察局外,军队和情报机构也非常重视数据分析。比如,在搜寻本·拉丹的过程中,“大数据”就发挥了重要作用,正是数据库分析让调查人员把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情报界和军方炙手可热的软件供应商,总部设在旧金山一家旧香肠工厂里。不久前,在科技记者评出的全球最具创意的公司中,Splunk名列第5,而谷歌仅列第11位。
“空客A380的涡轮机在单次飞行中提供的数据相当于一个中等规模的计算机中枢,”Splunk产品部高级副总裁圭多·施罗德说。分析涡轮机提供的数据有助于最大程度降低燃油消耗,优化维修间隔期。
“安全领域是‘大数据’应用增长最快的领域之一,”施罗德说。除对付犯罪和恐怖主义外,Splunk的软件还能查明黑客攻击等网络犯罪。
4
个性化服务是“大数据”应用程序魅力所在。比如,如果有人在“脸谱”上表示“喜欢”某款牛仔裤,当他下次进入该店铺时,就可能收到店主给他发送的同品牌牛仔裤的打折信息。看起来,这对零售商和消费者都有好处,但主张保护数据隐私的人却认为,“大数据”理念其实与“专制独裁”没有区别。
为消除人们顾虑,许多公司强调他们收集、储存、分析数据都是“匿名”,但事实上可能并非如此。在线期刊《科学报道》近期一项研究显示,每个人有自己的行动模式,95%的人可能被识别。普林斯顿计算机科学家阿尔温德·纳拉亚南在其博客上说,可供分析的数据越多,就越不可能保持“匿名”,识别一个人只要33个字节的信息量。
纽约广告商奥美的调查显示,75%受访者表示不希望企业存储个人数据,90%反对企业追踪自己的上网记录。
在现代社会,一个更加迫切的问题是:人们是否真的愿意接受一个“数字驱动经济”的世界?在这个世界里,数据分析能预测你的孩子在学校表现如何,他将来适合怎样的工作,谁有多大几率犯罪或得癌症,电视台和唱片公司能根据预测迎合观众或听众的口味……但在这个一切都计算好的世界里,创意、灵感和惊喜在哪里?
互联网哲学家叶夫根尼·莫罗佐夫对许多“大数据”应用程序背后的意识形态提出尖锐批评,警告即将发生“数据暴政”。他提出,那些“大数据”应用程序应当接受独立审计人定期审查,以防权力滥用。
“大数据”行业巨头谷歌的一次不经意行为,显示了人们对“数据暴政”的警惕。谷歌董事长埃里克·施密特说,公司在2010年曾闪过这样一个玩笑想法:通过数据分析预测股票价格,但后来放弃了,因为公司高管认为,这可能不合法。
但他没有说,这是不可能的。 ·唐昀·
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在机器学习建模、数据预处理、抽样划分、模型初始化训练的全流程中,随机种子是控制实验随机性、保证结果可复现、提升模型稳定性 ...
2026-08-04Python作为面向对象的主流编程语言,核心编程体系由变量、方法、类三大基础要素构成。三者层层递进、相互协作,支撑起所有基础代 ...
2026-08-04 很多数据分析师沉迷于复杂的机器学习算法,却忽略了数据分析最基础也最核心的能力——描述性统计。事实上,80%的商业分析问 ...
2026-08-04为什么学习数据分析? 当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运 ...
2026-08-03CDA等级认证证书有效期为三年,三年进行一次年审,主要考察CDA持证人的职业发展情况;学历、工作单位及职业变更情况;继续教育 ...
2026-08-03【核心关键词】金融、岗位、企业、算法、知识、专业、理论、课程、软件、数据分析、业务类型、应用场景、经营管理、大型企业、 ...
2026-08-03在日常数据分析、业务报表复盘、业绩预测工作中,平均增长率是衡量数据长期变化趋势的核心指标,广泛用于营收增长、用户增长、销 ...
2026-08-03很多人把统计学理解为“一堆公式和计算”,却忽略了它的本质——一门让数据“开口说话”的科学。真正的数据分析高手,不是会算平 ...
2026-08-03在数据指标体系搭建工作中,从业者常困惑于指标搭建的核心逻辑:究竟是依托一线零散数据自下而上汇总指标,还是基于战略目标自上 ...
2026-07-31在数据分析、问卷研究、实验复盘、业务建模的工作中,大多数人最关注的是“用什么统计方法”:是做T检验、方差分析、卡方检验, ...
2026-07-31 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-07-31在问卷调研的数据分析流程中,“先检验信效度,再开展进阶统计分析”是通用的规范逻辑。很多从业者会听到“问卷效度高,后续可以 ...
2026-07-30【核心关键词】大数据、统计学、专业、毕业生、论文、课程、计算机、建模、知识、数据分析、机器学习、数据科学、大数据技术、 ...
2026-07-30 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-07-30在业务数据分析中,按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常 ...
2026-07-29在机器学习建模与特征工程实践中,判断不同特征对模型预测效果的贡献度,是特征筛选、模型解释、业务归因的核心环节。特征置换重 ...
2026-07-29 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-07-29【核心关键词】岗位、数字化、经验、课程、方法论、决策、企业、大方向、数据分析、销售管理、理论知识、思维方式、分析销售、 ...
2026-07-28在问卷调研、用户分群、效果对比等业务数据分析中,分类变量的关联性与差异性验证是高频需求。卡方检验作为针对离散分类数据的经 ...
2026-07-28 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-07-28