京公网安备 11010802034615号
经营许可证编号:京B2-20210330
“大数据”的便利与“暴政”_数据分析师
对于大多数人来说,“大数据”还是一个陌生的术语,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……
牛津大学教授维克多·梅耶-舍恩伯格在其新书《大数据》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。
1 商业:
提供“精准预测”
在一些公司、实验室和政府机构,“数据”被捧为21世纪新型“石油”或“黄金”。一些统计学家、物理学家和所谓的数据科学家从中获利丰厚,他们服务于大数据应用程序开发公司,“蓝色彼岸”便是其中之一。
“蓝色彼岸”成立于5年前,目前有85名员工。经理尤韦·魏斯介绍,公司利用自行开发的软件,分析超市刷卡记录、天气资讯、学校放假信息和交通报告等数据,为客户提供“精准预测”。他们的客户包括德国邮购业泰斗奥托集团和dm连锁药店。
魏斯说,“蓝色彼岸”的软件不仅能从单条信息中分析出更多内容,而且能发现信息间关联,对零售业极为有用,可以避免发货出错,最大限度降低库存成本。
例如,“蓝色彼岸”发现,某些日子里,一家超市连锁店的牛奶、巧克力棒和苹果的销量大幅上升,而这一时间恰好与附近一家青年旅社里一群学生的到来相吻合。于是,公司搜集邻近各州学校放假安排等资讯,利用软件计算出某一特定时间可能到来的学生人数。
再如,“蓝色彼岸”发现,如果遇到周三为节假日,其前后几天小孩不用上学,因此对面包片的需求量减少,“蓝色彼岸”的存货预订系统会自动做出相应调节。
此外,“蓝色彼岸”帮助dm连锁药店计算最合理的员工人数,并为每家分店提供销售预测报告。
奥托集团说,自从使用“蓝色彼岸”的软件,销售预测准确度提高20%到40%。它准备把该软件应用推广到公司运动品牌零售商SportScheck,并收购“蓝色彼岸”50%股权。
“大数据正在重塑整个经济,我们只是处于起步阶段,”魏斯说。
2医疗:
开启个性化治疗
位于柏林巴伯尔斯贝格地区的哈索·普拉特纳研究所(HPI)可能成为数以百万计癌症患者的希望。研究所二楼的计算机房常年保持低温,以免价值150万欧元的处理器过热。普通计算机只有1个处理器,但那里的每台计算机有40个处理器,运算速度是传统计算机的1000倍,甚至更快。
普拉特纳是全球最大的企业管理和系统化商务解决方案供应商“思爱普”(SAP)创始人,也是HPI赞助人。他介绍说,HPI的汉娜数据库技术始于一个名叫“Sanssouci DB”项目,由8个大学生创立,曾获得创新大奖,如今已成为“内存储处理”的代名词。
HPI负责人、数学家克里斯托弗·迈内尔认为,该技术不仅有广泛的商业前景,而且为癌症治疗提供机遇,“我们正站在个性化医疗的门槛上”。
迈内尔说,每一种肿瘤都不尽相同,这意味着同样的治疗方法对不同人会产生不同效果。目前,为了给患者制定有针对性的治疗方案,需花费数月破译其基因组。这并不奇怪,因为每个人有大约30亿个DNA“积木”。但在HPI“超级大脑”的帮助下,破译基因组只需要短短数秒。
此外,HPI的电脑可以从公共基因库中精选所有信息,为每一个患者寻找到最合适他症状的治疗方案。“目前,这种搜索配对过程还需花费数月时间,”迈内尔说。
曼彻斯特大学研究人员正在从事另一个“大数据”项目——帮助独居老人的“神奇地毯”。它看上去与普通地毯没有什么区别,但装有内置感应器记录老人的行动规律。如果有违正常规律,则意味着可能发生意外,“神奇地毯”会发出警报。
科学家们还做了相关衍生实验,比如在假肢上安装芯片和感应器,以达到预警效果。
3安全:
助力抓贼反恐斗黑客
在美国加州圣克鲁斯市一个地下车库,一名小偷正在撬车,却被几米开外正在一辆车里吃午餐的警察逮了个正着。这名警察并非“碰巧”出现在那里,而是根据一个计算机软件的推荐在此守株待兔。
过去两年里,这座城市的警察换班时,都会根据长官和软件发出的指示外出巡逻。该软件输入了警方所有数据,不断更新,用于计算何时何地可能发生夜盗、抢劫、偷车等犯罪行为,其中三分之二确实发生了。
这一软件由计算机专家乔治·莫勒和从事犯罪学研究的人类学家杰弗里·布兰廷汉姆联合编写,参照了预测地震余震的程序模式。圣克鲁斯警察局副局长史蒂夫·克拉克于2011年偶然得知这一创意,三人共同开展了一个测试项目。他们把圣克鲁斯市8年来的犯罪记录输入程序,再加上其他潜在相关数据,比如天气状况、公园资讯和公交线路等。
“起初,很多人持怀疑态度,包括我自己,”克拉克说,“但数据本身证明其确实有效。”据他介绍,使用犯罪预测系统一年后,夜盗案件减少11%,盗车案件减少8%,破案率大幅提升56%。
目前,圣克鲁斯整个警界都在使用犯罪预测系统,所有警察外出巡逻时都配备智能手机和接入预测系统的平板电脑。只要有机会,他们就会进入标识出的案发高概率区域,制止可能的犯罪行为。
莫勒和布兰廷汉姆后来成立公司,将“预警巡逻”软件推向全球,仅美国就有十几个城市的警察局是其用户,包括洛杉矶、波士顿和芝加哥。近日,克拉克前往英国肯特,指导当地警察局使用这一软件。
除警察局外,军队和情报机构也非常重视数据分析。比如,在搜寻本·拉丹的过程中,“大数据”就发挥了重要作用,正是数据库分析让调查人员把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情报界和军方炙手可热的软件供应商,总部设在旧金山一家旧香肠工厂里。不久前,在科技记者评出的全球最具创意的公司中,Splunk名列第5,而谷歌仅列第11位。
“空客A380的涡轮机在单次飞行中提供的数据相当于一个中等规模的计算机中枢,”Splunk产品部高级副总裁圭多·施罗德说。分析涡轮机提供的数据有助于最大程度降低燃油消耗,优化维修间隔期。
“安全领域是‘大数据’应用增长最快的领域之一,”施罗德说。除对付犯罪和恐怖主义外,Splunk的软件还能查明黑客攻击等网络犯罪。
4
个性化服务是“大数据”应用程序魅力所在。比如,如果有人在“脸谱”上表示“喜欢”某款牛仔裤,当他下次进入该店铺时,就可能收到店主给他发送的同品牌牛仔裤的打折信息。看起来,这对零售商和消费者都有好处,但主张保护数据隐私的人却认为,“大数据”理念其实与“专制独裁”没有区别。
为消除人们顾虑,许多公司强调他们收集、储存、分析数据都是“匿名”,但事实上可能并非如此。在线期刊《科学报道》近期一项研究显示,每个人有自己的行动模式,95%的人可能被识别。普林斯顿计算机科学家阿尔温德·纳拉亚南在其博客上说,可供分析的数据越多,就越不可能保持“匿名”,识别一个人只要33个字节的信息量。
纽约广告商奥美的调查显示,75%受访者表示不希望企业存储个人数据,90%反对企业追踪自己的上网记录。
在现代社会,一个更加迫切的问题是:人们是否真的愿意接受一个“数字驱动经济”的世界?在这个世界里,数据分析能预测你的孩子在学校表现如何,他将来适合怎样的工作,谁有多大几率犯罪或得癌症,电视台和唱片公司能根据预测迎合观众或听众的口味……但在这个一切都计算好的世界里,创意、灵感和惊喜在哪里?
互联网哲学家叶夫根尼·莫罗佐夫对许多“大数据”应用程序背后的意识形态提出尖锐批评,警告即将发生“数据暴政”。他提出,那些“大数据”应用程序应当接受独立审计人定期审查,以防权力滥用。
“大数据”行业巨头谷歌的一次不经意行为,显示了人们对“数据暴政”的警惕。谷歌董事长埃里克·施密特说,公司在2010年曾闪过这样一个玩笑想法:通过数据分析预测股票价格,但后来放弃了,因为公司高管认为,这可能不合法。
但他没有说,这是不可能的。 ·唐昀·
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题,以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A,覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中,柱形图因直观展示数据差异的优势被广泛使用,而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中,我们常需要判断“两组数据的差异是真实存在,还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11在CDA(Certified Data Analyst)数据分析师的工作体系中,数据库就像“数据仓库的核心骨架”——所有业务数据的存储、组织与提 ...
2025-12-11在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01