
三个应用案例—大数据挖掘潜在的威胁
大数据、大城市。世界已有不少大都会运用数据分析与算法建立智能城市,改善交通、例如日本东京就把每辆车子都变成精准的「行动数据」,缓解交通堵塞甚至降低死亡车祸的数量。在欧美,从纽约、旧金山、芝加哥到伦敦、阿姆斯特丹,各种藉由搜集大量数据、发现模式、预测未来的项目不断带领城市前进。其中有从正面改善城市风貌的,也有提前一步,遏止未来可能发生的罪行甚至惨案。今天就让我们来看看三种应用案例:
纽约地铁出现大量神秘 DNA
就算没去过纽约,也应该都听说过拥有百年历史的纽约地铁,又脏又臭又阴暗,但是纽约客以及自世界各地来的旅客又都离不开地铁,每天 550 万人搭乘,想必每一座地铁、每一层阶梯、每一列车厢,到处沾满人类陈年积淀的汗渍与污垢。不过,真实情况可能要你大吃一惊,不是没那么脏,而是比我们想象得更奇幻。
康乃尔大学 Weill 医学院的研究者们,花了 18 个月的时间执行了一项大数据项目。他们用鉴识科学常用的棉花棒,在 486 个纽约地铁站搜集目标样本,车厢门、楼梯扶手、座椅、灯杆、垃圾桶都不放过,最后总共发现 1 万 5 千多种微生物,将近一半的样本是人类未知的有机生物,27% 是活性并俱有抗药性的细菌,虽然所有细菌仅有 12% 与疾病相关,还发现了三个与腺鼠疫、炭疽相关样本,但幸而这些样本都没有活性。而与人类的基因组相匹配的只占了不到 2%。
这项研究的主要作者康乃尔医学院遗传学家 Christopher E. Mason 说:「人们望着地铁上的手扶梯时,从来不会有『这上面充满生命』的念头,但是知道这项研究之后,他们可能会开始这么想。不过我想让他们以看待热带雨林的眼光看待地铁,这里有那么多物种,但并没有影响到你的健康,简直让人敬畏和赞叹。」
关于地铁细菌的研究,不只是有趣,也不只是满足了科学家的好奇心,研究者们将把这些物种分门别类,未来就能把它们当作对照样本,确定某些疾病、甚至也可预测未来若恐怖份子把某些细菌当做生物武器攻击的物质,是否已经扩散。
洛杉矶警察的关键报告
电影《关键报告》中,主角靠着拥有预知犯罪者的系统,在罪行真正发生之前,就先把人逮捕到案。
预测性警务软件「PredPol」当然没有科幻到「人」的地步,但也有达成遏止犯罪率的效果了。该团队花了五年时间,收集过去十年的警方数据,并且运用算法分析,预测下一次可能产生犯罪情况的地点。共同创办人 Jeffrey Brantingham 指出,他们基于三个因素测定发生案件的机率:容易滋养犯罪事件的场所(比如过去对斗殴事件睁一只眼闭一只眼的酒吧)、多次受害地区(repeat victimization,比如曾被闯入的门户容易再次被闯入)、受害地区的邻近地区(曾被闯入的门户周遭区域也容易成为下次被下手的目标),计算出 10-20 个最有可能在警察下一次执勤时发生犯罪的地点。PredPol 宣称,只要警察花 5%-15% 的巡逻时间在划定的红色区域,就能只比依靠自身经验阻止更多犯罪活动。
目前全美共有将近 60 间警局使用 Predpol,每年每间警局必须支付大约 10 万 — 15 万美金的服务费。虽然公部门预算拮据,但投资 PredPol 的第一年,加州 Santa Cruz 闯空门的窃盗案就下降了 11%、抢劫案更减少了 27%。2011 年洛杉矶 Foothill 区开始使用 PredPol,四个月之后犯罪率降低了 13%,其他未未使用 PredPol 的区域微幅多出 0.4%。
洛杉矶警局 Foothill 的警官 Sean Malinowski 说,「我们一直持续使用这套软件,Foothills 也一直都是洛杉矶犯罪率下降最高的区域。我不认为两者之间毫无关联。」
伦敦打击「恶棍交易员」
交易员诈欺导致银行或个人严重损失的新闻时有所闻。过去非法交易只能透过「关键词监测(key word surveillance)」来判断交易员是否涉及渎职,但是 Market Practitioner Panel (MPP)指出,这种方式是有缺陷的。想要揭露失职的交易员,运用大数据技术会是揭露会是更长期而有效的方案。
MPP 建议英国金融机构采取「预测编码(predictive codeing)」的方式,不只能够侦测关键词,还能辨识出交易员非比寻常的行为,像是从非正式的管道如私人信箱、实时通讯、聊天论坛沟通,或者在奇怪的时间离开办公室、强制休假却搞失踪、在组织中所扮演的角色与责任等等。
大数据技术能够非常细微的观测个别交易员的活动,精确建立每位交易员的个人资料与实际操作模式,一有异常就能提前预防,而且能够大规模且实时的分析。除了交易员之外,一般个人当然也得提防。金融诈欺者愈来愈精明、愈来愈猖狂,金融业者势必得施加更大的力道,应用最新的技术,全面整合分析数据,从个人开办帐户开始,就要建立档案并针对交易监控与客户管理保持追踪,检测异常的帐户活动,从而趋吉避凶。
不过,品诚梅森(Pinsent Masons)律师事务所信息保护专家 Kathryn Wynn 提醒,机构需注意别滥用大数据破坏隐私,未审先判。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Pandas 选取特定值所在行:6 类核心方法与实战指南 在使用 pandas 处理结构化数据时,“选取特定值所在的行” 是最高频的操作之 ...
2025-09-30球面卷积神经网络(SCNN) 为解决这一痛点,球面卷积神经网络(Spherical Convolutional Neural Network, SCNN) 应运而生。它通 ...
2025-09-30在企业日常运营中,“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”,金融机构想预判 “下周股 ...
2025-09-30Excel 能做聚类分析吗?基础方法、进阶技巧与场景边界 在数据分析领域,聚类分析是 “无监督学习” 的核心技术 —— 无需预设分 ...
2025-09-29XGBoost 决策树:原理、优化与工业级实战指南 在机器学习领域,决策树因 “可解释性强、处理非线性关系能力突出” 成为基础模型 ...
2025-09-29在标签体系的落地链路中,“设计标签逻辑” 只是第一步,真正让标签从 “纸上定义” 变为 “业务可用资产” 的关键,在于标签加 ...
2025-09-29在使用 Excel 数据透视表进行多维度数据汇总时,折叠功能是梳理数据层级的核心工具 —— 通过点击 “+/-” 符号可展开明细数据或 ...
2025-09-28在使用 Pandas 处理 CSV、TSV 等文本文件时,“引号” 是最容易引发格式混乱的 “隐形杀手”—— 比如字段中包含逗号(如 “北京 ...
2025-09-28在 CDA(Certified Data Analyst)数据分析师的技能工具箱中,数据查询语言(尤其是 SQL)是最基础、也最核心的 “武器”。无论 ...
2025-09-28Cox 模型时间依赖性检验:原理、方法与实战应用 在生存分析领域,Cox 比例风险模型(Cox Proportional Hazards Model)是分析 “ ...
2025-09-26检测因子类型的影响程度大小:评估标准、实战案例与管控策略 在检测分析领域(如环境监测、食品质量检测、工业产品合规性测试) ...
2025-09-26CDA 数据分析师:以数据库为基石,筑牢数据驱动的 “源头防线” 在数据驱动业务的链条中,“数据从哪里来” 是 CDA(Certified D ...
2025-09-26线性相关点分布的四种基本类型:特征、识别与实战应用 在数据分析与统计学中,“线性相关” 是描述两个数值变量间关联趋势的核心 ...
2025-09-25深度神经网络神经元个数确定指南:从原理到实战的科学路径 在深度神经网络(DNN)的设计中,“神经元个数” 是决定模型性能的关 ...
2025-09-25在企业数字化进程中,不少团队陷入 “指标困境”:仪表盘上堆砌着上百个指标,DAU、转化率、营收等数据实时跳动,却无法回答 “ ...
2025-09-25MySQL 服务器内存碎片:成因、检测与内存持续增长的解决策略 在 MySQL 运维中,“内存持续增长” 是常见且隐蔽的性能隐患 —— ...
2025-09-24人工智能重塑工程质量检测:核心应用、技术路径与实践案例 工程质量检测是保障建筑、市政、交通、水利等基础设施安全的 “最后一 ...
2025-09-24CDA 数据分析师:驾驭通用与场景指标,解锁数据驱动的精准路径 在数据驱动业务的实践中,指标是连接数据与决策的核心载体。但并 ...
2025-09-24在数据驱动的业务迭代中,AB 实验系统(负责验证业务优化效果)与业务系统(负责承载用户交互与核心流程)并非独立存在 —— 前 ...
2025-09-23CDA 业务数据分析:6 步闭环,让数据驱动业务落地 在企业数字化转型中,CDA(Certified Data Analyst)数据分析师的核心价值,并 ...
2025-09-23