京公网安备 11010802034615号
经营许可证编号:京B2-20210330
三个应用案例—大数据挖掘潜在的威胁
大数据、大城市。世界已有不少大都会运用数据分析与算法建立智能城市,改善交通、例如日本东京就把每辆车子都变成精准的「行动数据」,缓解交通堵塞甚至降低死亡车祸的数量。在欧美,从纽约、旧金山、芝加哥到伦敦、阿姆斯特丹,各种藉由搜集大量数据、发现模式、预测未来的项目不断带领城市前进。其中有从正面改善城市风貌的,也有提前一步,遏止未来可能发生的罪行甚至惨案。今天就让我们来看看三种应用案例:
纽约地铁出现大量神秘 DNA
就算没去过纽约,也应该都听说过拥有百年历史的纽约地铁,又脏又臭又阴暗,但是纽约客以及自世界各地来的旅客又都离不开地铁,每天 550 万人搭乘,想必每一座地铁、每一层阶梯、每一列车厢,到处沾满人类陈年积淀的汗渍与污垢。不过,真实情况可能要你大吃一惊,不是没那么脏,而是比我们想象得更奇幻。
康乃尔大学 Weill 医学院的研究者们,花了 18 个月的时间执行了一项大数据项目。他们用鉴识科学常用的棉花棒,在 486 个纽约地铁站搜集目标样本,车厢门、楼梯扶手、座椅、灯杆、垃圾桶都不放过,最后总共发现 1 万 5 千多种微生物,将近一半的样本是人类未知的有机生物,27% 是活性并俱有抗药性的细菌,虽然所有细菌仅有 12% 与疾病相关,还发现了三个与腺鼠疫、炭疽相关样本,但幸而这些样本都没有活性。而与人类的基因组相匹配的只占了不到 2%。
这项研究的主要作者康乃尔医学院遗传学家 Christopher E. Mason 说:「人们望着地铁上的手扶梯时,从来不会有『这上面充满生命』的念头,但是知道这项研究之后,他们可能会开始这么想。不过我想让他们以看待热带雨林的眼光看待地铁,这里有那么多物种,但并没有影响到你的健康,简直让人敬畏和赞叹。」
关于地铁细菌的研究,不只是有趣,也不只是满足了科学家的好奇心,研究者们将把这些物种分门别类,未来就能把它们当作对照样本,确定某些疾病、甚至也可预测未来若恐怖份子把某些细菌当做生物武器攻击的物质,是否已经扩散。
洛杉矶警察的关键报告
电影《关键报告》中,主角靠着拥有预知犯罪者的系统,在罪行真正发生之前,就先把人逮捕到案。
预测性警务软件「PredPol」当然没有科幻到「人」的地步,但也有达成遏止犯罪率的效果了。该团队花了五年时间,收集过去十年的警方数据,并且运用算法分析,预测下一次可能产生犯罪情况的地点。共同创办人 Jeffrey Brantingham 指出,他们基于三个因素测定发生案件的机率:容易滋养犯罪事件的场所(比如过去对斗殴事件睁一只眼闭一只眼的酒吧)、多次受害地区(repeat victimization,比如曾被闯入的门户容易再次被闯入)、受害地区的邻近地区(曾被闯入的门户周遭区域也容易成为下次被下手的目标),计算出 10-20 个最有可能在警察下一次执勤时发生犯罪的地点。PredPol 宣称,只要警察花 5%-15% 的巡逻时间在划定的红色区域,就能只比依靠自身经验阻止更多犯罪活动。
目前全美共有将近 60 间警局使用 Predpol,每年每间警局必须支付大约 10 万 — 15 万美金的服务费。虽然公部门预算拮据,但投资 PredPol 的第一年,加州 Santa Cruz 闯空门的窃盗案就下降了 11%、抢劫案更减少了 27%。2011 年洛杉矶 Foothill 区开始使用 PredPol,四个月之后犯罪率降低了 13%,其他未未使用 PredPol 的区域微幅多出 0.4%。
洛杉矶警局 Foothill 的警官 Sean Malinowski 说,「我们一直持续使用这套软件,Foothills 也一直都是洛杉矶犯罪率下降最高的区域。我不认为两者之间毫无关联。」
伦敦打击「恶棍交易员」
交易员诈欺导致银行或个人严重损失的新闻时有所闻。过去非法交易只能透过「关键词监测(key word surveillance)」来判断交易员是否涉及渎职,但是 Market Practitioner Panel (MPP)指出,这种方式是有缺陷的。想要揭露失职的交易员,运用大数据技术会是揭露会是更长期而有效的方案。
MPP 建议英国金融机构采取「预测编码(predictive codeing)」的方式,不只能够侦测关键词,还能辨识出交易员非比寻常的行为,像是从非正式的管道如私人信箱、实时通讯、聊天论坛沟通,或者在奇怪的时间离开办公室、强制休假却搞失踪、在组织中所扮演的角色与责任等等。
大数据技术能够非常细微的观测个别交易员的活动,精确建立每位交易员的个人资料与实际操作模式,一有异常就能提前预防,而且能够大规模且实时的分析。除了交易员之外,一般个人当然也得提防。金融诈欺者愈来愈精明、愈来愈猖狂,金融业者势必得施加更大的力道,应用最新的技术,全面整合分析数据,从个人开办帐户开始,就要建立档案并针对交易监控与客户管理保持追踪,检测异常的帐户活动,从而趋吉避凶。
不过,品诚梅森(Pinsent Masons)律师事务所信息保护专家 Kathryn Wynn 提醒,机构需注意别滥用大数据破坏隐私,未审先判。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Python凭借简洁的语法、丰富的生态库,成为算法开发、数据处理、机器学习等领域的首选语言。但受限于动态类型、解释性执行的特性 ...
2026-04-03在深度学习神经网络中,卷积操作是实现数据特征提取的核心引擎,更是让模型“看懂”数据、“解读”数据的关键所在。不同于传统机 ...
2026-04-03当数字化转型从企业的“战略口号”落地为“生存之战”,越来越多的企业意识到,转型的核心并非技术的堆砌,而是数据价值的深度挖 ...
2026-04-03在日常办公数据分析中,数据透视表凭借高效的汇总、分组功能,成为Excel、WPS等办公软件中最常用的数据分析工具之一。其中,“计 ...
2026-04-02在数字化交互的全场景中,用户的每一次操作都在生成动态的行为轨迹——电商用户的“浏览商品→点击详情→加入购物车”,内容APP ...
2026-04-02在数字化转型深度推进的今天,企业数据已成为驱动业务增长、构建核心竞争力的战略资产,而数据安全则是守护这份资产的“生命线” ...
2026-04-02在数据驱动决策的浪潮中,数据挖掘与数据分析是两个高频出现且极易被混淆的概念。有人将二者等同看待,认为“做数据分析就是做数 ...
2026-04-01在数据驱动决策的时代,企业与从业者每天都会面对海量数据——电商平台的用户行为数据、金融机构的信贷风险数据、快消品牌的营销 ...
2026-04-01在数字化转型的浪潮中,企业数据已从“辅助运营的附属资源”升级为“驱动增长的核心资产”,而一套科学、可落地的企业数据管理方 ...
2026-04-01在数字化时代,每一位用户与产品的交互都会留下可追溯的行为轨迹——电商用户的浏览、加购、下单,APP用户的注册、登录、功能使 ...
2026-03-31在日常数据统计、市场调研、学术分析等场景中,我们常常需要判断两个分类变量之间是否存在关联(如性别与消费偏好、产品类型与满 ...
2026-03-31在CDA(Certified Data Analyst)数据分析师的职场实战与认证考核中,“可解释性建模”是核心需求之一——企业决策中,不仅需要 ...
2026-03-31多层感知机(MLP,Multilayer Perceptron)作为深度学习中最基础、最经典的神经网络模型,其结构设计直接决定了模型的拟合能力、 ...
2026-03-30在TensorFlow深度学习实战中,数据集的加载与预处理是基础且关键的第一步。手动下载、解压、解析数据集不仅耗时费力,还容易出现 ...
2026-03-30在CDA(Certified Data Analyst)数据分析师的日常工作中,“无监督分组、挖掘数据内在聚类规律”是高频核心需求——电商场景中 ...
2026-03-30机器学习的本质,是让模型通过对数据的学习,自主挖掘规律、实现预测与决策,而这一过程的核心驱动力,并非单一参数的独立作用, ...
2026-03-27在SQL Server数据库操作中,日期时间处理是高频核心需求——无论是报表统计中的日期格式化、数据筛选时的日期类型匹配,还是业务 ...
2026-03-27在CDA(Certified Data Analyst)数据分析师的能力体系与职场实操中,高维数据处理是高频且核心的痛点——随着业务场景的复杂化 ...
2026-03-27在机器学习建模与数据分析实战中,特征维度爆炸、冗余信息干扰、模型泛化能力差是高频痛点。面对用户画像、企业经营、医疗检测、 ...
2026-03-26在这个数据无处不在的时代,数据分析能力已不再是数据从业者的专属技能,而是成为了职场人、管理者、创业者乃至个人发展的核心竞 ...
2026-03-26