
大数据“算命”消除天灾人祸_数据分析师
身处这个大时代,大数据还能干什么?一些应用,或许你有所不知。
从位于上海交大电子信息与电气工程学院的大数据工程技术研究中心,到位于中山北一路“803大院”的上海市刑事科学技术研究院,科学家和工程师们都在思考:如何利用大数据“算命”,尽量消除天灾人祸。
密集风险预警,智能疏导客流
未来一天傍晚,某商圈车水马龙、人潮涌动。
“滴滴滴……”商圈管理办公室的警铃瞬时响起,发出人流密集风险预警!同时,显示屏跳出预警信息,通过分析周边人流分布状况,获得应急疏散预案也随即给出。值班人员小张立即拿起对讲机通知安保部:“百货门前天桥人流过度集中,请迅速启动二级疏导预案,引导客流往1号、3号大门疏散,同时关闭2号大门。”说话之间,相关数据信息已第一时间传输至全市预警系统平台。
大数据工程技术研究中心主任、上海交大特聘教授邱才明向记者描述了这样的大数据应用场景。原来,这次预警是由“人流密集风险预警系统”发出的。通过商圈安装的图像智能识别系统,这套预警系统就能实时采集人流信息,随即对这些数据进行分析处理。
邱才明介绍,基于随机矩阵理论的大数据分析方法可进行建模,数据模型可判断出实时人流状态,并可同时预测未来5至10分钟该区域内人群密度的变化趋势,第一时间提供相关部门决策支持。一旦人流密集度超出预警标准,系统将立即发出报警,并根据事态成因、人群行为分析和周边通道状况建立应急疏散模型,从中优化选择最佳方案,供指挥中心发出客流疏导指令。
参考人流密集风险预警系统的智能建议,管理者、决策者可根据预警等级,判断引起人流变化的原因,可能是某商圈活动引起人流聚集,也可能是车辆停运,甚至是人员伤害、恐怖袭击等。因此,管理人员就能因势利导,采取疏导、限流甚至警力干预等措施,避免人流过度聚集,排除安全隐患,为民众安全出行保驾护航。
邱才明教授认为,在未来,随着移动终端、位置服务(LBS)和车联网应用的日益普及,地理数据、轨迹数据和各种基于位置的搜索记录等,将共同构成位置大数据。这不仅仅是信息,还将成为重要的战略资源,应用大数据技术将提供很多社会和城市运行的规律及趋势,为优化政府规划、防灾和应急响应提供智慧支撑。
有了千里眼,还需神算手
2013年4月20日,四川省雅安市芦山县发生7.0级地震。又是四川,又是大震?突如其来的天灾牵动全国人民的心,许多民间志愿者自发组织前往震区救灾。一时间,赶赴灾区的绿色通道,挤满了大大小小的救援队伍,造成了严重堵塞,甚至发生了救援志愿者遭遇坠石事故丧生的悲剧。
在肯定民间抢险救灾热情的同时,人们也开始进行“理性救灾”反思。抢险救灾不能仅仅依靠一腔热情,更需要以科学的技术与方法作为指导。上海交大电信学院大数据工程技术研究中心副主任金之俭认为,通过大数据理论建立海量遥感数据获取、储存与分析体系,将为“理性救灾”指明道路,也就是说,在地震发生后的第一时间,依靠卫星或航空遥感技术,远程获取震区现场数据,评估和预测灾区受损情况,明确物资需求,规划救援道路,有助于制定合理的救援计划,最大程度减小灾害影响。
有了千里眼、顺风耳,还需神算手。灾害监测是遥感技术的一个重要应用方向,对于自然灾害频发的国家和地区而言尤其具有价值。我国近年来遭遇了多次地震灾害,与震前预测相比,灾后震区的遥感数据监测,更可充分测算解析大数据海量、异构、多源的外部特征,以及多维度、多尺度、非稳定的内部特征,通过对地表、环境、地震本身数据的充分测算解析,使灾害造成的危难细节、对地面道路的损害程度、救援资源的调度分配等实时分析能力获得提升,这对于减少灾难损失、提高救援效率、支持灾后重建具有极其重要的作用。
除了地震灾害监测,大数据遥感还可应用到洋流监测、气候预警等多个领域。以洋流监测为例,地球上有辽阔的海洋,其面积是地球上陆地面积的2.5倍,不过人类对海洋的认识还非常局限。事实上,海洋是人类环境、气候的起源地,只有对海洋进行监控,才能获得更好的气象预报、环境预测等效能。
金之俭介绍,目前科学家们正试图将传感器,如温度、盐度、热惯量等传感器,广泛布置于海洋中。这些传感器产生的数据量非常庞大,并且很多数据无法实时传到数据中心。假如在每个足球场这么大的海洋面积放置1个传感器,全球海洋分布的传感器总量将达520亿只,其所含信息和维度都非常之大。通过高维大数据计算方法,才能对这些数据进行处理,从而有助于对厄尔尼诺现象会否发生、粮食产区气候是否恶化等情况进行预警。
解读DNA大数据,滴血画像
在保护生命和财产安全方面,大数据还有大作为。一滴血验DNA,已不是什么神奇;如今,法医只要7个完整的人体细胞,就能检出DNA。
在市公安局刑事科学技术研究管理中心,生物物证室副主任平原介绍,由于 DNA 物证检验能力快速提升,目前每年沪上与DNA检测相关的案件达到1万多起,其中包含了3.4万个现场样本,小到果壳、大到树木。基于这种 DNA大数据,可快速比对嫌疑人的DNA,排除嫌疑或锁定嫌犯,依法保障公民安全。
而上海产业技术研究院生物医学部主任李亦学研究员表示,在生物信息学领域,现有计算能力与急剧上升的生物数据量之间,存在极大差距。以人体为例,常被采用的基因就达2.2万种,还有30万种相关蛋白。可以说,人类的计算能力按照摩尔定律每18个月翻一番,而存储能力大约每14个月翻一番,但大数据的产量则是5个月就会翻一番。
当然,下一代基因测序技术正在不断追赶生物数据的大爆炸。比如最先进的“HiSeq X”基因测序系统,由10台“HiSeq X”测序仪组成,采用“测序工厂”模式定位,适合运行于大型化的基因组中心,为各类生命科学和生物医学研究提供海量、高效的测序服务。据称,这样的测序机器每次运行需要3天时间,即可产出高达1.8T的有价值数据,数据产出效率是现有主流测序仪“HiSeq 2000”的12倍。这样算来,整套系统每年可完成1.8万人的全基因组测序,尽管这对于整个人类的生命大数据来说还是杯水车薪,即使对于有特定需求的测序人员而言,也是供不应求的。
在平原、李亦学等专家看来,随着 DNA大数据科学的发展,一滴血将不仅能测定“谁是谁”,也能鉴定出“他来自哪里”,甚至还能根据个体基因判断分析表型特征,比如眼皮、鼻孔、耳垂、肤色等,从而自动为他画出一幅头像来。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26CDA 数据分析师会被 AI 取代吗? 在当今数字化时代,数据的重要性日益凸显,数据分析师成为了众多企业不可或缺的角色 ...
2025-06-26CDA 数据分析师证书考取全攻略 在数字化浪潮汹涌的当下,数据已成为企业乃至整个社会发展的核心驱动力。数据分析师作 ...
2025-06-25人工智能在数据分析的应用场景 在数字化浪潮席卷全球的当下,数据以前所未有的速度增长,传统的数据分析方法逐渐难以满足海 ...
2025-06-25评估模型预测为正时的准确性 在机器学习与数据科学领域,模型预测的准确性是衡量其性能优劣的核心指标。尤其是当模型预测结 ...
2025-06-25CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-06-24金融行业的大数据变革:五大应用案例深度解析 在数字化浪潮中,金融行业正经历着深刻的变革,大数据技术的广泛应用 ...
2025-06-24Power Query 中实现移动加权平均的详细指南 在数据分析和处理中,移动加权平均是一种非常有用的计算方法,它能够根据不同数据 ...
2025-06-24数据驱动营销革命:解析数据分析在网络营销中的核心作用 在数字经济蓬勃发展的当下,网络营销已成为企业触达消费者 ...
2025-06-23随机森林模型与 OPLS-DA 的优缺点深度剖析 在数据分析与机器学习领域,随机森林模型与 OPLS-DA(正交偏最小二乘法判 ...
2025-06-23CDA 一级:开启数据分析师职业大门的钥匙 在数字化浪潮席卷全球的今天,数据已成为企业发展和决策的核心驱动力,数据分析师 ...
2025-06-23透视表内计算两个字段乘积的实用指南 在数据处理与分析的过程中,透视表凭借其强大的数据汇总和整理能力,成为了众多数据工 ...
2025-06-20CDA 一级考试备考时长全解析,助你高效备考 CDA(Certified Data Analyst)一级认证考试,作为数据分析师领域的重要资格认证, ...
2025-06-20统计学模型:解锁数据背后的规律与奥秘 在数据驱动决策的时代,统计学模型作为挖掘数据价值的核心工具,发挥着至关重要的作 ...
2025-06-20Logic 模型特征与选择应用:构建项目规划与评估的逻辑框架 在项目管理、政策制定以及社会服务等领域,Logic 模型(逻辑模型 ...
2025-06-19SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的利器 在数据分析的众多方法中,Mann-Kendall(MK)检验凭借其对数据分 ...
2025-06-19