京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据“算命”消除天灾人祸_数据分析师
身处这个大时代,大数据还能干什么?一些应用,或许你有所不知。
从位于上海交大电子信息与电气工程学院的大数据工程技术研究中心,到位于中山北一路“803大院”的上海市刑事科学技术研究院,科学家和工程师们都在思考:如何利用大数据“算命”,尽量消除天灾人祸。
密集风险预警,智能疏导客流
未来一天傍晚,某商圈车水马龙、人潮涌动。
“滴滴滴……”商圈管理办公室的警铃瞬时响起,发出人流密集风险预警!同时,显示屏跳出预警信息,通过分析周边人流分布状况,获得应急疏散预案也随即给出。值班人员小张立即拿起对讲机通知安保部:“百货门前天桥人流过度集中,请迅速启动二级疏导预案,引导客流往1号、3号大门疏散,同时关闭2号大门。”说话之间,相关数据信息已第一时间传输至全市预警系统平台。
大数据工程技术研究中心主任、上海交大特聘教授邱才明向记者描述了这样的大数据应用场景。原来,这次预警是由“人流密集风险预警系统”发出的。通过商圈安装的图像智能识别系统,这套预警系统就能实时采集人流信息,随即对这些数据进行分析处理。
邱才明介绍,基于随机矩阵理论的大数据分析方法可进行建模,数据模型可判断出实时人流状态,并可同时预测未来5至10分钟该区域内人群密度的变化趋势,第一时间提供相关部门决策支持。一旦人流密集度超出预警标准,系统将立即发出报警,并根据事态成因、人群行为分析和周边通道状况建立应急疏散模型,从中优化选择最佳方案,供指挥中心发出客流疏导指令。
参考人流密集风险预警系统的智能建议,管理者、决策者可根据预警等级,判断引起人流变化的原因,可能是某商圈活动引起人流聚集,也可能是车辆停运,甚至是人员伤害、恐怖袭击等。因此,管理人员就能因势利导,采取疏导、限流甚至警力干预等措施,避免人流过度聚集,排除安全隐患,为民众安全出行保驾护航。
邱才明教授认为,在未来,随着移动终端、位置服务(LBS)和车联网应用的日益普及,地理数据、轨迹数据和各种基于位置的搜索记录等,将共同构成位置大数据。这不仅仅是信息,还将成为重要的战略资源,应用大数据技术将提供很多社会和城市运行的规律及趋势,为优化政府规划、防灾和应急响应提供智慧支撑。
有了千里眼,还需神算手
2013年4月20日,四川省雅安市芦山县发生7.0级地震。又是四川,又是大震?突如其来的天灾牵动全国人民的心,许多民间志愿者自发组织前往震区救灾。一时间,赶赴灾区的绿色通道,挤满了大大小小的救援队伍,造成了严重堵塞,甚至发生了救援志愿者遭遇坠石事故丧生的悲剧。
在肯定民间抢险救灾热情的同时,人们也开始进行“理性救灾”反思。抢险救灾不能仅仅依靠一腔热情,更需要以科学的技术与方法作为指导。上海交大电信学院大数据工程技术研究中心副主任金之俭认为,通过大数据理论建立海量遥感数据获取、储存与分析体系,将为“理性救灾”指明道路,也就是说,在地震发生后的第一时间,依靠卫星或航空遥感技术,远程获取震区现场数据,评估和预测灾区受损情况,明确物资需求,规划救援道路,有助于制定合理的救援计划,最大程度减小灾害影响。
有了千里眼、顺风耳,还需神算手。灾害监测是遥感技术的一个重要应用方向,对于自然灾害频发的国家和地区而言尤其具有价值。我国近年来遭遇了多次地震灾害,与震前预测相比,灾后震区的遥感数据监测,更可充分测算解析大数据海量、异构、多源的外部特征,以及多维度、多尺度、非稳定的内部特征,通过对地表、环境、地震本身数据的充分测算解析,使灾害造成的危难细节、对地面道路的损害程度、救援资源的调度分配等实时分析能力获得提升,这对于减少灾难损失、提高救援效率、支持灾后重建具有极其重要的作用。
除了地震灾害监测,大数据遥感还可应用到洋流监测、气候预警等多个领域。以洋流监测为例,地球上有辽阔的海洋,其面积是地球上陆地面积的2.5倍,不过人类对海洋的认识还非常局限。事实上,海洋是人类环境、气候的起源地,只有对海洋进行监控,才能获得更好的气象预报、环境预测等效能。
金之俭介绍,目前科学家们正试图将传感器,如温度、盐度、热惯量等传感器,广泛布置于海洋中。这些传感器产生的数据量非常庞大,并且很多数据无法实时传到数据中心。假如在每个足球场这么大的海洋面积放置1个传感器,全球海洋分布的传感器总量将达520亿只,其所含信息和维度都非常之大。通过高维大数据计算方法,才能对这些数据进行处理,从而有助于对厄尔尼诺现象会否发生、粮食产区气候是否恶化等情况进行预警。
解读DNA大数据,滴血画像
在保护生命和财产安全方面,大数据还有大作为。一滴血验DNA,已不是什么神奇;如今,法医只要7个完整的人体细胞,就能检出DNA。
在市公安局刑事科学技术研究管理中心,生物物证室副主任平原介绍,由于 DNA 物证检验能力快速提升,目前每年沪上与DNA检测相关的案件达到1万多起,其中包含了3.4万个现场样本,小到果壳、大到树木。基于这种 DNA大数据,可快速比对嫌疑人的DNA,排除嫌疑或锁定嫌犯,依法保障公民安全。
而上海产业技术研究院生物医学部主任李亦学研究员表示,在生物信息学领域,现有计算能力与急剧上升的生物数据量之间,存在极大差距。以人体为例,常被采用的基因就达2.2万种,还有30万种相关蛋白。可以说,人类的计算能力按照摩尔定律每18个月翻一番,而存储能力大约每14个月翻一番,但大数据的产量则是5个月就会翻一番。
当然,下一代基因测序技术正在不断追赶生物数据的大爆炸。比如最先进的“HiSeq X”基因测序系统,由10台“HiSeq X”测序仪组成,采用“测序工厂”模式定位,适合运行于大型化的基因组中心,为各类生命科学和生物医学研究提供海量、高效的测序服务。据称,这样的测序机器每次运行需要3天时间,即可产出高达1.8T的有价值数据,数据产出效率是现有主流测序仪“HiSeq 2000”的12倍。这样算来,整套系统每年可完成1.8万人的全基因组测序,尽管这对于整个人类的生命大数据来说还是杯水车薪,即使对于有特定需求的测序人员而言,也是供不应求的。
在平原、李亦学等专家看来,随着 DNA大数据科学的发展,一滴血将不仅能测定“谁是谁”,也能鉴定出“他来自哪里”,甚至还能根据个体基因判断分析表型特征,比如眼皮、鼻孔、耳垂、肤色等,从而自动为他画出一幅头像来。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】统计学、互联网、知识、课程、学生、数学、软件、招聘、数据分析、实习经历、机器学习、理论基础、业务思维、统 ...
2026-07-10在互联网运营、产品设计、市场营销与商业数据分析领域,所有转化、成交、复购行为的底层逻辑,都依托于用户决策流程。用户从产生 ...
2026-07-10 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-07-10数据透视表是数据分析中最常用、最高效的汇总分析工具,具备快速分组、聚合计算、维度拆解、数据可视化等优势,能够轻松完成求和 ...
2026-07-09在统计学、CDA数据分析、机器学习与商业数据研究中,正态分布是最基础、最重要的数据分布形态。绝大多数参数检验、数据建模、指 ...
2026-07-09 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-07-09【核心关键词】采购、周期、原材料、企业、产品、成本、要素、库存、供应商、数据分析、生产计划、生产制造、加工制造、技术工 ...
2026-07-08在数据分析、特征工程、机器学习建模的工作流程中,原始数据往往包含多个不同维度的数值指标,例如客户交易数据中的消费金额、交 ...
2026-07-08 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-07-08商业谈判是企业采购合作、渠道签约、价格议价、项目合作、客户签约的核心关键环节,直接决定企业的合作成本、利润空间与经营风险 ...
2026-07-07在数据分析、业务效果验证、AB 测试、学术研究等场景中,T 检验是假设检验体系里最基础、应用最广泛的统计方法,也是均值差异分 ...
2026-07-07 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-07-07【核心关键词】转化率、企业、策略、岗位、互联网、拆分、产品、运营、分析师、指标体系、数据分析、用户画像、数据诊断、产品 ...
2026-07-06在数据分析工作中,文本数据处理是高频刚需场景,用户评论、客服工单、日志信息、调研问卷、商品文案等数据都包含大量文本内容。 ...
2026-07-06 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-07-06在 CDA 数据分析师能力体系中,透视分析是数据探索、多维度汇总、业务复盘的核心基础技能。无论是 Excel 数据透视表,还是 Power ...
2026-07-03在市场竞争日趋激烈、获客成本持续攀升的当下,企业粗放式的“广撒网”获客模式早已无法适配经营需求。企业经营的核心逻辑,已经 ...
2026-07-03 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-07-03【核心关键词】运营、企业、核心、客户、新技术、数字化运营、数据分析、传统企业、人工录入、生产系统、技术人员、数据安全、 ...
2026-07-02在产品开发、项目立项、业务拓展、运营优化的工作中,市场调查、竞品分析、需求调研是三大核心基础工作。很多从业者容易将三者混 ...
2026-07-02