京公网安备 11010802034615号
经营许可证编号:京B2-20210330
环境大数据应用“含苞待放”_数据分析师考试
近期,大数据的“倩影”频繁出现在国家出台的各项方案和指导意见中,也成为环保系统热议的内容。
据了解,北京、武汉等不少省市的数据资源中心早已建成。截至目前,全国将近2/3省(自治区、直辖市)环保厅都已建成或正在建设环境数据资源中心。
面临大数据的龙卷风,环境数据资源中心是否做好了准备?环境大数据应用走到了哪个阶段?
数据如何“开口说话”?
相比于其他省市的环境信息化建设,北京市环境信息化建设起步较早。北京市环境数据中心的建设开始于2012年,并于2013年正式投入使用,目前,北京市环保局各个业务处室主要的业务数据已经进入环境数据中心。
北京市环境信息中心主任陈海宁介绍说,数据中心的建设极大地便利了环保工作,比如原先环境监察人员进行污染源监管,需要查阅大量纸质资料,手工记录现场情况,现在只要通过监控终端或移动客户端直接调取数据中心的数据,就可以对污染源相关数据进行查阅和记录,环境监管省时省力。
但不久之后,陈海宁的困惑也出现了,“数据中心是建成了,但数据中心对各业务部门的帮助还很有限,如何开发更好的大数据产品为环境管理服务,成为数据中心要突破的瓶颈。”
同样走在前头的武汉市也面临类似问题。武汉市环境信息中心主任詹炜介绍说,武汉环境数据中心很早就集成了各业务部门的数据,“但现在这些数据只用来做一些简单的统计和报表,数据还没有真正‘开口说话’。”
而更多省环保厅的环境信息中心处于不断建设和完善的状态。据了解,内蒙古环境数据中心已经基本建成,目前已经进入第三期建设;云南省正处在“数字环保”第二阶段,重点建设资源数据中心。
环境保护部信息中心也很早就开始注意到数据资源的开发情况,希望大数据可以成为解决环保管理问题的钥匙。去年开始,环境保护部信息中心副主任徐富春带领探索大数据应用,与微软(中国)有限公司合作开发了城市局地大气主要污染物时空分布大数据模型——U-Air,这一合作也开启了大数据应用的“第一春”。
以U-Air为代表的大数据应用兴起
目前,我国地面空气质量监测点位的设置是根据行政区域设置,站点数量非常有限,不能反映污染物的空间分布,易受站点附近环境影响,造成不同区域受众对数据可信性的质疑。
就北京来说,北京市有35个地面空气质量监测点,但不能完全反映整个北京市的空气质量状况。“U-Air通过获取地面监测站的空气质量数据,结合交通流、道路结构、兴趣点分布、气象条件和人们流动规律等大数据,用基于机器认知的算法就能模拟出城市细粒度(1km×1km)的空气质量,并能对未来24小时的空气质量进行预测。”徐富春说,这不仅弥补了地面监测在地域上的局限性,实时监测每一寸土地,也破解了在没有污染源排放清单、排放边界不太清楚的条件下,如何预测城市空气质量的难题。
“U-Air是一个运用大数据解决环保问题的典型案例,并且在科学性和技术性上都经过了一定的验证。”徐富春告诉记者,大数据应用需要满足3个条件,第一就是数据量要足够大,第二是数据类型要多元化,第三是要基于机器认知的学习方法和算法。U-Air除了有行业类结构化数据,还有城市道路数据、路网结构、气象数据、地理位置、城市特征分布等数据,后台也具备机器学习和认知计算的条件。
微软(中国)有限公司资深架构师罗彤介绍,未来U-Air将可以提前预测1小时~5 小时的空气质量,以帮助人们更好地计划自己的生活,比如什么时候和去哪里慢跑,什么时候应该关窗户、什么时候应该带上口罩。
其实,除了微软在大数据应用方面开展探索外,面对大数据这块大蛋糕,环保产业已经跃跃欲试。
中科宇图天下科技有限公
司还建设了自己的大数据中心。据中科宇图总裁姚新介绍,公司的大数据中心不仅包括各地环保业务数据,还有与环保相关的行业数据,目前,他们也研发了空气质量预警预测模型。
北京力鼎创软科技有限公司提出了“霾计算”总体架构,结合传统空气监测数据、污染源数据、气象数据、交通数据、餐饮、学校、加油站等信息,对空气质量进行预警预测。
北京思路创新科技有限公司则利用大数据推出了环保快搜功能,实现了各类业务一体化查询。此外,环保快搜还可以根据用户偏好分析,自动为用户推荐可能需要的环境数据。如污防部门每个季度都需要超标排放的企业数据,系统可以定时为用户推送。
大数据分析的核心就是算法和模型的研究,IBM中国研究院在大数据应用的模型上下足了功夫。据IBM中国研究院高级总监王海峰介绍,IBM采用Watson认知计算技术融合多类型多来源模型(物理模型、学习模型、专家模型),建立了可自调节的空气质量超级模型,可以用于环境污染仿真建模和天气预测与预警。王海峰还介绍了大数据在监测污染源方面的独特优势,通过对卫星观测数据、移动用户提供的污染源信息、地面污染源监测数据进行计算,就可以识别异常数据,为环境执法提供依据。
而大数据产业的发展又为环保部门与企业的合作提供了新的机遇。在环境保护部信息中心3月举行的一次环境信息资源应用研讨会上,鄂尔多斯遇上了IBM。
鄂尔多斯大数据平台只是开端
记者了解到,鄂尔多斯环保工作已经进入信息化带动环境管理的新阶段,环境数据资源中心也已建成,未来将全部布置在鄂尔多斯大数据中心。
鄂尔多斯环保局局长董介中介绍说,鄂尔多斯大数据中心将拥有市政、交通、农业、气象、能源等社会各方面的数据,不久,环保数据将真正对接大数据。开发大数据平台、利用大数据为环保管理工作服务是鄂尔多斯环保局急切要解决的问题。于是,在环境保护部信息中心、内蒙古自治区环保厅的支持和指导下,鄂尔多斯环保局与IBM合作建成环保大数据平台,并初步投入使用。
目前,除了传统的地面观测数据、排放清单、重点污染源监测数据、气象数据、地形地貌,大数据平台还集纳了卫星遥感数据、企业生产数据、移动传感器数据、社会舆论、企业信用情况等数据资源。
“大数据平台的一大特点就是可以准确溯源,当自动观测站数据发生异常的时候,平台会自动触发溯源分析,依次进行气象分析、空气质量分析,然后开始污染溯源,再进行企业集中生产分析。”董介中告诉记者,大数据平台溯源可以给出量化分析结果,从而为精准执法提供数据支撑,有利于提高执法效率。
以往,溯源基本上依靠人工观测,无法估算具体的贡献量,极容易出现偏差。鄂托克旗位于内蒙古乌海市与鄂尔多斯市交界处,毗邻多个工业园区,污染状况一直处于说不清的状态,经过大数据平台的计算,鄂托克旗彻底搞清了污染来源。“大数据平台的溯源功能便于我们环保部门有针对性地开展环境治理。”董介中说。
除了溯源外,大数据平台还可以对重污染天气进行预测预警,甚至可以预测哪一天将出现重污染天气,从而有利于环保部门有针对性地管控污染源,避免重污染天气的出现。鄂尔多斯信息中心接入在线监控数据和空气自动站数据后,记者看到一张色块动态图,绿色代表空气质量最优,颜色越来越深,就代表空气质量越来越差。
鄂尔多斯环保局大数据平台可说是环保系统开展大数据应用的一个代表,大数据建设也将成为环境保护部下一步工作的重点。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题,以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A,覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中,柱形图因直观展示数据差异的优势被广泛使用,而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中,我们常需要判断“两组数据的差异是真实存在,还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11在CDA(Certified Data Analyst)数据分析师的工作体系中,数据库就像“数据仓库的核心骨架”——所有业务数据的存储、组织与提 ...
2025-12-11在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01