智慧城市中的大数据挖掘与应用
智慧城市蕴含大数据
城市是生存繁衍最好的地方,城市是社会交往的地方,是文化享受的地方,按照城市的职能,我们让它智能化,比如智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧国土规划、智慧社区、智慧家居都是让人有更好的环境来生存繁衍。在经济发展方面,可以推动智慧制造、工业互联网、物联网。在文化享受方面,可以考虑智慧户外流媒体、智慧教育、智慧旅游等等。在社会交往方面,有智慧交通、购物、社会综合管理。
在智慧城市的建设和应用中,将产生从TB到PB级越来越多的数据,从而进入大数据时代。2011年,Science专刊指出大数据时代已经到来,美国工程院院士也指出大数据可以让我们实现海量数据在预测、建模、可视化和发现新规律等方面应用的时代就要到来,奥巴马总统宣布美国政府正式启动大数据研究发展计划,奥巴马认为大数据就是未来世界的“石油”,这个计划要超过以前提出的“信息高速公路计划”,智慧城市建设的潮流已经到来。
空间数据方面,空间的传感器资源,美国有185颗卫星,中国有91颗卫星,到2020年中国将有200多颗卫星,卫星每天往回传输的数据可以达到PB级,空间数据资源、处理资源、空间信息资源、地学知识库资源,这些资源都可以传到网上,通过可视化的服务,利用云计算环境,包括计算资源、网络资源和存储资源,来保证服务质量。
“天地图”挖掘海量数据
为了充分研究这些海量空间大数据,我们研发了一个软件,叫做“天地图”,“天地图”的数据已经超过了TB级,目前已经超过100TB。利用“4+1”倾斜相机城市三维模型,贵阳做了很多三维建模工作。通过大数据,我们可以监测上海的地表下沉问题,把雷达数据放在一起,进行数据分析和挖掘,自动地、随时地检测地表下沉,不同地区的下沉速度不同,上海大概每年下沉20毫米,远郊区和市中心都在下沉。我们的检测结果同上海市国土局对比,精度可以达到3.9毫米和2.5毫米。我们已经对上海、苏州、天津、广州等很多大城市进行了自动检测。我们还监测了三峡,将来还要监测高铁。
我国已建成世界最大的视频监控网,2005年平安城市计划启动,现在我们已经在全国600个城市安装了超过2000万个摄像头,投资超过3000多亿,摄像头的工作可以帮助我们保证城市的平安、交通的通畅,但是出现了大数据的问题,就是存不起,数据量太大导致无法存储。我们为天津做了一个规划,“十二五”末,天津将安装60万个摄像头,按照公安部的要求,数据要保留3个月,有4600多个PB,1PB等于1000TB,比我们的空间数据还要大,如果这样存下去,一年要花580多亿,相当于去年西藏的GDP。同时,数据也查不准,发现问题以后,用人工去查,查不准,不可能用几十万个人去查数据,超过了人工处理的极限。此外,也防不住,案件破案效率、破案速度、破案质量不高,这是我们面临的一个严峻的问题。
智慧交通方面,中国有13亿人,数据量到了PB级,24小时都有流量,我们要把这些数据保存起来。安防方面,我们要“365天×24小时”管好城市的安防,数据量也很大。智慧养老方面,现在中国超过65岁的老人已经达到2亿到2.5亿,一个人从65岁活到90岁、100岁,如果把变化状态记录下来,可以使老人得到及时的救护和帮助。
目前,大数据依靠云计算和数据挖掘。科学的发展经过了四个时代,最早靠经验,后来靠理论,现在我们进入了数字发现知识的时代,云计算就应运而生,把计算能力、存储能力、交互能力放在云端,这种服务叫云计算服务,出现了基于云计算的信息服务,今天走到了虚拟服务云计算的时代,云计算中心内部的生态链,在一个网络上,除了自身的计算资源之外,我们有一些商人做云服务器、集成服务等,这些人构成了一个链条,这个链条无所不在,为大家服务。
我们现在做了一个遥感云,把海量的遥感数据,复杂的遥感处理与分析方法放在远程的云计算平台上,利用云计算平台弹性的计算能力,用户无需买数据、不需搭建环境,也不需要买软件,只需要选择数据和算法后即可获得计算结果,我们的服务不再是提供一个地铁、提供一个文件拷贝和数据共享,而是基于云计算的注册服务。
遥感云叫做OpenRS-Cloud,开放的遥感云是不收钱的,可以检查任务进来的速度,可以看计算机结果,把数据输入进去,可以直接在浏览器上察看到结果,用户使用非常方便。大家体会一下遥感云服务实例,云系统可以搜索下雨之前的卫星影像,还可以搜索下雨之后的卫星影像,有了这些影像以后自动生成了服务链条,可以得到遥感服务的结果。
位置云可以将手机的导航卫星信号与其他定位相关的传感器信息传输到云计算中心,通过实时解算,实现室内外高精度的手机连续位置定位和实时导航。
地理国情检测需要,灾情报告员需要,土地调查员和城管员都需要,这样的系统可以把外面的卫星定位方法、室内的传感器定位方法、无线信号定位方法揉在一起,叫做混合定位。北斗正在做服务云,中国北斗从2012年已经开始全面运营,有120字短报文特性,我们做了增强系统,按照220公里的距离,可以保证导航精度一秒钟十个精度,在60公里以内,可以实现区域三频厘米级精密定位。如果用GPS,信号完好率达44%,初始化时间只有40多秒。
我们推荐的是GPS双频加北斗三频,可以保证平面精度1厘米、高程精度3.6厘米,提高了30%,完好率达100%,初始化时间只有6秒。
现在运营商做这个软件,精密定位可能收1毛或者2毛,高精度导航性能分析,可用于智慧交通中的车辆控制和智能驾驶,物质的运送只能在慢车道,原来控制不住,有了米级精度便可以控制,如果犯规了,指挥中心可以实时了解。
数据挖掘方面,我们现实世界的数据不是我们需要的,我们需要的是信息,最后要的是知识,我们要从海量数据中挖掘、发现我们所需的知识。
视频数据挖掘,要把安全行为进行智能分析,视频数据自动理解,从而实现视频数据自动压缩,把PB数据压缩下来,要推行智能设备就要解决一些问题,例如人体异常行为检测,异常事件检测,这是公安部门最感兴趣的。如果计算机能做,可以对目标进行跟踪,这就是我们需要的,自动地对物体中的运动目标进行检测、分离、跟踪,对其行为进行有效识别,如果有了这个软件,视频数据就能充分利用,正常人的活动可以删去,只把可疑的数据留下来。
智慧城市是基于数字城市、物联网和云计算建立的现实世界与数字世界的融合,以实现对人和物的感知、控制和智能服务。感知是数字城市的功能,控制和智能服务是智慧的高级阶段,智慧城市对经济转型发展、城市职能管理和对大众的智慧服务具有广阔的前景,使得人与自然更加协调。
做这件事情并不容易,首先要让大家把网络基础设施建设好,让大家用的好、用的起,如果大家用不好、用不起,智慧化就等于零。专家和企业应该抓好技术创新和攻关研究,拉动智慧城市引起的数字服务产业的发展,更好地实现各种智能化的应用。
智慧城市建设是一把手工程,城市一把手要根据每个城市的特点做好顶层设计,统一规划,分步实施。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03