京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据环境下的智慧城市建设
前言:大数据时代的到来打破了数据的垄断,信息源的扩大化和丰富化是大数据时代的重要特点。在可以预见的未来,大数据将遍布城市各个角落,不管是人们的衣食住行,还是城市的运营管理,都将在大数据支撑下走向“智慧化”,而大数据将为智慧城市提供“智慧引擎”。
智慧城市推动大数据概念
据统计,目前我国常住人口城市化率已达到50%,逐渐形成了以北上广深等特大城市为中心的,多层次、功能互补的城市群。国际上主流学者认为一个较为理想和稳定的城市人口占总人口的比例应在75%左右,所以在未来较长时间内,中国城市化仍处在大规模加速过程中,据估计未来中国城市化进程还将延续30年。这一趋势伴随着城市化进程和城市体系与空间分布的快速变化,此外,社会管理问题也越来越突出,例如候鸟式劳工迁移问题,交通效率快速下降,空气、淡水、食品安全等问题。如何将日益丰富的各类信息资料,通过处理来积极地影响城市正常运行是一个主要问题。智慧城市结合大数据将是应对上述问题的现阶段最佳解决方案。
从智慧城市的体系结构来看,由于智慧城市的基础在于物联网技术,因此智慧城市体系结构和物联网的体系结构相类似,也可分为感知层、传输层、平台层、应用层。智慧城市相对于数字城市来说,最大的区别在于对感知层获取的信息进行了智慧的处理,因此也可以认为智慧城市是数字城市的升级版。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入大数据处理技术。
智慧城市与大数据实践经验
从国家政策来看,中国“863计划”智慧城市项目总体技术体系架构在科技部863计划“智慧城市(一期)”项目的支持下,863计划智慧城市项目(一期)总体组提出了“六横两纵”的智慧城市技术框架。“六横”层层递进,最下层的是城市的感知层,再是传输层,再上面依次分别是处理层、支撑服务层、应用服务层,最上面是智慧应用层,贯穿全局的是安全保障体系以及标准与评测。而要真正实现智慧城市,必须引入大数据技术,主要包含三大方面的需求,通过以下三个方面才能实现海量数据的搜集、处理、加工、分析,并真正作用于具体细分行业:
大数据融合技术
我国智慧城市建设面临的重大挑战之一,是城市系统之间由于标准问题无法有效集成,形成信息孤岛。因此,在大数据融合技术领域,一方面要加强大数据标准建设,另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发,为给予底层数据集成的信息共享提供标准和技术保障。
大数据处理技术
大规模数据在智慧城市系统流动过程中,出于传输效率、数据质量与安全等因素的考虑,需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合,这也是目前国际产业界普遍采用的技术方案。
大数据分析和挖掘技术
相比于大数据融合和处理技术,大数据分析与挖掘技术更为复杂,是国际学术界和产业界面临的极具挑战性的技术难题。
随着大数据技术的不断发展,以及行业用户对大数据技术的需求日益增长,大数据行业应用遍地开花。笔者通过对智慧城市大数据应用的探索,分享一些国内外的实际案例供读者借鉴。
国内的智慧城市
2013年3月,北京市的“智慧朝阳服务网”正式上线。通过大数据技术的处理、分析手段,从支撑库提炼出数据后发送到服务管理系统,然后通过服务门户,包括微信、微博、移动应用、服务网站、机顶盒等多元化的方式与不同的用户群体进行沟通。
国外的智慧城市
瑞典首都斯德哥尔摩市政府在通往市中心的道路上设置了18 个路边控制站,通过使用RFID 技术以及利用激光、照相机和先进的自由车流路边系统,自动识别进入市中心的车辆,自动向在周一至周五(节假日除外)6 :30 到18 :30 之间进出市中心的注册车辆收税。通过收取“道路堵塞税”减少了车流,交通拥堵降低了25%,交通排队所需的时间下降50%,道路交通废气排放量减少了8% - 14%,二氧化碳等温室气体排放量下降了40%。
智慧医疗英特尔协助用友医疗制定了基于英特尔大数据解决方案的区域卫生数据中心建设目标,在锦州区域卫生数据中心形成了完整的大数据解决方案。经过反复测试和调优,这一区域卫生大数据计算架构可以满足海量数据(一亿条以上记录数)的高并发检索和实时数据分析的性能要求,满足了“智慧”的大数据需求。
智慧警务
通过充分利用云计算、物联网、大数据和视频智慧分析技术、GIS(地理信息系统)、GPS(全球定位系统)、移动通信网络、移动警务智能系统、数字集成等前沿科技,实现警务工作现代化、智能化、流程化、可视化。
智慧交通
郑州建立智能公交系统,使公交车信息就在地图上显示出来:如最近的一辆公交车还有5 分钟到站,满员;下一辆公交车还有10 分钟到站,有空座,可以选择乘坐;下楼2 分钟,走到站台1 分钟,余下7 分钟,还有时间坐下喝杯热茶。
智慧消防
广州建立智能消防系统,报警人只需拨打119,系统将立刻定位报警人当前位置,并调用位置所在区域监控摄像头,确定灾情地点和火势情况。
安防行业的大数据如何应用?
2012年7月21日,北京遭遇了一场61年不遇的特大暴雨。北京市区路段严重积水、交通中断、市政水利工程多处受伤、众多车辆被淹造成人员伤亡。灾难过后,城市管理者意识到城市的安防必须长远规划、着眼于长效根本的解决之道,亟待综合治理。安防行业由于受到自身业务特点及行业内厂商研发方向的限制,大数据应用在安防行业的进展一直不够深入。但安防行业与大数据的契合度较高,尤其是对视频监控数据、智能交通数据关注度越来越高。例如海康威视将大数据应用于视频图像的采集、传输、存储、管理、展示和挖掘等方面,解决了海量数据的存储、调取和管理难题。
在安防与防灾领域,通过大数据的挖掘,也可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力等。除了对历史数据的挖掘采集,实时数据的挖掘也是未来的一种趋势。通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市安防提供强大的决策支持,强化城市管理服务的科学性和前瞻性。海康威视将大数据流式计算框架Spark应用于智能分析技术,极大地提高了实时性分析效率,为安防领域与大数据技术结合提出了方向。
此外,数据处理服务通过智慧城市公共支撑平台对数据进行分析,从中挖掘价值,寻找关系。数据处理技术包括机器学习、数据挖掘和复杂事件处理等。传统的机器学习、数据挖掘在处理面对海量、异构的智慧城市数据时效率低下,通过分布式计算框架改进,提升处理速度。根据数据处理要求的实时性与否,可分离线处理和在线处理。应急防灾类智慧城市应用具有实时、在线处理的要求,数据处理服务要及时预测结果,为城市管理者提供决策支持。对于离线处理的数据,通常保存在分布式数据库和分布式文件系统,均可基于Hadoop MapReduce等分布式计算框架分析该类数据,并可通过Apache Mahout等数据挖掘工具对数据进行深入研究。
对于需要在线实时处理的数据,如流式数据,其数据处理的方法与离线数据区别很大。多个传感器按照小周期采集的数据、多个摄像头采集的视频数据等属于流式数据。流式数据与离线处理的数据最大区别是数据处理要快,数据处理要及时。复杂事件处理(Complex Event Processing,CEP)技术是一种数据处理引擎,来捕捉不同来源的各种简单事件或事件流,根据预先定义的事件模型,实时、高效地发现海量事件之间的关系或推断出更有意义的事件,提供决策依据。
汲取国外经验,加大软件建设力度
欧美发达国家在智慧城市的建设上非常重视软件建设,只有掌握了数据,才能做出合理的分析,才能总结出公共安全的客观规律,真正提升应急管理能力,进而根除城市安防交通、灾害等一系列的问题。近几年国内在智慧城市的建设上只重视硬件建设,而忽视软件和信息系统建设。智慧城市的建设,需要软硬结合,我国应该汲取国外的先进经验,加大软件建设的力度,真正掌握建设智慧城市的主动权。
大数据时代的到来打破了数据的垄断,信息源的扩大化和丰富化是大数据时代的重要特点。在可以预见的未来,大数据将遍布城市各个角落,不管是人们的衣食住行,还是城市的运营管理,都将在大数据支撑下走向“智慧化”,而大数据将为智慧城市提供“智慧引擎”。
此外,应该明确智慧城市是城镇化进程的下一个阶段,是城市信息化的新高度,是现代城市发展的远景。无线城市、数字城市、平安城市、感知城市是智慧城市的必要条件。诚信城市、绿色城市、健康城市、人文城市是智慧城市应有之意,智慧城市产生大数据,大数据反过来支撑智慧城市。智慧城市与大数据技术相结合一定会有璀璨的明天!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在业务数据分析中,按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常 ...
2026-07-29在机器学习建模与特征工程实践中,判断不同特征对模型预测效果的贡献度,是特征筛选、模型解释、业务归因的核心环节。特征置换重 ...
2026-07-29 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-07-29【核心关键词】岗位、数字化、经验、课程、方法论、决策、企业、大方向、数据分析、销售管理、理论知识、思维方式、分析销售、 ...
2026-07-28在问卷调研、用户分群、效果对比等业务数据分析中,分类变量的关联性与差异性验证是高频需求。卡方检验作为针对离散分类数据的经 ...
2026-07-28 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-07-28在Excel数据分析与报表制作中,数据透视表是快速完成多维度汇总、分组统计的核心工具。很多从业者在得到透视表汇总结果后,为了 ...
2026-07-27 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-07-27当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运转的核心动能、滋养人工 ...
2026-07-27【核心关键词】客户、数据分析、指标体系、数据采集、数据指标、业务数据、分析思路、业务需求、分析方法 【专访摘要】本次 CDA ...
2026-07-24在数据分析、业务建模与数字化运营体系中,原始业务数据普遍存在缺失、重复、异常、口径不一致等质量问题,直接用于分析与建模会 ...
2026-07-24 很多数据分析师能熟练计算均值、标准差,但当被问到“如何用一张图让业务方3秒内看懂核心结论”“面对不同数据类型该怎么选 ...
2026-07-24在数据驱动的精细化运营体系中,指标是业务判断、效果复盘、策略优化的核心依据。随着企业数据化程度提升,指标数量持续膨胀,但 ...
2026-07-23在用户运营与产品增长体系中,留存是衡量产品真实价值与用户粘性的核心标尺,也是决定用户生命周期价值、获客投产比的底层因素。 ...
2026-07-23 很多数据分析师精通Excel、SQL、Python等工具,但当被问到“面对一个具体的业务问题,该用什么分析方法”“描述性分析和诊断 ...
2026-07-23【核心关键词】埋点、产品、互联网、数据库、决策、数据分析、产品经理、商业模式、移动互联网、指标体系、运营模块、大数据平 ...
2026-07-22在高并发、大数据量的业务系统中,单表数据量达到千万级甚至亿级后,会出现查询性能骤降、索引维护成本飙升、存储扩容困难等问题 ...
2026-07-22 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-07-22在金融风控、企业运营、行业研究等数据分析场景中,大量数据以面板数据形态存在:例如多家分支机构连续多个季度的风险指标、多位 ...
2026-07-21 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-07-21