
大数据在智能交通领域的应用
大数据是最近最为火爆的技术概念,尤其是在贵阳召开的大数据博览会之后,大数据已经成为国家和各个城市在IT基础领域下一步的重点发展方向。不论政府、企业还是个人,都在关注如何采集数据,以及如何从数据中挖掘出有用的信息,进而创造社会价值、商业价值。互联网是大数据最早发挥效用的行业,淘宝、京东、亚马逊等电商企业通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。大数据也在重构很多传统行业,通过收集、整理生活中方方面面的数据,进行分析挖掘,从中获得有价值信息,并衍化出新的商业模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。
随着平安城市、智慧城市、工业4.0等项目和技术的推进,物联网大数据逐步成为大数据发展的新方向。对遍布大街小巷的摄像头、各类传感器和工业生产数据等新的大数据来源进行分析挖掘的物联网技术蓬勃发展。安防行业随着高清化、智能化、网络化、数字化的要求,数据量也迅速增加,早在几年前就已踏入大数据的门槛。安防领域的“大数据”一般具有几个特点:首先,数据量巨大,一个地级市30天的视频录像数据就已经是PB级;其次,区别于传统的数据结构,安防领域的数据结构比较复杂,超过 80% 都是非结构化数据,比如智慧型平安城市建设中的视频监控数据、卡口的抓拍照片、智能分析输出的特征数据等;再次,数据更新快,视频监控每秒钟都在进行;最后,这些更个性化的数据在存储后被要求能随机访问,这就要求新的物联网大数据系统更加快捷地处理数据,更具智能地保存和管理数据。
一、大数据技术发展创新
基于大数据的智慧安防在技术方面重点应关注大数据处理技术和智能分析技术。大数据处理技术主要解决数据的采集、存储和分析挖掘问题,而智能分析技术是为了实现对视频的分析和理解,解决视频结构化问题,推动视频数据向视频信息的转变。
大数据应用主要涉及数据整合、数据存储、挖掘应用等多方面和多层次。其中,大数据技术作为大数据应用的基础设施保障至关重要。主要内容包括:
大数据采集和管理技术
(1)可扩展的数据描述规范
数据的快速增长迫切需要一套可扩展的数据描述规范,实现数据描述、数据存储、共享和交换。现阶段,数据的形式主要有源自摄像头采集的视频数据和其他各类复杂结构数据。设计面向多维数据的本体描述框架,可以较全面地描述多维语义内容。
(2)多维数据集成共性技术
数据抽取、转换和加载(ETL)是解决异构多维数据一致性和集成化的有效方案,利用工具将数据按照统一的规则进行集成,完成数据从多数据源向统一目标数据库的转化。
大数据存储技术
规模庞大的感知设备、繁多的业务系统每天产生海量的数据,这些数据既有结构化的,也有半结构化和非结构化的,这为数据的统一描述和存储带来了困难。
(1)资源描述元数据管理技术
资源描述元数据是海量异构数据实现透明访问的基础。通过扩充现有的数据对象和存储资源描述方法,从多个方面描述数据的内在属性(关键字、数据编码格式等)、应用需求(性能、可用性、安全性、持久性等)和资源特性(位置、访问方式、服务能力等),以支持智能分级的存储虚拟化及存储服务。
(2)基于时空域的视频数据管理技术
根据视频数据的时空域属性信息,按需求将空间邻近或时间邻近的视频数据进行归类,并在存储上进行关联存储,同时利用基于语义内容的去冗余技术,提升数据的价值密度。
(3)大数据存储技术
百亿甚至千亿级的结构化数据为存储和查询带来巨大压力,传统的关系型数据库已无法支撑此类应用。采用针对海量数据特性设计的分布式数据存储架构和列式数据库技术,可以较好地满足大数据存储系统可扩展性、高可靠性的要求。
大数据检索和挖掘技术
(1)分布式智能全文检索技术
大数据仅仅依靠单节点进行智能全文检索已远远无法满足性能要求,采用分布式的多节点并行处理技术,能有效缩短响应时间,提高系统性能。
(2)基于图像识别的检索技术
智慧安防中存在海量的图片数据,目前的检索技术还是以特征文本描述检索为主,这需要耗费大量的人力、物力开展特征描述,当数据持续增长时,这将是一个不可能的任务。采用图像识别及模糊匹配技术,能真正满足用户的业务需求,并促进人脸匹配、步态匹配、行为匹配等应用的开展。
(3)关联网络可视化分析
利用可视化分析,将各种不同信息图形化,建立不同数据来源、不同信息之间的公共元素和联系,建立起不同实体之间的关联,从而发现那些隐藏在大数据中的关联性线索和情报。
二、大数据在智能交通领域的应用介绍
近年来,随着经济的快速发展,机动车持有量迅速增加,交通管理现状和需求的矛盾进一步加剧。在此情况下,如何利用先进的科技手段提高交通管理水平,抑制交通事故发生,是当前交通管理部门亟待解决的问题。
针对交通管理部门的需求以及我国的道路特点,可通过整合图像处理、模式识别等技术,实现对监控路段的机动车道、非机动车道进行全天候实时监控和数据采集。前端卡口处理系统对所拍摄的图像进行分析获取号牌号码、号牌颜色、车身颜色、车标、车辆子品牌等数据,并将获取到的车辆信息连同车辆的通过时间、地点、行驶方向等信息通过计算机网络传输到卡口系统控制中心的数据库中进行数据存储、查询、比对等处理,当发现肇事逃逸、违规或可疑车辆时,系统会自动向拦截系统及相关人员发出告警信号,为交通违章查纠、交通事故逃逸、盗抢机动车辆等案件的及时侦破提供重要的信息和证据。同时,随着全城Smart系统的建设,新型的Smart IPC监控前端也将成为一个卡口系统,这使得城市卡口系统更加严密,能够获取到更多的过车数据,能更准确地描绘出车辆动态信息。
前端卡口系统还能及时准确地记录经过卡口的目标信息,随时掌握出入辖区的车辆流量状态,为交通诱导提供重要的参考数据。为了解决海量过车数据分析的挑战,智能交通要转变思路,积极尝试使用大数据技术来解决智能交通数据分析和挖掘问题。
某经济发达地区城市,近一段时间,交通事故频发,由于失驾和毒驾人员造成的恶性交通事件在在人民群众带来恶劣影响。市委领导决定开展一次交通整治行动,重点放在“黄标车、逾期未报废车、套牌车、毒驾失驾人员、遮挡车牌”等重点交通违法行为的整治。除了加大路面巡逻的力度,也要求交警部门通过交通大数据对交通违法行为进行监控与挖掘。
交通大数据主要来源来自交通道路上卡口的过车记录。但是卡口覆盖范围有限,能否从社会资源上获取交通数据?通过协调,交警部门从停车场出入口、加油站、公共停车位等交通流量重点地区调取了监控视频。通过海量视频云分析平台,将监控视频中的车辆相关数据取出,包括车牌、车型、驾驶员特征,并存入大数据平台。
套牌车分析采用两种方案对比。对于本地车辆,通过比对同一个车牌记录中的车型车管库的车型,如果不一致,有可能是套牌车,可以提取出来进行下一步分析。对于外地车辆,采用时空分析方案。同一个车牌如果在同一时间段出现在距离很远的两处,则说明是套牌车,提取出来进行下一步分析。
毒驾和失驾人员是不允许驾驶机动车上路,否则会造成极大的交通隐患。交警部门通过现有的毒驾和失驾人员重点人员库。当卡口部署的是高清卡口,可以将驾驶员头部照片取出。将驾驶员照片和毒驾失驾人员库中的照片进行自动人脸比对,如果相似度较高,说明有可能是毒驾失驾人员,提取出来进行下一步分析。
通过查询卡口过车记录中车牌缺失的车辆,即可查询到车牌被遮挡的车辆。但是光发现车牌被遮挡车辆还远远不够,还需要找到这辆车的真正车牌。这就需要使用交通大数据的以图搜图功能,通过被遮挡车牌车辆的特征在所有过车记录中搜索,找到相似度最高的车辆,提取出来进行下一步分析。
查找过车记录中车辆是否属于黄标车或者逾期未报废车辆。如果属于,提取出来进行下一步处理。
通过以上几种手段对根据通过交通大数据平台分析出来的嫌疑车辆进行仔细排查,确认确实违法的,通过交通大数据平台车辆轨迹分析功能获取嫌疑车活动规律,预先设卡,拦截并处理。
本次整治行动共分析提取了过车记录30多亿条,分析社会视频达到30万小时,提取了70多个子系统的数据。在为期为半个月的整治期内,通过交通大数据平台发现毒驾、失驾司机十多人,套牌车超过八十辆,未报废车十几辆。相关领导对交通大数据平台在本次整治活动中的表现非常满意,并表示“本次整治行动在交通大数据平台协助下,有效并且高效的完成了预定目标”。
三、总结
基于大数据的智慧交通存在多种可能,交通的智能化是根本的趋势,利用大数据技术和智能分析技术,整合城市管理的其他数据,将真正推动智慧交通建设,为交通管理奠定良好的基础。目前大数据技术主要还是应用在交警和交管部门道路,随着交通数据的进一步联网开放,整合停车场、铁路、轨道交通、公交等等各种来源的数据,将可以为城市提供更为丰富的交通应用,让道路畅通,停车位不再难找,提升城市整体运营效率。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15