京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据、云技术在公安实战系统中的应用趋势
目前,业内人士对大数据、云技术恐怕是耳熟能详,但究竟什么是大数据、云技术?对于公安实战系统来说,大数据、云技术又能带来哪些便利?是概念的炒作还是真的能融入到公安业务中,并内化为公安实战系统的技术和工具?本文中,我们一起探讨大数据、云技术在公安实战系统中的应用趋势。
一、常规数据库无法满足公安实战业务需求
近年来,平安城市建设飞速发展,各个街道、十字路口随处可见各种摄像机设备。它们为公安的日常治安和侦查办案提供了很大的方便。但随着设备数量的增加,视频分辨率的提高,公安搜集到的视频和图片的数据量呈几何倍增长。再加上视频分辨率的不断提高对服务器处理能力和使用率提出了更高的要求。这样,视频图像的调阅、存储、计算在技术上都面临巨大挑战。因此,公安干警如何能快速在日益增长的海量数据中获得有价值的信息就成为了亟待解决的问题。
以卡口数据为例,目前普通的二线城市每天的车辆通行记录就有1000万以上,存储半年就有18亿条数据,而存储一年的数据量就有36亿。而一线城市的数据还要比这个高很多。这些卡口数据包括了车牌号、车身颜色、车型等一系列结构化信息以及卡口图片。公安用户在对嫌疑车辆排查时,想在动辄几十亿条的数据中进行检索,常规的数据库是无法满足用户实战需求的。想象一下,如果公安干警查询一个嫌疑车牌号就需要几十秒甚至更长的时间,如何能实现快速定位和抓捕?
二、大数据技术使得海量数据的快速检索和数据挖掘成为可能
大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合(维基百科)。现在公安业务中海量的视频和图片也在逐渐变为常规软件工具难以处理的数据集合了。大数据技术目前在公安行业中的应用还主要在卡口数据中。这是因为各个城市的卡口建设已非常成熟,而卡口每天产生的数据量庞大。
如前文所述,要想处理海量的卡口数据,并进行各个维度的检索,就需要大数据技术的支持。另外,由于车辆特征识别技术已非常成熟,卡口的结构化数据准确度非常高,这些数据已经具备给公安提供可靠数据参考的基础。基于以上条件,卡口系统最先引进了大数据技术。
大数据技术可以为公安业务带来的第一个便利是检索。它可以在几十亿甚至上百亿的卡口数据中实现秒级的检索速度,还可以提供车型、车辆类型、车辆颜色、车牌颜色、精确车牌和模糊车牌等多个维度的检索,可以真正的满足公安用户的实战需求。
第二个便利是大数据技术可以在海量的卡口数据中进行数据挖掘,提取出对公安用户真正有价值的信息。例如轨迹分析、跟车分析、碰撞分析、昼伏夜出等。大数据技术可以实现以前技术无法实现的快速检索和大数据挖掘,真正实现了公安对卡口大数据的有效利用。
除了在卡口系统中的应用,视图库对大数据也有很大的需求。首先,随着摄像机的不断增多,平台存储的视频越来越多,能够快速处理大量视频文件的需求也越来越大。其次,与卡口一样,大量视频中的结构化信息会形成海量的数据,在海量的视频数据中进行检索和数据挖掘也是公安的一个巨大需求。但目前对海量视频的大数据处理技术并不成熟,而且各级公安所建的视图库很多还没有被充分的利用起来或各部门的视图库并没有统一。这些都暂时限制了视图库大数据的快速发展。
但随着技术的发展和公安对视图库的标准化,视图库大数据应用必然是日后大数据技术在公安业务中应用的趋势。在视频处理方面,随着视频数量的不断增多、分辨率的提高,对视频处理的速度提出了更高的要求。而大数据技术产生于互联网领域,但在处理视频文件方面并不是最适合的。
以Hadoop为例,MapReduce是一个产生于互联网的编程模型,将任务切分也可以移植到对视频文件的处理上。将视频文件切分为多个视频片段分配给各个计算节点处理,从而大大的缩减视频处理的时间,提高公安工作效率。因此,将大数据技术转变为适合处理视频文件的技术是未来技术发展的趋势。
三、云技术能够提高资源使用率和数据安全性
传统的平台部署方式是纯粹的物理机,并且每个机器上部署不同的软件来实现不同的功能。很多时候都会出现某个功能平时需求不大时它所占用的硬件资源会有剩余,但在业务需求很大的某些时段,硬件资源又会经常不够用。这是因为传统的硬件资源会死板的划分为各个孤岛,资源之间没有任务联系,更没有能够动态调配资源的能力。这样的资源低使用率和资源的僵化死板已经越来越成为限制公安实战业务的瓶颈之一。
云技术是最近几年互联网行业广泛应用的技术,它包括云计算技术和云储存技术两部分。云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作或与服务供应商进行很少的交互。
这是NIET(美国国家标准与技术研究院)给出的云计算的定义,主要是突出云计算可提高资源的使用率和便捷快速的特点。云计算技术现在已经在各级公安的平台中获得了一定的使用。云计算可实现物理资源虚拟化,可将所有的硬件资源虚拟为一个资源池,所有的硬件资源都可以按需分配。当需要资源时,用户可按照需求创建符合性能要求的虚拟机。例如,当用户对布防布控需求高时,可创建出多台虚拟机支撑。当布防布控的需求变少时,多出的虚拟机可回归资源池支持别的功能。实现整个资源池的资源动态分配,大大提高了系统的资源使用率。
在公安行业,随着摄像机数量的增长和分辨率的提高,对视频的存储空间需求也在增长。而视频的快存快取、数据的安全性、存储池的动态扩展对存储系统提出了新的需求。云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储采用数据切片存储和并行读写的特点满足了视频快存快取的需求。云存储的跨节点冗余备份机制可以进一步提高系统数据的安全性。最后,云存储横向动态扩展的特性保证了系统在不改变的情况下,可以任意添加存储资源到资源池中,极大的提高了系统的可扩展性。
云计算和云存储拥有着诸多的优点,虽然目前在公安的平台中使用率还不高,但随着技术的进一步成熟,必将成为公安实战系统的未来发展趋势。
四、结语
大数据和云技术起源于互联网,它们天生拥有着众多的优点,而这些优点又恰恰能为公安的实战应用提供多方面的便利和好处。相信随着技术不断的从互联网向公安行业的定制化移植,大数据、云技术必将成为公安实战系统的技术发展趋势。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16