
大数据、云技术在公安实战系统中的应用趋势
目前,业内人士对大数据、云技术恐怕是耳熟能详,但究竟什么是大数据、云技术?对于公安实战系统来说,大数据、云技术又能带来哪些便利?是概念的炒作还是真的能融入到公安业务中,并内化为公安实战系统的技术和工具?本文中,我们一起探讨大数据、云技术在公安实战系统中的应用趋势。
一、常规数据库无法满足公安实战业务需求
近年来,平安城市建设飞速发展,各个街道、十字路口随处可见各种摄像机设备。它们为公安的日常治安和侦查办案提供了很大的方便。但随着设备数量的增加,视频分辨率的提高,公安搜集到的视频和图片的数据量呈几何倍增长。再加上视频分辨率的不断提高对服务器处理能力和使用率提出了更高的要求。这样,视频图像的调阅、存储、计算在技术上都面临巨大挑战。因此,公安干警如何能快速在日益增长的海量数据中获得有价值的信息就成为了亟待解决的问题。
以卡口数据为例,目前普通的二线城市每天的车辆通行记录就有1000万以上,存储半年就有18亿条数据,而存储一年的数据量就有36亿。而一线城市的数据还要比这个高很多。这些卡口数据包括了车牌号、车身颜色、车型等一系列结构化信息以及卡口图片。公安用户在对嫌疑车辆排查时,想在动辄几十亿条的数据中进行检索,常规的数据库是无法满足用户实战需求的。想象一下,如果公安干警查询一个嫌疑车牌号就需要几十秒甚至更长的时间,如何能实现快速定位和抓捕?
二、大数据技术使得海量数据的快速检索和数据挖掘成为可能
大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合(维基百科)。现在公安业务中海量的视频和图片也在逐渐变为常规软件工具难以处理的数据集合了。大数据技术目前在公安行业中的应用还主要在卡口数据中。这是因为各个城市的卡口建设已非常成熟,而卡口每天产生的数据量庞大。
如前文所述,要想处理海量的卡口数据,并进行各个维度的检索,就需要大数据技术的支持。另外,由于车辆特征识别技术已非常成熟,卡口的结构化数据准确度非常高,这些数据已经具备给公安提供可靠数据参考的基础。基于以上条件,卡口系统最先引进了大数据技术。
大数据技术可以为公安业务带来的第一个便利是检索。它可以在几十亿甚至上百亿的卡口数据中实现秒级的检索速度,还可以提供车型、车辆类型、车辆颜色、车牌颜色、精确车牌和模糊车牌等多个维度的检索,可以真正的满足公安用户的实战需求。
第二个便利是大数据技术可以在海量的卡口数据中进行数据挖掘,提取出对公安用户真正有价值的信息。例如轨迹分析、跟车分析、碰撞分析、昼伏夜出等。大数据技术可以实现以前技术无法实现的快速检索和大数据挖掘,真正实现了公安对卡口大数据的有效利用。
除了在卡口系统中的应用,视图库对大数据也有很大的需求。首先,随着摄像机的不断增多,平台存储的视频越来越多,能够快速处理大量视频文件的需求也越来越大。其次,与卡口一样,大量视频中的结构化信息会形成海量的数据,在海量的视频数据中进行检索和数据挖掘也是公安的一个巨大需求。但目前对海量视频的大数据处理技术并不成熟,而且各级公安所建的视图库很多还没有被充分的利用起来或各部门的视图库并没有统一。这些都暂时限制了视图库大数据的快速发展。
但随着技术的发展和公安对视图库的标准化,视图库大数据应用必然是日后大数据技术在公安业务中应用的趋势。在视频处理方面,随着视频数量的不断增多、分辨率的提高,对视频处理的速度提出了更高的要求。而大数据技术产生于互联网领域,但在处理视频文件方面并不是最适合的。
以Hadoop为例,MapReduce是一个产生于互联网的编程模型,将任务切分也可以移植到对视频文件的处理上。将视频文件切分为多个视频片段分配给各个计算节点处理,从而大大的缩减视频处理的时间,提高公安工作效率。因此,将大数据技术转变为适合处理视频文件的技术是未来技术发展的趋势。
三、云技术能够提高资源使用率和数据安全性
传统的平台部署方式是纯粹的物理机,并且每个机器上部署不同的软件来实现不同的功能。很多时候都会出现某个功能平时需求不大时它所占用的硬件资源会有剩余,但在业务需求很大的某些时段,硬件资源又会经常不够用。这是因为传统的硬件资源会死板的划分为各个孤岛,资源之间没有任务联系,更没有能够动态调配资源的能力。这样的资源低使用率和资源的僵化死板已经越来越成为限制公安实战业务的瓶颈之一。
云技术是最近几年互联网行业广泛应用的技术,它包括云计算技术和云储存技术两部分。云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作或与服务供应商进行很少的交互。
这是NIET(美国国家标准与技术研究院)给出的云计算的定义,主要是突出云计算可提高资源的使用率和便捷快速的特点。云计算技术现在已经在各级公安的平台中获得了一定的使用。云计算可实现物理资源虚拟化,可将所有的硬件资源虚拟为一个资源池,所有的硬件资源都可以按需分配。当需要资源时,用户可按照需求创建符合性能要求的虚拟机。例如,当用户对布防布控需求高时,可创建出多台虚拟机支撑。当布防布控的需求变少时,多出的虚拟机可回归资源池支持别的功能。实现整个资源池的资源动态分配,大大提高了系统的资源使用率。
在公安行业,随着摄像机数量的增长和分辨率的提高,对视频的存储空间需求也在增长。而视频的快存快取、数据的安全性、存储池的动态扩展对存储系统提出了新的需求。云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储采用数据切片存储和并行读写的特点满足了视频快存快取的需求。云存储的跨节点冗余备份机制可以进一步提高系统数据的安全性。最后,云存储横向动态扩展的特性保证了系统在不改变的情况下,可以任意添加存储资源到资源池中,极大的提高了系统的可扩展性。
云计算和云存储拥有着诸多的优点,虽然目前在公安的平台中使用率还不高,但随着技术的进一步成熟,必将成为公安实战系统的未来发展趋势。
四、结语
大数据和云技术起源于互联网,它们天生拥有着众多的优点,而这些优点又恰恰能为公安的实战应用提供多方面的便利和好处。相信随着技术不断的从互联网向公安行业的定制化移植,大数据、云技术必将成为公安实战系统的技术发展趋势。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01