
大数据安防应用中的三种关键技术及五大挑战
在安防行业,随着前端设备分辨率的不断提高、安防系统建设规模的不断扩大以及视频、图片数据存储的时间越来越长,安防大数据问题日益凸显。如何有效对数据进行存储、共享以及应用变得愈加重要。要应用安防大数据,首先要了解安防大数据有何特点。
安防大数据涉及的类型比较多,主要包含结构化、半结构化和非结构化的数据信息。其中结构化数据主要包括报警记录、系统日志、运维数据、摘要分析结构化描述记录以及各种相关的信息数据库,如人口库、六合一系统信息等;半结构化数据如人脸建模数据、指纹记录等;而非结构化数据主要包括视频录像和图片记录,如监控、报警、视频摘要等录像信息和卡口、人脸等图片信息。区别于其他行业大数据特点,安防大数据以非结构化的视频和图片为主,如何对非结构化的数据进行分析、提取、挖掘及处理,对安防行业提出了更多挑战。
对于安防视频图像数据,传统的处理方式主要靠事后人工查阅来完成,效率极低。面对海量的安防数据,如果继续采用传统方式,不仅效率低下,而且不能达到实战应用目的,偏离了安防系统建设目的。为充分利用安防系统价值,提升对安防大数据的应用能力,大华股份从多层次、全方位考虑产品和方案规划,不断提升对于安防有效信息的快速挖掘能力。
要提升安防大数据的处理效率,首先要从智能分析做起,快速过滤无效信息。大华智能分析从多维度、多产品形态来实现。如对于事件检测、行为分析、异常情况报警等,大华前端、存储以及平台系统产品都能够快速实现智能检测,并通知系统对事件进行快速响应,这些产品从某种层面上将安防有效数据的分析分散化,大大加快了整个系统的大数据处理应用速度。此外,大华还推出了基于云存储系统的大数据应用系统,如视频编解码系统、车辆研判系统、以图搜图系统、视频浓缩摘要系统、人脸识别系统以及车型识别系统等等。
大数据安防应用的几种关键技术
1)大数据融合技术
经过十几年的发展,国内安防系统建设基本形成了是以平安城市、智能交通系统为主体,其他行业系统有效完善的发展态势。而“重建设、轻应用”的现况给安防应用提出了更高要求,如何解决这些问题成为当务之急。
为实现数据融合、数据共享,首先要解决存储“分散”问题,大华云存储系统不仅能够实现数据的有效融合与共享,解决系统在硬件设备故障条件下视频数据的正常存储和数据恢复问题,为安防大数据应用分析提供可靠基础。
2)大数据处理技术
安防大数据以半结构化和非结构化数据居多,要实现对安防大数据的分析和信息挖掘,首先要解决数据结构化问题。所谓的数据结构化就是通过某种方式将半结构化和非结构化数据转换为结构化数据。大华通过采用先进的云计算系统对安防非结构化数据进行结构化处理,为大数据的进一步分析和应用提供进一步支持。
3)大数据分析和挖掘技术
国内平安城市历经十几年的建设,在解决了稳定性、规模化之后,当下面临的问题是如何深化应用的问题,即如何实现公安部的要求,建为用、用为战的目标,实现对安防系统的深层次应用。
对安防大数据而言,要实现业务的深层次应用,首先需要对安防数据进行分析和挖掘,以云存储和云计算系统为基础,通过云计算系统实现对“大数据”的快速分析,如基于云的车牌识别,可通过对海量视频的分析,快速提取海量车牌信息,并通过应用系统对相关数据进行深一步挖掘、关联,形成有效“档案”。最后利用这些分析和挖掘的数据实现对事件的预测预防、报警,最终实现安防系统建设的实战应用目的。
大数据成熟行业应用
安防视频监控行业是伴随着平安城市、智能交通而发展起来了,新一轮的智慧城市建设也为安防行业的再次发展注入了“兴奋剂”。随着各地安防系统建设规模不断增大,安防数据迅速膨胀。由于缺乏适当的手段去利用这些海量数据,导致了“重建设、轻应用”现象,下面就安防大数据在公安和交通行业的应用进行简单介绍。
1)公安执法
在公安行业,大数据应用无处不存,下面简单介绍一下大数据应用在公安行业几个业务体现。
第一是稽查布控业务。当案件发生后,需要对嫌疑车辆进行稽查布控,一般采用布控车牌号,通过系统比对卡口车辆信息进行识别,但这种方式存在问题。当布控车辆从某个卡口经过时,拦截人员通常不在现场,等到拦截人员赶到现场时,嫌疑车辆早已逃之夭夭,从而失去布控的意义。对于这种情况,可实现移动警务、GIS系统有效关联,通过在GIS系统中绘制嫌疑车辆逃跑路线和防控识别圈,可大大提高拦截效率;
第二是车辆落脚点分析业务。随着城市的快速发展,城市越来越大,路网也越来越复杂,为迅速逃脱公安机关的抓捕,很多犯罪分子避开城区主干道(一般来说,城区主干道都装有电子卡口),逃窜到人员比较多的小区或偏僻区域。大华股份通过建设云卡口,通过视频实现卡口相机功能,对海量数据进行云卡口识别,结合GIS系统,将嫌疑车辆轨迹描绘出来,大大提高公安办案效率。
第三是伴随车辆分析。由于公众安全防范意识的不断提高,犯罪分子独立实施犯罪行为的成功率大大降低,因此,新时期的犯罪行为,开始表现为团伙作案。在踩点和作案时,犯罪团伙通常会使用多辆汽车,以提高成功率。从卡口系统的角度看,团伙作案具体表现为多辆车同时出没于特定卡口覆盖范围,利用该特征,我们可以从海量的卡口车辆数据中,提取满足特定条件(如车辆行进路线、车辆通行间隔时间、跟车数量以及分析起止时间范围等)的车辆,提高案件侦破效率。此外,在公安行业还有基于人脸识别的人脸卡口、视频摘要等安防大数据应用。
2)智能交通
第一是旅行时间计算。由于电子狗的大量使用,不少驾驶员在通过卡口时,会主动降低速度,一旦离开卡口覆盖范围,又会迅速提高速度,超速行驶。传统的单点测度无法发现这种超速行为,利用区间测速便可快速检测违章行为,且可减少区域卡口数量,节省建设成本。而当发现相同车牌在相距较远卡口同时出现时,还可检测出套牌车辆,并可通知相关人员进行拦截追捕。
第二是交通流量分析。对于交通流量的检测,传统方式是通过地磁、微波检测完成的,但这种检测只能检测车辆数量,却无法检测相关车牌号,这就限制了传统流量分析的应用场景,智能对单一路段进行分析,无法形成全局的流量分析。而卡口系统记录了车辆号码、车身颜色、车型等更多详细信息,基于卡口系统的流量分析,不仅可计算出城市各小区机动车数量分布,指导出行目的地分析、出行路线分析等应用,而且能够根据车辆流量信息找出城市热点区域,为交管部门提供参考,更好地优化路网机制,规划更为合理的路网参数。
此外,还可通过智能分析系统,对卡口数据进行深层次分析与挖掘,不仅识别车辆车牌号,而且实现对车辆品牌、车辆型号、是否粘贴年检标识、驾驶员是否系安全带、是否驾驶时拨打电话等一些行为状态识别,从而进一步规范车辆达标和安全驾驶行为。
大数据安防面临的挑战
(1)海量非结构化数据存储
相较于其他行业,安防非结构化的数据存储压力不断增大,一方面源于视频、图片等非结构化数据本身容量,另一方面源于安防数据规模的不断扩大,安防大数据存储对系统设备提出了更高挑战,如何在满足需求的前提下,删除重复数据、降低存储硬件成本投资成为海量数据存储的一个难题
(2)数据共享
大数据需要通过快速的采集、发现和分析,从大量化、多类别的数据中提取价值。安防大数据时代最显着的特征就是海量和非结构化数据共享,用以提高数据处理能力。而海量数据存储在不同系统、不同区域、不同节点、不同设备中,这给数据的传输和共享带来极大的挑战:
(3)数据安全
视频监控数据具有私密性高、保密性强等特点,不仅是事后追查的依据,而且更是后续数据分析挖掘的基础。因此,数据安全一方面体现在数据不受外界入侵或非法获取,另一方面体现在庞大数据系统的鲁棒性、体系容错机制,确保硬件在发生故障时数据可以恢复,可以继续保存。面对海量数据的存储、共享、硬件和软件设备承载的极大风险,如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是安防行业面临的重大考验;
(4)数据利用
安防监控虽然数据量很大,但真正有用的信息并不多。安防数据的有效性分为两个方面,一方面有效信息可能只分布在一个较短的时间段内,根据统计学原理,信息呈现幂率分布,往往越高密度的信息对客户价值越大;另一方面,数据的有效性体现在深层次挖掘庞大的海量数据,关联得出有效信息。视频监控业务网络化、大联网后,网内的设备越来越多,利用网内的闲置资源,实现资源的最大化利用,关乎运算的效率。在视频监控领域,往往视频分析的效率决定价值,更低的延迟、更准确的分析往往是客户的普遍需求。如何对海量的视频数据进行分析检索业对行业提出更大的挑战。
(5)缺乏统一标准
国内安防行业经历十几年的快速发展,在此发展过程中,平安城市建设表现卓越,在安防应用中也一直走在前列,国内平安城市系统的建设也不断推动着国内安防技术和安防厂商的发展。在平安城市项目的建设过程中,由于参与的安防厂家众多,不同项目、不同系统甚至同一系统采用的设备厂商也不尽相同,为了更好的兼容各厂商产品,整个安防行业和政府也制定了一些标准,如ONVIF协议、GB28181协议以及各个地方省市发布的一些标准。
新一轮的智慧城市正在紧锣密鼓地进行着,相对平安城市相对“简单”的治安监控,智慧城市要求数据共享,跨区域视频联网监控、监控资源整合与共享以及政府各部门之间的视频监控资源共享等等。但是不同的地方城市,不同的行业类别,不同的管理方式都会有不同的监控系统方案,数据融合或者共享兼容性问题更多,对整个系统建设是重大考验。
平安城市系统面向的是安防行业设备与系统的兼容问题,随着各种行标、地标的制定,各种问题基本得以解决;而智慧城市系统不仅仅是安防系统的整合,而是多个行业系统的集成应用,因缺乏统一标准带来的复杂性可想而知。庆幸的是国家目前已经开始起草智慧城市建设的各种标准,而相关企业也在不断规范自身系统的兼容性和开放性。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26CDA 数据分析师会被 AI 取代吗? 在当今数字化时代,数据的重要性日益凸显,数据分析师成为了众多企业不可或缺的角色 ...
2025-06-26CDA 数据分析师证书考取全攻略 在数字化浪潮汹涌的当下,数据已成为企业乃至整个社会发展的核心驱动力。数据分析师作 ...
2025-06-25人工智能在数据分析的应用场景 在数字化浪潮席卷全球的当下,数据以前所未有的速度增长,传统的数据分析方法逐渐难以满足海 ...
2025-06-25评估模型预测为正时的准确性 在机器学习与数据科学领域,模型预测的准确性是衡量其性能优劣的核心指标。尤其是当模型预测结 ...
2025-06-25CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-06-24金融行业的大数据变革:五大应用案例深度解析 在数字化浪潮中,金融行业正经历着深刻的变革,大数据技术的广泛应用 ...
2025-06-24Power Query 中实现移动加权平均的详细指南 在数据分析和处理中,移动加权平均是一种非常有用的计算方法,它能够根据不同数据 ...
2025-06-24数据驱动营销革命:解析数据分析在网络营销中的核心作用 在数字经济蓬勃发展的当下,网络营销已成为企业触达消费者 ...
2025-06-23随机森林模型与 OPLS-DA 的优缺点深度剖析 在数据分析与机器学习领域,随机森林模型与 OPLS-DA(正交偏最小二乘法判 ...
2025-06-23CDA 一级:开启数据分析师职业大门的钥匙 在数字化浪潮席卷全球的今天,数据已成为企业发展和决策的核心驱动力,数据分析师 ...
2025-06-23透视表内计算两个字段乘积的实用指南 在数据处理与分析的过程中,透视表凭借其强大的数据汇总和整理能力,成为了众多数据工 ...
2025-06-20CDA 一级考试备考时长全解析,助你高效备考 CDA(Certified Data Analyst)一级认证考试,作为数据分析师领域的重要资格认证, ...
2025-06-20统计学模型:解锁数据背后的规律与奥秘 在数据驱动决策的时代,统计学模型作为挖掘数据价值的核心工具,发挥着至关重要的作 ...
2025-06-20Logic 模型特征与选择应用:构建项目规划与评估的逻辑框架 在项目管理、政策制定以及社会服务等领域,Logic 模型(逻辑模型 ...
2025-06-19SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的利器 在数据分析的众多方法中,Mann-Kendall(MK)检验凭借其对数据分 ...
2025-06-19CDA 数据分析能力与 AI 的一体化发展关系:重塑数据驱动未来 在数字化浪潮奔涌的当下,数据已然成为企业乃至整个社会发展进 ...
2025-06-19CDA 干货分享:统计学的应用 在数据驱动业务发展的时代浪潮中,统计学作为数据分析的核心基石,发挥着无可替代的关键作用。 ...
2025-06-18CDA 精益业务数据分析:解锁企业增长新密码 在数字化浪潮席卷全球的当下,数据已然成为企业最具价值的资产之一。如何精准地 ...
2025-06-18