
如何才能将视频大数据真正应用起来
在这个信息爆炸的时代,每天都有大量各种各样的信息数据产生,怎么发掘这些海量数据的价值成为所有人关注的重点。因此,上至政府部门,下至平头百姓,各行各业对大数据的讨论越来越激烈,大家都在探寻大数据的奥妙和价值。
大数据说起来比较玄乎,实际上已经慢慢地渗透到我们生活的方方面面。以现在越来越普及的网络购物为例,我们在某购物网站中搜索了某些商品,再次登录该网站,甚至是其他的网站,往往就会看到系统自动推荐的与上次搜索相关的商品信息。这就是购物网站应用大数据分析,摸清了用户的消费习惯,精准推送用户可能感兴趣的产品,以更有效地促进用户消费。这是个人购物行为,再更进一步,每年各大购物网站都会发布一些购物指南,得出了一些非常有趣的结论,比如哪个地区男士为女士购买的商品最多;哪个年龄段的网络消费能力更强;同类产品,哪个品牌在某个区域的销量更好等等,这些都是通过大数据分析得到。目前,政府、医疗、互联网等等行业都已经开始了大数据应用。
大数据与安防
虽然大数据在不少行业都已经开始得到应用,并取得了非常不错的效果,但是就安防行业来说,大数据应用之路才刚刚开启。在安防领域,主要的数据来源是视频,与其他行业结构化的数据不一样,视频是一种非结构化的数据,不能直接被计算机进行处理或分析。因此,安防要进行大数据应用,首先就要采用智能分析技术将非结构化的视频数据转换成计算机能够识别和处理的结构化信息,即将视频中包含的各种信息(主要是运动目标及其特征)提取出来转成文字描述,这样才能通过计算机来对这些视频进行搜索、比对、分析等。但是,早期安防行业并没有有效的技术手段来展开这项工作。
智能分析技术其实很早就已经应用于安防行业,只不过受限于智能分析算法本身以及摄像机的硬件性能,早期主要是通过智能分析服务器来实现视频图像的智能识别和分析,但这种方式存在一个致命的缺陷——成本过高。一台刀片式服务器价格在六七万左右,而一台服务器只能识别七、八路1080P高清监控录像。以一个中等规模的城市为例,整体建设可能有十来万个监控点,即使只做2000路智能分析,也要两百多台服务器,这个成本是相当可观的。除了服务器的设备成本之外,还有服务器的能耗、所占场地、数据中心的网络设备、后期维护等成本,这些成本不比购买服务器的成本低。正是服务器这种智能分析模式因为成本过高无法规模化应用,所以视频信息无法大规模转换成结构化的数据,安防大数据也就一直无法落到实地。
随着智能分析算法的逐步成熟,以及摄像机硬件性能的不断提升,越来越多企业开始考虑将更多智能识别算法前置到摄像机中,毕竟摄像机本身的成本增加是可以预见的。在安防业内,以科达为代表的感知型摄像机这类智能摄像机的推出,比较经济有效地解决了视频数据结构化的问题,为安防大数据应用打下了基础。
除了视频数据的非结构化外,与其他行业相比,安防行业的大数据还有一些典型特征,这些特征对存储系统提出了更高的要求。比如视频的数据量特别大,且还在不断增多,就要求存储系统能够很方便地扩容;视频的价值密度低,且是实时的,连续的,稍纵即逝的,不容丢失,就要求存储的可靠性要高;一个PB级的存储系统硬盘就有几千甚至几万块,这么多硬盘可能每天都会有损坏,如果一损坏就要更换会非常麻烦,这就对存储提出了可维护性的要求;既然是大数据视频,说明会有各种各样的用户会去访问这些视频数据,所以对并发访问会有更高要求等等。要满足上述要求,传统的存储方式已经无能为力,只有云存储才能支撑。
一段视频经过智能摄像机的分析提取以后,形成了原始视频、视频里面每个运动目标的图片以及每个运动目标的语义文字描述三类数据,其中图片和视频是非结构化数据,一般存于云存储系统中,而语义的文字描述这类结构化数据存在于后端的大数据数据库中,每一条文字的描述对应相应的目标图片和视频。在完成了视频的结构化处理,以及三类数据的存储之后,应用就是接下来的关键,否则存储的数据也没有价值。
尽管在不同的垂直行业,安防大数据的应用会有一定差异,但从目前应用最为成熟的公安、交通等行业来看,大数据应用大致可以归结为检索、分析研判、实时布控和调度三大类。
第一类检索,在实现视频结构化之前,查找、检索视频只能靠人,而将视频结构化之后,利用后端的大数据检索系统,就能很方便地搜出相对应的文字、图片以及视频。比如要查找某一时间段经过某个路段一个穿蓝色衣服的可疑人员,用户只需要输入“蓝色衣服”,就能找出该时间段内所有穿蓝色衣服的人的图片,点击图片就可以获取这个人经过这个路段的视频。
第二类分析研判,比如通过车辆的多点碰撞,看是否有哪辆车在几个路口都出现过,从而帮助公安发现嫌疑车辆。
第三类是实时布控和调度,比如,公安知道一个嫌疑人住在某个小区,并且嫌疑人照片已经存在于系统后台,就可以通过安装在门口的感知型摄像机抓拍每个进出小区人员的人脸特征,并立刻送到后台去比对,一旦发现某个人员的外貌特征与目标嫌疑人比较相似,系统就会马上报警,公安人员即可指挥调度实施现场抓捕。当然,要结合行业需求实现这三大类应用,需要企业深入研究行业用户的需求,对行业需求的精准把握是大数据应用的关键。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
如何考取数据分析师证书:以 CDA 为例 在数字化浪潮席卷各行各业的当下,数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析:驱动企业高效决策的核心引擎 在数字经济时代,企业面临着前所未有的数据洪流,如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战:数据整合的灵活之道 在 MySQL 数据库的日常操作中,我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15Python Pandas:数据科学的瑞士军刀 在数据驱动的时代,面对海量、复杂的数据,如何高效地进行处理、分析和挖掘成为关键。 ...
2025-07-15用 SQL 生成逆向回滚 SQL:数据操作的 “后悔药” 指南 在数据库操作中,误删数据、错改字段或误执行批量更新等问题时有发生。 ...
2025-07-14t检验与Wilcoxon检验的选择:何时用t.test,何时用wilcox.test? t 检验与 Wilcoxon 检验的选择:何时用 t.test,何时用 wilcox. ...
2025-07-14AI 浪潮下的生存与进阶: CDA数据分析师—开启新时代职业生涯的钥匙(深度研究报告、发展指导白皮书) 发布机构:CDA数据科 ...
2025-07-13LSTM 模型输入长度选择技巧:提升序列建模效能的关键 在循环神经网络(RNN)家族中,长短期记忆网络(LSTM)凭借其解决长序列 ...
2025-07-11CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-11数据透视表中两列相乘合计的实用指南 在数据分析的日常工作中,数据透视表凭借其强大的数据汇总和分析功能,成为了 Excel 用户 ...
2025-07-11尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08