京公网安备 11010802034615号
经营许可证编号:京B2-20210330
如何才能将视频大数据真正应用起来
在这个信息爆炸的时代,每天都有大量各种各样的信息数据产生,怎么发掘这些海量数据的价值成为所有人关注的重点。因此,上至政府部门,下至平头百姓,各行各业对大数据的讨论越来越激烈,大家都在探寻大数据的奥妙和价值。
大数据说起来比较玄乎,实际上已经慢慢地渗透到我们生活的方方面面。以现在越来越普及的网络购物为例,我们在某购物网站中搜索了某些商品,再次登录该网站,甚至是其他的网站,往往就会看到系统自动推荐的与上次搜索相关的商品信息。这就是购物网站应用大数据分析,摸清了用户的消费习惯,精准推送用户可能感兴趣的产品,以更有效地促进用户消费。这是个人购物行为,再更进一步,每年各大购物网站都会发布一些购物指南,得出了一些非常有趣的结论,比如哪个地区男士为女士购买的商品最多;哪个年龄段的网络消费能力更强;同类产品,哪个品牌在某个区域的销量更好等等,这些都是通过大数据分析得到。目前,政府、医疗、互联网等等行业都已经开始了大数据应用。
大数据与安防
虽然大数据在不少行业都已经开始得到应用,并取得了非常不错的效果,但是就安防行业来说,大数据应用之路才刚刚开启。在安防领域,主要的数据来源是视频,与其他行业结构化的数据不一样,视频是一种非结构化的数据,不能直接被计算机进行处理或分析。因此,安防要进行大数据应用,首先就要采用智能分析技术将非结构化的视频数据转换成计算机能够识别和处理的结构化信息,即将视频中包含的各种信息(主要是运动目标及其特征)提取出来转成文字描述,这样才能通过计算机来对这些视频进行搜索、比对、分析等。但是,早期安防行业并没有有效的技术手段来展开这项工作。
智能分析技术其实很早就已经应用于安防行业,只不过受限于智能分析算法本身以及摄像机的硬件性能,早期主要是通过智能分析服务器来实现视频图像的智能识别和分析,但这种方式存在一个致命的缺陷——成本过高。一台刀片式服务器价格在六七万左右,而一台服务器只能识别七、八路1080P高清监控录像。以一个中等规模的城市为例,整体建设可能有十来万个监控点,即使只做2000路智能分析,也要两百多台服务器,这个成本是相当可观的。除了服务器的设备成本之外,还有服务器的能耗、所占场地、数据中心的网络设备、后期维护等成本,这些成本不比购买服务器的成本低。正是服务器这种智能分析模式因为成本过高无法规模化应用,所以视频信息无法大规模转换成结构化的数据,安防大数据也就一直无法落到实地。
随着智能分析算法的逐步成熟,以及摄像机硬件性能的不断提升,越来越多企业开始考虑将更多智能识别算法前置到摄像机中,毕竟摄像机本身的成本增加是可以预见的。在安防业内,以科达为代表的感知型摄像机这类智能摄像机的推出,比较经济有效地解决了视频数据结构化的问题,为安防大数据应用打下了基础。
除了视频数据的非结构化外,与其他行业相比,安防行业的大数据还有一些典型特征,这些特征对存储系统提出了更高的要求。比如视频的数据量特别大,且还在不断增多,就要求存储系统能够很方便地扩容;视频的价值密度低,且是实时的,连续的,稍纵即逝的,不容丢失,就要求存储的可靠性要高;一个PB级的存储系统硬盘就有几千甚至几万块,这么多硬盘可能每天都会有损坏,如果一损坏就要更换会非常麻烦,这就对存储提出了可维护性的要求;既然是大数据视频,说明会有各种各样的用户会去访问这些视频数据,所以对并发访问会有更高要求等等。要满足上述要求,传统的存储方式已经无能为力,只有云存储才能支撑。
一段视频经过智能摄像机的分析提取以后,形成了原始视频、视频里面每个运动目标的图片以及每个运动目标的语义文字描述三类数据,其中图片和视频是非结构化数据,一般存于云存储系统中,而语义的文字描述这类结构化数据存在于后端的大数据数据库中,每一条文字的描述对应相应的目标图片和视频。在完成了视频的结构化处理,以及三类数据的存储之后,应用就是接下来的关键,否则存储的数据也没有价值。
尽管在不同的垂直行业,安防大数据的应用会有一定差异,但从目前应用最为成熟的公安、交通等行业来看,大数据应用大致可以归结为检索、分析研判、实时布控和调度三大类。
第一类检索,在实现视频结构化之前,查找、检索视频只能靠人,而将视频结构化之后,利用后端的大数据检索系统,就能很方便地搜出相对应的文字、图片以及视频。比如要查找某一时间段经过某个路段一个穿蓝色衣服的可疑人员,用户只需要输入“蓝色衣服”,就能找出该时间段内所有穿蓝色衣服的人的图片,点击图片就可以获取这个人经过这个路段的视频。
第二类分析研判,比如通过车辆的多点碰撞,看是否有哪辆车在几个路口都出现过,从而帮助公安发现嫌疑车辆。
第三类是实时布控和调度,比如,公安知道一个嫌疑人住在某个小区,并且嫌疑人照片已经存在于系统后台,就可以通过安装在门口的感知型摄像机抓拍每个进出小区人员的人脸特征,并立刻送到后台去比对,一旦发现某个人员的外貌特征与目标嫌疑人比较相似,系统就会马上报警,公安人员即可指挥调度实施现场抓捕。当然,要结合行业需求实现这三大类应用,需要企业深入研究行业用户的需求,对行业需求的精准把握是大数据应用的关键。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据驱动决策的体系中,数据分析按照分析目的可分为描述性分析、诊断性分析、预测性分析与指导性分析四大类型。其中,诊断性分 ...
2026-09-01网络请求是Python爬虫开发、接口测试、数据拉取的核心基础功能,Python生态中主要依靠 urllib 和 requests 两大库实现HTTP请求操 ...
2026-09-01 很多数据分析师面对业务问题时,常常感到“知道要分析,却不知道用什么方法”。其实,数据分析并非无章可循——从三大基础范 ...
2026-09-01在数据库设计与业务数据维护中,自增ID是数据表最常用的主键字段,用于唯一标识每一条业务数据,正常状态下ID应保持连续递增。但 ...
2026-08-31在数理统计、数据分析、经济测算与日常量化评估中,平均值是刻画数据集中趋势、反映整体水平的基础核心指标。在实际应用中,最常 ...
2026-08-31在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-08-31在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24