
大数据在视频监控存储应用与挑战并存_数据分析师考试
盘点近几年的IT领域热门词汇:大数据、云计算、虚拟化、云存储、云服务等,几乎贯穿到所有信息技术领域的产品推广、解决方案和系统规划中。这意味着未来信息领域发展和建设的大时代——云时代的来临。
作为云时代海量数据的来源之一,安防视频监控行业随着智慧城市和智能交通的快速发展、移动互联设备的快速激增,产生了海量的非结构化视音频数据,带动了大数据的存储、管理、分析等应用。面向云时代,业界同仁一拥而上、热血沸腾,无论是IT供应商、存储厂商、还是解决方案提供商都不甘落后,雨后春笋般的纷纷提出基于计算、存储、网络等多层次虚拟化的数据中心解决方案,投入大量资源,推出云存储、云计算等系统产品。
面对大数据,视频监控行业面临哪些难题?我们如何应用云计算、大数据相关技术来获取数据背后隐含的信息?未来的挑战和前景如何?我将从以上几方面发表个人观点,意在抛砖引玉、引发业界同仁在产业发展的进一步思考和讨论。
1.视频监控存储及智能分析系统中的难题
根据IDC预测,全球在2010年已正式进入ZB时代,全球数据量大约每两年翻一番,意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。爆炸式增长的数据,正推动人类进入大数据的时代。
大数据包括社交媒体、移动设备、科学计算和城市中部署的各类传感器信息,其中视频是构成数据体量最大的组成部分。据IMSResearch统计,2011年全球摄像头的出货量达到2646万台,预计到2015年摄像头出货量达5454万台。一天产生的视频监控数据超过1500PB,而累计历史数据将更为庞大,在视频监控大联网、高清化推动下,视频监控业务将面临海量非结构化数据存储、数据共享、数据安全及数据利用四大难题。
(1)海量非结构化数据存储
安防行业的大数据目前主要来源于智慧城市和智能交通等大型安防项目。例如,2011年全球两天的数据就高达1.8ZB,相当于文明起始到21世纪初全部的数据总和;2013年中国某一线城市一个季度产生的数据总量也在200PB。当前,智慧城市建设已成为地方政府推进城镇化发展的重要途径,而随着智慧城市的发展,对高清摄像机和智能化监控设备的需求会持续增长,智能交通行业将成为十二五政府投资的重点领域,这将使未来几年视频监控行业仍保持高景气度。此外随着智能家居、民用安防的普及,更多的用户会通过移动设备监看视频,于此同时会有更多的移动互联数据产生。2012年全国就拥有3.88亿移动互联网用户,预计2015年互联设备将达到150亿,2020年互联设备将达到2000亿。数据10倍速的增长,在带来巨大机遇的同时,也带来了很大的挑战。
按照IT产业的法则:在满足客户需求的前提之下,往往技术成本越低,其生命力往往越强。由于数据量的急速扩大,以及随之而来的大规模计算的需求越来越多,一味采用高配硬件,使得硬件投资成为客户不可承受之重。如何在满足需求的前提下,删除重复数据、降低硬件成本投资将成为海量非结构化数据存储的一个难题。
(2)数据共享
大数据需要通过快速的采集、发现和分析,从大量化、多类别的数据中提取价值。安防大数据时代最显着的特征就是海量和非结构化数据共享,用以提高数据处理能力。比如天网工程和智能交通就是最具代表性的案例,天网工程一般分为省市县乡镇等多级架构,智能交通图像也分布在前端卡口、区节点、市省国家级中心中,海量数据存储在不同节点、不同设备中,这给传统的数据管理和使用机制带来了极大的挑战。
与科学计算、互联网相比,视频监控的大数据处理难度尤大,首先,视频录像是更原始的非文本非结构化的数据,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理;其次视频录像相对其它形式数据的容量要大几个数量级,对传输、存储和计算的带宽要求大。因此我们说数据高效共享是第二大难题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
如何考取数据分析师证书:以 CDA 为例 在数字化浪潮席卷各行各业的当下,数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析:驱动企业高效决策的核心引擎 在数字经济时代,企业面临着前所未有的数据洪流,如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战:数据整合的灵活之道 在 MySQL 数据库的日常操作中,我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15Python Pandas:数据科学的瑞士军刀 在数据驱动的时代,面对海量、复杂的数据,如何高效地进行处理、分析和挖掘成为关键。 ...
2025-07-15用 SQL 生成逆向回滚 SQL:数据操作的 “后悔药” 指南 在数据库操作中,误删数据、错改字段或误执行批量更新等问题时有发生。 ...
2025-07-14t检验与Wilcoxon检验的选择:何时用t.test,何时用wilcox.test? t 检验与 Wilcoxon 检验的选择:何时用 t.test,何时用 wilcox. ...
2025-07-14AI 浪潮下的生存与进阶: CDA数据分析师—开启新时代职业生涯的钥匙(深度研究报告、发展指导白皮书) 发布机构:CDA数据科 ...
2025-07-13LSTM 模型输入长度选择技巧:提升序列建模效能的关键 在循环神经网络(RNN)家族中,长短期记忆网络(LSTM)凭借其解决长序列 ...
2025-07-11CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-11数据透视表中两列相乘合计的实用指南 在数据分析的日常工作中,数据透视表凭借其强大的数据汇总和分析功能,成为了 Excel 用户 ...
2025-07-11尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08