大数据在视频监控存储应用与挑战并存_数据分析师考试

 盘点近几年的IT领域热门词汇：大数据、云计算、虚拟化、云存储、云服务等，几乎贯穿到所有信息技术领域的产品推广、解决方案和系统规划中。这意味着未来信息领域发展和建设的大时代——云时代的来临。

    作为云时代海量数据的来源之一，安防视频监控行业随着智慧城市和智能交通的快速发展、移动互联设备的快速激增，产生了海量的非结构化视音频数据，带动了大数据的存储、管理、分析等应用。面向云时代，业界同仁一拥而上、热血沸腾，无论是IT供应商、存储厂商、还是解决方案提供商都不甘落后，雨后春笋般的纷纷提出基于计算、存储、网络等多层次虚拟化的数据中心解决方案，投入大量资源，推出云存储、云计算等系统产品。

    面对大数据，视频监控行业面临哪些难题？我们如何应用云计算、大数据相关技术来获取数据背后隐含的信息？未来的挑战和前景如何？我将从以上几方面发表个人观点，意在抛砖引玉、引发业界同仁在产业发展的进一步思考和讨论。

    1.视频监控存储及智能分析系统中的难题

    根据IDC预测，全球在2010年已正式进入ZB时代，全球数据量大约每两年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。爆炸式增长的数据，正推动人类进入大数据的时代。

    大数据包括社交媒体、移动设备、科学计算和城市中部署的各类传感器信息，其中视频是构成数据体量最大的组成部分。据IMSResearch统计，2011年全球摄像头的出货量达到2646万台，预计到2015年摄像头出货量达5454万台。一天产生的视频监控数据超过1500PB，而累计历史数据将更为庞大，在视频监控大联网、高清化推动下，视频监控业务将面临海量非结构化数据存储、数据共享、数据安全及数据利用四大难题。

    (1)海量非结构化数据存储

    安防行业的大数据目前主要来源于智慧城市和智能交通等大型安防项目。例如，2011年全球两天的数据就高达1.8ZB，相当于文明起始到21世纪初全部的数据总和；2013年中国某一线城市一个季度产生的数据总量也在200PB。当前，智慧城市建设已成为地方政府推进城镇化发展的重要途径，而随着智慧城市的发展，对高清摄像机和智能化监控设备的需求会持续增长，智能交通行业将成为十二五政府投资的重点领域，这将使未来几年视频监控行业仍保持高景气度。此外随着智能家居、民用安防的普及，更多的用户会通过移动设备监看视频，于此同时会有更多的移动互联数据产生。2012年全国就拥有3.88亿移动互联网用户，预计2015年互联设备将达到150亿，2020年互联设备将达到2000亿。数据10倍速的增长，在带来巨大机遇的同时，也带来了很大的挑战。

    按照IT产业的法则：在满足客户需求的前提之下，往往技术成本越低，其生命力往往越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重。如何在满足需求的前提下，删除重复数据、降低硬件成本投资将成为海量非结构化数据存储的一个难题。

    (2)数据共享

    大数据需要通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。安防大数据时代最显着的特征就是海量和非结构化数据共享，用以提高数据处理能力。比如天网工程和智能交通就是最具代表性的案例，天网工程一般分为省市县乡镇等多级架构，智能交通图像也分布在前端卡口、区节点、市省国家级中心中，海量数据存储在不同节点、不同设备中，这给传统的数据管理和使用机制带来了极大的挑战。

    与科学计算、互联网相比，视频监控的大数据处理难度尤大，首先，视频录像是更原始的非文本非结构化的数据，必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理；其次视频录像相对其它形式数据的容量要大几个数量级，对传输、存储和计算的带宽要求大。因此我们说数据高效共享是第二大难题。