大数据技术与安防应用未来发展分析_数据分析师培训

 平安城市的建设从最初2004年6月第一批21个科技强警示范城市建设开始，到现在已经整整10个年头。

    在这十年里，平安城市的建设已经在新技术的推动下，从模拟到数字，从数字到高清，快速发展了三代。平安城市建设的效果也初步体现，监控覆盖范围越来越广，城市管理和治安对视频监控的依赖度逐渐加大。

    比如在杭州，平安杭州项目已经全面启动，监控系统设计规模达5万个监控点。这也是迄今为止最大规模的平安工程项目。新的社会治安监控系统，用科技手段来保障社会安定，不仅让平安杭州成为规模之最，也为美丽的杭州描绘了一幅宏大的平安“画卷”。

    比如在遵义图像综合应用系统，建设高清摄像机数量达到3000个，存储资源达到10PB，通过构建遵义市应急处置业务应用模型，满足突发事件应急处置决策指挥需要，达到“一点感知，处处可知;闻警而动，处处协同;有备而战，临危不乱”的状态。

    在这些平安城市项目建设后，产生了大量的视频数据，数据量每天都可以用PB级去衡量。已经达到与国际数据巨头媲美的地步。我们知道，对于数据最有发言权的应该是互联网巨头google，google一天全世界产生的数据量为10PB，量级是一个平安城市产生的数据量10倍。但是我们来看一下google利用这每天10PB的数据量一年的产值吧：超过500亿美金!而平安城市通过拥有谷歌十分之一的数据量产生了多少价值呢?这是一个无解的值，甚至很多时候我们并不能量化价值产出。

    那么谷歌如何让这些数据产生价值的呢?

    大数据就是谷歌让数据产生价值的核心，大数据是一个笼统的概念，是把多元化、无任何连接关系的数据进行清理，分析出数据之间的关系，得到我们想要的、关心的结果。比如通过城市数据分析我们能够得到城市出行状态、消费状态、人口分布、市民交际状态、公共资源应用状态等一系列数据，这些数据可以为我们城市管理作为优化依据，也可以作为提高城市商业和竞争力的关键指导。

    要实现大数据，首先需要通过数据采集进行大量的数据积累，让数据量足够多，足够找出数据之间的规律。业界对大数据总结出四大特点：数据量大、类型多、速度快、价值高。宇视根据大数据概念的四大特点，结合独有的电信级技术优势，形成了一整套大数据应用架构，分为四层对大数据进行了阐述和规划。

    第一层为数据采集层，实现大数据的数据量大、类型多的特点。视频监控完全具备了此种特点，数据量巨大，所含有的信息类型众多。但是行业内对于视频录像一直有两个共识：视频监控的数据，90%以上是无用的。另外一个共识是：视频监控的录像数据，超过1个星期后其价值就降低了90%。虽说这些数据有一些夸张，但是这两个共识也真实的反映了大量视频监控录像的尴尬境遇。要实现大数据，关键是能否能把视频进行结构化，进行语义化描述，让类型数据能够提取出来。这就涉及到视频智能分析了。也是数据仓储层的数据分类工作。

    数据采集之后，数据在数据仓库中对多样化数据进行存储和基础分类。在数据仓储层，对数据的分类采用智能分析集群，其具备以下特点：

    分布式计算，将不同I帧图像分布式计算，充分利用前端DSP和中心CPU、GPU计算资源;

    特征数据结构化管理，以图搜图快速检索录像只需提取目标图片特征数据，然后比对特征数据即可完成以图搜图，大大提高检索速度;

    机器智能学习矫正，将分析错误结果反馈给样本库，自动调整样本库，以提高准确率。

    得到语义化和分类数据之后，就可以对数据中隐藏的宝藏进行挖掘了。数据分析与挖掘，能够对数据进行定制化清洗，能够智能化自学习优化清洗算法，实现数据的价值挖掘。

    宇视数据分析和挖掘采用基于hadoop架构优化的Unihadoop架构。Hadoop起源于处理网页类数据的，而安防数据由时间，空间，谁，及事件特征组成的，有行业特殊性，而宇视经过试验得到数据，对数据组织进行优化，实现性能的大幅度提升，不仅优化了工具，更重要的在Hadoop的基础上，实现了时空数据库，来优化安防数据的存储，最终性能远好于标准版Hadoop。

    大大数据只是底层架构，数据的搜集、分析和挖掘都是为了以业务为主体的数据呈现，只有贴合实际的业务进行数据呈现，才能体现大数据的价值。

    数宇视对于数据可视化进行了深度研究，能够提供多样化的直观可视化展现，包括电子地图整合、3D地图综合显示，移动显示等，通过这些数据的整合展现，实现了车辆可疑轨迹分析，车辆套牌分析，案件现场还原等一系列业务功能，真正做到业务定制化，达到显示即所需。

    视频监控数据是一个宝藏，怎么去挖掘这个宝藏，如何挖掘宝藏将是未来平安城市建设的另一个重点。在这个方向上，大数据具备天然的概念优势和极适配的架构优势。通过大数据的手段去挖掘视频中的有效信息，是最具备可行性的手段。