
大数据时代存储面临的束缚
历经三十多年的中国安防,产业进程在技术演进中延续,从而演变出时代的印记。很显然,当下的中国安防,迈入大数据时代。于是,与此相关的话题,不绝于耳。
大数据时代存储面临的束缚
视频监控正是一个典型的数据依赖型业务,依靠数据说话。可以说,大数据与视频监控业务有着天然的结合。大数据中的大容量通常可达到PB级的数据规模,那么对于海量数据存储系统扩展能力的要求也会很高。如果国内平安城市建设摄像头以亿为单位计算,这样视频监控将是数据的大生成器。同时,从摄像前端的海量数据和到有效数据之间的也存在矛盾,摄像头不停歇的工作,如实记录镜头覆盖范围发生的一切,但对于客户来讲大部分信息是无效,有效信息可能只分布在一个较短的时间段内,大量的数据存储给数据库带来不小的压力,而无效的数据更是对于资源的浪费。这样来看,大数据时代存储成为至关重要需要解决的问题。举例说明,2014年年初,南京警方为了抓捕一名在逃嫌犯,调动了两千警力,因为所有的摄像头没有联网,只能绕道各个小区、派出所、楼宇去拷数据,当时整个南京市所能买到的存储设备几乎都被警方买空。这个案例说明:第一数据需要联网,第二大数据一定要存储好,第三大数据必须经过分析和挖掘才有价值。
大数据一定要存储好,很简单的说明了存储对于安防大数据时代的重要性。一般来说,大数据时代监控存储要面临几个方面的束缚。
庞大信息量如何存储。监控数据按7x24小时写入,存放时间从7天、15天、30天甚至更久,数据量随时间增加呈线性增长,面对海量存储的需求,传统的存储行业与监控行业实在难以处理。
监控数据存储的可扩展性,包括如何满足数据采集更高分辨率或更多采集点的需要,如何满足更长数据采集时间的需要。
性能的要求。视频监控主要是视频码流的写入,表征性能的是存储能支持多少路码流。在多路并发写的情况下,对带宽、数据能力、缓存等都有较大影响,对存储的压力很大,这时候存储需要有专门针对视频性能的优化处理。
价格的敏感。安防监控行业的海量存储,由于总容量大,造成总的价格成本上升。反而言之,对单位容量成本(每TB价格)的要求很高。
空间压力与管理难度。当大量高清视频开始越来越多的涌现之时,对于后端的存储要求也出现了一个极速上升的局面,在这样的情况下,数据量实现二到三倍的增长注定会使传统的PC硬盘管理,或者本地DVR、NVR模式带来意料之外的压力。
存储数据的集中管理有待加强。当我们从大数据时代监控整个系统的整体构建来分析时,会暴露出存储设备难以兼容等因素出现。由于大型的监控系统往往是分期建设,建设过程中采用的设备并不一致,因此实际项目中多种品牌、型号的设备给监控的存储集中管理带来很大难度。同时,传统的DVR或者DVS设备,由于网传能力有限,很难形成统一存储、统一监控的中心体系架构,使企业的治安监控出现存储数据查找麻烦,调度不及时,录像存储分散等多种问题产生。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15