视频大数据时代的“火眼金睛”
我们身处一个大数据的时代,视频数据的爆炸性增长是这个时代的重要特征之一。“如何让计算机看懂视频的内容,实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。”中国科学院自动化研究所研究员王金桥告诉《中国科学报》记者。
多年来,王金桥所在的模式识别国家重点实验室图像与视频分析组,聚焦上述核心技术目标,在视频内容检索、目标检测与跟踪这两大主要任务上突破诸多重要技术壁垒,积累了丰富的核心算法,展开了一系列有特色的应用。
技术不应止步于实验室
在视频检索方面,图像与视频分析组基于多模态的语义描述,提出了跨模态四元组度量学习方法。王金桥解释道:“该方法可充分融合多类别和多部件等信息,形成了以目标、场景、概念、事件为主体的端到端多粒度结构化语义描述框架,以实现对视频内容的认知理解。”
在目标跟踪方面,图像与视频分析组提出多部件结构上下文学习的跟踪算法,克服了目标局部遮挡和变形造成的目标漂移问题;提出深度特征蒸馏的目标跟踪方法,在不损失跟踪性能前提下将跟踪速度提高了5倍以上。
依靠上述在理论、方法上的创新和经验积累,图像与视频分析组在第一届、第二届智慧城市视频分析技术挑战赛,欧洲图形国际会议多视角目标检索竞赛,美国TRECVID视频实例检索比赛等国内外多项赛事中屡获优异成绩,展现了在视频分析这一领域的超强实力。
据王金桥介绍,在2016上海BOT视觉大数据识别竞赛中,由团队成员组成的ITdog队一路过关斩将,从400支代表队中脱颖而出,最终获得计算机视觉竞赛的第一名和最佳算法奖。王金桥表示:“我们的竞争对手中不乏来自清华、北大、上海交大、哈工大,以及百度、阿里、360等著名高校和行业巨头企业的队伍。”
在复赛任务“货架精细目标检测和识别”中,他们采用了尺度自适应反卷积稠密检测网络,并融合多任务四元组的精细排序模型,在236种货架商品中精细区分出87种薯片、88种方便面和64种洗发水。决赛任务是由12种动物、5种场景和5种物品组成“智能视觉问答”,他们用同样算法在比赛中展现出良好的性能,最后成绩比第二名高出一百多分。
“先进的技术不应该止步于实验室。”王金桥说,“我们始终关注着企业和市场的实际需求,努力将研究成果应用到实际生产生活之中。”目前,团队高效目标检测与跟踪的多项研究成果已经作为视频分析、检索及其相关智能信息服务的核心技术,通过各种方式落地转化,特别是针对人、车、物等不同类别的目标形成了不同的产品,已经走进人们的生活。
不只识人 慧眼识车
2016年7月,图像与视频分析组与联想大数据研究部共同发布了针对零售行业视频分析的解决方案——V-Perceptor。王金桥介绍道,该解决方案能够利用门店里摄像头拍下的视频数据实时分析客流、进店率、顾客在店内的运动路线等信息。
V-Perceptor主要能实现三个方面的功能:一是店内区域热度图分析,分析店内区域人流热度、顾客的统计分析(比如顾客年龄,性别等),从而帮助商家知晓店内人流的分布情况。二是店内顾客的运动轨迹分析,据此对店内布局、商品摆放给出合理性的建议。三是回头客识别,为回头客提供精细化个性化服务,进而改善服务体验,提升店面联系客户、运营客户的能力。
王金桥透露,目前V-Perceptor已经在北京世纪金源联想零售3C店试点使用,并计划在100家店面进行部署测试。
如今,各种用途的监控摄像头已经遍布街头巷尾,然而由摄像头产生的海量监控视频数据结构化利用率极低。据统计,80%以上的案件需要从监控视频中获取线索,公安部门工作量巨大,海量视频的智能检索十分迫切。
在此背景下,针对车辆识别的需求,图像与视频分析组与华为、武汉大千公司等合作开发了“车型大数据精准分析检索平台”,实现车型、车款、车颜色、车属性的精确识别。目前这一产品已经在河南、湖北、贵州、广东等地的公安侦查、交管部门应用。
基于四元组深度排序学习的车型大数据分析检索算法能够精准识别包括车型、车款、颜色的4000类车头信息、1500类车尾信息,以及包括驾乘人员、人脸、年检标、遮阳板、纸巾盒、转金桶、摆件、安全带、打电话、行李架、天窗在内的11种车属性信息。王金桥指出:“这些信息形成了每一辆车唯一的‘车纹’,从而实现在海量的监控视频中快速检索并跟踪目标车辆。”
此外,在公安侦查方面,该平台能够快速查找嫌疑车辆在全城市的行驶轨迹,实施布控、跟踪和抓捕;如果获得嫌疑车数据,可以在可疑车辆数据库里实时进行搜索分析。“即便车辆经过换牌照、重新喷漆等改装,也逃不过该系统的‘火眼金睛’。”王金桥补充道。
智能辨物 无缝关联
各种智能家居产品已经走进人们的日常生活,如果在冰箱中安装摄像头,从它拍下的视频中能够获得什么信息呢?
为此,图像与视频分析组将基于尺度敏感的多特征学习的目标检测算法用在视频中食品的检索、跟踪和分析上,能识别100多种食品,识别精度达到90%以上。王金桥称:“目前该技术已在某公司冰箱产品中投入使用,消费者马上就能在市面上买到这款智能冰箱了。”
这款智能冰箱不仅有眼睛“看得见”,还有大脑能分析思考。通过冰箱内部安装的摄像头,冰箱可对视频内食品信息进行识别、跟踪,就能获知用户消耗的食品类别和数量。这些数据实时上传后台的健康大数据平台,还能为用户提出个性化的健康饮食建议。
“在我们观看的电视节目和网络上视频内容中,天天都能看到大量的广告内容。商家希望广告投放更加精准,同时观众们又不希望广告内容影响观看效果。”王金桥说,“面对这样的需求,视频检索与分析技术就有它的用武之地了。”
据悉,图像与视频分析组与影谱公司合作,建立了基于视频的广告关联营销平台,即通过多通道协同提升的级联目标检测方法实现视频中感兴趣的目标和商品的精确检测,并提取视频中目标所在关键帧的指纹和目标本身的视觉特征,结合影谱的在线渲染技术,实现商品的无缝植入和替换技术,达到“虚实结合”“无中生有”的广告投放。
此外,通过商品的视觉相似性计算建立与购物网站的商品关联,观众能够方便快速购买节目中感兴趣的同款商品。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14