编辑:大明
【导读】斯坦福大学研究人员给AI模型看了100部好莱坞电影,让AI看懂了什么是接吻,并从视频片段中分割识别出接吻的镜头场景,而且把接吻和性爱场景区分开来。嗯,想开车的朋友可能要等等,但想看吻戏的朋友这回可以一次看个够了。
和大多数没有接过吻的人一样,AI学接吻这件事最开始也是通过观看爱情电影片段进行的。AI通过看电影来了解关于接吻的基本知识,尤其是看看那些好莱坞明星的嘴唇动作究竟是什么样的。
研究人员对熟练掌握识别面部识别和目标识别的深度学习算法进行了训练,识别由专业演员戏剧化的热吻场景,这表明,AI系统已经能够更深入地了解最亲密的人类“交流”活动。
这项研究来自Netflix的高级数据科学家Amir Ziai,他正在斯坦福大学攻读AI专业研究生。Ziai从过去一个世纪的好莱坞电影数据库中挑选了100部电影的代表性片段。然后手动将不同的电影片段标记为接吻/非接吻场景,并使用来自这些片段的静止图像帧和声音片段来训练深度学习算法,以检测影片中亲吻的场景和声音。
不过请不要误会,目前还不清楚这个测吻的方法是否可以用于亲吻之外的进一步性爱场景的识别。对此,Ziai 表示:“在我的训练数据集中有意远离了过度的性爱场景,以确保模型不会混淆接吻和性爱”。
Ziai目前的雇主Netflix没有参与斯坦福大学的这项研究,该研究一发表在预印本服务器arXiv上。Ziai尚未研究该技术在Netflix上的能否获得一些应用前景。但不难想象,这类视频识别技术可能会让Netflix或其他公司(如YouTube,Facebook,Instagram和TikTok)很感兴趣,由此技术开发出的商业应用可以处理大量流媒体或存储视频。
2019年4月,谷歌宣布其Pixel智能手机已经能够接收Photobooth功能更新,可以在智能手机摄像头拍摄的视频中检测到接吻时进行自动拍照。Ziai展示了与视频有关的接吻检测技术,未来的应用可以对视频内容进行自动分类,为用户打造个性化的视频推荐列表,甚至可能充当在线视频审核的部分作用,对某些内容的视频进行筛选。
“这是一个很好的例子,说明现代计算机视觉技术如何能够相当容易地开发特定的'感知和响应'软件,提示定性/非结构化的东西(如场景中的接吻),”OpenAI策略与转播主管杰克·克拉克说,他的导入人工智能新闻通讯,最近突出了亲吻检测研究。“我认为这是AI改变个人软件开发方面,未来受关注潜力最高的领域之一。”
目前对亲吻场景识别最成功的深度学习模型是ResNet-18,这是一种图像分类算法,已经基于ImageNet数据库中的超过一百万张图像进行了预训练。为了能够正确识别接吻的声音,使用名为VGGish的深度学习模型,利用每个接吻场景的一秒钟片段的后960毫秒的音频进行了训练。
使用这种双管齐下的训练方式,AI模型处理接吻的图像和音频的方式,让整个模型获得了高达的0.95的F1分数 - 这一分数用于衡量算法(对于误报和假阴性的)精度的加权平均值。
但是,面对一些电影场景中视频编辑过多,以及和摄像机角度问题时,模型可能会无能为力。拍摄演员接吻的远景镜头有时会骗过算法,因为这种情况下,大部分相机镜框内都是风景背景。快节奏的视频剪辑和不包括两个演员的镜头也证明是具有挑战性的。
要弄清究竟是AI模型究竟是根据哪些特定数据模式进行预测是比较困难的事情。人类尝试理解AI逻辑的一种方法是使用显着性图来突出显示在分析过程中受到AI最多关注的数据。在好莱坞电影中的亲吻场景中,深度学习模型似乎更加关注与演员面部相关的图像像素。
Ziai说,一些“有限的实验”也表明,AI模型更依赖视觉特征,而不是音频特征来识别接吻场景。实验表明,利用更加“精心调整的数据集”会更有利于接吻探测系统的性能发挥,并且可能利用更多的背景信息,而不仅仅是靠静止图像来识别接吻场景。
帕特里克·斯维泽和黛米·摩尔在1990年的电影《幽灵》中的接吻画面,该影片是数据科学家用于训练AI模型识别接吻场景选取的100部电影之一
目前还不清楚AI模型在全部100部好莱坞电影中的识别表现如何,如《安娜·卡列尼娜》(1935),《幽灵》(1990)和《皇家赌场》(2006)将在更大的电影数据集中发挥作用。但是,在训练数据集超过80个视频后,该模型仅仅出现了“边际化的性能提升”,Ziai说。好莱坞电影数据集和一些计算资源由斯坦福大学计算机科学助理教授Kayvon Fatahalian实验室提供。
另一个问题是,这种接吻AI识别模型是否能够在检测社交媒体上常见的视频中的接吻场景时表现出相当的精度。这一挑战可能需要对更大的视频数据集进行额外的训练。尽管如此,一些初步测试仍然表明,这种方式有望诞生更广泛的AI接吻检测应用。
“这项研究的尝试是使用多样化的数据集,让模型不会过度适应任何特定类型的电影,”Ziai说。“有趣的是,它似乎在我发现的一些YouTube视频上的性能表现相当不错。”
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14