作者 | CDA数据分析师
情感分析是文本的语义挖掘,可识别和提取原始文本材料中的主观信息,并帮助企业在监控在线对话的同时了解其品牌,产品或服务的社会情绪。但是,对社交媒体流的分析通常仅限于基本的情绪分析和基于计数的指标。这就好比仅仅是在表面划过,而错过了那些等待被发现的高价值见解。那么,一个品牌应该怎么做才能抓住那些容易获得的,同时价值比较高的见解呢?
随着深度学习的发展,算法分析文本的能力已经有了很大的提高。创造性地运用先进的人工智能技术是进行深入研究的有效工具。我们相信,根据以下内容对客户关于品牌的讨论进行分类非常重要:
这些基本概念在结合使用时,就成为一个非常重要的工具,可以准确地分析数百万次品牌讨论信息。在帖子中,我们以Uber为例,演示其工作原理。请继续阅读!
情绪分析
情绪分析是最常见的文本分类工具,它可以分析传入的消息并判断潜在的情绪是正面的,还是负面的,还是中立的。您可以在此处输入一个您选择的句子,并通过演示来判断潜在的情绪。
意图分析
意图分析通过分析消息背后的用户意图,并确定其是否涉及意见,新闻,营销,投诉,建议,欣赏或查询,从而来提升客户服务的质量。
上下文语义搜索(CSS)
现在事情变得很有趣了。想要获得可行的结论见解,了解用户在讨论品牌的哪个方面是很重要的。例如:亚马逊希望隔离与以下内容相关的消息:延迟交货,账单问题,促销相关的查询,产品评论等。另一方面,星巴克希望基于信息是否与员工行为,新咖啡口味,卫生反馈,在线订单,商店名称和位置相关等进行分类。但是,如何做到这一点呢?
我们介绍了一种智能搜索算法,称为 上下文语义搜索(CSS)。CSS的工作方式是将数千条消息和一个概念(例如 Price)作为输入,并过滤与给定概念紧密匹配的所有消息。下面所示的图形展示了CSS如何对业界所使用的现有方法的改进。
过滤所有与Price相关的消息的常规方法是对Price和其他紧密相关的单词(例如:price,change,$,paid)进行关键字搜索 。但是,这种方法不是很有效,因为几乎不可能想到所有相关的关键字,以及表示特定概念的变体。另一方面,CSS只是将概念名称(Price)作为输入,即使未提及概念关键字的明显变体,也可以过滤所有上下文相似的内容。
对于好奇的读者,我们想看看这是如何工作的。AI技术用于将每个单词转换为超空间中的特定点,这些点之间的距离用于识别上下文与我们正在探索的概念相似的信息。下面的图片展示了它的可视化效果:
下面来看一下CSS的实际应用,以及它是如何在以下示例中处理与Uber相关的评论的:
同样的,请看下面这条博文:
Flat rate was the best thing that happened this year. @uberbring it back!!!! #MakeUberGreatAgain
— A Boogie (@Finessenomics) March 3, 2017
在以上两种情况下, 即使这些消息中未提及Price一词 ,该算法也将这些消息分类为与Price相关的上下文。
优步是全球市值最高的初创企业,一直是共享经济的先驱。Uber在全球500多个城市开展业务,并为庞大的用户群提供服务,因此得到了用户的大量反馈,建议和投诉。通常,社交媒体是记录此类问题的首选。大量的输入数据使分析,分类和产生结论性见解成为一项具有挑战性的任务。
我们分析了数字媒体上有关几个产品主题的在线评论: 取消,付款,价格,安全和服务。
为了广泛覆盖数据源,我们从Uber官方Facebook页面上的最新评论中收集了数据,这些推文中提到了Uber和有关Uber的最新新闻。以下是所有渠道上的数据点分布:
分析用户评论的情绪可以使您对整体品牌的认知有一个了解。但是,要进行更深入的研究,借助上下文语义搜索对数据进行进一步分类是很重要的。
我们在同一个数据集上运行了上下文语义搜索算法,并考虑了上述的类别(取消,付款,价格,安全性和服务)。
情绪分析
值得注意的是,只有Price相关的正面评论数量超过负面评论 ,与其他所有类别相关的评论主要是负面情绪。为了深入研究,我们分析了这些评论的意图。Facebook是一个社交平台,评论充斥着随机内容,新闻分享,营销和促销内容以及垃圾邮件/无关内容。我们来看一下Facebook评论上的意图分析:
因此,我们删除了所有这些不相关的意图类别,并重新生成了结果:
每个类别的情感都有明显的变化。特别是在Price相关评论中,正面评论的数量从46%下降到了29%。
这使我们了解了CSS如何从数字媒体中产生深入的见解。因此,一个品牌可以分析这样的推文并从它们的积极点上或者从消极方面获得产品或业务的反馈。
情绪分析
对获得的推文也进行了类似的分析。 在最初的分析中, 与Payment和 Safety相关的推文情绪比较复杂。
要了解真实的用户意见,投诉和建议,我们必须再次过滤不相关的Tweets(垃圾邮件,垃圾邮件,市场营销,新闻和随机信息):
与 Payment 相关的正面推文数量显着减少 。此外, Safety 类别(以及相关关键字)的正面推文数量也大幅下降 。
此外,Cancel,Payment和Service(以及相关词)是Twitter评论中谈论最多的话题。似乎人们谈论最多的是司机取消乘车以及向他们收取的取消费。看看这个推文:
I still haven’t heard from you about you charging me a cancellation fee for the driver cancelling my ride!
— Anagh Padmanabhan (@anagh) March 2, 2017
像Uber这样的品牌可以依靠这种分析方法,并根据最关键的话题采取行动。例如, 与 Service 相关的推文所载的正向推文所占的百分比最低,而负向的推文所占的百分比最高。因此,Uber可以分析此类推文并对其采取行动以提高服务质量。
可以理解,安全一直是新闻中谈论最多的话题。有趣的是,在每个类别中,新闻情绪总体上都是正面的,个体上都是积极的。
我们也根据新闻的受欢迎程度对新闻进行分类。受欢迎程度的得分归因于该文章在不同社交媒体渠道上的占有率。以下是最热门的新闻列表:
随着技术的进步,从社交媒体数据中获取有意义的反馈的时代已经到来。Uber案例研究让我们了解了上下文语义搜索算法的功能。现在该是您的组织超越总体情绪和基于计数的指标的时候了。许多公司一直在利用数据去获取一些业务信息,但是想要获得最深入的信息,您必须利用AI,深度学习和智能分类器(如上下文语义搜索和情感分析)的力量。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14