用数据做酷的事!手把手教你搭建问答系统
本文介绍了如何基于 SQuAD 数据集搭建问答系统及其重要组件。
我最近很愉快地完成了斯坦福深度学习自然语言处理课程(CS224N),学到了很多新的东西。在结课项目中我基于斯坦福问答数据集(SQuAD)实现了一个问答系统。在这篇博客中,我将为大家介绍搭建问答系统所需要的主要模块。
完整代码 GitHub 地址:https://github.com/priya-dwivedi/cs224n-Squad-Project
SQuAD 数据集
斯坦福问答数据集(SQuAD)是一个全新的阅读理解数据集,由众包人员基于一系列维基百科文章的提问和对应的答案构成,其中每个问题的答案是相关文章中的文本片段或区间。SQuAD 包含关于 500 多篇文章的超过 100000 个问答对,规模远远超过其他阅读理解数据集。
最近一段时间,各种类型的模型在 SQuAD 数据集上的效果获得了快速的发展,其中最新的一些模型在问答任务中甚至取得了和人类相当的准确率。
SQuAD 数据集中的语境、问题和答案的示例
语境:阿波罗计划于 1962 至 1972 年间进行,期间得到了同期的双子座计划(1962 年 - 1966 年)的支持。双子座计划为阿波罗计划成功必需的一些太空旅行技术做了铺垫。阿波罗计划使用土星系列火箭作为运载工具来发射飞船。这些火箭还被用于阿波罗应用计划,包括 1973 年到 1974 年间支持了三个载人飞行任务的空间站 Skylab,以及 1975 年和前苏联合作的联合地球轨道任务阿波罗联盟测试计划。
问题:哪一个空间站于 1973 到 1974 年间承载了三项载人飞行任务?
答案:Skylab 空间站
SQuAD 的主要特点:
i) SQuAD 是一个封闭的数据集,这意味着问题的答案通常位于文章的某一个区间中。
ii) 因此,寻找答案的过程可以简化为在文中找到与答案相对应部分的起始索引和结束索引。
iii) 75% 的答案长度小于四个单词。
机器理解模型关键组件
i) 嵌入层
该模型的训练集包括语境以及相关的问题。二者都可以分解成单独的单词,这些单词会被转换成使用预训练向量(如 GloVe)的词嵌入。想了解更多关于词嵌入的信息,参考《教程 | 用数据玩点花样!如何构建 skim-gram 模型来训练和可视化词向量》。同 one hot 向量相比,用词嵌入方式对单词进行表示可以更好地捕捉语境信息。考虑到没有足够的数据,我使用了 100 维的 GloVe 词嵌入并且在训练过程中没有对它们进行修改。
ii) 编码器层
RNN 编码器
我们将基于 RNN 的编码器加入到了模型的下一层当中。我们希望语境中的每一个单词能和它前后的单词产生联系。双向 GRU/LSTM 可以帮助我们达到这一目标。RNN 的输出是一系列向前、向后的隐藏向量,然后我们会将它们级联起来。类似地,我们可以使用相同的 RNN 编码器创建问题隐藏向量。
iii)注意力层
现在我们有了一个语境隐藏向量和问题隐藏向量。我们需要将这两个向量结合起来,以找到问题的答案。这时就需要用到注意力层。注意力层是问答系统的关键组成部分,因为它能帮助确定对于给定的问题我们应该「注意」文中的哪些单词。让我们从最简单的注意力模型开始:
点积注意力
CS224N 中基本注意力的可视化分析
点积注意力等于每个语境向量 c_i 乘每个问题向量 q_j 的结果向量 e^i(上图中的注意力分数)。之后,我们对 e^i 调用 softmax 函数来得到 α^i(上图中的注意力分布)。softmax 保证了所有 e^i 的和是 1。最终,我们计算出 a_i:注意力分布 α^i 与对应问题向量(上图中的注意力输出)的积。点积注意力也可以用下面的式子来描述:
上面提到的注意力已作为基线注意力机制在 GitHub 代码中实现。
更复杂的注意力——BiDAF 注意力
你可以用上述基本注意力层来运行 SQuAD 模型,但恐怕结果不尽人意。更复杂的注意力才能产出更好的性能。
我们来了解一下 BiDAF 论文(https://arxiv.org/abs/1611.01603)。该论文的主要观点是注意力应该是双向的——从语境到问题和从问题到语境。
我们首先计算相似度矩阵 S ∈ R^N×M,它包含每对语境和问题隐藏状态 (c_i , q_j) 的相似度分数。这里
c_i ◦ q_j 代表数组元素对应相乘,w_sim ∈ R 6h 是权重向量。S_ij 用下面的式子来表述:
之后,我们将展示 C2Q 注意力(与上面提到的点积注意力类似)。我们对 S 逐行调用 softmax 函数来获得注意力分布 α^i,用它得到问题隐藏状态 q_j 的加权和,最后得出 C2Q 注意力的输出 a_i。
现在,我们来执行 Q2C 注意力。对于每一个语境位置 i ∈ {1, . . . , N},我们取相似度矩阵对应行的最大值:
之后我们对结果向量 m ∈ R^N 调用 softmax 函数,而这将给出关于语境位置的注意力分布 β ∈ R^N。之后,我们使用 β 得到语境隐藏状态的加权和 c_i,这也是 Q2C 注意力的输出结果 c'。以下是相关公式:
最终对于每一个语境位置 c_i,我们结合 C2Q 注意力和 Q2C 注意力的输出,下面是相关公式:
如果你觉得这一段令人费解,不用担心,注意力确实是一个复杂的话题。你可以试着一边喝茶,一边阅读这篇 BiDAF 论文。
iv) 输出层
我们就快成功了。模型的最后一层是一个 softmax 输出层,它帮助我们找出答案区间的开始和结束索引。我们通过结合语境隐藏状态和之前层的注意力向量来得到混合的结果。这些混合的结果最终会成为全连接层的输入,该层使用 softmax 来得到 p_start 向量(具备开始索引的概率)以及 p_end 结束(具备结束索引的概率)。我们知道大部分答案从开始索引到结束索引最多 15 个单词,由此我们可以寻找使 p_start 与 p_end 乘积最大的开始和结束索引。
损失函数是开始和结束位置的交叉熵损失之和。它使用 Adam Optimizer 来获得最小值。
我构建的最终模型比上面描述的要复杂一点,在利用测试集测试时获得了 75 分的 F1 分数。还行!
下一步
关于未来探索的一些想法:
由于 CNN 运行起来比 RNN 快得多,并且更容易在 GPU 上并行计算,因此我最近一直都在用基于 CNN 的编码器而非上述 RNN 编码器进行实验。
其他的注意力机制,如 Dynamic Co-attention(https://arxiv.org/abs/1611.01604)
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14