seq2seq的编码和解码形式

詹惠儿

2019-04-16 阅读量: 809

seq2seq的编码和解码形式

编码器： 它使用深度神经网络层并将输入字转换为相应的隐藏向量。每个向量代表当前单词和单词的上下文。

解码器： 它类似于编码器。它将编码器生成的隐藏矢量，其自身的隐藏状态和当前字作为输入，以产生下一个隐藏矢量，最后预测下一个字。

除了这两个，许多优化导致seq2seq的其他组件：

注意：解码器的输入是一个向量，它必须存储有关上下文的所有信息。这成为大序列的问题。因此，应用注意机制，其允许解码器选择性地查看输入序列。
波束搜索：选择最高概率词作为解码器的输出。但由于贪婪算法的基本问题，这并不总能产生最好的结果。因此，应用波束搜索，其建议在每个步骤可能的翻译。这样就完成了一个顶级k结果的树。

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子