Attention 讲解.pptx

发布时间：2022-05-31 发布人：admin 分类：说明书资料大小：21.94M 资料格式：pptx 举报版权申诉

第1页 / 共104页

第2页 / 共104页

第3页 / 共104页

第4页 / 共104页

第5页 / 共104页

第6页 / 共104页

第7页 / 共104页

第8页 / 共104页

NLP旧时代 LSTM + Attention

今天的主题语言模型与词向量 RNN 与 LSTM Attention 机制 Transoformer 预训练语言模型

语言模型与词向量词向量是语言模型的副产物

语言模型：AR vs AE AR ： AE ：

词向量一个假设：如果两个词的上下文分布相近，那么这两个词在语义上相近

Attentin 机制从 A t t e n t i o n 的原理到 A t t e n t i o n 的进展

以机器翻译为例： Sequence to Sequence who am I Encoder C Decoder 我是谁

分享到：

赞收藏

资料库