有关NLP的笔记

RNN考虑t与t-1时刻的状态
相当于有记忆能力
由于梯度消失，很难学到长距离的关系
LSTM有一个直通的通道保存例子，可以控制遗忘门来遗忘
通过门的的机制来避免梯度消失
GRU遗忘门和输入门合成更新门
seq2seq 两个RNN Encoding和Decoder
要用固定的contex向量来编码整个语义
Attention 提取整个句子
Self-Attention 编码第t个词时，用当前的状态
RNN缺点：顺序的依赖 单向的信息流
Transformer 可以并行 多层Encoder-Decoder 堆叠
Encoder： Self-Attention 和 Feed Forward
Decoder: Self-Attention 和 普通的Attention 和Feed Forward
ELMo 考虑上下文 多层双向LSTM的NNLM 
每个词 都有一个向量 双层就有两个 多层就有2的n次 之后再加权成一个向量
学习语言模型  无监督的语料 学习到的上下文关系不一定适合特定的任务
OpenAI GPT 通过Transformer而不是ELMo里的多层LSTM
将下游数据与上游任务相结合
仅仅使用Decoder
Fine-Tuning 训练时仅有一个句子 有的任务是两个句子
将两个句子拼接
Bert 解决单向信息流问题：Mask LM
随机Mask 15%d的词，让BERT来预测
学到的为考虑前后的双向的模型