【自然语言处理】机器翻译

机器翻译

机器翻译解决的是输入是一串在某种语言中的一句话，输出是目标语言相对应的话的问题，如将德语中的一段话翻译成合适的英语。

神经机器翻译

Neural Machine Translation(一下简称NMT)模型中，通常的配置是encoder-decoder结构，即encoder读取输入的句子将其转换为定长的一个向量，然后decoder再将这个向量翻译成对应的目标语言的文字。

通常encoder及decoder均采用RNN结构如LSTM或GRU等。

attention

详见：Attention和self Attention的联系和区别

详见：Transformer

多头注意力机制

就是多个attention的叠加。在Transformer中也有提到。

Transformer

详见：Transformer