深度学习之Encoder-Decoder架构

[TOC]

#### 一、背景简介

深度学习中Sequence to Sequence (Seq2Seq) 模型的目标是将一个序列转换成另一个序列。包括机器翻译（machine translate）、会话识别（speech recognition）和时间序列预测（time series forcasting）等任务都可以理解成是Seq2Seq任务。RNN（Recurrent Neural Networks）是深度学习中最基本的序列模型。

Seq2Seq最基本的特点是输入数据和输出数据的长度并不是固定的，例如对于翻译来说，中文可能是“很 高兴 见 到 你”，而英文是“Nice to meet you”，这种情况就是输入和输出的长度不一样。同时，换一个例句之后，其输入和输出的长度也会变化。因此，一般的深度学习网络是无法处理这个问题的。

但是，[基础RNN模型](https://www.datalearner.com/blog/1051552569734570)（以及相关的变种模型如[GRU神经网络](https://www.datalearner.com/blog/1051552638589418)、[LSTM神经网络](https://www.datalearner.com/blog/1051552893843679)）虽然可以处理序列数据，然而就精度而言并不是很好（论文的对比试验结论）。为此，在2014年有很多研究者在几乎同一时间都提出了Encoder-Decoder的深度学习架构来处理Seq2Seq的问题。

[Sutskever et al., Sequence to Sequence Learning with Neural Networks. NIPS. 2014](http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks)

[Cho et al., Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. arXiv. 2014](https://arxiv.org/abs/1406.1078)

[Cho et al., On the Properties of Neural Machine Translation: Encoder–Decoder Approaches. arXiv. 2014](https://arxiv.org/abs/1409.1259)

[Bahdanau et al., Neural machine translation by jointly learning to align and translate. arXiv. 2014](https://arxiv.org/pdf/1409.0473.pdf)

Encoder-Decoder网络架构的一般思想是整个网络结构中使用两个网络来处理Seq2Seq任务。第一个网络将输入的Seq转换成一个固定长度的内部表示向量，第二个网络则是将该向量作为输入，用以预测输出的序列。两个网络之间的连接就是中间的一个向量。

#### 二、问题描述

在这里，我们以Cho的论文（Sequence to Sequence Learning with Neural Networks）为例，描述一下问题。

假设我们有个原始序列：
```math
\{x_1,\cdots,x_T\}
```
目标是转换成对应的序列：
```math
\{y_1,\cdots,y_{T'}\}
```

注意，这里的两个序列并不一定是等长的。那么，一般我们可以构造如下形式的RNN Encoder-Decoder模型：

<center>![](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2017/10/Depiction-of-the-Encoder-Decoder-architecture.png)</center>
<center></center>

我们第一步先构造一个RNN，将原始序列作为输入，产生一个向量$C$。也就是说，我们第一步是要把原始序列转换成一个固定长度的向量，这里可以理解为一个特征抽取过程，即将原始不定长序列转换成一组固定长度的特征向量。其实，这里的结构可以是基本的RNN模型、GRU网络或者是LSTM，或者是Bi-RNN、Bi-LSTM（双向）。这个阶段就是Encoding阶段。

下一个阶段就是Decoding阶段，其目标是将特征向量$C$转换成目标序列$\\{y\_1,\cdots,y\_{T\` }\\}$。这两个阶段的目标是最大化如下的条件概率：

```math
\max_{\theta} \frac{1}{N} \sum_{n=1}^N\log p_\theta(\bold{y}_n|\bold{x}_n)
```

这里的$\theta$就是模型的参数集合，每一个$(\bold{x}\_n,\bold{y}\_n)$对都是一个训练集。模型的求解可以使用梯度下降。

#### 三、Encoder-Decoder代码示例

假设我们要构造的Enocder-Decoder模型结构如下：

<center>![](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2017/09/Alternate-1-One-Shot-Text-Summarization-Model.png)</center>

那么上述模型的代码结构如下：

```python
vocab_size = ...
src_txt_length = ...
sum_txt_length = ...
# encoder input model
inputs = Input(shape=(src_txt_length,))
encoder1 = Embedding(vocab_size, 128)(inputs)
encoder2 = LSTM(128)(encoder1)
encoder3 = RepeatVector(sum_txt_length)(encoder2)
# decoder output model
decoder1 = LSTM(128, return_sequences=True)(encoder3)
outputs = TimeDistributed(Dense(vocab_size, activation='softmax'))(decoder1)
# tie it together
model = Model(inputs=inputs, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='adam')
```

深度学习之Encoder-Decoder架构

相关博客

最热博客