Tensorflow中数据集的使用方法（tf.data.Dataset）

Tensorflow中tf.data.Dataset是最常用的数据集类，我们也使用这个类做转换数据、迭代数据等操作。本篇博客将简要描述这个类的使用方法。

[TOC]

使用Dataset管理数据集需要首先定义数据来源，我们可以使用numpy或者tensor定义的数据作为数据来源来定义Dataset，假设我们有如下numpy定义的代码。

#### 1、引入必要的包

```python
import numpy as np
import tensorflow as tf
```

#### 2、使用numpy构造数据集
```python
seed = 1000  # 定义随机数产生的方式
data_size = 10	# 数据集大小
n_repeats = 10	# 数据集重复的次数，这个值就是平常我们见到的max_epoch
batch_size = 6	# 批处理的大小

np.random.seed(seed)

# 在这里我们定义两个特征集合和一个标签集合，features1有三列特征，features2有4列特征，labels是0-2之间的一种
features1 = np.random.random((data_size, 3))
features2 = np.random.random((data_size, 4))
labels = np.random.randint(0, 3, data_size)

# 打印测试
print(features1)
print(features2)
print(labels)
```

#### 3、将numpy数据转换成Dataset
一般我们常使用`tf.data.Dataset.from_tensor_slices`方法加载数据。同时，Dataset提供了repeat()和batch()方法方便我们建立循环的数据，repeat参数给定一个整型值就可以使数据重复几份，而batch则是将数据以多少条进行批处理，也就是按照batch参数大小切割数据。

注意，<font color=red>repeat和batch的先后顺序不一样</font> ，结果是不同的，先repeat再batch会把数据先复制N份变成一个大数据，然后batch是根据这个大的数据来做的。例如，上面我们构造了10个数据，先repeat10份就有100个，再假设batch设置为6，那么最终数据是100/6+1=17份，那么也就是循环17次，如果先batch设置为6，那么数据先变成了10/6+1=2份，再repeat10次就有了20份数据了，循环要20次。这个一定要注意。

```python
# dataset = tf.data.Dataset.from_tensor_slices((features1, features2, labels)).repeat(10).batch(6)
dataset = tf.data.Dataset.from_tensor_slices((features1, features2, labels)).batch(batch_size).repeat(n_repeats)
```

#### 4、获取数据迭代器
数据准备完成之后需要获取数据迭代器供后面迭代使用，Tensorflow创建迭代器的方法有四种，其中单词迭代器和可初始化的迭代器是最常见的两种：

```python
# 单次迭代器只能循环使用一次数据，而且单次迭代器不需要手动显示调用sess.run()进行初始化即可使用
iterator = dataset.make_one_shot_iterator()

# 可初始化的迭代器可以重新初始化进行循环，但是需要手动显示调用sess.run()才能循环
iterator = dataset.make_initializable_iterator()

# 创建了迭代器之后，我们获取迭代器结果便于后面的运行，注意，这里不会产生迭代，只是建立tensorflow的计算图，因此不会消耗迭代
next_element = iterator.get_next()
```

#### 5、创建了迭代器之后就可以循环数据了
迭代器循环的停止通过捕获数据越界的错误进行
```python
count = 0
with tf.Session() as sess:
	# 这是显示初始化，当我们的迭代器是dataset.make_initializable_iterator()的时候，才需要调用这个方法，否则不需要
    sess.run(iterator.initializer)
	
	# 无线循环数据，直到越界
    while True:
        try:
            features1_batch, features2_batch, labels_batch = sess.run(next_element)
            count += 1
            print(count)
        except tf.errors.OutOfRangeError:
            break
```
这里的count输出与上面repeat和batch的先后顺序有关，大家可以自己更换代码查看。

#### 6、使用tqdm循环输出
除了上述捕获越界错误外，我们也可手动计算epoch循环次数和batch循环次数来确定终止的情况。可以配合tqdm包进行输出。tqdm是一个快速，可扩展的Python进度条，可以在 Python 长循环中添加一个进度提示信息，用户只需要封装任意的迭代器 tqdm(iterator)即可。我们先引入必要的包：

```python
import time
from tqdm import trange
```

接下来我们使用自己计算的结果循环：
```python
# 注意，这里实例总数显然是先repeat再batch的结果，要根据实际情况做改变
total_instances = data_size * n_repeats
steps_per_epoch = data_size // batch_size if data_size / batch_size == 0 else data_size // batch_size + 1

with tf.Session() as sess:
    sess.run(iterator.initializer)

for epoch in range(n_repeats):
        tqr = trange(steps_per_epoch, desc="%2d" % (epoch + 1), leave=False)

for _ in tqr:
            features1_batch, features2_batch, labels_batch = sess.run(next_element)
			# 由于这里循环没有计算过程，速度很快，看不到进度条，我们加了暂停0.5秒便于观察结果
            time.sleep(0.5)

# 由于所有数据都已经循环完毕，如下代码将会报越界的错误，证明我们是对的
    sess.run(next_element)
```

我们可以看到如下的进度条：
<center>![](http://www.datalearner.com/resources/blog_images/9fdc81c5-481a-43df-b91c-e93dda9b408a.jpg)</center>

以上就是Tensorflow中dataset的读取、循环使用的基本概念。

完整代码可以参考Github：https://github.com/df19900725/tensorflow_example

相关博客

最热博客