Tensorflow中数据集的使用方法(tf.data.Dataset)
Tensorflow中tf.data.Dataset是最常用的数据集类,我们也使用这个类做转换数据、迭代数据等操作。本篇博客将简要描述这个类的使用方法。
使用Dataset管理数据集需要首先定义数据来源,我们可以使用numpy或者tensor定义的数据作为数据来源来定义Dataset,假设我们有如下numpy定义的代码。
1、引入必要的包
import numpy as np
import tensorflow as tf
2、使用numpy构造数据集
seed = 1000 # 定义随机数产生的方式
data_size = 10 # 数据集大小
n_repeats = 10 # 数据集重复的次数,这个值就是平常我们见到的max_epoch
batch_size = 6 # 批处理的大小
np.random.seed(seed)
# 在这里我们定义两个特征集合和一个标签集合,features1有三列特征,features2有4列特征,labels是0-2之间的一种
features1 = np.random.random((data_size, 3))
features2 = np.random.random((data_size, 4))
labels = np.random.randint(0, 3, data_size)
# 打印测试
print(features1)
print(features2)
print(labels)
3、将numpy数据转换成Dataset
一般我们常使用tf.data.Dataset.from_tensor_slices
方法加载数据。同时,Dataset提供了repeat()和batch()方法方便我们建立循环的数据,repeat参数给定一个整型值就可以使数据重复几份,而batch则是将数据以多少条进行批处理,也就是按照batch参数大小切割数据。
注意,repeat和batch的先后顺序不一样 ,结果是不同的,先repeat再batch会把数据先复制N份变成一个大数据,然后batch是根据这个大的数据来做的。例如,上面我们构造了10个数据,先repeat10份就有100个,再假设batch设置为6,那么最终数据是100/6+1=17份,那么也就是循环17次,如果先batch设置为6,那么数据先变成了10/6+1=2份,再repeat10次就有了20份数据了,循环要20次。这个一定要注意。
# dataset = tf.data.Dataset.from_tensor_slices((features1, features2, labels)).repeat(10).batch(6)
dataset = tf.data.Dataset.from_tensor_slices((features1, features2, labels)).batch(batch_size).repeat(n_repeats)
4、获取数据迭代器
数据准备完成之后需要获取数据迭代器供后面迭代使用,Tensorflow创建迭代器的方法有四种,其中单词迭代器和可初始化的迭代器是最常见的两种:
# 单次迭代器只能循环使用一次数据,而且单次迭代器不需要手动显示调用sess.run()进行初始化即可使用
iterator = dataset.make_one_shot_iterator()
# 可初始化的迭代器可以重新初始化进行循环,但是需要手动显示调用sess.run()才能循环
iterator = dataset.make_initializable_iterator()
# 创建了迭代器之后,我们获取迭代器结果便于后面的运行,注意,这里不会产生迭代,只是建立tensorflow的计算图,因此不会消耗迭代
next_element = iterator.get_next()
5、创建了迭代器之后就可以循环数据了
迭代器循环的停止通过捕获数据越界的错误进行
count = 0
with tf.Session() as sess:
# 这是显示初始化,当我们的迭代器是dataset.make_initializable_iterator()的时候,才需要调用这个方法,否则不需要
sess.run(iterator.initializer)
# 无线循环数据,直到越界
while True:
try:
features1_batch, features2_batch, labels_batch = sess.run(next_element)
count += 1
print(count)
except tf.errors.OutOfRangeError:
break
这里的count输出与上面repeat和batch的先后顺序有关,大家可以自己更换代码查看。
6、使用tqdm循环输出
除了上述捕获越界错误外,我们也可手动计算epoch循环次数和batch循环次数来确定终止的情况。可以配合tqdm包进行输出。tqdm是一个快速,可扩展的Python进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器 tqdm(iterator)即可。我们先引入必要的包:
import time
from tqdm import trange
接下来我们使用自己计算的结果循环:
# 注意,这里实例总数显然是先repeat再batch的结果,要根据实际情况做改变
total_instances = data_size * n_repeats
steps_per_epoch = data_size // batch_size if data_size / batch_size == 0 else data_size // batch_size + 1
with tf.Session() as sess:
sess.run(iterator.initializer)
for epoch in range(n_repeats):
tqr = trange(steps_per_epoch, desc="%2d" % (epoch + 1), leave=False)
for _ in tqr:
features1_batch, features2_batch, labels_batch = sess.run(next_element)
# 由于这里循环没有计算过程,速度很快,看不到进度条,我们加了暂停0.5秒便于观察结果
time.sleep(0.5)
# 由于所有数据都已经循环完毕,如下代码将会报越界的错误,证明我们是对的
sess.run(next_element)
我们可以看到如下的进度条:

以上就是Tensorflow中dataset的读取、循环使用的基本概念。
完整代码可以参考Github:https://github.com/df19900725/tensorflow_example
欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
