我正在训练一个模型,其中输入向量是另一个模型的输出。这涉及从检查点文件恢复第一个模型,同时从头开始初始化第二个模型(使用tf.initialize_variables()
)在同一过程中。
有大量的代码和抽象,所以我只是将相关部分粘贴到此处。
以下是恢复代码:
self.variables = [var for var in all_vars if var.name.startswith(self.name)]
saver = tf.train.Saver(self.variables, max_to_keep=3)
self.save_path = tf.train.latest_checkpoint(os.path.dirname(self.checkpoint_path))
if should_restore:
self.saver.restore(self.sess, save_path)
else:
self.sess.run(tf.initialize_variables(self.variables))
每个模型都有自己的图表和会话范围,如下所示:
self.graph = tf.Graph()
self.sess = tf.Session(graph=self.graph)
with self.sess.graph.as_default():
# Create variables and ops.
每个模型中的所有变量都是在variable_scope
上下文管理器。
饲喂工作如下:
- 后台线程调用
sess.run(inference_op)
on input = scipy.misc.imread(X)
并将结果放入阻塞线程安全队列中。
- 主训练循环从队列中读取并调用
sess.run(train_op)
在第二个模型上。
PROBLEM:
我观察到,即使在训练的第一次迭代(第二个模型)中,损失值也会在运行过程中不断发生巨大变化(并在几次迭代中变为 nan)。我确认第一个模型的输出每次都是完全相同的。注释掉sess.run
第一个模型的并将其替换为来自 pickled 文件的相同输入不会显示此行为。
这是train_op
:
loss_op = tf.nn.sparse_softmax_cross_entropy(network.feedforward())
# Apply gradients.
with tf.control_dependencies([loss_op]):
opt = tf.train.GradientDescentOptimizer(lr)
grads = opt.compute_gradients(loss_op)
apply_gradient_op = opt.apply_gradients(grads)
return apply_gradient_op
我知道这很模糊,但我很乐意提供更多细节。任何帮助表示赞赏!