学习网址：Tensorflow中文社区 http://www.tensorfly.cn/
1.Variable 一个Variable代表一个可修改的张量，存在在TensorFlow的用于描述交互性操作的图中。它们可以用于计算输入值，也可以在计算中被修改。对于各种机器学习应用，一般都会有模型参数，如w、b，可以用Variable表示。
Tensorflow依赖于一个高效的C++后端来进行计算。与后端的这个连接叫做session。
InteractiveSession InteractiveSession类，它能让你在运行图的时候，插入一些计算图，这些计算图是由某些操作(operations)构成的。
为了便于使用诸如 IPython 之类的 Python 交互环境, 可以使用 InteractiveSession 代替 Session 类，用Tensor.eval() 和 Operation.run() 方法代替 Session.run(). 这样可以避免使用一个变量来持有会话.
相当于：tf.matmul(x, weights) + biases
tf.nn.xw_plus_b(
x,
weights,
biases,
name=None
)（1）tf.nn.atrous_conv2d（）空洞卷积或者扩张卷积
如何理解空洞卷积（dilated convolution）？
其实用一句话概括就是：在不用pooling的情况下扩大感受野（pooling层会导致信息损失）
普通会话：
sess = tf.Session()
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})交互式会话：
sess = tf.InteractiveSession()
# Operation.run()
train_step.run(feed_dict={x: batch[0], y_: batch[1]})
# Tensor.eval()
accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels})用一个placeholder来代表一个神经元的输出在dropout中保持不变的概率。这样我们可以在训练过程中启用dropout，在测试过程中关闭dropout。
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)feed_dict中加入额外的参数keep_prob来控制dropout比例for i in range(20000):
batch = mnist.train.next_batch(50)
# 每100轮，检测下精度：测试过程中关闭dropout
if i%100 == 0:
train_accuracy = accuracy.eval(feed_dict={
x:batch[0], y_: batch[1], keep_prob: 1.0})
print("step %d, training accuracy %g"%(i, train_accuracy))
train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5}) # 训练过程中启用dropout
# 训练过程中关闭dropout
print("test accuracy %g"%accuracy.eval(feed_dict={
x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))TensorFlow 2.0中提供了tensorflow.compat.v1代码包来兼容原有1.x的代码，可以做到几乎不加修改的运行。 TensorFlow 2.0中提供了命令行迁移工具，来自动的把1.x的代码转换为2.0的代码。
参考：https://cloud.tencent.com/developer/article/1414830
为了得到可以用来后续恢复模型以进一步训练或评估的检查点文件（checkpoint file），我们实例化一个tf.train.Saver。
saver = tf.train.Saver()
在训练循环中，将定期调用saver.save()方法，向训练文件夹中写入包含了当前所有可训练变量值得检查点文件。
saver.save(sess, FLAGS.train_dir, global_step=step)
这样，我们以后就可以使用saver.restore()方法，重载模型的参数，继续训练。
saver.restore(sess, FLAGS.train_dir)tf.train.Saver类
功能：保存和恢复变量
有关变量，保存和恢复的概述，请参见变量
将Saver类添加ops 从而在checkpointes里save和restore变量 。它还提供了运行这些操作的便捷方法。
Checkpoints是专有格式的二进制文件，它将变量名称映射到张量值。测试Checkpoints内容的最佳方式是使用Saver来加载。
Savers可以使用提供的计数器自动为Checkpoint文件名编号，这使您可以在训练模型时在不同的步骤中保留多个Checkpoints。例如，您可以使用训练步骤编号对Checkpoint文件名进行编号。为避免填满磁盘，储存器会自动管理Checkpoint文件。例如，他们只能保留N个最新文件，或每N小时训练一个Checkpoint。
在一个条件随机场里面计算标签序列的log-likelihood
函数的目的：使用crf 来计算损失，里面用到的优化方法是：最大似然估计
参数：max_seq_len = 一个句子的字数
返回：
示例代码：https://www.cnblogs.com/lovychen/p/8490397.html
viterbi_decode(score，transition_params)
通俗一点，作用就是返回最好的标签序列，这个函数只能够在测试时使用，在tensorflow外部解码。
参数:
score: 一个形状为[seq_len, num_tags] matrix of unary potentials.
transition_params: 形状为[num_tags, num_tags] 的转移矩阵
返回：
viterbi: 一个形状为[seq_len] 显示了最高分的标签索引的列表.
viterbi_score: A float containing the score for the Viterbi sequence.crf_decode(potentials,transition_params,sequence_length)
在tensorflow内解码
参数:
返回：
tf.contrib.estimator.stop_if_no_decrease_hook()
tf.contrib.estimator.stop_if_no_decrease_hook(
estimator,
metric_name,
max_steps_without_decrease,
eval_dir=None,
min_steps=0,
run_every_secs=60,
run_every_steps=None
)其中metric_name用来指明监控的变量（比如loss或者accuracy）
1.tf.argmax ()tf.argmax是一个非常有用的函数，它能给出某个tensor对象在某一维上的其数据最大值所在的索引值。
把布尔值转换成浮点数，如
tf.cast(correct_prediction, "float")[True, False, True, True] 会变成 [1,0,1,1]
3.tf.truncated_normal()tf.truncated_normal初始函数将根据所得到的均值和标准差，生成一个随机分布，从截断的正态分布中输出随机值。
tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
从截断的正态分布中输出随机值。 shape表示生成张量的维度，mean是均值，stddev是标准差。这个函数产生正太分布，均值和标准差自己设定。这是一个截断的产生正太分布的函数，就是说产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。和一般的正太分布的产生随机数据比起来，这个函数产生的随机数与均值的差距不会超过两倍的标准差，但是一般的别的函数是可能的。
import tensorflow as tf
import numpy as np
t=[[1,2,3],[4,5,6]]
t0=tf.reverse(t,[0])
t1=tf.reverse(t,[1])
t21=tf.reverse(t,[0,1])
t22=tf.reverse(t,[1,0])
sess=tf.Session()
print(sess.run(t0))
print(sess.run(t1))
print(sess.run(t21))
print(sess.run(t22))
运行结果如下：
按行（axis=0）变换，上下行交换位置
[[4 5 6]
[1 2 3]]
axis=1按照横轴变换，前后列交换位置
[[3 2 1]
[6 5 4]]
先纵轴变换，后横轴变换
[[6 5 4]
[3 2 1]]
先横轴后纵轴变换
[[6 5 4]
[3 2 1]]
tensorflow中用来拼接张量的函数tf.concat()，用法:
tf.concat([tensor1, tensor2, tensor3,...], axis)先给出tf源代码中的解释:
t1 = [[1, 2, 3], [4, 5, 6]]
t2 = [[7, 8, 9], [10, 11, 12]]
tf.concat([t1, t2], 0) # [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]
tf.concat([t1, t2], 1) # [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 12]]
# tensor t3 with shape [2, 3]
# tensor t4 with shape [2, 3]
tf.shape(tf.concat([t3, t4], 0)) # [4, 3]
tf.shape(tf.concat([t3, t4], 1)) # [2, 6]这里解释了当axis=0和axis=1的情况，怎么理解这个axis呢？其实这和numpy中的np.concatenate()用法是一样的。
对于一个二维矩阵，第0个维度代表最外层方括号所框下的子集，第1个维度代表内部方括号所框下的子集。维度越高，括号越小。
对于这种情况，我可以再解释清楚一点:
对于[ [ ], [ ]]和[[ ], [ ]]，低维拼接等于拿掉最外面括号，高维拼接是拿掉里面的括号(保证其他维度不变)。注意：tf.concat()拼接的张量只会改变一个维度，其他维度是保存不变的。比如两个shape为[2,3]的矩阵拼接，要么通过axis=0变成[4,3]，要么通过axis=1变成[2,6]。改变的维度索引对应axis的值。
这样就可以理解多维矩阵的拼接了，可以用axis的设置来从不同维度进行拼接。
对于三维矩阵的拼接，自然axis取值范围是[0, 1, 2]。
对于axis等于负数的情况：
负数在数组索引里面表示倒数(countdown)。比如，对于列表ls = [1,2,3]而言，ls[-1] = 3，表示读取倒数第一个索引对应值。
axis=-1表示倒数第一个维度，对于三维矩阵拼接来说，axis=-1等价于axis=2。同理，axis=-2代表倒数第二个维度，对于三维矩阵拼接来说，axis=-2等价于axis=1。
一般在维度非常高的情况下，我们想在最'高'的维度进行拼接，一般就直接用countdown机制，直接axis=-1就搞定了。
解析命令行参数，调用main 函数 main(sys.argv)
主要的作用是配置tf.Session的运算方式，比如gpu运算或者cpu运算
https://blog.csdn.net/u012436149/article/details/53837651
https://blog.csdn.net/qq_31261509/article/details/79746114
函数功能：找出训练时保存的模型，其中有model_checkpoint_path和all_model_checkpoint_paths两个属性
ckpt.model_checkpoint_path：可以找出所有模型中最新的模型
ckpt.all_model_checkpoint_paths：可以找出所有模型
tf.train.checkpoint_exists(...): 检查是否存在具有指定前缀的V1或V2检查点(弃用)。
opt = tf.tf.train.GradientDescentOptimizer(learning_rate=0.1)
train_op = opt.minimize(loss)minimize的内部存在两个操作：(1)计算各个变量的梯度 (2)用梯度更新这些变量的值
def minimize(self, loss, global_step=None, var_list=None, name=None):
grads_and_vars = self.compute_gradients(loss, var_list=var_list)
vars_with_grad = [v for g, v in grads_and_vars if g is not None]
if not vars_with_grad:
raise ValueError(
"No gradients provided for any variable, check your graph for ops"
" that do not support gradients, between variables %s and loss %s." %
([str(v) for _, v in grads_and_vars], loss))
return self.apply_gradients(grads_and_vars, global_step=global_step, name=name) apply_gradients和compute_gradients是所有的优化器都有的方法。
（1）computer_gradients(loss, val_list)
计算出各个变量的偏导数（梯度），是为了防止梯度爆炸和梯度消失。通过对gradient的修正，来进行避免。
val_list：进行求偏导的变量的列表，默认为graph中收集的变量列表
compute_gradients(
loss,
var_list=None,
gate_gradients=GATE_OP,
aggregation_method=None,
colocate_gradients_with_ops=False,
grad_loss=None
)
计算loss中可训练的var_list中的梯度，相当于minimize()的第一步，返回(gradient, variable)对的list。
（2）apply_gradients(grads_and_vars, global_step=None, name=None)
该函数的作用是将compute_gradients()返回的值作为输入参数对variable进行更新。
apply_gradients(
grads_and_vars,
global_step=None,
name=None
) minimize()的第二部分，返回一个执行梯度更新的ops。
（3）tf.clip_by_value
输入一个张量t，把t中的每一个元素的值都压缩在clip_value_min和clip_value_max之间。小于min的让它等于min，大于max的元素的值等于max。
tf.clip_by_value(
t, # grad
clip_value_min,
clip_value_max,
name=None # val
)例子：
#Now we apply gradient clipping. For this, we need to get the gradients,
#use the `clip_by_value()` function to clip them, then apply them:
threshold = 1.0
optimizer = tf.train.GradientDescentOptimizer(learning_rate)
grads_and_vars = optimizer.compute_gradients(loss)
#list包括的是：梯度和更新变量的元组对
capped_gvs = [(tf.clip_by_value(grad, -threshold, threshold), var)
for grad, var in grads_and_vars]
#执行对应变量的更新梯度操作
training_op = optimizer.apply_gradients(capped_gvs)
（4）tf.clip_by_norm
指对梯度进行裁剪，通过控制梯度的最大范式，防止梯度爆炸的问题，是一种比较常用的梯度规约的方式。
tf.clip_by_norm(
t,
clip_norm, # 裁剪率
axes=None,
name=None
) 其作用在于将传入的梯度张量t的L2范数进行了上限约束，约束值即为clip_norm，如果t的L2范数超过了clip_norm，则变换为t * clip_norm / l2norm(t)，如此一来，变换后的t的L2范数便小于等于clip_norm了。
（1）tf.reduce_sum() 求和函数，在 tensorflow 里面，计算的都是 tensor，可以通过调整 axis =0,1 的维度来控制求和维度
reduce_sum (
input_tensor ,
axis = None ,
keep_dims = False ,
name = None ,
reduction_indices = None
) tf.reduce_sum函数中reduction_indices参数表示函数的处理维度。
reduction_indices参数的值默认的时候为None，默认把所有的数据求和，即结果是一维的。
reduction_indices参数的值为0，是第0维对应位置相加。
reduction_indices参数的值为1，是第1维对应位置相加。
返回值及注意：
此函数计算一个张量的各个维度上元素的总和。v
函数中的input_tensor是按照axis中已经给定的维度来减少的；除非 keep_dims 是true,否则张量的秩将在axis的每个条目中减少1；如果keep_dims为true,则减小的维度将保留为长度1。
如果axis没有条目,则缩小所有维度,并返回具有单个元素的张量.
tf.assign(A, new_number): 这个函数的功能主要是把A的值变为new_number
参考：https://www.cnblogs.com/liujiacai/p/7804848.html
logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点：
read_value()、assign()是tf.Variable的函数
参考：变量常量类型 https://blog.csdn.net/xierhacker/article/details/53103979
assign(value, use_locking=False)
作用：为变量指定一个新的值
read_value()
作用：返回这个变量的值，在当前的上下文中读取。返回的是一个含有这个值的Tensor
import_meta_graph(
meta_graph_or_file,
clear_devices=False,
import_scope=None,
**kwargs
)从文件中将保存的graph的所有节点加载到当前的default graph中，并返回一个saver。也就是说，我们在保存的时候，除了将变量的值保存下来，其实还有将对应graph中的各种节点保存下来，所以模型的结构也同样被保存下来了。