目标
- 应用op的name参数实现op的名字修改
- 应用variable_scope实现图程序作用域的添加
- 应用scalar或histogram实现张量值的跟踪显示
- 应用merge_all实现张量值的合并
- 应用add_summary实现张量值写入文件
- 应用tf.train.saver实现TensorFlow的模型保存以及加载
- 应用tf.app.flags实现命令行参数添加和使用
- 应用reduce_mean、square实现均方误差计算
- 应用tf.train.GradientDescentOptimizer实现有梯度下降优化器创建
- 应用minimize函数优化损失
- 知道梯度爆炸以及常见解决技巧
应用
实现线性回归模型
内容预览
2.7.1 线性回归原理复习
2.7.2 案例：实现线性回归的训练
2.7.3 增加其他功能
1 增加变量显示
2 增加命名空间
3 模型的保存与加载
4 命令行参数使用
2.7.1 线性回归原理复习
根据数据建立回归模型，w1x1+w2x2+…..+b = y，通过真实值与预测值之间建立误差，使用梯度下降优化得到损失最小对应的权重和偏置。最终确定模型的权重和偏置参数。最后可以用这些参数进行预测。
2.7.2 案例：实现线性回归的训练
1 案例确定
假设随机指定100个点，只有一个特征
数据本身的分布为 y = 0.8 * x + 0.7
这里将数据分布的规律确定，是为了使我们训练出的参数跟真实的参数（即0.8和0.7）比较是否训练准确
2 API
运算
矩阵运算
tf.matmul(x, w)
平方
tf.square(error)
均值
tf.reduce_mean(error)
梯度下降优化
tf.train.GradientDescentOptimizer(learning_rate)
梯度下降优化
learning_rate:学习率，一般为0~1之间比较小的值
method:
minimize(loss)
return:梯度下降op
3 步骤分析
1 准备好数据集：y = 0.8x + 0.7 100个样本
2 建立线性模型
随机初始化W1和b1
y = W·X + b，目标：求出权重W和偏置b
3 确定损失函数（预测值与真实值之间的误差）-均方误差
4 梯度下降优化损失：需要指定学习率（超参数）
4 实现完整功能
import tensorflow as tf
import osdef linear_regression():"""自实现线性回归:return: None"""# 1）准备好数据集：y = 0.8x + 0.7 100个样本# 特征值X, 目标值y_trueX = tf.random_normal(shape=(100, 1), mean=2, stddev=2)# y_true [100, 1]# 矩阵运算 X（100， 1）* （1, 1）= y_true(100, 1)y_true = tf.matmul(X, [[0.8]]) + 0.7# 2）建立线性模型：# y = W·X + b，目标：求出权重W和偏置b# 3）随机初始化W1和b1weights = tf.Variable(initial_value=tf.random_normal(shape=(1, 1)))bias = tf.Variable(initial_value=tf.random_normal(shape=(1, 1)))y_predict = tf.matmul(X, weights) + bias# 4）确定损失函数（预测值与真实值之间的误差）-均方误差error = tf.reduce_mean(tf.square(y_predict - y_true))# 5）梯度下降优化损失：需要指定学习率（超参数）# W2 = W1 - 学习率*(方向)# b2 = b1 - 学习率*(方向)optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(error)# 初始化变量init = tf.global_variables_initializer()# 开启会话进行训练with tf.Session() as sess:# 运行初始化变量Opsess.run(init)print("随机初始化的权重为%f， 偏置为%f" % (weights.eval(), bias.eval()))# 训练模型for i in range(100):sess.run(optimizer)print("第%d步的误差为%f，权重为%f， 偏置为%f" % (i, error.eval(), weights.eval(), bias.eval()))return None
6 变量的trainable设置观察
trainable的参数作用，指定是否训练
weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="weights", trainable=False)
2.7.3 增加其他功能
增加命名空间
命令行参数设置
2 增加命名空间
是代码结构更加清晰，Tensorboard图结构清楚
with tf.variable_scope("lr_model"):def linear_regression():# 1）准备好数据集：y = 0.8x + 0.7 100个样本# 特征值X, 目标值y_truewith tf.variable_scope("original_data"):X = tf.random_normal(shape=(100, 1), mean=2, stddev=2, name="original_data_x")# y_true [100, 1]# 矩阵运算 X（100， 1）* （1, 1）= y_true(100, 1)y_true = tf.matmul(X, [[0.8]], name="original_matmul") + 0.7# 2）建立线性模型：# y = W·X + b，目标：求出权重W和偏置b# 3）随机初始化W1和b1with tf.variable_scope("linear_model"):weights = tf.Variable(initial_value=tf.random_normal(shape=(1, 1)), name="weights")bias = tf.Variable(initial_value=tf.random_normal(shape=(1, 1)), name="bias")y_predict = tf.matmul(X, weights, name="model_matmul") + bias# 4）确定损失函数（预测值与真实值之间的误差）-均方误差with tf.variable_scope("loss"):error = tf.reduce_mean(tf.square(y_predict - y_true), name="error_op")# 5）梯度下降优化损失：需要指定学习率（超参数）# W2 = W1 - 学习率*(方向)# b2 = b1 - 学习率*(方向)with tf.variable_scope("gd_optimizer"):optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01, name="optimizer").minimize(error)# 2）收集变量tf.summary.scalar("error", error)tf.summary.histogram("weights", weights)tf.summary.histogram("bias", bias)# 3）合并变量merge = tf.summary.merge_all()# 初始化变量init = tf.global_variables_initializer()# 开启会话进行训练with tf.Session() as sess:# 运行初始化变量Opsess.run(init)print("随机初始化的权重为%f， 偏置为%f" % (weights.eval(), bias.eval()))# 1）创建事件文件file_writer = tf.summary.FileWriter(logdir="./summary", graph=sess.graph)# 训练模型for i in range(100):sess.run(optimizer)print("第%d步的误差为%f，权重为%f， 偏置为%f" % (i, error.eval(), weights.eval(), bias.eval()))# 4）运行合并变量opsummary = sess.run(merge)file_writer.add_summary(summary, i)return None
3 模型的保存与加载
tf.train.Saver(var_list=None,max_to_keep=5)
保存和加载模型（保存文件格式：checkpoint文件）
var_list:指定将要保存和还原的变量。它可以作为一个dict或一个列表传递.
max_to_keep：指示要保留的最近检查点文件的最大数量。创建新文件时，会删除较旧的文件。如果无或0，则保留所有检查点文件。默认为5（即保留最新的5个检查点文件。）
使用
例如：
指定目录+模型名字
saver.save(sess, '/tmp/ckpt/test/myregression.ckpt')
saver.restore(sess, '/tmp/ckpt/test/myregression.ckpt')
如要判断模型是否存在，直接指定目录
checkpoint = tf.train.latest_checkpoint("./tmp/model/")saver.restore(sess, checkpoint)