当前位置: 代码迷 >> 综合 >> 【持续更新】tensorflow学习中的一些笔记
  详细解决方案

【持续更新】tensorflow学习中的一些笔记

热度:66   发布时间:2024-01-18 08:18:23.0

1.指数衰减函数的参数和计算方程:

tensorflow提供了一个灵活的学习率设置方法,指数衰减函数tf.train.exponential_decay(),它的计算实现如下: decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)

 其中decay_rate是衰减系数(取值小于1,比如0.1), global_steps是当前迭代次数,decay_steps是总的迭代次数,learning_rate是初始学习率。

2. onehot=True

在多类场景下,onehot=true表示,只有一个元素的值是1,其他元素的值是0, 一个长度为n的数组,只有一个元素是1.0,其他元素是0.0。

onehot=False则没有这样的限制。

3. Tensorflow交叉熵函数:cross_entropy

以下交叉熵计算函数输入中的 logits 都不是softmax或sigmoid的输出,因为它在函数内部进行了sigmoid或softmax操作
tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)
_sentinel:本质上是不用的参数,不用填
labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor)
shape:[batch_size,num_classes],单样本是[num_classes]
logits:一个数据类型(type)是float32或float64的张量
name:操作的名字,可填可不填
  相关解决方案