这是深度学习模型中的正常现象。深度学习模型的参数空间很大，实际问题常常也比较复杂（非凸的）。
优化过程中：可能在训练时，先落入某个损失函数的局部极小值（local minima）；在几次迭代之后，跳出这个局部区域；重新到达另一个极小值（可能会是全局最小值）。
你现在 TensorBoard 展示的指标应该是 cost (loss 损失函数) 的值，你同时也可以观测一下 accuracy 等识别准确度指标，看是否在上升。通常训练收敛之后，选择一个效果最好的模型就可以了。
TianLin，2018-5-20 12:15:35