如何提高模型加载的速度

刚入坑不久,首先我使用 TF 中的 keras 训练出来一个模型,通过 model.save (xxx.h5) 保存得到一个模型,之后在预测单个样本的过程中调用该模型,每次模型加载约需要 1 秒,模型预测需要 0.4 秒,但是该速度对于我的生产环境显然过慢,请问一下各位我训练过程中的哪个环节需要优化,或者有更好的处理方案,感谢


Antonio 2018-9-11 11:21:27

有几个方法:

  1. 保留你的 sess
  2. 用缓存,比如某些很明显的就直接用缓存搞定了就好了。。。。
  3. 看业务情况,能不能提前预加载模型

ViolinSolo 发表于 2018-9-11 15:20:03