Tensorflow 在 Spark/Hadoop 上的部署

想问下大家有人在 Hadoop 或者 Spark 上部署的经验吗?你们部署的网络是什么样子的?有没有什么坑?

谢谢!


提问人:舟 3332,发帖时间:2018-4-17 20:57:09

很多大公司都是这么搞的

你可以自己去踩踩坑,然后再这里发个帖子介绍一下自己的经验 :slight_smile:


smile,发表于 2018-4-19 09:25:10

TF 貌似可以直接读取 HDFS 上的文件数据。
和 Spark 的集成还没有试过。
貌似和 k8s 集成的项目比较常见~ kuberflow 就是专门解决这个问题的~


舟 3332,发表于 2018-4-20 19:59:02

推荐使用 360 的 xlearning 框架,可以成功在 hadoop 上跑


upo,发表于 2018-7-3 18:29:32