想问下大家有人在 Hadoop 或者 Spark 上部署的经验吗?你们部署的网络是什么样子的?有没有什么坑?
谢谢!
提问人:舟 3332,发帖时间:2018-4-17 20:57:09
想问下大家有人在 Hadoop 或者 Spark 上部署的经验吗?你们部署的网络是什么样子的?有没有什么坑?
谢谢!
提问人:舟 3332,发帖时间:2018-4-17 20:57:09
很多大公司都是这么搞的
你可以自己去踩踩坑,然后再这里发个帖子介绍一下自己的经验
smile,发表于 2018-4-19 09:25:10
TF 貌似可以直接读取 HDFS 上的文件数据。
和 Spark 的集成还没有试过。
貌似和 k8s 集成的项目比较常见~ kuberflow 就是专门解决这个问题的~
舟 3332,发表于 2018-4-20 19:59:02
推荐使用 360 的 xlearning 框架,可以成功在 hadoop 上跑
upo,发表于 2018-7-3 18:29:32