陈天奇开发的rabit,Rabit实现Allreduce和Broadcast的API,想问一下有人用过吗。
最近写程序需要实现集群中不同节点之间的通信,希望,可以得到大家的建议,谢谢大家

解决方案 »

  1.   

    楼主,您好
    不知道你的问题解决了没有,最近我也在用xgboost进行分布式集群研究,rabit主要是从MPI的接口抽象出来,实际上的通信机制还是MPI,在xgboost中已经嵌入了rabit的接口,可以直接使用xgb.rabit进行使用,不久前又看到有人使用slurm进行集群调度实现分布式计算,目前我还仅仅是初识了一些分布式和集群的知识。
    如果楼主的问题已经解决,希望楼主可以写一些博客分享出来。
      

  2.   

    我是做表示学习方向的,去年研究过一段时间rabit,摸索着安装成功之后,后来发现rabit框架和我的研究内容不太相符,后来开始自己动手写分布式框架就没有再用过rabit了。rabit安装相关的流程我写过一篇博文,就在我的主页。以后有问题可以一起交流呀  :)