非对称的GPU节点如何利用？

[wangleiofficial]

实验室集群有点节点有4卡v100，有的是8卡，有什么办法支持这种非对称的节点训练

[a710128]

如果机器之间通信速度够的话，其实直接用BMTrain就行了。

[wangleiofficial]

关注了BMTrain， BMTrain的Distributed Training也是用的torch.distributed.launch，好像不能用非对称的训练，如果可以给个例子，十分感谢

[a710128]

确实，主要是目前pytorch的启动器都假设你的每个节点的GPU数量一样的。可能有一种简单的方法，你可以把8卡节点拆成两个4卡节点，这样用传统的启动方法应该也能启动起来，需要设置CUDA_VISIBLE_DEVICES。