想定される通信パターン
MPI 1対1通信
- メインメモリ間
- 同一CPUソケットのCPUプロセス間
- 異なるCPUソケットのCPUプロセス間
- 異なるノードのCPUプロセス間
- メインメモリとGPUメモリ間
- 同一CPUソケットのメインメモリとGPUメモリ間
- 異なるCPUソケットのメインメモリとGPUメモリ間
- 異なるノードのメインメモリとGPUメモリ間
- GPUメモリ間
- 同じCPUソケットからつながっているGPU間
- 同一ノードの異なるCPUソケットからつながっているGPU間
- 異なるノードのGPU間
MPI 集団通信