MPI 中的幽灵细胞交换模式

我正在使用 MPI 实现分布式图像（灰度）卷积。我现有的模式是在根进程中将图像读取为一维扁平数组，然后将它们分散到所有进程（行分解），然后执行MPI_Gather在根进程中，然后再次将图像作为一维展平数组写出。显然，这不会给出预期的结果，因为使用图像卷积时，边界处的情况会变得棘手。

因此，为了改进上述模式，我想实现所谓的ghost cell exchange模式，其中进程交换它们的行ghost rows.在伪代码中：

if (rank == 0) {
    src = null
    dest = rank + 1
}

if (rank == size - 1) {
    src = rank - 1
    dest = null
} else {
   src = rank - 1
   dest = rank + 1
}

MPI_SendRecv(&sendbuf[offset], slen, dest..
             &recvbuf[offset], rlen, src);

如何为每个进程上的“幽灵行”分配内存？我应该预先分配内存然后分散吗？我不想采用“自定义数据类型”解决方案，因为它对于我正在考虑的问题的范围来说太过分了。

理想情况下，幽灵细胞应该与您的内存块位于同一内存块中。normal细胞。这样，您就可以保持寻址方案简单。在该方案中，图像由多个完整行分布，使用MPI_Scatter and MPI_Gather。在非边界排名中，您为另外两个幽灵行分配足够的内存：

height = total_hight / ranks;
std::vector<float> data(width * (height + 2));
float* image = &data[width];
float* ghost_north = &data[0]
float* ghost_south = &data[width * (height + 1)]
float* inner_north = image;
float* inner_south = &image[width * (height - 1)]
MPI_Scatter(root_image, width * height, MPI_FLOAT,
            image, width * height, MPI_FLOAT, ...);
...
iterations {
    MPI_SendRecv(inner_north, width, MPI_FLOAT, north, tag,
                 ghost_north, width, MPI_FLOAT, north, tag, ...)
    MPI_SendRecv(inner_south, width, MPI_FLOAT, south, tag,
                 ghost_south, width, MPI_FLOAT, south, tag, ...)
   ... compute ...
}
MPI_Gather(image, width * height, MPI_FLOAT,
           root_image, width * height, MPI_FLOAT, ...);

该伪代码不考虑特殊的边界情况。

简单的一维分割的问题是通信成本和额外的光环数据不是最佳的。特别是对于较小的图像和较大数量的参与行列。

这是一个Rolf Rabenseifner 的优秀例子 https://fs.hlrs.de/projects/par/par_prog_ws/pdf/heat_mpi_2.pdf关于 MPI 的数据分解和 halo 通信方法。他还解释了如何改进沟通方法。对于 2D 分解，您将需要派生 MPI 数据类型用于初始通信和垂直边界。