<div dir="ltr">Hello,<div><br></div><div>I have been working with the MPI_Comm_spawn function, which was working fine for a simple compiled version of MPICH 3.4.1, where in the <i>configure</i> step it only has the "--prefix" argument.</div><div><br></div><div>However, when this function was called with another compiled version of MPICH 3.4.1 which uses Infiniband, an error arised. Am I missing some arguments in the compilation step of MPICH when using UCX?</div><div><br></div><div>Here is the output of <i>mpichversion</i>:</div><div><div><div><div>$ mpichversion</div></div></div><div><div>MPICH Version:    <span style="white-space:pre-wrap">       </span>3.4.1</div></div><div><div>MPICH Release date:<span style="white-space:pre-wrap">  </span>Fri Jan 22 14:17:48 CST 2021</div></div><div><div>MPICH Device:    <span style="white-space:pre-wrap">   </span>ch4:ucx</div></div><div><div>MPICH configure: <span style="white-space:pre-wrap"> </span>--prefix=/soft/gnu/mpich-3.4.1-ucx --with-device=ch4:ucx --with-ucx=/soft/gnu/ucx-1.11</div></div><div><div>MPICH CC: <span style="white-space:pre-wrap"> </span>gcc    -O2</div></div><div><div>MPICH CXX: <span style="white-space:pre-wrap">  </span>g++   -O2</div></div><div><div>MPICH F77: <span style="white-space:pre-wrap">    </span>gfortran   -O2</div></div><div><div>MPICH FC: <span style="white-space:pre-wrap">        </span>gfortran   -O2</div></div><div><div>MPICH Custom Information: <span style="white-space:pre-wrap">        </span></div></div></div><div><span style="white-space:pre-wrap"><br></span></div><div><span style="white-space:pre-wrap">The following is the information about the minimal code which arises the error</span></div><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><span style="white-space:pre-wrap">Source:  </span><span style="white-space:pre-wrap"><a href="https://www.rookiehpc.com/mpi/docs/mpi_comm_spawn.php" target="_blank">https://www.rookiehpc.com/mpi/docs/mpi_comm_spawn.php</a></span></div></blockquote><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><span style="white-space:pre-wrap">Compiling: </span><span style="white-space:pre-wrap">mpicc mpi_spawn.c</span></div></blockquote><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><span style="white-space:pre-wrap">Running: </span><span style="white-space:pre-wrap">mpirun -np 2 ./a.out</span></div></blockquote></div></div></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">We are processes spawned directly by you, we now spawn a new instance of an MPI application.</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">We are processes spawned directly by you, we now spawn a new instance of an MPI application.</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">Assertion failed in file src/mpid/ch4/src/ch4_init.c at line 651: MPIR_Process.comm_parent != NULL</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">/soft/gnu/mpich-3.4.1-ucx/lib/libmpi.so.12(MPL_backtrace_show+0x39) [0x7fe15d506d41]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">/soft/gnu/mpich-3.4.1-ucx/lib/libmpi.so.12(+0x32eaa8) [0x7fe15d4a6aa8]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">/soft/gnu/mpich-3.4.1-ucx/lib/libmpi.so.12(+0x3602f8) [0x7fe15d4d82f8]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">/soft/gnu/mpich-3.4.1-ucx/lib/libmpi.so.12(+0x225803) [0x7fe15d39d803]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">/soft/gnu/mpich-3.4.1-ucx/lib/libmpi.so.12(PMPI_Init+0xa8) [0x7fe15d39d598]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">./a.out(+0x123e) [0x55ece110a23e]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7fe15cfa10b3]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">./a.out(+0x114e) [0x55ece110a14e]</span></blockquote></div></div></div><div><div><div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><span style="white-space:pre-wrap">Abort(1) on node 0: Internal error</span></blockquote></div></div></div></blockquote></div></div>