
<!DOCTYPE html><html><head><style type="text/css">body { font-family:'나눔고딕'; font-size:13px}</style></head><body><div>Hi,<br>I'm trying to run Titan2D on a linux. I found a similar problem on a different system. ( Ubuntu PC / CentOS Cluster )<br>Small operations, the error does not occur. However, In the case of long simulation error occur.<br><br>The error message is shown below.<br></div><hr><div>Fatal error in PMPI_Isend: Internal MPI error!, error stack:<br>PMPI_Isend(148): MPI_Isend(buf=0x244c53c0, count=45, dtype=USER<struct>, dest=13, tag=22676, MPI_COMM_WORLD, request=0x227ab074) failed<br>(unknown)(): Internal MPI error!<br>Fatal error in PMPI_Test: Other MPI error, error stack:<br>PMPI_Test(168)............: MPI_Test(request=0x147a6068, flag=0x7fff9bd5098c, status=0x7fff9bd50960) failed<br>MPIR_Test_impl(63)........: <br>dequeue_and_set_error(596): Communication error with rank 2<br>Fatal error in PMPI_Test: Other MPI error, error stack:<br>PMPI_Test(168)............: MPI_Test(request=0x2deaf058, flag=0x7fff88bd375c, status=0x7fff88bd3730) failed<br>MPIR_Test_impl(63)........: <br>dequeue_and_set_error(596): Communication error with rank 2<br>Fatal error in PMPI_Barrier: Other MPI error, error stack:<br>PMPI_Barrier(425)...........: MPI_Barrier(MPI_COMM_WORLD) failed<br>MPIR_Barrier_impl(292)......: <br>MPIR_Barrier_or_coll_fn(121): <br>MPIR_Barrier_intra(83)......: <br>dequeue_and_set_error(596)..: Communication error with rank 10<br>Fatal error in PMPI_Barrier: Other MPI error, error stack:<br>PMPI_Barrier(425)...........: MPI_Barrier(MPI_COMM_WORLD) failed<br>MPIR_Barrier_impl(306)......: <br>MPIR_Bcast_impl(1321).......: <br>MPIR_Bcast_intra(1155)......: <br>MPIR_Bcast_binomial(213)....: Failure during collective<br>MPIR_Barrier_impl(292)......: <br>MPIR_Barrier_or_coll_fn(121): <br>MPIR_Barrier_intra(83)......: <br>dequeue_and_set_error(596)..: Communication error with rank 0<br>Fatal error in PMPI_Isend: Other MPI error, error stack:<br>PMPI_Isend(148)..........: MPI_Isend(buf=0x282dbdc0, count=260, dtype=USER<struct>, dest=10, tag=22683, MPI_COMM_WORLD, request=0x26b3a9b8) failed<br>MPID_nem_lmt_RndvSend(81): <br>MPIDI_CH3_RndvSend(63)...: failure occurred while attempting to send RTS packet<br>MPIDI_CH3_iStartMsg(36)..: Communication error with rank 10<br>Fatal error in PMPI_Test: Other MPI error, error stack:<br>PMPI_Test(168)..................: MPI_Test(request=0xa66b46c, flag=0x7fff849b92dc, status=0x7fff849b92b0) failed<br>MPIR_Test_impl(63)..............: <br>MPIDI_CH3U_Recvq_FDU_or_AEP(380): Communication error with rank 3<br></div><hr><div>Thanks,<br>Park Bokuk<br></div></body></html>