<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr"><div><div><div>Hi all,<br><br></div>I am running a MPI program on two machines. I got errors as follows:<br><br><br>====================================================================<br>Fatal error in MPI_Test: Other MPI error, error stack:<br>MPI_Test(153)......................: MPI_Test(request=0xa0a088, flag=0x7fff470e86fc,  status=0x7fff470e86e0) failed<br>MPIDI_CH3I_Progress(150)...........: <br>MPID_nem_mpich2_test_recv(800).....: <br>MPID_nem_tcp_connpoll(1720)........: <br>state_commrdy_handler(1556)........: <br>MPID_nem_tcp_recv_handler(1459)....: <br>MPID_nem_handle_pkt(493)...........: <br>MPIDI_CH3_PktHandler_EagerSend(589): Failed to allocate memory for an unexpected message. 261892 unexpected messages queued.<br>Fatal error in MPI_Test: Other MPI error, error stack:<br>MPI_Test(153)......................: MPI_Test(request=0xadb128, flag=0x7fff33cba448, status=0x7fff33cba430) failed<br>MPIDI_CH3I_Progress(150)...........: <br>MPID_nem_mpich2_test_recv(800).....: <br>MPID_nem_tcp_connpoll(1720)........: <br>state_commrdy_handler(1556)........: <br>MPID_nem_tcp_recv_handler(1459)....: <br>MPID_nem_handle_pkt(493)...........: <br>MPIDI_CH3_PktHandler_EagerSend(589): Failed to allocate memory for an unexpected message. 261890 unexpected messages queued.<br>rank 1 in job 11  slave_36134   caused collective abort of all ranks<br>  exit status of rank 1: killed by signal 9 <br><br>====================================================================<br><br><br></div>I have never seen such errors before. What is the cause of this error? Is it an out of memory error? ( There is 20% remaining memory on machines )<br><br></div>Any help would be greatly appreciated. Thanks in advance!<br><div><br clear="all"><div><div><div><br>-- <br><div dir="ltr">Best Regards.<br>---<br>Xing FENG<div>PhD Candidate<br>Database Research Group<br><br></div><div>School of Computer Science and Engineering<div>University of New South Wales<br></div>NSW 2052, Sydney<br></div><div><br></div><div>Phone: (+61) 413 857 288</div></div>
</div></div></div></div></div>