<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif;font-size:small">Tried with the new configure too. same problem :(</div><div class="gmail_default" style="font-family:tahoma,sans-serif;font-size:small"><br></div><div class="gmail_default" style=""><div class="gmail_default" style=""><font face="tahoma, sans-serif">$ mpirun -hostfile hosts-hydra -np 2  test_dup</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">Fatal error in MPI_Send: Unknown error class, error stack:</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">MPI_Send(174)..............: MPI_Send(buf=0x7fffd90c76c8, count=1, MPI_INT, dest=1, tag=0, MPI_COMM_WORLD) failed</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">MPID_nem_tcp_connpoll(1832): Communication error with rank 1: Connection refused</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif"><br></font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">===================================================================================</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">=   PID 5459 RUNNING AT oakmnt-0-a</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">=   EXIT CODE: 1</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">=   CLEANING UP REMAINING PROCESSES</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">===================================================================================</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[proxy:0:1@oakmnt-0-b] HYD_pmcd_pmip_control_cmd_cb (../../../../src/pm/hydra/pm/pmiserv/pmip_cb.c:885): assert (!closed) failed</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[proxy:0:1@oakmnt-0-b] HYDT_dmxu_poll_wait_for_event (../../../../src/pm/hydra/tools/demux/demux_poll.c:76): callback returned error status</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[proxy:0:1@oakmnt-0-b] main (../../../../src/pm/hydra/pm/pmiserv/pmip.c:206): demux engine error waiting for event</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[mpiexec@oakmnt-0-a] HYDT_bscu_wait_for_completion (../../../../src/pm/hydra/tools/bootstrap/utils/bscu_wait.c:76): one of the processes terminated badly; aborting</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[mpiexec@oakmnt-0-a] HYDT_bsci_wait_for_completion (../../../../src/pm/hydra/tools/bootstrap/src/bsci_wait.c:23): launcher returned error waiting for completion</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[mpiexec@oakmnt-0-a] HYD_pmci_wait_for_completion (../../../../src/pm/hydra/pm/pmiserv/pmiserv_pmci.c:218): launcher returned error waiting for completion</font></div><div class="gmail_default" style=""><font face="tahoma, sans-serif">[mpiexec@oakmnt-0-a] main (../../../../src/pm/hydra/ui/mpich/mpiexec.c:344): process manager error waiting for completion</font></div><div style="font-family:tahoma,sans-serif;font-size:small"><br></div></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><div dir="ltr">Amin Hassani,<br>CIS department at UAB,<br>
Birmingham, AL, USA.</div></div></div>
<br><div class="gmail_quote">On Tue, Nov 25, 2014 at 11:44 PM, Lu, Huiwei <span dir="ltr"><<a href="mailto:huiweilu@mcs.anl.gov" target="_blank">huiweilu@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">So the error only happens when there is communication.<br>
<br>
It may be caused by IB as your guessed before. Could you try to reconfigure MPICH using "./configure --with-device=ch3:nemesis:tcp” and try again?<br>
<br>
—<br>
<span class="HOEnZb"><font color="#888888">Huiwei<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
> On Nov 25, 2014, at 11:23 PM, Amin Hassani <<a href="mailto:ahassani@cis.uab.edu">ahassani@cis.uab.edu</a>> wrote:<br>
><br>
> Yes it works.<br>
> output:<br>
><br>
> $ mpirun -hostfile hosts-hydra -np 2  test<br>
> rank 1<br>
> rank 0<br>
><br>
><br>
> Amin Hassani,<br>
> CIS department at UAB,<br>
> Birmingham, AL, USA.<br>
><br>
> On Tue, Nov 25, 2014 at 11:20 PM, Lu, Huiwei <<a href="mailto:huiweilu@mcs.anl.gov">huiweilu@mcs.anl.gov</a>> wrote:<br>
> Could you try to run the following simple code to see if it works?<br>
><br>
> #include <mpi.h><br>
> #include <stdio.h><br>
> int main(int argc, char** argv)<br>
> {<br>
>     int rank, size;<br>
>     MPI_Init(&argc, &argv);<br>
>     MPI_Comm_rank(MPI_COMM_WORLD, &rank);<br>
>     printf("rank %d\n", rank);<br>
>     MPI_Finalize();<br>
>     return 0;<br>
> }<br>
><br>
> —<br>
> Huiwei<br>
><br>
> > On Nov 25, 2014, at 11:11 PM, Amin Hassani <<a href="mailto:ahassani@cis.uab.edu">ahassani@cis.uab.edu</a>> wrote:<br>
> ><br>
> > No, I checked. Also I always install my MPI's in /nethome/students/ahassani/usr/mpi. I never install them in /nethome/students/ahassani/usr. So MPI files will never get there. Even if put the /usr/mpi/bin in front of /usr/bin, it won't affect anything. There has never been any mpi installed in /usr/bin.<br>
> ><br>
> > Thank you.<br>
> > _______________________________________________<br>
> > discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> > To manage subscription options or unsubscribe:<br>
> > <a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
<br>
_______________________________________________<br>
discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
To manage subscription options or unsubscribe:<br>
<a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a></div></div></blockquote></div><br></div>