<div dir="ltr">My bad, I just found out that there was a duplicate entry like:<div>weiser1 127.0.1.1</div><div>weiser1 192.168.0.101</div><div style>so i removed teh 127.x.x.x. entry and kept the hostfile contents similar on both nodes. Now previous error is reduced to this one:<br>
<br>------ START OF OUTPUT -------<br><div style><br></div><div style>....some HPL startup string (no final result)</div><div style>...skip.....</div><div><br></div><div>===================================================================================</div>
<div>=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES</div><div>=   EXIT CODE: 9</div><div>=   CLEANING UP REMAINING PROCESSES</div><div>=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES</div><div>===================================================================================</div>
<div>[proxy:0:0@weiser1] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:886): assert (!closed) failed</div><div>[proxy:0:0@weiser1] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:0@weiser1] main (./pm/pmiserv/pmip.c:206): demux engine error waiting for event</div><div>[mpiexec@weiser1] HYDT_bscu_wait_for_completion (./tools/bootstrap/utils/bscu_wait.c:76): one of the processes terminated badly; aborting</div>
<div>[mpiexec@weiser1] HYDT_bsci_wait_for_completion (./tools/bootstrap/src/bsci_wait.c:23): launcher returned error waiting for completion</div><div>[mpiexec@weiser1] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:217): launcher returned error waiting for completion</div>
<div>[mpiexec@weiser1] main (./ui/mpich/mpiexec.c:331): process manager error waiting for completion</div><div><br></div><div style>------ END OF OUTPUT -------</div><div><br></div></div></div><div class="gmail_extra"><br>
<br><div class="gmail_quote">On Fri, Jun 28, 2013 at 12:12 PM, Pavan Balaji <span dir="ltr"><<a href="mailto:balaji@mcs.anl.gov" target="_blank">balaji@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im"><br>
On 06/27/2013 10:08 PM, Syed. Jahanzeb Maqbool Hashmi wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
P4-businesscard=description#<u></u>weiser2$port#57651$ifname#192.<u></u>168.0.102$<br>
P5-businesscard=description#<u></u>weiser2$port#52622$ifname#192.<u></u>168.0.102$<br>
P6-businesscard=description#<u></u>weiser2$port#55935$ifname#192.<u></u>168.0.102$<br>
P7-businesscard=description#<u></u>weiser2$port#54952$ifname#192.<u></u>168.0.102$<br>
P0-businesscard=description#<u></u>weiser1$port#41958$ifname#127.<u></u>0.1.1$<br>
P2-businesscard=description#<u></u>weiser1$port#35049$ifname#127.<u></u>0.1.1$<br>
P1-businesscard=description#<u></u>weiser1$port#39634$ifname#127.<u></u>0.1.1$<br>
P3-businesscard=description#<u></u>weiser1$port#51802$ifname#127.<u></u>0.1.1$<br>
</blockquote>
<br></div>
I have two concerns with your output.  Let's start with the first.<br>
<br>
Did you look at this question on the FAQ page?<br>
<br>
"Is your /etc/hosts file consistent across all nodes? Unless you are using an external DNS server, the /etc/hosts file on every machine should contain the correct IP information about all hosts in the system."<div class="HOEnZb">
<div class="h5"><br>
<br>
 -- Pavan<br>
<br>
-- <br>
Pavan Balaji<br>
<a href="http://www.mcs.anl.gov/~balaji" target="_blank">http://www.mcs.anl.gov/~balaji</a><br>
</div></div></blockquote></div><br></div>