<div dir="ltr">Hi list,<div><br></div><div>I specified the hosts because mpich2-1.2 did not seem to detect I was using slurm. Not specifying the -hosts parameter made mpiexec launch using slurm, but using host 'localhost' (which is not a slurm compute node).<br>
</div><div><br></div><div>I have now compiled mpich-3.1 from source, installed it on all nodes in the cluster, and everything works beautifully.</div><div>salloc -n 8 mpiexec.hydra -n 1 ./master : -n 7 ./slave</div><div><br>
</div><div>Thank you for the support!</div><div><br></div><div>/ Ruben</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Apr 10, 2014 at 2:24 PM, Kenneth Raffenetti <span dir="ltr"><<a href="mailto:raffenet@mcs.anl.gov" target="_blank">raffenet@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">What version of mpich are you using? Why are you specifying -hosts in your mpiexec command? Are you allocating resources in some other way prior to launching your job?<br>

<br>
You are correct about the normal behavior of hydra. It launches a proxies on all nodes which then launch the MPI processes.<div><div class="h5"><br>
<br>
On 04/10/2014 06:49 AM, Ruben Faelens wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">
Hello list,<br>
<br>
I have been messing around with SLURM and MPICH2 for about a week now,<br>
in order to run NONMEM on my cluster.<br>
<br>
I start my job using the following command line:<br>
 > mpiexec.hydra -hosts node2-a,node2-b -bootstrap slurm -rmk slurm -n 1<br>
./master : -n 7 ./slave<br>
<br>
Using pstree, I can see that this launches the following command:<br>
 > srun -N 4 -n 4 /usr/local/bin/hydra_pmi_proxy --control-port<br>
node2-head:38860 --rmk slurm --launcher slurm --demux poll --pgid 0<br>
--retries 10 --usize -2 --proxy-id -1<br>
<br>
Apparently, Hydra launches one single 'hydra_pmi_proxy' per node, after<br>
which the hydra_pmi_proxy launches the other processes. This completely<br>
screws up allocation rules in SLURM.<br>
<br>
Is this normal behaviour? I would rather have mpiexec.hydra allocate the<br>
right number of resources on SLURM, instead of seemingly deciding on its<br>
own which hosts to use.<br>
<br>
Kind regards,<br>
Ruben FAELENS<br>
<br>
<br></div></div>
______________________________<u></u>_________________<br>
discuss mailing list     <a href="mailto:discuss@mpich.org" target="_blank">discuss@mpich.org</a><br>
To manage subscription options or unsubscribe:<br>
<a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/<u></u>mailman/listinfo/discuss</a><br>
<br>
</blockquote>
______________________________<u></u>_________________<br>
discuss mailing list     <a href="mailto:discuss@mpich.org" target="_blank">discuss@mpich.org</a><br>
To manage subscription options or unsubscribe:<br>
<a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/<u></u>mailman/listinfo/discuss</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br>/ Ruben FAELENS<div>+32 494 06 72 59</div>
</div>