<div dir="ltr">Hi, Zhou, <div><br></div><div>Sorry for the late reply, I was busy with some customer requests. Yes my system is UGE similar to SGE. </div><div>Your explanation makes a lot senses. I haven't had a chance to verify it. I'll try it later. </div><div><br></div><div>Thank you a lot for your explanations. I have great learning experiences in the discussion forum. </div><div><br></div><div>Wish you and your team member have a nice holiday!</div><div><br></div><div>Thanks,</div><div>Shuwei</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Nov 29, 2018 at 5:17 PM Zhou, Hui <<a href="mailto:zhouh@anl.gov">zhouh@anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div style="overflow-wrap: break-word;">
What is your system? PBS? You have to prescribe a pool of nodes with qsub and run mpiexec -n 1 (for example). Then when you launch additional mpi process dynamically, hydra will spawn new processes within the prescribed pool. If your original pool is a single
 host, then all new dynamic process will be on that single host. If you describe multiple hosts, I believe hydra will do round-robin style allocation, i.e. the next processes will go to host 2, host 3, …., host N, host 1 (circle back).
<div><br>
</div>
<div>This is my current understanding. Let me know whether you can confirm.</div>
<div> <br>
<div>
<div>
<div dir="auto" style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">
<div dir="auto" style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">
<div dir="auto" style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">
<div dir="auto" style="overflow-wrap: break-word;">
<div style="color:rgb(0,0,0);font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">
— </div>
<div style="color:rgb(0,0,0);font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">
Hui Zhou</div>
<div style="color:rgb(0,0,0);font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">
<br>
</div>
</div>
</div>
</div>
</div>
<br class="gmail-m_6680254939530576275Apple-interchange-newline">
</div>
<div><br>
<blockquote type="cite">
<div>On Nov 29, 2018, at 4:41 PM, Shuwei Zhao <<a href="mailto:shuweizhao1991@gmail.com" target="_blank">shuweizhao1991@gmail.com</a>> wrote:</div>
<br class="gmail-m_6680254939530576275Apple-interchange-newline">
<div>
<div dir="auto">Hi Hui </div>
<div dir="auto"><br>
</div>
<div dir="auto">I cannot run mpiexec directly on my hosts because both rsh and ssh connections are disabled. I have to use qsub -P bnormal -pe dp 4 mpiexec ./my_exe to run my binary on remote hosts. </div>
<div dir="auto"><br>
</div>
<div dir="auto">Thanks </div>
<div dir="auto">Shuwei</div>
<div>
<div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div style="overflow-wrap: break-word;">
<div style="overflow-wrap: break-word;">
<div><br>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</div>

</blockquote></div>