<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr">Hello,<div><br></div><div>This is a follow-up to my message below.  I am running MPICH2-1.4.1 on Windows Server 2102r2 using the job scheduler with command line through PowerShell.</div><div><br></div><div>I found this page which explains my issue</div><div><br></div><div><a href="https://technet.microsoft.com/pt-pt/library/cc720141(v=ws.10).aspx">https://technet.microsoft.com/pt-pt/library/cc720141(v=ws.10).aspx</a><br></div><div><br></div><div>"<span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">An exception is the mpiexec option </span><strong style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">-n</strong><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">. Using this option will cause all of the processes to be run on the same processor, regardless of how many processors have been specified using </span><strong style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">/numprocessors:</strong><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">."</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">It's an older version, but I think is the cause of my problem.  </span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">Can I use MPICH2 instead of Windows MPI with the Windows Job Scheduler?  If I don't specify any "-n" parameter, I only get mpiexec to execute a single task, despite the number of processors I am trying to request</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">I am trying to use</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">$j=New-HpcJob</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">$j | Add-HpcTask -numcores $NUMCORES -command "$MPIEXEC -n $NUMCORES lmp_mpi.exe -in in.lammps"</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">$j | Submit-HpcJob</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif">where $MPIEXEC is the full path to mpiexec.exe.  I am using MPICH2-1.4.1 because it works with LAMMPS and I am told Windows MPI does not because of Visual C++ compatibility with LAMMPS.</span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif">I can successfully run the cpi.exe example outside the job scheduler on all cores and nodes.</font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif"><br></font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif">I can use a machinefile as well but when I use it, the cores and nodes that mpiexec executes don't follow the allocated nodes from the job scheduler.</font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif"><br></font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif">Is there anyway around using MPICH2 with the -n option in Windows Job Scheduler getting jobs to run on more than one node?</font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif"><br></font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif">Thanks again for any response I get.  I've spent days trying to figure this out so would be grateful for any advice.</font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif"><br></font></div><div><font color="#2a2a2a" face="Segoe UI, Lucida Grande, Verdana, Arial, Helvetica, sans-serif">Josh </font></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div><div><span style="font-size:13px;color:rgb(42,42,42);font-family:'Segoe UI','Lucida Grande',Verdana,Arial,Helvetica,sans-serif"><br></span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Apr 24, 2016 at 11:49 PM, Joshua Moore <span dir="ltr"><<a href="mailto:jdmoore@ncsu.edu" target="_blank">jdmoore@ncsu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hello,<div><br></div><div>I am having issues running mpiexec when I run on more than one node.  </div><div><br></div><div>I am using v 1.4.1 because it is compatible with LAMMPS software I am using.</div><div><br></div><div>I am running on Windows Server 2012r2 and trying to get MPICH2 to play nice with Window's batch server.</div><div><br></div><div>I've installed mpich2 on each of the nodes and the head node.  </div><div><br></div><div>1) <i style="color:rgb(0,0,0)">msiexec /i mpich2-1.2.1-win-ia32.msi</i></div><div><i style="color:rgb(0,0,0)">2) mpiexec -register (to register username and password)</i></div><div><i><font color="#000000">3) smpd -install  (to start spmd server on </font></i><font color="#000000"><i>each of the nodes and the head node)</i></font></div><div><font color="#000000"><i>4) On the head node, I've used smpd -sethosts hostname1 hostname2 ... to add each of the hosts.  I haven't done this on the compute nodes.</i></font></div><div><font color="#000000"><i><br></i></font></div><div><font color="#000000">When I execute a job through Windows batch system through PowerShell, my job executes but puts all of the executions on the same node.  So if for example my nodes are 16 cores, and I ask for 32 cores, 32 separate processes are run on the first node and none on the second, even though Window's scheduler is allocated 2 nodes.</font></div><div><font color="#000000"><br></font></div><div><div><font color="#000000">It's like mpiexec is ignoring the node list that the smpd hosts is setting.</font></div></div><div><font color="#000000"><br></font></div><div><span style="color:rgb(0,0,0)">I can use a machinefile with mpiexec and this will allow me to execute on multiple nodes but it doesn't seem to follow the nodes that Windows allocates in their batch server. </span><br></div><div><font color="#000000"><br></font></div><div><font color="#000000">I should also add that when I try to request more than one node through Window's batch server with -requestednodes "host1 host2" with new-hpcjob, Windows tells me that I can't do this because I have zero cores available.  I can ask for only 1 node and up to the maximum number of cores and it is ok with this.  </font></div><div><font color="#000000"><br></font></div><div><span style="color:rgb(0,0,0)">Any suggestions?</span><br></div><div><font color="#000000"><br></font></div><div><font color="#000000">Thank you.</font></div><div><font color="#000000"><br></font></div><div><font color="#000000">Josh</font></div></div>
</blockquote></div><br></div>