<meta http-equiv="Content-Type" content="text/html; charset=utf-8">Why don't you use hydra instead of gforker?<div><br></div><div>Over subscribing is bad if MPI polls in shared memory code. I believe nemesis does this. You can use ch3:sock to workaround but it is discouraged. Best option is to not oversubscribe. Do you need this for more than debugging? I know PETSc folks like to debug that way. </div><div><br></div><div>Is hyper threading turned on or off? /proc/cpuinfo will answer this if you don't know. It is on by default AFAIK. <br><div><br></div><div>Jeff<br><br>On Wednesday, June 22, 2016, Shemon, Emily R. <<a href="mailto:eshemon@anl.gov">eshemon@anl.gov</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div>
<p class="MsoNormal">Hello,<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">We used to use mpich2-1.2 with gforker process manager (Intel 10.1 compiler).<u></u><u></u></p>
<p class="MsoNormal">We are transitioning mpich-3.2 with gforker process manager (Intel 13.1 compiler) (configuration options are the same as before:
<span style="font-size:10.0pt;font-family:Consolas">./configure --prefix=$MPI_DIR --enable-g=debug,meminit  --enable-fast=O2 --with-pm=gforker --enable-cxx --enable-fortran CC=icc CXX=icpc FC=ifort F77=ifort)<br>
<br>
</span><u></u><u></u></p>
<p class="MsoNormal">We have noticed extreme slowdowns with the new installation of mpich on the same machine (shared memory Linux server with CentOS 7) when attempting to use hyperthreading. The old executable works just fine on the same machine, but the new
 executable using mpich-3.2 is running 10-20x slower when going past the number of physical cores on the machine. We believe we have traced it to our MPI_AllReduce functions. This is a Fortran code.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">In the meantime I’m going to try to install the old mpich2-1.2 again (we had a machine OS upgrade) and see what happens.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Any ideas?<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Thank you,<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Emily Shemon, Ph.D. <u></u><u></u></p>
<p class="MsoNormal">Argonne National Laboratory<u></u><u></u></p>
<p class="MsoNormal">Nuclear Engineering Division & <u></u><u></u></p>
<p class="MsoNormal">Argonne Leadership Computing Facility<u></u><u></u></p>
<p class="MsoNormal">P: 630-252-4477<u></u><u></u></p>
<p class="MsoNormal">E: <a href="javascript:_e(%7B%7D,'cvml','eshemon@anl.gov');" target="_blank">eshemon@anl.gov</a><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

</blockquote></div></div><br><br>-- <br>Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a><br>