<div dir="ltr"><div dir="ltr"><div>Hi 
Jeff/Giuseppe, <br><br></div>I spoke to the computational specialist from research IT and he confirmed that this particular build of MPICH is indeed broken. As 
Giuseppe pointed out the hydra launcher was running multi threaded jobs on each node because it was unable to read the nodelist. When we passed a nodelist to mpirun and repeated the same test, the results looked more reasonable (~80us latency instead of ~0.05us due to ch3:TCP). Thanks for the help! <br></div><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="font-size:12.8px">Sajid Ali | PhD Candidate<br></div><div style="font-size:12.8px">Applied Physics<br></div><div style="font-size:12.8px">Northwestern University</div><div style="font-size:12.8px"><a href="http://s-sajid-ali.github.io" target="_blank">s-sajid-ali.github.io</a></div></div></div></div></div></div></div></div>