<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr"><div>Hi Abhishek:<br><br><br></div><div>We had a similar issue and was fixed when the following were set as root by our sys admin.<br><br>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">#
NOTE: "Unlimited" is not truly unlimited.  It </span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New""># will set
the given limit to the maximum value</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">#
determined by your hardware configuration</span></p>

<br>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">ulimit
-t
unlimited             
# cputime</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -f
unlimited             
# filesize</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -d
unlimited             
# datasize</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -s
unlimited             
# stacksize</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -c
unlimited             
# coredumpsize</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -m
unlimited             
# memoryuse</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -v
unlimited             
# vmemoryuse</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -n
unlimited             
# descriptors</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -l
unlimited             
# memorylocked</span></p>

<p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">  
ulimit -u
unlimited             
# maxproc</span></p><p class="MsoNormal"><br><span style="font-size:10pt;font-family:"Courier New""></span></p><p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">Hope this helps,</span></p><p class="MsoNormal"><span style="font-size:10pt;font-family:"Courier New"">Sarika<br></span></p>

<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Sep 17, 2014 at 11:04 AM, Balaji, Pavan <span dir="ltr"><<a href="mailto:balaji@anl.gov" target="_blank">balaji@anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
On Sep 17, 2014, at 1:00 PM, Abhishek Bhat <<a href="mailto:abhat@trinityconsultants.com">abhat@trinityconsultants.com</a>> wrote:<br>
> The application works when there is a less resource intensive runs (larger grid with larger grid spacing).  The issue occurs when we have nested grid runs.  Also the application works without any issues for less than 7 processes (1 I/O and 6 nodes).<br>
<br>
</span>That’s not an indication that the application is correct with more processes.  Many applications work at smaller scales but fail at larger scals.  From the error, the indications point to the application.  I’d recommend digging into the application and figuring out what’s breaking.  The -print-all-exitcodes that Sangmin suggested, or attaching a debugger might be useful for this.<br>
<span class="HOEnZb"><font color="#888888"><br>
  — Pavan<br>
</font></span><span class="im HOEnZb"><br>
--<br>
Pavan Balaji  ✉️<br>
<a href="http://www.mcs.anl.gov/~balaji" target="_blank">http://www.mcs.anl.gov/~balaji</a><br>
<br>
</span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
To manage subscription options or unsubscribe:<br>
<a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a></div></div></blockquote></div><br></div>