<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr">Hi David, <div>That sounds great, </div><div>I appreciate for your input. </div><div><br></div><div>I'm going to try it with two I/O tickets on hand, and hopefully to update you guys shortly. </div><div><br></div><div>Best,</div><div>Jialin</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 10, 2016 at 1:53 PM, David Knaak <span dir="ltr"><<a href="mailto:knaak@cray.com" target="_blank">knaak@cray.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">> > On 02/10/2016 11:39 AM, Jaln wrote:<br>
> > My jobs on Edison die on IO errors like this:<br>
> ><br>
> > ADIOI_CRAY_WRITECONTIG(284): filename='OUT/rei20_0.g029'<br>
> > error='Input/output error' errno=5 PE=00044 W_rec=33518<br>
> > off=2232920756 len=0000524288<br>
> > See MPICH_MPIIO_ABORT_ON_RW_ERROR.<br>
> ><br>
> > Any Ideas about this error infor? I couldn't find anything on Google.<br>
> > Thanks<br>
<br>
> On Wed, Feb 10, 2016 at 9:46 AM, Rob Latham <<a href="mailto:robl@mcs.anl.gov">robl@mcs.anl.gov</a>> wrote:<br>
><br>
> Cray doesn't share their modifications to ROMIO with us.  You'll have<br>
> more luck with your cray support contact.<br>
><br>
> errno 5 might be indicative of a general I/O error of some kind.   Your<br>
> offset is just large enough that maybe you are hitting some kind of cray<br>
> 32 bit limitation?<br>
><br>
> but I'm only guessing as cray doesn't share source with us.<br>
><br>
> ==rob<br>
<br>
Hi Jaln,<br>
<br>
This message means that Cray's MPIIO had just made a system write() call<br>
and write() returned a status of -1.  The MPIIO routine that made the<br>
call, "ADIOI_CRAY_WriteContig", is giving you as much information as it<br>
can.  "errno" has a value of 5, which translates to the general I/O<br>
error message "Input/output error".  That doesn't really tell you much.<br>
The message recommends that you look at MPICH_MPIIO_ABORT_ON_RW_ERROR in<br>
the Cray MPI "intro_mpi" man page:<br>
<br>
  MPICH_MPIIO_ABORT_ON_RW_ERROR<br>
      If set to enable, causes MPI-IO to abort immediately after<br>
      issuing an error message if an I/O error occurs during a<br>
      system read() or write() call. This applies only to I/O<br>
      errors for system read() and write() calls made as a result<br>
      of MPI I/O calls. It does not apply to I/O errors for other<br>
      MPI I/O calls such as MPI_File_open(), nor does it apply to<br>
      read() and write() calls made by means other than MPI I/O<br>
      calls.<br>
<br>
      Abort on error is not standard behavior. The MPI Standard<br>
      specifies that the default error handling for MPI I/O calls<br>
      is to return an error code to the application rather than<br>
      aborting the application, but since errors on write or read<br>
      are almost always unexpected and usually not recoverable, it<br>
      may be preferable to abort as soon as the error is detected.<br>
      Doing so does not allow any recovery, but does provide the<br>
      most information about the error and terminates the job<br>
      quickly.<br>
<br>
      If the Cray Abnormal Termination Processing (ATP) feature is<br>
      enabled, the abort will result in a full stack backtrace<br>
      written to stderr and a graphical merged stack backtrace<br>
      tree (a "dot" file) that shows exactly where each process<br>
      was at the time of the abort.<br>
<br>
      This environment variable is global for all files opened by<br>
      MPI_File_open(). To enable this behavior only for specific<br>
      files, use the MPICH_MPIIO_HINTS abort_on_rw_error option.<br>
<br>
      Default: disable<br>
<br>
If this problem is repeatable and if you enable ATP (see man atp),<br>
set the environment variable and see what the backtrace tells you.<br>
<br>
You can contact me directly (<a href="mailto:knaak@cray.com">knaak@cray.com</a>).<br>
<span class="HOEnZb"><font color="#888888"><br>
David Knaak<br>
<br>
<br>
<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><pre style="margin:0in;font-family:Arial,Helvetica,sans-serif;font-size:large" lang="en-US" align="left"><font size="2"><font face="comic sans ms,sans-serif"><font color="#666666"><span>Genius only means hard-working all one's life</span></font></font></font></pre></div>
</div>