<div dir="ltr">Interesting, Thanks Rob,<div>So I can assume the Hopper( a cray XE6 with MPT 3.2) contains the lustre-specific optimizations?</div><div>Does it work both for read and write?</div><div><br></div><div>Jailin</div>
</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Sep 22, 2013 at 2:00 PM, Rob Latham <span dir="ltr"><<a href="mailto:robl@mcs.anl.gov" target="_blank">robl@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">On Sat, Sep 21, 2013 at 11:21:19PM -0500, Jaln wrote:<br>
> Hi everyone,<br>
><br>
> I'm not sure, whether the lustre or the MPI forum is the right place for my<br>
> question.<br>
<br>
</div>both, i guess :><br>
<div class="im"><br>
> The question is about the ROMIO optimization on Lustre,<br>
> In one SC'08 paper,<br>
</div>> <a href="http://users.eecs.northwestern.edu/~wkliao/PAPERS/fd_sc08_revised.pdf" target="_blank">http://users.eecs.northwestern.edu/~wkliao/PAPERS/fd_sc08_revised.pdf</a><<a href="https://mail.ttu.edu/owa/redir.aspx?C=yUmbVUH4hUWLFEWFA2GcoiKOEhnhitAIatZfGT92-aN2MTXitjDjPgfE9EfJkJF9q3XAaOQ_iME.&URL=http%3a%2f%2fusers.eecs.northwestern.edu%2f%7ewkliao%2fPAPERS%2ffd_sc08_revised.pdf" target="_blank">https://mail.ttu.edu/owa/redir.aspx?C=yUmbVUH4hUWLFEWFA2GcoiKOEhnhitAIatZfGT92-aN2MTXitjDjPgfE9EfJkJF9q3XAaOQ_iME.&URL=http%3a%2f%2fusers.eecs.northwestern.edu%2f%7ewkliao%2fPAPERS%2ffd_sc08_revised.pdf</a>><br>

<div class="im">> , it's said that the way ROMIO assigns the file domains to I/O aggregators<br>
> will not make two aggregators access the same OST.<br>
><br>
> In my understanding, this means, the data locality on Lustre layer has been<br>
> taken care of in the ROMIO, such that the aggregators will not<br>
> have competition on the same OST.<br>
><br>
> My question is "is this optimization used in all current lustre system,<br>
> e.g., Hopper at NERSC?"<br>
<br>
</div>Wei-keng never contributed the specific ROMIO optimizations he discussed in<br>
the SC 08 paper, but his work did spur a lot of community discussion<br>
and contributions.<br>
<br>
Emoly Lu contributed a bunch of Lustre ADIO driver work, which Pascal<br>
Deveze and Martin Pokorny improved upon.   MPICH-1.3 and newer contain<br>
these improvements.<br>
<br>
David Knaak from Cray implemented his own improvements.  Cray's MPI-IO<br>
is based on ROMIO but the cray modifications are proprietary. MPT-3.2<br>
and newer contain lustre-specific optimizations.<br>
<br>
The community has been quiet with respect to Lustre MPI-IO work since<br>
then.  I hope that's because everything "just works".<br>
<span class="HOEnZb"><font color="#888888"><br>
==rob<br>
<br>
--<br>
Rob Latham<br>
Mathematics and Computer Science Division<br>
Argonne National Lab, IL USA<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><pre style="margin:0in;font-family:Arial,Helvetica,sans-serif;font-size:large" lang="en-US" align="left"><font><font face="comic sans ms,sans-serif"><font color="#666666"><span>Genius only means hard-working all one's life</span></font></font></font></pre>

</div>