<tt><font size=2><br>
> From: "Rob Latham" <robl@mcs.anl.gov></font></tt>
<br><tt><font size=2>> <br>
> On Mon, May 06, 2013 at 02:30:15PM -0500, Bob Cernohous wrote:<br>
> > > From: Rob Ross <rross@mcs.anl.gov><br>
> > > <br>
> > > Should we consider this as interest in working on this problem
on <br>
> > > the IBM side :)? -- Rob<br>
> > <br>
> > Say what?! ;)<br>
> <br>
> RobR's excited that IBM's looking at the ROMIO piece of DCMF.  We<br>
> thought we were on our own with that one. <br>
> <br>
>  <br>
> > I was looking more for agreement that collective i/o is 'what
it <br>
> > is'... and maybe some idea if we just have some known limitations
on <br>
> > scaling it.  Yes, that BG alltoallv is a bigger problem
that we can avoid <br>
> > with an env var -- is that just going to have to be 'good enough'?
 (I <br>
> > think that Jeff P wrote that on BG/P and got good performance
with that <br>
> > alltoallv.  Trading memory for performance, not unusual,
and at least it's <br>
> > selectable.)<br>
> <br>
> I can't test while our Blue Gene is under maintenance.    I
know the<br>
> environment variable selection helps only a little bit (like improves<br>
> scaling from 4k to 8k maybe?  don't have the notes offhand).
<br>
</font></tt>
<br><tt><font size=2>Ouch.  So you've seen the scaling failures at
8k... ranks? racks?  Kevin is failing at... 16 racks x 16 ranks per
node... I think ... so 256k ranks.</font></tt>
<br>