<div dir="ltr">Pavan,<div><br></div><div>Thank you for your answer. That's precisely what I was looking for. Any chance there is a way to force the intranode communication to use tcp?</div><div><br></div><div>--Jiri</div>
<div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">Within the node, it uses shared memory.  Outside the node, it depends on the netmod you configured with.  tcp is the default netmod.</span><font face="arial, sans-serif"><br>
</font><span style="font-family:arial,sans-serif;font-size:13.333333969116211px"> -- Pavan</span><font face="arial, sans-serif"><br></font><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">On Sep 12, 2013, at 2:24 PM, Jiri Simsa wrote:</span><font face="arial, sans-serif"><br>
</font><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> The high-order bit of my question is: What OS interface(s) does MPICH use to transfer data from one MPI process to another?<br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-size:13.333333969116211px;font-family:arial,sans-serif">> On Thu, Sep 12, 2013 at 1:36 PM, Jiri Simsa <</span><a href="mailto:jsimsa@cs.cmu.edu" style="font-size:13.333333969116211px;font-family:arial,sans-serif">jsimsa@cs.cmu.edu</a><span style="font-size:13.333333969116211px;font-family:arial,sans-serif">> wrote:<br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> Hello,<br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> I have been trying to understand how MPICH implements collective operations. To do so, I have been reading the MPICH source code and stepping through mpiexec executions.<br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> For the sake of this discussion, let's assume that all MPI processes are executed on the same computer using: mpiexec -n <n> <mpi_program><br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> This is my current abstract understanding of MPICH:<br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> - mpiexec spawns a hydra_pmi_proxy process, which in turn spawns <n> instances of <mpi_program><br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> - hydra_pmi_proxy process uses socket pairs to communicate with the instances of <mpi_program><br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> I am not quite sure though what happens under the hoods when a collective operation, such as MPI_Allreduce, is executed. I have noticed that instances of <mpi_program> create and listen on a socket in the course of executing MPI_Allreduce but I am not sure who connects to these sockets. Any chance someone could describe the data flow inside of MPICH when a collective operation, such as MPI_Allreduce, is executed? Thanks!<br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> Best,<br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br>
</span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> --Jiri Simsa<br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">><br></span><span style="font-size:13.333333969116211px;font-family:arial,sans-serif">> ______________________________</span><span style="font-size:13.333333969116211px;font-family:arial,sans-serif">_________________<br>
</span><span style="font-size:13.333333969116211px;font-family:arial,sans-serif">> discuss mailing list     </span><a href="mailto:discuss@mpich.org" style="font-size:13.333333969116211px;font-family:arial,sans-serif">discuss@mpich.org<br>
</a><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">> To manage subscription options or unsubscribe:<br></span><span style="font-size:13.333333969116211px;font-family:arial,sans-serif">> </span><a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank" style="font-size:13.333333969116211px;font-family:arial,sans-serif">https://lists.mpich.org/mailman/listinfo/discuss</a><font face="arial, sans-serif"><br>
</font><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">--<br></span><span style="font-family:arial,sans-serif;font-size:13.333333969116211px">Pavan Balaji<br></span><a href="http://www.mcs.anl.gov/~balaji" target="_blank" style="font-family:arial,sans-serif;font-size:13.333333969116211px">http://www.mcs.anl.gov/~balaji</a></blockquote>
</div>