<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

</head>

<body text="#000000" bgcolor="#FFFFFF">

Hi Kun,<br>

<br>

Can you please try MPI_Win_allocate instead of MPI_Win_create in your program ? Single memory copy based MPI_Put is enabled only for MPI_Win_allocate in current MPICH.<br>

<br>

Best regards,<br>

Min<br>

<br>

<div class="moz-cite-prefix">On 2018/12/21 10:15, Kun Feng via discuss wrote:<br>

</div>

<blockquote type="cite" cite="mid:CAEMSESJraiPQw4OpZiuSpJCQJp67B0nUfiSLVk5y8TVThu3fUQ@mail.gmail.com">

<div dir="ltr">Hi all,

<div><br>

</div>

<div>I'm working on a project in which one half of the processes need to send data to the other half in each node.</div>

<div>I'm using passive target mode of one-sided communication in which the receivers expose memory using MPI_Win_create, wait on MPI_Win_free and the senders send the data using MPI_Put.</div>

<div>The code works. However, I get weird performance using this concurrent MPI_Put communication. The peak aggregate bandwidth is only around 5GB/s. It does not make sense as an aggregate performance in one single node.<br>

</div>

<div>I thought the node-local communication is implemented as local memcpy.</div>

<div>But concurrent memcpy on the same testbed has 4x to 5x higher aggregate bandwidth.</div>

<div>Even concurrent memcpy using Linux shared memory across processes is 3x faster than my code.</div>

<div>I'm using CH3 in MPICH 3.2.1. CH4 in MPICH 3.3 is even 2x slower.</div>

<div>Does the performance make sense? Does MPICH has some queue for all one-sided communication in one node? Or do I understand it incorrectly?</div>

<div><br clear="all">

<div>

<div dir="ltr" class="gmail-m_-7134994236507619519gmail_signature">

<div dir="ltr">Thanks

<div>Kun</div>

</div>

</div>

</div>

</div>

</div>

<br>

<fieldset class="mimeAttachmentHeader"></fieldset> <br>

<pre wrap="">_______________________________________________

discuss mailing list     <a class="moz-txt-link-abbreviated" href="mailto:discuss@mpich.org">discuss@mpich.org</a>

To manage subscription options or unsubscribe:

<a class="moz-txt-link-freetext" href="https://lists.mpich.org/mailman/listinfo/discuss">https://lists.mpich.org/mailman/listinfo/discuss</a>

</pre>

</blockquote>

<br>

</body>

</html>