<!-- BaNnErBlUrFlE-BoDy-start -->

<!-- Preheader Text : BEGIN -->

<div style="display:none !important;display:none;visibility:hidden;mso-hide:all;font-size:1px;color:#ffffff;line-height:1px;height:0px;max-height:0px;opacity:0;overflow:hidden;">

 Unfortunately, still couldn’t make it work. Any more debugging tips? It does work if I just use 1 host FI_PROVIDER=verbs MPIR_CVAR_DEBUG_SUMMARY=1 /opt/mpich/bin/mpirun -n 5 -hosts 192. 168. 2. 200 ./a. out However, when I see what is on the wire,

</div>

<!-- Preheader Text : END -->

<!-- Email Banner : BEGIN -->

<div style="display:none !important;display:none;visibility:hidden;mso-hide:all;font-size:1px;color:#ffffff;line-height:1px;height:0px;max-height:0px;opacity:0;overflow:hidden;">ZjQcmQRYFpfptBannerStart</div>

<!--[if ((ie)|(mso))]>

  <table border="0" cellspacing="0" cellpadding="0" width="100%" style="padding: 16px 0px 16px 0px; direction: ltr" ><tr><td>

    <table border="0" cellspacing="0" cellpadding="0" style="padding: 0px 10px 5px 6px; width: 100%; border-radius:4px; border-top:4px solid #90a4ae;background-color:#D0D8DC;"><tr><td valign="top">

      <table align="left" border="0" cellspacing="0" cellpadding="0" style="padding: 4px 8px 4px 8px">

        <tr><td style="color:#000000; font-family: 'Arial', sans-serif; font-weight:bold; font-size:14px; direction: ltr">

          This Message Is From an External Sender

        </td></tr>

        <tr><td style="color:#000000; font-weight:normal; font-family: 'Arial', sans-serif; font-size:12px; direction: ltr">

          This message came from outside your organization.

        </td></tr>

      </table>

    </td></tr></table>

  </td></tr></table>

<![endif]-->

<![if !((ie)|(mso))]>

  <div dir="ltr"  id="pfptBanneroyraj61" style="all: revert !important; display:block !important; text-align: left !important; margin:16px 0px 16px 0px !important; padding:8px 16px 8px 16px !important; border-radius: 4px !important; min-width: 200px !important; background-color: #D0D8DC !important; background-color: #D0D8DC; border-top: 4px solid #90a4ae !important; border-top: 4px solid #90a4ae;">

    <div id="pfptBanneroyraj61" style="all: unset !important; float:left !important; display:block !important; margin: 0px 0px 1px 0px !important; max-width: 600px !important;">

      <div id="pfptBanneroyraj61" style="all: unset !important; display:block !important; visibility: visible !important; background-color: #D0D8DC !important; color:#000000 !important; color:#000000; font-family: 'Arial', sans-serif !important; font-family: 'Arial', sans-serif; font-weight:bold !important; font-weight:bold; font-size:14px !important; line-height:18px !important; line-height:18px">

        This Message Is From an External Sender

      </div>

      <div id="pfptBanneroyraj61" style="all: unset !important; display:block !important; visibility: visible !important; background-color: #D0D8DC !important; color:#000000 !important; color:#000000; font-weight:normal; font-family: 'Arial', sans-serif !important; font-family: 'Arial', sans-serif; font-size:12px !important; line-height:18px !important; line-height:18px; margin-top:2px !important;">

This message came from outside your organization.

      </div>

    </div>

    <div style="clear: both !important; display: block !important; visibility: hidden !important; line-height: 0 !important; font-size: 0.01px !important; height: 0px"> </div>

  </div>

<![endif]>

<div style="display:none !important;display:none;visibility:hidden;mso-hide:all;font-size:1px;color:#ffffff;line-height:1px;height:0px;max-height:0px;opacity:0;overflow:hidden;">ZjQcmQRYFpfptBannerEnd</div>

<!-- Email Banner : END -->

<!-- BaNnErBlUrFlE-BoDy-end -->

<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

<head><!-- BaNnErBlUrFlE-HeAdEr-start -->

<style>

  #pfptBanneroyraj61 { all: revert !important; display: block !important; 

    visibility: visible !important; opacity: 1 !important; 

    background-color: #D0D8DC !important; 

    max-width: none !important; max-height: none !important }

  .pfptPrimaryButtonoyraj61:hover, .pfptPrimaryButtonoyraj61:focus {

    background-color: #b4c1c7 !important; }

  .pfptPrimaryButtonoyraj61:active {

    background-color: #90a4ae !important; }

</style>

<!-- BaNnErBlUrFlE-HeAdEr-end -->

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

<meta name="Generator" content="Microsoft Word 15 (filtered medium)">

<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}

o\:* {behavior:url(#default#VML);}

w\:* {behavior:url(#default#VML);}

.shape {behavior:url(#default#VML);}

</style><![endif]--><style><!--

/* Font Definitions */

@font-face

        {font-family:"Cambria Math";

        panose-1:2 4 5 3 5 4 6 3 2 4;}

@font-face

        {font-family:Calibri;

        panose-1:2 15 5 2 2 2 4 3 2 4;}

@font-face

        {font-family:Aptos;

        panose-1:2 11 0 4 2 2 2 2 2 4;}

@font-face

        {font-family:"Apple Color Emoji";

        panose-1:0 0 0 0 0 0 0 0 0 0;}

@font-face

        {font-family:Menlo;

        panose-1:2 11 6 9 3 8 4 2 2 4;}

@font-face

        {font-family:Abadi;

        panose-1:2 11 6 4 2 1 4 2 2 4;}

/* Style Definitions */

p.MsoNormal, li.MsoNormal, div.MsoNormal

        {margin:0in;

        font-size:12.0pt;

        font-family:"Aptos",sans-serif;}

a:link, span.MsoHyperlink

        {mso-style-priority:99;

        color:#467886;

        text-decoration:underline;}

a:visited, span.MsoHyperlinkFollowed

        {mso-style-priority:99;

        color:purple;

        text-decoration:underline;}

code

        {mso-style-priority:99;

        font-family:"Courier New";}

p.msonormal0, li.msonormal0, div.msonormal0

        {mso-style-name:msonormal;

        mso-margin-top-alt:auto;

        margin-right:0in;

        mso-margin-bottom-alt:auto;

        margin-left:0in;

        font-size:12.0pt;

        font-family:"Aptos",sans-serif;}

p.xmsonormal, li.xmsonormal, div.xmsonormal

        {mso-style-name:xmsonormal;

        margin:0in;

        font-size:12.0pt;

        font-family:"Aptos",sans-serif;}

p.xxmsonormal, li.xxmsonormal, div.xxmsonormal

        {mso-style-name:xxmsonormal;

        margin:0in;

        font-size:12.0pt;

        font-family:"Aptos",sans-serif;}

p.xxxmsonormal, li.xxxmsonormal, div.xxxmsonormal

        {mso-style-name:xxxmsonormal;

        margin:0in;

        font-size:10.0pt;

        font-family:"Aptos",sans-serif;}

p.xxxp1, li.xxxp1, div.xxxp1

        {mso-style-name:xxxp1;

        margin:0in;

        font-size:11.5pt;

        font-family:Menlo;

        color:black;}

p.xxxp2, li.xxxp2, div.xxxp2

        {mso-style-name:xxxp2;

        margin:0in;

        font-size:11.5pt;

        font-family:Menlo;

        color:black;}

p.msochpdefault, li.msochpdefault, div.msochpdefault

        {mso-style-name:msochpdefault;

        mso-margin-top-alt:auto;

        margin-right:0in;

        mso-margin-bottom-alt:auto;

        margin-left:0in;

        font-size:10.0pt;

        font-family:"Aptos",sans-serif;}

span.emailstyle30

        {mso-style-name:emailstyle30;

        font-family:"Aptos",sans-serif;

        color:windowtext;}

span.xxxs1

        {mso-style-name:xxxs1;}

span.xxxapple-converted-space

        {mso-style-name:xxxapple-converted-space;}

span.EmailStyle28

        {mso-style-type:personal-reply;

        font-family:"Aptos",sans-serif;

        color:windowtext;}

p.p1, li.p1, div.p1

        {mso-style-name:p1;

        margin:0in;

        font-size:12.0pt;

        font-family:Menlo;

        color:black;}

p.p2, li.p2, div.p2

        {mso-style-name:p2;

        margin:0in;

        font-size:12.0pt;

        font-family:Menlo;

        color:black;}

span.s1

        {mso-style-name:s1;}

span.apple-converted-space

        {mso-style-name:apple-converted-space;}

.MsoChpDefault

        {mso-style-type:export-only;

        font-size:10.0pt;

        mso-ligatures:none;}

@page WordSection1

        {size:8.5in 11.0in;

        margin:1.0in 1.0in 1.0in 1.0in;}

div.WordSection1

        {page:WordSection1;}

--></style><!--[if gte mso 9]><xml>

<o:shapedefaults v:ext="edit" spidmax="1026" />

</xml><![endif]--><!--[if gte mso 9]><xml>

<o:shapelayout v:ext="edit">

<o:idmap v:ext="edit" data="1" />

</o:shapelayout></xml><![endif]-->

</head>

<body lang="EN-US" link="#467886" vlink="purple" style="word-wrap:break-word">

<div class="WordSection1">

<p class="MsoNormal"><span style="font-size:11.0pt">Unfortunately, still couldn’t make it work.<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt">Any more debugging tips?<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt">It does work  if I just use 1 host<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">FI_PROVIDER=verbs  MPIR_CVAR_DEBUG_SUMMARY=1 /opt/mpich/bin/mpirun  -n 5 -hosts 192.168.2.200 ./a.out<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt">However, when I see what is on the wire, it is TCP messages. I am looking for RoCE messages on it.

<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">root@ampere-altra-2-1:/mpich/examples# FI_PROVIDER=verbs  MPIR_CVAR_DEBUG_SUMMARY=1 /opt/mpich/bin/mpirun  -n 5 -hosts 192.168.2.200,192.168.2.100 ./a.out <o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Various sizes and limits ====<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_per_vci_t): 192<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Required minimum FI_VERSION: 0, current version: 10015<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_FORMAT_UNSPEC [32]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_FORMAT_UNSPEC [32]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxd, score = 5, pref = -2, FI_FORMAT_UNSPEC [32]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxd, score = 5, pref = -2, FI_FORMAT_UNSPEC [32]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Required minimum FI_VERSION: 10006, current version: 10015<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Capability set configuration ====<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">libfabric provider: verbs;ofi_rxm - IB-0xfe80000000000000<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_DATA: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_AV_TABLE: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_SCALABLE_ENDPOINTS: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_SHARED_CONTEXTS: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_VIRT_ADDRESS: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_ALLOCATED: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_REGISTER_NULL: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_PROV_KEY: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_TAGGED: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_AM: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_RMA: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_ATOMICS: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_FETCH_ATOMIC_IOVECS: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_DATA_AUTO_PROGRESS: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_CONTROL_AUTO_PROGRESS: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_PT2PT_NOPACK: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_TRIGGERED: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_HMEM: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_NUM_AM_BUFFERS: 8<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_NUM_OPTIMIZED_MEMORY_REGIONS: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_CONTEXT_BITS: 16<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_SOURCE_BITS: 23<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_TAG_BITS: 20<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_VNI_USE_DOMAIN: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MAXIMUM SUPPORTED RANKS: 8388608<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MAXIMUM TAG: 1048576<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Provider global thresholds ====<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_buffered_send: 192<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_buffered_write: 192<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_msg_size: 1073741824<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_raw: 1073741824<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_war: 0<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_waw: 1073741824<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">tx_iov_limit: 4<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">rx_iov_limit: 4<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">rma_iov_limit: 1<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_mr_key_size: 4<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Various sizes and limits ====<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_AM_MSG_HEADER_SIZE: 24<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_MAX_AM_HDR_SIZE: 255<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_OFI_am_request_header_t): 416<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_OFI_per_vci_t): 52480<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_AM_HDR_POOL_CELL_SIZE: 1024<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_DEFAULT_SHORT_SEND_SIZE: 16384<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x58c1b5) [0x7fdf0919f1b5]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x491858) [0x7fdf090a4858]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x55443c) [0x7fdf0916743c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x53409d) [0x7fdf0914709d]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4dc78f) [0x7fdf090ef78f]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4df10a) [0x7fdf090f210a]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3deab6) [0x7fdf08ff1ab6]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3e0732) [0x7fdf08ff3732]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3dd075) [0x7fdf08ff0075]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x418215) [0x7fdf0902b215]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4188fa) [0x7fdf0902b8fa]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x58c1b5) [0x7f3a84bfb1b5]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x491858) [0x7f3a84b00858]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x55443c) [0x7f3a84bc343c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x53409d) [0x7f3a84ba309d]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4dc78f) [0x7f3a84b4b78f]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4df10a) [0x7f3a84b4e10a]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3deab6) [0x7f3a84a4dab6]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3e0732) [0x7f3a84a4f732]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3dd075) [0x7f3a84a4c075]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x418215) [0x7f3a84a87215]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4188fa) [0x7f3a84a878fa]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(MPI_Init+0x34) [0x7f3a84746594]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x121a) [0x5606031f021a]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/x86_64-linux-gnu/libc.so.6(+0x29d90) [0x7f3a8446bd90]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x80) [0x7f3a8446be40]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(MPI_Init+0x34) [0x7fdf08cea594]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x121a) [0x55accc98e21a]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/x86_64-linux-gnu/libc.so.6(+0x29d90) [0x7fdf08a0fd90]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x80) [0x7fdf08a0fe40]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x1125) [0x55accc98e125]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Abort(1) on node 2: Internal error<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x58c1b5) [0x7fa1131a11b5]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x491858) [0x7fa1130a6858]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x55443c) [0x7fa11316943c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x53409d) [0x7fa11314909d]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4dc78f) [0x7fa1130f178f]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4df10a) [0x7fa1130f410a]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3deab6) [0x7fa112ff3ab6]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3e0732) [0x7fa112ff5732]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3dd075) [0x7fa112ff2075]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x418215) [0x7fa11302d215]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4188fa) [0x7fa11302d8fa]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(MPI_Init+0x34) [0x7fa112cec594]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x121a) [0x55a0b562221a]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/x86_64-linux-gnu/libc.so.6(+0x29d90) [0x7fa112a11d90]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x80) [0x7fa112a11e40]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x1125) [0x55a0b5622125]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Abort(1) on node 4: Internal error<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x1125) [0x5606031f0125]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Abort(1) on node 0: Internal error<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x59d26c) [0xffffb4dbd26c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4a6b58) [0xffffb4cc6b58]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x5678b0) [0xffffb4d878b0]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x548c54) [0xffffb4d68c54]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4f710c) [0xffffb4d1710c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4f9890) [0xffffb4d19890]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x59d26c) [0xffffa9e9d26c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4a6b58) [0xffffa9da6b58]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x5678b0) [0xffffa9e678b0]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x548c54) [0xffffa9e48c54]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4f710c) [0xffffa9df710c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4f9890) [0xffffa9df9890]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3ffd2c) [0xffffa9cffd2c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4017ec) [0xffffa9d017ec]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3fe384) [0xffffa9cfe384]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x436a64) [0xffffa9d36a64]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x43700c) [0xffffa9d3700c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(MPI_Init+0x44) [0xffffa9a2eeb4]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x9c4) [0xaaaabd4709c4]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/aarch64-linux-gnu/libc.so.6(+0x273fc) [0xffffa97773fc]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/aarch64-linux-gnu/libc.so.6(__libc_start_main+0x98) [0xffffa97774cc]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x8b0) [0xaaaabd4708b0]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3ffd2c) [0xffffb4c1fd2c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x4017ec) [0xffffb4c217ec]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x3fe384) [0xffffb4c1e384]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x436a64) [0xffffb4c56a64]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(+0x43700c) [0xffffb4c5700c]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/opt/mpich/lib/libmpi.so.0(MPI_Init+0x44) [0xffffb494eeb4]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x9c4) [0xaaaab8e909c4]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/aarch64-linux-gnu/libc.so.6(+0x273fc) [0xffffb46973fc]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">/lib/aarch64-linux-gnu/libc.so.6(__libc_start_main+0x98) [0xffffb46974cc]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">./a.out(+0x8b0) [0xaaaab8e908b0]<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Abort(1) on node 1: Internal error<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Abort(1) on node 3: Internal error<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">a.out: prov/util/src/util_mem_monitor.c:172: ofi_monitor_cleanup: Assertion `dlist_empty(&monitor->list)' failed.<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">a.out: prov/util/src/util_mem_monitor.c:172: ofi_monitor_cleanup: Assertion `dlist_empty(&monitor->list)' failed.<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black"><o:p> </o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">===================================================================================<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">=   PID 105 RUNNING AT 192.168.2.100<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">=   EXIT CODE: 134<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">=   CLEANING UP REMAINING PROCESSES<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">===================================================================================<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">YOUR APPLICATION TERMINATED WITH THE EXIT STRING: Aborted (signal 6)<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">This typically refers to a problem with your application.<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Please see the FAQ page for debugging suggestions<o:p></o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>

<div id="mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="color:black">From:

</span></b><span style="color:black">Niyaz Murshed via discuss <discuss@mpich.org><br>

<b>Date: </b>Tuesday, June 18, 2024 at 11:13</span><span style="font-family:"Arial",sans-serif;color:black"> </span><span style="color:black">AM<br>

<b>To: </b>Zhou, Hui <zhouh@anl.gov>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, nd <nd@arm.com><br>

<b>Subject: </b>Re: [mpich-discuss] Mpich over RDMA sample<o:p></o:p></span></p>

</div>

<div>

<p class="MsoNormal" style="mso-line-height-alt:.75pt"><span style="font-size:1.0pt;color:white">Okay, let me keep digging. If verbs;ofi_rxm is good, then my understanding is that I should see the RoCE messages over the wire, correct? i.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">e

 once I can get the sample application working. Currently, we still see the error as below. I will

<o:p></o:p></span></p>

</div>

<div>

<p class="MsoNormal" style="mso-line-height-alt:.75pt"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart<o:p></o:p></span></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="pfptBanneri4p6z13">

<div id="pfptBanneri4p6z13">

<div id="pfptBanneri4p6z13">

<p class="MsoNormal" style="line-height:13.5pt;background:#D0D8DC"><b><span style="font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

<o:p></o:p></span></b></p>

</div>

<div id="pfptBanneri4p6z13">

<p class="MsoNormal" style="line-height:13.5pt;background:#D0D8DC"><span style="font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

<o:p></o:p></span></p>

</div>

</div>

<div>

<p class="MsoNormal" style="background:#D0D8DC"><span style="color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="MsoNormal" style="mso-line-height-alt:.75pt"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd<o:p></o:p></span></p>

</div>

<div>

<p class="MsoNormal"><span style="font-size:11.0pt">Okay, let me keep digging.</span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt">If verbs;ofi_rxm is good, then my understanding is that I should see the RoCE messages over the wire, correct?

</span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt">i.e once I can get the sample application working.</span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt">Currently, we still see the error as below. I will try to use your patch for interface selection to see what happens.</span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Capability set configuration ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">libfabric provider: verbs;ofi_rxm - IB-0xfe80000000000000</span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="color:black">From:

</span></b><span style="color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Tuesday, June 18, 2024 at 11:05</span><span style="font-family:"Arial",sans-serif;color:black"> </span><span style="color:black">AM<br>

<b>To: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="color:black">Niyaz,</span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="color:black"> </span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="color:black">FYI -<a href="https://urldefense.us/v3/__https:/ofiwg.github.io/libfabric/v1.21.0/man/fi_provider.7.html__;!!G_uCfscf7eWS!cn5cXL4QAe2E8ZgxXqVCAl7c3CheHJj61w7oq7Xjax_lCc5i0vxNUMPTygWv434dybYxB1kttyfXaQHq74c$">https://ofiwg.github.io/libfabric/v1.21.0/man/fi_provider.7.html</a></span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="color:black"> </span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="color:black"> </span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="color:black">Hui</span><o:p></o:p></p>

</div>

<div class="MsoNormal" align="center" style="text-align:center">

<hr size="0" width="100%" align="center">

</div>

<div id="divRplyFwdMsg">

<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black"> Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Sent:</b> Tuesday, June 18, 2024 11:00 AM<br>

<b>To:</b> Zhou, Hui <zhouh@anl.gov>; discuss@mpich.org <discuss@mpich.org><br>

<b>Cc:</b> nd <nd@arm.com><br>

<b>Subject:</b> Re: Mpich over RDMA sample</span> <o:p></o:p></p>

<div>

<p class="MsoNormal"> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class="MsoNormal"><span style="font-size:1.0pt;color:white">Hi Hui, When you say message semantic, do you mean endpoint type message ? Mpich is running over libfabric. When I run sample application on libfabric, it does have message endpoints over RMA. From:

 Zhou, Hui <zhouh@</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">anl.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">gov>

 Date: Tuesday, </span><o:p></o:p></p>

</div>

<div>

<p class="MsoNormal"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_pfptBannerdvwg2ti">

<div id="x_pfptBannerdvwg2ti">

<div id="x_pfptBannerdvwg2ti">

<p class="MsoNormal" style="line-height:13.5pt;background:#D0D8DC"><b><span style="font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_pfptBannerdvwg2ti">

<p class="MsoNormal" style="line-height:13.5pt;background:#D0D8DC"><span style="font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="MsoNormal" style="background:#D0D8DC"><span style="color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="MsoNormal"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xmsonormal"><span style="font-size:11.0pt">Hi Hui, </span><o:p></o:p></p>

<p class="xmsonormal"><span style="font-size:11.0pt">When you say message semantic, do you mean endpoint type message ?

</span><o:p></o:p></p>

<p class="xmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xmsonormal"><span style="font-size:11.0pt">Mpich  is running over libfabric.</span><o:p></o:p></p>

<p class="xmsonormal"><span style="font-size:11.0pt">When I run sample application on libfabric, it does have message endpoints over RMA.</span><o:p></o:p></p>

<p class="xmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xmsonormal" style="margin-bottom:12.0pt"><b><span style="color:black">From:

</span></b><span style="color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Tuesday, June 18, 2024 at 9:44</span><span style="font-family:"Arial",sans-serif;color:black"> </span><span style="color:black">AM<br>

<b>To: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xmsonormal"><span style="color:black">The "</span><code><span style="font-size:10.0pt;color:black">verbs"</span></code><span style="font-family:"Arial",sans-serif;color:black"></span><span style="color:black"> provider alone does not provide the

 message semantics we needed for MPI. "ofi_rxm" is the utility provider that provides the message semantics. "verbs;ofi_rxm" is the provider combination you want.</span><o:p></o:p></p>

</div>

<div>

<p class="xmsonormal"><span style="color:black"> </span><o:p></o:p></p>

</div>

<div>

<p class="xmsonormal"><span style="color:black">Hui</span><o:p></o:p></p>

</div>

<div class="MsoNormal" align="center" style="text-align:center">

<hr size="0" width="100%" align="center">

</div>

<div id="x_divRplyFwdMsg">

<p class="xmsonormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black"> Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Sent:</b> Tuesday, June 18, 2024 9:14 AM<br>

<b>To:</b> Zhou, Hui <zhouh@anl.gov>; discuss@mpich.org <discuss@mpich.org><br>

<b>Cc:</b> nd <nd@arm.com><br>

<b>Subject:</b> Re: Mpich over RDMA sample</span> <o:p></o:p></p>

<div>

<p class="xmsonormal"> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class="xmsonormal"><span style="font-size:1.0pt;color:white">Hi Hui, I have set the env variable to FI_PROVIDER=verbs , after thich I get the below. libfabric provider: verbs;ofi_rxm - IB-0xfe80000000000000 It does not chose just “verbs” , it selects verbs;ofi_rxf

 I am wanting to select the below: provider:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">

</span><o:p></o:p></p>

</div>

<div>

<p class="xmsonormal"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_x_pfptBanner4yfs9r0">

<div id="x_x_pfptBanner4yfs9r0">

<div id="x_x_pfptBanner4yfs9r0">

<p class="xmsonormal" style="line-height:13.5pt;background:#D0D8DC"><b><span style="font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_x_pfptBanner4yfs9r0">

<p class="xmsonormal" style="line-height:13.5pt;background:#D0D8DC"><span style="font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xmsonormal" style="background:#D0D8DC"><span style="color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xmsonormal"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="font-size:11.0pt">Hi Hui, </span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:11.0pt">I have set the env variable to

</span><code><span style="font-size:10.0pt;color:black">FI_PROVIDER=verbs , after thich I get the below.</span></code><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black;background:white">libfabric provider: verbs;ofi_rxm - IB-0xfe80000000000000</span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black;background:white">It does not chose just “verbs” , it selects verbs;ofi_rxf</span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black;background:white"> </span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black;background:white">I am wanting to select the below:</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:11.0pt">I would really like to thank you for such fast responses.</span><o:p></o:p></p>

<p class="xxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxmsonormal" style="margin-bottom:12.0pt"><b><span style="color:black">From:

</span></b><span style="color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Tuesday, June 18, 2024 at 8:58</span><span style="font-family:"Arial",sans-serif;color:black"> </span><span style="color:black">AM<br>

<b>To: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="color:black">Niyaz,</span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="color:black"> </span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="color:black">Set environment variable </span>

<code><span style="font-size:10.0pt;color:black">FI_PROVIDER=verbs</span></code><span style="font-family:"Arial",sans-serif;color:black"></span><span style="color:black"> to select the verbs provider.</span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="color:black"> </span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="color:black">Hui</span><o:p></o:p></p>

</div>

<div class="MsoNormal" align="center" style="text-align:center">

<hr size="0" width="100%" align="center">

</div>

<div id="x_x_divRplyFwdMsg">

<p class="xxmsonormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black"> Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Sent:</b> Monday, June 17, 2024 8:57 PM<br>

<b>To:</b> Zhou, Hui <zhouh@anl.gov>; discuss@mpich.org <discuss@mpich.org><br>

<b>Cc:</b> nd <nd@arm.com><br>

<b>Subject:</b> Re: Mpich over RDMA sample</span> <o:p></o:p></p>

<div>

<p class="xxmsonormal"> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class="xxmsonormal"><span style="font-size:1.0pt;color:white">Hi Hui, I would still need some assistance in this. I am not able to make mpich chose verbs provider

</span><span style="font-size:1.0pt;font-family:"Apple Color Emoji";color:white">☹</span><span style="font-size:1.0pt;color:white"> With the log : provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">168.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">2.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">200

 Is my assumption to think the above log represent </span><o:p></o:p></p>

</div>

<div>

<p class="xxmsonormal"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_x_x_pfptBanner6sl7myv">

<div id="x_x_x_pfptBanner6sl7myv">

<div id="x_x_x_pfptBanner6sl7myv">

<p class="xxmsonormal" style="line-height:13.5pt;background:#D0D8DC"><b><span style="font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_x_x_pfptBanner6sl7myv">

<p class="xxmsonormal" style="line-height:13.5pt;background:#D0D8DC"><span style="font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxmsonormal" style="background:#D0D8DC"><span style="color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxmsonormal"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal"><span style="font-size:11.0pt">Hi Hui, </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt">I would still need some assistance in this. I am not able to make mpich chose verbs provider

</span><span style="font-size:11.0pt;font-family:"Apple Color Emoji"">☹</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt">With the log :</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt">Is my assumption to think the above log represent that verbs provider knows about a path to

</span><span style="font-size:9.0pt;font-family:Menlo;color:black">192.168.2.200 ?</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt">How does the application hello-world decide which provider to use?</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxp1"><span style="font-size:11.0pt;font-family:"Aptos",sans-serif">Running on server:

</span><span style="font-size:9.0pt">192.168.2.100</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">root@ampere-altra-2-1# FI_PROVIDER=verbs MPIR_CVAR_DEBUG_SUMMARY=1 mpirun  -n 5 -hosts 192.168.2.200,192.168.2.100 /mpich/examples/a.out</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Various sizes and limits ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_per_vci_t): 192</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Required minimum FI_VERSION: 0, current version: 10015</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxd, score = 5, pref = -2, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxd, score = 5, pref = -2, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Required minimum FI_VERSION: 10006, current version: 10015</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Capability set configuration ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">libfabric provider: verbs;ofi_rxm - IB-0xfe80000000000000</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_DATA: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_AV_TABLE: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_SCALABLE_ENDPOINTS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_SHARED_CONTEXTS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_VIRT_ADDRESS: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_ALLOCATED: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_REGISTER_NULL: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_PROV_KEY: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_TAGGED: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_AM: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_RMA: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_ATOMICS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_FETCH_ATOMIC_IOVECS: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_DATA_AUTO_PROGRESS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_CONTROL_AUTO_PROGRESS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_PT2PT_NOPACK: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_TRIGGERED: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_HMEM: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_NUM_AM_BUFFERS: 8</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_NUM_OPTIMIZED_MEMORY_REGIONS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_CONTEXT_BITS: 16</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_SOURCE_BITS: 23</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_TAG_BITS: 20</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_VNI_USE_DOMAIN: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MAXIMUM SUPPORTED RANKS: 8388608</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MAXIMUM TAG: 1048576</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Provider global thresholds ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_buffered_send: 192</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_buffered_write: 192</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_msg_size: 1073741824</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_raw: 1073741824</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_war: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_waw: 1073741824</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">tx_iov_limit: 4</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">rx_iov_limit: 4</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">rma_iov_limit: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_mr_key_size: 4</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Various sizes and limits ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_AM_MSG_HEADER_SIZE: 24</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_MAX_AM_HDR_SIZE: 255</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_OFI_am_request_header_t): 416</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_OFI_per_vci_t): 52480</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_AM_HDR_POOL_CELL_SIZE: 1024</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_DEFAULT_SHORT_SEND_SIZE: 16384</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Assertion failed in file src/mpid/ch4/netmod/ofi/init_addrxchg.c at line 151: mapped_table[i] != FI_ADDR_NOTAVAIL</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt">If I do not use the FI_PROVIDER=verbs, it will work over sockets.</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">root@ampere-altra-2-1: # MPIR_CVAR_DEBUG_SUMMARY=1 mpirun  -n 5 -hosts 192.168.2.200,192.168.2.100 /mpich/examples/a.out </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Various sizes and limits ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_per_vci_t): 192</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Required minimum FI_VERSION: 0, current version: 10015</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs, score = 0, pref = 0, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IB [48]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp;ofi_rxm, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxd, score = 5, pref = -2, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: verbs;ofi_rxd, score = 5, pref = -2, FI_FORMAT_UNSPEC [32]</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp;ofi_rxd, score = 5, pref = -2, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp;ofi_rxd, score = 5, pref = -2, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp;ofi_rxd, score = 5, pref = -2, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp;ofi_rxd, score = 5, pref = -2, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp;ofi_rxd, score = 5, pref = -2, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp;ofi_rxd, score = 5, pref = -2, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: shm, score = 4, pref = -2, FI_ADDR_STR [14] - fi_shm://1177</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: shm, score = 4, pref = -2, FI_ADDR_STR [14] - fi_shm://1177</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp, score = 0, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp, score = 0, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: udp, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 0, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 0, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 0, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 0, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: tcp, score = 4, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 3, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 3, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 3, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 3, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 3, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 3, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN [16] 192.168.2.200</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN6 [28] fe80::526b:4bff:fefc:1342</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN [16] 10.118.91.159</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN6 [28] fe80::be97:e1ff:fe9d:7caa</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN [16] 127.0.0.1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sockets, score = 5, pref = 0, FI_SOCKADDR_IN6 [28] ::1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sm2, score = 3, pref = 0, FI_ADDR_STR [13] - fi_sm2://1177</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">provider: sm2, score = 3, pref = 0, FI_ADDR_STR [13] - fi_sm2://1177</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Required minimum FI_VERSION: 10005, current version: 10015</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Capability set configuration ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">libfabric provider: sockets - 192.168.2.0/24</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_DATA: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_AV_TABLE: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_SCALABLE_ENDPOINTS: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_SHARED_CONTEXTS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_VIRT_ADDRESS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_ALLOCATED: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_REGISTER_NULL: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_MR_PROV_KEY: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_TAGGED: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_AM: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_RMA: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_ATOMICS: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_FETCH_ATOMIC_IOVECS: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_DATA_AUTO_PROGRESS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_CONTROL_AUTO_PROGRESS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_PT2PT_NOPACK: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_TRIGGERED: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_ENABLE_HMEM: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_NUM_AM_BUFFERS: 8</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_NUM_OPTIMIZED_MEMORY_REGIONS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_CONTEXT_BITS: 20</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_SOURCE_BITS: 0</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_TAG_BITS: 31</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_VNI_USE_DOMAIN: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MAXIMUM SUPPORTED RANKS: 4294967296</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MAXIMUM TAG: 2147483648</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Provider global thresholds ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_buffered_send: 255</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_buffered_write: 255</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_msg_size: 9223372036854775807</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_raw: -1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_war: -1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_order_waw: -1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">tx_iov_limit: 8</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">rx_iov_limit: 8</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">rma_iov_limit: 8</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">max_mr_key_size: 8</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== Various sizes and limits ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_AM_MSG_HEADER_SIZE: 24</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_MAX_AM_HDR_SIZE: 255</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_OFI_am_request_header_t): 416</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIDI_OFI_per_vci_t): 52480</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_AM_HDR_POOL_CELL_SIZE: 1024</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">MPIDI_OFI_DEFAULT_SHORT_SEND_SIZE: 16384</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== OFI dynamic settings ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">num_vcis: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">num_nics: 1</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">======================================</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">error checking    : enabled</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">QMPI              : disabled</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">debugger support  : disabled</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">thread level      : MPI_THREAD_SINGLE</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">thread CS         : per-vci</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">threadcomm        : enabled</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">==== data structure summary ====</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIR_Comm): 1808</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIR_Request): 512</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">sizeof(MPIR_Datatype): 280</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">================================</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Hello world from process 0 of 5</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Hello world from process 2 of 5</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Hello world from process 1 of 5</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Hello world from process 4 of 5</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:9.0pt;font-family:Menlo;color:black">Hello world from process 3 of 5</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="margin-bottom:12.0pt"><b><span style="font-size:12.0pt;color:black">From:

</span></b><span style="font-size:12.0pt;color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Wednesday, June 12, 2024 at 7:22</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, discuss@mpich.org <discuss@mpich.org><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal"><span style="font-size:11.0pt">It’s possible that the native path for RMA on verbs are turned off due to verbs does not meet MPI’s full atomic ordering semantics. We’ll check and follow up.</span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div>

<div>

<p class="xxxmsonormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">-- <br>

Hui Zhou</span><o:p></o:p></p>

</div>

</div>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:.5in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Date: </b>Wednesday, June 12, 2024 at 3:59</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Zhou, Hui <zhouh@anl.gov>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:1.0pt;color:white">I think image is not gone : https:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">//ibb.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">co/RDGnJfy

 From: Niyaz Murshed <Niyaz.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">Murshed@</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">arm.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">com>

 Date: Wednesday, June 12, 2024 at 3:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">56 PM To: Zhou, Hui <zhouh@</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">anl.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">gov>,

 discuss@</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">mpich.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">org

 <discuss@</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">mpich.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">org>

 Cc: nd <nd@</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">arm.</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">com>

</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_x_x_pfptBanner8mt2w98">

<div id="x_x_x_pfptBanner8mt2w98">

<div id="x_x_x_pfptBanner8mt2w98">

<p class="xxxmsonormal" style="margin-left:.5in;line-height:13.5pt;background:#D0D8DC">

<b><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_x_x_pfptBanner8mt2w98">

<p class="xxxmsonormal" style="margin-left:.5in;line-height:13.5pt;background:#D0D8DC">

<span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in;background:#D0D8DC"><span style="font-size:12.0pt;color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt">I think image is not gone :

<a href="https://urldefense.us/v3/__https:/ibb.co/RDGnJfy__;!!G_uCfscf7eWS!YH6L3OHfPHd8aABguKjC1E2ZLYeI_yAUdgQlvdFFY5HHl8tDGe186dWz5LcggM9kcgEiwET4m3XOQ-HTMpo$">

https://ibb.co/RDGnJfy</a></span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:.5in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Date: </b>Wednesday, June 12, 2024 at 3:56</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Zhou, Hui <zhouh@anl.gov>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt">Thank you Hui for the reply.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt">I was expecting to see RoCE messages in the packet capture.

</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt">When I use verbs on libfabric sample tests, I see the RoCE messages as below :

</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"><img border="0" width="1604" height="142" style="width:16.7083in;height:1.4791in" id="x_x_x_Picture_x0020_1" src="cid:image001.png@01DABCE1.0D6BE810"></span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:.5in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Wednesday, June 12, 2024 at 3:41</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt">Niyaz,</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:.5in">

<span style="font-size:11.0pt">ofi_rxm:verbs is the correct provider. The ofi_rxm provides the verbs provider additional messaging semantics that are needed to be used in MPI.</span><o:p></o:p></p>

<div>

<div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">-- <br>

Hui Zhou</span><o:p></o:p></p>

</div>

</div>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:1.0in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Date: </b>Wednesday, June 12, 2024 at 2:54</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Zhou, Hui <zhouh@anl.gov>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:1.0pt;color:white">Thank you for the reply. I did that; however, it selects ofi_rxm:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">verbs

 libfabric:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">412098:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">1718221892:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">ofi_rxm:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">av:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">ofi_av_insert_addr():</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">313<info>

 fi_addr: 1 libfabric:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">412099:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">1718221892:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">ofi_rxm:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">av:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">ofi_av_insert_addr():</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">313<info>

 fi_addr:</span><span style="font-size:1.0pt;font-family:"Arial",sans-serif;color:white"> </span><span style="font-size:1.0pt;color:white">

</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_x_x_pfptBannerpqjya9d">

<div id="x_x_x_pfptBannerpqjya9d">

<div id="x_x_x_pfptBannerpqjya9d">

<p class="xxxmsonormal" style="margin-left:1.0in;line-height:13.5pt;background:#D0D8DC">

<b><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_x_x_pfptBannerpqjya9d">

<p class="xxxmsonormal" style="margin-left:1.0in;line-height:13.5pt;background:#D0D8DC">

<span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in;background:#D0D8DC"><span style="font-size:12.0pt;color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt">Thank you for the reply.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt">I did that; however, it selects ofi_rxm:verbs</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">libfabric:412098:1718221892::ofi_rxm:av:ofi_av_insert_addr():313<info> fi_addr: 1</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">libfabric:412099:1718221892::ofi_rxm:av:ofi_av_insert_addr():313<info> fi_addr: 1</span><o:p></o:p></p>

<p class="xxxp2" style="margin-left:1.0in"> <o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">options:</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">backend:</span><span class="xxxapple-converted-space">       

</span><span class="xxxs1">cpu</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">iters:</span><span class="xxxapple-converted-space">         

</span><span class="xxxs1">16</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">warmup_iters: </span><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">16</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">cache:</span><span class="xxxapple-converted-space">         

</span><span class="xxxs1">1</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">min_elem_count: 1</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">max_elem_count: 1</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">elem_counts:</span><span class="xxxapple-converted-space">   

</span><span class="xxxs1">[1]</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">validate: </span><span class="xxxapple-converted-space">     

</span><span class="xxxs1">last</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space"> 

</span><span class="xxxs1">window_size:</span><span class="xxxapple-converted-space">   

</span><span class="xxxs1">64</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">#------------------------------------------------------------</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1"># Benchmarking: Bandwidth</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1"># #processes: 2</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">#------------------------------------------------------------</span><o:p></o:p></p>

<p class="xxxp2" style="margin-left:1.0in"> <o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space">       

</span><span class="xxxs1">#bytes</span><span class="xxxapple-converted-space">     

</span><span class="xxxs1">#repetitions</span><span class="xxxapple-converted-space">       

</span><span class="xxxs1">Mbytes/sec</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxapple-converted-space">            

</span><span class="xxxs1">4</span><span class="xxxapple-converted-space">               

</span><span class="xxxs1">16</span><span class="xxxapple-converted-space">             

</span><span class="xxxs1">0.02</span><o:p></o:p></p>

<p class="xxxp2" style="margin-left:1.0in"> <o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1"># All done</span><o:p></o:p></p>

<p class="xxxp2" style="margin-left:1.0in"> <o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">libfabric:412098:1718221892::ofi_rxm:ep_ctrl:rxm_stop_listen():864<info> stopping CM thread</span><o:p></o:p></p>

<p class="xxxp1" style="margin-left:1.0in"><span class="xxxs1">libfabric:412099:1718221892::ofi_rxm:ep_ctrl:rxm_stop_listen():864<info> stopping CM thread</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt">As per

<a href="https://urldefense.us/v3/__https:/www.intel.com/content/www/us/en/docs/mpi-library/developer-guide-linux/2021-6/ofi-providers-support.html__;!!G_uCfscf7eWS!YajPk9G-sPCEDt44nrZQrYG8r7V_s953AsKjQ4w_vW5OzcjJXfdGHOINW-PEYIw-IcISZSCw1xIsIoJ-dbE$">

https://www.intel.com/content/www/us/en/docs/mpi-library/developer-guide-linux/2021-6/ofi-providers-support.html</a> , we need to add FI_PROVIDER=^ofi_rxm , but if do that,  it moves back to sockets provider.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt">Is here a way to combine ^ofi_rxm and verbs</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:1.0in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Wednesday, June 12, 2024 at 2:41</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt">Niyaz,</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt">All you need to do is to set an environment variable `FI_PROVIDER=verbs`.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div>

<div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">-- <br>

Hui Zhou</span><o:p></o:p></p>

</div>

</div>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:1.5in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Niyaz Murshed <Niyaz.Murshed@arm.com><br>

<b>Date: </b>Wednesday, June 12, 2024 at 1:23</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>Zhou, Hui <zhouh@anl.gov>, discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:1.0pt;color:white">When testing with Libfabric, verbs provider is selected. I did have to use “-e msg -d mlx5_1” so that it selects verbs. I was checking if there is anything like that

 for mpich sample tests. Else might need to do some hack in the code to force </span>

<o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_x_x_pfptBannerlvkl7f4">

<div id="x_x_x_pfptBannerlvkl7f4">

<div id="x_x_x_pfptBannerlvkl7f4">

<p class="xxxmsonormal" style="margin-left:1.5in;line-height:13.5pt;background:#D0D8DC">

<b><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_x_x_pfptBannerlvkl7f4">

<p class="xxxmsonormal" style="margin-left:1.5in;line-height:13.5pt;background:#D0D8DC">

<span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in;background:#D0D8DC"><span style="font-size:12.0pt;color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt">When testing with Libfabric, verbs provider is selected. I did have to use “-e msg -d mlx5_1”  so that it selects verbs.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt">I was checking if there is anything like that for mpich sample tests. Else might need to do some hack in the code to force the selection of verbs.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:1.5in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Zhou, Hui <zhouh@anl.gov><br>

<b>Date: </b>Wednesday, June 12, 2024 at 1:15</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">PM<br>

<b>To: </b>discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, nd <nd@arm.com><br>

<b>Subject: </b>Re: Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt">Libfabric support multiple providers. Sounds like it was selecting the sockets or tcp provider rather than a provider that support RoCE. I am not exactly sure whether the verbs

 provider will do that. If you can confirm the provider using libfabric tests, then you can try forcing MPICH to use that provider by setting the FI_PROVIDER environment variable.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div>

<div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">-- <br>

Hui Zhou</span><o:p></o:p></p>

</div>

</div>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:1.5in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="xxxmsonormal" style="mso-margin-top-alt:0in;margin-right:0in;margin-bottom:12.0pt;margin-left:2.0in">

<b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Niyaz Murshed via discuss <discuss@mpich.org><br>

<b>Date: </b>Wednesday, June 12, 2024 at 9:03</span><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black"> </span><span style="font-size:12.0pt;color:black">AM<br>

<b>To: </b>discuss@mpich.org <discuss@mpich.org><br>

<b>Cc: </b>Niyaz Murshed <Niyaz.Murshed@arm.com>, nd <nd@arm.com><br>

<b>Subject: </b>[mpich-discuss] Mpich over RDMA sample</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:1.0pt;color:white">Hello, I am trying to learn about MPICH and its performance over RDMA. I am using libfabric and installed mpich using the below configure. ./configure --prefix=/opt/mpich/

 --with-ofi=/opt/libfabric/ When I run any applications between 2 directly </span>

<o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>

</div>

<div style="border:none;border-top:solid #90A4AE 3.0pt;padding:0in 0in 0in 0in;display:block!important;text-align:left!important;margin:0px!important;padding:16px!important;border-radius:4px!important;min-width:200px!important;background-color:#D0D8DC!important;border-top:#90a4ae!important" id="x_x_x_pfptBannerou1nuhm">

<div id="x_x_x_pfptBannerou1nuhm">

<div id="x_x_x_pfptBannerou1nuhm">

<p class="xxxmsonormal" style="margin-left:2.0in;line-height:13.5pt;background:#D0D8DC">

<b><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This Message Is From an External Sender

</span></b><o:p></o:p></p>

</div>

<div id="x_x_x_pfptBannerou1nuhm">

<p class="xxxmsonormal" style="margin-left:2.0in;line-height:13.5pt;background:#D0D8DC">

<span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:black">This message came from outside your organization.

</span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:2.0in;background:#D0D8DC"><span style="font-size:12.0pt;color:black"> </span><o:p></o:p></p>

</div>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>

</div>

<div>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

<div id="x_x_x_mail-editor-reference-message-container">

<div>

<div>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">Hello, </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">I am trying to learn about MPICH and its performance over RDMA.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">I am using libfabric and installed mpich using the below configure.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">./</span><b><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:#CA3323">configure</span></b><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black"> --prefix=/opt/mpich/  --with-ofi=/opt/libfabric/</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">When I run any applications between 2 directly connected servers having Mellanox NICs, I see that communication is happening over tcp

 and not over RoCE.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">Is there any way to test commination over RoCE ?</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">For eg. I was able to test it for libfabric using the below sample that comes along with libfabric to test RMA.</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">Is there something similar for MPICH ? or use the current sample to use RoCE by some parameter?</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">Server : </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">fi_rma_bw -s   192.168.1.100  -e msg   -d mlx5_1 -S 1024 -I 1 </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">Client :</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:14.0pt;font-family:"Abadi",sans-serif;color:black">fi_rma_bw -s   192.168.1.200  -e msg   -d mlx5_3  192.168.1.100  -S 1024 -I 1 </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:11.0pt;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:11.0pt;color:black"> </span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:11.0pt;color:black">Regards,</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:11.0pt;color:black">Niyaz</span><o:p></o:p></p>

<p class="xxxmsonormal" style="margin-left:2.0in"><span style="font-size:11.0pt"> </span><o:p></o:p></p>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</body>

</html>