<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr">Hi, Pavan,<div><br></div><div>Here is the full output info. Thanks!</div><div><br></div><div><div>ubuntu@ip-10-237-132-179:~/mpitest/mpitutorial/tutorials/mpi-send-and-receive/code$ mpiexec -n 2 -f host_file -verbose ./send_recv</div><div>host: <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a></div><div>host: <a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a></div><div><br></div><div>==================================================================================================</div><div>mpiexec options:</div><div>----------------</div><div>  Base path: /usr/local/bin/</div><div>  Launcher: (null)</div><div>  Debug level: 1</div><div>  Enable X: -1</div><div><br></div><div>  Global environment:</div><div>  -------------------</div><div>    TERM=xterm</div><div>    SHELL=/bin/bash</div><div>    SSH_CLIENT=155.69.144.109 63331 22</div><div>    SSH_TTY=/dev/pts/0</div><div>    USER=ubuntu</div><div>    LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arj=01;31:*.taz=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lz=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36:</div><div>    MAIL=/var/mail/ubuntu</div><div>    PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games</div><div>    PWD=/home/ubuntu/mpitest/mpitutorial/tutorials/mpi-send-and-receive/code</div><div>    LANG=en_US.UTF-8</div><div>    SHLVL=1</div><div>    HOME=/home/ubuntu</div><div>    LOGNAME=ubuntu</div><div>    SSH_CONNECTION=155.69.144.109 63331 10.237.132.179 22</div><div>    LESSOPEN=| /usr/bin/lesspipe %s</div><div>    LESSCLOSE=/usr/bin/lesspipe %s %s</div><div>    OLDPWD=/home/ubuntu/mpitest</div><div>    _=/usr/local/bin/mpiexec</div><div><br></div><div>  Hydra internal environment:</div><div>  ---------------------------</div><div>    GFORTRAN_UNBUFFERED_PRECONNECTED=y</div><div><br></div><div><br></div><div>    Proxy information:</div><div>    *********************</div><div>      [1] proxy: <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a> (1 cores)</div><div>      Exec list: ./send_recv (1 processes);</div><div><br></div><div>      [2] proxy: <a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a> (1 cores)</div><div>      Exec list: ./send_recv (1 processes);</div><div><br></div><div><br></div><div>==================================================================================================</div><div><br></div><div>[mpiexec@ip-10-237-132-179] Timeout set to -1 (-1 means infinite)</div><div>[mpiexec@ip-10-237-132-179] Got a control port string of <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817">ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817</a></div><div><br></div><div>Proxy launch args: /usr/local/bin/hydra_pmi_proxy --control-port <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817">ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817</a> --debug --rmk user --launcher ssh --demux poll --pgid 0 --retries 10 --usize -2 --proxy-id</div><div><br></div><div>Arguments being passed to proxy 0:</div><div>--version 3.2 --iface-ip-env-name MPIR_CVAR_CH3_INTERFACE_HOSTNAME --hostname <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a> --global-core-map 0,1,2 --pmi-id-map 0,0 --global-process-count 2 --auto-cleanup 1 --pmi-kvsname kvs_1442_0 --pmi-process-mapping (vector,(0,2,1)) --ckpoint-num -1 --global-inherited-env 18 'TERM=xterm' 'SHELL=/bin/bash' 'SSH_CLIENT=155.69.144.109 63331 22' 'SSH_TTY=/dev/pts/0' 'USER=ubuntu' 'LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arj=01;31:*.taz=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lz=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36:' 'MAIL=/var/mail/ubuntu' 'PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games' 'PWD=/home/ubuntu/mpitest/mpitutorial/tutorials/mpi-send-and-receive/code' 'LANG=en_US.UTF-8' 'SHLVL=1' 'HOME=/home/ubuntu' 'LOGNAME=ubuntu' 'SSH_CONNECTION=155.69.144.109 63331 10.237.132.179 22' 'LESSOPEN=| /usr/bin/lesspipe %s' 'LESSCLOSE=/usr/bin/lesspipe %s %s' 'OLDPWD=/home/ubuntu/mpitest' '_=/usr/local/bin/mpiexec' --global-user-env 0 --global-system-env 1 'GFORTRAN_UNBUFFERED_PRECONNECTED=y' --proxy-core-count 1 --exec --exec-appnum 0 --exec-proc-count 1 --exec-local-env 0 --exec-wdir /home/ubuntu/mpitest/mpitutorial/tutorials/mpi-send-and-receive/code --exec-args 1 ./send_recv</div><div><br></div><div>Arguments being passed to proxy 1:</div><div>--version 3.2 --iface-ip-env-name MPIR_CVAR_CH3_INTERFACE_HOSTNAME --hostname <a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a> --global-core-map 0,1,2 --pmi-id-map 0,1 --global-process-count 2 --auto-cleanup 1 --pmi-kvsname kvs_1442_0 --pmi-process-mapping (vector,(0,2,1)) --ckpoint-num -1 --global-inherited-env 18 'TERM=xterm' 'SHELL=/bin/bash' 'SSH_CLIENT=155.69.144.109 63331 22' 'SSH_TTY=/dev/pts/0' 'USER=ubuntu' 'LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arj=01;31:*.taz=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lz=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36:' 'MAIL=/var/mail/ubuntu' 'PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games' 'PWD=/home/ubuntu/mpitest/mpitutorial/tutorials/mpi-send-and-receive/code' 'LANG=en_US.UTF-8' 'SHLVL=1' 'HOME=/home/ubuntu' 'LOGNAME=ubuntu' 'SSH_CONNECTION=155.69.144.109 63331 10.237.132.179 22' 'LESSOPEN=| /usr/bin/lesspipe %s' 'LESSCLOSE=/usr/bin/lesspipe %s %s' 'OLDPWD=/home/ubuntu/mpitest' '_=/usr/local/bin/mpiexec' --global-user-env 0 --global-system-env 1 'GFORTRAN_UNBUFFERED_PRECONNECTED=y' --proxy-core-count 1 --exec --exec-appnum 0 --exec-proc-count 1 --exec-local-env 0 --exec-wdir /home/ubuntu/mpitest/mpitutorial/tutorials/mpi-send-and-receive/code --exec-args 1 ./send_recv</div><div><br></div><div>[mpiexec@ip-10-237-132-179] Launch arguments: /usr/local/bin/hydra_pmi_proxy --control-port <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817">ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817</a> --debug --rmk user --launcher ssh --demux poll --pgid 0 --retries 10 --usize -2 --proxy-id 0</div><div>[mpiexec@ip-10-237-132-179] Launch arguments: /usr/bin/ssh -x <a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a> "/usr/local/bin/hydra_pmi_proxy" --control-port <a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817">ec2-54-185-239-50.us-west-2.compute.amazonaws.com:38817</a> --debug --rmk user --launcher ssh --demux poll --pgid 0 --retries 10 --usize -2 --proxy-id 1</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): init</div><div>pmi_version=1 pmi_subversion=1</div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=response_to_init pmi_version=1 pmi_subversion=1 rc=0</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): get_maxes</div><div><br></div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=maxes kvsname_max=256 keylen_max=64 vallen_max=1024</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): get_appnum</div><div><br></div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=appnum appnum=0</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): get_my_kvsname</div><div><br></div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=my_kvsname kvsname=kvs_1442_0</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): get_my_kvsname</div><div><br></div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=my_kvsname kvsname=kvs_1442_0</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): get</div><div>kvsname=kvs_1442_0 key=PMI_process_mapping</div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=get_result rc=0 msg=success value=(vector,(0,2,1))</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): barrier_in</div><div><br></div><div>[proxy:0:0@ip-10-237-132-179] forwarding command (cmd=barrier_in) upstream</div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=barrier_in</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): init</div><div>pmi_version=1 pmi_subversion=1</div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=response_to_init pmi_version=1 pmi_subversion=1 rc=0</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): get_maxes</div><div><br></div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=maxes kvsname_max=256 keylen_max=64 vallen_max=1024</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): get_appnum</div><div><br></div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=appnum appnum=0</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): get_my_kvsname</div><div><br></div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=my_kvsname kvsname=kvs_1442_0</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): get_my_kvsname</div><div><br></div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=my_kvsname kvsname=kvs_1442_0</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): get</div><div>kvsname=kvs_1442_0 key=PMI_process_mapping</div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=get_result rc=0 msg=success value=(vector,(0,2,1))</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): barrier_in</div><div><br></div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=barrier_in</div><div>[mpiexec@ip-10-237-132-179] PMI response to fd 6 pid 4: cmd=barrier_out</div><div>[mpiexec@ip-10-237-132-179] PMI response to fd 7 pid 4: cmd=barrier_out</div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=barrier_out</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): put</div><div>kvsname=kvs_1442_0 key=P0-businesscard value=description#<a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a>$port#34711$ifname#10.237.132.179$</div><div>[proxy:0:0@ip-10-237-132-179] cached command: P0-businesscard=description#<a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a>$port#34711$ifname#10.237.132.179$</div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=put_result rc=0 msg=success</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): barrier_in</div><div><br></div><div>[proxy:0:0@ip-10-237-132-179] flushing 1 put command(s) out</div><div>[proxy:0:0@ip-10-237-132-179] forwarding command (cmd=put P0-businesscard=description#<a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a>$port#34711$ifname#10.237.132.179$) upstream</div><div>[proxy:0:0@ip-10-237-132-179] forwarding command (cmd=barrier_in) upstream</div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=put P0-businesscard=description#<a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a>$port#34711$ifname#10.237.132.179$</div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=barrier_in</div><div>[proxy:0:1@ip-10-37-219-175] forwarding command (cmd=barrier_in) upstream</div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=barrier_out</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): put</div><div>kvsname=kvs_1442_0 key=P1-businesscard value=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$</div><div>[proxy:0:1@ip-10-37-219-175] cached command: P1-businesscard=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$</div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=put_result rc=0 msg=success</div><div>[proxy:0:1@ip-10-37-219-175] got pmi command (from 4): barrier_in</div><div><br></div><div>[proxy:0:1@ip-10-37-219-175] flushing 1 put command(s) out</div><div>[proxy:0:1@ip-10-37-219-175] forwarding command (cmd=put P1-businesscard=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$) upstream</div><div>[proxy:0:1@ip-10-37-219-175] forwarding command (cmd=barrier_in) upstream</div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=put P1-businesscard=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$</div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=barrier_in</div><div>[mpiexec@ip-10-237-132-179] PMI response to fd 6 pid 4: cmd=keyval_cache P0-businesscard=description#<a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a>$port#34711$ifname#10.237.132.179$ P1-businesscard=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$</div><div>[mpiexec@ip-10-237-132-179] PMI response to fd 7 pid 4: cmd=keyval_cache P0-businesscard=description#<a href="http://ec2-54-185-239-50.us-west-2.compute.amazonaws.com">ec2-54-185-239-50.us-west-2.compute.amazonaws.com</a>$port#34711$ifname#10.237.132.179$ P1-businesscard=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$</div><div>[mpiexec@ip-10-237-132-179] PMI response to fd 6 pid 4: cmd=barrier_out</div><div>[mpiexec@ip-10-237-132-179] PMI response to fd 7 pid 4: cmd=barrier_out</div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=barrier_out</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): get</div><div>kvsname=kvs_1442_0 key=P1-businesscard</div><div>[proxy:0:0@ip-10-237-132-179] PMI response: cmd=get_result rc=0 msg=success value=description#<a href="http://ec2-54-196-213-218.compute-1.amazonaws.com">ec2-54-196-213-218.compute-1.amazonaws.com</a>$port#50148$ifname#10.37.219.175$</div><div>[proxy:0:1@ip-10-37-219-175] PMI response: cmd=barrier_out</div><div>[proxy:0:0@ip-10-237-132-179] got pmi command (from 0): abort</div><div>exitcode=1174117</div><div>[proxy:0:0@ip-10-237-132-179] we don't understand this command abort; forwarding upstream</div><div>[mpiexec@ip-10-237-132-179] [pgid: 0] got PMI command: cmd=abort exitcode=1174117</div><div>Fatal error in MPI_Send: Unknown error class, error stack:</div><div>MPI_Send(174)..............: MPI_Send(buf=0x7fffc219b73c, count=1, MPI_INT, dest=1, tag=0, MPI_COMM_WORLD) failed</div><div>MPID_nem_tcp_connpoll(1835): Communication error with rank 1: Connection timed out</div></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 16, 2016 at 11:08 AM, Balaji, Pavan <span dir="ltr"><<a href="mailto:balaji@anl.gov" target="_blank">balaji@anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Amelie,<br>
<br>
Can you run your mpiexec command with the -verbose option and paste the output here?<br>
<br>
% mpiexec -n 2 -f host_file -verbose ./send_recv_test<br>
<span class="HOEnZb"><font color="#888888"><br>
  -- Pavan<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
> On Mar 15, 2016, at 10:01 PM, amelie chi zhou <<a href="mailto:amelie.czhou@gmail.com">amelie.czhou@gmail.com</a>> wrote:<br>
><br>
> Hi, Ken,<br>
><br>
> I tried with netcat and the connection is successfully established.<br>
><br>
> On one side of the machines, I ran:<br>
> ubuntu@ip-10-235-37-156:~$ netcat -l 10000<br>
><br>
> On the other side:<br>
> ubuntu@ip-10-169-125-85:~/mpitest$ netcat -v <a href="http://ec2-54-188-xx-xx.us-west-2.compute.amazonaws.com" rel="noreferrer" target="_blank">ec2-54-188-xx-xx.us-west-2.compute.amazonaws.com</a> 10000<br>
> Connection to <a href="http://ec2-54-188-xx-xx.us-west-2.compute.amazonaws.com" rel="noreferrer" target="_blank">ec2-54-188-xx-xx.us-west-2.compute.amazonaws.com</a> 10000 port [tcp/webmin] succeeded!<br>
><br>
> On Wed, Mar 16, 2016 at 12:11 AM, Kenneth Raffenetti <<a href="mailto:raffenet@mcs.anl.gov">raffenet@mcs.anl.gov</a>> wrote:<br>
> I suspect that there is still a firewall in the way given that the EC2 instances are in different regions. One way to test your security group rules without MPI would be to try to establish a connection between the 2 machines on a high TCP port (e.g. 10000) with a simple utility like netcat (<a href="https://en.wikipedia.org/wiki/Netcat" rel="noreferrer" target="_blank">https://en.wikipedia.org/wiki/Netcat</a>).<br>
><br>
> Ken<br>
><br>
><br>
> On 03/15/2016 10:38 AM, amelie chi zhou wrote:<br>
> Hi, Ken,<br>
><br>
> Thanks for the reply.<br>
> What kind of problem are you referring to?<br>
> In the rules of the security groups, I allow tcp connections from all ip addresses for all ports. Also, the two machines can ssh and scp to each other with no problem. In this simple test, security is not my major concern.<br>
><br>
> Regards,<br>
> Amelie<br>
> On 15 Mar 2016, at 10:23 PM, Kenneth Raffenetti <<a href="mailto:raffenet@mcs.anl.gov">raffenet@mcs.anl.gov</a>> wrote:<br>
><br>
> The different regions are a problem in this setup. Note that security groups in EC2 are *per region*.<br>
><br>
> <a href="https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-network-security.html#default-security-group" rel="noreferrer" target="_blank">https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-network-security.html#default-security-group</a><br>
><br>
> I'll note that using MPI across the internet like this is a bad idea if you have concerns about security.<br>
><br>
> Ken<br>
><br>
> On 03/15/2016 06:16 AM, amelie chi zhou wrote:<br>
> Hi,<br>
><br>
> I configured two virtual machines on Amazon EC2 to run mpich-3.2. The<br>
> system is Ubuntu 12.04.2 LTS.<br>
><br>
> The two virtual machines can ssh to each other successfully<br>
> (passwordless) and I can run a simple hello world program using the two<br>
> machines.<br>
><br>
> ubuntu@ip-10-169-125-85:~$ mpiexec -n 2 -f host_file ./hello_world<br>
> Hello world from processor ip-10-169-125-85, rank 1 out of 2 processors<br>
> Hello world from processor ip-10-235-37-156, rank 0 out of 2 processors<br>
><br>
> Then I run a simple program with MPI_Send and MPI_Receive to communicate<br>
> between the two vms. Following are the core code of the program.<br>
><br>
>   if (world_rank == 0) {<br>
>      // If we are rank 0, set the number to -1 and send it to process 1<br>
>      number = -1;<br>
>      MPI_Send(&number, 1, MPI_INT, 1, 0, MPI_COMM_WORLD);<br>
>    } else if (world_rank == 1) {<br>
>      MPI_Recv(&number, 1, MPI_INT, 0, 0, MPI_COMM_WORLD, MPI_STATUS_IGNORE);<br>
>      printf("Process 1 received number %d from process 0\n", number);<br>
>    }<br>
><br>
><br>
> Following are the error msg I encountered.<br>
><br>
> ubuntu@ip-10-169-125-85:~$ mpiexec -n 2 -f host_file ./send_recv<br>
> Fatal error in MPI_Send: Unknown error class, error stack:<br>
> MPI_Send(174)..............: MPI_Send(buf=0x7fff49f2759c, count=1,<br>
> MPI_INT, dest=1, tag=0, MPI_COMM_WORLD) failed<br>
> MPID_nem_tcp_connpoll(1835): Communication error with rank 1: Connection<br>
> timed out<br>
><br>
><br>
> I googled similar errors and have made sure that: 1) there is no rule in<br>
> my firewall setting, 2) there is a tcp port listening on both sides when<br>
> the send_recv program runs. I cannot think of any other possible way to<br>
> fix this problem. BTW, the two virtual machines are on two different<br>
> regions of Amazon EC2 and are not in VPCs. Please help. Thanks!<br>
><br>
> Regards,<br>
> Amelie<br>
><br>
><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" rel="noreferrer" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" rel="noreferrer" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" rel="noreferrer" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" rel="noreferrer" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
><br>
> _______________________________________________<br>
> discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" rel="noreferrer" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
<br>
_______________________________________________<br>
discuss mailing list     <a href="mailto:discuss@mpich.org">discuss@mpich.org</a><br>
To manage subscription options or unsubscribe:<br>
<a href="https://lists.mpich.org/mailman/listinfo/discuss" rel="noreferrer" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
</div></div></blockquote></div><br></div>