<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr">Thank you Dmitry,<div><br></div><div>Here is the output in verbose mode:</div><div><br></div><div><br></div><div><br></div><div><div>host: aster01-mic0</div><div>host: aster01</div><div><br></div><div>==================================================================================================</div><div>mpiexec options:</div><div>----------------</div><div>  Base path: /opt/new-mpich-host/mpich-3.1.4/1/bin/./</div><div>  Launcher: (null)</div><div>  Debug level: 1</div><div>  Enable X: -1</div><div><br></div><div>  Global environment:</div><div>  -------------------</div><div>    MANPATH=/opt/intel/impi/<a href="http://4.1.0.024/man:/usr/local/share/man:/usr/share/man">4.1.0.024/man:/usr/local/share/man:/usr/share/man</a></div><div>    XDG_SESSION_ID=75</div><div>    HOSTNAME=aster01</div><div>    TERM=xterm</div><div>    SHELL=/bin/bash</div><div>    HISTSIZE=1000</div><div>    SSH_CLIENT=192.168.2.1 47980 22</div><div>    OLDPWD=/opt/new-mpich/mpich-3.1.4/1/bin</div><div>    SSH_TTY=/dev/pts/0</div><div>    USER=root</div><div>    LD_LIBRARY_PATH=/opt/intel/composer_xe_2015.3.187/compiler/lib/intel64:/opt/intel/impi/<a href="http://4.1.0.024/intel64/lib:/usr/local/cuda-6.5/lib64/:/usr/local/cuda-6.5/lib64/:/home/farajii/installation-files/fedora20/gdrcopy-master">4.1.0.024/intel64/lib:/usr/local/cuda-6.5/lib64/:/usr/local/cuda-6.5/lib64/:/home/farajii/installation-files/fedora20/gdrcopy-master</a></div><div>    LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=01;05;37;41:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=01;36:*.au=01;36:*.flac=01;36:*.mid=01;36:*.midi=01;36:*.mka=01;36:*.mp3=01;36:*.mpc=01;36:*.ogg=01;36:*.ra=01;36:*.wav=01;36:*.axa=01;36:*.oga=01;36:*.spx=01;36:*.xspf=01;36:</div><div>    MAIL=/var/spool/mail/root</div><div>    PATH=/opt/intel/composer_xe_2015.3.187/bin/intel64:/opt/intel/impi/<a href="http://4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin::/home/ghazim/build/aster/intel/composer_xe_2015.3.187/bin/intel64:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/">4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin::/home/ghazim/build/aster/intel/composer_xe_2015.3.187/bin/intel64:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/</a></div><div>    PWD=/opt/new-mpich-host/mpich-3.1.4/1/bin</div><div>    LANG=en_US.UTF-8</div><div>    HISTCONTROL=ignoredups</div><div>    SHLVL=1</div><div>    HOME=/root</div><div>    LOGNAME=root</div><div>    CVS_RSH=ssh</div><div>    SSH_CONNECTION=192.168.2.1 47980 192.168.2.121 22</div><div>    LESSOPEN=||/usr/bin/lesspipe.sh %s</div><div>    XDG_RUNTIME_DIR=/run/user/0</div><div>    I_MPI_ROOT=/opt/intel/impi/<a href="http://4.1.0.024">4.1.0.024</a></div><div>    _=./mpiexec.hydra</div><div><br></div><div>  Hydra internal environment:</div><div>  ---------------------------</div><div>    GFORTRAN_UNBUFFERED_PRECONNECTED=y</div><div><br></div><div><br></div><div>    Proxy information:</div><div>    *********************</div><div>      [1] proxy: aster01-mic0 (1 cores)</div><div>      Exec list: ./hellomic (1 processes);</div><div><br></div><div>      [2] proxy: aster01 (1 cores)</div><div>      Exec list: ./hello-host (1 processes);</div><div><br></div><div><br></div><div>==================================================================================================</div><div><br></div><div>[mpiexec@aster01] Timeout set to -1 (-1 means infinite)</div><div>[mpiexec@aster01] Got a control port string of aster01:51327</div><div><br></div><div>Proxy launch args: /opt/new-mpich-host/mpich-3.1.4/1/bin/./hydra_pmi_proxy --control-port aster01:51327 --debug --rmk user --launcher ssh --demux poll --pgid 0 --retries 10 --usize -2 --proxy-id</div><div><br></div><div>Arguments being passed to proxy 0:</div><div>--version 3.1.4 --iface-ip-env-name MPIR_CVAR_CH3_INTERFACE_HOSTNAME --hostname aster01-mic0 --global-core-map 0,1,2 --pmi-id-map 0,0 --global-process-count 2 --auto-cleanup 1 --pmi-kvsname kvs_5294_0 --pmi-process-mapping (vector,(0,2,1)) --ckpoint-num -1 --global-inherited-env 26 'MANPATH=/opt/intel/impi/<a href="http://4.1.0.024/man:/usr/local/share/man:/usr/share/man">4.1.0.024/man:/usr/local/share/man:/usr/share/man</a>' 'XDG_SESSION_ID=75' 'HOSTNAME=aster01' 'TERM=xterm' 'SHELL=/bin/bash' 'HISTSIZE=1000' 'SSH_CLIENT=192.168.2.1 47980 22' 'OLDPWD=/opt/new-mpich/mpich-3.1.4/1/bin' 'SSH_TTY=/dev/pts/0' 'USER=root' 'LD_LIBRARY_PATH=/opt/intel/composer_xe_2015.3.187/compiler/lib/intel64:/opt/intel/impi/<a href="http://4.1.0.024/intel64/lib:/usr/local/cuda-6.5/lib64/:/usr/local/cuda-6.5/lib64/:/home/farajii/installation-files/fedora20/gdrcopy-master">4.1.0.024/intel64/lib:/usr/local/cuda-6.5/lib64/:/usr/local/cuda-6.5/lib64/:/home/farajii/installation-files/fedora20/gdrcopy-master</a>' 'LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=01;05;37;41:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=01;36:*.au=01;36:*.flac=01;36:*.mid=01;36:*.midi=01;36:*.mka=01;36:*.mp3=01;36:*.mpc=01;36:*.ogg=01;36:*.ra=01;36:*.wav=01;36:*.axa=01;36:*.oga=01;36:*.spx=01;36:*.xspf=01;36:' 'MAIL=/var/spool/mail/root' 'PATH=/opt/intel/composer_xe_2015.3.187/bin/intel64:/opt/intel/impi/<a href="http://4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin::/home/ghazim/build/aster/intel/composer_xe_2015.3.187/bin/intel64:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/">4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin::/home/ghazim/build/aster/intel/composer_xe_2015.3.187/bin/intel64:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/</a>' 'PWD=/opt/new-mpich-host/mpich-3.1.4/1/bin' 'LANG=en_US.UTF-8' 'HISTCONTROL=ignoredups' 'SHLVL=1' 'HOME=/root' 'LOGNAME=root' 'CVS_RSH=ssh' 'SSH_CONNECTION=192.168.2.1 47980 192.168.2.121 22' 'LESSOPEN=||/usr/bin/lesspipe.sh %s' 'XDG_RUNTIME_DIR=/run/user/0' 'I_MPI_ROOT=/opt/intel/impi/<a href="http://4.1.0.024">4.1.0.024</a>' '_=./mpiexec.hydra' --global-user-env 0 --global-system-env 1 'GFORTRAN_UNBUFFERED_PRECONNECTED=y' --proxy-core-count 1 --exec --exec-appnum 0 --exec-proc-count 1 --exec-local-env 0 --exec-wdir /opt/new-mpich-host/mpich-3.1.4/1/bin --exec-args 1 ./hellomic</div><div><br></div><div>Arguments being passed to proxy 1:</div><div>--version 3.1.4 --iface-ip-env-name MPIR_CVAR_CH3_INTERFACE_HOSTNAME --hostname aster01 --global-core-map 0,1,2 --pmi-id-map 0,1 --global-process-count 2 --auto-cleanup 1 --pmi-kvsname kvs_5294_0 --pmi-process-mapping (vector,(0,2,1)) --ckpoint-num -1 --global-inherited-env 26 'MANPATH=/opt/intel/impi/<a href="http://4.1.0.024/man:/usr/local/share/man:/usr/share/man">4.1.0.024/man:/usr/local/share/man:/usr/share/man</a>' 'XDG_SESSION_ID=75' 'HOSTNAME=aster01' 'TERM=xterm' 'SHELL=/bin/bash' 'HISTSIZE=1000' 'SSH_CLIENT=192.168.2.1 47980 22' 'OLDPWD=/opt/new-mpich/mpich-3.1.4/1/bin' 'SSH_TTY=/dev/pts/0' 'USER=root' 'LD_LIBRARY_PATH=/opt/intel/composer_xe_2015.3.187/compiler/lib/intel64:/opt/intel/impi/<a href="http://4.1.0.024/intel64/lib:/usr/local/cuda-6.5/lib64/:/usr/local/cuda-6.5/lib64/:/home/farajii/installation-files/fedora20/gdrcopy-master">4.1.0.024/intel64/lib:/usr/local/cuda-6.5/lib64/:/usr/local/cuda-6.5/lib64/:/home/farajii/installation-files/fedora20/gdrcopy-master</a>' 'LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=01;05;37;41:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=01;36:*.au=01;36:*.flac=01;36:*.mid=01;36:*.midi=01;36:*.mka=01;36:*.mp3=01;36:*.mpc=01;36:*.ogg=01;36:*.ra=01;36:*.wav=01;36:*.axa=01;36:*.oga=01;36:*.spx=01;36:*.xspf=01;36:' 'MAIL=/var/spool/mail/root' 'PATH=/opt/intel/composer_xe_2015.3.187/bin/intel64:/opt/intel/impi/<a href="http://4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin::/home/ghazim/build/aster/intel/composer_xe_2015.3.187/bin/intel64:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/">4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/opt/intel/impi/4.1.0.024/intel64/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin::/home/ghazim/build/aster/intel/composer_xe_2015.3.187/bin/intel64:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/cuda-6.5/bin:/home/farajii/builds/11-mv2.2.1/bin/</a>' 'PWD=/opt/new-mpich-host/mpich-3.1.4/1/bin' 'LANG=en_US.UTF-8' 'HISTCONTROL=ignoredups' 'SHLVL=1' 'HOME=/root' 'LOGNAME=root' 'CVS_RSH=ssh' 'SSH_CONNECTION=192.168.2.1 47980 192.168.2.121 22' 'LESSOPEN=||/usr/bin/lesspipe.sh %s' 'XDG_RUNTIME_DIR=/run/user/0' 'I_MPI_ROOT=/opt/intel/impi/<a href="http://4.1.0.024">4.1.0.024</a>' '_=./mpiexec.hydra' --global-user-env 0 --global-system-env 1 'GFORTRAN_UNBUFFERED_PRECONNECTED=y' --proxy-core-count 1 --exec --exec-appnum 1 --exec-proc-count 1 --exec-local-env 0 --exec-wdir /opt/new-mpich-host/mpich-3.1.4/1/bin --exec-args 1 ./hello-host</div><div><br></div><div>[mpiexec@aster01] Launch arguments: /usr/bin/ssh -x aster01-mic0 "/opt/new-mpich-host/mpich-3.1.4/1/bin/./hydra_pmi_proxy" --control-port aster01:51327 --debug --rmk user --launcher ssh --demux poll --pgid 0 --retries 10 --usize -2 --proxy-id 0</div><div>[mpiexec@aster01] Launch arguments: /opt/new-mpich-host/mpich-3.1.4/1/bin/./hydra_pmi_proxy --control-port aster01:51327 --debug --rmk user --launcher ssh --demux poll --pgid 0 --retries 10 --usize -2 --proxy-id 1</div><div>equal</div><div>[proxy:unset@aster01] HYD_pmcd_pmip_get_params (pm/pmiserv/pmip_utils.c:701): server name not available</div><div>[proxy:unset@aster01] main (pm/pmiserv/pmip.c:169): bad parameters passed to the proxy</div><div>[mpiexec@aster01] HYD_pmcd_pmiserv_proxy_init_cb (pm/pmiserv/pmiserv_cb.c:445): assert (!closed) failed</div><div>[mpiexec@aster01] HYDT_dmxu_poll_wait_for_event (tools/demux/demux_poll.c:76): callback returned error status</div><div>[mpiexec@aster01] HYD_pmci_wait_for_completion (pm/pmiserv/pmiserv_pmci.c:198): error waiting for event</div><div>[mpiexec@aster01] main (ui/mpich/mpiexec.c:344): process manager error waiting for completion</div></div><div><br></div><div><br></div><div><br></div><div>any suggestion?</div><div><br></div><div>Thanks,</div><div>Mahdieh</div></div>