<meta http-equiv="Content-Type" content="text/html; charset=utf-8">I recall MPI-3 RMA on BGQ deadlocks if you set PAMID_THREAD_MULTIPLE (please see ALCF MPI docs to verify exact name), which is required for async progress. <div><br></div><div>ARMCI-MPI test suite is one good way to validate MPI-3 RMA is working. <span></span><br><div><br></div><div>Jeff<br><br>On Sunday, January 10, 2016, Dominic Chien <<a href="mailto:chiensh.acrc@gmail.com">chiensh.acrc@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Rob and Pavan,<br>
<br>
Thank you for your clarification.<br>
<br>
If the MPI-3 functionalities works correctly for version 3.1rc4 on BG/Q,  I may not need version 3.2. Have all MPI-3 features being tested and verified on BGQ? I just found that 3.1rc4 hang like a "deadlock" for  for nonblocking test when n >2 . (maybe I should open another ticket for this issue.)<br>
<br>
[chiensh@cumulus coll.bak]$ srun -n 2 nonblocking<br>
 No errors<br>
[chiensh@cumulus coll.bak]$ srun -n 4 nonblocking<br>
(never return)<br>
<br>
Thanks!<br>
<br>
Regards,<br>
Dominic<br>
<br>
On 9 Jan, 2016, at 12:14 am, Rob Latham <<a href="javascript:;" onclick="_e(event, 'cvml', 'robl@mcs.anl.gov')">robl@mcs.anl.gov</a>> wrote:<br>
<br>
><br>
><br>
> On 01/08/2016 10:13 AM, Rob Latham wrote:<br>
><br>
>> If there are 3.2 features you'd like to cherry pick into this fork, and<br>
>> they don't touch the device interface, or depend on patches that do,<br>
>> then we can definitely do that.<br>
>><br>
>> If you are working on Argonne's Blue Gene, I built and installed this<br>
>> fork to /soft/libraries/unsupported/mpich<br>
>><br>
>> Let me know if you run into any problems.<br>
><br>
> Oh, and as Pavan says, this is unsupported which means I'd like to know if you have problems, but I cannot promise that I'll be able to spend a lot of time debugging them.<br>
><br>
> ==rob<br>
><br>
><br>
>>> Regards,<br>
>>> Dominic<br>
>>><br>
>>> Here is the environment variables<br>
>>> ====================================================================================<br>
>>><br>
>>> export CC=/opt/ibmcmp/vac/bg/12.1/bin/bgxlc_r<br>
>>> export CXX=/opt/ibmcmp/vacpp/bg/12.1/bin/bgxlC_r<br>
>>> export F77=/opt/ibmcmp/xlf/bg/14.1/bin/bgxlf_r<br>
>>> export FC=/opt/ibmcmp/xlf/bg/14.1/bin/bgxlf90_r<br>
>>> export<br>
>>> AR=/bgsys/drivers/V1R2M0/ppc64/gnu-linux/powerpc64-bgq-linux/bin/ar<br>
>>> export<br>
>>> LD=/bgsys/drivers/V1R2M0/ppc64/gnu-linux/powerpc64-bgq-linux/bin/ld<br>
>>> export<br>
>>> RANLIB=/bgsys/drivers/V1R2M0/ppc64/gnu-linux/powerpc64-bgq-linux/bin/ranlib<br>
>>><br>
>>> export MPICHLIB_CXXFLAGS="-qhot -qinline=800 -qflag=i:i -qsaveopt<br>
>>> -qsuppress=1506-236"<br>
>>> export MPICHLIB_CFLAGS=${MPICHLIB_CXXFLAGS}<br>
>>> export MPICHLIB_FFLAGS=${MPICHLIB_CXXFLAGS}<br>
>>> export MPICHLIB_F90FLAGS=${MPICHLIB_CXXFLAGS}<br>
>>> ====================================================================================<br>
>>><br>
>>><br>
>>> Here is the configure<br>
>>> ====================================================================================<br>
>>><br>
>>> ../configure --host=powerpc64-bgq-linux --with-device=pamid<br>
>>> --with-file-system=gpfs:BGQ<br>
>>> --with-bgq-install-dir=/bgsys/drivers/V1R2M0/ppc64<br>
>>> --with-pami=/bgsys/drivers/V1R2M0/ppc64/comm/sys<br>
>>> --with-pami-include=/bgsys/drivers/V1R2M0/ppc64/comm/sys/include<br>
>>> --with-pami-lib=/bgsys/drivers/V1R2M0/ppc64/comm/sys/lib<br>
>>> --disable-wrapper-rpath --enable-fast=nochkmsg,notiming,O3<br>
>>> --with-assert-level=0 --disable-error-messages --disable-debuginfo<br>
>>> --enable-thread-cs=per-object --with-atomic-primitives<br>
>>> --enable-handle-allocation=tls --enable-refcount=lock-free<br>
>>> --disable-predefined-refcount<br>
>>> --with-cross-file=src/mpid/pamid/cross/bgq8<br>
>>> --prefix=/scratch/home/chiensh/apps/mpich/3.2.rc2<br>
>>> ====================================================================================<br>
>>><br>
>>><br>
>>> Here is the make log<br>
>>> ====================================================================================<br>
>>><br>
>>> ...<br>
>>>  CC       src/mpi/attr/lib_libmpi_la-attr_delete.lo<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidi_thread.h",<br>
>>> line 64.9: 1506-358 (I) "MPIU_THREAD_CS_ENTER" is defined on line 80<br>
>>> of ../src/util/thread/mpiu_thread_multiple.h.<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidi_thread.h",<br>
>>> line 65.9: 1506-358 (I) "MPIU_THREAD_CS_EXIT" is defined on line 81 of<br>
>>> ../src/util/thread/mpiu_thread_multiple.h.<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidi_thread.h",<br>
>>> line 66.9: 1506-358 (I) "MPIU_THREAD_CS_YIELD" is defined on line 82<br>
>>> of ../src/util/thread/mpiu_thread_multiple.h.<br>
>>> "../src/include/mpiimpl.h", line 1184.5: 1506-046 (S) Syntax error.<br>
>>> "../src/include/mpiimpl.h", line 1481.5: 1506-046 (S) Syntax error.<br>
>>> "../src/include/mpiimpl.h", line 1636.5: 1506-046 (S) Syntax error.<br>
>>> "../src/include/mpiimpl.h", line 2785.5: 1506-343 (S) Redeclaration of<br>
>>> MPID_Send differs from previous declaration on line 2760 of<br>
>>> "../src/include/mpiimpl.h".<br>
>>> "../src/include/mpiimpl.h", line 2785.5: 1506-377 (I) The type "int"<br>
>>> of parameter 2 differs from the previous type "long".<br>
>>> "../src/include/mpiimpl.h", line 2884.5: 1506-343 (S) Redeclaration of<br>
>>> MPID_Isend differs from previous declaration on line 2865 of<br>
>>> "../src/include/mpiimpl.h".<br>
>>> "../src/include/mpiimpl.h", line 2884.5: 1506-377 (I) The type "int"<br>
>>> of parameter 2 differs from the previous type "long".<br>
>>> "../src/include/mpitimpl.h", line 245.5: 1506-046 (S) Syntax error.<br>
>>> "../src/include/mpitimpl.h", line 900.40: 1506-022 (S) "total" is not<br>
>>> a member of "struct {...}".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/../src/mpid_request.h",<br>
>>> line 156.21: 1506-022 (S) "cc" is not a member of "struct MPID_Request".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/../src/mpid_request.h",<br>
>>> line 157.8: 1506-022 (S) "cc_ptr" is not a member of "struct<br>
>>> MPID_Request".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/../src/mpid_request.h",<br>
>>> line 157.23: 1506-022 (S) "cc" is not a member of "struct MPID_Request".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/../src/mpid_request.h",<br>
>>> line 283.62: 1506-099 (S) Unexpected argument.<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/../src/mpid_request.h",<br>
>>> line 326.23: 1506-022 (S) "cc_ptr" is not a member of "struct<br>
>>> MPID_Request".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/../src/mpid_request.h",<br>
>>> line 341.23: 1506-022 (S) "cc_ptr" is not a member of "struct<br>
>>> MPID_Request".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidpost.h",<br>
>>> line 56.44: 1506-022 (S) "vcr" is not a member of "struct MPID_Comm".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidpost.h",<br>
>>> line 83.43: 1506-022 (S) "vcrt" is not a member of "struct MPID_Comm".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidpost.h",<br>
>>> line 84.37: 1506-022 (S) "vcrt" is not a member of "struct MPID_Comm".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidpost.h",<br>
>>> line 84.57: 1506-022 (S) "vcr" is not a member of "struct MPID_Comm".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidpost.h",<br>
>>> line 91.42: 1506-022 (S) "vcr" is not a member of "struct MPID_Comm".<br>
>>> "/scratch/home/chiensh/mpich/mpich-3.2rc2/src/mpid/pamid/include/mpidpost.h",<br>
>>> line 92.41: 1506-022 (S) "vcr" is not a member of "struct MPID_Comm".<br>
>>> "../src/mpi/attr/attr_delete.c", line 65.26: 1506-045 (S) Undeclared<br>
>>> identifier GLOBAL.<br>
>>> make[2]: *** [src/mpi/attr/lib_libmpi_la-attr_delete.lo] Error 1<br>
>>> make[2]: Leaving directory<br>
>>> `/scratch/home/chiensh/mpich/mpich-3.2rc2/build'<br>
>>> make[1]: *** [all-recursive] Error 1<br>
>>> make[1]: Leaving directory<br>
>>> `/scratch/home/chiensh/mpich/mpich-3.2rc2/build'<br>
>>> make: *** [all] Error 2<br>
>>> ====================================================================================<br>
>>><br>
>>> _______________________________________________<br>
>>> discuss mailing list     <a href="javascript:;" onclick="_e(event, 'cvml', 'discuss@mpich.org')">discuss@mpich.org</a><br>
>>> To manage subscription options or unsubscribe:<br>
>>> <a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
>>><br>
>> _______________________________________________<br>
>> discuss mailing list     <a href="javascript:;" onclick="_e(event, 'cvml', 'discuss@mpich.org')">discuss@mpich.org</a><br>
>> To manage subscription options or unsubscribe:<br>
>> <a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
> _______________________________________________<br>
> discuss mailing list     <a href="javascript:;" onclick="_e(event, 'cvml', 'discuss@mpich.org')">discuss@mpich.org</a><br>
> To manage subscription options or unsubscribe:<br>
> <a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
<br>
_______________________________________________<br>
discuss mailing list     <a href="javascript:;" onclick="_e(event, 'cvml', 'discuss@mpich.org')">discuss@mpich.org</a><br>
To manage subscription options or unsubscribe:<br>
<a href="https://lists.mpich.org/mailman/listinfo/discuss" target="_blank">https://lists.mpich.org/mailman/listinfo/discuss</a><br>
</blockquote></div></div><br><br>-- <br>Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a><br>