第一原理分子動力学プログラム STATE Senri Wiki

計算機システムの使い方/Smith

smith/sbシステムにおいてジョブキューイングシステムを利用してSTATEを実行させる方法 †

xsシステム用 †

• コンパイル用make.sys xs(AVX)専用

  ###################  FOR PC clusterC (Xeon) with mpiifort #####################
  F90    =  mpiifort
  LINKER =  mpiifort
  OMP    = #-openmp -lm
  OPT1   = -O1 
  OPT3   = -O3
  # Xeon with SSE4
  FLAG   = $(OMP) $(OPT1) -save -zero -fixed -extend_source -axAVX,SSE4.2 -mcmodel=large -g -traceback 
  FLAGS  = $(OMP) $(OPT3) -save -zero -fixed -extend_source -axAVX,SSE4.2 -mcmodel=large -g -traceback 
  FLAGD  = $(OMP) $(OPT3) -save -zero -fixed -extend_source -axAVX,SSE4.2 -mcmodel=large -g -traceback 
  FLAGNP =        $(OPT3) -save -zero -fixed -extend_source -axAVX,SSE4.2 -mcmodel=large -g -traceback 
  DEBUG  = 
  #LIBS   = -L/usr/local/lib -lfftw3_mpi -lfftw3 -lfftw3_omp -llapack -lblas 
  LIBS   = -mkl=sequential
  LAPACK =
  INCLUDE = -I$(MKLROOT)/include/fftw -I/opt/intel/impi/3.2.1.009/include64/
  CPPDIR  = /usr/bin
  CPP       = $(CPPDIR)/cpp -P -C -traditional
  P_FLAGS   = -D_FFTW3_ -D_MKL_   -D_PC_CLUSTER_ -D_TIMER_  -D_OPENMP_FUNC_ -D_TEST_ -D_PATIENT_ -D_TIMERx_ -D_INTEL_
  
  ################################################################################ 
  # preprocessor switches
  # _FFTW3_       usage of FFTW3 interface
  # _FFTW3_MPI    usage of FFTW3/MPI
  # _PAITIENT_    FFTW3 planning parameter. strong optimization of FFT procedure.
  # _MKL_         disable usage of FFTW wisdom
  # _INTEL_/_KEI_ select appropriate module for use of 'chdir'  
  # _PC_CLUSTER_  use of algorithms for non-vector machine
  # _TIMER_       elaps time measurement for important procedures
  # _TIMERx_      elaps times of program regions in main/scf routines
  # _TEST_        affect # of revision of eigen-vector & other parts (Haraguchi- san's)
  # _OPENMP_FUNC__OPENMP_FUNC_   activate openMP control functions
  # _SCALAPACK_   use of saclapack routines
  ################################################################################

ジョブスクリプト †

STATE_5.4.1_avxはSTATE_5.4.1をavxコードを用いてコンパイルしているという意味です。

• ジョブスクリプト (xs用、フラットMPI)

  #!/bin/csh
  #$ -cwd
  #$ -q xs1.q
  #$ -pe x16 16
  #$ -N CO
  ln -fs $HOME/STATE/gncpp/pot.C_pbe1
  ln -fs $HOME/STATE/gncpp/pot.O_pbe1
  ln -fs $HOME/STATE/src/STATE_5.4.1_avx/STATE STATE_A
  
  setenv OMP_NUM_THREADS         1   # OPENMP並列数
  setenv I_MPI_ADJUST_ALLGATHERV 2   # MPI集団通信ALLGATHERVのアルゴリズム
  setenv I_MPI_PIN               1   # 
  mpirun -np $NSLOTS  ./STATE_A < nfinp.dat > nfout.dat

• ジョブスクリプト (xe用、フラットMPI)

  #!/bin/csh
  #$ -cwd
  #$ -q xe1.q
  #$ -pe x8 8
  #$ -N CO
  ln -fs $HOME/STATE/gncpp/pot.C_pbe1
  ln -fs $HOME/STATE/gncpp/pot.O_pbe1
  ln -fs $HOME/STATE/src/STATE_5.4.1_avx/STATE STATE_A
  
  setenv OMP_NUM_THREADS         1
  setenv I_MPI_ADJUST_ALLGATHERV 2
  setenv I_MPI_PIN               1
  mpirun -np $NSLOTS  ./STATE_A < nfinp.dat > nfout.dat

• ジョブスクリプト (sb用、フラットMPI)

  #!/bin/csh
  #$ -cwd
  #$ -q all.q
  #$ -pe x6 6
  #$ -N CO
  ln -fs $HOME/STATE/gncpp/pot.C_pbe1
  ln -fs $HOME/STATE/gncpp/pot.O_pbe1
  ln -fs $HOME/STATE/src/STATE_5.4.1_avx/STATE STATE_A
  
  setenv OMP_NUM_THREADS         1
  mpirun -np $NSLOTS  ./STATE_A < nfinp.dat > nfout.dat