* smith 計算機システムの使い方 [#r2be5e9c] SMITHクラスタ計算機システムはインテルまたは互換CPUを用いた計算機システムです。 ** ネットワーク構成 [#rd9d48f4] ~-- | 等はネットワークの接続を、[]でくくられた名前はコンピュータの名称をそれぞれ表す。 + 工学部内 ODINS network | | Backbone network( 工学部ネットワークから直接アクセスできない ) | | +- [smith] -----+ 133.1.116.161 ログイン&アプリケーションサーバー & ファイルサーバー +- [rafiki] ----+ 133.1.116.162 ログイン&アプリケーションサーバー & バックアップ +- [tiamat] ----+ 133.1.116.211 ログイン&アプリケーションサーバー | | | | ■引退ノード■ | +-- [it??]-[it??] 計算サーバー グループ0 (itanium) | +-- [opt00], [opt01] コンパイルサーバー(opteron,opt01) | +-- [opt02]-[opt11] 計算サーバー グループ1 (各2CORE 2CPU) mpich-opt (opt02-opt11 停止中) | +-- [opt12]-[opt21] 計算サーバー グループ2 (各4CORE 2CPU) 並列環境=mpich-opt2 | +-- [opt22]-[opt36] 計算サーバー グループ3 (各4CORE 2CPU) 並列環境=mpich-opt3 | +-- [xeon00] ----+ サブログイン・計算サーバー (8CORE 2CPU) | | +--- [xeon01-07] 計算サーバー グループ6 (各8CORE 2CPU) | | | | ■現役ノード■ | +-- [xe00], [xe01] 計算サーバー グループ4 (各 8CORE 2CPU) 並列環境=x8 キュー=xe1.q | +-- [xe02]-[xe06] 計算サーバー グループ5 (各12CORE 2CPU) 並列環境=x12 キュー=xe1.q | | | +-- [xs01]-[xs18] 計算サーバー グループ8 (各16CORE 2CPU) 並列環境=x16 キュー=xs2.q | | | +-- [xi01]-[xi12] 計算サーバー グループ9 (各16CORE 2CPU) 並列環境=x16 キュー=xi1.q | | | +-- [xh01]-[xh17],[xh19]-[xh34] | | 計算サーバー グループ10 (各16CORE 2CPU) 並列環境=x24 キュー=xe1.q | +-- [xh18],[xh35]-[xh43] 計算サーバー グループ11 (各24CORE 2CPU) 並列環境=x24 キュー=xh2.q | +-- [yh01]-[yh03] 計算サーバー グループ12 (各24CORE 2CPU) 並列環境=x24 キュー=yh1.q 濱本先生専用 | +-- [xb01]-[xb14] 計算サーバー グループ13 (各24CORE 2CPU) 並列環境=x32 キュー=xb1.q | | | | +- [sb100] -----+ 133.1.116.165 別グループ計算サーバー | +-- [sb101]-[sb120] 計算サーバー グループ7 (各6CORE 1CPU) 並列環境=x20 **ログインサーバー [#fcf457f2] -[smith] 133.1.116.161 -[rafiki] 133.1.116.162 -[tiamat] 133.1.116.211 の3台がログインサーバーです。smithにファイルサーバーの機能が設定されており、どのログインサーバにログインしても同じホームディレクトリになります。ファイルサーバーは毎日深夜にバックアップサーバーの/backup_homeにバックアップされています。間違って消去したファイルでも、そこに保存されていればコピーして再生できます。 -[sb100] 133.1.116.165 はsb100システムのログインサーバーです。 **ジョブキューイングシステムとは? [#s67f500a] -システムで計算を実行するには、計算したい内容をジョブスクリプトファイルに書いてジョブキューイングシステムに投入する必要があります。 -ジョブ管理システムはSGE(Sun Grid Engine)です。(OGS/GE 2011.11) -ジョブは、指定したグループの空いている計算機に自動的に割り当てられて実行されます。 -空きが足りない場合は、他のグループに空きがあっても実行されず、他のジョブの終了を待つことになります。 -同じ能力を持つ計算ノードはクラスごとにまとめられています。ジョブ投入時にクラスを指定します。 *設定上の重要な点 [#hb98c6a2] -.cshrcの中にcdのaliasが記載されている場合がありますが、削除しないとインテルFortran/MPIの初期設定でエラーが生じ正常に実行できません。削除してください。 **複数ノードを用いた並列計算について [#r3b5cd32] -用いるノード(コア)の数を増やすと自動的に並列度が上がりますが、グループ8,13以外のシステムの通信はギガビットイーサネットで実装されていますので、あまり速くありません。ノード間通信を含む並列計算はあまり有効ではありませんのでご注意ください。グループ8,13ではINFINIBANDが実装されています。並列計算の効率が向上することが期待されます。 **ジョブの投入(実行)方法 [#k32ce356] -実行にはキューと並列環境(parallel_environment)を指定する必要があります。ジョブスクリプトrun.cshをグループ10に投入する場合、下記のようになります。 qsub -q xh1.q -pe x24 24 run.csh -計算機グループと対応するキュー及び並列環境 プロセッサの種類 ノード内 ジョブ投入 キュー 並列環境 ノード間 コア数/CPU数 サーバー 並列ファブリック ・グループ4 xeon 8/2 smith/rafiki/tiamat xe1.q x8 ・グループ5 xeon 12/2 smith/rafiki/tiamat xe2.q x12 ・グループ7 core i7 sandy-bridge 6/1 sb100 all.q x6 ・グループ8 xeon sandy-bridge 16/2 smith/rafiki/tiamat xs1.q x16 ・グループ9 xeon ivy-bridge 16/2 smith/rafiki/tiamat xi1.q x16 ・グループ10 xeon Haswell 24/2 smith/rafiki/tiamat xh1.q x24 infini-band ・グループ11 xeon Haswell 24/2 smith/rafiki/tiamat xh2.q x24 ・グループ12 xeon Haswell 24/2 smith/rafiki/tiamat yh1.q x24 ・グループ13 xeon Broadwell 32/2 smith/rafiki/tiamat xb1.q x32 infini-band -グループ8,9での注意 http://www-cp.prec.eng.osaka-u.ac.jp/puki_state/index.php?%E8%A8%88%E7%AE%97%E3%82%B3%E3%83%BC%E3%83%89%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9%2FSTATE%2Fcenters#taa126c5 -グループ8のsb??? にジョブを投入するときは、sb100でqsubコマンドを実行してください。 -それ以外のグループ にジョブを投入するときは、smithでqsubコマンドを実行してください。 -ジョブスクリプトの書き方については、下の各グループごとの説明中に「ジョブスクリプトファイルの例」で説明しています。 **各グループ [#n18333d7] ***グループ4,5 xeシステム [#mb55749d] -xeon CPUで構成される計算機グループで、x8, x12 の2 parallel_environmentからなります。各ノードは2CPU(計8または12core)で構成されています。 -ジョブスクリプトファイルの例 #!/bin/csh #$ -cwd #$ -pe x12 12 #$ -N JOB_NAME ← ジョブの名称を設定できる mpirun -np $NSLOTS ./STATE_A < nfinp > nfout -- -cwd はジョブを投入した時のディレクトリがジョブ開始時のディレクトリになることを指示するオプションです。 -- 上のx12(またはx8)はx12(またはx8)にジョブ投入することを示し、後ろの12が計算に用いるCOREの数を示すオプションです。x12は12、x8は8でないと実行されないようになっていますので注意してください。 -- -Nオプションでジョブの名前を指定できます。(先頭文字は英字です。) -- STATE_AにはSTATEの実行ファイルをジョブ投入前にリンクしておいてください。 -- また、fort.37等、擬ポテンシャルのファイルも同様にリンクしておいてください。 -コンパイル -- コンパイルはxe00にログインしてifortコマンドまたはmpi並列の場合はmpif90コマンドにより行います。 -- STATEユーザーはxe用のMakefileを使用してコンパイルできます。 - xe??にログインするには? -- rsh xe00 等でOKです。 -ライブラリ -- MKL が利用できます。 ifort xe2011(version12) のインストール記[[LinuxTips#hec6b033]]も参照。 ***グループ7 sb100システム [#r74a0395] - Sanday-bridge アーキテクチャーのCore i7 CPUで構成される計算機グループです。各ノードは1CPU(6core)で構成されています。メモリは16GBです。 - AVX機能があり高速に計算できますが、組み込んだ新しいコンパイラの制限?(バグ?)のためコンパイルが正常に終了しません。特定のファイルだけ最適化レベルを落としてコンパイルする必要があります。エラーが出たら、CPPSRCフォルダに移動して、make.sysに書かれているオプションを設定し、最適化レベルだけ-O0にして手動でコンパイルしてください。分からなければ、他の人のSTATEバイナリをコピーして使ってください。 - smithのデータを直接見れます。/home2にsmithの/homeをNFSリンクしていますのでアクセス可能です。 - スクリプトの例(cshのみしか使えません) -- ハイブリッド並列(12コア確保、各ノードにプロセス確保、プロセスごと6-OMPスレッド) #!/bin/csh -f #$ -pe x6 12 #$ -cwd #$ -N JOB_NAME ← ジョブの名称を設定できる setenv OMP_NUM_THREADS 6 ln -fs ~/STATE/src/STATE_5.4.1/wrksrc6i5_/STATE . mpirun -perhost 1 -np $NHOSTS ./STATE < nfinp > nfout -- フラット並列(12コア) #!/bin/csh -f #$ -pe x6 12 #$ -cwd #$ -N JOBNAME ln -fs ~/STATE/src/STATE_5.4.1/STATE . mpirun -np $NSLOTS ./STATE < nfinp > nfout ***グループ8 xsシステム [#r2affc72] - Sanday-bridge アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計16core)で構成されています。メモリは32GBです。 - AVX機能があり高速に計算できます。 - スクリプトの例(cshのみしか使えません) -- ハイブリッド並列(32コア確保、各ノードにプロセス確保、プロセスごと4-OMPスレッド) #!/bin/csh -f #$ -cwd #$ -q xs2.q #$ -pe x16 32 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y source /opt/settings/2017.1/intel-compiler.csh source /opt/settings/2017.1/intel-mpi.csh setenv I_MPI_PIN 4 #setenv I_MPI_FABRICS shm:dapl #setenv I_MPI_FABRICS shm:ofa setenv I_MPI_FABRICS shm:tcp #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1 -- フラット並列(32コア) #!/bin/csh -f #$ -cwd #$ -q xs2.q #$ -pe x16 32 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y source /opt/settings/2017.1/intel-compiler.csh source /opt/settings/2017.1/intel-mpi.csh setenv I_MPI_PIN 1 #setenv I_MPI_FABRICS shm:dapl #setenv I_MPI_FABRICS shm:ofa setenv I_MPI_FABRICS shm:tcp #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ←ココが違うだけ cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1 ***グループ9 xiシステム [#c01adc3f] - 大容量なメモリ・localディスク搭載機です。gaussian計算はここで実行するのがよい。 - Ivy-bridge アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計16core)で構成されています。メモリは128GBです。 - AVX機能があり高速に計算できます。 - スクリプトの例(cshのみ) -- フラット並列(32コア) !/bin/csh -f #$ -cwd #$ -q xi1.q #$ -pe x16 32 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y source /opt/settings/2017.1/intel-compiler.csh source /opt/settings/2017.1/intel-mpi.csh setenv I_MPI_PIN 1 #setenv I_MPI_FABRICS shm:dapl #setenv I_MPI_FABRICS shm:ofa setenv I_MPI_FABRICS shm:tcp #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1 ***グループ10、11、12 xhシステム [#nbaf823d] - Haswell アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計24core)で構成されています。メモリは64GBです。 - AVX機能があり高速に計算できます。 - スクリプトの例(cshのみ) -- フラット並列(48コア) !/bin/csh -f #$ -cwd #$ -q xh1.q #$ -pe x24 48 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y source /opt/settings/2017.1/intel-compiler.csh source /opt/settings/2017.1/intel-mpi.csh setenv I_MPI_PIN 1 setenv I_MPI_FABRICS shm:tcp ← xh1 の場合 shm:dapl or shm:ofa でinfinibandが使えます #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1 ***グループ13 xbシステム [#ufe4b9fc] - Broadwell アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計32core)で構成されています。メモリは64GBです。 - スクリプトの例(cshのみ) -- フラット並列(64コア) !/bin/csh -f #$ -cwd #$ -q xb1.q #$ -pe x32 64 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y source /opt/settings/2017.1/intel-compiler.csh source /opt/settings/2017.1/intel-mpi.csh setenv I_MPI_PIN 1 setenv I_MPI_FABRICS shm:dapl ← shm:ofa #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1 * コンパイル [#db7201d0] -インクルードファイルmake.arhをSTATEソースのディレクトリに置いてmakeしてください。 -コンパイラの環境設定が必要です。ホームディレクトリにある.bashrc(lsでは見えません。ls -laとすると見えます。)に次の2行があることが必要です。 source /opt/settings/2017.1/intel-compiler.sh source /opt/settings/2017.1/intel-mpi.sh -ない場合は最後の行に追加して、再ログインしてmakeしてください。 -make.archの例 ################################## for (Xeon,smith) ################################# F90 = mpiifort LINKER = mpiifort OMP = -qopenmp OPT3 = FLAGS = $(OMP) $(OPT3) -axCOMMON-AVX512,CORE-AVX512,CORE-AVX2,CORE-AVX-I,AVX,SSE4.2,SSE4.1,SSSE3,SSE3,SSE2 -fixed -extend_source FLAGG = $(OMP) $(OPT3) FLAGD = $(OMP) FFTW_DIR=$(MKLROOT)/include/fftw INCLUDE = -I$(FFTW_DIR) #for intelmpi LIBS = -lmkl_scalapack_lp64 -lmkl_blacs_intelmpi_lp64 -mkl=parallel CPPDIR = /usr/bin CPP = $(CPPDIR)/cpp -P -C -traditional ##for intelmpi P_FLAGS = -D_INTEL_DAVIDSON_ -D_MKL_FFTW_ -D_FFTW3_ -D_TIMER_ -D_OPENMP_FUNC_ -D_SCALAPACK_ \ -D_ALLGATHERV_NOOVERLAP_ ################################################################################ ---------------------------------------------------------------------------------------------- * SXで実行させた結果(バイナリデータ)を読み込みたい。 [#ab45c110] - 可能です。 zaj.data, potention.data, restart.dataについて下記のようにして、読み込み時のエンディアンを変更します。出力もSX互換のままになりますので、さらに継続して使うときは注意してください。 setenv F_UFMTENDIAN 43,70,80 (cshの場合) export F_UFMTENDIAN=43,70,80 (bashの場合) F_UFMTENDIAN=43,70,80 ; export F_UFMTENDIAN (shの場合) ---------------------------------------------------------------------------------------------- 以下、古い情報です。 * smith 計算機システムの使い方(旧) [#b903d366] SMITHクラスタ計算機システムはインテルまたは互換CPUを用いた計算機システムです。 ** ネットワーク構成 [#x85a42b8] ~-- | 等はネットワークの接続を、~[]でくくられた名前はコンピュータの名称をそれぞれ表す。 + 工学部内 ODINS network | | Backbone network( 工学部ネットワークから直接アクセスできない ) | | +- [smith] -----+ 133.1.116.161 ログインサーバー | | +- [rafiki] ----+ 133.1.116.162 アプリケーションサーバー | | | | (133.1.116.163 WEBサーバー休止中) | | | +-- [ita*] Itanium CPUシステム(撤去) | | | +-- [opt00], [opt01] コンパイルサーバー(opt01 停止中) | | | +-- [opt02]-[opt11] 計算サーバー グループ1 (各2CORE 2CPU) mpich-opt (opt02-opt11 停止中) | | | +-- [opt12]-[opt21] 計算サーバー グループ2 (各4CORE 2CPU) mpich-opt2 (opt17 停止中) | | | +-- [opt22]-[opt36] 計算サーバー グループ3 (各4CORE 2CPU) mpich-opt3 | | | +-- [xe00], [xe01] 計算サーバー グループ4 (xe00はコンパイルサーバー兼用)(各8CORE 2CPU) x8 | | | +-- [xe02]-[xe06] 計算サーバー グループ5 (各12CORE 2CPU) x12 | | | +-- [xeon00] ----+ ログイン・計算サーバー (8CORE 2CPU) | | | | | +--- [xeon01-07] 計算サーバー グループ6 (各8CORE 2CPU) | | +- [sb100] -----+ 133.1.116.165 新計算サーバー | +-- [sb101]-[sb120] 計算サーバー グループ7 (各6CORE 1CPU) x20 | [Sandy-bridge Corei7-3960k] +-- [corei7-3930k-1] 計算サーバー テスト用 (6CORE 1CPU) **ジョブの投入について [#q22a1518] -システムで計算を実行するには、計算したい内容をジョブにしてジョブキューイングシステムに投入する必要があります。 -ジョブ管理システムはSGE(Sun Grid Engine)5.3です。 -ジョブは自動的に空いている計算機に割り当てられて実行されます。(しかしグループを超えて違う計算機には割り当てられませんので注意が必要です。) -ジョブの作り方は下記各システムの説明に「ジョブスクリプトファイルの例」がありますので参考にしてください。 -用いるコアの数を増やすと自動的に並列度が上がりますが、通信はギガビットイーサネットで実装されていますので、あまり速くありません。ノード間通信を含む並列計算はあまり有効ではありませんのでご注意ください。 -opt parallel_environmentにジョブを投入するときは、smithかopt??でqsubコマンドを実行してください。 -xe parallel_environmentにジョブを投入するときは、xe00でqsubコマンドを実行してください。 -xeon parallel_environmentにジョブを投入するときは、xeon00でqsubコマンドを実行してください。 **キューとparallel_environmentについて [#j6529b3c] -各計算ノードはそれぞれ別々のキューとして管理されています。 -違う規模の計算機は別々の parallel_environmentとして管理しています。(mpich-opt, mpich-opt2, mpich-opt3, x8, x12) -通常、キューを指定せず、-peオプションで parallel_environmentを指定してください。 - parallel_environmentを指定すると、ジョブはその parallel_environmentに属するノードでのみ割り当てられます。 -投入したジョブのparallel_environmentに属するノードに空きが足りない場合は、他のparallel_environmentに空きがあっても実行されず、その parallel_environmentの他のジョブの終了を待つことになります。 **各システム [#o99a72fa] ***opt??システム [#l914a98c] -opteron CPUで構成される計算機グループで、mpich-opt, mpich-opt2, mpich-opt3 の3 parallel_environmentからなります。 -ジョブスクリプトファイルの例 #!/bin/csh #$ -cwd #$ -pe mpich-opt2 4 #$ -N JOBNAME mpirun -nolocal -np $NSLOTS -machinefile ../$USER.$PE.$JOB_ID ./STATE_A < nfinp > nfout -- -cwd はジョブを投入した時のディレクトリがジョブ開始時のディレクトリになることを指示するオプションです。 -- 上のmpich-opt2の後ろの4が計算に用いるCOREの数を示すオプションです。 -- -Nオプションでジョブの名前を指定できます。(先頭文字は英字です。) -- STATE_AにはSTATEの実行ファイルをジョブ投入前にリンクしておいてください。 -- また、fort.37等、擬ポテンシャルのファイルも同様にリンクしておいてください。 -コンパイル -- コンパイルはopt00にログインしてifortコマンドにより行います。 -- STATEユーザーはopt用のMakefileを使用してコンパイルできます。 - opt??にログインするには? -- rsh opt00 等でOKです。 -ライブラリ -- ACML,mpich-2 が利用できます。 ***x?システム [#jf4030e4] -xeon CPUで構成される計算機グループで、x8, x12 の2 parallel_environmentからなります。 -ジョブスクリプトファイルの例 #!/bin/csh #$ -cwd #$ -pe x12 12 #$ -N JOBNAME mpirun -np $NSLOTS ./STATE_A < nfinp > nfout -- -cwd はジョブを投入した時のディレクトリがジョブ開始時のディレクトリになることを指示するオプションです。 -- 上のx12(またはx8)はx12(またはx8)にジョブ投入することを示し、後ろの12が計算に用いるCOREの数を示すオプションです。x12は12、x8は8でないと実行されないようになっていますので注意してください。 -- -Nオプションでジョブの名前を指定できます。(先頭文字は英字です。) -- STATE_AにはSTATEの実行ファイルをジョブ投入前にリンクしておいてください。 -- また、fort.37等、擬ポテンシャルのファイルも同様にリンクしておいてください。 -コンパイル -- コンパイルはxe00にログインしてifortコマンドまたはmpi並列の場合はmpif90コマンドにより行います。 -- STATEユーザーはxe用のMakefileを使用してコンパイルできます。 - xe??にログインするには? -- rsh xe00 等でOKです。 -ライブラリ -- MKL が利用できます。 ifort xe2011(version12) のインストール記[[LinuxTips#hec6b033]]も参照。 ***xeon00システム [#qf359bf3] - xeon CPUで構成される計算機グループですが、特定のプロジェクト用のため一般利用はできません。 -ジョブスクリプトファイルの例 #!/bin/csh #$ -cwd #$ -pe x8 8 #$ -N JOBNAME mpirun -np $NSLOTS ./STATE_A < nfinp > nfout ***sb100システム [#f7c64b2d] - Sanday-bridge アーキテクチャーのCore i7 CPUで構成される新しい計算機グループです。各ノードは1CPU(6core)で構成されています。メモリは16GBです。 - AVX機能があり高速に計算できますが、組み込んだ新しいコンパイラの制限?(バグ?)のためコンパイルが正常に終了しません。特定のファイルだけ最適化レベルを落としてコンパイルする必要があります。エラーが出たら、CPPSRCフォルダに移動して、make.sysに書かれているオプションを設定し、最適化レベルだけ-O0にして手動でコンパイルしてください。分からなければ、他の人のSTATEバイナリをコピーして使ってください。 - smithのデータを直接見れます。/home2にsmithの/homeをNFSリンクしていますのでアクセス可能です。 - スクリプトの例(cshのみ) -- ハイブリッド並列(12コア確保、各ノードにプロセス確保、プロセスごと6-OMPスレッド) #!/bin/csh -f #$ -pe x6 12 #$ -cwd #$ -N erace setenv OMP_NUM_THREADS 6 ln -fs ~/STATE/src/STATE_5.4.1/wrksrc6i5_/STATE . mpirun -perhost 1 -np $NHOSTS ./STATE < nfinp > nfout -- フラット並列(12コア) #!/bin/csh -f #$ -pe x6 12 #$ -cwd #$ -N erace ln -fs ~/STATE/src/STATE_5.4.1/STATE . mpirun -np $NSLOTS ./STATE < nfinp > nfout