![[PukiWiki]](image/logo_state-senri3_80x80.png "[PukiWiki]"){kind=logo}
第一原理分子動力学プログラム STATE Senri Wiki
- バックアップ一覧
- 差分 を表示
- 現在との差分 を表示
- ソース を表示
- 計算機システムの使い方/Smith へ行く。
- 1 (2011-03-17 (木) 12:41:57)
- 2 (2011-03-17 (木) 13:04:40)
- 3 (2011-03-17 (木) 20:39:00)
- 4 (2011-03-26 (土) 02:15:51)
- 5 (2011-03-26 (土) 11:28:26)
- 6 (2011-04-09 (土) 18:51:04)
- 7 (2011-04-15 (金) 11:27:35)
- 8 (2011-10-27 (木) 19:52:08)
- 9 (2011-10-28 (金) 12:03:17)
- 10 (2011-12-28 (水) 11:50:00)
- 11 (2012-04-02 (月) 17:26:24)
- 12 (2012-04-04 (水) 16:31:30)
- 13 (2012-05-15 (火) 14:58:48)
- 14 (2013-02-07 (木) 18:58:59)
- 15 (2013-02-07 (木) 21:49:56)
- 16 (2013-02-08 (金) 12:55:21)
- 17 (2013-02-08 (金) 13:33:10)
- 18 (2013-02-16 (土) 13:59:30)
- 19 (2013-06-06 (木) 13:55:18)
- 20 (2014-04-14 (月) 15:49:41)
- 21 (2014-07-25 (金) 01:33:53)
- 22 (2014-07-25 (金) 01:33:53)
- 23 (2015-04-17 (金) 18:28:45)
- 24 (2017-03-25 (土) 15:31:41)
- 25 (2017-03-25 (土) 21:22:07)
- 26 (2017-04-14 (金) 16:17:33)
- 27 (2017-06-15 (木) 22:36:16)
- 28 (2017-11-30 (木) 20:21:17)
- 29 (2018-09-13 (木) 23:19:39)
- 30 (2018-09-20 (木) 17:07:20)
- 31 (2018-10-18 (木) 12:24:12)
- 32 (2018-10-18 (木) 15:29:36)
- 33 (2018-11-07 (水) 14:36:37)
- 34 (2018-12-03 (月) 14:16:50)
- 35 (2018-12-08 (土) 12:21:59)
- 36 (2019-12-13 (金) 09:34:20)
- 37 (2020-10-14 (水) 18:24:38)
- 38 (2020-11-19 (木) 09:41:25)
- 39 (2021-01-07 (木) 15:59:30)
- 40 (2021-01-11 (月) 14:34:42)
- 41 (2021-01-14 (木) 17:10:26)
- 42 (2021-01-19 (火) 23:49:43)
- 43 (2021-01-21 (木) 13:29:52)
- 44 (2021-04-22 (木) 14:43:21)
- 45 (2021-07-10 (土) 13:42:29)
- 46 (2021-07-12 (月) 15:19:19)
- 47 (2021-07-15 (木) 01:28:25)
- 48 (2021-09-08 (水) 15:16:32)
- 49 (2021-11-03 (水) 14:25:50)
- 50 (2023-01-23 (月) 11:57:01)
- 51 (2023-02-07 (火) 17:43:38)
- 52 (2023-06-17 (土) 15:05:59)
- 53 (2023-07-26 (水) 11:44:11)
- 54 (2023-07-26 (水) 17:13:44)
- 55 (2023-08-05 (土) 14:54:52)
smith 計算機システムの使い方 †
SMITHクラスタ計算機システムはインテルまたは互換CPUを用いた計算機システムです。
はじめに －クラスタシステムとは－ †
クラスタシステム †
複数の計算機を束ねて多量の計算要求を効率よく実行できるように構成されたシステムのことです。
アクセス †
システムへはログインサーバーという名前の計算機にアクセスして用います。
- ログインサーバーへのログインの方法
- ログインサーバーでできること
その他の計算機の利用方法 †
直接ログインせず、「ジョブ投入」という形式で利用します。
- 能力別にグループ化された計算サーバーのグループ構成
- 「ジョブスクリプトファイル」の書き方
- 「ジョブ」の投入方法、確認方法、削除（強制終了）方法
- 異常状態の確認と対処
ログインサーバー †
smithシステム †
- 下の3台がログインサーバーです。
- 基本的にはsmithを使ってください。
- smithにファイルサーバーの機能（ファイルが収められているディスクがある）が設定されています。
- どのログインサーバにログインしても同じホームディレクトリになります。（「ネットワークファイルシステム」機能）
- ファイルは「RAIDシステム」により複数のディスクで構成されて保護されているので、ディスクが故障してもファイルが失われることはありません。
- ファイルサーバーは毎日深夜にバックアップサーバーの/backup_homeにバックアップされています。間違って消去したファイルでも、そこに保存されていればコピーして再生できます。
- [smith] 133.1.116.161
- [rafiki] 133.1.116.162
- [tiamat] 133.1.116.211
sbシステム †
- [sb100] 133.1.116.165 はsb100システムのログインサーバーです。
ログイン方法 †
以下では"$"はコマンドプロントを表すと見てください。
- smithにログインする場合 （X11 のフォワーディングを許可する）
$ ssh -Y [userID]@133.1.116.161
を実行する。
- sb100にログインする場合
$ ssh -Y [userID]@133.1.116.165
を実行する。
初めてログインする際には †
$ passwd
を実行してパスワードを変更すること。
公開鍵の登録方法 †
鍵システムを利用してsshで通信する場合に用います。データを暗号化して通信するので、通信経路でデータが覗き見られない安全な通信手段です。
- ssh-keygenで秘密鍵(ファイルは通常 ~/.ssh/id_rsa )、と公開鍵(ファイルは通常 ~/.ssh/id_rsa.pub )を作成する。
- ローカルホストで以下を実行
ssh-keygen
デフォルトでは秘密鍵と公開鍵がそれぞれ .ssh/id_rsaと .ssh/id_rsa.pubの名前で保存される。
- ローカルホストで以下を実行
- 公開鍵をアクセス先のサーバーに追加登録する。(ファイルは通常 ~/.ssh/authorized_keys 公開鍵の前にアクセス元のIPアドレスを追加する必要がある。)
- 公開鍵を表示する。
cat id_rsa.pub
この内容の先頭にアクセス元（クライアント、smithなど）のIPアドレスを追加して、アクセス先の(リモートホスト、東大物性研のohtakaなど)の .ssh/authorized_keysに追加する。（スパコンセンターではwebページを通じて公開鍵を登録することが多い）
- 公開鍵を表示する。
工学研究科の外部からログインする場合 †
工学研究科の外部からログインするには先ず工学研究科のゲートウェイサーバにログインし、さらにsmith/sb100にログインする必要があります。従ってゲートウェイにユーザーアカウントを持っている必要があります。持っていない方は稲垣先生に問い合わせて下さい。ゲートウェイにユーザーアカウントを作成する場合、公開鍵の登録が必要となりますので準備しておいて下さい。 以下はポートフォワーディングしてsmithにログインする手順です。
- 先ず以下を実行します
ssh -L localhost:10022:133.1.116.161:22 -i ~/.ssh/[id_rsa] [user_name]@ssh-gw.eng.osaka-u.ac.jp -N
ここで[id_rsa]は秘密鍵のファイル名、[user_name]はゲートウェイ上でのユーザーアカウント名です。 - 次に別ウィンドウを開き、以下を実行します。
ssh localhost -p 10022
ここで10022はポート番号で、最初の手順で指定したポート番号と一致する必要があります。scpを使用する際はサーバ名をlocalhost、ポート番号を10022としておけば良いでしょう。
コンパイル/実行環境の設定 †
- Fortranコンパイラ、cコンパイラはLinux標準のgfortran、gccの他、インテル社製のifort、iccを用いることができます。 intelコンパイラは多数のバージョンがあり、moduleを使用して意図的に制御します。
- 使用可能なモジュールのリスト出力
$ module available
- モジュールの読み込み
$ module load intel/2020.2.254 $ module load intelmpi/2020.2.254 $ module load python/3.8 など
- ~/.bashrcに記録（ログイン時に自動設定）
module load intel/2020.2.254 module load intelmpi/2020.2.254 module load python/3.8
- 古くからのユーザ向け
古いintelコンパイラ用の設定は以下のように
# source /home/opt/settings/2017.4/intel-compiler.sh # source /home/opt/settings/2017.4/intel-mpi.sh
などとしてコメントアウト、あるいは削除する。
ジョブキューイングシステム †
- システムで計算を実行するには、計算したい内容をジョブスクリプトファイルに書いてジョブキューイングシステムに投入する必要があります。
- ジョブ管理システムはSGE(Sun Grid Engine)です。（OGS/GE 2011.11）
- ジョブは、指定したグループの空いている計算機に自動的に割り当てられて実行されます。
- 空きが足りない場合は、他のグループに空きがあっても実行されず、他のジョブの終了を待つことになります。
- 同じ能力を持つ計算ノードはクラスごとにまとめられています。ジョブ投入時にクラスを指定します。
設定上の重要な点 †
- .cshrcの中にcdのaliasが記載されている場合がありますが、削除しないとインテルFortran/MPIの初期設定でエラーが生じ正常に実行できません。削除してください。
複数ノードを用いた並列計算について †
- 用いるノード（コア）の数を増やすと自動的に並列度が上がりますが、ギガビットイーサネットで実装されているグループではあまり速くありません。ノード間通信を含む並列計算はあまり有効ではありませんのでご注意ください。INFINIBANDが実装されているグループでは並列計算の効率が向上することが期待されます。
ジョブの投入（実行）方法 †
- 実行にはキューと並列環境（parallel_environment）を指定する必要があります。ジョブスクリプトrun.cshをグループ10に投入する場合、下記のようになります。
qsub -q xh1.q -pe x24 24 run.csh
ジョブの状態を見るには
qstat
を実行します。特定のユーザのジョブの状態を見るには
qstat -u [user name]
ジョブをキャンセルするには
qdel [job ID]
を実行します。Job IDはqstatで表示される1コラム目の数字です。
計算機グループと対応するキュー及び並列環境 †
- smith/rafikiからアクセス可能なノード群
グループ プロセッサ コア数/CPU数 ジョブ投入サーバ キュー 並列環境 ノード間並列ファブリック 4 xeon 8/2 smith/rafiki/tiamat xe1.q x8 5 xeon 12/2 smih/rafiki/tiamat xe2.q x12 6 xeon sandy-bridge 16/2 smith/rafiki/tiamat xs2.q x16 7 xeon ivy-bridge 16/2 smith/rafiki/tiamat xi1.q x16 10a xeon Haswell 24/2 smith/rafiki/tiamat xh1.q x24 infini-band 10b xeon Haswell 24/2 smith/rafiki/tiamat xh2.q x24 infini-band 10c xeon Haswell 24/2 smith/rafiki/tiamat xh3.q x24 infini-band 10d xeon Haswell 24/2 smith/rafiki/tiamat yh1.q x24 13 xeon Broadwell 32/2 smith/rafiki/tiamat xb1.q x32 infini-band 14 xeon Skylake 32/2 smith/rafiki/tiamat x17.q x32 infini-band 15 xeon Cascade Lake 40/2 smith/rafiki/tiamat x19.q x40 infini-band 16 xeon Cascade Lake 52/2 smith/rafiki/tiamat x20.q x40 infini-band
- sb100からアクセス可能なノード群
グループ プロセッサ コア数/CPU数 ジョブ投入サーバ キュー 並列環境 ノード間並列ファブリック 7a core i7 sandy-bridge 6/1 sb100 all.q x6 7b xeon E5-1650 sandy-bridge 6/1 rl all.q x6
- グループ7a, 7bにジョブを投入するときはsb100でqsubコマンドを実行してください。
- それ以外のグループにジョブを投入するときはsmithでqsubコマンドを実行してください。
- ジョブスクリプトの書き方については、下の各グループごとの説明中に「ジョブスクリプトファイルの例」で説明しています。
グループ4, 5 xeシステム †
- xeon CPUで構成される計算機グループで、x8, x12 の2 parallel_environmentからなります。各ノードは2CPU(計8または12core)で構成されています。
- ジョブスクリプトファイルの例 (cshの場合)
#$ -S /bin/csh #$ -cwd #$ -q xe2.q #$ -pe x12 12 #$ -N JOB_NAME ← ジョブの名称を設定できる mpirun ./STATE < nfinp_dav > nfout_dav
- -cwd はジョブを投入した時のディレクトリがジョブ開始時のディレクトリになることを指示するオプションです。
- -q はキュー（グループ）の名前でxe1.qあるいはxe2.qを指定します。
- 上のx12（またはx8）はx12（またはx8）にジョブ投入することを示し、後ろの12が計算に用いるCOREの数を示すオプションです。xe1.qではx8が、xe2.qではx12の使用が可能です。またx12は12、x8は8でないと実行されないようになっていますので注意してください。
- -Nオプションでジョブの名前を指定できます。（先頭文字は英字です。）
- STATEの実行ファイルをジョブ投入前にシンボリックリンクしておいてください。
- また、fort.37等、擬ポテンシャルのファイルも同様にリンクしておいてください。
- ジョブスクリプトファイルの例 (bash)
#$ -S /bin/bash #$ -cwd #$ -q xe2.q #$ -pe x12 12 #$ -N CO #$ -o CO_out #$ -e CO_err # module load intel/2020.2.254 module load intelmpi/2020.2.254 # export OMP_NUM_THREADS=1 # SRCDIR=${HOME}/STATE/src/state-5.6.6/src PPDIR=${HOME}/STATE/gncpp MPI_COMMAND="mpirun -np ${NSLOTS}" # ln -fs ${SRCDIR}/STATE ./STATE # ln -fs ${PPDIR}/C_pbe1/#vnew.data fort.37 ln -fs ${PPDIR}/O_pbe1/#vnew.data fort.38 # INPUT_FILE=nfinp_dav OUTPUT_FILE=nfout_dav # ${MPI_COMMAND} ${STATE} < ${INPUT_FILE} > ${OUTPUT_FILE}
グループ7 sb100システム †
- Sanday-bridge アーキテクチャーのCore i7 CPUで構成される計算機グループです。各ノードは1CPU(6core)で構成されています。メモリは16GBです。
- AVX機能があり高速に計算できますが、組み込んだ新しいコンパイラの制限？（バグ？）のためコンパイルが正常に終了しません。特定のファイルだけ最適化レベルを落としてコンパイルする必要があります。エラーが出たら、CPPSRCフォルダに移動して、make.sysに書かれているオプションを設定し、最適化レベルだけ-O0にして手動でコンパイルしてください。分からなければ、他の人のSTATEバイナリをコピーして使ってください。
- smithのデータを直接見ることができます。/homesmithにsmithの/homeをNFSリンクしていますのでアクセス可能です。
- スクリプトの例 (cshの場合)
- ハイブリッド並列（12コア確保、各ノードにプロセス確保、プロセスごと6-OMPスレッド）
#!/bin/csh -f $$ -q sb.q #$ -pe x6 12 #$ -cwd #$ -N JOB_NAME ← ジョブの名称を設定できる setenv OMP_NUM_THREADS 6 ln -fs ~/STATE/src/STATE_5.4.1/wrksrc6i5_/STATE . mpirun -perhost 1 -np $NHOSTS ./STATE < nfinp > nfout
- フラット並列（12コア）
#!/bin/csh -f #$ -q sb.q #$ -pe x6 12 #$ -cwd #$ -N JOBNAME ln -fs ~/STATE/src/STATE_5.4.1/STATE . mpirun -np $NSLOTS ./STATE < nfinp > nfout
- ハイブリッド並列（12コア確保、各ノードにプロセス確保、プロセスごと6-OMPスレッド）
- スクリプトの例 (bashの場合)
#$ -S /bin/bash #$ -cwd #$ -q sb.q #$ -pe x6 6 #$ -N CO #$ -o CO_out #$ -e CO_err module load intel/2021.2.0 module load intelmpi/2021.2.0 export OMP_NUM_THREADS=1 export I_MPI_PIN=1 export I_MPI_FABRICS=shm:ofi unset I_MPI_TCP_NETMASK ROOTDIR=${HOME}/STATE SRCDIR=${ROOTDIR}/src/state-5.6.9/src PPDIR=${ROOTDIR}/gncpp MPI_COMMAND="mpirun" STATE_EXEC=STATE STATE=./STATE ln -fs ${SRCDIR}/${STATE_EXEC} ${STATE} ln -fs ${PPDIR}/C_pbe1/#vnew.data fort.37 ln -fs ${PPDIR}/O_pbe1/#vnew.data fort.38 INPUT_FILE=nfinp_dav OUTPUT_FILE=nfout_dav ${MPI_COMMAND} ${STATE} < $INPUT_FILE > $OUTPUT_FILE
グループ8 xsシステム †
- Sanday-bridge アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計16core)で構成されています。メモリは32GBです。
- AVX機能があり高速に計算できます。
- スクリプトの例(cshのみしか使えません)
- ハイブリッド並列（32コア確保、各ノードにプロセス確保、プロセスごと4-OMPスレッド）
#!/bin/csh -f #$ -cwd #$ -q xs2.q #$ -pe x16 32 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y module load intel/2020.2.254 module load intelmpi/2020.2.254 setenv I_MPI_PIN 4 #setenv I_MPI_FABRICS shm:dapl #setenv I_MPI_FABRICS shm:ofa setenv I_MPI_FABRICS shm:tcp #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1
- ハイブリッド並列（32コア確保、各ノードにプロセス確保、プロセスごと4-OMPスレッド）
- フラット並列（32コア）
#!/bin/csh -f #$ -cwd #$ -q xs2.q #$ -pe x16 32 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y module load intel/2020.2.254 module load intelmpi/2020.2.254 setenv I_MPI_PIN 1 #setenv I_MPI_FABRICS shm:dapl #setenv I_MPI_FABRICS shm:ofa setenv I_MPI_FABRICS shm:tcp #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ←ココが違うだけ cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1
グループ9 xiシステム †
- 大容量なメモリ・localディスク搭載機です。gaussian計算はここで実行するのがよい。
- Ivy-bridge アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計16core)で構成されています。メモリは128GBです。
- AVX機能があり高速に計算できます。
- スクリプトの例(cshのみ)
- フラット並列（32コア）
!/bin/csh -f #$ -cwd #$ -q xi1.q #$ -pe x16 32 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y module load intel/2020.2.254 module load intelmpi/2020.2.254 setenv I_MPI_PIN 1 #setenv I_MPI_FABRICS shm:dapl #setenv I_MPI_FABRICS shm:ofa setenv I_MPI_FABRICS shm:tcp #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1
- フラット並列（32コア）
グループ10a-d xhシステム †
- Haswell アーキテクチャーのXeon CPUで構成される計算機グループです。各ノードは2CPU(計24core)で構成されています。メモリは64GBです。
- グループ10内ではINFINIBANDによる並列計算が可能
- グループ11内ではINFINIBANDによる並列計算が可能
- AVX機能があり高速に計算できます。
- スクリプトの例(cshのみ)
- フラット並列（48コア）
!/bin/csh -f #$ -cwd #$ -q xh1.q #$ -pe x24 48 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y module load intel/2020.2.254 module load intelmpi/2020.2.254 setenv I_MPI_PIN 1 setenv I_MPI_FABRICS shm:tcp ← xh1 の場合 shm:dapl or shm:ofa でinfinibandが使えます #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1
- フラット並列（48コア）
グループ13 xbシステム †
- Broadwell アーキテクチャーのXeon CPU(Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10GHz)で構成される計算機グループです。各ノードは2CPU(計32core)で構成されています。メモリは64GBです。
- スクリプトの例(cshのみ)
- フラット並列（64コア）
!/bin/csh -f #$ -cwd #$ -q xb1.q #$ -pe x32 64 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y module load intel/2020.2.254 module load intelmpi/2020.2.254 setenv I_MPI_PIN 1 setenv I_MPI_FABRICS shm:dapl ← shm:ofa #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ← STATEの適切なバージョンを使用 ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1
- フラット並列（64コア）
グループ14 x17システム †
- SkylakeアーキテクチャーのXeon CPU(Intel(R) Xeon(R) Gold 6130 CPU @ 2.10GHz)で構成される計算機グループです。各ノードは2CPU(計32core)で構成されています。メモリは96GBです。
- スクリプトの例(cshのみ)
- フラット並列（2ノード64コア）
!/bin/csh -f #$ -cwd #$ -q x17.q #$ -pe x32 64 #$ -N JOB_NAME ← ジョブの名称を設定できる #$ -j y module load intel/2020.2.254 module load intelmpi/2020.2.254 setenv I_MPI_PIN 1 setenv I_MPI_FABRICS shm:dapl ← shm:ofa #setenv I_MPI_DEBUG 7 ln -fs ~/STATE/src/develop/STATE5.6.0/STATE STATE ← STATEの適切なバージョンを使用 ln -fs ~/STATE/gncpp/pot.O_pbe1 fort.37 ln -fs ~/STATE/gncpp/pot.H_lda1 fort.38 setenv OMP_NUM_THREADS 1 ← hybrid計算の場合はここの数値を変える cat $PE_HOSTFILE | awk '{ print $1":"$2/ENVIRON["OMP_NUM_THREADS"] }' > hostfile.$JOB_ID mpirun ./STATE < nfinp_1 > nfout_1
- フラット並列（2ノード64コア）
グループ15 x19システム †
- Cascade LakeアーキテクチャーのXeon CPU(Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz)で構成される計算機グループです。各ノードは2CPU(計40core)で構成されています。
グループ16 x20システム †
- Cascade LakeアーキテクチャーのXeon CPU(Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz)で構成される計算機グループです。各ノードは2CPU(計52core)で構成されています。
使用可能なキューの調べ方 †
- Yオプションなどを利用してsmithなどのログインノードへsshでログインします。ログインノード上で
qmon
を実行することでqmonのウィンドウが立ち上がり
Queue Control
を見ると使用可能なキュー名（qsubの-qオプション以降に指定するオプション）を
Parallel Environment
見ると並列環境（qsubの-peオプション以降に指定するオプション）を確認することができます。
コンパイル †
- コンパイラの環境設定: ホームディレクトリにある.bashrc（lsでは見えません。ls -laとすると見えます。）に2行を追加して下さい。
module load intel/2020.2.254 module load intelmpi/2020.2.254
STATEのコンパイル †
- インクルードファイルmake.archをSTATEソースのディレクトリに置いてmakeしてください。
- make.archの例
################################## for (Xeon,smith) ################################# F90 = mpiifort LINKER = mpiifort OMP = -qopenmp OPT3 = FFLAGS= $(OMP) $(OPT3) -xSSE4.2 -axCOMMON-AVX512,CORE-AVX512,CORE-AVX2,CORE-AVX-I,AVX FLAGG = $(OMP) $(OPT3) FLAGD = $(OMP) FFTW_DIR=$(MKLROOT)/include/fftw INCLUDE = -I$(FFTW_DIR) LIBS = -lmkl_scalapack_lp64 -lmkl_blacs_intelmpi_lp64 -mkl=parallel CPPDIR = /usr/bin CPP = $(CPPDIR)/cpp -P -C -traditional P_FLAGS = -D_INTEL_DAVIDSON_ -D_MKL_FFTW_ -D_FFTW3_ -D_TIMER_ -D_OPENMP_FUNC_ -D_SCALAPACK_ \ -D_ALLGATHERV_NOOVERLAP_ ######################################################################
あるいは
################################## for (Xeon,smith) #################################
F90 = mpiifort
LINKER = mpiifort
OMP = -qopenmp
OPT3 =
FLAGS = $(OMP) $(OPT3) -axCOMMON-AVX512,CORE-AVX512,CORE-AVX2,CORE-AVX-I,AVX,SSE4.2,SSE4.1,SSSE3,SSE3,SSE2 -fixed -extend_source
FLAGG = $(OMP) $(OPT3)
FLAGD = $(OMP)
FFTW_DIR=$(MKLROOT)/include/fftw
INCLUDE = -I$(FFTW_DIR)
#for intelmpi
LIBS = -lmkl_scalapack_lp64 -lmkl_blacs_intelmpi_lp64 -mkl=parallel
CPPDIR = /usr/bin
CPP = $(CPPDIR)/cpp -P -C -traditional
##for intelmpi
P_FLAGS = -D_INTEL_DAVIDSON_ -D_MKL_FFTW_ -D_FFTW3_ -D_TIMER_ -D_OPENMP_FUNC_ -D_SCALAPACK_ \
-D_ALLGATHERV_NOOVERLAP_
################################################################################
過去の情報はSmithシステムの使い方 (旧) を参照して下さい。
ネットワーク構成 †
-- | 等はネットワークの接続を、[]でくくられた名前はコンピュータの名称をそれぞれ表す。
+ 工学部内 ODINS network
|
| Backbone network( 工学部ネットワークから直接アクセスできない )
| |
+- [smith] -----+ 133.1.116.161 ログイン＆アプリケーションサーバー & ファイルサーバー
+- [rafiki] ----+ 133.1.116.162 ログイン＆アプリケーションサーバー & バックアップ
+- [tiamat] ----+ 133.1.116.211 ログイン＆アプリケーションサーバー
| |
| | ■ノード名 サーバー CPUコアxCPU数 並列環境 キュー
| | G番号 =ノードコア数
| +-- [xe00]-[xe01] 4 4x2=8 x8 xe1.q
| +-- [xe02]-[xe06] 5 4x2=8 x8 xe1.q
| +-- [xe02]-[xe06] 6 6x2=12 x12 xe2.q
| |
| +-- [xs01]-[xs18] 8 8x2=16 x16 xs2.q
| +-- [xi01]-[xi13] 9 8x2=16 x16 xi1.q
| | (大メモリ機)
| +-- [xh01]-[xh36] 10a 12x2=24 x24 xh1.q
| +-- [xh37]-[xh43] 10b 12x2=24 x24 xh2.q
| +-- [yh01]-[yh03] 10d 12x2=24 x24 yh1.q
| |
| +-- [xb01]-[xb14] 13 16x2=32 x32 xb1.q
| +-- [x1701]-[x1708] 14 16x2=32 x32 x17.q
| +-- [x1901]-[x1906] 15 20x2=40 x40 x19.q
| +-- [x2001]-[x2020] 16 26x2=52 x52 x20.q
| |
| | ■引退ノード■
| +-- [it??]-[it??] 0 (itanium)
| +-- [opt00], [opt01] コンパイルサーバー(opteron,opt01)
| +-- [opt02]-[opt11] 1 (各ノード2CORE) mpich-opt
| +-- [opt12]-[opt21] 2 (各ノード4CORE) mpich-opt2
| +-- [opt22]-[opt36] 3 (各ノード4CORE) mpich-opt3
| +-- [xeon00] ---+ サブログイン・計算サーバー (ノード8CORE)
| | +--- [xeon01-07] グループ6 (各ノード8CORE)
| |
| |
+- [sb100] -----+ 133.1.116.165 別グループ計算サーバー
|
+-- [sb101]-[sb120] 7a 6x1=6 x6 ? sb.q
|
|
+-- [rl03]-[rl20] 7b 6x1=6 x6 ? rl.q
