All posts by ToMMo

[UnitA]メンテナンスに伴う接続利用不可のお知らせ(9/16)

 メンテナンスに伴い、UnitAのログインノードを下記の日程で停止します。
ご利用の皆さまにはご不便をおかけいたしますが、ご理解とご協力のほど、よろしくお願いいたします。

 <メンテナンス期間>
          2021年9月16日(木) 9:00 - 10:00

<注意事項>
          ・メンテナンス中、ログインノードの再起動が発生します。
          ・上記の時間帯は、UnitAにログインができなくなります。
          ・ログイン済みユーザのセッションは切断されます。
          ・投入済みのジョブへの影響はございません。

ToMMoスパコンニュースNo.39(2021.8.31 発行)

ログインノード負荷軽減のお願い

 ログインノードでCPUおよびメモリに負荷の大きいツール(plinkやBWA、R等)の実行により、処理の遅延や他のご利用者のログインができない状態になる場合があります。
Slurmで対話的にコマンドを実行することが可能です。
ログインノードの負荷軽減のため、Slurm経由でのジョブ実行と、未使用時のログアウトのご協力をお願いいたします。

Slurmで対話的にコマンドを実行する方法(例)
   $ srun -c 1 -p intr.q --pty bash -i
※-cの後ろの数字には使用したいコア数を指定します。この例では1コア指定しています。


GPUサーバ利用不可のお知らせ

 メンテナンスに伴い、GPUサーバを下記の日程で停止します。
ご利用の皆さまにはご不便をおかけいたしますが、ご理解とご協力のほど、よろしくお願いいたします。

 <メンテナンス期間>
  [UnitA] 2021年9月8日(水) 8:30 - 2021年9月9日(木) 17:30 
  [UnitB] 2021年9月1日(水) 8:30 - 2021年9月2日(木) 17:30 
  [UnitC] 2021年9月8日(水) 8:30 - 2021年9月9日(木) 17:30 

※メンテナンスの情報は、本ポータルサイトの[ホーム]の[メンテナンススケジュール]・[お知らせ]、各Unitのポータルサイトの[ホーム]の[メンテナンス情報]に掲載しております。 ご利用の際は、ご確認をお願いいたします。


Slurm利用マニュアル更新のお知らせ

 GPUの利用に関して、Slurm利用マニュアルを更新しました。
ご利用の際は、下記にてマニュアルのご確認をお願いいたします。

<Slurm利用マニュアル掲載場所>
各Unitのポータルサイトの下記に掲載しております。
 左側メニューの[利用方法]
 ー>[ソフトウェア利用方法]
 ー>[ジョブ管理システム(Slurm Workload Manager,Slurm)]
 ー>[Slurmの利用について]
※UnitAのポータルサイトの閲覧手順はこちらをご確認ください。


稼働状況の確認方法について

 各Unitの稼働状況および、ログインノード、共有メモリサーバの使用状況について、ポータルサイトで確認が可能です。
ご利用時にご活用ください。
<稼働状況の確認>
各Unitのポータルサイトの下記に掲載しております。
 左側メニューの[稼働状況]
※UnitAのポータルサイトの閲覧手順はこちらをご確認ください。


インストールしたソフトウェアについて

 8月にインストールしたソフトウェアおよびバージョンアップしたソフトウェアは以下のとおりです。
インストールパスは、各Unitのポータルサイトの左側メニューにある「ソフトウェア構成」ページで確認してご利用ください。
また、インストールが必要なソフトウェアがある場合は、インストール申請をしてください。

GPUサーバ利用不可のお知らせ

 メンテナンスに伴い、GPUサーバを下記の日程で停止します。
ご利用の皆さまにはご不便をおかけいたしますが、ご理解とご協力のほど、よろしくお願いいたします。

 <メンテナンス期間>
  [UnitA] 2021年9月8日(水) 8:30 - 2021年9月9日(木) 17:30 
  [UnitB] 2021年9月1日(水) 8:30 - 2021年9月2日(木) 17:30 
  [UnitC] 2021年9月8日(水) 8:30 - 2021年9月9日(木) 17:30 

Windows:WinSCPでのファイル転送

WinSCPは、スーパーコンピュータ(Linux)と Windows 間で、データ転送を行うソフトウェアです。
WinSCPでは公開鍵/秘密鍵による接続を行いますが、Tera Termで作成したOpenSSH形式の秘密鍵をPuTTY形式に変換する必要があります。

事前に、ご自身の端末(Windows)に、ソフトウェア「WinSCP」をインストールする必要があります。

【事前準備】PuTTY形式への秘密鍵の変換

  1. WinSCPを起動します。
  2. [ツール]ー[PuTTYgen を実行]をクリックします。

  3. [PuTTY key Generator]が起動します。

  4. [Load]ボタンをクリックします。

  5. [Load private key]が開きます。

  6. ファイル形式は初期状態では[PuTTY Private Key Files(*.ppk)]が選択されていますので[ALL Files(*.*)]を選択します。

  7. 秘密鍵の保存先を選択し、秘密鍵ファイルを選択します。

  8. [開く]をクリックします。

  9. [PuTTYgen: Enter Passphrase]が開きます。

  10. 秘密鍵作成時に指定したパスフレーズを入力し、[OK]ボタンをクリックします。

  11. [PuTTYgen Notice]が開きます。
    [OK]ボタンをクリックします。

  12. [PuTTY key Generator]に秘密鍵の情報が読み込まれます。

  13. [Save the generated key]の[Save private key]ボタンをクリックします。

  14. [Save private key as:]が開きます。

  15. 任意のファイル名(例:id_rsa_putty)を入力し、[保存]ボタンをクリックします。

  16. 以上でPuTTY形式への秘密鍵の変換は終了です。
    [PuTTY key Generator]画面は、右上の「X」で終了します。

WinSCPの設定

  1. WinSCPを起動します。
  2. 以下を入力し、[設定]をクリックします。

    ホスト名:
    sshgw2.megabank.tohoku.ac.jp
    ポート番号:
    50022
    ユーザ名:
    スーパーコンピュータのアカウント名
    (個人アカウント名 または プロジェクトアカウント名(※)

    ※プロジェクトアカウントに鍵紐付けされている方は、プロジェクトアカウントへの接続も可能です。

  3. 高度なサイトの設定画面が表示されます。
    [環境-ディレクトリ]をクリックし、ローカルディレクトリを指定する箇所で右側の[…]となっているボタンを押します。

  4. 新しく開いた[フォルダーの参照]ウィンドウで、ライブラリの下に表示されている自分のユーザ名の箇所をクリックし、[OK]ボタンを押します。

  5. 高度なサイトの設定画面に戻り、ローカルディレクトリ(L)の箇所が選択したディレクトリになっていることを確認します。

  6. 高度なサイトの設定画面で[SSH-認証]をクリックし、秘密鍵を指定する箇所で右側の[…]となっているボタンを押します。

  7. 秘密鍵の選択画面で、先ほどPuTTY形式に変換し、保存した秘密鍵を選択し、[開く]ボタンを押します。

  8. 高度なサイトの設定画面に戻り、秘密鍵の箇所が選択した秘密鍵になっていることを確認し、[OK]をクリックします。

  9. WinSCPログイン画面で、[保存]をクリックします。

  10. [セッション保存名]を入力します。[フォルダ(F)]はそのままにして[OK]をクリックします。


ファイルの転送

  1. 保存したセッション名を選択し、[ログイン]をクリックします。
    ※最初に接続する場合、「*不明なサーバーへの接続を続行し、ホストキーをキャッシュしますか?**」のメッセージが出ますので、[はい]をクリックします。

  2. パスフレーズの入力画面で、秘密鍵作成時に指定したパスフレーズを入力し、[OK]ボタンをクリックします。

  3. 接続に成功すると、以下のような画面が表示されます。画面の左側にローカル(ご自身のPC)のフォルダやファイルのリスト、右にリモート(スーパーコンピュータ側)のディレクトリやファイルのリストが表示されます。左側のローカル(ご自身のPC)のフォルダは「WinSCPの設定」の手順5で選択したディレクトリになっています。

    <スーパーコンピュータへ転送する場合>
    左側に表示されているファイル等を選択し、[アップロード]をクリックします。
    ※画面の左側に表示されていない、デスクトップ上のファイル等を画面の右側(スーパーコンピュータ側)にドラッグ&ドロップでコピーすることも可能です。

    <スーパーコンピュータから転送する場合>
    右側に表示されているファイル等を選択し、[ダウンロード]をクリックします。
    ※画面の右側(スーパーコンピュータ側)からファイルを選択し、ドラッグ&ドロップでコピーすることも可能です。

機関外サーバの利用について

ご利用方法、アカウントの申請に関して記載しています。

初めにお読みください

 機関外サーバの利用について

利用に必要な申請と書類

No.    書類名 概要
機関外サーバ-1 スーパーコンピュータ利用申請書兼誓約書(NBDCヒトデータベース及びNBDCグループ共有データベースのデータ利用者) 機関外サーバの利用申請書です。利用コースを選択し、ご提出ください。
※利用コースは利用途中でも変更可能です。
※機関外サーバの利用は、年度ごとに更新が必要となります。
機関外サーバ-2 (a-1)スーパーコンピュータ・統合データベースdbTMM利用申請書兼誓約書
(a-5)情報分譲(ストロング)に関するセキュリティポリシー利用者用チェックリスト
ご利用する方のアカウントの申請が必要です。新規でご利用の場合はご提出ください。
※学生の方は他に誓約書、推薦書が必要となります。
※年度ごとにアカウントの更新が必要となります。
機関外サーバ-3 (a-8)プロジェクトアカウント利用申請書兼誓約書
ご利用するプロジェクトごとに申請が必要です。新規でご利用の場合はご提出ください。
※利用コースが設定されるアカウントです。
※年度ごとに更新が必要となります。

【終了】5/30メンテナンスに伴うポータルサイトとUnitAへの一時接続不可のお知らせ

 下記日程にてネットワークのメンテナンスを実施致します。
メンテナンス中、本ポータルサイトの閲覧と、UnitAへのSSH接続ができない状態となります。

[1] メンテナンス作業日時
 2021年 5月30日(日) 13:00-13:30

ご理解のほど、よろしくお願いいたします。

ToMMoスパコンニュースNo.37(2021.5.14発行)

ジョブ管理システム(Slurm)の利用マニュアル更新のお知らせ

 Slurmの利用マニュアルについて、複数CPUを指定時のオプションの訂正とご利用可能なパーティション情報を追記をして、4/9に更新しております。
ご確認をお願いいたします。

  (実行例)
    オプション: -c 

      $ sbatch -c 2 --mem-per-cpu=16G testcom.sh

<Slurm利用マニュアル>
各Unitのポータルサイトの下記に掲載しております。
 左側メニューの[利用方法]
 ー>[ソフトウェア利用方法]
 ー>[ジョブ管理システム(Slurm Workload Manager,Slurm)]
 ー>[Slurmの利用について]

※UnitAのポータルサイトの閲覧方法はこちらをご確認ください。


2021年度スーパーコンピュータ利用講習会について

 今年度も、利用者の皆様にToMMoスーパーコンピュータシステムへの理解を深めていただくことを目的に、6月25日(金)に講習会を行う予定です。
開催方法等の詳細については、別途ご案内いたします。

これまでの講習会の資料については、各Unitのポータルサイトの「利用方法」ー>「講習会・説明会資料」にてご確認ください。


【UnitB,UnitC】画面表示不具合の解消手順について

 シンクライアント端末から仮想デスクトップにログインした際、通常の青い背景画面と黒画面が交互に表示する等、不具合が発生する場合があります。
画面の表示に不具合が発生した場合は、下記の手順の操作を実施してください。

  1. 画面上部のメニューバーの[オプション]ー>[デスクトップをリセット]をクリック
  2. 再度、指紋認証で仮想テスクトップにログイン

※詳細は、UnitBおよびUnitCのポータルサイトの上部にも掲載しております。


【UnitB,UnitC】指紋認証付きUSBメモリを使用したデータ持込・持出のデータサイズ上限変更について

 指紋認証付きUSBメモリを使用したデータ持込・持出の申請について、2GB未満から4GB未満のデータの持込・持出が可能となりました。
ただし、2GB以上のデータ持込・持出の申請の際は、下記についてご注意ください。

  <2GB以上のデータ持込・持出の注意点>
・申請、ファイル書出し実行の処理が完了するまでに10分以上要します。
・申請中およびファイル書出し中にシンクライアント端末がスリープ状態になると、処理が中断します。
(10分間、端末の操作がないとスリープ状態となります。)
・処理完了のメッセージが出力しても、指紋認証付きUSBメモリが点滅中は、抜き取らないでください。
(指紋認証付きUSBメモリが点滅中は、処理中です。)


インストールしたソフトウェアについて

 4月にインストールしたソフトウェアおよびバージョンアップしたソフトウェアは以下のとおりです。

インストールパスは、各Unitのポータルサイトの左側メニューにある「ソフトウェア構成」ページで確認してご利用ください。
また、インストールが必要なソフトウェアがある場合は、インストール申請をしてください。

ホームディレクトリへの秘密鍵の配置手順

  1. UnitAに接続します。
  2. 下記のコマンドを実行し、ホームディレクトリ直下に「.ssh」ディレクトリを作成します。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    install -m 0700 -d ~/.ssh
    

  3. catコマンドで、秘密鍵を書き込む準備をします。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    cat > ~/.ssh/id_rsa 
    

  4. 保存している秘密鍵(id_rsa)をエディタで開き、すべての内容をコピーします。
  5. UnitAに接続しているコンソール画面上に、コピーしていた秘密鍵の内容を貼り付けします。
  6. [Cntl]キーを押しながら、[d]キーを押して、catコマンドから抜けます。
  7. 下記のコマンドにて、パーミッションを設定します。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    chmod 600 ~/.ssh/id_rsa
    

  8. 下記のコマンドを実行し、配置した秘密鍵が問題ないか確認します。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    ssh-keygen -y -f ~/.ssh/id_rsa > ~/.ssh/id_rsa.pub;echo $?
    

  9. パスフレーズを入力します。
  10. 「0」が表示されることを確認します。
    ※「0」以外の数字、incorrect passphrase supplied to decrypt private key等のメッセージが出力した際は、再度、やり直ししてください。

mac:ターミナルでのファイル転送

ターミナルのscpコマンドを利用して、ご自身の端末(Mac)からUnitAにファイル転送する方法を説明します。

  1. 画面下のDock から、[ターミナル]アイコンををクリックします。 unit1p_login_mac_1

    Dock に[ターミナル]アイコンがない場合

    1. Finder をクリックします。 unit1p_login_mac_2
    2. [アプリケーション]→[ユーティリティ]を開きます。
    3. [ターミナル.app]をクリックします。

  2. ターミナルの画面で、次のA,Bいずれかのコマンドを入力し、enter キーを押下します。

    1. ご自身の端末からUnitAにファイルを転送する場合
      $ scp␣-i␣/BBB/BBB␣-P␣50022␣/CCC/CCC␣AAA@sshgw2.megabank.tohoku.ac.jp:/DDD/DDD/
      
       ※ ␣ は半角スペースを表しています。
        AAA :スパコンアカウント
        /BBB/BBB :秘密鍵の保存先および、秘密鍵名
        /CCC/CCC :転送するファイル(ご自身の端末上のファイル)
        /DDD/DDD/ :転送先ディレクトリ(UnitA上のディレクトリ)
       ※ その他のオプションについては、manコマンドで確認してください。($ man␣scp)
      

      例)
      $ scp -i /Users/taro/.ssh/id_rsa -P 50022 /Users/taro/Desktop/sample.txt taro@sshgw2.megabank.tohoku.ac.jp:/home/taro/

    2. UnitAからご自身の端末にファイルを転送する場合
      $ scp␣-i␣/BBB/BBB␣-P␣50022␣AAA@sshgw2.megabank.tohoku.ac.jp:/CCC/CCC␣/DDD/DDD/
      
       ※ ␣ は半角スペースを表しています。
        AAA :スパコンアカウント
        /BBB/BBB :秘密鍵の保存先および、秘密鍵名
        /CCC/CCC :転送するファイル(UnitA上のファイル)
        /DDD/DDD/ :転送先ディレクトリ(ご自身の端末上のディレクトリ)
       ※ その他のオプションについては、manコマンドで確認してください。($ man␣scp)
      

      例)
      $ scp -i /Users/taro/.ssh/id_rsa -P 50022 taro@sshgw2.megabank.tohoku.ac.jp:/home/taro/sample.txt /Users/taro/Desktop/

    3. パスフレーズ入力のメッセージが表示されたら、鍵作成時に登録しているパスフレーズを入力し、enter キーを押下します。

      $ scp -i /BBB/BBB -P 50022 /CCC/CCC AAA@sshgw2.megabank.tohoku.ac.jp:/DDD/DDD/
      Enter passphrase for key '/BBB/BBB': (パスフレーズを入力)
      
    4. ファイル転送が実行されます。

      $ scp -i /BBB/BBB -P 50022 /CCC/CCC AAA@sshgw2.megabank.tohoku.ac.jp:/DDD/DDD/
      Enter passphrase for key '/BBB/BBB': 
      CCC                                   100%    9     9.9KB/s   00:00
      $