ToMMo のすべての投稿

Windows:WinSCPでのファイル転送

WinSCPは、スーパーコンピュータ(Linux)と Windows 間で、データ転送を行うソフトウェアです。
WinSCPでは公開鍵/秘密鍵による接続を行いますが、Tera Termで作成したOpenSSH形式の秘密鍵をPuTTY形式に変換する必要があります。

事前に、ご自身の端末(Windows)に、ソフトウェア「WinSCP」をインストールする必要があります。

【事前準備】PuTTY形式への秘密鍵の変換

  1. WinSCPを起動します。
  2. [ツール]ー[PuTTYgen を実行]をクリックします。

  3. [PuTTY key Generator]が起動します。

  4. [Load]ボタンをクリックします。

  5. [Load private key]が開きます。

  6. ファイル形式は初期状態では[PuTTY Private Key Files(*.ppk)]が選択されていますので[ALL Files(*.*)]を選択します。

  7. 秘密鍵の保存先を選択し、秘密鍵ファイルを選択します。

  8. [開く]をクリックします。

  9. [PuTTYgen: Enter Passphrase]が開きます。

  10. 秘密鍵作成時に指定したパスフレーズを入力し、[OK]ボタンをクリックします。

  11. [PuTTYgen Notice]が開きます。
    [OK]ボタンをクリックします。

  12. [PuTTY key Generator]に秘密鍵の情報が読み込まれます。

  13. [Save the generated key]の[Save private key]ボタンをクリックします。

  14. [Save private key as:]が開きます。

  15. 任意のファイル名(例:id_rsa_putty)を入力し、[保存]ボタンをクリックします。

  16. 以上でPuTTY形式への秘密鍵の変換は終了です。
    [PuTTY key Generator]画面は、右上の「X」で終了します。

WinSCPの設定

  1. WinSCPを起動します。
  2. 以下を入力し、[設定]をクリックします。

    ホスト名:
    sshgw2.megabank.tohoku.ac.jp
    ポート番号:
    50022
    ユーザ名:
    スーパーコンピュータのアカウント名
    (個人アカウント名 または プロジェクトアカウント名(※)

    ※プロジェクトアカウントに鍵紐付けされている方は、プロジェクトアカウントへの接続も可能です。

  3. 高度なサイトの設定画面が表示されます。
    [環境-ディレクトリ]をクリックし、ローカルディレクトリを指定する箇所で右側の[…]となっているボタンを押します。

  4. 新しく開いた[フォルダーの参照]ウィンドウで、ライブラリの下に表示されている自分のユーザ名の箇所をクリックし、[OK]ボタンを押します。

  5. 高度なサイトの設定画面に戻り、ローカルディレクトリ(L)の箇所が選択したディレクトリになっていることを確認します。

  6. 高度なサイトの設定画面で[SSH-認証]をクリックし、秘密鍵を指定する箇所で右側の[…]となっているボタンを押します。

  7. 秘密鍵の選択画面で、先ほどPuTTY形式に変換し、保存した秘密鍵を選択し、[開く]ボタンを押します。

  8. 高度なサイトの設定画面に戻り、秘密鍵の箇所が選択した秘密鍵になっていることを確認し、[OK]をクリックします。

  9. WinSCPログイン画面で、[保存]をクリックします。

  10. [セッション保存名]を入力します。[フォルダ(F)]はそのままにして[OK]をクリックします。


ファイルの転送

  1. 保存したセッション名を選択し、[ログイン]をクリックします。
    ※最初に接続する場合、「*不明なサーバーへの接続を続行し、ホストキーをキャッシュしますか?**」のメッセージが出ますので、[はい]をクリックします。

  2. パスフレーズの入力画面で、秘密鍵作成時に指定したパスフレーズを入力し、[OK]ボタンをクリックします。

  3. 接続に成功すると、以下のような画面が表示されます。画面の左側にローカル(ご自身のPC)のフォルダやファイルのリスト、右にリモート(スーパーコンピュータ側)のディレクトリやファイルのリストが表示されます。左側のローカル(ご自身のPC)のフォルダは「WinSCPの設定」の手順5で選択したディレクトリになっています。

    <スーパーコンピュータへ転送する場合>
    左側に表示されているファイル等を選択し、[アップロード]をクリックします。
    ※画面の左側に表示されていない、デスクトップ上のファイル等を画面の右側(スーパーコンピュータ側)にドラッグ&ドロップでコピーすることも可能です。

    <スーパーコンピュータから転送する場合>
    右側に表示されているファイル等を選択し、[ダウンロード]をクリックします。
    ※画面の右側(スーパーコンピュータ側)からファイルを選択し、ドラッグ&ドロップでコピーすることも可能です。

機関外サーバの利用について

ご利用方法、アカウントの申請に関して記載しています。

初めにお読みください

 機関外サーバの利用について

利用に必要な申請と書類

No.    書類名 概要
機関外サーバ-1 スーパーコンピュータ利用申請書兼誓約書(NBDCヒトデータベース及びNBDCグループ共有データベースのデータ利用者) 機関外サーバの利用申請書です。利用コースを選択し、ご提出ください。
※利用コースは利用途中でも変更可能です。
※機関外サーバの利用は、年度ごとに更新が必要となります。
機関外サーバ-2 (a-1)スーパーコンピュータ・統合データベースdbTMM利用申請書兼誓約書
(a-5)情報分譲(ストロング)に関するセキュリティポリシー利用者用チェックリスト
ご利用する方のアカウントの申請が必要です。新規でご利用の場合はご提出ください。
※学生の方は他に誓約書、推薦書が必要となります。
※年度ごとにアカウントの更新が必要となります。
機関外サーバ-3 (a-8)プロジェクトアカウント利用申請書兼誓約書
ご利用するプロジェクトごとに申請が必要です。新規でご利用の場合はご提出ください。
※利用コースが設定されるアカウントです。
※年度ごとに更新が必要となります。

【終了】5/30メンテナンスに伴うポータルサイトとUnitAへの一時接続不可のお知らせ

 下記日程にてネットワークのメンテナンスを実施致します。
メンテナンス中、本ポータルサイトの閲覧と、UnitAへのSSH接続ができない状態となります。

[1] メンテナンス作業日時
 2021年 5月30日(日) 13:00-13:30

ご理解のほど、よろしくお願いいたします。

ToMMoスパコンニュースNo.37(2021.5.14発行)

ジョブ管理システム(Slurm)の利用マニュアル更新のお知らせ

 Slurmの利用マニュアルについて、複数CPUを指定時のオプションの訂正とご利用可能なパーティション情報を追記をして、4/9に更新しております。
ご確認をお願いいたします。

  (実行例)
    オプション: -c 

      $ sbatch -c 2 --mem-per-cpu=16G testcom.sh

<Slurm利用マニュアル>
各Unitのポータルサイトの下記に掲載しております。
 左側メニューの[利用方法]
 ー>[ソフトウェア利用方法]
 ー>[ジョブ管理システム(Slurm Workload Manager,Slurm)]
 ー>[Slurmの利用について]

※UnitAのポータルサイトの閲覧方法はこちらをご確認ください。


2021年度スーパーコンピュータ利用講習会について

 今年度も、利用者の皆様にToMMoスーパーコンピュータシステムへの理解を深めていただくことを目的に、6月25日(金)に講習会を行う予定です。
開催方法等の詳細については、別途ご案内いたします。

これまでの講習会の資料については、各Unitのポータルサイトの「利用方法」ー>「講習会・説明会資料」にてご確認ください。


【UnitB,UnitC】画面表示不具合の解消手順について

 シンクライアント端末から仮想デスクトップにログインした際、通常の青い背景画面と黒画面が交互に表示する等、不具合が発生する場合があります。
画面の表示に不具合が発生した場合は、下記の手順の操作を実施してください。

  1. 画面上部のメニューバーの[オプション]ー>[デスクトップをリセット]をクリック
  2. 再度、指紋認証で仮想テスクトップにログイン

※詳細は、UnitBおよびUnitCのポータルサイトの上部にも掲載しております。


【UnitB,UnitC】指紋認証付きUSBメモリを使用したデータ持込・持出のデータサイズ上限変更について

 指紋認証付きUSBメモリを使用したデータ持込・持出の申請について、2GB未満から4GB未満のデータの持込・持出が可能となりました。
ただし、2GB以上のデータ持込・持出の申請の際は、下記についてご注意ください。

  <2GB以上のデータ持込・持出の注意点>
・申請、ファイル書出し実行の処理が完了するまでに10分以上要します。
・申請中およびファイル書出し中にシンクライアント端末がスリープ状態になると、処理が中断します。
(10分間、端末の操作がないとスリープ状態となります。)
・処理完了のメッセージが出力しても、指紋認証付きUSBメモリが点滅中は、抜き取らないでください。
(指紋認証付きUSBメモリが点滅中は、処理中です。)


インストールしたソフトウェアについて

 4月にインストールしたソフトウェアおよびバージョンアップしたソフトウェアは以下のとおりです。

インストールパスは、各Unitのポータルサイトの左側メニューにある「ソフトウェア構成」ページで確認してご利用ください。
また、インストールが必要なソフトウェアがある場合は、インストール申請をしてください。

ホームディレクトリへの秘密鍵の配置手順

  1. UnitAに接続します。
  2. 下記のコマンドを実行し、ホームディレクトリ直下に「.ssh」ディレクトリを作成します。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    install -m 0700 -d ~/.ssh
    

  3. catコマンドで、秘密鍵を書き込む準備をします。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    cat > ~/.ssh/id_rsa 
    

  4. 保存している秘密鍵(id_rsa)をエディタで開き、すべての内容をコピーします。
  5. UnitAに接続しているコンソール画面上に、コピーしていた秘密鍵の内容を貼り付けします。
  6. [Cntl]キーを押しながら、[d]キーを押して、catコマンドから抜けます。
  7. 下記のコマンドにて、パーミッションを設定します。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    chmod 600 ~/.ssh/id_rsa
    

  8. 下記のコマンドを実行し、配置した秘密鍵が問題ないか確認します。
    ※青字部分をコピーしてコンソール画面に貼り付けして実行可能です。

    ssh-keygen -y -f ~/.ssh/id_rsa > ~/.ssh/id_rsa.pub;echo $?
    

  9. パスフレーズを入力します。
  10. 「0」が表示されることを確認します。
    ※「0」以外の数字、incorrect passphrase supplied to decrypt private key等のメッセージが出力した際は、再度、やり直ししてください。

mac:ターミナルでのファイル転送

ターミナルのscpコマンドを利用して、ご自身の端末(Mac)からUnitAにファイル転送する方法を説明します。

  1. 画面下のDock から、[ターミナル]アイコンををクリックします。 unit1p_login_mac_1

    Dock に[ターミナル]アイコンがない場合

    1. Finder をクリックします。 unit1p_login_mac_2
    2. [アプリケーション]→[ユーティリティ]を開きます。
    3. [ターミナル.app]をクリックします。

  2. ターミナルの画面で、次のA,Bいずれかのコマンドを入力し、enter キーを押下します。

    1. ご自身の端末からUnitAにファイルを転送する場合
      $ scp␣-i␣/BBB/BBB␣-P␣50022␣/CCC/CCC␣AAA@sshgw2.megabank.tohoku.ac.jp:/DDD/DDD/
      
       ※ ␣ は半角スペースを表しています。
        AAA :スパコンアカウント
        /BBB/BBB :秘密鍵の保存先および、秘密鍵名
        /CCC/CCC :転送するファイル(ご自身の端末上のファイル)
        /DDD/DDD/ :転送先ディレクトリ(UnitA上のディレクトリ)
       ※ その他のオプションについては、manコマンドで確認してください。($ man␣scp)
      

      例)
      $ scp -i /Users/taro/.ssh/id_rsa -P 50022 /Users/taro/Desktop/sample.txt taro@sshgw2.megabank.tohoku.ac.jp:/home/taro/

    2. UnitAからご自身の端末にファイルを転送する場合
      $ scp␣-i␣/BBB/BBB␣-P␣50022␣AAA@sshgw2.megabank.tohoku.ac.jp:/CCC/CCC␣/DDD/DDD/
      
       ※ ␣ は半角スペースを表しています。
        AAA :スパコンアカウント
        /BBB/BBB :秘密鍵の保存先および、秘密鍵名
        /CCC/CCC :転送するファイル(UnitA上のファイル)
        /DDD/DDD/ :転送先ディレクトリ(ご自身の端末上のディレクトリ)
       ※ その他のオプションについては、manコマンドで確認してください。($ man␣scp)
      

      例)
      $ scp -i /Users/taro/.ssh/id_rsa -P 50022 taro@sshgw2.megabank.tohoku.ac.jp:/home/taro/sample.txt /Users/taro/Desktop/

    3. パスフレーズ入力のメッセージが表示されたら、鍵作成時に登録しているパスフレーズを入力し、enter キーを押下します。

      $ scp -i /BBB/BBB -P 50022 /CCC/CCC AAA@sshgw2.megabank.tohoku.ac.jp:/DDD/DDD/
      Enter passphrase for key '/BBB/BBB': (パスフレーズを入力)
      
    4. ファイル転送が実行されます。

      $ scp -i /BBB/BBB -P 50022 /CCC/CCC AAA@sshgw2.megabank.tohoku.ac.jp:/DDD/DDD/
      Enter passphrase for key '/BBB/BBB': 
      CCC                                   100%    9     9.9KB/s   00:00
      $ 
      

ToMMoスパコンニュースNo.36(2021.3.31発行)

【重要】ジョブ管理システム(Slurm)への切り替えについて

 スーパーコンピュータのリソースおよび性能の拡充に向け、ご利用可能なジョブ管理システムについて、2021年4月1日より、Univa Grid EngineからSlurm Workload Managerに切替ります。
3月31日 17時に実行中および、スケジュールされているジョブについてはKILLして切り替えとなります。
3月31日までに終了が難しいジョブについては実施をお控えいただき、4月1日以降にSlurmにて実施ください。
 ご理解、ご協力のほど、よろしくお願いいたします。

  • ご利用可能なジョブ管理システム
      <2020年3月31日 17:00まで>
         Univa Grid Engine
         ※2020年3月31日 17:00時点で実行中および、スケジュールされているジョブはKILLします。

      <2021年4月1日 13:00以降>
         Slurm Workload Manager(https://slurm.schedmd.com/documentation.html

  • UGEとSlurmの対応表

      こちらでご確認ください。

  • Slurmのマニュアル
      各Unitのポータルサイトの下記に掲載しております。
    左側メニューの[利用方法]ー>[ソフトウェア利用方法]ー>ジョブ管理システム(Slurm WorkLoad Manager,Slurm)[Slurmの利用について]

※UnitAのポータルサイトの閲覧方法はこちらを確認ください。


スーパーコンピュータ利用年度更新手続きについて

 スーパーコンピュータシステム利用年度更新手続きについて、ご協力いただき、ありがとうございました。
提出期限内にご提出がなかったアカウントについては、利用期限が2021/3/31となり、来年度よりご利用ができない状態となります。
期限を過ぎてご提出した場合は、一旦利用ができない状態となり、4月以降に利用期限延長となります。
所属や連絡先(メールアドレス等)が変更となった場合は、
スーパーコンピュータ利用変更申請書にて、申請をお願いいたします。


インストールしたソフトウェアについて

 3月にインストールしたソフトウェアおよびバージョンアップしたソフトウェアは以下のとおりです。
インストールパスは、各Unitのポータルサイトの左側メニューにある「ソフトウェア構成」ページで確認してご利用ください。
また、インストールが必要なソフトウェアがある場合は、インストール申請をしてください。


【終了】ジョブ管理システム切替え(UGE停止 → Slurm)のお知らせ[3/31-4/1]

 スーパーコンピュータの利用環境改善を目的とし、下記の日程にてジョブ管理システムをUniva Grid Engine(UGE)からSlurm Workload Manager(Slurm)への切替えを実施致します。
切替え後は、Slurmにてジョブ実行をお願い致します。
ご不便をおかけして恐縮ですが、ご理解とご協力の程、よろしくお願い致します。

[1] 切り替えスケジュール
(a) 2021/3/31(水) 17:00 <UGE停止>
 ・UGEから新規のジョブ実行をできません。
 ・UGEにて実行中のジョブは削除されます。
(b) 2021/4/1(木) 9:00-11:00 <切替>
 ・UGEからSlurmへの切替作業のため、UGEおよびSlurmでジョブ実行ができません。
(c) 2021/4/1(木) 11:00 以降 <Slurm開始>
 ・Slurmでのジョブ実行が可能になります。
 ・UGEは利用できません。

[2] 注意事項
2021/3/31(水) 17:00時点で実行中およびスケジュールされているジョブは、
削除するため、リスケジュールされません。
4/1(木) 11:00 以降に、Slurmでのジョブ実行をお願い致します。

[3]Slurmの利用について
・UGEとSlurmのコマンド対応表
 https://sc.megabank.tohoku.ac.jp/wp-content/uploads/2021/02/rosetta.pdf

・Slurmの利用マニュアル
各Unitのポータルサイトの下記に掲載しております。
左側メニューの[利用方法]
ー>[ソフトウェア利用方法]
ー>[ジョブ管理システム(Slurm Workload Manager,Slurm)]
ー>[Slurmの利用について]

終了【UnitA】 3/24 gw2a06(NoMachineNXサーバ)利用不可のお知らせ

下記日程でUnitAのNoMachine NXのサービスを提供する機器(gw2a06)停止のメンテナンスに伴い、
NoMachine NXについてご利用ができなくなります。
ご利用の皆様にご不便をおかけ致しますが、ご理解とご協力をお願い致します。

<メンテナンス日時>
  2021年3月24日(水) 10:00 〜 12:00

※メンテナンスの情報は、本ポータルサイトの[ホーム]の[メンテナンススケジュール]・[お知らせ]、各Unitのポータルサイトの[ホーム]の[メンテナンス情報]に掲載しております。
ご利用の際は、ご確認をお願いいたします。