GNU Parallel利用法

最終更新日：2019年11月16日

GNU Parallel はコマンドの並列実行を可能にするコマンドラインユーティリティです。ITO のバッチ処理と組み合わせると、１つのジョブで複数の処理を並列実行できます。


利用環境

  • サブシステムA
    • バージョン 九州大学構成員 学術研究機関構成員 民間利用の方
    20180822 ○ ○ ○
  • サブシステムB
    • バージョン 九州大学構成員 学術研究機関構成員 民間利用の方
    20180822 ○ ○ ○
  • 基本フロントエンド
    • バージョン 九州大学構成員 学術研究機関構成員 民間利用の方
    20180822 ○ ○ ○
  • 大容量フロントエンド
    • バージョン 九州大学構成員 学術研究機関構成員 民間利用の方
    20180822 ○ ○ ○

利用方法

環境設定

$ module load parallel/20180822

実行したい処理を１行ずつ記載したファイル（tasks）を作成後、ジョブスクリプト内で以下のようにして実行。

$ parallel -j 36 < tasks # tasks 内の処理を36並列で実行する場合

　実行したい処理を１行ずつ記載したファイル（tasks）の例：
　処理１→workdir1 へ移動後、command1 と command2 を実行
　処理２→workdir2 へ移動後、command3 と command4 を実行

$ cd /path/to/workdir1; command1; command2
$ cd /path/to/workdir2; command3; command4

　parallel は複数ノードを用いた並列実行にも対応しています。 　ITO のマルチノードジョブで parallel を利用したい場合はお問合せください。



関連リンク

公式サイト：https://www.gnu.org/software/parallel/
ドキュメント：https://www.gnu.org/software/parallel/parallel_tutorial.html