はじめに
近年、インターネットを介して高性能な計算機リソースを提供するクラウド High Performance Computing（HPC）が注目されています。クラウド HPC は、物理サーバの購入が不要である点、オンデマンドですぐに利用可能である点、用途に応じて高性能プロセッサ（CPU、GPU）、高速ネットワーク、スケーラブルなストレージなど選択可能である点から、近年急速に利用量が増加しています（5 年で約 18% の利用量増加が予測されています）。
数値流体力学（Computational Fluid Dynamics, CFD）ソフトウェアをはじめとする、CAE ソフトウェアをクラウド HPC 上で活用する際の注意点として、コストの問題が挙げられます。例として、非定常乱流や化学反応など、高度な流体シミュレーションを行うためには、大量の計算機リソースが必要となります。また、機械を構成する要素の解析から機械全体の解析へ、解析対象の複雑化に伴い、要求される計算機リソースは増加傾向にあります。これらに対応するために計算の並列数を増やすと、商用ソフトによっては追加のライセンスコストが発生する場合があります。また、ソフトウェアの速度スケーリングが良好でない場合、並列数を増やしても思ったような速度向上が得られず、計算機コストが膨らむ可能性もあります。
アドバンスソフト開発の Advance/FrontFlow/red は、並列数無制限ライセンスであること、良好な速度スケーリングが得られることから、このようなコストの問題より解放され、クラウド HPC の利点を十分に活かすことができます。以下では、クラウド HPC 市場で高いシェアを持つ Amazon Web Services（AWS）での並列性能・計算機コストを調査しました。ぜひご一読ください。
Amazon Web Services（AWS）での性能調査
AWS とは？
AWS はクラウド HPC 市場で高いシェア（30% 以上）を持ち、信頼性のあるプラットフォームです。多様なサービスと柔軟なリソース管理が可能となっています。一例として、以下のようなサービスが使用できます。
- Amazon Elastic Compute Cloud（Amazon EC2）：クラウドで利用可能なコンピューティングキャパシティ（仮想サーバ）
- Amazon Simple Storage Service（Amazon S3）：多機能なオブジェクトストレージサービス
- Elastic Fabric Adapter（EFA）高速演算のために Amazon EC2 で使用できるネットワークデバイス
AWS ParallelCluster でのベンチマーク
アドバンスソフト開発の汎用流体解析ソフトウェア Advance/FrontFlow/red Ver. 5.7 を用いた 2 ケースの並列計算を AWS 環境上で実行し、並列数の増加による計算時間の短縮と計算機コストの関係を調査します。AWS では、クラスター管理ツール ParallelCluster によって、複数の仮想サーバで構成されるクラスターを容易に作成することができます。
今回は、表１に示す性能のクラスターを作成します。また、表２にAdvance/FrontFlow/red で用いる解析手法をまとめます。今回の解析では非定常な流体解析を行い、フラット MPI による並列計算を行います。
表１ クラスターマシンのスペック
| 項目 | 設定 |
| ジョブ管理システム | Slurm |
| 計算ノード | c7i.48xlarge インスタンス （Intel Xeonプロセッサ、CPUコア数：96、メモリ：384 GiB） |
| OS | Amazon Linux 2 |
| 共有ストレージ | Amazon FSx for Lustre |
| インスタンス間通信 インターフェース | Elastic Fabric Adapter（EFA） |
| MPI並列ライブラリ | Inlet MPI |
表２ 解析手法
| 項目 | 設定 |
| ソルバ | Advance/FrontFlow/red Ver. 5.7 |
| 支配方程式 | 非圧縮性 Navier-Stokes 方程式 |
| SGSモデル | 標準 Smagorinskyモデル（Large eddy simulation） |
| 空間離散化手法 | 有限体積法（節点中心／セル中心） |
| 対流項スキーム | ２次精度中心差分法 |
| 時間積分法 | オイラー陰解法 |
| 並列化方式 | フラットMPI（並列数は 96 コア×インスタンス数） |
簡易な車体形状（Ahmed body）周りの空気の流れ解析
１ケース目の解析対象は、空力解析のベンチマークとして用いられる、簡易な車体形状（Ahmed body）周りの空気の流れ解析です。
図３(a) に示す形状に対して左側から流速 40[m/s] の空気の流れが流入します。Ahmed body 形状は全長 1044[mm]、全幅 389[mm]、全高338[mm] となっており、レイノルズ数は ReL = 2.86×106 となっています。節点中心法により解析を行う場合、コントロールボリューム（CV）数は約 1,200 万要素となります。
図3 Ahmed body周りの流れ場解析
得られたスケーラビリティ・計算機コストを図４に示します。ここで、計算機コストは、東京リージョンにおけるオンデマンドインスタンス価格（1時間あたり USD 10.7856）から算出しました。本解析では 96×10＝960 並列までの理想的な速度スケーリングが確認できました。この際、１コア当たりの CV 数は最小で約 1.2 万要素となっています。また、理想的な速度スケーリングが得られる AFFｒではインスタンス数を増やしても計算機コストが大きくは変わらない結果が得られました。
図4 Ahmed body 解析におけるスケーラビリティ・計算機コスト
Channel 流れの解析
２ケース目の解析対象は、Channel 流れの解析です。図5 に示すように上下にある並行平板の間を手前から奥に空気が流れます。レイノルズ数は Ret ≈ 180 となっています。セル中心法により解析を行う場合、コントロールボリューム（CV）数は約 3,300 万要素となります。
図5 Channel流れ解析
スケーラビリティ・計算機コストを図6 に示します。本解析では 96×12＝1,152 並列までの速度スケーリングが確認できました。この際、１コア当たりの CV 数は最小で約 2.9 万要素となっています。また、計算機コストも Ahmed body 周りの解析同様に、インスタンス数を増やしても大きくは変わらない結果となりました。
図6 Channel 解析におけるスケーラビリティ・計算機コスト
性能調査結果
今回の調査で得られた結果として、1 コアあたりの CV 数が 1.5 ～ 2 万要素となる並列数で、理想的な計算速度のスケーリングが達成されました。また、複数のインスタンスを利用した計算の方が、インスタンスあたりのメモリ利用が小さくなり、キャッシュヒット率が向上して計算が高速になることがあることも分かりました。
並列性能の良い弊社ソフトウェアを使用すれば、並列数を増やすことでほぼ理想的に計算時間を短縮できます。したがって、「計算時間×インスタンス数」で決まる計算機コストも並列数に依存せず大きく変化しません。加えて、弊社のソフトウェアライセンスは並列数に制限はないため、並列数を増やしてもライセンスコストは増加しません。これにより、コストを抑えつつ、計算時間の大幅な短縮が可能です。
まとめ
クラウド HPC の利点として、計算リソースの高い自由度、コスト効率、メンテナンス不要、アクセスの利便性が挙げられます。これらを活かす Advance/FrontFlow/red の強みの一つとして、高いスケーラビリティにより得られるコスト効率があります。また、並列数無制限、ジョブ数無制限ライセンスもあるため、追加費用なしでクラウド HPC を活用でき、総合的に高いコストパフォーマンスが得られます。
クラウド HPC 上においても、並列計算の効率化と計算機コストの削減を実現できる、弊社の無制限ライセンスの導入をぜひご検討ください。
参考文献
- Amazon Web Services（AWS）公式サイト, https://aws.amazon.com/jp/.