知財求人 - 知財ポータルサイト「IP Force」
特開2024-69960リソース再構成プログラム、リソース再構成方法および情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024069960
(43)【公開日】2024-05-22
(54)【発明の名称】リソース再構成プログラム、リソース再構成方法および情報処理システム
(51)【国際特許分類】
G06F 9/50 20060101AFI20240515BHJP
【ＦＩ】
G06F9/50 150C
G06F9/50 120A
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022180279
(22)【出願日】2022-11-10
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】三輪 真弘
(57)【要約】
【課題】リソースの再構成を行うか否かを適切に決定可能にする。
【解決手段】処理部１２は、ジョブ実行のためにリソースの再構成を要する第１ノードの再構成に要する再構成時間と、再構成後のジョブの実行時間と、第１ノードによるジョブの実行時の通信に伴う通信競合の、当該実行時間に対する影響を表す第１係数とに基づいて、ジョブを第１ノードに割り当てる場合の再構成からジョブの完了までに要する第１時間を算出する。処理部１２は、リソースの再構成を要しない第２ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第２係数と実行時間とに基づいて、ジョブを第２ノードに割り当てる場合のジョブの完了までに要する第２時間を算出する。処理部１２は、第１時間が第２時間よりも短い場合は第１ノードにおけるリソースの再構成を行い、第１時間が第２時間以上の場合は第１ノードにおけるリソースの再構成を行わない。
【選択図】図１
【解決手段】処理部１２は、ジョブ実行のためにリソースの再構成を要する第１ノードの再構成に要する再構成時間と、再構成後のジョブの実行時間と、第１ノードによるジョブの実行時の通信に伴う通信競合の、当該実行時間に対する影響を表す第１係数とに基づいて、ジョブを第１ノードに割り当てる場合の再構成からジョブの完了までに要する第１時間を算出する。処理部１２は、リソースの再構成を要しない第２ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第２係数と実行時間とに基づいて、ジョブを第２ノードに割り当てる場合のジョブの完了までに要する第２時間を算出する。処理部１２は、第１時間が第２時間よりも短い場合は第１ノードにおけるリソースの再構成を行い、第１時間が第２時間以上の場合は第１ノードにおけるリソースの再構成を行わない。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータに、
ジョブの割り当て候補であり前記ジョブの実行のためにリソースの再構成を要する第１ノードの前記再構成に要する再構成時間と、前記再構成後の前記ジョブの実行時間と、前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第１係数とに基づいて、前記ジョブを前記第１ノードに割り当てる場合の前記再構成から前記ジョブの完了までに要する第１時間を算出し、前記ジョブの割り当て候補であり前記リソースの前記再構成を要しない第２ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第２係数と前記実行時間とに基づいて、前記リソースの前記再構成を行わずに前記ジョブを前記第２ノードに割り当てる場合の前記ジョブの完了までに要する第２時間を算出し、
前記第１時間と前記第２時間とを比較し、前記第１時間が前記第２時間よりも短い場合は前記第１ノードにおける前記リソースの前記再構成を行い、前記第１時間が前記第２時間以上の場合は前記第１ノードにおける前記リソースの前記再構成を行わない、
処理を実行させるジョブ実行に伴うリソース再構成プログラム。
ジョブの割り当て候補であり前記ジョブの実行のためにリソースの再構成を要する第１ノードの前記再構成に要する再構成時間と、前記再構成後の前記ジョブの実行時間と、前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第１係数とに基づいて、前記ジョブを前記第１ノードに割り当てる場合の前記再構成から前記ジョブの完了までに要する第１時間を算出し、前記ジョブの割り当て候補であり前記リソースの前記再構成を要しない第２ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第２係数と前記実行時間とに基づいて、前記リソースの前記再構成を行わずに前記ジョブを前記第２ノードに割り当てる場合の前記ジョブの完了までに要する第２時間を算出し、
前記第１時間と前記第２時間とを比較し、前記第１時間が前記第２時間よりも短い場合は前記第１ノードにおける前記リソースの前記再構成を行い、前記第１時間が前記第２時間以上の場合は前記第１ノードにおける前記リソースの前記再構成を行わない、
処理を実行させるジョブ実行に伴うリソース再構成プログラム。
【請求項2】
前記ジョブの割り当て候補であり前記第１ノードを含む第１ノード群に対して前記第１時間を算出し、前記ジョブの割り当て候補であり前記第１ノードを含まない第２ノード群に対して前記第２時間を算出する、
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
【請求項3】
前記第１ノード群に属するノード間の通信の第１通信時間の測定結果に基づいて前記第１係数を算出し、前記第２ノード群に属するノード間の通信の第２通信時間の測定結果に基づいて前記第２係数を算出する、
処理を前記コンピュータに実行させる請求項２記載のリソース再構成プログラム。
処理を前記コンピュータに実行させる請求項２記載のリソース再構成プログラム。
【請求項4】
前記第１通信時間と所定の基準通信時間とに基づいて前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の有無を判定し、当該通信競合がない場合に前記第１係数を１に設定し、前記第２通信時間と前記基準通信時間とに基づいて前記第２ノードによる前記ジョブの実行時の通信に伴う通信競合の有無を判定し、当該通信競合がない場合に前記第２係数を１に設定する、
処理を前記コンピュータに実行させる請求項３記載のリソース再構成プログラム。
処理を前記コンピュータに実行させる請求項３記載のリソース再構成プログラム。
【請求項5】
前記ジョブの実行に用いられるノードに対して要求される、１つのノード当たりの前記リソースの量に基づいて、前記第１係数および前記第２係数を算出する、
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
【請求項6】
前記実行時間および前記第１係数の積と前記再構成時間との和を前記第１時間として算出し、前記実行時間および前記第２係数の積を前記第２時間として算出する、
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
【請求項7】
前記第１ノードにおける前記リソースの前記再構成を行う場合、前記第１ノードに前記ジョブを割り当て、前記第１ノードにおける前記リソースの前記再構成を行わない場合、前記第２ノードに前記ジョブを割り当てる、
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
処理を前記コンピュータに実行させる請求項１記載のリソース再構成プログラム。
【請求項8】
コンピュータが、
ジョブの割り当て候補であり前記ジョブの実行のためにリソースの再構成を要する第１ノードの前記再構成に要する再構成時間と、前記再構成後の前記ジョブの実行時間と、前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第１係数とに基づいて、前記ジョブを前記第１ノードに割り当てる場合の前記再構成から前記ジョブの完了までに要する第１時間を算出し、前記ジョブの割り当て候補であり前記リソースの前記再構成を要しない第２ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第２係数と前記実行時間とに基づいて、前記リソースの前記再構成を行わずに前記ジョブを前記第２ノードに割り当てる場合の前記ジョブの完了までに要する第２時間を算出し、
前記第１時間と前記第２時間とを比較し、前記第１時間が前記第２時間よりも短い場合は前記第１ノードにおける前記リソースの前記再構成を行い、前記第１時間が前記第２時間以上の場合は前記第１ノードにおける前記リソースの前記再構成を行わない、
ジョブ実行に伴うリソース再構成方法。
ジョブの割り当て候補であり前記ジョブの実行のためにリソースの再構成を要する第１ノードの前記再構成に要する再構成時間と、前記再構成後の前記ジョブの実行時間と、前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第１係数とに基づいて、前記ジョブを前記第１ノードに割り当てる場合の前記再構成から前記ジョブの完了までに要する第１時間を算出し、前記ジョブの割り当て候補であり前記リソースの前記再構成を要しない第２ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第２係数と前記実行時間とに基づいて、前記リソースの前記再構成を行わずに前記ジョブを前記第２ノードに割り当てる場合の前記ジョブの完了までに要する第２時間を算出し、
前記第１時間と前記第２時間とを比較し、前記第１時間が前記第２時間よりも短い場合は前記第１ノードにおける前記リソースの前記再構成を行い、前記第１時間が前記第２時間以上の場合は前記第１ノードにおける前記リソースの前記再構成を行わない、
ジョブ実行に伴うリソース再構成方法。
【請求項9】
ジョブの割り当て候補であり前記ジョブの実行のためにリソースの再構成を要する第１ノードの前記再構成に要する再構成時間と、前記再構成後の前記ジョブの実行時間とを記憶する記憶部と、
前記再構成時間と前記実行時間と前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第１係数とに基づいて、前記ジョブを前記第１ノードに割り当てる場合の前記再構成から前記ジョブの完了までに要する第１時間を算出し、前記ジョブの割り当て候補であり前記リソースの前記再構成を要しない第２ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第２係数と前記実行時間とに基づいて、前記リソースの前記再構成を行わずに前記ジョブを前記第２ノードに割り当てる場合の前記ジョブの完了までに要する第２時間を算出し、前記第１時間と前記第２時間とを比較し、前記第１時間が前記第２時間よりも短い場合は前記第１ノードにおける前記リソースの前記再構成を行い、前記第１時間が前記第２時間以上の場合は前記第１ノードにおける前記リソースの前記再構成を行わない処理部と、
を有する情報処理システム。
前記再構成時間と前記実行時間と前記第１ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第１係数とに基づいて、前記ジョブを前記第１ノードに割り当てる場合の前記再構成から前記ジョブの完了までに要する第１時間を算出し、前記ジョブの割り当て候補であり前記リソースの前記再構成を要しない第２ノードによる前記ジョブの実行時の通信に伴う通信競合の、前記実行時間に対する影響を表す第２係数と前記実行時間とに基づいて、前記リソースの前記再構成を行わずに前記ジョブを前記第２ノードに割り当てる場合の前記ジョブの完了までに要する第２時間を算出し、前記第１時間と前記第２時間とを比較し、前記第１時間が前記第２時間よりも短い場合は前記第１ノードにおける前記リソースの前記再構成を行い、前記第１時間が前記第２時間以上の場合は前記第１ノードにおける前記リソースの前記再構成を行わない処理部と、
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はリソース再構成プログラム、リソース再構成方法および情報処理システムに関する。
【背景技術】
【0002】
現在、ハードウェアのリソースをプール化し、ノードとリソースとの接続関係をスイッチ経由で切り替えることで、ノードのリソース構成を変更可能なシステムが用いられている。このようなシステムは、ディスアグリゲーションシステムと言われる。プール化されるリソースには、例えば、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）およびＳＳＤ（Solid State Drive）などがある。
【0003】
なお、サービスを１つのＶＭ（Virtual Machine）で提供する場合だけでなく、複数のＶＭで提供する場合を考慮することで、サービスに用いられるハードウェアリソースをＳＬＡ（Service Level Agreement）を満たす範囲で小さくする管理装置の提案がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１１６５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ジョブをノードに割り当てる際に、割り当て先のノードにおいてジョブで要求されるリソースが不足する場合、リソースの再構成を要する。リソースの再構成は、時間がかかりジョブ完了の遅延要因となる。
【0006】
一方、ジョブで要求されるリソースを構成済のノードがある場合、当該ノードにジョブを割り当てることで、リソースの再構成を省略できる。しかし、当該ノードによるジョブの実行時の通信が他のノード間の通信と競合することがある。当該通信の競合もジョブ完了の遅延要因となる。
【0007】
このため、例えば単純にリソースの再構成不要のノードにジョブを割り当てたとしても、ジョブ完了の遅延が再構成を行う場合より改善するとは限らないという問題がある。
１つの側面では、本発明は、リソースの再構成を行うか否かを適切に決定可能にすることを目的とする。
１つの側面では、本発明は、リソースの再構成を行うか否かを適切に決定可能にすることを目的とする。
【課題を解決するための手段】
【0008】
１つの態様では、リソース再構成プログラムが提供される。このリソース再構成プログラムは、コンピュータに次の処理を実行させる。コンピュータは、ジョブの割り当て候補でありジョブの実行のためにリソースの再構成を要する第１ノードの再構成に要する再構成時間と、再構成後のジョブの実行時間と、第１ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第１係数とに基づいて、ジョブを第１ノードに割り当てる場合の再構成からジョブの完了までに要する第１時間を算出する。コンピュータは、ジョブの割り当て候補でありリソースの再構成を要しない第２ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第２係数と実行時間とに基づいて、リソースの再構成を行わずにジョブを第２ノードに割り当てる場合のジョブの完了までに要する第２時間を算出する。コンピュータは、第１時間と第２時間とを比較し、第１時間が第２時間よりも短い場合は第１ノードにおけるリソースの再構成を行い、第１時間が第２時間以上の場合は第１ノードにおけるリソースの再構成を行わない。
【0009】
また、１つの態様では、コンピュータが実行するリソース再構成方法が提供される。また、１つの態様では、記憶部と処理部とを有する情報処理システムが提供される。
【発明の効果】
【0010】
１つの側面では、リソースの再構成を行うか否かを適切に決定できる。
【図面の簡単な説明】
【0011】
【図1】第１の実施の形態の情報処理システムを説明する図である。
【図2】第２の実施の形態の情報処理システムの例を示す図である。
【図3】管理装置のハードウェア例を示す図である。
【図4】ノード間の接続例を示す図である。
【図5】ラック内のノードとリソースプールとの接続例を示す図である。
【図6】ジョブの割り当て候補となる空きノードの例を示す図である。
【図7】通信競合が発生する例を示す図である。
【図8】ノードのリソースの再構成の例を示す図である。
【図9】通信競合が回避される例を示す図である。
【図10】管理装置の機能例を示す図である。
【図11】ジョブ管理テーブルの例を示す図である。
【図12】基準通信時間テーブルの例を示す図である。
【図13】通信性能テーブルの例を示す図である。
【図14】評価値テーブルの例を示す図である。
【図15】ジョブスケジューラの処理例を示すフローチャートである。
【図16】ノード選択処理の例を示すフローチャートである。
【図17】ノード組合せの抽出処理例を示すフローチャートである。
【図18】ノード組合せの評価処理例を示すフローチャートである。
【図19】ジョブの実行に係るトータル時間の相違の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本実施の形態について図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
【0013】
図１は、第１の実施の形態の情報処理システムを説明する図である。
情報処理システム１は、情報処理装置１０およびノード２０，２０ａ，２０ｂ，２０ｃ，２０ｄ，…を有する。情報処理装置１０およびノード２０，２０ａ，…は、管理ネットワーク３０に接続される。ノード２０，２０ａ，…は、ノード間ネットワーク４０に接続される。管理ネットワーク３０は、情報処理装置１０とノード２０，２０ａ，…との通信に用いられるネットワークである。ノード間ネットワーク４０は、ノード間の通信に用いられるネットワークである。
情報処理システム１は、情報処理装置１０およびノード２０，２０ａ，２０ｂ，２０ｃ，２０ｄ，…を有する。情報処理装置１０およびノード２０，２０ａ，…は、管理ネットワーク３０に接続される。ノード２０，２０ａ，…は、ノード間ネットワーク４０に接続される。管理ネットワーク３０は、情報処理装置１０とノード２０，２０ａ，…との通信に用いられるネットワークである。ノード間ネットワーク４０は、ノード間の通信に用いられるネットワークである。
【0014】
情報処理装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡなどの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
【0015】
ノード２０，２０ａ，…も情報処理装置１０と同様のハードウェアを有する。また、情報処理装置１０の機能は、ノード２０，２０ａ，…の何れかが備えてもよい。すなわち、ノード２０，２０ａ，…の何れかが情報処理装置１０として動作してもよい。
【0016】
情報処理システム１は、ディスアグリゲーションシステムである。すなわち、情報処理システム１は、ノード２０，２０ａ，…それぞれのリソース構成を変更可能である。情報処理装置１０は、ノード２０，２０ａ，…それぞれのリソース構成を管理し、ノード２０，２０ａ，…それぞれのリソースの再構成を制御する。リソースには、例えば、ＧＰＵ、ＦＰＧＡおよびＳＳＤなどがある。
【0017】
処理部１２は、ジョブの実行要求を受け付ける。ジョブの実行要求は、実行に要求されるノードの数と、ジョブの実行に要求されるリソースの情報と、ジョブの実行時間の情報とを含む。当該リソースの情報は、例えばＧＰＵの数やＳＳＤの容量など、ノード当たりに要求されるリソースの種類とその量とを含む。ジョブの実行時間は、当該ジョブを実行する時間である。処理部１２は、ノード２０，２０ａ，…のうち、要求された数のノードにジョブを割り当て、割り当て先のノードにジョブを実行させる。割り当て先のノードは、要求されたリソースを有するノードとなる。
【0018】
ノード２０，２０ａ，…に接続されるリソースは、例えばノード２０，２０ａ，…のグループ単位に設けられたリソースプールにプール化して管理される。リソースプールは、複数のリソースを集約して備える装置である。グループは例えば各ノードが搭載されるラック単位のグループである。例えば、あるグループに属する各ノードと当該グループに対応するリソースプールの各リソースとが、当該グループに対応するＰＣＩｅ（Peripheral Component Interconnect-Express）スイッチなどの接続装置を介して接続される。この場合、接続装置により当該グループ内で、ノードとリソースとの接続関係を変更することで、ノードにおけるリソースの再構成が行われる。なお、図１ではリソースプールや接続装置の図示は省略されている。
【0019】
ここで、要求されたリソースを有していないノードにジョブを割り当てる場合、当該ノードのリソースの再構成を要する。リソースの再構成では、例えば当該ノードで利用可能なＧＰＵ数を増やすなどの構成変更が行われる。リソースの再構成には、例えば数秒から数分の時間を要する。具体的には、ノードがホットプラグ／リムーブに対応している場合、リソースの再構成は数秒程度となる。一方、ノードがホットプラグ／リムーブに非対応でありノードの再起動を行う場合は、リソースの再構成は数分を要する。
【0020】
リソースの再構成の所要時間を示す情報は、情報処理システム１が有するノードがホットプラグ／リムーブに対応しているか否かに応じて記憶部１１に予め保持される。また、ジョブの実行要求に含まれるジョブの実行時間の情報も記憶部１１に保持される。
【0021】
処理部１２は、ノード２０，２０ａ，…において、ジョブの割り当て先の候補である第１ノードおよび第２ノードがある場合に、第１ノードおよび第２ノードのうちジョブの割り当て先のノードを次のように選択する。第１ノードは、ジョブの実行のためにリソースの再構成を要するノードである。第２ノードは、ジョブで要求されるリソースを構成済であり、ジョブの実行のためにリソースの再構成を要しないノードである。
【0022】
処理部１２は、第１ノードにジョブを割り当てる場合の再構成からジョブの完了までに要する第１時間を算出する。第１時間は、第１ノードのリソースの再構成および再構成後の第１ノードでのジョブ実行開始から実行完了までの総所要時間となる。処理部１２は、再構成時間と、再構成後のジョブの実行時間と第１ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第１係数とに基づいて第１時間を算出する。
【0023】
第１時間をＴＴｏｔａｌ１、再構成時間をＴｒｅｃｏｎｆ、ジョブの実行時間をＴｊｏｂ、第１係数をａ１とする。ａ１は１以上の実数である。第１時間ＴＴｏｔａｌ１は、例えば式（１）で計算される。
【0024】
ＴＴｏｔａｌ１＝Ｔｒｅｃｏｎｆ＋ａ１×Ｔｊｏｂ ・・・（１）
また、処理部１２は、第２ノードにジョブを割り当てる場合のジョブの完了までに要する第２時間を算出する。第２時間は、第２ノードでのジョブ実行開始から実行完了までの総所要時間となる。第２時間は、リソースの再構成時間を含まない点が第１時間と異なる。処理部１２は、第２ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第２係数とジョブの実行時間とに基づいて第２時間を算出する。
また、処理部１２は、第２ノードにジョブを割り当てる場合のジョブの完了までに要する第２時間を算出する。第２時間は、第２ノードでのジョブ実行開始から実行完了までの総所要時間となる。第２時間は、リソースの再構成時間を含まない点が第１時間と異なる。処理部１２は、第２ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第２係数とジョブの実行時間とに基づいて第２時間を算出する。
【0025】
第２時間をＴＴｏｔａｌ２、第２係数をａ２とする。ａ２は１以上の実数である。第２時間ＴＴｏｔａｌ２は、例えば式（２）で計算される。
ＴＴｏｔａｌ２＝ａ２×Ｔｊｏｂ ・・・（２）
処理部１２は、第１時間と第２時間とを比較する。処理部１２は、第１時間が第２時間よりも短い場合（ＴＴｏｔａｌ１＜ＴＴｏｔａｌ２の場合）、第１ノードにおけるリソースの再構成を行う。処理部１２は、第１時間が第２時間以上の場合（ＴＴｏｔａｌ１≧ＴＴｏｔａｌ２の場合）、第１ノードにおけるリソースの再構成を行わない。
ＴＴｏｔａｌ２＝ａ２×Ｔｊｏｂ ・・・（２）
処理部１２は、第１時間と第２時間とを比較する。処理部１２は、第１時間が第２時間よりも短い場合（ＴＴｏｔａｌ１＜ＴＴｏｔａｌ２の場合）、第１ノードにおけるリソースの再構成を行う。処理部１２は、第１時間が第２時間以上の場合（ＴＴｏｔａｌ１≧ＴＴｏｔａｌ２の場合）、第１ノードにおけるリソースの再構成を行わない。
【0026】
なお、処理部１２は、ジョブの割り当て候補である、第１ノードを含むノードの第１グループに属するノード間の通信の第１通信時間を所定の通信ベンチマークプログラムを用いて測定し、測定結果に基づいて第１係数ａ１を算出してもよい。より具体的には、処理部１２は、第１グループに属するノード数と同数のノードを用いた、通信競合がない場合におけるノードの間の基準通信時間を予め取得しておき、第１通信時間と基準通信時間との比に基づいて第１係数ａ１を算出してもよい。同様に、処理部１２は、ジョブの割り当て候補である、第２ノードを含むノードの第２グループに属するノード間の通信の第２通信時間の測定結果に基づいて第２係数ａ２を算出することができる。
【0027】
また、処理部１２は、ジョブの実行のために１ノード当たりに要求されるリソースの量に基づいて、第１係数ａ１および第２係数ａ２を算出してもよい。１ノード当たりに要求されるリソースの量が多いほど、ノードの演算量が増え、ノード間の通信量が増えると推定される。このため、処理部１２は、当該リソースの量が多いほど、第１係数ａ１および第２係数ａ２を大きくするようにしてもよい。
【0028】
処理部１２は、第１ノードにおけるリソースの再構成を行う場合、リソースの再構成を第１ノードに指示して、第１ノードに当該再構成を実行させ、要求されたジョブの割り当て先のノードを第１ノードとする。処理部１２は、第１ノードにおけるリソースの再構成を行わない場合、要求されたジョブの割り当て先のノードを、第１ノードではなく第２ノードとする。そして、処理部１２は、割り当て先のノードにジョブを実行させる。
【0029】
図１では、割り当て候補のノードの例が示されている。ジョブに要求されるノードの数は２であるとする。例えば、１つ目の候補＃１は、ノード２０ａ，２０ｂの組合せである。２つ目の候補＃２は、ノード２０ａ，２０ｃの組合せである。説明の簡単のため、ノード２０ａは、ジョブの実行のためにリソースの再構成が不要であり、ジョブの割り当て先として確定されているものとする。
【0030】
ノード２０ｂは、ジョブの実行のためにリソースの再構成を要する。すなわち、ノード２０ｂは第１ノードに相当する。ノード２０ｃは、ジョブの実行のためにリソースの再構成を要しない。すなわち、ノード２０ｃは第２ノードに相当する。
【0031】
ジョブの割り当て先としてノード２０ｂを選択する場合、例えば、ノード間ネットワーク４０において他のノード間の既存の通信との通信路の競合による通信競合が発生しないものとする。一例として、ノード２０，２０ｄが他ジョブを実行しており、ノード間ネットワーク４０の一部の通信路４１を用いて通信しているとする。ノード２０ａ，２０ｂとの通信に用いられるノード間ネットワーク４０の一部の通信路４２は、通信路４１とは別個である。このため、ノード２０，２０ｄ間の通信とノード２０ａ，２０ｂ間の通信とは競合しない。この場合、第１係数ａ１は、ａ１＝１となる。第１係数ａ１＝１は、ジョブの実行時間に対する通信競合の影響がない場合に相当する。
【0032】
一方、ジョブの割り当て先としてノード２０ｃを選択する場合、ノード間ネットワーク４０において他のノード間の既存の通信との通信路の競合による通信競合が発生するものとする。一例として、ノード２０ａ，２０ｃとがノード間ネットワーク４０の通信路４１を用いて通信することになり、ノード２０，２０ｄの既存の通信の通信路４１で通信競合が発生するものとする。この場合、第２係数ａ２は、ａ２＞１となる。
【0033】
ａ１＝１またはａ１が１近傍の場合、第１時間ＴＴｏｔａｌ１は、再構成時間Ｔｒｅｃｏｎｆの影響を受け易い。一方、第２時間ＴＴｏｔａｌ２は、第２係数ａ２の影響を受け易い。このため、再構成時間Ｔｒｅｃｏｎｆが比較的短く、第２係数ａ２が比較的大きい場合、ＴＴｏｔａｌ１＜ＴＴｏｔａｌ２となる。この場合、ノード２０ｂの再構成を行い、ノード２０ｂにジョブを割り当てた方がジョブの実行完了までの遅延を低減できる。一方、再構成時間Ｔｒｅｃｏｎｆが比較的長く、第２係数ａ２が比較的小さい場合、ＴＴｏｔａｌ２≦ＴＴｏｔａｌ１となる。この場合、ノード２０ｂの再構成を行わずにノード２０ｃにジョブを割り当てた方がジョブの実行完了までの遅延を低減できる。
【0034】
なお、上記の例では、ａ１＝１を例示したが、ａ１＞１の場合も、処理部１２は、Ｔｒｅｃｏｎｆとａ１とａ２とを用いたジョブ実行の総所要時間を評価し、当該評価結果を基に、リソースの再構成を行うか否かを判定し得る。
【0035】
以上説明したように、情報処理装置１０によれば、第１ノードのリソースの再構成に要する再構成時間Ｔｒｅｃｏｎｆと、ジョブの実行時間Ｔｊｏｂと、第１係数ａ１とに基づいて、第１時間ＴＴｏｔａｌ１が算出される。第１係数ａ１は、第１ノードによるジョブの実行時の通信に伴う通信競合の、実行時間Ｔｊｏｂに対する影響を表す。また、第２係数ａ２とジョブの実行時間Ｔｊｏｂとに基づいて、第２時間ＴＴｏｔａｌ２が算出される。第２係数ａ２は、第２ノードによるジョブの実行時の通信に伴う通信競合の、実行時間Ｔｊｏｂに対する影響を表す。そして、第１時間ＴＴｏｔａｌ１と第２時間ＴＴｏｔａｌ２とが比較される。第１時間ＴＴｏｔａｌ１が第２時間ＴＴｏｔａｌ２よりも短い場合は第１ノードにおけるリソースの再構成が行われる。第１時間ＴＴｏｔａｌ１が第２時間ＴＴｏｔａｌ２以上の場合は第１ノードにおけるリソースの再構成が行われない。
【0036】
これにより、情報処理装置１０は、通信競合の影響を考慮して、リソースの再構成を行うか否かを適切に決定できる。また、情報処理装置１０は、リソースの再構成時間と通信競合の影響を考慮することにより、ジョブの実行完了までの所要時間が短くなるように、当該ジョブの割り当て先のノードの選択が可能になる。
【0037】
【0038】
情報処理システム２は、管理装置１００およびノード２００，２００ａ，２００ｂ，…を有する。情報処理システム２は、ノード２００，２００ａ，２００ｂ，…それぞれのハードウェアのリソースの構成を変更可能なディスアグリゲーションシステムである。管理装置１００およびノード２００，２００ａ，２００ｂ，…は、管理ネットワーク５０に接続される。ノード２００，２００ａ，２００ｂ，…は、ノード間ネットワーク６０に接続される。管理ネットワーク５０は、例えばイーサネット（登録商標）のネットワークである。ノード間ネットワーク６０は、例えばＩｎｆｉｎｉＢａｎｄのネットワークである。ただし、ノード間ネットワーク６０はイーサネットなどの他の種類のネットワークでもよい。
【0039】
管理装置１００は、ジョブの実行要求を受け付け、実行要求に基づいてノード２００，２００ａ，２００ｂ，…に対するジョブの割り当てを制御するサーバコンピュータである。ジョブの実行要求は、ジョブの実行に要するノード数、ノードごとに要するハードウェアのリソース量およびジョブの実行時間の情報を含む。管理装置１００は、ジョブの割り当ての必要に応じてノード２００，２００ａ，２００ｂ，…のリソースの再構成を制御する。管理装置１００は、第１の実施の形態の情報処理装置１０の一例である。
【0040】
ノード２００，２００ａ，２００ｂ，…は、割り当てられたジョブを実行するサーバコンピュータである。ノード２００，２００ａ，２００ｂ，…は、ノード間ネットワーク６０を介して通信可能である。例えば、２つのノードを用いて、あるジョブを実行する場合、当該２つのノードは、ノード間ネットワーク６０を介して相互に通信しながら、ジョブを実行する。
【0041】
図３は、管理装置のハードウェア例を示す図である。
管理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。管理装置１００が有するこれらのユニットは、管理装置１００の内部でバスに接続されている。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。
管理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。管理装置１００が有するこれらのユニットは、管理装置１００の内部でバスに接続されている。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。
【0042】
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。なお、ＣＰＵ１０１は複数のプロセッサコアを含んでもよい。また、管理装置１００は複数のプロセッサを有してもよい。以下で説明する処理は複数のプロセッサまたはプロセッサコアを用いて並列に実行されてもよい。また、複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
【0043】
ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムやＣＰＵ１０１が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、管理装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。
【0044】
ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性の記憶装置である。なお、管理装置１００は、フラッシュメモリやＳＳＤなどの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。
【0045】
ＧＰＵ１０４は、ＣＰＵ１０１からの命令に従って、管理装置１００に接続されたディスプレイ１１１に画像を出力する。ディスプレイ１１１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイなど、任意の種類のディスプレイを用いることができる。
【0046】
入力インタフェース１０５は、管理装置１００に接続された入力デバイス１１２から入力信号を取得し、ＣＰＵ１０１に出力する。入力デバイス１１２としては、マウス、タッチパネル、タッチパッド、トラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、管理装置１００に、複数の種類の入力デバイスが接続されていてもよい。
【0047】
媒体リーダ１０６は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、例えば、磁気ディスク、光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）が含まれる。
【0048】
媒体リーダ１０６は、例えば、記録媒体１１３から読み取ったプログラムやデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、ＣＰＵ１０１によって実行される。なお、記録媒体１１３は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体１１３やＨＤＤ１０３を、コンピュータ読み取り可能な記録媒体と言うことがある。
【0049】
通信インタフェース１０７は、管理ネットワーク５０に接続され、管理ネットワーク５０を介してノード２００，２００ａ，２００ｂ，…を含む他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
【0050】
ノード２００，２００ａ，２００ｂ，…も、管理装置１００と同様のハードウェアにより実現される。ノード２００，２００ａ，２００ｂ，…は、管理ネットワーク５０だけでなくノード間ネットワーク６０にも接続されるため、ノード間ネットワーク６０に接続する通信インタフェースも有する。
【0051】
図４は、ノード間の接続例を示す図である。
各ノードは、ラックＲ１，Ｒ２，Ｒ３，Ｒ４の何れかに搭載される。例えば、ラックＲ１には、全ノードのうちのノード２００，２００ａを含む一部のノードが搭載される。ラックＲ２には、全ノードのうちのノード２００ｍ，２００ｎを含む一部のノードが搭載される。図示を省略しているが、ラックＲ３，Ｒ４にも全ノードのうちの一部のノードが搭載される。
各ノードは、ラックＲ１，Ｒ２，Ｒ３，Ｒ４の何れかに搭載される。例えば、ラックＲ１には、全ノードのうちのノード２００，２００ａを含む一部のノードが搭載される。ラックＲ２には、全ノードのうちのノード２００ｍ，２００ｎを含む一部のノードが搭載される。図示を省略しているが、ラックＲ３，Ｒ４にも全ノードのうちの一部のノードが搭載される。
【0052】
また、ラックＲ１，Ｒ２，Ｒ３，Ｒ４それぞれは、リソースプールを有する。リソースプールは、ハードウェアのリソースを集約して備える装置である。第２の実施の形態では、当該リソースとしてＧＰＵを例示する。ただし、リソースプールにプール化されるリソースは、ＦＰＧＡやＳＳＤなどの他の種類のハードウェアを含んでもよい。例えば、ラックＲ１はリソースプール３００を有する。ラックＲ２はリソースプール３００ａを有する。図示を省略しているが、ラックＲ３，Ｒ４にもリソースプールが搭載される。
【0053】
同一ラック内のノード間は、当該ラックに搭載されたノード間接続スイッチにより接続される。また、同一ラック内のノードとリソースプールとは、当該ラックに搭載されたＰＣＩｅスイッチにより接続される。例えば、ラックＲ１は、ノード間接続スイッチ６１およびＰＣＩｅスイッチ７１を有する。ノード間接続スイッチ６１は、ラックＲ１に搭載されたノード２００，２００ａ，…を接続する。ＰＣＩｅスイッチ７１は、ラックＲ１に搭載されたノード２００，２００ａ，…とリソースプール３００とを接続する。また、ラックＲ２は、ノード間接続スイッチ６２およびＰＣＩｅスイッチ７２を有する。ノード間接続スイッチ６２は、ラックＲ２に搭載されたノード２００ｍ，２００ｎ，…を接続する。また、ＰＣＩｅスイッチ７２は、ラックＲ２に搭載されたノード２００ｍ，２００ｎ，…とリソースプール３００ａとを接続する。図示を省略しているが、ラックＲ３，Ｒ４にもノード間接続スイッチおよびＰＣＩｅスイッチが搭載される。
【0054】
ノード間接続スイッチ６１，６２を含む、各ラックのノード接続スイッチは、上位スイッチ６５，６６，６７，６８に接続される。上位スイッチ６５，６６，６７，６８によりラック間を跨ぐノード間の通信が可能となる。ノード間接続スイッチ６１，６２を含む、各ラックのノード接続スイッチ、および、上位スイッチ６５，６６，６７，６８は、何れもＩｎｆｉｎｉＢａｎｄのスイッチであり、ノード間ネットワーク６０を形成する。
【0055】
ノード間ネットワーク６０のトポロジは、例えばＦａｔＴｒｅｅである。具体的には、各ノード間接続スイッチにおけるノードに接続するリンクの数と当該ノード間接続スイッチの上位スイッチ側のリンクの数が等しい構成となっている。あるノードから他ラックの通信相手ノードへのパケットの送信に用いる上位スイッチ側のリンクを通信相手ノードに応じて使い分けることで、各リンクの使用量をバランスする。ただし、ノード間ネットワーク６０のトポロジは、ＦａｔＴｒｅｅ以外のトポロジでもよい。ここで、リンクは、ノード間ネットワーク６０に含まれる通信路である。
【0056】
図５は、ラック内のノードとリソースプールとの接続例を示す図である。
ノード２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３およびＮＩＣ（Network Interface Card）２０４を有する。ノード２００ａは、ＣＰＵ２０１ａ、ＲＡＭ２０２ａ、ＨＤＤ２０３ａおよびＮＩＣ２０４ａを有する。ＮＩＣ２０４，２０４ａは、ノード間接続スイッチ６１と接続する通信インタフェースである。ラックＲ１における他のノードもノード２００，２００ａと同様のハードウェアを有する。また、ＣＰＵ２０１，２０１ａを含む、ラックＲ１の各ノードのＣＰＵは、ＰＣＩｅスイッチ７１に接続される。ＰＣＩｅスイッチ７１は、ＣＰＵ２０１，２０１ａを含む、ラックＲ１の各ノードのＣＰＵをルートコンプレックスとして認識し、リソースプール３００に含まれる、エンドポイントのデバイスであるＧＰＵ３０１，３０２，…と接続する。ＰＣＩｅスイッチ７１は、ノードからの指示に応じて、ラックＲ１の各ノードのＣＰＵと、リソースプール３００のＧＰＵ３０１，３０２，…との接続関係を変更する。
ノード２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３およびＮＩＣ（Network Interface Card）２０４を有する。ノード２００ａは、ＣＰＵ２０１ａ、ＲＡＭ２０２ａ、ＨＤＤ２０３ａおよびＮＩＣ２０４ａを有する。ＮＩＣ２０４，２０４ａは、ノード間接続スイッチ６１と接続する通信インタフェースである。ラックＲ１における他のノードもノード２００，２００ａと同様のハードウェアを有する。また、ＣＰＵ２０１，２０１ａを含む、ラックＲ１の各ノードのＣＰＵは、ＰＣＩｅスイッチ７１に接続される。ＰＣＩｅスイッチ７１は、ＣＰＵ２０１，２０１ａを含む、ラックＲ１の各ノードのＣＰＵをルートコンプレックスとして認識し、リソースプール３００に含まれる、エンドポイントのデバイスであるＧＰＵ３０１，３０２，…と接続する。ＰＣＩｅスイッチ７１は、ノードからの指示に応じて、ラックＲ１の各ノードのＣＰＵと、リソースプール３００のＧＰＵ３０１，３０２，…との接続関係を変更する。
【0057】
ここで、管理装置１００は、ジョブの割り当て要求を受け付けると、現在ジョブを未割り当てである空きノードをジョブの割り当て候補とする。
図６は、ジョブの割り当て候補となる空きノードの例を示す図である。
図６は、ジョブの割り当て候補となる空きノードの例を示す図である。
【0058】
各ノードは、ノード番号により識別される。例えば、ノード２００のノード番号は「０」であり、ノード２００ａのノード番号は「１」である。以下では、ノード番号ｎのノードを、ノード「ｎ」のように表記する。１つのラックに搭載されるノードの数は４とする。すなわち、１つのノード間接続スイッチには４つのノードが接続される。また、ラックの総数は４であり、ノードの総数は１６とする。
【0059】
この場合、ノード間ネットワーク６０におけるＦａｔＴｒｅｅのトポロジでは、１つのノード間接続スイッチに対して、上位スイッチ６５，６６，６７，６８それぞれと接続する４つのリンクが存在する。ここで、ノード間接続スイッチ６３はラックＲ３に搭載される。ノード間接続スイッチ６４はラックＲ４に搭載される。
【0060】
ノード間接続スイッチ６１には、ノード「０」～「３」が接続される。ノード間接続スイッチ６２には、ノード「４」～「７」が接続される。ノード間接続スイッチ６３には、ノード「８」～「１１」が接続される。ノード間接続スイッチ６４には、ノード「１２」～「１５」が接続される。
【0061】
図中、黒丸で示されるノード「３」、「４」、「７」、「８」～「１５」は、ジョブ割り当て済のノードである。ジョブ割り当て済のノードは、先行するジョブを割り当て済で、当該ジョブを実行中であり、新たなジョブの割り当て候補からは除外される。白丸で示されるノード「０」～「２」、「５」、「６」は、ジョブ未割り当てのノードである。ジョブ未割り当てのノードは、新たなジョブの割り当て候補となる。更に、図中、ノードに接続された、「Ｇ」の文字が付された長方形は、当該ノードに接続されているＧＰＵを示す。
【0062】
例えば、４つのノード、および、１ノード当たりＧＰＵ１個を要求するジョブへのノード割り当てを行う場合に、管理装置１００は、ノード「０」、「１」、「２」、「５」、「６」から４つを選択するノードの組合せを、ジョブの割り当て先のノードの組合せ候補とする。なお、ノードの組合せは、ノード群と言われてもよい。
【0063】
このように、管理装置１００は、ラックを跨いでジョブの割り当て先の候補のノードを選択できる。このとき、他のラックにおける割り当て先のノードの選択によっては、ジョブ実行時にノード間ネットワーク６０の一部のリンクで通信競合が発生することがある。
【0064】
図７は、通信競合が発生する例を示す図である。
図７では、ノード間接続スイッチ６１，６２，６３，６４と、上位スイッチ６５，６６，６７，６８とを結ぶ線によって、スイッチ間のリンクが示されている。リンクに記載されている、例えば「４，８，１２」などの数字は通信相手のノード番号であり、ノード間接続スイッチ６１側から、当該ノード番号のノードと通信する場合に選択されるリンクを表す。
図７では、ノード間接続スイッチ６１，６２，６３，６４と、上位スイッチ６５，６６，６７，６８とを結ぶ線によって、スイッチ間のリンクが示されている。リンクに記載されている、例えば「４，８，１２」などの数字は通信相手のノード番号であり、ノード間接続スイッチ６１側から、当該ノード番号のノードと通信する場合に選択されるリンクを表す。
【0065】
例えば、ノード「１」がノード「５」と通信し、ノード「３」がノード「９」と通信する場合、ノード間接続スイッチ６１と上位スイッチ６６とを結ぶ同一のリンクが使用される。当該リンクの帯域が共有して使用されることで、通信競合による性能低下が発生する場合がある。この問題は、ＦａｔＴｒｅｅ以外のトポロジでも発生し得る。
【0066】
ところで、ノードに対するＧＰＵの接続構成は変更可能である。
図８は、ノードのリソースの再構成の例を示す図である。
図８（Ａ）は、ノード「５」に接続されるＧＰＵを、ノード「６」に接続し直す再構成の例を示す。図８（Ｂ）は、リソースプール３００ａにおいて使用されていないＧＰＵをノード「６」に接続する再構成の例を示す。
図８は、ノードのリソースの再構成の例を示す図である。
図８（Ａ）は、ノード「５」に接続されるＧＰＵを、ノード「６」に接続し直す再構成の例を示す。図８（Ｂ）は、リソースプール３００ａにおいて使用されていないＧＰＵをノード「６」に接続する再構成の例を示す。
【0067】
例えば、各リソースプールにおけるリソースの管理では、ＧＰＵなどのリソースの使用後はリソースプールに返却する方法や、構成変更が必要となるまでそのままとする方法がある。前者の場合、ジョブの割り当て先のノードに対して、要求されたＧＰＵ数に応じてリソースプールのＧＰＵを接続すればよい。後者の場合、図８（Ａ）のように、必要に応じてノード「５」に接続されたＧＰＵを、ノード「６」に接続し直してもよい。あるいは、図８（Ｂ）のように、リソースプール３００ａに空きＧＰＵがある場合、ノード「５」へのＧＰＵの既存の接続を維持して、当該空きＧＰＵをノード「６」に接続してもよい。
【0068】
このように、情報処理システム２では、ノードにおけるＧＰＵの再構成によりジョブに要求されるＧＰＵを備えたノードを用意することが可能である。当該再構成により図７で例示される通信競合を回避できることがある。
【0069】
図９は、通信競合が回避される例を示す図である。
図８（Ａ）および図８（Ｂ）の何れかの再構成によりノード「６」にＧＰＵを接続することで、管理装置１００は、ノード「６」をジョブの割り当て先とすることができる。ノード「５」ではなく、ノード「６」をジョブ実行に使用することで、例えばノード「１」とノード「６」との通信ではノード間接続スイッチ６１と上位スイッチ６７とを結ぶリンクが使用される。ノード間接続スイッチ６１と上位スイッチ６７とを結ぶリンクは、ノード「３」がノード「９」と通信するときに用いられる、ノード間接続スイッチ６１と上位スイッチ６６とを結ぶリンクとは異なり、通信競合が回避される。
図８（Ａ）および図８（Ｂ）の何れかの再構成によりノード「６」にＧＰＵを接続することで、管理装置１００は、ノード「６」をジョブの割り当て先とすることができる。ノード「５」ではなく、ノード「６」をジョブ実行に使用することで、例えばノード「１」とノード「６」との通信ではノード間接続スイッチ６１と上位スイッチ６７とを結ぶリンクが使用される。ノード間接続スイッチ６１と上位スイッチ６７とを結ぶリンクは、ノード「３」がノード「９」と通信するときに用いられる、ノード間接続スイッチ６１と上位スイッチ６６とを結ぶリンクとは異なり、通信競合が回避される。
【0070】
通信競合は、ジョブの実行完了までの遅延に影響する。一方、通信競合を回避するためにリソースの再構成を行うとしても、当該再構成には時間を要し、ジョブの実行完了までの遅延に影響する。再構成に要する時間、すなわち、再構成時間は、例えば、ノードがホットプラグ／リムーブに対応しているか否かにより予め定められる。ホットプラグ／リムーブは、ノードの再起動を行わずに、ＧＰＵなどのリソースの接続を変更可能にする機能である。例えば、ノードがホットプラグ／リムーブに対応している場合、ＧＰＵの再構成は数秒程度となる。一方、ノードがホットプラグ／リムーブに非対応でありノードの再起動を行う場合は、ＧＰＵの再構成は数分を要する。
【0071】
そこで、管理装置１００は、通信競合を考慮して、リソースの再構成を行うか否かを決定し、ジョブに対するノードの割り当てを行うことで、ジョブを効率的に実行可能にする機能を提供する。
【0072】
図１０は、管理装置の機能例を示す図である。
管理装置１００は、記憶部１２０およびジョブスケジューラ１３０を有する。記憶部１２０には、ＲＡＭ１０２やＨＤＤ１０３の記憶領域が用いられる。ジョブスケジューラ１３０は、ＲＡＭ１０２に記憶されたプログラムがＣＰＵ１０１により実行されることで実現される。
管理装置１００は、記憶部１２０およびジョブスケジューラ１３０を有する。記憶部１２０には、ＲＡＭ１０２やＨＤＤ１０３の記憶領域が用いられる。ジョブスケジューラ１３０は、ＲＡＭ１０２に記憶されたプログラムがＣＰＵ１０１により実行されることで実現される。
【0073】
記憶部１２０は、ジョブスケジューラ１３０の処理に用いられる情報を記憶する。記憶部１２０に記憶される情報は、ジョブ管理テーブル１２１、基準通信時間テーブル１２２、通信性能テーブル１２３、および、評価値テーブル１２４を含む。
【0074】
ジョブ管理テーブル１２１は、ジョブに要求されるノード数、ノード当たりＧＰＵ数およびジョブの実行時間などのジョブ情報を保持するテーブルである。
基準通信時間テーブル１２２は、通信ベンチマーク測定による通信競合の有無の判定に用いられる基準通信時間を保持するテーブルである。基準通信時間は、システムの運用開始前に予め計測され、基準通信時間テーブル１２２に登録される。通信ベンチマーク測定は、所定の通信ベンチマークプログラムを、対象の各ノードに短時間だけ実行させて、ノード間の通信時間を計測することで行われる。
基準通信時間テーブル１２２は、通信ベンチマーク測定による通信競合の有無の判定に用いられる基準通信時間を保持するテーブルである。基準通信時間は、システムの運用開始前に予め計測され、基準通信時間テーブル１２２に登録される。通信ベンチマーク測定は、所定の通信ベンチマークプログラムを、対象の各ノードに短時間だけ実行させて、ノード間の通信時間を計測することで行われる。
【0075】
通信性能テーブル１２３は、ジョブを割り当てるノードの組合せ候補ごとの通信性能の測定結果の情報を保持するテーブルである。ノードの組合せ候補ごとの通信性能は、当該組合せ候補に対する通信ベンチマーク測定により取得される。
【0076】
評価値テーブル１２４は、ジョブを割り当てるノードの組合せ候補ごとのジョブ完了までのトータル時間の評価値を保持するテーブルである。トータル時間の評価には、通信性能テーブル１２３の情報に加え、ノードでＧＰＵの再構成を行う場合には再構成時間も考慮される。
【0077】
なお、記憶部１２０は、上記の情報に加えて、各ノードが搭載されているラックや、各ノードに対するジョブの割り当て状況や、各ノードに接続されているＧＰＵの数などの情報を保持する。
【0078】
ジョブスケジューラ１３０は、ジョブに対するノード２００，２００ａ，２００ｂ，…の割り当てを行い、割り当てたノードに当該ジョブを実行させる。ジョブスケジューラ１３０は、ジョブ情報取得部１３１、ノード割り当て部１３２およびノード選択部１３３を有する。
【0079】
ジョブ情報取得部１３１は、ジョブの実行要求の入力を受け付ける。ジョブの実行要求は、例えば管理ネットワーク５０に接続されたクライアント装置から管理装置１００に入力される。ジョブ情報取得部１３１は、実行要求に含まれる、ジョブに要求されるノード数、ノード当たりＧＰＵ数およびジョブの実行時間などのジョブ情報を取得し、ジョブ管理テーブル１２１に登録する。
【0080】
ノード割り当て部１３２は、ジョブ情報取得部１３１がジョブ情報を受け付けると、ジョブ情報に基づいて、ジョブに割り当てるノードの選択をノード選択部１３３に依頼する。ノード割り当て部１３２は、割り当てるノードの選択結果をノード選択部１３３から取得し、割り当て先のノードに当該ジョブを割り当てる。すなわち、ノード割り当て部１３２は、割り当て先のノードに当該ジョブの実行を指示する。
【0081】
ノード選択部１３３は、ノード割り当て部１３２によるノードの選択の依頼に応じて、当該ジョブに割り当てるノードを選択する。ノード選択部１３３は、ノード組合せ抽出部１３３ａおよび評価部１３３ｂを有する。
【0082】
ノード組合せ抽出部１３３ａは、ジョブに割り当てるノードの組合せを抽出する。具体的には、まず、ノード組合せ抽出部１３３ａは、空きノードの中からジョブに割り当てるノードの組合せ候補を抽出する。ノード組合せ抽出部１３３ａは、抽出した組合せ候補に対するジョブの実行完了までのトータル時間の評価を、評価部１３３ｂに依頼する。
【0083】
ここで、トータル時間は、ノードにおけるＧＰＵの再構成開始からジョブの実行完了までの時間である。トータル時間は、ノードにおけるＧＰＵの再構成時間と、再構成後のジョブの実行時間との合計となる。ただし、ＧＰＵの再構成が不要な場合、再構成時間＝０となる。
【0084】
そして、ノード組合せ抽出部１３３ａは、評価部１３３ｂによる評価で得られたトータル時間の評価値が最も良い組合せ候補を、ジョブに割り当てるノードの組合せとして決定する。ノード組合せ抽出部１３３ａは、決定したノードの組合せを、ノード割り当て部１３２に応答する。
【0085】
評価部１３３ｂは、ノード組合せ抽出部１３３ａの依頼に応じて、ノードの組合せ候補に対するジョブのトータル時間の評価を行う。トータル時間の評価では、評価部１３３ｂは、組合せ候補ごとのジョブ実行に係るトータル時間を算出する。ジョブの実行時間には、通信競合の影響が考慮される。通信競合の影響の有無は、比較的短時間で実行される所定の通信ベンチマーク測定により判定される。
【0086】
評価部１３３ｂは、通信ベンチマーク測定の結果を、通信性能テーブル１２３に登録する。また、評価部１３３ｂは、基準通信時間テーブル１２２および通信性能テーブル１２３に基づいて、ノードの組合せ候補ごとのトータル時間を算出し、評価値テーブル１２４に登録する。
【0087】
ここで、評価部１３３ｂはトータル時間を次の式（３）により算出する。
ＴＴｏｔａｌ＝Ｔｒｅｃｏｎｆ＋α×β×Ｔｊｏｂ ・・・（３）
ＴＴｏｔａｌは、トータル時間である。ＴＴｏｔａｌは、トータル時間の評価値と言われてもよい。Ｔｒｅｃｏｎｆは、ノードにおけるＧＰＵの再構成時間である。Ｔｒｅｃｏｎｆは、ノードのホットプラグ／リムーブの対応状況に応じて評価部１３３ｂに予め与えられる。Ｔｊｏｂは、ジョブ実行時間の本体である。再構成不要の場合、Ｔｒｅｃｏｎｆ＝０である。Ｔｊｏｂには、ユーザにより入力されるジョブ実行時のジョブ実行時間上限値が使用される。なお、ＴＴｏｔａｌ、ＴｒｅｃｏｎｆおよびＴｊｏｂの単位は、例えば秒である。
ＴＴｏｔａｌ＝Ｔｒｅｃｏｎｆ＋α×β×Ｔｊｏｂ ・・・（３）
ＴＴｏｔａｌは、トータル時間である。ＴＴｏｔａｌは、トータル時間の評価値と言われてもよい。Ｔｒｅｃｏｎｆは、ノードにおけるＧＰＵの再構成時間である。Ｔｒｅｃｏｎｆは、ノードのホットプラグ／リムーブの対応状況に応じて評価部１３３ｂに予め与えられる。Ｔｊｏｂは、ジョブ実行時間の本体である。再構成不要の場合、Ｔｒｅｃｏｎｆ＝０である。Ｔｊｏｂには、ユーザにより入力されるジョブ実行時のジョブ実行時間上限値が使用される。なお、ＴＴｏｔａｌ、ＴｒｅｃｏｎｆおよびＴｊｏｂの単位は、例えば秒である。
【0088】
αは、ジョブ実行時間Ｔｊｏｂに対する通信競合の影響を表す係数である。αは、短時間で実行が完了する通信ベンチマークプログラムによる通信時間の測定結果の、基準通信時間（通信競合の影響がないときの値）に対する倍率となる。基準通信時間は、各ノードにジョブ割り当てがされていない状態（通信競合がない状態）で当該通信ベンチマークプログラムを用いて事前に取得された基準の通信時間である。具体的には、α＝（通信ベンチマークにより測定した通信時間）／基準通信時間である。なお、実際に実行されるジョブは通信ベンチマークプログラムとは異なり、通信以外の演算処理を含む。このため、αは、基準通信時間に対する倍率そのものでなくてもよく、基準通信時間に対する倍率を調整した値でもよい。例えば、当該倍率を更に０．５倍した値をαとするなど、影響を小さくする調整方法が考えられる。
【0089】
βは、ジョブ実行時間Ｔｊｏｂに対する通信競合の影響を表す係数である。βは、実行するジョブのノード当たりＧＰＵ数に応じた通信競合の影響を示す。ジョブのノード当たりＧＰＵ数が多いほど、ノード間通信が多く発生し、ジョブ実行時間への影響も大きいと考えられるためである。
【0090】
例えば、ノード当たりＧＰＵ数をＮＧとすると、β＝１＋（１／８）×ＮＧである。
この場合、ノード当たりＧＰＵ数＝１では、β＝１．１となる。ノード当たりＧＰＵ数＝４では、β＝１．５となる。ＮＧに乗じる係数（１／８）の分母の定数は、例えば、ノード当たりに構成可能な最大のＧＰＵ数としてもよい。当該分母の定数は、事前に決定される。なお、（通信ベンチマーク測定で計測した通信時間）／基準通信時間≦１の場合は、通信競合の影響がない場合であり、評価部１３３ｂは、α＝１、β＝１とする。
この場合、ノード当たりＧＰＵ数＝１では、β＝１．１となる。ノード当たりＧＰＵ数＝４では、β＝１．５となる。ＮＧに乗じる係数（１／８）の分母の定数は、例えば、ノード当たりに構成可能な最大のＧＰＵ数としてもよい。当該分母の定数は、事前に決定される。なお、（通信ベンチマーク測定で計測した通信時間）／基準通信時間≦１の場合は、通信競合の影響がない場合であり、評価部１３３ｂは、α＝１、β＝１とする。
【0091】
式（３）のα×βで表される係数は、第１の実施の形態の第１係数ａ１および第２係数ａ２に相当する。
図１１は、ジョブ管理テーブルの例を示す図である。
図１１は、ジョブ管理テーブルの例を示す図である。
【0092】
ジョブ管理テーブル１２１は、ジョブ番号、プログラム名、ノード数、ノード当たりＧＰＵ数および実行時間の項目を含む。ジョブ番号の項目には、ジョブの識別番号であるジョブ番号が登録される。プログラム名の項目には、ジョブのプログラム名が登録される。ノード数の項目には、ジョブの実行に要求されるノード数が登録される。ノード当たりＧＰＵ数の項目には、ジョブの実行に要求されるノード当たりＧＰＵ数が登録される。実行時間の項目には、ユーザにより実行要求で指定されたジョブの実行時間の上限値が登録される。
【0093】
例えば、ジョブ管理テーブル１２１は、ジョブ番号「１」、プログラム名「Ａ」、ノード数「２」、ノード当たりＧＰＵ数「１」、実行時間「１：００：００」のレコードを有する。当該レコードはジョブ番号「１」のジョブのプログラム名が「Ａ」、要求されるノード数が「２」、要求されるノード当たりＧＰＵ数が「１」、ジョブの実行時間の上限が「１：００：００」（１時間０分０秒）であることを示す。なお、ジョブの実行要求で指定されるジョブの実行時間は、通信競合の影響が考慮されていない。ジョブの実行時間は、実際のジョブ実行時の通信競合の影響により延びることがある。
【0094】
ジョブ管理テーブル１２１には、他のジョブ番号のレコードも登録される。
図１２は、基準通信時間テーブルの例を示す図である。
基準通信時間テーブル１２２は、ノード数および基準通信時間（ｍｓｅｃ）の項目を含む。ノード数の項目には、ジョブを割り当てるノードの数が登録される。基準通信時間の項目には、基準通信時間が登録される。基準通信時間は、ノード間の通信において、通信競合が発生すると判定するための基準となる時間である。ノード数ごとの基準通信時間は、システムの運用開始前に通信ベンチマーク測定により予め取得され、基準通信時間テーブル１２２に登録される。基準通信時間の単位はｍｓｅｃ（ミリ秒）である。
図１２は、基準通信時間テーブルの例を示す図である。
基準通信時間テーブル１２２は、ノード数および基準通信時間（ｍｓｅｃ）の項目を含む。ノード数の項目には、ジョブを割り当てるノードの数が登録される。基準通信時間の項目には、基準通信時間が登録される。基準通信時間は、ノード間の通信において、通信競合が発生すると判定するための基準となる時間である。ノード数ごとの基準通信時間は、システムの運用開始前に通信ベンチマーク測定により予め取得され、基準通信時間テーブル１２２に登録される。基準通信時間の単位はｍｓｅｃ（ミリ秒）である。
【0095】
例えば、あるジョブを２つのノードに割り当てて、当該ノード間での通信ベンチマーク測定で得られる通信時間が基準通信時間以下の場合、通信競合なしと判定される。一方、当該ノード間での通信ベンチマーク測定で得られる通信時間が基準通信時間より長い場合、通信競合ありと判定される。
【0096】
例えば、基準通信時間テーブル１２２は、ノード数「２」、基準通信時間「４．７０」のレコードを有する。当該レコードは、ジョブを２つのノードで実行する場合、当該２つのノードの基準通信時間が４．７０ｍｓｅｃであることを示す。
【0097】
基準通信時間テーブル１２２には、ノード数「３」の場合など、他のノード数に対するレコードも登録される。なお、例えば３以上のノードでのノード間の通信時間（基準通信時間も含む）は、それらノードを用いた通信ベンチマーク測定において得られた２つのノード間の通信時間の平均でもよいし、最大の通信時間でもよいし、最小の通信時間でもよい。
【0098】
図１３は、通信性能テーブルの例を示す図である。
通信性能テーブル１２３は、項番、組合せ、通信時間（ｍｓｅｃ）および基準に対する倍率の項目を含む。項番の項目には、レコードの識別番号である項番が登録される。組合せの項目には、ジョブに割り当てるノードの組合せ候補が登録される。通信時間の項目には、当該ノードの組合せに対する通信ベンチマーク計測に得られた通信時間が登録される。通信時間の単位はｍｓｅｃである。基準に対する倍率の項目には、基準通信時間に対する通信時間の倍率（＝通信時間÷基準通信時間）が登録される。当該倍率は、式（３）のαに相当する。
通信性能テーブル１２３は、項番、組合せ、通信時間（ｍｓｅｃ）および基準に対する倍率の項目を含む。項番の項目には、レコードの識別番号である項番が登録される。組合せの項目には、ジョブに割り当てるノードの組合せ候補が登録される。通信時間の項目には、当該ノードの組合せに対する通信ベンチマーク計測に得られた通信時間が登録される。通信時間の単位はｍｓｅｃである。基準に対する倍率の項目には、基準通信時間に対する通信時間の倍率（＝通信時間÷基準通信時間）が登録される。当該倍率は、式（３）のαに相当する。
【0099】
通信性能テーブル１２３の例では、図６で例示したノード「０」、「１」、「２」、「５」、「６」から４つを選択するノードの組合せ候補に対する、評価部１３３ｂによる通信性能の計測結果が示されている。
【0100】
例えば、通信性能テーブル１２３は、項番「１」、組合せ「０，１，２，５」、通信時間「５．３０」、基準に対する倍率「１．０８」のレコードを有する。当該レコードは、ノードの組合せ候補であるノード「０」、「１」、「２」、「５」での通信ベンチマーク計測で得られたノード間の通信時間が５．３０ｍｓｅｃであり、ノード数「４」の基準通信時間に対する通信時間の倍率αが１．０８であることを示す。倍率α＝１．０８は、基準通信時間テーブル１２２におけるノード数「４」の基準通信時間４．９０ｍｓｅｃを用いて、α＝５．３０÷４．９０＝１．０８と計算される。
【0101】
通信性能テーブル１２３には、他の組合せ候補に対するレコードも登録される。
図１４は、評価値テーブルの例を示す図である。
評価値テーブル１２４は、項番、組合せ、基準に対する倍率および評価値の項目を含む。項番の項目には、レコードの識別番号である項番が登録される。組合せの項目には、ジョブに割り当てるノードの組合せ候補が登録される。基準に対する倍率の項目には、基準通信時間に対する通信時間の倍率αが登録される。評価値の項目には、評価部１３３ｂにより式（３）を用いて計算されたＴＴｏｔａｌが登録される。
図１４は、評価値テーブルの例を示す図である。
評価値テーブル１２４は、項番、組合せ、基準に対する倍率および評価値の項目を含む。項番の項目には、レコードの識別番号である項番が登録される。組合せの項目には、ジョブに割り当てるノードの組合せ候補が登録される。基準に対する倍率の項目には、基準通信時間に対する通信時間の倍率αが登録される。評価値の項目には、評価部１３３ｂにより式（３）を用いて計算されたＴＴｏｔａｌが登録される。
【0102】
評価値テーブル１２４には、図６で例示した４ノード（ノード当たりＧＰＵ数１）を用いるジョブに対するＴＴｏｔａｌの計算結果が示されている。一例として、Ｔｊｏｂ＝３６００秒、Ｔｒｅｃｏｎｆ＝１５０である。ノード「０」、「１」、「２」、「５」の組合せでは、ＧＰＵの再構成不要である。
【0103】
例えば、評価値テーブル１２４は、項番「１」、組合せ「０，１，２，５」、基準に対する倍率「１．０８」、評価値「４２７６．８０」のレコードを有する。このレコードは、ノードの組合せ候補であるノード「０」、「１」、「２」、「５」に対する倍率α＝１．０８であり、当該倍率αとβとを用いて計算されるＴｒｅｃｏｎｆが「４２７６．８０」であることを示す。なお、上記の例において、β＝１．１である。
【0104】
すなわち、組合せ「０，１，２，５」では、ＴＴｏｔａｌ＝１．１＊１．０８＊３６００＝４２７６．８０となる。
評価値テーブル１２４には、ノードの他の組合せ候補に対するＴＴｏｔａｌも登録されている。
評価値テーブル１２４には、ノードの他の組合せ候補に対するＴＴｏｔａｌも登録されている。
【0105】
組合せ「０，１，２，６」では、ＴＴｏｔａｌ＝１５０＋１．１＊１．０２＊３６００＝４１８９．２０である。
組合せ「０，１，５，６」では、ＴＴｏｔａｌ＝１５０＋１．１＊１．１２＊３６００＝４５８５．２０である。
組合せ「０，１，５，６」では、ＴＴｏｔａｌ＝１５０＋１．１＊１．１２＊３６００＝４５８５．２０である。
【0106】
組合せ「０，２，５，６」では、ＴＴｏｔａｌ＝１５０＋１．１＊１．１０＊３６００＝４５０６．００である。
組合せ「１，２，５，６」では、ＴＴｏｔａｌ＝１５０＋１．１＊１．０６＊３６００＝４３４７．６０である。
組合せ「１，２，５，６」では、ＴＴｏｔａｌ＝１５０＋１．１＊１．０６＊３６００＝４３４７．６０である。
【0107】
評価値テーブル１２４の例の場合、項番「１」のレコードがＧＰＵの再構成を行わない場合に相当する。項番「２」～「５」のレコードがＧＰＵの再構成を行う場合に相当する。
【0108】
評価値テーブル１２４の例の場合、ノードの組合せ候補「０」、「１」、「２」、「６」のＴＴｏｔａｌが最も小さい。このため、ノード割り当て部１３２は、ジョブの割り当て先のノードの組合せとして、ノード「０」、「１」、「２」、「６」をノード選択部１３３から取得し、当該ジョブにノード「０」、「１」、「２」、「６」を割り当てる。ノード「６」は、ＧＰＵの再構成を要するノードである。このため、ジョブ割り当てのために、ノード「６」においてＧＰＵの再構成が行われることになる。
【0109】
なお、ＴＴｏｔａｌが最小の組合せが複数存在し、その中に再構成要のノードを含む組合せと再構成要のノードを含まない組合せがある場合、ノード組合せ抽出部１３３ａは、再構成要のノードを含まない組合せから任意の組合せを選択することが考えられる。このようにすると、余計な再構成を行わずに済む。
【0110】
次に、管理装置１００の処理手順を説明する。
図１５は、ジョブスケジューラの処理例を示すフローチャートである。
（Ｓ１０）ジョブ情報取得部１３１は、ジョブの実行要求を受け付けると、実行要求からジョブ情報を取得し、ジョブ管理テーブル１２１に登録する。ノード割り当て部１３２は、ジョブ管理テーブル１２１に登録されたジョブ情報を取得し、ジョブの実行に必要な構成の空きノード数があるか否かを判定する。ジョブの実行に必要な構成の空きノード数がある場合、ステップＳ１１に処理が進む。ジョブの実行に必要な構成の空きノード数がない場合、処理が終了する。例えば、ノード割り当て部１３２は、ジョブの実行に必要な構成の空きノード数がない場合、所定時間経過後に当該ジョブに対して、ジョブの実行に必要な構成の空きノード数があるか否かを再度判定する。
図１５は、ジョブスケジューラの処理例を示すフローチャートである。
（Ｓ１０）ジョブ情報取得部１３１は、ジョブの実行要求を受け付けると、実行要求からジョブ情報を取得し、ジョブ管理テーブル１２１に登録する。ノード割り当て部１３２は、ジョブ管理テーブル１２１に登録されたジョブ情報を取得し、ジョブの実行に必要な構成の空きノード数があるか否かを判定する。ジョブの実行に必要な構成の空きノード数がある場合、ステップＳ１１に処理が進む。ジョブの実行に必要な構成の空きノード数がない場合、処理が終了する。例えば、ノード割り当て部１３２は、ジョブの実行に必要な構成の空きノード数がない場合、所定時間経過後に当該ジョブに対して、ジョブの実行に必要な構成の空きノード数があるか否かを再度判定する。
【0111】
（Ｓ１１）ノード割り当て部１３２は、１ラック内に割り当て可能であるか否かを判定する。１ラック内に割り当て可能な場合、ステップＳ１２に処理が進む。１ラック内に割り当て可能でない場合、ステップＳ１３に処理が進む。１ラック内に割り当て可能とは、ジョブの割り当て先のノードを、全て同一ラックから選択できる場合である。
【0112】
（Ｓ１２）ノード割り当て部１３２は、該当のラック内のノードにジョブを割り当てる。そして、ステップＳ１４に処理が進む。
（Ｓ１３）ノード割り当て部１３２は、ノード選択部１３３にノード選択を依頼する。ノード選択部１３３は、ノード選択を実行し、選択結果をノード割り当て部１３２に応答する。ノード割り当て部１３２は、ノード選択部１３３により選択されたノードにジョブを割り当てる。ノード選択部１３３によるノード選択の詳細は後述される。
（Ｓ１３）ノード割り当て部１３２は、ノード選択部１３３にノード選択を依頼する。ノード選択部１３３は、ノード選択を実行し、選択結果をノード割り当て部１３２に応答する。ノード割り当て部１３２は、ノード選択部１３３により選択されたノードにジョブを割り当てる。ノード選択部１３３によるノード選択の詳細は後述される。
【0113】
（Ｓ１４）ノード割り当て部１３２は、ステップＳ１２またはステップＳ１３の割り当て先のノードにジョブの実行を指示する。指示を受けたノードはジョブを実行する。そして、ジョブスケジューラ１３０の処理が終了する。
【0114】
図１６は、ノード選択処理の例を示すフローチャートである。
ノード選択処理はステップＳ１３に相当する。
（Ｓ２０）ノード組合せ抽出部１３３ａは、ノード組合せの抽出を行う。ノード組合せの抽出の詳細は後述される。
ノード選択処理はステップＳ１３に相当する。
（Ｓ２０）ノード組合せ抽出部１３３ａは、ノード組合せの抽出を行う。ノード組合せの抽出の詳細は後述される。
【0115】
（Ｓ２１）評価部１３３ｂは、ノード組合せの評価を行う。ノード組合せの評価の詳細は後述される。ノード組合せの評価により、評価値テーブル１２４が作成される。
（Ｓ２２）ノード組合せ抽出部１３３ａは、評価値テーブル１２４の評価値（ＴＴｏｔａｌ）を基に、ジョブの割り当て先のノードの組合せを選択する。このとき、ノード組合せ抽出部１３３ａは、評価値テーブル１２４の各評価値ＴＴｔｏｔａｌを比較し、ＴＴｏｔａｌが最小の組合せを選択する。ノード組合せ抽出部１３３ａは、選択した組合せに属するノードをノード割り当て部１３２に応答する。そして、ノード選択処理が終了する。
（Ｓ２２）ノード組合せ抽出部１３３ａは、評価値テーブル１２４の評価値（ＴＴｏｔａｌ）を基に、ジョブの割り当て先のノードの組合せを選択する。このとき、ノード組合せ抽出部１３３ａは、評価値テーブル１２４の各評価値ＴＴｔｏｔａｌを比較し、ＴＴｏｔａｌが最小の組合せを選択する。ノード組合せ抽出部１３３ａは、選択した組合せに属するノードをノード割り当て部１３２に応答する。そして、ノード選択処理が終了する。
【0116】
図１７は、ノード組合せの抽出処理例を示すフローチャートである。
ノード組合せの抽出処理はステップＳ２０に相当する。
（Ｓ３０）ノード組合せ抽出部１３３ａは、ジョブ管理テーブル１２１のジョブ情報に基づいて、ジョブ実行に必要な構成と同じ構成済みノードの組合せを抽出する。例えば、記憶部１２０は、空きノードにおけるＧＰＵの接続数の情報を保持する。ノード組合せ抽出部１３３ａは、記憶部１２０に記憶された当該情報に基づいて、構成済みノードの組合せを抽出し得る。
ノード組合せの抽出処理はステップＳ２０に相当する。
（Ｓ３０）ノード組合せ抽出部１３３ａは、ジョブ管理テーブル１２１のジョブ情報に基づいて、ジョブ実行に必要な構成と同じ構成済みノードの組合せを抽出する。例えば、記憶部１２０は、空きノードにおけるＧＰＵの接続数の情報を保持する。ノード組合せ抽出部１３３ａは、記憶部１２０に記憶された当該情報に基づいて、構成済みノードの組合せを抽出し得る。
【0117】
例えば、図６の例において、空きノードであるノード「０」、「１」、「２」、「５」、「６」から４つ選択するノードの組合せのうち、ノード「０」、「１」、「２」、「５」の組合せが、ジョブ実行に必要な構成と同じ構成済みノードの組合せである。
【0118】
（Ｓ３１）ノード組合せ抽出部１３３ａは、構成変更が必要なノードの組合せを抽出する。例えば、ノード組合せ抽出部１３３ａは、記憶部１２０に記憶された、空きノードにおけるＧＰＵの接続数の情報に基づいて、構成変更が必要なノードの組合せを抽出し得る。例えば、図６の例において、空きノードであるノード「０」、「１」、「２」、「５」、「６」から４つ選択するノードの組合せのうち、ノード「０」、「１」、「２」、「５」の組合せ以外の組合せが、構成変更が必要なノードの組合せである。ノード「６」でＧＰＵの再構成を要するためである。そして、ノード組合せの抽出処理が終了する。
【0119】
ステップＳ３０，Ｓ３１で抽出されたノードの組合せが、ジョブの割り当て先のノードの組合せ候補となる。
図１８は、ノード組合せの評価処理例を示すフローチャートである。
図１８は、ノード組合せの評価処理例を示すフローチャートである。
【0120】
ノード組合せの評価処理はステップＳ２１に相当する。
（Ｓ４０）評価部１３３ｂは、式（３）の評価式により、ノードの組合せ候補ごとのトータル時間ＴＴｏｔａｌを評価する。このとき、評価部１３３ｂは、比較的短い時間、所定の通信ベンチマーク測定を行うことで、ノードの組合せ候補ごとの通信時間を計測して通信性能テーブル１２３に登録し、式（３）のαを求める。通信ベンチマーク測定は、組合せ候補に含まれる各ノードにより通信ベンチマークプログラムを比較的短い時間だけ実行させることで行われる。このとき、（通信ベンチマーク測定で計測した通信時間）／基準通信時間≦１の場合、評価部１３３ｂは通信競合の影響がないと判定し、式（３）においてα＝１、β＝１とする。（通信ベンチマーク測定で計測した通信時間）／基準通信時間＞１の場合、評価部１３３ｂは、通信競合の影響があると判定し、α＝（通信ベンチマーク測定で計測した通信時間）／基準通信時間、β＝１＋（１／８）×ＮＧとする。
（Ｓ４０）評価部１３３ｂは、式（３）の評価式により、ノードの組合せ候補ごとのトータル時間ＴＴｏｔａｌを評価する。このとき、評価部１３３ｂは、比較的短い時間、所定の通信ベンチマーク測定を行うことで、ノードの組合せ候補ごとの通信時間を計測して通信性能テーブル１２３に登録し、式（３）のαを求める。通信ベンチマーク測定は、組合せ候補に含まれる各ノードにより通信ベンチマークプログラムを比較的短い時間だけ実行させることで行われる。このとき、（通信ベンチマーク測定で計測した通信時間）／基準通信時間≦１の場合、評価部１３３ｂは通信競合の影響がないと判定し、式（３）においてα＝１、β＝１とする。（通信ベンチマーク測定で計測した通信時間）／基準通信時間＞１の場合、評価部１３３ｂは、通信競合の影響があると判定し、α＝（通信ベンチマーク測定で計測した通信時間）／基準通信時間、β＝１＋（１／８）×ＮＧとする。
【0121】
（Ｓ４１）評価部１３３ｂは、ステップＳ４０の評価で計算したＴＴｏｔａｌを、組合せ候補ごとに、評価値テーブル１２４に記録する。そして、ノード組合せの評価処理が終了する。
【0122】
図１９は、ジョブの実行に係るトータル時間の相違の例を示す図である。
タイムチャート８０，８１，８２は、それぞれ時刻ｔ０を起点とした場合のジョブ実行完了までのトータル時間の例を示す。図１９では、図に向かって左側から右側へ向かう方向が時間の正方向である。
タイムチャート８０，８１，８２は、それぞれ時刻ｔ０を起点とした場合のジョブ実行完了までのトータル時間の例を示す。図１９では、図に向かって左側から右側へ向かう方向が時間の正方向である。
【0123】
タイムチャート８０は、ＧＰＵの構成変更を行わないが、通信競合の影響を受ける場合のトータル時間ＴＴｏｔａｌＡを示す。
タイムチャート８１は、構成変更を行うことで、通信競合の影響を受けなくなり、ジョブ自体の実行時間が改善する場合のトータル時間ＴＴｏｔａｌＢを示す。ＴＴｏｔａｌＢ＜ＴｔｏｔａｌＡである。このように、構成変更（再構成）による初期オーバーヘッドがあったとしても、ジョブ自体の実行時間が改善することで、トータル時間も改善することがある。
タイムチャート８１は、構成変更を行うことで、通信競合の影響を受けなくなり、ジョブ自体の実行時間が改善する場合のトータル時間ＴＴｏｔａｌＢを示す。ＴＴｏｔａｌＢ＜ＴｔｏｔａｌＡである。このように、構成変更（再構成）による初期オーバーヘッドがあったとしても、ジョブ自体の実行時間が改善することで、トータル時間も改善することがある。
【0124】
タイムチャート８２は、構成変更を行わなくても、通信競合の影響が小さく、通信競合の影響による実行時間の増大が小さい場合のトータル時間ＴＴｏｔａｌＣを示す。ＴＴｏｔａｌＣ＜ＴＴｏｔａｌＢである。このように、場合によって、通信競合の影響が小さければ、実行時間の増大が小さく、構成変更を行わない方が良い場合もあり得る。
【0125】
そこで、管理装置１００は、リソースの再構成時間とジョブ実行時のノード間の通信競合の影響とを考慮して、ノードの組合せ候補ごとのトータル時間を算出し、トータル時間が最も短い組合せ候補を、ジョブの割り当て先のノードの組合せとする。
【0126】
これにより、管理装置１００は、ノードにおけるＧＰＵなどのリソースの再構成を行うか否かを適切に決定できる。また、管理装置１００は、ジョブの実行完了までのトータル時間が短くなるように、ジョブの割り当て先のノードの選択が可能になる。
【0127】
なお、管理装置１００の機能は、ノード２００，２００ａ，…の何れかで実現されてもよい。その場合、情報処理システム２は、管理装置１００や管理ネットワーク５０を含まなくてもよい。
【0128】
以上説明したように管理装置１００は、次の処理を実行する。
ジョブスケジューラ１３０は、ジョブの割り当て候補でありジョブの実行のためにリソースの再構成を要する第１ノードにジョブを割り当てる場合の再構成からジョブの完了までに要する第１時間を算出する。このとき、ジョブスケジューラ１３０は、リソースの再構成に要する再構成時間と、再構成後のジョブの実行時間と、第１ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第１係数とに基づいて、第１時間を算出する。また、ジョブスケジューラ１３０は、ジョブの割り当て候補でありリソースの再構成を要しない第２ノードに、リソースの再構成を行わずにジョブを割り当てる場合のジョブの完了までに要する第２時間を算出する。このとき、ジョブスケジューラ１３０は、第２ノードによるジョブの実行時の通信に伴う通信競合の、ジョブの実行時間に対する影響を表す第２係数と当該実行時間とに基づいて、第２時間を算出する。ジョブスケジューラ１３０は、第１時間と第２時間とを比較し、第１時間が第２時間よりも短い場合は第１ノードにおけるリソースの再構成を行い、第１時間が第２時間以上の場合は第１ノードにおけるリソースの再構成を行わない。
ジョブスケジューラ１３０は、ジョブの割り当て候補でありジョブの実行のためにリソースの再構成を要する第１ノードにジョブを割り当てる場合の再構成からジョブの完了までに要する第１時間を算出する。このとき、ジョブスケジューラ１３０は、リソースの再構成に要する再構成時間と、再構成後のジョブの実行時間と、第１ノードによるジョブの実行時の通信に伴う通信競合の、実行時間に対する影響を表す第１係数とに基づいて、第１時間を算出する。また、ジョブスケジューラ１３０は、ジョブの割り当て候補でありリソースの再構成を要しない第２ノードに、リソースの再構成を行わずにジョブを割り当てる場合のジョブの完了までに要する第２時間を算出する。このとき、ジョブスケジューラ１３０は、第２ノードによるジョブの実行時の通信に伴う通信競合の、ジョブの実行時間に対する影響を表す第２係数と当該実行時間とに基づいて、第２時間を算出する。ジョブスケジューラ１３０は、第１時間と第２時間とを比較し、第１時間が第２時間よりも短い場合は第１ノードにおけるリソースの再構成を行い、第１時間が第２時間以上の場合は第１ノードにおけるリソースの再構成を行わない。
【0129】
これにより、管理装置１００は、通信競合の影響を考慮して、リソースの再構成を行うか否かを適切に決定できる。前述の係数α×βは第１係数および第２係数の一例である。
ジョブスケジューラ１３０は、ジョブの割り当て候補であり第１ノードを含む第１ノード群に対して第１時間を算出し、ジョブの割り当て候補であり第１ノードを含まない第２ノード群に対して第２時間を算出してもよい。
ジョブスケジューラ１３０は、ジョブの割り当て候補であり第１ノードを含む第１ノード群に対して第１時間を算出し、ジョブの割り当て候補であり第１ノードを含まない第２ノード群に対して第２時間を算出してもよい。
【0130】
これにより、管理装置１００は、通信競合の影響を考慮して、リソースの再構成を行うか否かを適切に決定できる。また、ジョブの完了までの時間が短くなるように、ジョブを割り当てるノード群、すなわち、ノードの組合せを決定できる。
【0131】
例えば、ジョブスケジューラ１３０は、第１ノード群に属するノード間の通信の第１通信時間の測定結果に基づいて第１係数を算出する。また、ジョブスケジューラ１３０は、第２ノード群に属するノード間の通信の第２通信時間の測定結果に基づいて第２係数を算出する。
【0132】
これにより、管理装置１００は、第１係数および第２係数を適切に決定できる。例えば、第１係数は、第１通信時間と所定の基準通信時間との比に基づいて計算され得る。また、第２係数は、第２通信時間と基準通信時間との比に基づいて計算され得る。
【0133】
このとき、ジョブスケジューラ１３０は、第１通信時間と所定の基準通信時間とに基づいて第１ノードによるジョブの実行時の通信に伴う通信競合の有無を判定し、当該通信競合がない場合に第１係数を１に設定する。また、ジョブスケジューラ１３０は、第２通信時間と基準通信時間とに基づいて第２ノードによるジョブの実行時の通信に伴う通信競合の有無を判定し、当該通信競合がない場合に第２係数を１に設定する。
【0134】
これにより、管理装置１００は、第１係数および第２係数を適切に決定できる。例えば、ジョブスケジューラ１３０は、第１通信時間が基準通信時間以下の場合、通信競合がないと判定し、第１係数を１に設定する。ジョブスケジューラ１３０は、第１通信時間が基準通信時間より長い場合、通信競合があると判定し、第１通信時間と基準通信時間との比に基づいて第１係数を設定する。同様に、ジョブスケジューラ１３０は、第２通信時間が基準通信時間以下の場合、通信競合がないと判定し、第２係数を１に設定する。ジョブスケジューラ１３０は、第２通信時間が基準通信時間より長い場合、通信競合があると判定し、第２通信時間と基準通信時間との比に基づいて第２係数を設定する。
【0135】
また、ジョブスケジューラ１３０は、ジョブの実行に用いられるノードに対して要求される、１つのノード当たりのリソースの量に基づいて、第１係数および第２係数を算出する。
【0136】
ここで、ジョブの実行に用いられるノード当たりのリソースの量が多いほど、ジョブ実行時の通信量が多い傾向となる。このため、ノード当たりのリソースの数が多いほど、ジョブの実行時間は通信競合の影響を受け易いと推定される。そこで、１つのノードに要求されるリソースの量に基づいて第１係数および第２係数を決定することで、管理装置１００は、第１係数および第２係数を適切に決定できる。なお、ジョブ実行のために１ノード当たりに要求されるＧＰＵの数やＳＳＤの容量などは、リソースの量の一例である。
【0137】
また、ジョブスケジューラ１３０は、ジョブの実行時間および第１係数の積とリソースの再構成時間との和を第１時間として算出し、当該実行時間および第２係数の積を第２時間として算出する。
【0138】
これにより、管理装置１００は、第１時間および第２時間を適切に算出できる。
更に、ジョブスケジューラ１３０は、第１ノードにおけるリソースの再構成を行う場合、第１ノードにジョブを割り当てる。一方、ジョブスケジューラ１３０は、第１ノードにおけるリソースの再構成を行わない場合、第２ノードにジョブを割り当てる。
更に、ジョブスケジューラ１３０は、第１ノードにおけるリソースの再構成を行う場合、第１ノードにジョブを割り当てる。一方、ジョブスケジューラ１３０は、第１ノードにおけるリソースの再構成を行わない場合、第２ノードにジョブを割り当てる。
【0139】
これにより、管理装置１００は、ジョブの実行完了までのトータル時間を短くすることができる。
なお、第１の実施の形態の情報処理は、処理部１２にプログラムを実行させることで実現できる。また、第２の実施の形態の情報処理は、ＣＰＵ１０１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体１１３に記録できる。
なお、第１の実施の形態の情報処理は、処理部１２にプログラムを実行させることで実現できる。また、第２の実施の形態の情報処理は、ＣＰＵ１０１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体１１３に記録できる。
【0140】
例えば、プログラムを記録した記録媒体１１３を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体１１３に記録されたプログラムまたは他のコンピュータから受信したプログラムを、ＲＡＭ１０２やＨＤＤ１０３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。
【符号の説明】
【0141】
１ 情報処理システム
１０ 情報処理装置
１１ 記憶部
１２ 処理部
２０，２０ａ，２０ｂ，２０ｃ，２０ｄ，… ノード
３０ 管理ネットワーク
４０ ノード間ネットワーク
４１，４２ 通信路
１０ 情報処理装置
１１ 記憶部
１２ 処理部
２０，２０ａ，２０ｂ，２０ｃ，２０ｄ，… ノード
３０ 管理ネットワーク
４０ ノード間ネットワーク
４１，４２ 通信路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】