特許 7195558 プログラム、サーバ、システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-16

(45)【発行日】2022-12-26

(54)【発明の名称】プログラム、サーバ、システム及び方法

(51)【国際特許分類】

   G06F 9/50 20060101AFI20221219BHJP

【ＦＩ】

G06F9/50 150A

G06F9/50 150E

【請求項の数】 13

(21)【出願番号】P 2022049403

(22)【出願日】2022-03-25

【審査請求日】2022-03-25

【早期審査対象出願】

(73)【特許権者】

【識別番号】516092005

【氏名又は名称】ＡＩ ｉｎｓｉｄｅ株式会社

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】胡 為明

【審査官】漆原 孝治

(56)【参考文献】

【文献】特開２００１－３２５０４１（ＪＰ，Ａ）

【文献】特開２００５－１３５２０９（ＪＰ，Ａ）

【文献】特表２０２０－５１０９３８（ＪＰ，Ａ）

【文献】特開２００５－２３４９３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムにおける前記管理サーバを動作させるためのプログラムであって、
前記管理サーバはプロセッサとメモリとを備え、
前記プログラムは、前記プロセッサに、
前記分散処理システム外のクライアントからの前記分散処理システムによる計算要求であるタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと、
各々の前記ノードから、前記分散処理システムへの参加の有無に関する参加有無情報を受け入れる第８ステップと、
前記参加有無情報に基づいてその時点で参加している前記ノードを登録する第９ステップと、
前記参加有無情報に基づいて各々の前記ノードの前記分散処理システムへの参加の可否を決定する第１０ステップと
を実行させ、さらに、
前記第３ステップにおいて、その時点で参加している前記ノードに割り当てる前記ジョブの前記スケジュールを決定し、
前記第１０ステップにおいて、前記ジョブを割り当ててその計算結果を受け入れていない前記ノードから前記分散処理システムへ参加しない旨の前記参加有無情報を受け入れたら、前記ジョブの前記計算結果を受け入れるまで前記分散処理システムへの参加を継続させる決定を行う、プログラム。

【請求項2】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムにおける前記管理サーバを動作させるためのプログラムであって、
前記管理サーバはプロセッサとメモリとを備え、
前記プログラムは、前記プロセッサに、
前記分散処理システム外のクライアントからの前記分散処理システムによる計算要求であるタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと
を実行させ、
前記第３ステップにおいて、前記タスクの計算処理工数を算出し、前記計算処理工数が所定値を上回る場合、前記ノード及び前記管理サーバの間の通信速度を取得し、この通信速度が予め定めた閾値を上回る前記ノードに前記ジョブを割り当てる前記スケジュールを生成する、プログラム。

【請求項3】

前記プログラムは、前記第８ステップにおいて、前記参加有無情報及び前記計算リソースに関する計算リソース情報を受け入れる
請求項１に記載のプログラム。

【請求項4】

前記プログラムは、前記第２ステップにおいて、各々の前記ジョブに基づく計算処理工数が一定となるように前記タスクを複数の前記ジョブに分解する
請求項１に記載のプログラム。

【請求項5】

前記プログラムは、さらに、
前記ジョブの前記計算結果を受け入れた前記ノードに対して、前記計算リソースに基づく特典を付与する第１１ステップ
を実行させる、請求項１記載のプログラム。

【請求項6】

前記プログラムは、前記第３ステップにおいて、各々の前記ノードと前記管理サーバとの間のネットワーク距離を取得し、このネットワーク距離が近い順に、前記ジョブを割り当てる前記ノードを決定し、決定した前記ノードに前記ジョブを割り当てる前記スケジュールを決定する
請求項１記載のプログラム。

【請求項7】

前記プログラムは、前記第３ステップにおいて、各々の前記ノードと前記管理サーバとの間のルーティングコストを取得し、前記ネットワーク距離が近い順に、または、前記ルーティングコストが安い順に、前記ジョブを割り当てる前記ノードを決定し、決定した前記ノードに前記ジョブを割り当てる前記スケジュールを決定する
請求項６記載のプログラム。

【請求項8】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムにおける前記管理サーバであって、
前記管理サーバはプロセッサとメモリとを備え、
前記プロセッサが、
前記分散処理システム外のクライアントからの計算要求に関するタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと、
各々の前記ノードから、前記分散処理システムへの参加の有無に関する参加有無情報を任意のタイミングで受け入れる第８ステップと、
前記参加有無情報に基づいてその時点で参加している前記ノードを登録する第９ステップと、
前記参加有無情報に基づいて各々の前記ノードの前記分散処理システムへの参加の可否を決定する第１０ステップと
を実行させ、さらに、
前記第３ステップにおいて、その時点で参加している前記ノードに割り当てる前記ジョブの前記スケジュールを決定し、
前記第１０ステップにおいて、前記ジョブを割り当ててその計算結果を受け入れていない前記ノードから前記分散処理システムへ参加しない旨の前記参加有無情報を受け入れたら、前記ジョブの前記計算結果を受け入れるまで前記分散処理システムへの参加を継続させる決定を行う、サーバ。

【請求項9】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムであって、
前記管理サーバはプロセッサとメモリとを備え、
前記プロセッサが、
前記分散処理システム外のクライアントからの計算要求に関するタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと、
各々の前記ノードから、前記分散処理システムへの参加の有無に関する参加有無情報を任意のタイミングで受け入れる第８ステップと、
前記参加有無情報に基づいてその時点で参加している前記ノードを登録する第９ステップと、
前記参加有無情報に基づいて各々の前記ノードの前記分散処理システムへの参加の可否を決定する第１０ステップと
を実行させ、さらに、
前記第３ステップにおいて、その時点で参加している前記ノードに割り当てる前記ジョブの前記スケジュールを決定し、
前記第１０ステップにおいて、前記ジョブを割り当ててその計算結果を受け入れていない前記ノードから前記分散処理システムへ参加しない旨の前記参加有無情報を受け入れたら、前記ジョブの前記計算結果を受け入れるまで前記分散処理システムへの参加を継続させる決定を行う、システム。

【請求項10】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムにおける前記管理サーバにより実行される方法であって、
前記管理サーバはプロセッサとメモリとを備え、
前記プロセッサは、
前記分散処理システム外のクライアントからの計算要求に関するタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと、
各々の前記ノードから、前記分散処理システムへの参加の有無に関する参加有無情報を任意のタイミングで受け入れる第８ステップと、
前記参加有無情報に基づいてその時点で参加している前記ノードを登録する第９ステップと、
前記参加有無情報に基づいて各々の前記ノードの前記分散処理システムへの参加の可否を決定する第１０ステップと
を実行させ、さらに、
前記第３ステップにおいて、その時点で参加している前記ノードに割り当てる前記ジョブの前記スケジュールを決定し、
前記第１０ステップにおいて、前記ジョブを割り当ててその計算結果を受け入れていない前記ノードから前記分散処理システムへ参加しない旨の前記参加有無情報を受け入れたら、前記ジョブの前記計算結果を受け入れるまで前記分散処理システムへの参加を継続させる決定を行う、方法。

【請求項11】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムにおける前記管理サーバであって、
前記管理サーバはプロセッサとメモリとを備え、
前記プロセッサが、
前記分散処理システム外のクライアントからの前記分散処理システムによる計算要求であるタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと
を実行させ、
前記第３ステップにおいて、前記タスクの計算処理工数を算出し、前記計算処理工数が所定値を上回る場合、前記ノード及び前記管理サーバの間の通信速度を取得し、この通信速度が予め定めた閾値を上回る前記ノードに前記ジョブを割り当てる前記スケジュールを生成する、サーバ。

【請求項12】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムであって、
前記管理サーバはプロセッサとメモリとを備え、
前記プロセッサが、
前記分散処理システム外のクライアントからの前記分散処理システムによる計算要求であるタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと
を実行させ、
前記第３ステップにおいて、前記タスクの計算処理工数を算出し、前記計算処理工数が所定値を上回る場合、前記ノード及び前記管理サーバの間の通信速度を取得し、この通信速度が予め定めた閾値を上回る前記ノードに前記ジョブを割り当てる前記スケジュールを生成する、システム。

【請求項13】

複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々の前記ノードは、自身の設定により前記ネットワークを介して前記分散処理システムへの参加を行う前記分散処理システムにおける前記管理サーバにより実行される方法であって、
前記管理サーバはプロセッサとメモリとを備え、
前記プロセッサが、
前記分散処理システム外のクライアントからの前記分散処理システムによる計算要求であるタスクを前記分散処理システム全体で受け入れる第１ステップと、
前記タスクを複数のジョブに分解する第２ステップと、
各々の前記ノードから予め取得した各々の前記ノードの利用可能な計算リソースから、前記ノードに割り当てる前記ジョブのスケジュールを決定する第３ステップと、
前記スケジュールに基づいて、各々の前記ノードに割り当てる前記ジョブを送出する第４ステップと、
各々の前記ノードから、前記ジョブの計算結果を受け入れる第５ステップと、
受け入れた前記ジョブの計算結果に基づいて前記タスクの計算結果を生成する第６ステップと、
前記タスクの計算結果を前記クライアントに送出する第７ステップと
を実行させ、
前記第３ステップにおいて、前記タスクの計算処理工数を算出し、前記計算処理工数が所定値を上回る場合、前記ノード及び前記管理サーバの間の通信速度を取得し、この通信速度が予め定めた閾値を上回る前記ノードに前記ジョブを割り当てる前記スケジュールを生成する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、サーバ、システム及び方法に関する。

【背景技術】

【0002】

例えば大規模数値計算を行う目的で、数値計算を分割し、分割した数値計算を複数のノードにそれぞれ割り当て、ノードからの計算結果をまとめて出力する、分散処理システムが知られている。このような分散処理システムでは、処理速度の向上とノードの負荷軽減のために、１つの処理を分散して行う。

【0003】

一般的な分散処理システムによる分散処理方法は、１台のコンピュータに多数のプロセッサを搭載して処理する方法、大規模データ処理を複数のサーバに分散させ、処理結果をネットワーク上で共有する方法などがある。後者の分散処理方法によれば、１台のサーバで処理するよりも処理速度を向上させることができ、かつ、計算処理の稼働率を担保することができる（例えば非特許文献１）。

【0004】

特許文献１では、各計算資源を有効に使い、ジョブ処理を従来よりもスピードアップさせることを目的として、ネットワーク接続された複数のノードを有し、複数の各ノードの現在の負荷状況、過去の実績、ノードのステータス・スペック、ネットワーク上の距離の１つ以上から成る計算資源量を監視すること、監視した情報を基に、ジョブ依頼をするノードを選択している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－３１３５８号公報

【非特許文献】

【0006】

【文献】“Apache Hadoop”，［online］，Apache Software Foundation，［令和４年３月１０日検索］，インターネット＜URL:https://hadoop.apache.org/＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、実際に複数のサーバを用意することは、コストがかかる。このため、大量の計算をしたい場合でも、分散処理に必要なサーバ群を用意することが困難である。また、分散処理に必要なサーバ群を用意できたとしても、ユーザに対し計算資源を迅速に用意する必要がある。

【0008】

そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、仮想的なデータセンタ（ＤＣ）を実現し、迅速かつ低コストに計算資源を有効活用した分散処理をユーザに提供することが可能なプログラム、サーバ、システム及び方法を提供することである。

【課題を解決するための手段】

【0009】

一実施形態によると、複数のノードと、これらノードのそれぞれとネットワークを介して接続された管理サーバとを有する分散処理システムであって、各々のノードは、自身の設定によりネットワークを介して分散処理システムへの参加を行う分散処理システムにおける管理サーバを動作させるためのプロセッサを備えるコンピュータを動作させるためのプログラムが提供される。ここに、管理サーバはプロセッサとメモリを備える。このプログラムは、プロセッサに、分散処理システム外のクライアントからの分散処理システムによる計算要求であるタスクを分散処理システム全体で受け入れる第１ステップと、タスクを複数のジョブに分解する第２ステップと、各々のノードから予め取得した各々のノードの利用可能な計算リソースから、ノードに割り当てるジョブのスケジュールを決定する第３ステップと、スケジュールに基づいて、各々のノードに割り当てるジョブを送出する第４ステップと、各々のノードから、ジョブの計算結果を受け入れる第５ステップと、受け入れたジョブの計算結果に基づいてタスクの計算結果を生成する第６ステップと、タスクの計算結果をクライアントに送出する第７ステップとを実行させる。

【発明の効果】

【0010】

本開示によれば、仮想的なデータセンタを実現し、迅速かつ低コストに計算資源を有効活用した分散処理をユーザに提供することが可能なプログラム、サーバ、システム及び方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係るシステムの概要を示す図である。

【図2】実施形態に係るシステムのハードウェア構成を示すブロック図である。

【図3】実施形態に係る管理サーバの機能的な構成を示す図である。

【図4】実施形態に係る計算サーバの機能的な構成を示す図である。

【図5】実施形態に係る管理サーバに格納されたノード管理ＤＢのデータ構造を示す図である。

【図6】実施形態に係る管理サーバに格納されたタスク管理ＤＢのデータ構造を示す図である。

【図7】実施形態に係る管理サーバに格納されたジョブ管理ＤＢのデータ構造を示す図である。

【図8】実施形態に係る管理サーバに格納された割当テーブルの一例を示す図である。

【図9】実施形態に係る管理サーバの動作の一例を説明するためのフローチャートである。

【図10】実施形態に係る管理サーバの動作の他の例を説明するためのフローチャートである。

【図11】実施形態に係る管理サーバの動作のまた他の例を説明するためのフローチャートである。

【図12】実施形態に係る管理サーバの動作のさらにまた他の例を説明するためのフローチャートである。

【図13】実施形態に係るシステムの動作の一例を説明するためのシーケンス図である。

【図14】実施形態に係るシステムにおける端末装置に表示される画面の一例を示す図である。

【図15】実施形態に係るシステムにおける端末装置に表示される画面の他の例を示す図である。

【図16】実施形態に係るシステムにおける端末装置に表示される画面のまた他の例を示す図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。

【0013】

また、以下の説明において、「プロセッサ」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。

【0014】

また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

【0015】

また、以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。

【0016】

また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

【0017】

また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及び／又はインタフェース部などを用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。

【0018】

プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0019】

また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。

【0020】

また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。

【0021】

また、以下の説明において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【0022】

＜実施形態＞
＜実施形態の概要＞
実施形態に係る分散処理システムは、クライアントである端末装置からの計算処理依頼に対して、管理サーバがこの計算処理依頼を複数に分割してノードに割り当て、ノードからの計算結果を管理サーバがまとめてクライアントに返信するものである。管理サーバ及び複数のノードは全体として分散処理システム（仮想データセンタ）を構成する。本実施形態の分散処理システムは計算処理全体への適用が可能であるが、以下では、主に、分散処理システムは大規模数値計算を行うものであるとして説明を行う。ここにいう大規模数値計算には、人工知能（ＡＩ）に基づく推論動作、画像処理・画像解析動作、いわゆるビッグデータに基づく統計処理動作などが含まれうる。

【0023】

図１を参照して、実施形態である分散処理システムの概要について説明する。

【0024】

実施形態に係る分散処理システム１は、管理サーバ２と、複数のノード３とを有し、これら管理サーバ２及びノード３がネットワーク５を介して互いに通信可能に構成されている。図１及び後述する図２において、分散処理システム１は２つのノード３を有しているが、分散処理システム１において複数のノード３を有していれば足り、その個数に制限はない。また、図１及び図２において、ノード３は直接（つまりネットワーク５を介さずに）接続されていないが、本実施例において、複数のノード３が直接相互接続される態様を排除する意図はない。

【0025】

以下の説明において、ノード３は広い意味に捉えるべきである。つまり、ノード３はプロセッサ単位であってもよく、コンピュータ等の情報処理装置単位であってもよく、さらには、複数の情報処理装置をまとめた、例えばサーバ群であってもよい。ノード３と管理サーバ２との位置関係についても特段の限定はなく、例えばノード３がサーバであった場合、オンプレミス、エッジ、クラウド、いずれの設置態様であってもよい。但し、本実施例では、ノード３はプロセッサ単位で考える。つまり、１つの情報処理装置（サーバ）内に複数のプロセッサがあれば、このサーバは複数のノードからなると考える。

【0026】

一般的な分散処理システムにおいて、ノード３間の接続形態は多様に考え得る。図１、図２に示す分散処理システム１において、各々のノード３は１次元的に接続されているが、ノード３が互いに自立的に通信可能であるならば、ノード３が２次元的に接続されていてもよいし、３次元的、あるいはそれ以上の高次元での接続態様も考え得る。ノード３の接続態様が２次元以上である場合、複数のノード３をまとめてノード群として捉えることもできる。つまり、管理サーバ２がノード群に対して単一の数値計算を割り当て、ノード群に所属する各々のノードが協同してこの数値計算を行う態様も考え得る。但し、本実施例においては、上述したようにノード３の接続態様は１次元であるから、数値計算の割当は単一のノード３に対して行われる。このようなノード３間の接続態様は、後述する、ノード３への割当テーブル作成の際に考慮される。また、ノード３間の接続形態は、管理サーバ２とノード３との間の通信速度やネットワーク距離にも影響を及ぼす。

【0027】

本実施例の分散処理システム１の特徴の一つとして、各々のノード３は、自身の設定により分散処理システム１への参加を行う。これは、本実施例の分散処理システム１の前提として、ノード３が分散処理システム１専用の設備ではない場合を含むからである。つまり、分散処理システム１に参加しない状態では、ノード３はその所有者から課せられた情報処理を行うことが可能であり、分散処理システム１に参加した状態では、ノード３は所有者から化せられた情報処理を行わずに管理サーバ２から割り当てられた数値計算を行う。これにより、ノード３が所有者により使用されていない空き時間においてノード３を分散処理システム１に参加させることで、ノード３の所有者により使用されていない計算リソースを分散処理システム１のために提供することができる。よって、本実施例の分散処理システム１によれば、迅速にかつ低コストに計算リソースを確保することができる。

【0028】

ノード３の分散処理システム１への参加は基本的に能動的なものである。つまり、ノード３自身の設定により、ノード３は分散処理システム１に参加する。この点、情報処理装置にアプリケーションを常時稼働させて情報処理装置の計算リソースを把握し、情報処理装置の所有者による各種情報処理を行ってもなお計算リソースに余裕がある場合、所有者による各種情報処理と並行して管理サーバからの情報処理を行う周知の分散処理システムとは相違する。

【0029】

図１を再度参照して、クライアントである端末装置４は、ネットワーク５を介して分散処理システム１に対して数値計算処理の要求を行う。以下の説明において、この数値計算処理をタスクと称する。タスクは、分散処理システム１を構成する管理サーバ２またはノード３のいずれが受信してもよい。ノード３がタスクを受信した場合、受信したノード３は、タスクを管理サーバ２に送出する。

【0030】

管理サーバ２は、各ノード３の利用可能な計算リソース、管理サーバ２と各ノード３との間の通信速度、及び、管理サーバ２と各ノード３との間のネットワーク距離を把握している。各ノード３は、好ましくは定期的に、利用可能な計算リソースを管理サーバ２に通知する。また、管理サーバ２と各ノード３との間の通信速度、及び、管理サーバ２と各ノード３との間のネットワーク距離については管理サーバ２自身が（好ましくは定期的に）測定し、把握する。

【0031】

管理サーバ２は、受領したタスクを解析し、このタスクを複数に分解する。以下の説明において、分解したタスクをジョブと称する。そして、管理サーバ２は、各ノード３の利用可能な計算リソースを考慮して、各々のノード３に割り当てるべきジョブのスケジュール（割当テーブル）を作成し、このスケジュールに基づいて各々のノード３に割り当てるジョブをノード３に送出する。

【0032】

好ましくは、管理サーバ２は、全てのノード３においてジョブの計算結果を管理サーバ２が受け入れるまでの工数を算出し、この工数が所定値を上回る場合、ノード３と管理サーバ２との間の通信速度が予め定めた閾値を下回るノード３にジョブを割り当てるスケジュールを生成する。また、管理サーバ２は、各々のノード３と管理サーバ２との間のネットワーク距離が近い順に、または、各々のノード３と管理サーバ２との間のルーティングコストが安い順にジョブを割り当てるノード３を決定し、決定したノード３にジョブを割り当てるスケジュールを決定する。

【0033】

ジョブを割り当てられた各々のノード３は、このジョブについての数値計算を行い、その計算結果を管理サーバ２に送出する。管理サーバ２は、ジョブを割り当てたノード３の全てから計算結果を受領したら、この計算結果をまとめてタスクの計算結果とし、このタスクの計算結果を、タスクを要求した端末装置４に返送する。

【0034】

既に説明したように、ノード３は自身の設定により分散処理システム１に参加する。設定変更は任意のタイミングで行うことができるが、管理サーバ２から当該ノード３にジョブを割り当てており、ノード３がジョブについての数値計算を行っている途中で分散処理システム１に参加しなくなると、ジョブについての数値計算の結果を管理サーバ２が受領できない可能性が生じる。そこで、管理サーバ２は、現在ジョブを割り当てているノード３から分散処理システム１から参加しない旨の設定を受領しても、数値計算の結果を受領するまでは分散処理システム１から外れる（参加しない）ことができないことを通知し、当該ノード３の分散処理システム１への参加を継続させる。そして、管理サーバ２は、当該ノード３からジョブの計算結果を受領したら、当該ノード３からの設定を受け入れて分散処理システム１から外れる旨の設定を行う。

【0035】

このように、本実施例の分散処理システム１では、ノード３が分散処理システム１から外れる自由度を一定程度確保することが好ましい。このため、管理サーバ２は、タスクをできるだけ細かい（つまり計算処理工数が小さい）ジョブに分割し、ノード３が分散処理システム１から外れるタイミングをできるだけ多く確保する。タスクを細かいジョブに分割する手法の一つとして、各々のジョブに必要とされる計算処理工数を一定にする手法が挙げられる。

【0036】

＜システム１の基本構成＞
図２を参照して、実施形態である分散処理システム１の基本構成について説明する。

【0037】

図２は、実施形態の分散処理システム１の全体の構成を示す図である。図２に示すように、本実施形態の分散処理システム１は、ネットワーク８０を介して接続された複数の端末装置１０（図２では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）、管理サーバ２０及び計算サーバ３０（図２では、計算サーバ３０Ａ及び計算サーバ３０Ｂを示している。以下、総称して「計算サーバ３０」ということもある）を有する。管理サーバ２０の機能構成を図３に、計算サーバ３０の機能構成を図４に示す。これら管理サーバ２０、計算サーバ３０及び端末装置１０は、情報処理装置により構成されている。

【0038】

情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。なお、管理サーバ２０、計算サーバ３０及び端末装置１０のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は繰り返さない。

【0039】

管理サーバ２０は、本実施例の分散処理システム１を統括する情報処理装置であって、分散処理システム１の運営者により運営される。計算サーバ３０は、本実施例の分散処理システム１において実際に計算処理を行う（ジョブを実行する）情報処理装置である。本実施例の分散処理システム１の特徴として、計算サーバ３０の運営者は管理サーバ２０の運営者と必ずしも同一人物である必要はない。つまり、管理サーバ２０の運営者以外の運営者（所有者）が計算サーバ３０を運用していてもよい。加えて、計算サーバ３０が分散処理システム１に参加していない状態では、計算サーバ３０は所有者による各種情報処理を専用に行う。一方、計算サーバ３０が分散処理システム１に参加している状態では、計算サーバ３０は管理サーバ２０から割り当てられたジョブの計算処理を行う専用のサーバとして機能する。

【0040】

端末装置１０は、各ユーザが操作する装置である。ここで、ユーザとは、端末装置１０を使用してジョブの実行を要求する者であり、分散処理システム１の利用者である。利用者には特段の限定はなく、大規模数値計算を分散処理システム１により実行することを希望する大学研究者、企業研究者等をいう。端末装置１０は、例えば移動体通信システムに対応したタブレットや、スマートフォン等の携帯端末であっても、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ等であってもよい。

【0041】

端末装置１０は、ネットワーク８０を介して管理サーバ２０、計算サーバ３０と通信可能に接続される。端末装置１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。端末装置１０と無線ＬＡＮルータ８２等の間を無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。

【0042】

図２に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。

【0043】

通信ＩＦ１２は、端末装置１０が管理サーバ２０などの外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、キーボードや、タッチパネル、タッチパッド、マウス等のポインティングデバイス等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0044】

管理サーバ２０は分散処理システム１の運営・管理を行う情報処理装置であり、計算サーバ３０は分散処理システム１におけるジョブを実行する情報処理装置である。図２では管理サーバ２０のハードウェア構成のみ図示しているが、計算サーバ３０のハードウェア構成も管理サーバ２０と同様であるので、図示を行わない。管理サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。

【0045】

通信ＩＦ２２は、管理サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための図示しない入力装置、及び、ユーザに対し情報を提示するための図示しない出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0046】

＜管理サーバ２０の機能構成＞
管理サーバ２０のハードウェア構成が実現する機能構成を図３に示す。管理サーバ２０は、記憶部２２０、制御部２３０、通信部２４０を備える。通信部２４０は通信ＩＦ２２により構成され、記憶部２２０は管理サーバ２０のストレージ２６により構成され、制御部２３０は主に管理サーバ２０のプロセッサ２９により構成される。

【0047】

通信部２４０は、ネットワーク８０を介して端末装置１０、計算サーバ３０等との間での通信を行う。

【0048】

＜管理サーバ２０の記憶部２２０の構成＞
管理サーバ２０の記憶部２２０は、ノード管理ＤＢ（DataBase）２２２、タスク管理ＤＢ２２３、タスク定義データ２２４、ジョブ管理ＤＢ２２５、割当テーブル２２６、画面データ２２７、仮想ドライブ２２８及びルートマップ２２９を有する。

【0049】

これらノード管理ＤＢ２２２等のうち、タスク定義データ２２４、割当テーブル２２６、画面データ２２７及び仮想ドライブ２２８を除くものはデータベースである。ここに言うデータベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。

【0050】

通常、各テーブルにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部２３０は、各種プログラムに従ってプロセッサ２９に、記憶部２２０に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。

【0051】

図５は、ノード管理ＤＢ２２２のデータ構造を示す図である。ノード管理ＤＢ２２２は、分散処理システム１を構成するノード（計算サーバ３０）を管理サーバ２０が管理するためのデータベースである。

【0052】

ノード管理ＤＢ２２２は、分散処理システム１を構成する計算サーバ３０（ノード）を特定するためのノードＩＤを主キーとして、ノードアドレス、計算能力、ネットワーク距離、通信速度及び酸化状態のカラムを有するテーブルである。

【0053】

「ノードＩＤ」は、計算サーバ３０を特定するための情報である。「ノードアドレス」は、ネットワーク８０における計算サーバ３０を識別し特定するためのアドレスであり、一例として、図５に示す例では、ＩＰアドレスがノードアドレスとして入力されている。図５に示す例では、ＩＰｖ４に基づくＩＰアドレスが入力されているが、ＩＰｖ６に基づくＩＰアドレスであってもよいし、ＩＰアドレス以外に計算サーバ３０をネットワーク８０内で識別し特定する情報であればよい。

【0054】

「計算能力」は、ノードＩＤにより特定される計算サーバ３０の計算リソースを示す値である。図５に示す例ではいわゆる無次元値が入力されているが、計算能力を示す値としては、計算サーバ３０が有するプロセッサのクロック周波数、１クロック当たりの演算数、そして、これらクロック周波数と１クロック当たりの演算数とを乗じたＦＬＯＰＳ（Floating point number Operations Per Second）などが好適に使用可能である。図５に示す例では、計算能力として用いられる値は、特定のプロセッサに対する相対値が入力されている。

【0055】

「ネットワーク距離」は、ノードＩＤにより特定される計算サーバ３０と管理サーバ２０との間のネットワーク距離を示す値である。図５に示す例ではいわゆる無次元値が入力されているが、ネットワーク距離を示す値としては、管理サーバ２０が計算サーバ３０に向けて、あるいは、計算サーバ３０が管理サーバ２０に向けてｐｉｎｇコマンドを発行してその応答時間（例えばＲＴＴ：Round Trip Time）をネットワーク距離としてもよい。但し、ＲＴＴには種々の遅延（latency）を含みうるので、ＲＴＴをネットワーク距離とした場合、厳密な意味での距離ではなく一応の目安としての値であることに注意すべきである。また、一般的には、ネットワーク距離として通信速度を用いることもあるが、本実施例ではネットワーク距離と別に通信速度を分散処理システム１の管理に用いているので、ネットワーク距離と通信速度とは別のパラメータとして扱う。

【0056】

「通信速度」は、ノードＩＤにより特定される計算サーバ３０と管理サーバ２０との間の通信速度を示す値である。図５に示す例ではいわゆる無次元値が入力されているが、ｂｐｓ（bit per second）を単位とした通信速度が一般的に用いられる。一例として、特定のデータを計算サーバ３０から管理サーバ２０にアップロードする際の通信量及び時間、また、特定のデータを管理サーバ２０から計算サーバ３０にダウンロードする際の通信量及び時間から通信速度を求めることができる。但し、データのアップロード／ダウンロードはＯＳＩ参照モデルにおけるアプリケーション層で行われるので、データのアップロード／ダウンロードに基づく通信速度の測定は、アプリケーション層における通信速度であり、一方、ｐｉｎｇコマンドの応答時間に基づくネットワーク距離（ｐｉｎｇコマンドはトランスポート層での通信の場合が多い）であるので、両者は異なる値を取りうることに注意すべきである。「参加状態」は、ノードＩＤにより特定される計算サーバ３０が分散処理システム１に現在参加しているか否かの状態に関する値である。

【0057】

ノード管理ＤＢ２２２において、ノードＩＤはノード管理部２３４が生成し、それ以外のカラムについては個々の計算サーバ３０からの通知に基づいてノード管理部２３４がノード管理ＤＢ２２２に格納する。

【0058】

図６は、タスク管理ＤＢ２２３のデータ構造を示す図である。タスク管理ＤＢ２２３は、分散処理システム１が計算処理を行うタスクを管理するデータベースである。

【0059】

タスク管理ＤＢ２２３は、分散処理システム１において計算処理が行われるタスクを特定するためのタスクＩＤを主キーとして、タスク定義データ、タスク受領日時及び計算結果出力日時のカラムを有するテーブルである。

【0060】

「タスクＩＤ」は、タスクを特定するための情報である。「タスク定義データ」は、分散処理システム１においてタスクの計算処理を行う際に参照されるデータである。詳細は後述する。「タスク受領日時」は、タスクを管理サーバ２０が受領した日時に関する値である。「計算結果出力日時」は、タスクに関する計算処理を行った結果、その計算結果を、タスクを送出したクライアントである端末装置１０に送出した日時に関する値である。

【0061】

タスク管理ＤＢ２２３において、タスクＩＤはタスク解析部２３５が生成し、タスク定義データ及びタスク受領日時は端末装置１０からの入力に基づいてタスク解析部２３５がタスク管理ＤＢ２２３に格納し、計算結果出力日時は計算結果統合部２３８がタスク管理ＤＢ２２３に格納する。

【0062】

タスク定義データ２２４は、分散処理システム１において処理されるタスクに関する仕様を定義したデータである。タスク定義データ２２４は、少なくとも次の項目に関するデータを含む。
・タスクを処理する際に必要とされる処理モデル。一例として、タスクが機械学習に関する計算処理であった場合、処理モデルは推論動作を行うためのニューラルネットワーク等である。
・タスクを処理する際のデータ。一例として、タスクが機械学習に関する計算処理であった場合、データは教師データやニューラルネットワークの変数等である。

【0063】

図６に示すように、タスク定義データ２２４はデータ記述言語の一例であるＪＳＯＮ（JavaScript Object Notation）形式（JavaScriptは登録商標）で記述されているが、データ記述形式はこれに限定されない。

【0064】

図７は、ジョブ管理ＤＢ２２５のデータ構造を示す図である。ジョブ管理ＤＢ２２５は、管理サーバ２０が計算サーバ３０に割り当てる（アサインする）ジョブを管理するデータベースである。

【0065】

ジョブ管理ＤＢ２２５は、タスクを特定するための情報であるタスクＩＤを主キーとして、ジョブＩＤ、割当ノードＩＤ及び状態のカラムを有するテーブルである。

【0066】

「タスクＩＤ」は、タスクを特定するための情報であり、タスク管理ＤＢ２２３の「タスクＩＤ」と共通である。「ジョブＩＤ」は、ジョブを特定するための情報である。「割当ノードＩＤ」は、ジョブＩＤにより特定されるジョブが割り当てられたノード（計算サーバ３０）を特定するための情報であり、ノード管理ＤＢ２２２の「ノードＩＤ」と共通である。「状態」は、ジョブＩＤにより特定されるジョブに関する計算処理の状態を示す情報である。図７に示す「計算結果受領」は、ジョブを割り当てた計算サーバ３０からジョブに関する計算結果を既に受領していることを示し、「算出中」は、ジョブを割り当てた計算サーバ３０からジョブに関する計算結果をまだ受領しておらず、計算サーバ３０においてジョブに関する計算処理を行っていることが推測されることを示し、「未送信」は、ジョブを割り当てることを決定した計算サーバ３０に対してまだジョブを送信していないことを示している。

【0067】

ジョブ管理ＤＢ２２５において、ジョブＩＤはタスク解析部２３５が生成し、タスクＩＤ及び割当ノードＩＤはスケジュール生成部２３６がジョブ管理ＤＢ２２５に格納し、状態はジョブ割当部２３７がジョブ管理ＤＢ２２５に格納する。

【0068】

図８は、割当テーブル２２６の一例を示す図である。割当テーブル２２６は、タスクを計算サーバ３０に割り当て、このタスクがどのようなスケジュールで実行されるかを決定するためのテーブルであり、スケジュール生成部２３６により生成される。

【0069】

割当テーブル２２６の縦軸はノード（計算サーバ３０）を示し、横軸は時刻（一例として単位は時間）を示している。本実施例における分散処理システム１は２個の計算サーバ３０を有し、いずれの計算サーバ３０も分散処理システム１に参加している状態とする。各々のジョブに割り当てられる計算資源は、連続する１つ以上の計算サーバ３０を一方の辺とし、それらの計算サーバ３０が連続して使用される使用時間を他方の辺とする、長方形によって表される。Ｊ０００１～Ｊ０００５は各々のジョブの名称であり、ジョブ管理ＤＢ２２５の「ジョブＩＤ」を用いて記述されている。各ジョブのジョブ名が記載された長方形は、そのジョブが要求する計算資源を表す。例えば、ジョブ名ｊ０００１のジョブが要求する計算資源は１×５である。

【0070】

画面データ２２７は、端末装置１０が管理サーバ２０にアクセスする際に、ユーザが有する端末装置１０に表示させるための画面データである。

【0071】

仮想ドライブ２２８は、計算サーバ３０の仮想ドライブ３２２と共通するドライブである。より正確には、管理サーバ２０の記憶部２２０の一部をなす物理的記憶手媒体と計算サーバ３０の記憶部３２０の一部をなす物理的記憶媒体とを用いて単一の仮想ドライブ２２８、３２２が構成される。管理サーバ２０及び計算サーバ３０は、実際にはいずれのサーバ２０、３０の物理的記憶媒体であるかを意識せずに、共通の単一のドライブ２２８、３２２が実現されているものとしてこの仮想ドライブ２２８、３２３に対してデータのアクセス、書込及び読出を行う。ドライブの仮想化技術については周知であるので、ここでは詳細な説明を行わない。

【0072】

仮想ドライブ２２８には、端末装置１０から送出されたタスクを構成するデータ、具体的にはタスク定義データ２２４に記述された処理モデル及びデータが格納されている。これら処理モデル及びデータは、ジョブが割り当てられた計算サーバ３０が適宜参照することでジョブに関する計算処理を行う。また、ジョブに関する計算過程で必要とされるデータ等も仮想ドライブ２２８に格納されうる。
ルートマップ２２９は、管理サーバ２０を経由するＩＰパケットの宛先を記述したものである。ルートマップ２２９自体は既知のものであるので、ここではこれ以上の説明を省略する。

【0073】

＜管理サーバ２０の制御部２３０の構成＞
管理サーバ２０の制御部２３０は、受信制御部２３１、送信制御部２３２、画面提示部２３３、ノード管理部２３４、タスク解析部２３５、スケジュール生成部２３６、ジョブ割当部２３７、計算結果統合部２３８及び特典付与部２３９を備える。制御部２３０は、記憶部２２０に記憶されたアプリケーションプログラム２２１を実行することにより、これら受信制御部２３１等の機能ユニットが実現される。

【0074】

受信制御部２３１は、管理サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0075】

送信制御部２３２は、管理サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0076】

画面提示部２３３は、いわゆるＷｅｂサーバとしての機能を管理サーバ２０に提供する。具体的には、画面提示部２３３は、ネットワーク８０を介してアクセスした端末装置１０に対して、画面データ２２７に格納されたデータ等に基づいて、管理サーバ２０が提供するサイトを構成する（通常はトップ画面と言われる）画面のデータを生成し、この画面データを、アクセスをした端末装置１０に送出する。さらに、画面提示部２３３は、端末装置１０からの操作入力に基づいて、サイトを構成する画面を動的に（つまりインタラクティブに）変化させ、さらに、必要に応じて、サイトを構成する他の画面に遷移させ、この画面データを端末装置１０に送出する。画面提示部２３３により提示されるサイトの画面の詳細については後述する。

【0077】

ノード管理部２３４は、計算サーバ３０から送信されてきた計算能力に関する情報に基づいてノード管理ＤＢ２２２を更新する。加えて、ノード管理部２３４は、好ましくは定期的に計算サーバ３０と管理サーバ２０との間のネットワーク距離及び通信速度を測定し、測定結果に基づいてノード管理ＤＢ２２２を更新する。

【0078】

加えて、ノード管理部２３４は、計算サーバ３０から分散処理システム１への参加の有無に関する参加有無情報を受け入れ、この参加有無情報に基づいてノード管理ＤＢ２２２を更新して、現在参加している計算サーバ３０を登録する。また、ノード管理部２３４は、ある計算サーバ３０から分散処理システム１へ参加しない（参加を離脱する）旨の参加有無情報を受領したら、その計算サーバ３０にジョブを送信して計算サーバ３０がジョブの処理中である（実際には計算サーバ３０から計算結果をまだ受領していないか否かで判断する）と判断したら、計算サーバ３０に対して分散処理システム１への参加離脱を許可しない旨の通知を行い、引き続き分散処理システム１への参加を継続させるとともに、計算サーバ３０のジョブが終了して計算結果を受領したら、分散処理システム１への参加離脱を許可する。そして、ノード管理部２３４は、当該計算サーバ３０が分散処理システム１に参加していないことをノード管理ＤＢ２２２に記述する。

【0079】

タスク解析部２３５は、端末装置１０から送信されてきたタスクを受領し、このタスクを仮想ドライブ２２８に格納するとともに、タスク定義データ２２４を生成する。次いで、タスク解析部２３５は、受領したタスクを複数のジョブに分解する。タスク解析部２３５によるタスクからジョブへの分解作業は既知のものであり、ここではこれ以上の詳細な説明を省略する。

【0080】

一点だけ詳述すると、タスク解析部２３５は、受領したタスクを解析してこのタスクに関する数値計算処理の工数を見積もり、タスクをジョブに分解した際に、各々のジョブが計算サーバ３０において数値計算処理がされた際に、その工数が一定となるようにタスクを複数のジョブに分解する。このようなジョブ分解工程を取るのは、計算サーバ３０が分散処理システム１からの参加離脱申込をした際に、その計算サーバ３０において実際にジョブが実行されているとノード管理部２３４は直ちに参加離脱を許可せずにジョブの処理を継続させるため、できるだけジョブに基づく計算処理工数を細分化して、計算サーバ３０の分散処理システム１への参加離脱を早めるためである。

【0081】

スケジュール生成部２３６は、タスク解析部２３５が分割したジョブを、ノード管理ＤＢ２２２に格納されている各々の計算サーバ３０の計算リソース（計算能力）に基づいて、その時点で分散処理システム１に参加している計算サーバ３０に割り当てる決定をする。そして、スケジュール生成部２３６は、割り当てたジョブのスケジュールを決定し、決定したスケジュールに基づいて割当テーブル２２６を生成して記憶部２２０に格納する。割当テーブル２２６の生成方法については既知であるので、ここではこれ以上の説明を省略する。

【0082】

ここで、スケジュール生成部２３６は、ノード管理ＤＢ２２２を参照し、計算サーバ３０と管理サーバ２０との間のネットワーク距離を入手する。また、スケジュール生成部２３６は、ノード管理ＤＢ２２２を参照し、計算サーバ３０と管理サーバ２０との間のルーティングコストを算出する。ルーティングコストの算出方法は既知のものから適宜選択すれば良いが、一例として、ルートマップ２２９を参照して計算サーバ３０と管理サーバ２０との間のネットワーク上の経路を特定し、この経路の帯域幅に基づいてルーティングコストを算出する手法が挙げられる。そして、スケジュール生成部２３６は、ネットワーク距離が近い順に、または、ルーティングコストが安い順に、ジョブを割り当てる計算サーバ３０を決定し、決定した計算サーバ３０にジョブを割り当てるスケジュールを決定する。

【0083】

また、スケジュール生成部２３６は、タスク解析部２３５が見積もったタスクの数値計算処理の工数が所定値を上回る場合、この計算サーバ３０と管理サーバ２０との間の通信速度を取得し、この通信速度が予め定めた閾値を上回る計算サーバ３０にジョブを割り当てるスケジュールを決定する。

【0084】

ジョブ割当部２３７は、スケジュール生成部２３６が生成した割当テーブル２２６に基づいて、タスク解析部２３５が分割したジョブを、その時点で分散処理システム１に参加している計算サーバ３０に送出し、計算サーバ３０に割り当てたジョブに関する計算処理を指示する。そして、ジョブ割当部２３７は、ジョブを送出した計算サーバ３０からジョブに関する計算結果を受領する。ジョブ割当部２３７によるジョブ送出及び計算結果受領の情報は、ジョブ割当部２３７がジョブ管理ＤＢ２２５に逐次記述する。

【0085】

計算結果統合部２３８は、ジョブ割当部２３７が割り当てたジョブの全てについて計算結果をジョブ割当部２３７が受領したら、これら計算結果をまとめてタスクの計算結果を生成する。そして、計算結果統合部２３８は、生成したタスクの計算結果を、タスクに関する数値計算を要求した端末装置１０に送出する。

【0086】

特典付与部２３９は、割り当てたジョブに関する計算結果を送出した計算サーバ３０（の管理者）に対して、その計算サーバ３０の計算リソース（計算能力）に基づいて特典を付与する。特典に特段の限定はなく、物品の供与、分散処理システム１の時間利用権などが一例として挙げられる。

【0087】

＜計算サーバ３０の機能構成＞
計算サーバ３０のハードウェア構成が実現する機能構成を図４に示す。計算サーバ３０の機能構成は管理サーバ２０の機能構成と共通する部分があるので、共通する部分については説明を省略し、管理サーバ２０と異なる部分を中心に説明する。計算サーバ３０は、記憶部３２０、制御部３３０、通信部３４０を備える。

【0088】

＜計算サーバ３０の記憶部３２０の構成＞
計算サーバ３０の記憶部３２０は仮想ドライブ３２２を有する。仮想ドライブ３２２は管理サーバ２０の仮想ドライブ２２８と同様である。

【0089】

＜計算サーバ３０の制御部３３０の構成＞
計算サーバ３０の制御部３３０は、受信制御部３３１、送信制御部３３２、通知部３３３、参加通知受信部３３４、参加管理部３３５、計算リソース管理部３３６及びジョブ処理部３３７を備える。制御部３３０は、記憶部３２０に記憶されたアプリケーションプログラム３２１を実行することにより、これら受信制御部３３１等の機能ユニットが実現される。受信制御部３３１、送信制御部３３２は、管理サーバ２０の受信制御部２３１、送信制御部２３２とほぼ共通する機能を有する。

【0090】

通知部３３３は、計算サーバ３０の所有者からの設定指示入力に基づいて、管理サーバ２０に対して分散処理システム１への参加有無情報を送出する。

【0091】

参加通知受信部３３４は、通知部３３３が送出した参加有無情報に基づいて管理サーバ２０が分散処理システム１への参加の可否の決定、少なくとも管理サーバ２０からの分散処理システム１への参加離脱を許可しない旨の通知を受領する。

【0092】

参加管理部３３５は、通知部３３３が送出した参加有無情報、及び、参加通知受信部３３４が受信した参加の可否の決定に基づいて、その時点で計算サーバ３０が分散処理システム１に参加しているか否かを把握する。

【0093】

計算リソース管理部３３６は、計算サーバ３０の計算リソース（計算能力）を把握し、好ましくは定期的に測定し、その結果を管理サーバ２０に送出する。

【0094】

ジョブ処理部３３７は、管理サーバ２０から割り当てられたジョブを受領し、このジョブに関する計算処理を行って計算結果を管理サーバ２０に送出する。

【0095】

＜分散処理システム１の動作＞
以下、図９～図１２のフローチャート及び図１３のシーケンス図を参照しながら、本実施形態の分散処理システム１の処理について説明する。

【0096】

図９に示すフローチャートは、本実施形態の分散処理システム１全体の動作を、管理サーバ２０の動作を中心として説明するためのフローチャートである。

【0097】

図９において、管理サーバ２０は、分散処理システム１に参加している計算サーバ３０（その時点で参加していない計算サーバ３０を含んでもよい）から、その計算サーバ３０の計算能力（計算リソース）に関する情報等を受信し、ノード管理ＤＢ２２２を更新する。また、管理サーバ２０は、管理サーバ２０と各々の計算サーバ３０との間のネットワーク距離及び通信速度を測定し、この情報を用いてノード管理ＤＢ２２２を更新する（Ｓ９００）。

【0098】

次いで、管理サーバ２０は、端末装置１０から計算要求に関するタスクを受信する（Ｓ９０１）。

【0099】

さらに、管理サーバ２０は、Ｓ９０１で受信したタスクをジョブに分解し、このジョブを、その時点で分散処理システム１に参加している計算サーバ３０に割り当てて、割り当てたジョブを計算サーバ３０に送出する（Ｓ９０２）。

【0100】

そして、管理サーバ２０は、計算サーバ３０からジョブに関する計算結果を受領し、受領した計算結果に基づいてタスクの計算結果を生成し、タスクの計算結果を、タスクを送信した端末装置１０に送出する（Ｓ９０３）。

【0101】

図１０は、本実施形態の管理サーバ２０の動作を説明するためのフローチャートであり、図９のＳ９００の動作の詳細を説明するためのフローチャートである。

【0102】

まず、管理サーバ２０のノード管理部２３４は、計算サーバ３０からのアクセスを待つ（Ｓ１０００）。そして、計算サーバ３０からのアクセスがあったら（Ｓ１０００においてＹＥＳ）、ノード管理部２３４は、アクセスがあった計算サーバ３０から、当該計算サーバ３０の計算能力（計算リソース）に関する情報の受信を待ち（Ｓ１００１）、情報を受信したら（Ｓ１００１においてＹＥＳ）、受信した情報をノード管理ＤＢ２２２に格納してこのノード管理ＤＢ２２２を更新する（Ｓ１００２）。

【0103】

次いで、ノード管理部２３４は、その時点で分散処理システム１に参加している計算サーバ３０と管理サーバ２０との間のネットワーク距離及び通信速度を測定し（Ｓ１００３、ｓ１００４）、測定したネットワーク距離及び通信速度に関する情報をノード管理ＤＢ２２２に格納してこのノード管理ＤＢ２２２を更新する（Ｓ１００５）。ネットワーク距離及び通信速度の測定手法については既に説明したので、ここでの説明は省略する。

【0104】

図１１は、本実施形態の管理サーバ２０の動作を説明するためのフローチャートであり、図９のＳ９０１の動作の詳細を説明するためのフローチャートである。

【0105】

まず、管理サーバ２０のタスク解析部２３５は、端末装置１０からのアクセスを待つ（Ｓ１１００）。そして、端末装置１０からのアクセスがあったら（Ｓ１１００においてＹＥＳ）、タスク解析部２３５は、アクセスがあった端末装置１０から、分散処理システム１による計算要求であるタスクの受信を待ち（Ｓ１１０１）、タスクを受信したら（Ｓ１１０１においてＹＥＳ）、受信した情報をタスク管理ＤＢ２２３に格納してこのタスク管理ＤＢ２２３を更新する（Ｓ１１０２）。

【0106】

分散処理システム１において数値計算処理の要求を行う端末装置１０が管理サーバ２０にアクセスした際に、この端末装置１０の出力装置１４であるディスプレイに表示される画面の一例を図１４に示す。

【0107】

図１４に示す画面１４００には、数値計算処理を行う際の処理モデルを管理サーバ２０にアップロードするためのボタン１４０１と、数値計算処理を行う際の処理データを管理サーバ２０にアップロードするためのボタン１４０２、１４０３とが表示されている。端末装置１０のユーザは、このボタン１４０１～１４０３を用いて、端末装置１０に格納されている処理モデル及び処理データを特定し、入力装置１３であるタッチパネル等を用いてＯＫボタン１４０４をクリックする。ＯＫボタン１４０４に対する入力があると、端末装置１０のプロセッサ１９は、指定された処理モデル及び処理データを管理サーバ２０にアップロードする。

【0108】

次いで、タスク解析部２３５は、Ｓ１１０１で受領したタスクを複数のジョブに分割することでジョブを生成する（Ｓ１１０３）。その後、スケジュール生成部２３６は、Ｓ１１００３で生成されたジョブを、その時点で分散処理システム１に参加している計算サーバ３０に割り当てるスケジュールを生成し、このスケジュールに基づいて割当テーブル２２６を生成する（Ｓ１１０４）。

【0109】

さらに、タスク解析部２３５は、生成したジョブに基づく計算サーバ３０における処理工数を算出し、この処理工数が所定値以内であるかどうかを判定する（Ｓ１１０５）。そして、処理工数が所定値以内であると判定したら（Ｓ１１０５においてＹＥＳ）、タスク解析部２３５はジョブ管理ＤＢ２２５を更新し（Ｓ１１０６）、処理工数が所定値を上回ると判定したら（Ｓ１１０５においてＮＯ）、Ｓ１１０３に戻って、タスク解析部２３５は再度ジョブを生成する。

【0110】

図１２は、本実施形態の管理サーバ２０の動作を説明するためのフローチャートであり、図９のＳ９０２の動作の詳細を説明するためのフローチャートである。

【0111】

まず、ジョブ割当部２３７は、図１１のＳ１１０４でスケジュール生成部２３６が生成した割当テーブル２２６に基づいて、その時点で分散処理システム１に参加している計算サーバ３０に、割り当てたジョブを送信する（Ｓ１２００）。

【0112】

この後、計算結果統合部２３８は、ジョブを送信した計算サーバ３０から、割り当てたジョブに関する計算結果を受信する（Ｓ１２０１）。そして、計算結果統合部２３８は、ジョブを送信した全ての計算サーバ３０から計算結果を受信するのを待ち（Ｓ１２０２）、全ての計算サーバ３０から計算結果を受信したと判定したら（Ｓ１２０２においてＹＥＳ）、これらジョブの計算結果から、タスクとしての計算結果を生成する（Ｓ１２０３）。そして、計算結果統合部２３８は、タスクを送信した端末装置１０に、Ｓ１２０３で生成した計算結果を送出する（Ｓ１２０４）。この後、特典付与部２３９は、ジョブ処理を行った計算サーバ３０（の管理者）に対して特典を付与する（Ｓ１２０５）。

【0113】

図１３は、計算サーバ３０が分散処理システム１への参加登録または参加離脱を申請する際の管理サーバ２０及び計算サーバ３０の動作の一例を示すシーケンス図である。

【0114】

まず、計算サーバ３０の通知部３３３は、計算サーバ３０の管理者からの操作入力を受け入れることで、当該計算サーバ３０の分散処理システム１への参加可否入力を受け入れる（Ｓ１３００）。

【0115】

図１５は、Ｓ１３００において計算サーバ３０に設けられた図略の出力装置の一例であるディスプレイに表示される画面の一例を示す図である。図１５に示す画面１５００には、計算サーバ（ノード）３０を管理サーバ２０に接続する、言い換えれば計算サーバ３０を分散処理システム１に参加させるか、計算サーバ３０を管理サーバ２０から切断する、言い換えれば計算サーバ３０を分散処理システム１から参加離脱させるかを指示するボタン１５０１が表示されている。計算サーバ３０の管理者は、計算サーバ３０に設けられた図略の入力装置であるマウス等を用いてこのボタン１５０１をスライド操作し、さらに、ＯＫボタン１５０２をクリック等することで、参加有無情報を管理サーバ２０に送出する指示を行う。

【0116】

図１３に戻って、計算サーバ３０の通知部３３３は、計算サーバ３０の管理者からの指示に基づいて、参加有無情報を管理サーバ２０に送出する（Ｓ１３０１）。管理サーバ２０のノード管理部２３４は計算サーバ３０からの参加有無情報を受信し（Ｓ１３０２）、参加有無情報を送信した計算サーバ３０がその時点で計算処理中であるか否かを判定する（Ｓ１３０３）。そして、参加有無情報を送信した計算サーバ３０がその時点で計算処理中であると判定したら（Ｓ１３０３においてＹＥＳ）、ノード管理部２３４は、参加有無情報を送信した計算サーバ３０に対して、分散処理システム１への参加の切断（参加離脱）が不可である旨の通知を行い（Ｓ１３０４）、計算サーバ３０の参加通知受信部３３４はこの通知を受信する（Ｓ１３０５）。

【0117】

図１６は、Ｓ１３０４に基づく通知により計算サーバ３０の出力装置１４であるディスプレイに表示される画面の一例を示す図である。図１６に示す画面１６００には、分散処理システム１への参加は継続するが、ジョブに関する計算処理が終了したら分散処理システム１への参加離脱がされる旨の表示がされている。

【0118】

図１３に戻って、ノード管理部２３４は、計算サーバ３０から送信されてきた参加有無情報、及び、Ｓ１３０４による参加離脱不可の通知に基づいて、ノード管理ＤＢ２２２を更新する（Ｓ１３０６）。

【0119】

＜実施形態の効果＞
以上詳細に説明したように、本実施形態の分散処理システム１によれば、仮想的なデータセンタ（ＤＣ）を実現し、迅速かつ低コストに計算資源を有効活用した分散処理をユーザに提供することが可能となる。

【0120】

また、本実施例の分散処理システム１では、タスクの計算処理工数が所定値を上回る場合、計算サーバ３０と管理サーバ２０との間の通信速度を取得し、この通信速度が予め定めた閾値を上回る計算サーバ３０にジョブを割り当てるスケジュールを生成している。つまり、通信速度が高く、結果的に管理サーバ２０と計算サーバ３０との間の通信が安定的である（この場合、管理サーバ２０と計算サーバ３０との間のネットワーク距離が近いことが十分に推測される）計算サーバ３０にジョブを割り当てることで、安定的かつ低コストな計算処理を実行することができる。

【0121】

また、本実施例の分散処理システム１では、計算サーバ３０から送出される参加有無情報に基づいて、その時点で分散処理システム１に参加している計算サーバ３０により分散処理システム１を構築しているので、計算サーバ３０の管理者は、計算サーバ３０の計算リソースを分散処理システム１に提供したい時のみ分散処理システム１に参加することができる。これにより、通常は計算サーバ３０の管理者が自身の計算処理を行うために計算サーバ３０を利用しており、その空き時間（言い換えれば空きリソース）を分散処理システム１に提供する形態を実現することができる。このような形態は、分散処理システム１に参加する計算サーバ３０の数及び範囲を広げることにつながり、結果として、市中にある計算資源を有効活用した分散処理をユーザに提供することが可能となる。

【0122】

この際、参加有無情報を送信した計算サーバ３０がジョブの計算処理をその時点で行っている（ジョブの計算処理をしているか否かを計算サーバ３０の管理者は直接知ることはない）場合、計算処理が終了して計算結果を管理サーバ２０に送出するまで、計算サーバ３０が分散処理システム１から参加離脱することができない。これにより、意図せぬタイミングで計算サーバ３０が分散処理システム１から離脱することを防ぐことができる。

【0123】

但し、計算サーバ３０が参加有無情報を送出してから実際に分散処理システム１から参加離脱できるまでの時間が長くなると、計算サーバ３０の管理者を長時間待機させることにもなり得る。そこで、管理サーバ２０は、各々のジョブに基づく計算処理工数が一定となるようにジョブを細分化しており、これにより、参加有無情報を送出した計算サーバ３０ができるだけ早期に分散処理システム１から離脱することができる。一方、分散処理システム１全体で考えれば、計算サーバ３０が分散処理システム１から離脱しても、ジョブを細分化することで、参加離脱した計算サーバ３０に当初割り当てていたジョブを素早く他の計算サーバ３０に割り当てることができ、分散処理システム１全体としての処理時間損失を抑制することができる。

【0124】

さらに、本実施例の分散処理システム１では、管理サーバ２０と計算サーバ３０との間のネットワーク距離が近い順に、または、ルーティングコストが安い順に、ジョブを割り当てる計算サーバ３０を決定し、決定した計算サーバ３０にジョブを割り当てるスケジュールを決定している。これにより、分散処理システム１全体としてのネットワーク及び計算処理の負担を軽減することができる。

【0125】

＜付記＞
なお、上記した実施形態は本開示を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0126】

一例として、上述した実施形態では管理サーバ２０と（複数の）計算サーバ３０とからなる分散処理システム１について説明したが、管理サーバ２０を統括する上位管理サーバを設けてもよい。つまり、管理サーバ２０と計算サーバ３０とが単一の分散処理システム１を構成し、これら分散処理システム１が複数設けられ、複数の分散処理システム１を統括する上位管理サーバが複数の分散処理システム１を統括してもよい。この場合、上位管理サーバが統括する分散処理システムを一つの分散処理システムとして考え、この分散処理システムの下位に下位分散処理システムが複数存在するとも考えることができる。上位管理サーバは、その下位に存在する分散処理システム１のリソースを管理する。このような構成において上位管理サーバと管理サーバとの接続が途絶えた場合、管理サーバは上位管理サーバの管理業務の少なくとも一部を分担することもできる。

【0127】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0128】

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0129】

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

【0130】

以上の各実施形態で説明した事項を以下に付記する。

【0131】

（付記１）
複数のノード（３、３０）と、これらノード（３、３０）のそれぞれとネットワーク（５、８０）を介して接続された管理サーバ（２、２０）とを有する分散処理システム（１）であって、各々のノード（３、３０）は、自身の設定によりネットワーク（５、８０）を介して分散処理システム（１）への参加を行う分散処理システム（１）における管理サーバ（２、２０）を動作させるためのプログラム（２２１）であって、管理サーバ（２、２０）はプロセッサ（２９）とメモリ（２５）とを備え、プログラム（２２１）は、プロセッサ（２９）に、分散処理システム（１）外のクライアント（４、１０）からの分散処理システム（１）による計算要求であるタスクを分散処理システム（１）全体で受け入れる第１ステップ（Ｓ９０１）と、タスクを複数のジョブに分解する第２ステップ（Ｓ９０２）と、各々のノード（３、３０）から予め取得した各々のノード（３、３０）の利用可能な計算リソースから、ノード（３、３０）に割り当てるジョブのスケジュールを決定する第３ステップ（Ｓ９０２）と、スケジュールに基づいて、各々のノード（３、３０）に割り当てるジョブを送出する第４ステップ（Ｓ９０２）と、各々のノード（３、３０）から、ジョブの計算結果を受け入れる第５ステップ（Ｓ９０３）と、受け入れたジョブの計算結果に基づいてタスクの計算結果を生成する第６ステップ（Ｓ９０３）と、タスクの計算結果をクライアント（４、１０）に送出する第７ステップ（Ｓ９０３）とを実行させる、プログラム（２２１）。
（付記２）
プログラム（２２１）は、第３ステップ（Ｓ９０２）において、タスクの計算処理工数を算出し、計算処理工数が所定値を上回る場合、ノード（３、３０）及び管理サーバ（２、２０）の間の通信速度を取得し、この通信速度が予め定めた閾値を上回るノード（３、３０）にジョブを割り当てるスケジュールを生成する付記１記載のプログラム（２２１）。
（付記３）
プログラム（２２１）は、さらに、各々のノード（３、３０）から、分散処理システム（１）への参加の有無に関する参加有無情報を受け入れる第８ステップ（Ｓ１３０２）と、参加有無情報に基づいてその時点で参加しているノード（３、３０）を登録する第９ステップ（Ｓ１３０６）とを実行させ、さらに、プログラム（２２１）は、第３ステップ（Ｓ９０２）において、その時点で参加しているノード（３、３０）に割り当てるジョブのスケジュールを決定する付記１記載のプログラム（２２１）。
（付記４）
プログラム（２２１）は、第８ステップ（Ｓ１３０２）において、参加有無情報及び計算リソースに関する計算リソース情報を受け入れる付記３に記載のプログラム（２２１）。
（付記５）
プログラム（２２１）は、さらに、参加有無情報に基づいて各々のノード（３、３０）の分散処理システム（１）への参加の可否を決定する第１０ステップ（Ｓ１３０４）を実行させ、さらに、プログラム（２２１）は、第１０ステップ（Ｓ１３０４）において、ジョブを割り当ててその計算結果を受け入れていないノード（３、３０）から分散処理システム（１）へ参加しない旨の参加有無情報を受け入れたら、ジョブの計算結果を受け入れるまで分散処理システム（１）への参加を継続させる決定を行う付記３に記載のプログラム（２２１）。
（付記６）
プログラム（２２１）は、第２ステップ（Ｓ９０２）において、各々のジョブに基づく計算処理工数が一定となるようにタスクを複数のジョブに分解する付記５に記載のプログラム（２２１）。
（付記７）
プログラム（２２１）は、さらに、ジョブの計算結果を受け入れたノード（３、３０）に対して、計算リソースに基づく特典を付与する第１１ステップ（Ｓ１２０５）を実行させる、付記１記載のプログラム（２２１）。
（付記８）
プログラム（２２１）は、第３ステップ（Ｓ９０２）において、各々のノード（３、３０）と管理サーバ（２、２０）との間のネットワーク距離を取得し、このネットワーク距離が近い順に、ジョブを割り当てるノード（３、３０）を決定し、決定したノード（３、３０）にジョブを割り当てるスケジュールを決定する付記１記載のプログラム（２２１）。
（付記９）
プログラム（２２１）は、第３ステップ（Ｓ９０２）において、各々のノード（３、３０）と管理サーバ（２、２０）との間のルーティングコストを取得し、ネットワーク距離が近い順に、または、ルーティングコストが安い順に、ジョブを割り当てるノード（３、３０）を決定し、決定したノード（３、３０）にジョブを割り当てるスケジュールを決定する付記８記載のプログラム（２２１）。
（付記１０）
複数のノード（３、３０）と、これらノード（３、３０）のそれぞれとネットワークを介して接続された管理サーバ（２、２０）とを有する分散処理システム（１）であって、各々のノード（３、３０）は、自身の設定によりネットワーク（５、８０）を介して分散処理システム（１）への参加を行う分散処理システム（１）における管理サーバ（２、２０）であって、管理サーバ（２、２０）はプロセッサ（２９）とメモリ（２５）とを備え、プロセッサ（２９）が、分散処理システム（１）外のクライアント（４、１０）からの計算要求に関するタスクを分散処理システム（１）全体で受け入れる第１ステップ（Ｓ９０１）と、タスクを複数のジョブに分解する第２ステップ（Ｓ９０２）と、各々のノード（３、３０）から予め取得した各々のノード（３、３０）の利用可能な計算リソースから、ノード（３、３０）に割り当てるジョブのスケジュールを決定する第３ステップ（Ｓ９０２）と、スケジュールに基づいて、各々のノード（３、３０）に割り当てるジョブを送出する第４ステップ（Ｓ９０２）と、各々のノード（３、３０）から、ジョブの計算結果を受け入れる第５ステップ（Ｓ９０３）と、受け入れたジョブの計算結果に基づいてタスクの計算結果を生成する第６ステップ（Ｓ９０３）と、タスクの計算結果をクライアント（４、１０）に送出する第７ステップ（Ｓ９０３）とを実行する、サーバ（２、２０）。
（付記１１）
複数のノード（３、３０）と、これらノード（３、３０）のそれぞれとネットワークを介して接続された管理サーバ（２、２０）とを有する分散処理システム（１）であって、各々のノード（３、３０）は、自身の設定によりネットワークを介して分散処理システム（１）への参加を行う分散処理システム（１）であって、管理サーバ（２、２０）はプロセッサ（２９）とメモリ（２５）とを備え、プロセッサ（２９）が、分散処理システム（１）外のクライアント（４、１０）からの計算要求に関するタスクを分散処理システム（１）全体で受け入れる第１ステップ（Ｓ９０１）と、タスクを複数のジョブに分解する第２ステップ（Ｓ９０２）と、各々のノード（３、３０）から予め取得した各々のノード（３、３０）の利用可能な計算リソースから、ノード（３、３０）に割り当てるジョブのスケジュールを決定する第３ステップ（Ｓ９０２）と、スケジュールに基づいて、各々のノード（３、３０）に割り当てるジョブを送出する第４ステップ（Ｓ９０２）と、各々のノード（３、３０）から、ジョブの計算結果を受け入れる第５ステップ（Ｓ９０３）と、受け入れたジョブの計算結果に基づいてタスクの計算結果を生成する第６ステップ（Ｓ９０３）と、タスクの計算結果をクライアント（４、１０）に送出する第７ステップ（Ｓ９０３）とを実行する、システム（１）。
（付記１２）
複数のノード（３、３０）と、これらノード（３、３０）のそれぞれとネットワーク（５、８０）を介して接続された管理サーバ（２、２０）とを有する分散処理システム（１）であって、各々のノード（３、３０）は、自身の設定によりネットワーク（５、８０）を介して分散処理システム（１）への参加を行う分散処理システム（１）における管理サーバ（２、２０）により実行される方法であって、管理サーバ（２０）はプロセッサ（２９）とメモリ（２５）とを備え、プロセッサ（２９）は、分散処理システム（１）外のクライアント（４、１０）からの計算要求に関するタスクを分散処理システム（１）全体で受け入れる第１ステップ（Ｓ９０１）と、タスクを複数のジョブに分解する第２ステップ（Ｓ９０２）と、各々のノード（３、３０）から予め取得した各々のノード（３、３０）の利用可能な計算リソースから、ノード（３、３０）に割り当てるジョブのスケジュールを決定する第３ステップ（Ｓ９０２）と、スケジュールに基づいて、各々のノード（３、３０）に割り当てるジョブを送出する第４ステップ（Ｓ９０２）と、各々のノード（３、３０）から、ジョブの計算結果を受け入れる第５ステップ（Ｓ９０３）と、受け入れたジョブの計算結果に基づいてタスクの計算結果を生成する第６ステップ（Ｓ９０３）と、タスクの計算結果をクライアント（４、１０）に送出する第７ステップ（Ｓ９０３）とを実行する、方法。

【符号の説明】

【0132】

１…分散処理システム ２、２０…管理サーバ ３…ノード ４…端末装置 ５…ネットワーク １０、１０Ａ、１０Ｂ…端末装置 ２５…メモリ ２９…プロセッサ ３０、３０Ａ、３０Ｂ…計算サーバ ８０…ネットワーク ２２０…記憶部 ２２１…アプリケーションプログラム ２２２…ノード管理ＤＢ ２２３…タスク管理ＤＢ ２２４…タスク定義データ ２２５…ジョブ管理ＤＢ ２２６…割当テーブル ２２７…画面データ ２２８…仮想ドライブ ２２９…ルートマップ ２３０…制御部 ２３１…受信制御部 ２３２…送信制御部 ２３３…画面提示部 ２３４…ノード管理部 ２３５…タスク解析部 ２３６…スケジュール生成部 ２３７…ジョブ割当部 ２３８…計算結果統合部 ２３９…特典付与部

【要約】

【課題】仮想的なデータセンタ（ＤＣ）を実現し、迅速かつ低コストに計算資源を有効活用した分散処理をユーザに提供する。
【解決手段】管理サーバ２０のプログラムは、端末装置１０からの分散処理システム１による計算要求であるタスクを受け入れる第１ステップと、タスクを複数のジョブに分解する第２ステップと、各々の計算サーバ３０から予め取得した各々の計算サーバ３０の利用可能な計算リソースから、計算サーバ３０に割り当てるジョブのスケジュールを決定する第３ステップと、スケジュールに基づいて、各々の計算サーバ３０に割り当てるジョブを送出する第４ステップと、各々の計算サーバ３０から、ジョブの計算結果を受け入れる第５ステップと、受け入れたジョブの計算結果に基づいてタスクの計算結果を生成する第６ステップと、タスクの計算結果を端末装置１０に送出する第７ステップとを実行させる。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】