知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-13
(54)【発明の名称】計算リソースの動的な割り当て
(51)【国際特許分類】
G06F 9/50 20060101AFI20240606BHJP
G06F 9/46 20060101ALI20240606BHJP
【ＦＩ】
G06F9/50 120A
G06F9/46 420A
G06F9/50 150A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023574416
(86)(22)【出願日】2022-06-03
(85)【翻訳文提出日】2024-01-17
(86)【国際出願番号】 US2022032139
(87)【国際公開番号】W WO2022256638
(87)【国際公開日】2022-12-08
(31)【優先権主張番号】63/196,757
(32)【優先日】2021-06-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509123208
【氏名又は名称】アビニシオ テクノロジー エルエルシー
(74)【代理人】
【識別番号】100107984
【弁理士】
【氏名又は名称】廣田 雅紀
(74)【代理人】
【識別番号】100182305
【弁理士】
【氏名又は名称】廣田 鉄平
(74)【代理人】
【識別番号】100096482
【弁理士】
【氏名又は名称】東海 裕作
(74)【代理人】
【識別番号】100131093
【弁理士】
【氏名又は名称】堀内 真
(74)【代理人】
【識別番号】100150902
【弁理士】
【氏名又は名称】山内 正子
(74)【代理人】
【識別番号】100141391
【弁理士】
【氏名又は名称】園元 修一
(74)【代理人】
【識別番号】100221958
【弁理士】
【氏名又は名称】篠田 真希恵
(74)【代理人】
【識別番号】100192441
【弁理士】
【氏名又は名称】渡辺 仁
(72)【発明者】
【氏名】シュミット ステーブン ジェイ．
(72)【発明者】
【氏名】リカルド デービッド
(72)【発明者】
【氏名】スタンフィル クレイグ ダブリュー．
(72)【発明者】
【氏名】チュ ジャッキー チューク キー
(72)【発明者】
【氏名】ビシュニアク エフライム メリウェザー
(57)【要約】
計算リソースマネージャを使用して動的に割り当てられた計算リソースを使用して、コンピューティングシステム上で分散された計算を実行するための方法が、プログラムのいくつかのプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶するステップであって、プログラム部分が、データの連続的な変換を実行し、そのプログラム部分に関連する計算がコンピューティングシステムにおいて実行されることを可能にする計算リソースマネージャによって付与された計算リソースを各プログラム部分が使用する、記憶するステップと、いくつかのプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを計算リソースマネージャに要求するステップと、要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを計算リソースマネージャから受け取るステップと、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するステップと、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行している間に、計算リソースマネージャから追加の量の計算リソースを受け取るステップと、第２の量の計算リソースを使用して第１の部分に関連する計算を実行しながら、追加の量の計算リソースを使用してプログラムの第１の部分に関連する追加の計算を実行するステップとを含む。
【特許請求の範囲】
【請求項1】
計算リソースマネージャを使用して動的に割り当てられた計算リソースを使用して、コンピューティングシステム上で分散された計算を実行するための方法であって、プログラムの複数のプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶するステップであって、前記プログラム部分が、データの連続的な変換を実行し、前記プログラム部分が前記コンピューティングシステムにおいて実行されることを可能にする前記計算リソースマネージャによって付与された計算リソースを各プログラム部分が使用する、前記記憶するステップと、
前記複数のプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを前記計算リソースマネージャに要求するステップと、
要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを前記計算リソースマネージャから受け取るステップと、
前記第２の量の計算リソースを使用して前記プログラムの第１の部分に関連する計算を実行するステップと、
前記第２の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行している間に、前記計算リソースマネージャから追加の量の計算リソースを受け取るステップと、
前記第２の量の計算リソースを使用して前記第１の部分に関連する計算を実行しながら、前記追加の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する追加の計算を実行するステップと
を含む、前記方法。
【請求項2】
前記プログラムの複数のプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報が、前記複数のプログラム部分の前記それぞれのプログラム部分に関連する１又は２以上のプログラムコンポーネントの特性を含む、請求項１に記載の方法。
【請求項3】
前記特性が、前記１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、前記１又は２以上のプログラムコンポーネントの各々が実行されるために必要とされる計算リソースの量とを含む、請求項２に記載の方法。
【請求項4】
前記複数のプログラム部分のうちのプログラム部分に関連する計算リソースの量が、前記１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、前記１又は２以上のプログラムコンポーネントの各々が実行されるために必要とされる前記計算リソースの量とに少なくとも部分的に基づいて決定される、請求項３に記載の方法。
【請求項5】
前記第２の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、受け取られた第２の量の計算リソースに応じて前記第１のプログラム部分を複数の下位部分に区分することを含む、請求項１～４のいずれかに記載の方法。
【請求項6】
前記第２の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、好ましくは、前記複数の下位部分のうちの第１の下位部分が、前記複数の下位部分のうちで、実行のために前記第２の量の計算リソースのほとんど又はすべてを使用するように構成される下位部分であるように、前記複数の下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、前記第２の量の計算リソースを使用して前記第１の下位部分に関する計算を実行することを含む、請求項５に記載の方法。
【請求項7】
前記追加の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、前記受け取られた第２の量の計算リソース及び受け取られた追加の量の計算リソースに応じて前記第１のプログラム部分を更新された複数の下位部分に再区分することを含む、請求項５又は６に記載の方法。
【請求項8】
前記追加の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、好ましくは、前記更新された複数の下位部分のうちの第１の下位部分が、前記更新された複数の下位部分のうちで、計算を実行するために前記追加の量の計算リソースのほとんど又はすべてを使用するように構成される下位部分であるように、前記更新された複数の下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、前記追加の量の計算リソースを使用して前記更新された複数の下位部分のうちの前記第１の下位部分に関連する計算を実行することを含む、請求項７に記載の方法。
【請求項9】
前記追加の量の計算リソースを使用して前記プログラムの前記第１のプログラム部分に関連する計算を実行するステップが、前記第２の量の計算リソースを使用して前記複数の下位部分のうちの第１の下位部分に関連する計算を実行することと、前記追加の量の計算リソースを使用して前記第１の部分のさらなる部分に関連する計算を実行することとを含む、請求項７又は８に記載の方法。
【請求項10】
前記更新された複数の下位部分のうちの第１の下位部分が、前記更新された複数の下位部分のうちの前記第１の下位部分を取得するために、前記複数の下位部分のうちのその他の１又は２以上の下位部分からの前記第１のプログラム部分の１又は２以上のプログラムコンポーネントの１又は２以上のインスタンスを前記複数の下位部分のうちの前記第１の下位部分に追加することによって形成された、前記複数の下位部分のうちの前記第１の下位部分の拡張されたバージョンである、請求項７～９のいずれかに記載の方法。
【請求項11】
前記第１のプログラム部分を複数の下位部分に区分することが、前記第１のプログラム部分に関連するプログラムコンポーネントのうちの１又は２以上の特性に応じて前記第１のプログラム部分を区分することを含む、請求項５～１０のいずれかに記載の方法。
【請求項12】
前記複数のプログラム部分の前記特性が、前記１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、前記１又は２以上のプログラムコンポーネントの各々が実行されるために必要とされる計算リソースの量とを含む、請求項１１に記載の方法。
【請求項13】
第１のプログラムコンポーネントの第１の１又は２以上のインスタンスが、第１の下位部分に区分され、前記第１のプログラムコンポーネントの第２の１又は２以上のインスタンスが、第２の下位部分に区分される、請求項１２に記載の方法。
【請求項14】
前記第１のプログラム部分の実行が完了すると、前記第２の量の計算リソース及び前記追加の量の計算リソースを放棄するステップをさらに含む、請求項１～１３のいずれかに記載の方法。
【請求項15】
前記第１のプログラム部分の実行が完了すると、前記第２の量の計算リソース及び前記追加の量の計算リソースの少なくとも一部を保持するステップをさらに含む、請求項１～１４のいずれかに記載の方法。
【請求項16】
保持された計算リソースの少なくとも一部を使用して、前記プログラムの第２の部分に関連する計算を実行するステップをさらに含む、請求項１５に記載の方法。
【請求項17】
前記第１のプログラム部分に関連する計算の実行中に、第３の量の受け取られた計算リソースが利用不可能になる、請求項１～１６のいずれかに記載の方法であって、前記計算リソースマネージャに前記第３の量の計算リソースを要求するステップと、
前記計算リソースマネージャから前記第３の量の計算リソースを受け取るステップと、
受け取られた第３の量の計算リソースを使用して、前記第１のプログラム部分に関連する計算を実行し続けるステップとをさらに含む、前記方法。
【請求項18】
前記計算リソースマネージャが、前記コンピューティングシステムのために利用可能な計算リソースの量に関して不明瞭である、請求項１～１７のいずれかに記載の方法。
【請求項19】
前記第１のプログラム部分からの出力データを記憶し、記憶された出力データを読み取り、処理することを含む、前記複数のプログラム部分のうちの第２のプログラム部分に関連する計算を実行するステップをさらに含む、請求項１～１８のいずれかに記載の方法。
【請求項20】
前記第１のプログラム部分からの出力データのストリームを受け取り、処理することを含む、前記複数のプログラム部分のうちの第２のプログラム部分に関連する計算を実行するステップをさらに含む、請求項１～１９のいずれかに記載の方法。
【請求項21】
計算リソースマネージャを使用して動的に割り当てられたコンピューティングシステムの計算リソースを使用して分散された計算を実行するためのシステムであって、プロセッサと、前記プロセッサによって実行されるときに請求項１～２０のいずれかに記載の方法をシステムに実行させる命令を記憶するストレージ媒体とを含む、前記システム。
【請求項22】
コンピューティングシステムに請求項１～２０のいずれかに記載の方法を実行させるための命令を記憶する非一時的コンピュータ可読媒体。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年６月４日に出願した米国特許仮出願第６３／１９６，７５７号の利益を主張するものであり、この仮出願の内容全体は、本明細書に組み込まれる。
本出願は、２０２１年６月４日に出願した米国特許仮出願第６３／１９６，７５７号の利益を主張するものであり、この仮出願の内容全体は、本明細書に組み込まれる。
【0002】
この説明は、コンピューティングシステムにおけるリソースの動的な割り当てに関する。
【背景技術】
【0003】
コンピューティングシステム上で実行されるアプリケーションは、その実行のためにコンピューティングシステムの計算リソースの一部を必要とする。したがって、コンピューティングシステムは、コンピューティングシステム上で実行されるアプリケーションへのそのコンピューティングシステムのリソースの割り当てを管理しなければならない。アプリケーションに割り当てられるリソースの一部の例は、コンピューティングシステムのメモリの一部へのアクセス、ファイルデータへのアクセス、及び必要とされる処理能力へのアクセスを含む。
【0004】
分散コンピューティングシステムにおいては、（データストレージ及び処理リソースを含む）計算リソースが、データ処理アプリケーションを実行するために協働する、１又は２以上のクラスタに含まれる多数のサーバに分散される。一部の例において、分散コンピューティングシステムは、コンピューティングシステム上でのアプリケーションの実行をスケジューリングし、かつコンピューティングシステムの分散されたリソースのアプリケーションへの割り当てを管理する集中型のリソースマネージャを使用する。リソースマネージャの例は、「Ｈａｄｏｏｐ ＹＡＲＮ」及び「Ｋｕｂｅｒｎｅｔｅｓ」を含む。
【発明の概要】
【課題を解決するための手段】
【0005】
一般的な態様においては、計算リソースマネージャを使用して動的に割り当てられた計算リソースを使用してコンピューティングシステム上で分散された計算を実行するための方法が、プログラムのいくつかのプログラム部分（program portion）のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶するステップであって、プログラム部分が、データの連続的な変換を実行し、各プログラム部分が、そのプログラム部分に関連する計算がコンピューティングシステムにおいて実行されることを可能にする計算リソースマネージャによって付与された計算リソースを使用する、ステップと、いくつかのプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを計算リソースマネージャに要求するステップと、要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを計算リソースマネージャから受け取るステップと、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するステップと、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行している間に、計算リソースマネージャから追加の量の計算リソースを受け取るステップと、第２の量の計算リソースを使用して第１の部分に関連する計算を実行しながら、追加の量の計算リソースを使用してプログラムの第１の部分に関連する追加の計算を実行するステップとを含む。
【0006】
態様は、以下の特徴のうちの１又は２以上を含む場合がある。
【0007】
プログラムのいくつかのプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報は、いくつかのプログラム部分のそれぞれのプログラム部分に関連する１又は２以上のプログラムコンポーネントの特性を含んでよい。特性は、１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、１又は２以上のプログラムコンポーネントの各々に関連する計算を実行するために必要とされる計算リソースの量とを含んでよい。いくつかのプログラム部分のうちのプログラム部分に関連する計算リソースの量は、１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、１又は２以上のプログラムコンポーネントの各々に関連する計算を実行するために必要とされる計算リソースの量とに少なくとも部分的に基づいて決定されてよい。
【0008】
第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するステップは、受け取られた第２の量の計算リソースに応じて第１のプログラム部分をいくつかの下位部分に区分することを含んでよい。プログラムの第１の部分に関連する計算を実行するステップは、いくつかの下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、いくつかの下位部分の第１の下位部分を実行することを含んでよい。
【0009】
プログラムの一部の区分は、プログラムコンポーネントの少なくとも一部の実行の順序を維持する方法で実行され得る。プログラム部分の一部の区分は、プログラムコンポーネントの少なくとも一部の実行の順序を維持しながら、受け取られた計算リソースの使用を最大化する方法で実行され得る。受け取られた計算リソースの使用の最大化は、受け取られた計算リソースを使用して、プログラム部分の第１の部分のプログラムコンポーネントのすべてではなく一部の必要とされるインスタンスに関する計算を実行することと、プログラムコンポーネントの残りのインスタンスを、後で実行するためにプログラム部分の別の部分に関連付けることとを含み得る。
【0010】
第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するステップは、複数の下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、第２の量の計算リソースを使用して複数の下位部分のうちの第１の下位部分に関する計算を実行することを含んでよい。第１の下位部分は、複数の下位部分のうちで、実行のために第２の量の計算リソースのほとんど又はすべてを使用するように構成される下位部分であってよい。
【0011】
追加の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するステップは、受け取られた第２の量の計算リソース及び受け取られた追加の量の計算リソースに応じて第１のプログラム部分を更新されたいくつかの下位部分に再区分することを含んでよい。
【0012】
追加の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するステップは、更新された複数の下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、追加の量の計算リソースを使用して更新された複数の下位部分のうちの第１の下位部分に関連する計算を実行することを含んでよい。
【0013】
更新された複数の下位部分のうちの第１の下位部分は、更新された複数の下位部分のうちで、計算を実行するために追加の量の計算リソースのほとんど又はすべてを使用するように構成される下位部分であってよい。
【0014】
第１のプログラム部分をいくつかの下位部分に区分することは、第１のプログラム部分に関連するプログラムコンポーネントのうちの１又は２以上の特性に応じて第１のプログラム部分を区分することを含んでよい。いくつかのプログラム部分の特性は、１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、１又は２以上のプログラムコンポーネントの各々に関連する計算を実行するために必要とされる計算リソースの量とを含んでよい。第１のプログラムコンポーネントの第１の１又は２以上のインスタンスが、第１の下位部分に区分されてよく、第１のプログラムコンポーネントの第２の１又は２以上のインスタンスが、第２の下位部分に区分されてよい。
【0015】
方法は、第１のプログラム部分に関連する計算が完了すると、第２の量の計算リソース及び追加の量の計算リソースを放棄するステップを含んでよい。方法は、第１のプログラム部分に関連する計算が完了すると、第２の量の計算リソース及び追加の量の計算リソースの少なくとも一部を保持するステップを含んでよい。方法は、保持された計算リソースの少なくとも一部を使用して、プログラムの第２の部分に関連する計算を実行するステップを含んでよい。
【0016】
第３の量の受け取られた計算リソースが、第１のプログラム部分に関連する計算中に利用不可能になる場合があり、方法は、計算リソースマネージャに第３の量の計算リソースを要求するステップと、計算リソースマネージャから第３の量の計算リソースを受け取るステップと、受け取られた第３の量の計算リソースを使用して、第１のプログラム部分に関連する計算を実行し続けるステップとをさらに含んでよい。
【0017】
計算リソースマネージャは、コンピューティングシステムのために利用可能な計算リソースの量に関して不明瞭（opaque）である場合がある。方法は、第１のプログラム部分からの出力データを記憶し、記憶された出力データを読み取り、処理することを含む、いくつかのプログラム部分のうちの第２のプログラム部分に関連する計算を実行するステップを含んでよい。方法は、第１のプログラム部分からの出力データのストリームを受け取り、処理することを含む、いくつかのプログラム部分のうちの第２のプログラム部分に関連する計算を実行するステップを含んでよい。
【0018】
別の全般的な態様においては、計算リソースマネージャを使用して動的に割り当てられたコンピューティングシステムの計算リソースを使用して分散された計算を実行するためのシステムが、プログラムのいくつかのプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶するためのストレージデバイスであって、プログラム部分が、データの連続的な変換を実行し、各プログラム部分が、そのプログラム部分がコンピューティングシステムにおいて実行されることを可能にする計算リソースマネージャによって付与された計算リソースを使用する、ストレージデバイスと、いくつかのプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを計算リソースマネージャに要求し、要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを計算リソースマネージャから受け取り、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行し、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行している間に、計算リソースマネージャから追加の量の計算リソースを受け取り、第２の量の計算リソースを使用して第１の部分に関連する計算を実行しながら、追加の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するように構成された少なくとも１つのプロセッサとを含む。
【0019】
別の全般的な態様においては、計算リソースマネージャを使用して動的に割り当てられたコンピューティングシステムの計算リソースを使用して分散された計算を実行するためのシステムが、プログラムのいくつかのプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶するための手段であって、プログラム部分が、データの連続的な変換を実行し、各プログラム部分が、コンピューティングシステムにおけるそのプログラム部分に関連する計算の実行を可能にする計算リソースマネージャによって付与された計算リソースを使用する、手段と、いくつかのプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを計算リソースマネージャに要求し、要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを計算リソースマネージャから受け取り、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行し、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行している間に、計算リソースマネージャから追加の量の計算リソースを受け取り、第２の量の計算リソースを使用して第１の部分に関連する計算を実行しながら、追加の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行するように構成された処理のための手段とを含む。
【0020】
別の全般的な態様においては、計算リソースマネージャを使用して動的に割り当てられたコンピューティングシステムの計算リソースを使用して分散された計算を実行するための、コンピュータ可読媒体に非一時的形態で記憶されたソフトウェアが、コンピューティングシステムに、プログラムのいくつかのプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶することであって、プログラム部分が、データの連続的な変換を実行し、各プログラム部分が、コンピューティングシステムにおけるそのプログラム部分に関する計算の実行を可能にする計算リソースマネージャによって付与された計算リソースを使用する、記憶すること、いくつかのプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを計算リソースマネージャに要求すること、要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを計算リソースマネージャから受け取ること、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行すること、第２の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行している間に、計算リソースマネージャから追加の量の計算リソースを受け取ること、第２の量の計算リソースを使用して第１の部分に関連する計算を実行しながら、追加の量の計算リソースを使用してプログラムの第１の部分に関連する計算を実行することを行わせる命令を含む。
【0021】
プログラム又はプログラム部分に関連する計算を実行することは、プログラム又はプログラム部分を実行することとも称される。
【0022】
プログラムは、データフローグラフとして規定されることが可能であり、プログラム部分は、データフローグラフのコンポーネントとして規定されることが可能である。
【0023】
プログラムは、手続き型プログラム仕様として規定されることが可能であり、プログラム部分は、サブルーチンとして規定されることが可能である。
【0024】
態様は、以下の利点のうちの１又は２以上を含む場合がある。
【0025】
利点の中でもとりわけ、態様は、プログラム部分が利用可能なリソースの量が経時的に変化する、リソースを制約された計算環境において、コンピュータプログラム（例えば、データ処理グラフ（data processing graph））の一部（例えば、コンポーネント）に計算リソースを動的に割り当てる。プログラムの一部（「フェーズ」と呼ばれることもある）は、すべてよりも少ないそれらの必要とされる計算リソースで計算を部分的に実行することを可能にされ、計算を完了するためなどに追加の計算リソースが利用可能になるとき、計算を実行しながら追加の計算リソースを組み込むことを可能にされる。有利なことに、プログラム部分は、すべてのそれらの必要とされるリソースが付与されるのを待っている間引き留められる可能性がより低い。有利なことに、プログラム部分は、障害が起きたリソースを置き換えるために新しいリソースを動的に割り当てることによって、コンピューティングシステム内のリソース（例えば、ノード）の障害から回復することができる。
【0026】
本発明のその他の特徴及び利点は、以下の説明及び請求項から明らかになるであろう。
【図面の簡単な説明】
【0027】
【図1】分散された計算リソースの動的な割り当てのためのシステムのブロック図である。
【図2a】分散された計算リソースの動的な割り当てのためのシステムの詳細なブロック図である。
【図2b】データ処理グラフの例を示す図である。
【図3】計算リソースの動的な割り当てプロセスを示すフローチャートである。
【図9】第２のフェーズの一部が実行されている間に追加の計算リソースが利用可能になるところを示す図である。
【図16】実行モジュールの第２のホストが故障するところを示す図である。
【発明を実施するための形態】
【0028】
１ システム概要
図１は、リソース割り当て技術が使用されるデータ処理システム１００の例を示す。システム１００は、ストレージデバイス、又はオンラインデータストリームへの接続などのデータの１又は２以上のソースを含む場合があるデータソース１０２を含み、それらの１又は２以上のソースの各々は、様々なフォーマット（例えば、データベーステーブル、スプレッドシートファイル、フラットテキストファイル、又はメインフレームによって使用されるネイティブフォーマット）のいずれかでデータを記憶又は提供してよい。実行環境１０４は、実行モジュール１１２、リソースマネージャ１２０、及びリソース要求モジュール１２２を含む。実行環境１０４は、例えば、ＵＮＩＸ（登録商標）オペレーティングシステムのバージョンなどの好適なオペレーティングシステムの制御下の１又は２以上の多目的コンピュータにホストされてよい。また、例えば、実行環境１０４は、ローカルの（例えば、対称型マルチプロセッシング（ＳＭＰ，symmetric multi-processing）コンピュータなどのマルチプロセッサシステム）又はローカルに分散された（例えば、クラスタ若しくは超並列処理（ＭＰＰ，massively parallel processing）システムとして接続された複数のプロセッサ）か、或いは遠隔の又は遠隔に分散された（例えば、ローカルエリアネットワーク（ＬＡＮ，local area network）及び／若しくは広域ネットワーク（ＷＡＮ，wide-area network）を介して接続された複数のプロセッサ）か、或いはこれらの任意の組合せかのいずれかの複数の中央演算処理装置（ＣＰＵ，central processing unit）或いはプロセッサコアを使用するコンピュータシステムの構成を含むマルチノード並列コンピューティング環境を含み得る。
図１は、リソース割り当て技術が使用されるデータ処理システム１００の例を示す。システム１００は、ストレージデバイス、又はオンラインデータストリームへの接続などのデータの１又は２以上のソースを含む場合があるデータソース１０２を含み、それらの１又は２以上のソースの各々は、様々なフォーマット（例えば、データベーステーブル、スプレッドシートファイル、フラットテキストファイル、又はメインフレームによって使用されるネイティブフォーマット）のいずれかでデータを記憶又は提供してよい。実行環境１０４は、実行モジュール１１２、リソースマネージャ１２０、及びリソース要求モジュール１２２を含む。実行環境１０４は、例えば、ＵＮＩＸ（登録商標）オペレーティングシステムのバージョンなどの好適なオペレーティングシステムの制御下の１又は２以上の多目的コンピュータにホストされてよい。また、例えば、実行環境１０４は、ローカルの（例えば、対称型マルチプロセッシング（ＳＭＰ，symmetric multi-processing）コンピュータなどのマルチプロセッサシステム）又はローカルに分散された（例えば、クラスタ若しくは超並列処理（ＭＰＰ，massively parallel processing）システムとして接続された複数のプロセッサ）か、或いは遠隔の又は遠隔に分散された（例えば、ローカルエリアネットワーク（ＬＡＮ，local area network）及び／若しくは広域ネットワーク（ＷＡＮ，wide-area network）を介して接続された複数のプロセッサ）か、或いはこれらの任意の組合せかのいずれかの複数の中央演算処理装置（ＣＰＵ，central processing unit）或いはプロセッサコアを使用するコンピュータシステムの構成を含むマルチノード並列コンピューティング環境を含み得る。
【0029】
データストレージシステム１１６には、実行環境１０４及び開発環境１１８がアクセスすることができる。開発環境１１８は、異なる相互に関連するプログラム部分が、実行時に使用するために割り当てられる計算リソースの異なる目標量に関連付けられるように様々な方法で構成され得るプログラムを開発するためのシステムである。一部の実施形態において、これらのプログラムは、データソース１０２から受け取られたデータなどのデータを実行時間中に処理するデータ処理プログラムである。データ処理プログラムの一例は、頂点間の（作業要素（work element）、すなわち、データのフローを表す）有向リンクによって接続された（データ処理コンポーネント又はデータセットを表す）頂点を含むデータ処理グラフである。その他の形態のデータ処理プログラムが、本発明に従って可能である。これらのデータフロー接続に加えて、一部のデータ処理グラフは、コンポーネントの間の制御のフローを決定するための制御フロー接続も有する。そのようなデータ処理グラフにおいては、プログラム部分がコンポーネントであり、それらはデータフローリンクによって相互に関連している。その他の例において、プログラム部分は、実行されるためのコンピューティングリソースを別々に付与される、プログラム内のサブモジュール又はその他のエンティティである。プログラム部分は、実行されるためにそれらが属するプログラム全体の能力が個々のプログラム部分の能力に依存する限りにおいて、相互に関連していると考えられる。そのような相互に関連する又は相互に依存するプログラム部分は、実行のために互いに依存している場合もある。例えば、あるプログラム部分が、別のプログラム部分からデータを受け取るか又は別のプログラム部分にデータを提供する場合がある。また、プログラム部分は、コンピューティングリソースを別々に付与されるが、様々なその他の方法で重なり合うか又は相互に依存している場合がある（例えば、コンピューティングリソースの限られた供給を得るために争う）。
【0030】
例えば、グラフに基づく計算を開発するためのそのような環境が、参照により本明細書に組み込まれている、「Ｍａｎａｇｉｎｇ Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｇｒａｐｈ－Ｂａｓｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ」と題した米国特許出願公開第２００７／００１１６６８号明細書により詳細に説明されている。そのようなグラフに基づく計算を実行するためのシステムが、参照により本明細書に組み込まれている、「ＥＸＥＣＵＴＩＮＧ ＣＯＭＰＵＴＡＴＩＯＮＳ ＥＸＰＲＥＳＳＥＤ ＡＳ ＧＲＡＰＨＳ」と題した米国特許第５，９６６，０７２号明細書に説明されている。このシステムによって生成されるデータ処理グラフは、プロセス間で情報を移動させるため及びプロセスに関する実行の順序を定義するためにグラフのコンポーネントによって表される個々のプロセスに情報を出し入れするための方法を提供する。このシステムは、任意の利用可能な方法からプロセス間通信の方法を選択するアルゴリズムを含む（例えば、グラフのリンクに従った通信パスは、ＴＣＰ／ＩＰ若しくはＵＮＩＸ（登録商標）ドメインソケットを使用するか、又はプロセス間でデータを渡すために共有メモリを使用し得る）。
【0031】
実行モジュール１１２は、データソース１０２にまた記憶されるか若しくはデータストレージシステム１１６に記憶されるか、又はその他の方法で使用される出力データを生成するために、リソースマネージャ１２０によって割り当てられた計算リソースを使用して、１又は２以上のデータ処理グラフ１１４に従ってデータソース１０２からのデータを処理する。データソース１０２を提供するストレージデバイスは、実行環境１０４のローカルにあり、例えば、実行環境１０４をホストするコンピュータに接続されたストレージ媒体（例えば、ハードドライブ１０８）に収容される場合があり、又は実行環境１０４のリモートにあり、例えば、（例えば、クラウドコンピューティングインフラストラクチャによって提供される）リモート接続を介して実行環境１０４をホストするコンピュータと通信するリモートシステム（例えば、メインフレーム１１０）にホストされる場合がある。一部の例において、データソース１０２は、場合によってはヌル値を含む、それぞれのフィールド（「属性」又は「列」とも呼ばれる）の値を有するレコードとして編成されてよいデータを含む異なる形態のデータベースシステムを含む。
【0032】
リソースマネージャ１２０は、実行環境１０４上でのデータ処理グラフ１１４などの１又は２以上のコンピュータプログラムの実行をスケジューリングし、実行環境のリソースのデータ処理グラフへの割り当てを管理する。下でより詳細に説明されるように、多数の相互に依存するコンポーネントを含むデータ処理グラフなどの、相互に関連するプログラム部分を含むコンピュータプログラムに関して、リソース要求モジュール１２２は、経時的に変化する場合がある、実行モジュール１１２に関連する計算リソースの可用性に基づいて計算リソースを動的に割り当てるためにリソースマネージャ１２０と相互にやりとりを実行する。
【0033】
図２Ａを参照すると、データ処理システム１００の代替的な表現が、実行環境１０４、データソース１０２、及び実行環境１０４の計算リソースを使用してデータソース１０２からのデータを処理するためのデータ処理プログラム２２４（例えば、データ処理グラフ）を含む。
【0034】
実行環境１０４は、リソース要求モジュール１２２、リソースマネージャ１２０、及び実行モジュール１１２を含む。その他の特徴のうち、実行モジュール１１２は、複数のホスト（例えば、サーバのコンピューティングクラスタ）に分散される場合がある計算リソースを含む。図２Ａにおいては、３つのホスト、すなわち、第１のホストＨ１ ２３６、第２のホストＨ２ ２３８、及び第３のホストＨ３ ２４０が存在する。各ホストは、まとめると実行モジュール１１２の総計算リソースを含む有限の量の計算リソースを含む。リソースマネージャ１２０によって管理され、割り当てられている計算リソースの例は、ホストのプロセッサの使用シェア（例えば、１若しくは２以上のマルチコアプロセッサの物理コアにマッピングされる仮想コアとして指定される）、ホストの揮発性メモリの一部（例えば、ホストのメインメモリ空間の量として指定される）、ホストの不揮発性メモリの一部（例えば、ホストのハードディスクドライブのストレージ空間の量として指定される）、又は通信チャネルの使用シェア（例えば、ホストのイーサネットインターフェースの帯域幅の一部）のうちのいずれかを含む場合がある。計算リソースの単一の単位は、指定された数のＣＰＵ又は仮想コア、及び指定された量のメインメモリなどの複数の種類のリソースを含む場合がある。
【0035】
図２Ａにおいては、本明細書に記載の計算リソース割り当て方法の説明を簡単にするために、ホストの計算リソースは、（ホスト内の正方形として示される）計算リソース単位として表され、それらの計算リソース単位は、すべて同じ粒度（granularity）（すなわち、付与され得る最小のサイズ）を有するものとして示される。しかし、計算リソースは、必ずしも決まった等しい粒度の単位にセグメント分けされるとは限らず、その代わりに、様々な粒度の単位にセグメント分けされるか、又はその他の代替的な手法を使用して分割され得ることが留意される。さらに、本明細書に記載の計算リソース割り当て手法の説明を簡単にするために、図２Ａの実行モジュール１１２内のホストのすべては、同じ数（すなわち、９個）の計算リソース単位を有するものとして示される。しかし、概して、異なるホストは、異なる量の計算リソースを有してよいことが留意される。
【0036】
リソースマネージャ１２０は、計算リソースの要求を受け取り、実行モジュール１１２のホスト内の利用可能な計算リソースの量に基づいて要求を許可するか又は拒否するかのどちらかである。そのようなリソースマネージャ１２０の一例は、「Ｈａｄｏｏｐ ＹＡＲＮ」リソースマネージャを含み、「Ｈａｄｏｏｐ ＹＡＲＮ」リソースマネージャは、コンピュータプログラム（若しくはプログラム部分）を実行するための計算リソースの要求を受け取ることができ、十分な計算リソースを利用可能である場合、プログラムによる使用のための計算リソースの何らかの数の単位を持つ「コンテナ」を付与し、コンテナは、特定の量の計算リソースを含むか、又は特定の量の計算リソースを特定する任意の情報を含むか、又はそれらの任意の組合せのための任意の好適なデータ構造として実装され得る。そして、コンピュータプログラムは、付与されたコンテナ内の計算リソースを使用して実行されてよい。一部の例において、コンピュータプログラムは、リソースの複数のコンテナ（例えば、プログラムの一部の同時インスタンスを実行するためのいくつかのコンテナ）をリソースマネージャ１２０に一度に要求することができる。リソースマネージャ１２０が要求された複数のコンテナのすべてをコンピュータプログラムに付与するのに十分なリソースが利用可能である場合、リソースマネージャ１２０は要求された複数のコンテナのすべてをコンピュータプログラムに付与する。そうでない場合、利用可能なリソースに基づいて、リソースマネージャ１２０は、要求されたコンテナの一部（すなわち、要求されたコンテナの総数よりも少ない整数数のコンテナ）のみを付与する場合があり、又はリソースマネージャ１２０は、要求されたコンテナのいずれも付与しない場合がある。一部の実施形態においては、所与のコンテナに関連する計算リソースのすべてが、単一のホストに由来する。代替的に、その他の実施形態においては、所与のコンテナのリソースが、複数のホストに由来する場合がある。
【0037】
下でより詳細に説明されるように、リソース要求モジュール１２２は、実行モジュール１１２におけるリソースの可用性が経時的に変化するにつれて、データ処理プログラム２２４のためのリソースの動的な割り当て（例えば、増分割り当て、割り当て解除、又は再割り当て）を可能にする方法で、リソースマネージャ１２０と相互にやりとりを実行する。
【0038】
データ処理プログラム２２４は、データソース１０２から受け取られたデータを処理するためのコンピュータプログラムの仕様である。図２Ｂは、第１のコンポーネントＡ ２２６、第２のコンポーネントＢ ２２８、第３のコンポーネントＣ ２３０、及び第４のコンポーネントＤ ２３２を含むいくつかの相互に関連するコンポーネントを含むデータ処理プログラム２２４のデータ処理グラフに基づく仕様の例である。
【0039】
一部の例において、データ処理プログラム（例えば、データ処理グラフ）の実行は、複数の連続した計算フェーズ（「プログラム部分」と呼ばれることもある）に分割され、コンピュータプログラムの各プログラムコンポーネント（例えば、グラフのノード若しくはコンポーネント、又は手続き型プログラムのサブルーチン）は、計算フェーズのうちの１つに属する。概して、計算フェーズに属するすべてのプログラムコンポーネントは、次の後続の計算フェーズに属するプログラムコンポーネントがそれらの処理を開始することができる前に、それらの処理を完了しなければならない。例えば、図２のデータ処理プログラム２２４は、３つの計算フェーズ、すなわち、第１の計算フェーズ２２７、第２の計算フェーズ２２９、及び第３の計算フェーズ２３１を含むデータ処理グラフである。第１のコンポーネントＡ ２２６は、第１の計算フェーズ２２７に属し、第２のコンポーネントＢ ２２８及び第３のコンポーネントＣ ２３０は、両方とも第２の計算フェーズ２２９に属し、第４のコンポーネントＤ ２３２は、第３の計算フェーズ２３１に属する。
【0040】
さらに、コンピュータプログラムの各プログラムコンポーネントは、実行モジュール１１２上でプログラムコンポーネントのために必要とされるリソースの量を指定する計算リソース量と、プログラムコンポーネントの並列化の程度を指定する「レイアウト」制約とに関連付けられてよい。コンポーネントの計算リソース量及びレイアウトの略記法は、「ＡｘＢ」であり、Ａは、計算リソース量であり、Ｂは、レイアウト制約である。図２Ｂの例示的なデータ処理グラフにおいて、第１のコンポーネントＡ ２２６は、「４」リソース単位の計算リソース量と、コンポーネントの２つのインスタンス（又はプライ（ply））が並列に実行されることを指定する「２」のレイアウト制約とを有するので、「４ｘ２」と注釈を付けられている。第２のコンポーネントＢ ２２８は、「５」リソース単位の計算リソース量と、コンポーネントの３つのインスタンスが並列に実行されることを指定する「３」のレイアウト制約とを有するので、「５ｘ３」と注釈を付けられている。第３のコンポーネントＣ ２３０は、「４」リソース単位の計算リソース量と、コンポーネントの１つのインスタンスのみが実行されることを指定する「１」のレイアウト制約とを有するので、「４ｘ１」と注釈を付けられている。第４のコンポーネントＢ ２３２は、「１」リソース単位の計算リソース量と、コンポーネントの６つのインスタンスが並列に実行されることを指定するレイアウト制約「６」とを有するので、「１ｘ６」と注釈を付けられている。
【0041】
再び図２Ａを参照すると、データ処理プログラム２２４のプログラムコンポーネントの各々は、データソース１０２のデータセットからのデータ要素（例えば、ブロック、ファイル、又はレコード）を処理するように構成される。図２Ａにおいて、第１のプログラムコンポーネントＡ ２２６は、第１のデータセット２４２からの第１のデータ要素２５２を処理し、第２のプログラムコンポーネントＢ ２２８は、第２のデータセット２４４からの第２のデータ要素２５４を処理し、第３のプログラムコンポーネントＣ ２３０は、第３のデータセット２４６からの第３のデータ要素２５６を処理し、第４のプログラムコンポーネントＤ ２３２は、第４のデータセット２４８からの第４のデータ要素２５８を処理する。一部の例において、ブロックは、１又は２以上のレコードを含むファイル内のデータの一部である。本明細書に記載の例において、データセットのデータ要素の各ブロックは、データセットに関連付けられるプログラムコンポーネントの対応するインスタンスによって処理される。しかし、プログラムコンポーネントのインスタンスへのデータのその他の割り当てが可能であることが留意される。例えば、データ要素の数に基づいて、異なるプログラムコンポーネントのインスタンスの目標数と、ひいては計算リソースの目標量とを決定するために、各プログラムコンポーネントに関連するデータセットが分析される場合がある。その他の例において、計算リソースの目標量は、必ずしも関連するデータセットのデータの量に基づくとは限らず、その代わりに（又はさらに）、履歴的な又は推定された性能データなどのその他の要因に依存する場合がある。各プログラムコンポーネントが異なるデータセットに関連付けられるという必要条件は存在しないことが留意される。例えば、いくつかのプログラムコンポーネントが、すべて同じデータセットのうちの１又は２以上からのデータを処理してよい。
【0042】
２ 動的なリソースの割り当て
リソースが豊富なシナリオでは、リソース要求モジュール１２２は、問題なくデータ処理プログラム２２４のフェーズにリソースを割り当てることができる。各フェーズは、そのフェーズの割り当てられたリソースを使用して結果を生成し、その結果は、データ処理プログラムの後続のフェーズによって使用される場合がある。フェーズが完了すると、そのフェーズの割り当てられた計算リソースは放棄される。しかし、一部の例において、実行モジュール１１２は、限られた計算リソースを有し、それは、リソース要求モジュール１２２がフェーズのために要求する計算リソースのすべてよりも少ないリソースをそのリソース要求モジュール１２２が受け取る結果をもたらし得る。そのような例において、フェーズのためのリソースの残りが利用可能になるまでフェーズの実行を待つのではなく、本明細書において説明される態様は、既に割り当てられているリソースでフェーズの一部を実行し、追加の計算リソースが利用可能になるにつれてフェーズのさらなる部分を実行する動的なリソース割り当てプロセスを使用する。
リソースが豊富なシナリオでは、リソース要求モジュール１２２は、問題なくデータ処理プログラム２２４のフェーズにリソースを割り当てることができる。各フェーズは、そのフェーズの割り当てられたリソースを使用して結果を生成し、その結果は、データ処理プログラムの後続のフェーズによって使用される場合がある。フェーズが完了すると、そのフェーズの割り当てられた計算リソースは放棄される。しかし、一部の例において、実行モジュール１１２は、限られた計算リソースを有し、それは、リソース要求モジュール１２２がフェーズのために要求する計算リソースのすべてよりも少ないリソースをそのリソース要求モジュール１２２が受け取る結果をもたらし得る。そのような例において、フェーズのためのリソースの残りが利用可能になるまでフェーズの実行を待つのではなく、本明細書において説明される態様は、既に割り当てられているリソースでフェーズの一部を実行し、追加の計算リソースが利用可能になるにつれてフェーズのさらなる部分を実行する動的なリソース割り当てプロセスを使用する。
【0043】
図３を参照すると、リソース割り当てプロセス３００は、実行モジュール１１２が限られた計算リソースを有するときに、データ処理プログラム２２４を実行するための計算リソースを動的に割り当てる。プロセス３００は、多数のフェーズ３６０の表現（representations）を受け取り、各表現は、フェーズ内のプログラムコンポーネントに関連する情報（例えば、プログラムコンポーネントの計算リソースの要件及び並列性の程度）を含む。プロセス３００の説明を容易にするために、フェーズ３６０の各表現は、フェーズのすべてのプログラムコンポーネントを含む単一のサブフェーズから始まるものと見なされる。フェーズ３６０の各表現に関し、フェーズ３６０の各サブフェーズに関して、プロセス３００の第１のステップ３６２は、サブフェーズが実行されるために必要とされるすべての計算リソースを要求する。プロセス３００の第２のステップ３６４において、サブフェーズのためのすべての要求された計算リソースが受け取られる（代替的に「割り当てられる」又は「付与される」と呼ばれる）場合、第３のステップ３６５は、受け取られた計算リソースを使用してサブフェーズを実行する。そうでなく、すべてよりも少ない要求された計算リソースが受け取られる場合、プロセス３００の第４のステップ３６６は、サブフェーズを、２つの（又は一部の例においては複数の）サブフェーズ、すなわち、第１のサブフェーズ及び第２のサブフェーズに区分する。
【0044】
各サブフェーズに関して、プロセス３００の第５のステップ３６８は、受け取られた計算リソースを使用して第１のサブフェーズを実行し、一方、第２のサブフェーズは、リソースが利用可能になるのを待つ。プロセス３００の第６のステップ３７０において、サブフェーズの実行中に追加のリソースが利用可能になる場合、プロセス３００の第７のステップ３７２は、（例えば、第２のサブフェーズから第１のサブフェーズにコンポーネントのインスタンスを追加することによって）第１のサブフェーズが追加の受け取られた計算リソースを使用することができるように第１のサブフェーズを拡張する（及び第２のサブフェーズを縮小する）。プロセス３００の第８のステップ３７４において、拡張された第１のサブフェーズが実行される。
【0045】
各サブフェーズ（又は拡張されたサブフェーズ）の実行が完了すると、実行の結果が（例えば、メモリ又はディスクに）記憶される。プロセス３００は、各サブフェーズ（例えば、追加された第２のサブフェーズ）を通して反復し、各サブフェーズは、フェーズのすべてのサブフェーズが実行されるまで、上述のように、前のサブフェーズによって記憶された任意の結果を読み取り、割り当てられた計算リソースを使用して実行される。このプロセスが、各フェーズに関して繰り返す。
【0046】
３ フェーズの区分
図４を参照すると、図２Ｂのデータ処理プログラム２２４（すなわち、データ処理グラフ）への図３のプロセス３００の例示的な適用において、プロセス３００の第１のステップ３６２は、データ処理プログラム２２４の第１のフェーズ２２７の単一のサブフェーズを実行するために必要とされるすべてのリソースをリソース要求モジュール１２２が要求することによって開始する。この場合、第１のフェーズ２２７の単一のサブフェーズは、実行するためにインスタンス毎に「４つ」の計算リソース単位を必要とする第１のプログラムコンポーネントＡ ２２６の「２つ」のインスタンスを含むので、「８つ」の計算リソース単位を必要とする。「４ｘ２」の要求が、リソースマネージャ１２０に送られ、リソースマネージャ１２０は、第１のフェーズ２２７の単一のサブフェーズのための要求された「４ｘ２」の計算リソース単位を付与することによってリソース要求モジュール１１２に応答する。付与された計算リソース単位は、実行モジュール１１２内に太い輪郭で示されており、４つの計算リソース単位が第１のホストＨ１ ２３６上で付与されており、４つの計算リソース単位が第３のホストＨ３ ２４０上で付与されている。
図４を参照すると、図２Ｂのデータ処理プログラム２２４（すなわち、データ処理グラフ）への図３のプロセス３００の例示的な適用において、プロセス３００の第１のステップ３６２は、データ処理プログラム２２４の第１のフェーズ２２７の単一のサブフェーズを実行するために必要とされるすべてのリソースをリソース要求モジュール１２２が要求することによって開始する。この場合、第１のフェーズ２２７の単一のサブフェーズは、実行するためにインスタンス毎に「４つ」の計算リソース単位を必要とする第１のプログラムコンポーネントＡ ２２６の「２つ」のインスタンスを含むので、「８つ」の計算リソース単位を必要とする。「４ｘ２」の要求が、リソースマネージャ１２０に送られ、リソースマネージャ１２０は、第１のフェーズ２２７の単一のサブフェーズのための要求された「４ｘ２」の計算リソース単位を付与することによってリソース要求モジュール１１２に応答する。付与された計算リソース単位は、実行モジュール１１２内に太い輪郭で示されており、４つの計算リソース単位が第１のホストＨ１ ２３６上で付与されており、４つの計算リソース単位が第３のホストＨ３ ２４０上で付与されている。
【0047】
図５を参照すると、プロセス３００の第２のステップ３６４は、すべての要求された計算リソースが受け取られたと判定し、したがって、プロセス３００は、第３のステップ３６５に進む。第３のステップ３６５は、付与された計算リソース単位を使用して、第１のプログラムコンポーネントＡ ２２６の２つのインスタンスを含む第１のフェーズ２２７の単一のサブフェーズを実行し、第１のプログラムコンポーネントＡ ２２６の第１のインスタンス（すなわち、Ａ１）が第１のホストＨ１ ２３６上で実行され、第１のプログラムコンポーネントＡ ２２６の第２のインスタンス（すなわち、Ａ２）が第３のホストＨ３ ２４０上で実行される。図５の例において、プログラムコンポーネントのインスタンスは、実行されるとき、単一のホストに属する計算リソース単位のみを使用することを要求されることに留意されたい。しかし、その他の例において、プログラムコンポーネントのインスタンスは、複数のホストに属する計算リソース単位を使用して実行される場合がある。
【0048】
図６を参照すると、受け取られた計算リソース単位を使用する第１のプログラムコンポーネントＡ ２２６の２つのインスタンスの実行が完了し、実行の結果が記憶されるとき、リソース要求モジュール１２２は、実行が完了していることを示す「済み」メッセージをリソースマネージャ１２０に送る。リソース要求モジュール１２２は、第１のプログラムコンポーネントＡ ２２６のインスタンスに完了と印を付ける（図においてはチェックマークとして示される）。第１のプログラムコンポーネントＡ ２２６の２つのインスタンスが実行を終えた状態で、第１のフェーズ２２７の単一のサブフェーズは完了し、付与された計算リソースは放棄される。
【0049】
図７を参照すると、プロセス３００は、データ処理グラフ２２４の第２のフェーズ２２９に進む。プロセス３００の第１のステップ３６２は、第２のフェーズ２２９の単一のサブフェーズを実行するために必要とされるすべての計算リソースをリソース要求モジュール１２２が要求することによって開始する。この場合、第２のフェーズ２２９の単一のサブフェーズは、実行するためにインスタンス毎に「５つ」の計算リソース単位を必要とする第２のプログラムコンポーネントＢ ２２８の「３つ」のインスタンスと、実行するためにインスタンス毎に「４つ」の計算リソース単位を必要とする第３のプログラムコンポーネントＣ ２３０の「１つ」のインスタンスとを含むので、「１９個」の計算リソース単位を必要とする。「５ｘ３」及び「４ｘ１」の計算リソース要求が、リソースマネージャ１２０に送られ、リソースマネージャ１２０は、「５ｘ２」の計算リソース単位を付与することによってリソース要求モジュール１１２に応答する。付与された計算リソース単位は、実行モジュール１１２内に太い輪郭で示されており、５つの計算リソース単位が第１のホストＨ１ ２３６上で付与されており、５つの計算リソース単位が第３のホストＨ３ ２４０上で付与されている。
【0050】
図８を参照すると、プロセス３００の第２のステップ３６４は、第２のフェーズ２２９の単一のサブフェーズのためのすべてよりも少ない要求された計算リソース単位が付与されたと判定する。したがって、プロセス３００は、第２のフェーズ２２９の単一のサブフェーズを２つのサブフェーズ、すなわち、第１のサブフェーズ２２９ａ及び第２のサブフェーズ２２９ｂに区分する第４のステップ３６６に進む。概して、サブフェーズの区分は、データ処理プログラムのプログラムコンポーネントの実行の順序を考慮する。例えば、データ処理プログラム２２４の第２のプログラムコンポーネントＢ ２２８は、第３のプログラムコンポーネントＣ ２３０の前に実行されるように指定されており、したがって、第２のフェーズ２２９の区分は、第３のプログラムコンポーネントＣ ２３８がリソースを割り当てられる前に、第２のプログラムコンポーネントＢ ２２８のすべてのインスタンスがリソースを割り当てられることを保証する方法で実行される。図８の例においては、「５ｘ２」の計算リソース単位のみが付与されており、したがって、第２のプログラムコンポーネントＢ ２２８の２つのインスタンスのみが、第１のサブフェーズ２２９ａに含まれる。第２のフェーズ２２９の第２のプログラムコンポーネントＢ ２２８及び第３のプログラムコンポーネントＣ ２２８の残りのインスタンスを実行するのに十分な付与された計算リソースがなく、したがって、それらのインスタンスは、第２のサブフェーズ２２９ｂに含まれる。
【0051】
つまり、第１のサブフェーズ２２９ａは、第２のプログラムコンポーネントＢ ２２８の第１のインスタンス（すなわち、Ｂ１）と、第２のプログラムコンポーネントＢ ２２８の第２のインスタンス（すなわち、Ｂ２）とを含む。第２のプログラムコンポーネント２２８の第１及び第２のインスタンスは、実行するためにそれぞれ「５つ」の計算リソース単位を必要とし、したがって、第１のホストＨ１ ２３６上で付与された５つの計算リソース単位及び第３のホストＨ３ ２４０上で付与された５つの計算リソース単位を使用して実行され得る。プロセス３００の第５のステップ３６８において、第２のプログラムコンポーネント２２８の第１及び第２のインスタンス（Ｂ１、Ｂ２）は、第１のホストＨ１ ２３６上で付与された５つの計算リソース単位及び第３のホストＨ３ ２４０上で付与された５つの計算リソース単位を使用して実行を開始する。
【0052】
図９を参照すると、プロセス３００の第６のステップ３７０において、第１のサブフェーズ２２９ａが実行されている間に、リソースマネージャ１２０は、第２のホストＨ２ ２３８上で別の「５つ」の計算リソース単位が利用可能になったことを示すメッセージをリソース要求モジュール１２２に送る。新たに付与された計算リソース単位は、実行モジュール１１２内に太い輪郭で示されており、５つの計算リソース単位が第２のホストＨ２ ２３８上で付与されている。
【0053】
図１０を参照すると、プロセス３００は、第７のステップ３７２に進み、実行するために新たに付与された「５つ」の計算リソース単位を使用することができる第２のプログラムコンポーネント２２８の第３のインスタンス（すなわち、Ｂ３）を含むように第１のサブフェーズ２２９ａを拡張する。システムは、プログラムコンポーネント（Ｂ）の結果を利用可能にするためにその他のプログラムコンポーネント（Ｃ）のインスタンスを含める前に、プログラムコンポーネント（Ｂ）のすべてのインスタンスを完了させようとする場合があり、又はシステムは、常に実行のためにすべての利用可能なリソースを利用しようとする場合があり、その結果、図１０においてＣではなくＢ３が選択される。プロセスの第８のステップ３７４は、第２のホストＨ２ ２３８上で第２のプログラムコンポーネントの第３のインスタンス（Ｂ３）を実行することによって、拡張された第１のサブフェーズ２２９ａの実行を開始する。
【0054】
図１１を参照すると、受け取られた計算リソース単位を使用する第２のプログラムコンポーネントＢ ２２８の３つのインスタンスの実行が完了し、実行の結果が記憶されるとき、リソース要求モジュール１２２は、実行が完了していることを示す「済み」メッセージをリソースマネージャ１２０に送る。リソース要求モジュール１２２は、第２のプログラムコンポーネントＢ ２２８のインスタンスに完了と印を付ける（図においてはチェックマークとして示される）。第２のプログラムコンポーネントＢ ２２８の３つのインスタンスが実行を終えた状態で、第１のサブフェーズ２２９ａは完了している。
【0055】
一部の例においては、フェーズ又はサブフェーズの実行が完了すると、すべての受け取られた計算リソースは、放棄される。その他の例において、付与された計算リソースの少なくとも一部は、好ましくはモジュール１２２がマネージャ１２０にリソースの要求を送ること要求することなく、後続のフェーズのプログラムコンポーネントのインスタンスの実行のために保持される。例えば、図１１においては、第１のホストＨ１ ２３６に属する「５つ」の計算リソース単位が、実行するために「４つ」の計算リソース単位を必要とする第２のサブフェーズ２２９ｂの第３のプログラムコンポーネントＣ ２３０のインスタンスの実行のために保持される。
【0056】
図１２を参照すると、第１のサブフェーズ２２９ａの完了後、プロセス３００は、第１のホストＨ１ ２３６からの保持された計算リソース単位上で第３のプログラムコンポーネントＣ ２３０のインスタンスを実行することによって、第２のサブフェーズ２２９ｂの実行を開始する。リソースは、ステップ３６２によって要求される必要がなく、第２のサブフェーズ２２９ｂが、ステップ３６５において実行される。図１２の例においては、第１のホストＨ１ ２３６上の５つの保持された計算リソース単位のうちの４つだけが利用されることに留意されたい。これは、一部のシステムが、計算リソースを、全体として保持又は放棄されなければならない単一の不可分の単位として扱われる「ブロック」又は「コンテナ」として付与するという事実による。結果として、計算リソースの再利用は、リソースを再利用する利益とリソースの再利用によって引き起こされる潜在的な無駄とのバランスを取ることを必要とする場合がある。
【0057】
図１３を参照すると、付与された計算リソース単位を使用する第３のプログラムコンポーネントＣ ２３０のインスタンスの実行が完了し、実行の結果が記憶されるとき、リソース要求モジュール１２２は、実行が完了していることを示す「済み」メッセージをリソースマネージャ１２０に送り返す。リソース要求モジュール１２２は、第３のプログラムコンポーネントＣ ２３０のインスタンスに完了と印を付ける（図においてはチェックマークとして示される）。第３のプログラムコンポーネントＣ ２３０のインスタンスが実行を終えた状態で、第２のサブフェーズ２２９ｂ（及び第２のフェーズ２２９）は完了している。今度も、第１のホストＨ１ ２３６上の付与された計算リソースは、次のフェーズでのプログラムコンポーネントのインスタンスの実行のために保持される。
【0058】
図１４を参照すると、第２のフェーズ２２９の完了後、プロセス３００は、第１のホストＨ１ ２３６において保持された計算リソース単位上で第４のプログラムコンポーネントＤ ２３２の第１のインスタンスＤ１を実行することによって、第３のフェーズ２３１の実行を開始する。ここで、Ｄ１は実行するために「１つ」の計算リソース単位のみを必要とするので、第１のホストＨ１ ２３６上の５つの保持された計算リソース単位のうちの１つのみが利用される。概して、プログラムコンポーネントの１つのインスタンスのみが、リソースのコンテナにおいて実行される場合がある。
【0059】
プロセス３００の第１のステップ３６２において、リソース要求モジュール１２２は、第３のフェーズ３３１の単一のサブフェーズを実行するために必要とされる計算リソースを要求する。この場合、第３のフェーズ２３１の単一のサブフェーズは、実行するためにインスタンス毎に「１つ」の計算リソース単位を必要とする第４のプログラムコンポーネントＤ ２３２の「６つ」のインスタンスを含むので、「６つ」の計算リソース単位を必要とする。しかし、第４のプログラムコンポーネントＤ ２３２の第１のインスタンスＤ１は、第１のホストＨ１ ２３６上の保持された計算リソースに割り振られ、したがって、第４のプログラムコンポーネントＤ ２３２の残りの５つのインスタンスのために、「１ｘ５」の計算リソース要求がリソースマネージャ１２０に送られる。リソースマネージャ１２０は、「１ｘ５」の計算リソース単位を付与することによってリソース要求モジュール１１２に応答する。付与された計算リソース単位は、実行モジュール１１２内に太い輪郭で示されており、５つの計算リソース単位が第２のホストＨ２ ２３８上で付与されている。
【0060】
図１５を参照すると、プロセス３００の第２のステップ３６４は、すべての要求された計算リソースが単一のサブフェーズのために受け取られたと判定し、したがって、プロセス３００は、第３のステップ３６５に進む。第３のステップ３６５は、付与された計算リソース単位を使用して、第３のフェーズ２３１の単一のサブフェーズの第４のプログラムコンポーネントＤ ２３２の残りの５つのインスタンスの実行を開始し、第４のプログラムコンポーネントの５つすべてのインスタンス（すなわち、Ｄ２～Ｄ６）が第２のホストＨ２ ２３８上で実行される。
【0061】
４ ロールバック
一部の例においては、プログラムコンポーネントのインスタンスを実行しているホストが、実行中に障害に見舞われる場合がある。図１６を参照すると、第４のプログラムコンポーネントの５つのインスタンス（すなわち、Ｄ２～Ｄ６）を実行している第２のホストＨ２ ２３８が障害に見舞われ、一方、第１のホストＨ１ ２３４は、第４のプログラムコンポーネントの第１のインスタンスＤ１を実行し続ける。
一部の例においては、プログラムコンポーネントのインスタンスを実行しているホストが、実行中に障害に見舞われる場合がある。図１６を参照すると、第４のプログラムコンポーネントの５つのインスタンス（すなわち、Ｄ２～Ｄ６）を実行している第２のホストＨ２ ２３８が障害に見舞われ、一方、第１のホストＨ１ ２３４は、第４のプログラムコンポーネントの第１のインスタンスＤ１を実行し続ける。
【0062】
図１７を参照すると、第２のホストＨ２ ２３８の障害から回復するために、プロセス３００は、第３のフェーズ２３１におけるプログラムコンポーネントのすべてのインスタンスの実行をフェーズの初期状態（例えば、第２のフェーズ２２９の完了時に記憶された状態）にロールバックする。一部の例において、プロセス３００の実行ステップ３６５、３６８は、計算リソースが無効にされたか、又はそれ以外の方法で利用不可能になったかどうかを検出し、実行をロールバックするステップ（図示せず）を含む。実行がロールバックされた後、リソース要求モジュール１２２は、第２のホストＨ２ ２３８上で実行されていた第４のプログラムコンポーネントＤ ２３２の５つのインスタンスのために、リソースマネージャ１２０に「１ｘ５」の計算リソース要求を送る。リソースマネージャ１２０は、第３のホストＨ３ ２４０上で「１ｘ５」の計算リソース単位を付与することによってリソース要求モジュール１１２に応答する。付与された計算リソース単位は、実行モジュール１１２内に太い輪郭で示されている。
【0063】
図１８を参照すると、第４のプログラムコンポーネントＤ ２３２の５つのインスタンス（Ｄ２～Ｄ６）は、第３のホストＨ２ ２４０上の付与された計算リソース単位を使用して実行を開始する。
【0064】
図１９を参照すると、付与された計算リソース単位を使用する第４のプログラムコンポーネントＤ ２３２の６つのインスタンスの実行が完了し、実行の結果が記憶されるとき、リソース要求モジュール１２２は、実行が完了していることを示す「済み」メッセージをリソースマネージャ１２０に送る。リソース要求モジュール１２２は、第４のプログラムコンポーネントＤ ２３２のインスタンスに完了と印を付ける（図においてはチェックマークとして示される）。第４のプログラムコンポーネントＤ ２３２の６つのインスタンスが実行を終えた状態で、データ処理グラフの第３の及び最後のフェーズ２３１は完了し、付与された計算リソースは放棄される。
【0065】
５ 代替手法
一部の例においては、データ処理グラフのフェーズの実行が、部分的に重なり合う場合があり、１つのフェーズからの出力データが、ディスクに記憶されるのではなく、後続のフェーズにストリーミングされる場合がある。
一部の例においては、データ処理グラフのフェーズの実行が、部分的に重なり合う場合があり、１つのフェーズからの出力データが、ディスクに記憶されるのではなく、後続のフェーズにストリーミングされる場合がある。
【0066】
一部の例において、リソースマネージャは、コンピューティングシステム上で利用可能な計算リソースの量のいかなるインジケーションも提供しない。むしろ、リソースマネージャは、計算リソースの要求を受け入れ、要求時に利用可能な計算リソースに基づいて要求を（完全に又は部分的に）満たす。
【0067】
上述の例においては、ノードの障害が原因で実行がロールバックされる。その他の例においては、リソースマネージャ１２０がリソース要求モジュール１２２から計算リソースを「無効にする」又は「未然に回避する（preempt）」とき、通常は予告なしに実行がロールバックされる。例えば、別のアプリケーションがノードＨ２ ２３８上のリソースを要求する場合、リソースマネージャ１２０は、別のアプリケーションがより重要であると判定し、アプリケーションに既に付与された計算リソースを無効にする場合がある。上述のロールバック手順が、無効にされたリソースを置き換えるための新しい計算リソースを割り当てるために使用される。
【0068】
上述の例などの一部の例においては、フェーズのための計算リソースが取り消された後、フェーズ全体がロールバックされ、再度開始される。その他の例においては、未然に回避された又は無効にされたリソースを使用していたフェーズのプログラムコンポーネントだけが、それらの実行をロールバックさせる。そのようにすることは、有利なことに、それらの計算リソースを無効にさせなかったプログラムコンポーネントを再実行するという冗長な作業を回避する。
【0069】
上述の例において、リソースマネージャは、計算リソースの要求を受け取り、それらのリソースが利用可能である場合、リソースを付与する。その他の例において、計算リソースマネージャは、要求を受け取るのではなく、実行環境での実行を望むプログラムに計算リソースを申し出る（ｏｆｆｅｒ）。そのような取り決めでは、リソースマネージャに要求をするのではなく、プログラムは、利用可能な計算リソースに関する「申し出」のストリームをリスニングし、プログラムは、申し出の中から（もしあれば）どれを受けたいかを選択する。このようにして働くリソースマネージャの一例は、Apache Mesosである。
【0070】
プログラム又はプログラム部分に関連する計算を実行することは、プログラム又はプログラム部分を実行することとも呼ばれ得る。プログラムは、データフローグラフとして規定されることが可能であり、プログラム部分は、データフローグラフのコンポーネントとして規定されることが可能である。プログラムは、手続き型プログラム仕様として規定されることが可能であり、プログラム部分は、サブルーチンとして規定されることが可能である。
【0071】
プログラムの一部の区分は、プログラムコンポーネントの少なくとも一部の実行の順序を維持する方法で実行され得る。プログラム部分の一部の区分は、プログラムコンポーネントの少なくとも一部の実行の順序を維持しながら、受け取られた計算リソースの使用を最大化する方法で実行され得る。
【0072】
６ 実施形態
上述の計算リソース割り当て手法は、例えば、好適なソフトウェア命令を実行するプログラミング可能なコンピューティングシステムを使用して実装されることが可能であり、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ，field-programmable gate array）などの好適なハードウェアで、若しくは何らかの混成の形態で実装されることが可能である。例えば、プログラミングされる方法において、ソフトウェアは、それぞれが少なくとも１つのプロセッサ、（揮発性及び／又は不揮発性メモリ及び／又はストレージ要素を含む）少なくとも１つのデータストレージシステム、（少なくとも１つの入力デバイス又はポートを使用して入力を受け取るため、及び少なくとも１つの出力デバイス又はポートを使用して出力を与えるための）少なくとも１つのユーザインターフェースを含む（分散、クライアント／サーバ、又はグリッドなどの様々なアーキテクチャである場合がある）１又は２以上のプログラミングされた又はプログラミング可能なコンピューティングシステム上で実行される１又は２以上のコンピュータプログラムのプロシージャを含んでよい。ソフトウェアは、例えば、データ処理グラフの設計、構成、及び実行に関連するサービスを提供するより大きなプログラムの１又は２以上のモジュールを含む場合がある。プログラムのモジュール（例えば、データ処理グラフの要素）は、データリポジトリに記憶されたデータモデルに準拠するデータ構造又はその他の編成されたデータとして実装され得る。
上述の計算リソース割り当て手法は、例えば、好適なソフトウェア命令を実行するプログラミング可能なコンピューティングシステムを使用して実装されることが可能であり、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ，field-programmable gate array）などの好適なハードウェアで、若しくは何らかの混成の形態で実装されることが可能である。例えば、プログラミングされる方法において、ソフトウェアは、それぞれが少なくとも１つのプロセッサ、（揮発性及び／又は不揮発性メモリ及び／又はストレージ要素を含む）少なくとも１つのデータストレージシステム、（少なくとも１つの入力デバイス又はポートを使用して入力を受け取るため、及び少なくとも１つの出力デバイス又はポートを使用して出力を与えるための）少なくとも１つのユーザインターフェースを含む（分散、クライアント／サーバ、又はグリッドなどの様々なアーキテクチャである場合がある）１又は２以上のプログラミングされた又はプログラミング可能なコンピューティングシステム上で実行される１又は２以上のコンピュータプログラムのプロシージャを含んでよい。ソフトウェアは、例えば、データ処理グラフの設計、構成、及び実行に関連するサービスを提供するより大きなプログラムの１又は２以上のモジュールを含む場合がある。プログラムのモジュール（例えば、データ処理グラフの要素）は、データリポジトリに記憶されたデータモデルに準拠するデータ構造又はその他の編成されたデータとして実装され得る。
【0073】
ソフトウェアは、ある時間の期間（例えば、ダイナミックＲＡＭなどのダイナミックメモリデバイスのリフレッシュ周期の間の時間）媒体の物理特性（例えば、表面ピット及びランド、磁区、又は電荷）を使用して、揮発性若しくは不揮発性ストレージ媒体又は任意のその他の非一時的媒体に具現化されるなど、非一時的形態で記憶される場合がある。命令をロードするのに備えて、ソフトウェアは、ＣＤ－ＲＯＭ又は（例えば、多目的若しくは専用のコンピューティングシステム若しくはデバイスによって読み取り可能な）その他のコンピュータ可読媒体などの有形の非一時的媒体上に提供される場合があり、或いはそのソフトウェアが実行されるコンピューティングシステムの有形の非一時的媒体にネットワークの通信媒体を介して配信される（例えば、伝播信号に符号化される）場合がある。処理の一部又はすべては、専用のコンピュータ上で、又はコプロセッサ若しくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは専用の特定用途向け集積回路（ＡＳＩＣ，application-specific integrated circuit）などの専用のハードウェアを使用して実行される場合がある。処理は、ソフトウェアによって規定された計算の異なる部分が異なるコンピューティング要素によって実行される分散された方法で実施される場合がある。それぞれのそのようなコンピュータプログラムは、本明細書において説明された処理を実行するためにストレージデバイスの媒体がコンピュータによって読み取られるときにコンピュータを構成し、動作させるために、多目的又は専用のプログラミング可能なコンピュータによってアクセスされ得るストレージデバイスのコンピュータ可読ストレージ媒体（例えば、ソリッドステートメモリ若しくは媒体、又は磁気式若しくは光学式媒体）に記憶されるか又はダウンロードされることが好ましい。本発明のシステムは、コンピュータプログラムによって構成された有形の非一時的媒体として実装されると考えられる場合もあり、そのように構成された媒体は、本明細書において説明された処理ステップのうちの１又は２以上を実行するために特定の予め定義された方法でコンピュータを動作させる。
【0074】
本発明のいくつかの実施形態が、説明された。しかしながら、上述の説明は、添付の請求項の範囲によって画定される本発明の範囲を例示するように意図されており、限定するように意図されていないことを理解されたい。したがって、その他の実施形態も、添付の請求項の範囲内にある。例えば、本発明の範囲を逸脱することなく様々な修正がなされる場合がある。さらに、上述のステップの一部は、順序に依存しない場合があり、したがって、説明された順序とは異なる順序で実行され得る。
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【手続補正書】
【提出日】2024-02-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
計算リソースマネージャを使用して動的に割り当てられた計算リソースを使用して、コンピューティングシステム上で分散された計算を実行するための方法であって、プログラムの複数のプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報を記憶するステップであって、前記プログラム部分が、データの連続的な変換を実行し、前記プログラム部分が前記コンピューティングシステムにおいて実行されることを可能にする前記計算リソースマネージャによって付与された計算リソースを各プログラム部分が使用する、前記記憶するステップと、
前記複数のプログラム部分のうちの第１のプログラム部分に関連する第１の量の計算リソースを前記計算リソースマネージャに要求するステップと、
要求された第１の量の計算リソースよりも少ない第２の量の計算リソースを前記計算リソースマネージャから受け取るステップと、
前記第２の量の計算リソースを使用して前記プログラムの第１の部分に関連する計算を実行するステップと、
前記第２の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行している間に、前記計算リソースマネージャから追加の量の計算リソースを受け取るステップと、
前記第２の量の計算リソースを使用して前記第１の部分に関連する計算を実行しながら、前記追加の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する追加の計算を実行するステップと
を含む、前記方法。
【請求項2】
前記プログラムの複数のプログラム部分のそれぞれのプログラム部分に関連する計算リソースの量を指定する情報が、前記複数のプログラム部分の前記それぞれのプログラム部分に関連する１又は２以上のプログラムコンポーネントの特性を含む、請求項１に記載の方法。
【請求項3】
前記特性が、前記１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、前記１又は２以上のプログラムコンポーネントの各々が実行されるために必要とされる計算リソースの量とを含む、請求項２に記載の方法。
【請求項4】
前記複数のプログラム部分のうちのプログラム部分に関連する計算リソースの量が、前記１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、前記１又は２以上のプログラムコンポーネントの各々が実行されるために必要とされる前記計算リソースの量とに少なくとも部分的に基づいて決定される、請求項３に記載の方法。
【請求項5】
前記第２の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、受け取られた第２の量の計算リソースに応じて前記第１のプログラム部分を複数の下位部分に区分することを含む、請求項１～４のいずれかに記載の方法。
【請求項6】
前記第２の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、好ましくは、前記複数の下位部分のうちの第１の下位部分が、前記複数の下位部分のうちで、実行のために前記第２の量の計算リソースのほとんど又はすべてを使用するように構成される下位部分であるように、前記複数の下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、前記第２の量の計算リソースを使用して前記第１の下位部分に関する計算を実行することを含む、請求項５に記載の方法。
【請求項7】
前記追加の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、前記受け取られた第２の量の計算リソース及び受け取られた追加の量の計算リソースに応じて前記第１のプログラム部分を更新された複数の下位部分に再区分することを含む、請求項５に記載の方法。
【請求項8】
前記追加の量の計算リソースを使用して前記プログラムの前記第１の部分に関連する計算を実行するステップが、好ましくは、前記更新された複数の下位部分のうちの第１の下位部分が、前記更新された複数の下位部分のうちで、計算を実行するために前記追加の量の計算リソースのほとんど又はすべてを使用するように構成される下位部分であるように、前記更新された複数の下位部分のうちの１又は２以上のその他の下位部分が計算を実行しようと待っている間に、前記追加の量の計算リソースを使用して前記更新された複数の下位部分のうちの前記第１の下位部分に関連する計算を実行することを含む、請求項７に記載の方法。
【請求項9】
前記追加の量の計算リソースを使用して前記プログラムの前記第１のプログラム部分に関連する計算を実行するステップが、前記第２の量の計算リソースを使用して前記複数の下位部分のうちの第１の下位部分に関連する計算を実行することと、前記追加の量の計算リソースを使用して前記第１の部分のさらなる部分に関連する計算を実行することとを含む、請求項７に記載の方法。
【請求項10】
前記更新された複数の下位部分のうちの第１の下位部分が、前記更新された複数の下位部分のうちの前記第１の下位部分を取得するために、前記複数の下位部分のうちのその他の１又は２以上の下位部分からの前記第１のプログラム部分の１又は２以上のプログラムコンポーネントの１又は２以上のインスタンスを前記複数の下位部分のうちの前記第１の下位部分に追加することによって形成された、前記複数の下位部分のうちの前記第１の下位部分の拡張されたバージョンである、請求項７に記載の方法。
【請求項11】
前記第１のプログラム部分を複数の下位部分に区分することが、前記第１のプログラム部分に関連するプログラムコンポーネントのうちの１又は２以上の特性に応じて前記第１のプログラム部分を区分することを含む、請求項５に記載の方法。
【請求項12】
前記複数のプログラム部分の前記特性が、前記１又は２以上のプログラムコンポーネントの各々に関連する並列性の程度と、前記１又は２以上のプログラムコンポーネントの各々が実行されるために必要とされる計算リソースの量とを含む、請求項１１に記載の方法。
【請求項13】
第１のプログラムコンポーネントの第１の１又は２以上のインスタンスが、第１の下位部分に区分され、前記第１のプログラムコンポーネントの第２の１又は２以上のインスタンスが、第２の下位部分に区分される、請求項１２に記載の方法。
【請求項14】
前記第１のプログラム部分の実行が完了すると、前記第２の量の計算リソース及び前記追加の量の計算リソースを放棄するステップをさらに含む、請求項１～４のいずれかに記載の方法。
【請求項15】
前記第１のプログラム部分の実行が完了すると、前記第２の量の計算リソース及び前記追加の量の計算リソースの少なくとも一部を保持するステップをさらに含む、請求項１～４のいずれかに記載の方法。
【請求項16】
保持された計算リソースの少なくとも一部を使用して、前記プログラムの第２の部分に関連する計算を実行するステップをさらに含む、請求項１５に記載の方法。
【請求項17】
前記第１のプログラム部分に関連する計算の実行中に、第３の量の受け取られた計算リソースが利用不可能になる、請求項１～４のいずれかに記載の方法であって、前記計算リソースマネージャに前記第３の量の計算リソースを要求するステップと、
前記計算リソースマネージャから前記第３の量の計算リソースを受け取るステップと、
受け取られた第３の量の計算リソースを使用して、前記第１のプログラム部分に関連する計算を実行し続けるステップとをさらに含む、前記方法。
【請求項18】
前記計算リソースマネージャが、前記コンピューティングシステムのために利用可能な計算リソースの量に関して不明瞭である、請求項１～４のいずれかに記載の方法。
【請求項19】
前記第１のプログラム部分からの出力データを記憶し、記憶された出力データを読み取り、処理することを含む、前記複数のプログラム部分のうちの第２のプログラム部分に関連する計算を実行するステップをさらに含む、請求項１～４のいずれかに記載の方法。
【請求項20】
前記第１のプログラム部分からの出力データのストリームを受け取り、処理することを含む、前記複数のプログラム部分のうちの第２のプログラム部分に関連する計算を実行するステップをさらに含む、請求項１～４のいずれかに記載の方法。
【請求項21】
計算リソースマネージャを使用して動的に割り当てられたコンピューティングシステムの計算リソースを使用して分散された計算を実行するためのシステムであって、プロセッサと、前記プロセッサによって実行されるときに請求項１～４のいずれかに記載の方法をシステムに実行させる命令を記憶するストレージ媒体とを含む、前記システム。
【請求項22】
コンピューティングシステムに請求項１～４のいずれかに記載の方法を実行させるための命令を記憶する非一時的コンピュータ可読媒体。
【国際調査報告】