特表 2023-503173 コンテナスケジューリング方法および装置、ならびに不揮発性コンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-26

(54)【発明の名称】コンテナスケジューリング方法および装置、ならびに不揮発性コンピュータ可読記憶媒体

(51)【国際特許分類】

   G06F 9/50 20060101AFI20230119BHJP

   G06F 9/455 20060101ALI20230119BHJP

【ＦＩ】

G06F9/50 150D

G06F9/455 150

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022530783

(86)(22)【出願日】2020-09-23

(85)【翻訳文提出日】2022-06-29

(86)【国際出願番号】 CN2020117244

(87)【国際公開番号】W WO2021103790

(87)【国際公開日】2021-06-03

(31)【優先権主張番号】201911175494.6

(32)【優先日】2019-11-26

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519274389

【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ

(71)【出願人】

【識別番号】517241916

【氏名又は名称】北京京東世紀貿易有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】白 石

(72)【発明者】

【氏名】▲叢▼ 占▲龍▼

(72)【発明者】

【氏名】▲楊▼ 国▲強▼

(57)【要約】

コンピュータの技術分野に関する、コンテナスケジューリング方法および装置、ならびにコンピュータ可読記憶媒体。この方法は、実行したコンテナセットコピーのリソース使用量に応じて、スケジュールされることになるコンテナセットコピーの予測されるリソース使用量を決定するステップであって、実行したコンテナセットコピーのタイプが、スケジュールされることになるコンテナセットコピーのタイプと同じである、決定するステップと、予測されるリソース使用量および各候補ノードによってサポートされるリソース供給量に応じて、実行したコンテナセットコピーにマッチする候補ノードを決定するステップと、実行したコンテナセットコピーを、実行のためにマッチする候補ノードにスケジュールするステップとを含む。

【特許請求の範囲】

【請求項1】

コンテナのスケジューリング方法であって、
すでに実行されたポッドレプリカのリソース使用量に応じて、スケジュールされることになるポッドレプリカの予測されるリソース使用量を決定するステップであって、前記すでに実行されたポッドレプリカおよび前記スケジュールされることになるポッドレプリカのタイプが同じである、決定するステップと、
前記予測されるリソース使用量および候補ノードによってサポートされるリソース提供量に応じて、前記すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するステップと、
前記すでに実行されたポッドレプリカが前記少なくとも1つの候補ノード上で実行されるようにスケジューリングするステップと
を含む、スケジューリング方法。

【請求項2】

前記すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを前記決定するステップが、
前記予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量が前記リソース提供量内の各タイプのリソースの提供量にマッチするかどうかに応じて、前記すでに実行されたポッドレプリカにマッチする前記少なくとも1つの候補ノードを決定するステップ
を含む、請求項1に記載のスケジューリング方法。

【請求項3】

前記すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを前記決定するステップが、
前記予測されるリソース使用量内の各タイプのリソースの前記予測されるリソース使用量が各タイプのリソースに対応する使用量しきい値よりも大きいかどうかを判定するステップと、
対応する使用量しきい値よりも大きい、予測されるリソース使用量を有するリソースを需要リソースとして決定するステップと、
前記少なくとも1つの候補ノードの各々における、前記リソース提供量内の各タイプのリソースの現在の利用率が各タイプのリソースに対応する利用率しきい値未満であるかどうかを判定するステップと、
対応する利用率しきい値未満である現在の利用率を有するリソースを前記少なくとも1つの候補ノードの各々の利用可能なリソースとして決定するステップと、
前記需要リソースと前記利用可能なリソースのマッチに応じて、前記すでに実行されたポッドレプリカにマッチする前記少なくとも1つの候補ノードを決定するステップと
を含む、請求項2に記載のスケジューリング方法。

【請求項4】

前記すでに実行されたポッドレプリカが前記少なくとも1つの候補ノード上で実行されるように前記スケジューリングするステップが、
前記予測されるリソース使用量および前記少なくとも1つの候補ノードの前記リソース提供量に応じて、前記少なくとも1つの候補ノードによってアウェイクされる必要がある物理機械の数を決定するステップであって、前記物理機械の前記数が、前記予測されるリソース使用量を満たす最小数である、決定するステップ
を含む、請求項1に記載のスケジューリング方法。

【請求項5】

前記すでに実行されたポッドレプリカの前記リソース使用量の履歴変更を収集するステップと、
前記履歴変更に応じて、前記スケジュールされることになるポッドレプリカが現在、使用量のピーク時間期間内にあるかまたは谷時間期間内にあるかを判定するステップと、
前記判定の結果に応じて、前記スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するステップと
をさらに含む、請求項1に記載のスケジューリング方法。

【請求項6】

前記すでに実行されたポッドレプリカの前記リソース使用量の履歴変更を前記収集するステップが、
指定された時間期間内の各時間モーメントにおける前記すでに実行されたポッドレプリカの前記リソース使用量に応じて、前記指定された時間期間内の各タイプのリソースの平均使用量を計算するステップと、
前記平均使用量に応じて、前記指定された時間期間内の各タイプのリソースの前記使用量の前記ピーク時間期間および前記谷時間期間を前記履歴変更として決定するステップと
を含む、請求項5に記載のスケジューリング方法。

【請求項7】

前記履歴変更に応じて、ターゲット時間モーメントにおける、前記スケジュールされることになるポッドレプリカのリソース使用量を推定するステップと、
現在アウェイク状態の物理機械が前記ターゲット時間モーメントにおいて前記リソース使用量を満たさないという条件下で、前記ターゲット時間モーメントが到来する前にリソースを提供するために、前記ターゲット時間モーメントにおいて前記リソース使用量を満たす、いくつかの物理機械をアウェイクさせるステップと
をさらに含む、請求項5に記載のスケジューリング方法。

【請求項8】

前記判定の結果に応じて、前記スケジュールされることになるポッドレプリカの数を増大させるかどうかを前記決定するステップが、
それが前記ピーク時間期間内にあり、あるスケジュールされることになるポッドレプリカのリソース負荷が負荷しきい値を超えるという条件下で、前記スケジュールされることになるポッドレプリカの前記数を増大させるステップ
を含む、請求項5に記載のスケジューリング方法。

【請求項9】

前記判定の結果に応じて、前記スケジュールされることになるポッドレプリカの数を増大させるかどうかを前記決定するステップが、
それが前記谷時間期間内にあるという条件下で、前記スケジュールされることになるポッドレプリカの前記数を低減させ、クリアにされた物理機械がスリープ状態に入るように制御するステップ
を含む、請求項5に記載のスケジューリング方法。

【請求項10】

前記少なくとも1つの候補ノードに対応する物理機械上で実行しているポッドレプリカの数に応じて、前記少なくとも1つの候補ノードに対応する前記物理機械が高性能モードまたは非高性能モードになるように制御するステップ
をさらに含む、請求項1から9のいずれか一項に記載のスケジューリング方法。

【請求項11】

前記少なくとも1つの候補ノードの対応する物理機械が高性能モードまたは非高性能モードになるように前記制御するステップが、
前記対応する物理機械上で実行しているポッドレプリカが存在しないという条件下で、前記対応する物理機械がスリープモードになるように制御するステップと、
前記対応する物理機械上で実行しているポッドレプリカの前記数がレプリカしきい値未満であるという条件下で、前記対応する物理機械が低性能モードになるように制御するステップと
を含む、請求項10に記載のスケジューリング方法。

【請求項12】

前記少なくとも1つの候補ノードの各々が、前記スケジュールされることになるポッドレプリカの数、高可用性需要、親和性需要、または独占需要のうちの少なくとも1つに応じて決定される、請求項1から9のいずれか一項に記載のスケジューリング方法。

【請求項13】

コンテナのスケジューリング装置であって、
すでに実行されたポッドレプリカのリソース使用量に応じて、スケジュールされることになるポッドレプリカの予測されるリソース使用量を決定するように構成された使用量決定ユニットであって、前記すでに実行されたポッドレプリカおよび前記スケジュールされることになるポッドレプリカのタイプが同じである、使用量決定ユニットと、
前記予測されるリソース使用量および候補ノードによってサポートされるリソース提供量に応じて、前記すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するように構成されたノードマッチングユニットと、
前記すでに実行されたポッドレプリカが前記少なくとも1つの候補ノード上で実行されるようにスケジュールするように構成されたスケジューリングユニットと
を備える、スケジューリング装置。

【請求項14】

判定の結果に応じて、前記スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するために、前記すでに実行されたポッドレプリカの前記リソース使用量の収集された履歴変更に応じて、前記スケジュールされることになるポッドレプリカが現在、使用量のピーク時間期間内にあるかまたは谷時間期間内にあるかを判定するように構成された判定ユニット
をさらに備える、請求項13に記載のスケジューリング装置。

【請求項15】

前記少なくとも1つの候補ノードの対応する物理機械上で実行しているポッドレプリカの数に従って、前記対応する物理機械が高性能モードまたは非高性能モードになるように制御するように構成された制御ユニット
をさらに備える、請求項13に記載のスケジューリング装置。

【請求項16】

コンテナのスケジューリング装置であって、
メモリと、
前記メモリに結合されたプロセッサと
を備え、前記プロセッサが、前記メモリ内に記憶された命令に基づいて、請求項1から12のいずれかに一項に記載のコンテナのスケジューリング方法を実施するように構成される
スケジューリング装置。

【請求項17】

コンピュータプログラムをその上に記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムが、プロセッサによって実行されると、請求項1から12のいずれか一項に記載のコンテナのスケジューリング方法を実装する、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その開示の全体が本明細書により本出願に組み込まれている、2019年11月26日に出願した、中国特許出願第201911175494.6号の優先権に基づき、その優先権を主張するものである。

【0002】

本開示は、コンピュータ技術の分野に関し、より詳細には、コンテナのスケジューリング方法および装置、ならびに非一時的コンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

コンテナクラウドは、重要な現在のクラウドコンピューティングプラットフォームタイプであり、主に民営化およびカスタマイゼーションに対するカスタマの需要を満たすためにプライベートクラウドシーンにおいて適用される。コンテナクラウドがカスタマによって確立されるとき、コンテナクラウドクラスタは、コンテナクラウド上でビジネスを行うために数百の物理サーバがしばしば配置されることになる自己構築型の機械室内に配置されることになる。

【0004】

たとえば、複数のノードは、コンテナを実行するためのホストとして構成され得る。これらのノードは、物理機械、または物理機械に依存する仮想機械であってよい。したがって、コンテナが対応するノード上で実行するようにスケジュールするための好適なスケジューリング戦略を生み出すことが必要である。

【0005】

関連技術において、スケジューリング戦略は、主に、リソースが各ノード上にどのように均一に分配されるかに応じて生み出される。

【発明の概要】

【課題を解決するための手段】

【0006】

本開示のいくつかの実施形態によれば、コンテナのスケジューリング方法であって、すでに実行されたポッドレプリカのリソース使用量に応じて、スケジュールされることになるポッドレプリカの予測されるリソース使用量を決定するステップであって、すでに実行されたポッドレプリカおよびスケジュールされることになるポッドレプリカのタイプが同じである、決定するステップと、予測されるリソース使用量および候補ノードによってサポートされるリソース提供量(resource provision)に応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するステップと、すでに実行されたポッドレプリカが少なくとも1つの候補ノード上で実行されるようにスケジュールするステップとを含む、方法が提供される。

【0007】

いくつかの実施形態では、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するステップは、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量がリソース提供量内の各タイプのリソースの提供量にマッチするかどうかに応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するステップを含む。

【0008】

いくつかの実施形態では、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するステップは、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量が各タイプのリソースに対応する使用量しきい値よりも大きいかどうかを判定するステップと、対応する使用量しきい値よりも大きい、予測されるリソース使用量を有するリソースを需要リソースとして決定するステップと、少なくとも1つの候補ノードの各々における、リソース提供量内の各タイプのリソースの現在の利用率が各タイプのリソースに対応する利用率しきい値未満であるかどうかを判定するステップと、対応する利用率しきい値未満である現在の利用率を有するリソースを少なくとも1つの候補ノードの各々の利用可能なリソースとして決定するステップと、需要リソースと利用可能なリソースのマッチに応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するステップとを含む。

【0009】

いくつかの実施形態では、すでに実行されたポッドレプリカが少なくとも1つの候補ノード上で実行されるようにスケジュールするステップは、予測されるリソース使用量および少なくとも1つの候補ノードのリソース提供量に応じて、少なくとも1つの候補ノードによってアウェイクされる必要がある物理機械の数を決定するステップであって、物理機械の数が、予測されるリソース使用量を満たすことが可能な最小数である、決定するステップを含む。

【0010】

いくつかの実施形態では、この方法は、すでに実行されたポッドレプリカのリソース使用量の履歴変更を収集するステップと、履歴変更に応じて、スケジュールされることになるポッドレプリカが現在、使用量のピーク時間期間内にあるかまたは谷(valley)時間期間内にあるかを判定するステップと、判定の結果に応じて、スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するステップとをさらに含む。

【0011】

いくつかの実施形態では、すでに実行されたポッドレプリカのリソース使用量の履歴変更を収集するステップは、指定された時間期間内の各時間モーメント(time moment)におけるすでに実行されたポッドレプリカのリソース使用量に応じて、指定された時間期間内の各タイプのリソースの平均使用量を計算するステップと、平均使用量に応じて、指定された時間期間内の各タイプのリソースの使用量のピーク時間期間および谷時間期間を履歴変更として決定するステップとを含む。

【0012】

いくつかの実施形態では、この方法は、履歴変更に応じて、ターゲット時間モーメントにおける、スケジュールされることになるポッドレプリカのリソース使用量を推定するステップと、現在アウェイク状態の物理機械がターゲット時間モーメントにおいてリソース使用量を満たすことが可能でないという条件下で、ターゲット時間モーメントが到来する前にリソースを提供するために、ターゲット時間モーメントにおいてリソース使用量を満たすことが可能な、いくつかの物理機械をアウェイクするステップとをさらに含む。

【0013】

いくつかの実施形態では、判定の結果に応じて、スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するステップは、それがピーク時間期間内であり、あるスケジュールされることになるポッドレプリカのリソース負荷が負荷しきい値を超えるという条件下で、スケジュールされることになるポッドレプリカの数を増大させるステップを含み得る。

【0014】

いくつかの実施形態では、判定の結果に応じて、スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するステップは、それが谷時間期間内にあるという条件下で、スケジュールされることになるポッドレプリカの数を低減させ、クリアにされた物理機械がスリープ状態に入るように制御するステップを含む。

【0015】

いくつかの実施形態では、この方法は、少なくとも1つの候補ノードの対応する物理機械上で実行しているポッドレプリカの数に応じて、対応する物理機械が高性能モードまたは非高性能モードになるように制御するステップをさらに含む。

【0016】

いくつかの実施形態では、対応する物理機械が高性能モードまたは非高性能モードになるように制御するステップは、対応する物理機械上で実行しているポッドレプリカが存在しないという条件下で、対応する物理機械がスリープモードになるように制御するステップと、対応する物理機械上で実行しているポッドレプリカの数がレプリカしきい値未満であるという条件下で、対応する物理機械が低性能モードになるように制御するステップとを含む。

【0017】

いくつかの実施形態では、少なくとも1つの候補ノードの各々は、スケジュールされることになるポッドレプリカの数、高可用性需要、親和性需要、または独占需要のうちの少なくとも1つに応じて決定される。

【0018】

本開示の他の実施形態によれば、コンテナのスケジューリング装置であって、すでに実行されたポッドレプリカのリソース使用量に応じて、スケジュールされることになるポッドレプリカの予測されるリソース使用量を決定するように構成された使用量決定ユニットであって、すでに実行されたポッドレプリカおよびスケジュールされることになるポッドレプリカのタイプが同じである、使用量決定ユニットと、予測されるリソース使用量および候補ノードによってサポートされるリソース提供量に応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定するように構成されたノードマッチングユニットと、すでに実行されたポッドレプリカが少なくとも1つの候補ノード上で実行されるようにスケジュールするように構成されたスケジューリングユニットとを備えた、スケジューリング装置が提供される。

【0019】

いくつかの実施形態では、ノードマッチングユニットは、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量がリソース提供量内の各タイプのリソースの提供量にマッチするかどうかに応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定する。

【0020】

いくつかの実施形態では、ノードマッチングユニットは、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量が各タイプのリソースに対応する使用量しきい値よりも大きいかどうかを判定し、対応する使用量しきい値よりも大きいリソースを需要リソースとして決定し、少なくとも1つの候補ノードの各々における、リソース提供量内の各タイプのリソースの現在の利用率が対応する利用率しきい値未満であるかどうかを判定し、対応する利用率しきい値未満である現在の利用率を有するリソースを少なくとも1つの候補ノードの各々の利用可能なリソースとして決定し、需要リソースと利用可能なリソースのマッチに応じて、すでに実行されたポッドレプリカにマッチする候補ノードを決定する。

【0021】

いくつかの実施形態では、スケジューリングユニットは、予測されるリソース使用量および少なくとも1つの候補ノードのリソース提供量に応じて、少なくとも1つの候補ノードによってアウェイクされる必要がある物理機械の数を決定し、物理機械の数は、予測されるリソース使用量を満たすことが可能な最小数である。

【0022】

いくつかの実施形態では、この装置は、判定結果に応じて、スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するために、すでに実行されたポッドレプリカのリソース使用量の収集された履歴変更に応じて、スケジュールされることになるポッドレプリカが現在、使用量のピーク時間期間内にあるかまたは谷時間期間内にあるかを判定するように構成された判定ユニットをさらに備える。

【0023】

いくつかの実施形態では、判定ユニットは、指定された時間期間内の各時間モーメントにおけるすでに実行されたポッドレプリカのリソース使用量に応じて、指定された時間期間内の各タイプのリソースの平均使用量を計算し、平均使用量に応じて、指定された時間期間内の各タイプのリソースの使用量のピーク時間期間および谷時間期間を履歴変更として決定する。

【0024】

いくつかの実施形態では、この装置は、履歴変更に応じて、ターゲット時間モーメントにおける、スケジュールされることになるポッドレプリカのリソース使用量を推定し、現在アウェイク状態の物理機械がターゲット時間モーメントにおいてリソース使用量を満たすことが可能でないという条件下で、ターゲット時間モーメントが到来する前にリソースを提供するために、ターゲット時間モーメントにおいてリソース使用量を満たすことが可能な、いくつかの物理機械をアウェイクさせるように構成された制御ユニットをさらに備える。

【0025】

いくつかの実施形態では、制御ユニットは、それがピーク時間期間内にあり、あるスケジュールされることになるポッドレプリカのリソース負荷が負荷しきい値を超えるという条件下で、スケジュールされることになるポッドレプリカの数を増大させる。

【0026】

いくつかの実施形態では、制御ユニットは、それが谷時間期間内にあるという条件下で、スケジュールされることになるポッドレプリカの数を低減させ、クリアにされた物理機械がスリープ状態に入るように制御する。

【0027】

いくつかの実施形態では、制御ユニットは、少なくとも1つの候補ノードの対応する物理機械上で実行しているポッドレプリカの数に応じて、対応する物理機械が高性能モードまたは非高性能モードになるように制御するように構成される。

【0028】

いくつかの実施形態では、制御ユニットが対応する物理機械が高性能モードまたは非高性能モードになるように制御することは、対応する物理機械上で実行しているポッドレプリカが存在しないという条件下で、対応する物理機械がスリープモードになるように制御することと、対応する物理機械上で実行しているポッドレプリカの数がレプリカしきい値未満であるという条件下で、対応する物理機械が低性能モードになるように制御することとを含む。

【0029】

いくつかの実施形態では、少なくとも1つの候補ノードは各々、スケジュールされることになるポッドレプリカの数、高可用性需要、親和性需要、または独占需要のうちの少なくとも1つに応じて決定される。

【0030】

本開示のさらに他の実施形態によれば、コンテナのスケジューリング装置であって、メモリと、メモリに結合されたプロセッサとを備え、プロセッサが、メモリ内に記憶された命令に基づいて、上記の実施形態のうちのいずれかにおけるコンテナのスケジューリング方法を実施するように構成される、スケジューリング装置が提供される。

【0031】

本開示のさらなる実施形態によれば、コンピュータプログラムをその上に記憶した非一時的コンピュータ可読記憶媒体であって、コンピュータプログラムが、プロセッサによって実行されると、上記の実施形態のうちのいずれかにおけるコンテナのスケジューリング方法を実装する、非一時的コンピュータ可読記憶媒体が提供される。

【0032】

本明細書で説明する添付の図面は、本開示のさらなる理解を提供するために使用され、本出願の部分を構成し、本開示の例示的な実施形態およびそれらの説明は、本開示を説明するために使用され、本開示の不適当な限定ではない。

【図面の簡単な説明】

【0033】

【図1】本開示による、コンテナのスケジューリング方法のいくつかの実施形態の流れ図である。

【図2】本開示による、コンテナのスケジューリング方法の他の実施形態の流れ図である。

【図3】本開示による、コンテナのスケジューリング装置のいくつかの実施形態の概略図である。

【図4a】本開示による、ノードリソース分配のいくつかの実施形態の概略図である。

【図4b】本開示による、ポッドレプリカのリソース使用量のいくつかの実施形態の概略図である。

【図4c】本開示による、2つのポッドレプリカのリソース使用量のいくつかの実施形態の概略図である。

【図4d】本開示による、コンテナのスケジューリング方法のいくつかの実施形態の概略図である。

【図5】本開示による、コンテナのスケジューリング方法の他の実施形態の概略図である。

【図6】本開示による、コンテナのスケジューリング装置のいくつかの実施形態のブロック図である。

【図7】本開示による、コンテナのスケジューリング装置の他の実施形態のブロック図である。

【図8】本開示による、コンテナのスケジューリング装置のさらに他の実施形態のブロック図である。

【発明を実施するための形態】

【0034】

本開示の実施形態の技術的解決策は、本開示の実施形態における添付の図面と併せて以下で明瞭かつ十分に説明され、説明する実施形態は、本開示の実施形態のすべてではなく、そのいくつかに過ぎないことは明らかである。少なくとも1つの例示的な実施形態の以下の説明は、本質的に例示に過ぎず、本開示、およびその適用例、または使用のいかなる限定としても働かない。創造的な作業なしに、本開示の実施井形態から当業者によって導出され得るすべての他の実施形態は、本開示の保護範囲に該当する。

【0035】

別段に指定されない限り、これらの実施形態に記載された構成要素およびステップの相対的な構成、数値表現および数値は本開示の範囲を限定しない。一方、図面に示される様々な部分のサイズは、説明を簡単にするために、実際の尺度で描かれていないことを理解されたい。関連技術の当業者に知られている技法、方法、およびデバイスは、詳細に論じられないが、適切な場合、許可される仕様の部分と見なされるべきである。本明細書で示され、論じられるすべての例において、いかなる特定の値も、限定ではなく、単なる例示と解釈されるべきである。したがって、例示的な実施形態の他の例は、異なる値を有し得る。同様の参照番号および文字は以下の図面において同様の項目を指し、したがって、ある項目が1つの図面において定義されると、その項目は、後続の図面においてさらに論じる必要はないことに留意されたい。

【0036】

本発明の発明者らは、上記で説明した関連技術には以下の問題があることを見出した:スケジューリング戦略はクラスタの管理および保守のそれぞれから生み出されないため、リソース使用量とリソース提供量の間にミスマッチが生じ、結果としてシステムリソースに無駄が生じる。

【0037】

これに鑑み、本開示では、システムリソースの無駄を低減することが可能なコンテナスケジューリング技術解決策が提供される。

【0038】

上記で説明したように、カスタマがコンテナクラウドを確立するとき、コンテナクラウドクラスタはコンテナクラウド上でビジネスを行うために数百の物理サーバがしばしば配置されることになる自己構築型の機械室内に配置されることになる。長時間にわたって実行している多数の物理サーバは、結果として甚大なエネルギー消費をもたらすことになり、実行する物理サーバが多ければ多いほど、マッチした冷却および除塵施設に対してより大きなスケールが必要とされ、これは、電気料金および管理料金など、非常に大きな連続的コスト費用をカスタマにもたらす。

【0039】

上記の技術的問題に鑑みて、本開示は、コンテナクラウド技術に基づき、コンテナクラウド内のクバネティス(Kubernetes)がポッド(コンテナのセット)を戦略的にスケジュールすることが可能な機構を使用し、エネルギー消費なしにスリープ状態に入るために、ポッドスケジューリングを通して物理機械の部分のクリアリング負荷(clearing loads)に焦点を当てる。このようにして、リソース使用量は、リソース需要と可能な限りマッチし得、これは、ビジネス需要のみではなく、エネルギー節約およびコスト削減をも満たすターゲットを達成する。これは、たとえば、以下の実施形態によって達成され得る。

【0040】

図1は、本開示による、コンテナのスケジューリング方法のいくつかの実施形態の流れ図を示す。

【0041】

図1に示すように、この方法は、予測されるリソース使用量を決定するステップ110、マッチする候補ノードを決定するステップ120、およびすでに実行されたポッドレプリカをスケジュールするステップ130を含む。

【0042】

ステップ110において、スケジュールされることになるポッドレプリカの予測されるリソース使用量は、すでに実行されたポッドレプリカのリソース使用量に応じて決定される。すでに実行されたポッドレプリカおよびスケジュールされることになるポッドレプリカのタイプは同じである。

【0043】

たとえば、ポッドは、密に関係するコンテナのセットであり、クバネティススケジューリングの基本ユニットである。ポッド内の複数のコンテナは、ネットワークおよびファイルシステムを共有し、その結果、これらのコンテナは、そのような単純かつ効率的なプロセス間通信およびファイル共有方法で、サービスを完了し得る。ポッドレプリカは、1つの同じポッドモードを使用することによって作成されたポッドのセットであり、RC(複製コントローラ)またはRS(レプリカセット)によって制御される。

【0044】

いくつかの実施形態では、ポッドレプリカのタイプは、対応するポッドモードに応じて決定され、同じポッドモードを有するポッドレプリカは同じタイプのものである。たとえば、ポッドモードは、ポッド内に備えられたコンテナの鏡像、鏡像の対応する仕様、対応するサービス名、またはレプリカの数のうちの少なくとも1つを含み得る。仕様は、CPU(中央処理装置)コアの数、メモリ容量、ネットワーク帯域幅、および記憶容量など、鏡像に必要とされるハードウェアリソース構成情報を含み得る。

【0045】

いくつかの実施形態では、1つのポッドモードタイプは、1つのポッドテンプレートファイルを使用することによって決定可能であり、たとえば、1つのポッドモードタイプの構造は、
{
鏡像1、仕様1;
鏡像2、仕様2;
…
鏡像n、仕様n;
サービス名;
レプリカの数;
}
である。

【0046】

仕様は、CPUコアの数、メモリ容量、ネットワーク帯域幅、および記憶容量など、ハードウェア構成情報を含み得る。たとえば、Xのラベルを有するポッドは、上記の方法で作成され、その場合、上記の構造は、ポッドXのポッドモードと呼ばれる。

【0047】

ステップ120において、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードが、予測されるリソース使用量および候補ノードによってサポートされるリソース提供量に応じて決定される。

【0048】

いくつかの実施形態では、少なくとも1つの候補ノードの各々は、スケジュールされることになるポッドレプリカの数、HA(高可用性)需要、親和性需要、または独占需要のうちの少なくとも1つに応じて決定される。

【0049】

たとえば、親和性は、ポットが実行するときのスケジューリング戦略であり、ノード親和性、ポッド親和性、およびポッド反親和性を含む。ノード親和性は、どのノード上でポッドが配置され得るか否かを指定するために使用される。ポッド親和性は、1つの同じトポロジーの下で、どのポッドとともにそのポッドが配置され得るかを指定するために使用される。ポッド反親和性は、同じトポロジーの下で、どのポッドとともにそのポッドが配置され得ないかを指定するために使用され、ポット親和性とともに、ポッド間の関係を決める。

【0050】

いくつかの実施形態では、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードは、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量がリソース提供量内の各タイプのリソースの提供量にマッチするかどうかに応じて決定される。

【0051】

いくつかの実施形態では、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量が対応する使用量しきい値よりも大きいかどうかが判定され、対応する使用量しきい値よりも大きいタイプのリソースが需要リソースとして決定され、少なくとも1つの候補ノードの各々における、リソース提供量内の各タイプのリソースの現在の利用率が対応する利用率しきい値未満であるかどうかが判定され、対応する利用率しきい値未満である現在の利用率を有するタイプのリソースが少なくとも1つの候補ノードの各々の利用可能なリソースとして決定され、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードが需要リソースと利用可能なリソースのマッチングに応じて決定される。

【0052】

ステップ130において、すでに実行されたポッドレプリカが少なくとも1つの候補ノード上で実行するようにスケジュールされる。

【0053】

いくつかの実施形態では、少なくとも1つの候補ノードによってアウェイクされる必要がある物理機械の数は予測されるリソース使用量および少なくとも1つの候補ノードのリソース提供量に応じて決定され、物理機械の数は、予測されるリソース使用量を満たすことが可能な最小数である。

【0054】

いくつかの実施形態では、現在のリソース使用量は、リソース使用量の履歴変更に応じて予測されてもよい。これは、たとえば、図2の実施形態によって達成され得る。

【0055】

図2は、本開示による、コンテナのスケジューリング方法の他の実施形態の流れ図を示す。

【0056】

図2に示すように、この方法は、履歴変更を収集するステップ210、現在の時間期間を判定するステップ220、およびレプリカを増大させるかどうかを決定するステップ230をさらに含み得る。

【0057】

ステップ210において、すでに実行されたポッドレプリカのリソース使用量の履歴変更が収集される。

【0058】

いくつかの実施形態では、指定された時間期間内の各タイプのリソースの平均使用量が指定された時間期間内の各時間モーメントにおけるすでに実行されたポッドレプリカのリソースの使用量に応じて計算され、平均使用量に応じて、指定された時間期間内の各タイプのリソースの使用量のピーク時間期間および谷時間期間が履歴変更として判定される。

【0059】

たとえば、各タイプのリソースの使用量と各タイプのリソースの平均使用量の間の差がピークしきい値よりも大きいという条件下で、指定された時間期間がピーク時間期間として決定され、各タイプのリソースの平均使用量と各タイプのリソースの使用量の間の差が谷しきい値よりも大きいという条件下で、指定された時間期間が谷時間期間として決定される。

【0060】

ステップ220において、履歴変更に応じて、スケジュールされることになるポッドレプリカが現在、使用量のピーク時間期間内にあるかまたは谷時間期間内にあるかが判定される。

【0061】

ステップ230において、判定の結果に応じて、スケジュールされることになるポッドレプリカの数を増大させるかどうかが決定される。

【0062】

いくつかの実施形態では、それがピーク時間期間内にあり、単一のスケジュールされることになるポッドレプリカのリソース負荷が負荷しきい値を超えるという条件下で、スケジュールされることになるポッドレプリカの数は増大される。

【0063】

いくつかの実施形態では、それが谷時間期間内にあるという条件下で、スケジュールされることになるポッドレプリカの数が低減され、クリアにされた物理機械がスリープ状態に入るように制御される。

【0064】

いくつかの実施形態では、履歴変更に応じて、ターゲット時間モーメントにおける、スケジュールされることになるポッドレプリカのリソース使用量が予測され、現在アウェイク状態の物理機械がターゲット時間モーメントにおいてリソース使用量を満たすことが可能でないという条件下で、ターゲット時間モーメントに達する前にリソースを提供するために、ターゲット時間モーメントにおいてリソース使用量を満たすことが可能ないくつかの物理機械がアウェイクされる。

【0065】

いくつかの実施形態では、少なくとも1つの候補ノードの対応する物理機械上で実行しているポッドレプリカの数に応じて、対応する物理機械が高性能モードまたは非高性能モードになるように制御される。

【0066】

たとえば、対応する物理機械上で実行しているポッドレプリカが存在しないという条件下で、対応する物理機械はスリープモードになるように制御され、対応する物理機械上で実行しているポッドレプリカの数がレプリカしきい値未満であるという条件下で、対応する物理機械は低性能モードになるように制御される。

【0067】

図3は、本開示による、コンテナのスケジューリング装置のいくつかの実施形態の概略図である。

【0068】

図3に示すように、スケジューリング装置は、リソース使用量評価モジュール、履歴変更分析モジュール、スケジューリングシステム、および物理機械状態制御モジュールを備え得る。

【0069】

いくつかの実施形態では、リソース使用量評価モジュール(使用量決定ユニットを備え得る)は、ポッド内のリソースの使用量の統計データを評価するように構成される。統計データは、履歴変更分析モジュールおよびスケジューリングシステムに対するデータベースを提供し得る。

【0070】

いくつかの実施形態では、リソース使用量評価モジュールは、同じポッドモードを有するポッドのリソース使用量を記録および評価し得る。リソース使用量は、6タプルによって表され得る。たとえば、6タプルは、CPU作業命令サイクルカウント、メモリ使用量、ネットワークIO(入出力)カウント、ネットワークIOトラフィック、ストレージIOカウント、およびストレージIO合計を含み得る。

【0071】

いくつかの実施形態では、リソース使用量は、単位時間t内でカウントされる数値であってよい。たとえば、tは、1秒、1分、1時間などであってよい。

【0072】

いくつかの実施形態では、CPUの実際の作業命令サイクルカウントは、ポッドによるCPUの実際の使用量を正確に測定するために使用されてよく、メモリ使用量は、時間期間t内の秒あたりのメモリ使用量の累積値であってよく、ネットワークIOおよびストレージIOは、頻繁なIOの事例とIOの大量のデータの事例を区別するために、カウントおよび合計によって表されてよい。

【0073】

いくつかの実施形態では、同じポッドモードを有するポッドに対するリソース使用量評価モジュールは、それらのリソース使用量をカウントし、その平均値を計算する。平均値は、6タプルに対応する数値が0と1の間の6つの数値に統合されるように、平均値を正規化するために1つの物理機械によって達成され得る最大値によって分割されてもよい。

【0074】

たとえば、物理機械によって達成され得るCPUの最大値は、t内の物理機械のすべてのコアのすべてのサイクルカウントであり、物理機械によって達成され得るメモリの最大値は、物理機械のすべてのメモリの合計から管理およびシステムプログラムのメモリ使用量を差し引いた値である。

【0075】

物理機械によって達成され得るネットワークIOカウントの最大値は、t内でシステムによって履歴的に実施される最大ネットワークIOカウント(新しい最大値が存在するときに更新される)であり、物理機械によって達成され得るネットワークIOトラフィックの最大値は、ネットワーク帯域幅に従って計算される、t内で達成され得る最大ネットワーク送信データ量であり、物理機械によって達成され得るストレージIOカウントの最大値は、t内でシステムによって履歴的に実施される最大ストレージIOカウント(新しい最大値が存在するときに更新される)であり、物理機械によって達成され得るストレージIO合計の最大値は、記憶帯域幅に応じて計算され得る、t内で達成され得る最大送信データ量である。

【0076】

正規化数値は、同じポッドモードを有するポッドの実際のリソース使用量を最大値で分割することによって取得され得る。IOカウントを除いて、1つの同じ物理機械上の複数のポッドのリソース使用量の和は、物理機械の能力値より大きくなり得ない。

【0077】

いくつかの実施形態では、複数の物理機械の仕様が同じでないかまたはその処理能力が一定でないとき、物理機械の処理能力も正規化される。たとえば、すべての物理機械の対応するインデックスは最大処理能力を備えた物理機械の対応するインデックスの値で分割されなければならない、すなわち、正規化された物理機械能力インデックス=物理機械インデックス値/最大物理機械インデックス値である。

【0078】

いくつかの実施形態では、ノードのリソース提供量は、ノードによってどの程度多くのリソースがポッドに提供され得るかを測定するための正規化された6タプルである。

【0079】

いくつかの実施形態では、履歴変更分析モジュール(判定ユニットを備え得る)は、CPU、メモリ、ネットワーク、およびIOなどのリソースに対するポッドの使用量の履歴変更(たとえば、周期性法則)を分析し、それにより、スケジューリングシステムおよび物理機械状態制御モジュールに対する決定ベースを提供するように構成される。

【0080】

いくつかの実施形態では、システムリソースに対するポッドの使用量は波上曲線で変化し、これはまた、概して周期変化法則を示す。システムリソース使用量の変化法則は、概して、人間の社会活動の周期性によって引き起こされる。たとえば、大部分の人々は日中作業し、夜休み、これにより、人々と対話するシステムの大部分は日中ビジーであり、夜はアイドルである。したがって、取得された変化法則を使用することによって、リソースの良好な割振りが実現される。

【0081】

いくつかの実施形態では、人々の作業、休息、および活動の法則に従って、変化法則のサイクルは、日、週、月、年などの時間期間に分割され得る。

【0082】

いくつかの実施形態では、一日のリソース使用量の法則がカウントされ得る。たとえば、ワンタイム間隔(たとえば、1分)を単位時間と解釈し、1つの同じポッドモードを有するポッド(ポッドサンプル)のリソース使用量を各単位時間内でカウントする。

【0083】

たとえば、異常データポイントをある時間範囲(たとえば、20日)内で除去し、一日の各時間期間のリソース使用量の平均値を取得することができ、リソース使用量の平均値のピーク時間期間および谷時間期間の時間範囲が決定される。ピーク時間期間内のリソース使用量は、一日の各タイプのリソースの平均使用量よりも明らかに高く、谷時間期間内のリソース使用量は、一日の各タイプのリソースの平均使用量よりも明らかに低い。

【0084】

いくつかの実施形態では、一週間のリソース使用量の法則がカウントされ得る。たとえば、ある日の時間期間を、各単位時間内で1つの同じポッドモードを有するポッドのリソース使用量をカウントするための単位時間と解釈する。時間範囲(たとえば、60日)内で、異常データポイントを除去して、一週間の毎日のリソース使用量の平均値を取得する。リソース使用量の平均値のピーク時間期間および谷時間期間の時間範囲が決定される。

【0085】

いくつかの実施形態では、一月のリソース使用量の法則がカウントされ得る。たとえば、ある日の時間期間を、各単位時間内で1つの同じポッドモードを有するポッドのリソース使用量をカウントするための単位時間と解釈する。時間範囲(たとえば、90日)内で、異常データポイントを除去して、一月の毎日のリソース使用量の平均値を取得する。リソース使用量の平均値のピーク時間期間および谷時間期間の時間範囲が決定される。

【0086】

いくつかの実施形態では、一年のリソース使用量の法則がカウントされ得る。たとえば、ある日の時間期間を、各単位時間内で1つの同じポッドモードを有するポッドのリソース使用量をカウントするための単位時間と解釈する。一年の時間範囲内で、異常データポイントを除去して、一年の毎日のリソース使用量の平均値を取得する。リソース使用量の平均値のピーク時間期間および谷時間期間の時間範囲が決定される。

【0087】

いくつかの実施形態では、日、週、月、および年の時間帯を通して、リソース割振りを導くために、リソース使用量のピーク時間期間および谷時間期間が明確に分析され得る。

【0088】

いくつかの実施形態では、スケジューリングシステム(ノードマッチングユニットおよびスケジューリングユニットを備え得る)は、増大、修正、および削除など、ポッド変更が存在するとき、ポッドレプリカに対するシステムの動的スケジューリングを担当する。たとえば、動的スケジューリングは主に、ポッドがいつ作成されるかをスケジュールすることと、ポッドがいつ修正および削除されるかをスケジュールすることとを含む。スケジューリングシステムは、スケジューリング戦略作成モジュールおよび動的変更スケジューリングシステムを備え得る。

【0089】

いくつかの実施形態では、スケジューリング戦略作成モジュールは、スケジューリング戦略を3段階、すなわち、プレディケート戦略、特色(peculiarity)戦略、およびセット最適化戦略(またはフレックスグロウ戦略)に分割し得る。

【0090】

いくつかの実施形態では、プレディケート戦略は、セット条件を満たさないノードをフィルタリングするために使用される。セット条件は、ポッドレプリカとノードの間の相互排他的な設定を含んでよく、たとえば、指定されたポッドレプリカを指定されたノード1上に配置され得ない。

【0091】

いくつかの実施形態では、特色戦略は、プレディケート戦略によるフィルタリングの後、ポッドレプリカによって要求される技術的特色に応じて条件を満たす候補ノードセットを決定するために使用される。技術的特色は、ポッドレプリカの数、高可用性需要、親和性需要、独占需要などを含み得る。

【0092】

このようにして、性能およびリソース使用量は少なくとも1つのマッチする候補ノードを決定するための唯一の考慮事項ではなく、スケジューリング効果が改善されるように、高可用性、および高い同時性などの要素も導入される。

【0093】

いくつかの実施形態では、セット最適化戦略は、セット最適化のために使用され、3段階スケジューリングの第1の方法である。たとえば、すべてのスケジュールされることになるポッドレプリカは、考慮のための1つのポッドセットと解釈されてよく、候補ノードセットに対してそのポッドセットがスケジュールされた後、最適効率性を形成することが可能な戦略がスケジューリングのために選択される。

【0094】

いくつかの実施形態では、最適効率性は、セット条件および特性需要を満たすことを前提として、また緊急トラフィック処理空間の部分が確保されているという条件下で、負荷が、ビジネス需要を満たしてクラスタ全体のエネルギー消費を最小化することが可能であることである。

【0095】

たとえば、作業負荷が少数の物理機械に可能な限り割り振られてよく、少数の物理機械は、より多くの物理機械がスリープし得るように、リソースおよびトラフィックの需要を満たすことが可能である。作業負荷がすでに割り振られた物理機械がより少ない負荷を有するとき、その物理機械は、ビジネストラフィック需要が満たされ得ると同時に最低エネルギー消費を有するように、エネルギー制約モードに入る。

【0096】

いくつかの実施形態では、セット最適化は、2つのポッドに対する動作が同時に考慮される場合、たとえば、1つのポッドレプリカを削除し、次いで、1つの新しいポッドレプリカを作成することが必要な場合を含み得る。複数のポッドレプリカのうちの1つが削除される必要がある場合、スケジューリングプログラムは、新しく作成されたポッドレプリカが最適効率性を達成し得るように、最適な削除可能ポッドレプリカを選択することが可能である。

【0097】

いくつかの実施形態では、ポッドレプリカが作成されるときのセット最適化方法の主な流れは以下のとおりである。

【0098】

ステップ1、ポッドレプリカを作成するためのテンプレートファイルに従って、ポッドレプリカのモード、ポッドレプリカを作成するためのセット条件、レプリカの数などを決定する。

【0099】

ステップ2、セット条件を満たさないノードを除外する。たとえば、ラベルは、クバネティスオブジェクトを識別するためのラベルであり、キー値(key-value)様式でオブジェクトにアタッチされる。ラベルは、一意性を提供せず、実際に、特定のアプリケーションを標示するために同じラベルが多くのオブジェクト(たとえば、ポッド)によって使用される。いくつかのノードはラベルによって除外され得る。

【0100】

ステップ3、ポッドレプリカの数、高可用性需要、親和性需要、および独占需要など、技術的特性に応じて、割振り可能な候補ノードセットおよびポッドの複数のレプリカ間の分配関係を分割する。

【0101】

たとえば、ポッドレプリカは、物理機械にわたって高可用性を確実にするために、少なくとも2つの物理ホストノードに割り振られるか、もしくはポッドレプリカは、ラックにわたって高可用性を確実にするために、物理機械の少なくとも2つのラックに割り振られるか、またはポッドレプリカはすべて、ネットワークにわたって高い同時性を確実にするために、高い帯域幅ネットワークを備えた物理ホストに対して割り振られる。

【0102】

ステップ4、ある時間期間にわたって実行した、スケジュールされることになるポッドレプリカと同じポッドモードを有するポッドレプリカが存在する場合、リソース使用量評価モジュールに従って、ポッドモードの最近のリソースの実際に使用されたリソース使用量の6タプルを収集する。

【0103】

ステップ5、ポッドレプリカセットのリソース使用量6タプルを候補ノードセット内の候補ノードの残りのリソース使用量6タプルにマッチさせ、ノードがバランスのとれた6つのインデックスを達成することを可能にするマッチング戦略を計算する。

【0104】

いくつかの実施形態では、非スリープ状態のすべての物理ホスト上のノード内の残りのリソース使用量が新しいポッドレプリカの作成をサポートし得る場合、ポッドレプリカはバランスのとれたマッチング戦略に従って対応するノードに対してスケジュールされる。すべてのスケジュールされることになるポッドレプリカは、スケジューリング全体に対する1つのセットと解釈される。

【0105】

いくつかの実施形態では、ポッドレプリカのリソース使用量においてかなり高いインデクスを有するいくつかの項目が高需要リソースとして決定され得、ノード内の最大可用性を備えたリソースが、高需要リソースにマッチすることになる谷リソース(提供リソース)として選択される。つまり、すべての6つのインデックスがノードに対する基本的にバランスのとれた割振りを実現するように、大きなリソースアイドル性を備えたインデックスは可能な限り完全に充填される。

【0106】

いくつかの実施形態では、いくつかのポッドレプリカが1つの同じノードに対してスケジュールされる必要がある場合、同じノードに割り振られる必要があるポッドレプリカのリソース使用量は組み合わされる。たとえば、ノードリソースが需要を満し得る場合、ノードリソースが割り振られる。

【0107】

たとえば、図4aから図4dは、2つのポッドレプリカが1つの同じノードに対してスケジュールされるリソース評価実施形態である。

【0108】

図4aは、本開示による、ノードリソース分配のいくつかの実施形態の概略図を示す。

【0109】

図4aは、正規化されたリソースの実際の利用率および1つのスケジュール可能ノードの残りの割振り可能なリソース空間を示す。システムが、トラフィックジッタ、バーストなどの条件下で、ビジネストラフィックを運ぶことが可能であることを保証するために、確保された緊急リソース空間がシステム内に提供される。たとえば、CPUおよびメモリなど、関連インデックスの確保された緊急リソース空間の割合は異なり得る。

【0110】

いくつかの実施形態では、各タイプのリソースの正規化された平均利用率が計算され得、正規化された平均利用率に応じて、より低い利用率を有する谷リソース、すなわち、メモリ、ネットワークIOトラフィック、およびストレージIO合計、が決定され得る。

【0111】

図4bは、本開示による、ポッドレプリカリソース使用量のいくつかの実施形態の概略図を示す。

【0112】

図4bは、スケジュールされることになるポッドレプリカと同じポッドモードを有する、すでに実行されたポッドレプリカの履歴リソース使用量に応じて予測される、予測されるリソース使用量を示す。各タイプのリソースの正規化された平均使用量が計算され得、正規化された平均使用量に応じて、使用量の高い需要リソース、すなわち、メモリ、ネットワークIOトラフィック、ストレージIO合計、が決定される。

【0113】

図4cは、本開示による、2つのポッドレプリカのリソース使用量のいくつかの実施形態の概略図を示す。

【0114】

図4cは、2つのポッドレプリカの予測されるリソース使用量を示し、各インデックスは、単一のポッドのインデックスの二倍である。高い需要リソースは、メモリ、ネットワークIOトラフィック、およびストレージIO合計である。この場合、高い需要リソースタイプおよび谷リソースタイプが単にマッチし、谷リソースの数が高い需要リソースを満たす場合、2つのポッドレプリカがそのノードに対してスケジュールされ得る。

【0115】

図4dは、本開示による、コンテナのスケジューリング方法のいくつかの実施形態の概略図を示す。

【0116】

図4dは、2つのポッドレプリカがスケジュール可能なノードに割り振られるときのリソース使用量を示す。複数のノードの事例は、単一のノードの事例と同様であり、両方とも、ポッドの予測されるリソース使用量が満たされ得ることを確実にする必要がある。

【0117】

いくつかの実施形態では、非スリープ状態のすべての物理ホスト上のノード内の残りのリソース使用量が新しいポッドレプリカの作成をサポートするために十分でない場合、いくつかのスリープしている物理ホストがアウェイクされる。さらに、アウェイクされた物理ホスト上のノードおよび元のノードの割振り可能なリソース使用量が、ポッドレプリカを作成するためのモードのリソース使用量総需要を満たすことが可能にされる。

【0118】

いくつかの実施形態では、同じポッドモードを有する、すでに実行されたポッドレプリカが存在しない場合、テンプレート文書内のリソース需要(各鏡像に対応する仕様)に応じて、リソース使用量6タプルが予測される。たとえば、要求されるコアが多ければ多いほど、予測されるCPU使用量はより多くなる。その場合、予測されるリソース使用量に応じて、上記の実施形態に従ってプロセスが実施される。

【0119】

いくつかの実施形態では、すべてのポッドレプリカがノードに対してスケジュールされるか、すべての物理機械がアウェイクされた後、リソース需要を満たすことが可能なノードは存在せず、その場合、スケジューリングは終了する。

【0120】

いくつかの実施形態では、セット最適化戦略のセット最適化モデルは、非スリープ状態の物理機械が最小化されるというターゲット、すべてのポッドレプリカの作成がテンプレート内の条件セットを満たすという制約条件、技術的特性需要を満たす、すべてのポッドレプリカの作成、ビジネス負荷を満たすことが可能な作成されたポッドレプリカ、および限界を超えない、各ノードに対するポッドレプリカのリソース使用量、を含む。

【0121】

いくつかの実施形態では、フレックスグロウ戦略は、ポッドレプリカのフレキシブルな割振りのために使用され、これは3段階スケジューリングの第2の代替案である。たとえば、最初の2つのスケジューリングレベルの制約条件が満たされることを前提として、ポッドレプリカの一部分が最初に作成され、次いで、ポッドレプリカの作業負荷を参照しながら、ポッドレプリカの数が調整される。

【0122】

いくつかの実施形態では、ポッドが作成されるときのフレックスグロウフレキシブルスケジューリング方法の主な流れは以下のとおりである。

【0123】

ステップ1、ポッドレプリカを作成するためのテンプレートファイルに従って、ポッドレプリカのモードを決定し、ポッドを作成するためのセット条件、およびレプリカの数を決定する。

【0124】

ステップ2、作成のためのセット条件を満たさないノードを除外する。たとえば、一定ノードがラベルによって除外される。

【0125】

ステップ3、ポッドレプリカの数、高可用性需要、親和性需要、および独占需要など、技術的特性に応じて、割振り可能な候補ノードセットおよびポッドの複数のレプリカ間の分配関係を分割する。

【0126】

たとえば、ポッドレプリカは、物理機械にわたる高可用性を確実にするために、少なくとも2つの物理ホストノードに対して割り振られる。またはポッドレプリカは、ラックにわたる高可用性を確実にするために、物理機械の少なくとも2つのラックに対して割り振られる。またはポッドレプリカは、ネットワークに対する高同時アクセスを確実にするために、高帯域幅ネットワークを備えた物理ホストに対して割り振られる。

【0127】

ステップ4、いくつかのポッドレプリカが作成される2つの事例において、最大数のレプリカを選択する。たとえば、2つの事例は、ポッドレプリカ内の半数が需要を生み出したこと、および最小数のレプリカが技術的特性を満たすこと、を含む。

【0128】

ステップ5、ステップ4において決定されたポッドレプリカの数に応じて、ポッドスケジューリングを実施し、セット条件が満たされるという条件下で、非スリープ状態の物理機械の数を最小化する。

【0129】

ステップ6、ポッドレプリカのリソース使用量が上限しきい値よりも大きいとき、ポッドレプリカの数を増大させる。増大のための2つのストライド(stride)オプションが存在し、そのうちの1つは、セット数に応じて単位増大が実施されることであり、もう1つは、セット比率に応じてユニット増大が実施されることであり、たとえば、ストライドは、総数から既存の数を差し引いた後の半分であり得る。数を増大するとき、非スリープ状態の物理機械が最小化されるというターゲットもやはり満たされるべきである。

【0130】

ステップ7、ポッドレプリカのリソース使用量が下限しきい値未満であるとき、ポッドレプリカの数を低減させる。低減のための2つのストライドオプションが存在し、そのうちの1つは、セット数に応じて単位低減が実施されることであり、もう1つは、セット比率に応じて単位低減が実施されることであり、たとえば、ストライドは、既存の数の半分であり得る。

【0131】

ステップ8、ポッドレプリカのリソース使用量が上限しきい値と下限のしきい値の間になるまで、ステップ6および7を繰り返す。

【0132】

ステップ9、ステップ6、7、および8の物理機械のリソースがクリアにされた場合、物理機械をリサイクルし、物理機械がスリープ状態に入ることを可能にし、物理機械のリソースが不十分である場合、スリープしている物理機械をアウェイクさせて、リソース提供を増大させる。

【0133】

いくつかの実施形態では、動的変更スケジューリングシステムは、各現在のポッドレプリカの負荷状態に応じる、フレキシブルレプリカセットを使用してスケジューリングを実施する。たとえば、ユーザによって設定されるポッドレプリカの数、3、は標準値と解釈されてよく、ポッドレプリカの全体負荷が低いとき、高可用性などの制約条件が満たされるという条件下で、ポッドレプリカの数は低減され、ポッドレプリカの全体負荷が高いとき、需要に適応するために、ポッドレプリカの数は動的に増大される。

【0134】

このようにして、フレキシブルレプリカセット動作は、クラスタ内の多数の計算リソースに対する需要を低減することを可能にする。さらに、クラウドコンピューティングクラスタのエネルギー消費を低減させるために、クラスタ内の物理機械の部分がスリープ状態に入ることをやはり可能にし得る。電気料金はクラウドコンピューティングプラットフォームの主な継続費のうちの1つであるため、実行コストが低減され得る。

【0135】

動的変更スケジューリングシステムのスケジューリングフローは、以下を含む。

【0136】

ステップ1、サービスを提供するための1つのポッドレプリカセットのリソース使用量の周期法則を分析する。上述のように、日、週、月、および年の4つの時間帯に応じて、リソース使用量のピーク時間期間、谷時間期間、および平均値が分析され得る。

【0137】

たとえば、1つのサービスのリソース使用量は、それが含有するすべてのポッドレプリカのリソース使用量の和である。システムは、合計でいくつのポッドレプリカが存在するかにかかわらず、サービスリソース需要総数がサポートされ得ることを確実にする必要がある。

【0138】

ステップ2、単一のポッドレプリカのリソース使用量の最大値を通して、各時間期間において最大リソース需要(トラフィックピーク)によって要求されるポッドレプリカの数を計算し、各時間期間において最小リソース需要(トラフィック谷)によって要求されるポッドレプリカの数を計算する。

【0139】

ステップ3、システムがトラフィックピークにあるとき、ポッドレプリカのスケジューリングをサポートするために十分なリソースを確保する。

【0140】

ステップ4、システムの通常の実行中、サービスの平均リソース需要に応じて、タスク負荷処理を満たすことが可能ないくつかのポッドレプリカを割り振る。

【0141】

ステップ5、トラフィックピークに達し、リソース需要が増大し、単一のポッドレプリカのリソース負荷がセットしきい値を超えたとき、ポッドレプリカの数を増大するフローを開始する。

【0142】

ステップ6、ポッドレプリカの数を増大させる。たとえば、クラスタ内の割振りのために十分なリソースが存在しない場合、スリープしている物理機械をアウェイクさせて、リソース提供を増大させる。

【0143】

いくつかの実施形態では、物理機械をアウェイクして初期化するために利用される時間T0が記録され、リソース使用量の周期的変化に応じて、時間Tにおいてクラスタ内の利用可能な物理ホストリソースが需要を満たさないことになることが予測され、物理ホストをアウェイクする活動が時間T-T0において開始する。

【0144】

ステップ7、物理リソースが配置された後、ポッドレプリカをスケジュールし、ポッドレプリカを対応するサービスに関連付ける。

【0145】

ステップ8、リソース需要が増大し続ける場合、需要がそれ以上増大しなくなるまで、ステップ5からステップ7までフローを繰り返す。

【0146】

ステップ9、トラフィック需要が低減し、リソース需要法則に従って、リソース需要が正常状態に戻ると分析されるとき、ポッドレプリカの数を徐々に低減させ、高い負荷で実行し、トラフィック需要を満たすことが可能であるように、残りのポッドレプリカを制御する。クリアにされた物理ホストがスリープ状態に入ることを可能にするために、ポッドレプリカは可能な限り少数の物理ホストに対してスケジュールされ得る。

【0147】

ステップ10、ポッドレプリカの数がシステムの正常な実行中に必要とされる数に戻るまで、ステップ9を繰り返す。

【0148】

ステップ11、トラフィック谷に達したとき、トラフィックピークを処理するフロートとは逆に、ポッドレプリカの数を最初に低減させ、ポッドレプリカを可能な限り少数の物理ホストに対してスケジュールし、クリアにされた物理ホストがスリープ状態に入ることを可能にする。トラフィックが増大するとき、ポッドレプリカの数は正常値に増大する。

【0149】

いくつかの実施形態では、物理機械状態制御モジュール(制御ユニットを備える)は、リソース需要に応じて、スリープモード、エネルギー節約モード、および高性能モードなど、物理機械の異なる状態を制御する。たとえば、物理機械モードは、ポッドサンプルの実行によって制御され得る。これは、たとえば、図5の実施形態によって達成され得る。

【0150】

図5は、本開示による、コンテナのスケジューリング方法の他の実施形態の概略図を示す。

【0151】

図5に示すように、物理機械がクリアにされるとき、すなわち、その上に実行中のポッドサンプルが存在しないとき、最近のビジネストラフィックが戻ることになるかどうかが判定される。トラフィックが戻らないという条件下で、物理ホストは、エネルギー消費を最小化するためにスリープモードに入ることが可能にされる。

【0152】

少数のポッドサンプル(その数は数しきい値未満である)のみが物理機械上で実行中であり、実際のリソース使用量が物理機械によって提供され得る能力よりも低いとき、物理機械は、エネルギー節約モード(低性能モード)に入ることが可能にされる。このようにして、リソース使用量が保証されると同時に、エネルギー消費が低減され得る。

【0153】

物理機械がスリープモードであり、システムがより多くの物理機械リソースが必要になると評価するとき、アウェイクされた物理機械がリソースおよびシステム実行環境に備えるように、スリープ中の物理機械がアウェイクされてエネルギー節約モードに入る。

【0154】

物理機械がエネルギー節約モードであり、実際のリソース使用量が増大するとき、エネルギー節約モードの物理機械は、性能需要を満たすことができず、その場合、物理機械は高性能モードに入ることが可能にされる。

【0155】

物理機械が高性能モードにあり、実際のリソース使用量が低減するとき、実際の使用量は物理機械の能力よりもはるかに低く、その場合、物理機械はエネルギー節約モードに入ることが可能にされる。

【0156】

上記の実施形態では、ポッドサンプルのスケジューリングを通して、コンテナクラウド内の物理機械の部分はスリープ状態に入り、それにより、コンテナクラウドプラットフォームクラスタのエネルギー消費を大きく低減させ、電力コストを低減する。

【0157】

上記の実施形態では、6タプルおよびポッドモードに基づくリソース使用量評価方法を採用することによって、ポッドレプリカの考えられるリソース使用量はより正確に評価され、それにより、ポッドレプリカをスケジュールするためのより正確な基礎を提供する。

【0158】

上記の実施形態では、より高い観点を採用することによる、コンテナクラウド上に提供されるリソース使用量に関する周期法則分析は、ポッドレプリカおよびリソースの割振りおよび回復のための時間をよりよく判定し得る。

【0159】

上記の実施形態では、ポッドスケジューリングが、様々な制約条件が満たされることを前提として、より少数の物理機械の目標に対して実施されるように、3段階ポッド作成スケジューリング機構が提供される。

【0160】

上記の実施形態では、ポッド動的変更スケジューリング機構が提供される。システム負荷需要が満たされることを前提として、ポッドは、ビジネストラフィックが谷であるとき、リソースのリサイクルおよびエネルギー節約の目標に向けて動的にスケジュールされる。ビジネストラフィックが増大するとき、リソースを割り振ることによって、ビジネス需要も満たされ得る。

【0161】

上記の実施形態では、スケジュールされることになるポッドレプリカのリソース使用量は、スケジュールされることになるポッドレプリカと同じタイプのポッドレプリカのリソース使用量の事前データに従って予測され、それに基づき、各ノードによって提供され得るリソースの数と併せて、スケジューリング戦略が生成される。このようにして、システムリソースの無駄を低減するために、システムのリソース使用量はリソース提供量にマッチし得る。

【0162】

図6は、本開示による、コンテナのスケジューリング装置のいくつかの実施形態のブロック図を示す。

【0163】

図6に示すように、コンテナのスケジューリング装置6は、使用量決定ユニット61、ノードマッチングユニット62、およびスケジューリングユニット63を備える。

【0164】

使用量決定ユニット61は、すでに実行されたポッドレプリカのリソース使用量に応じて、スケジュールされることになるポッドレプリカの予測されるリソース使用量を決定し、すでに実行されたポッドレプリカおよびスケジュールされることになるポッドレプリカのタイプは同じである。

【0165】

ノードマッチングユニット62は、予測されるリソース使用量および候補ノードによってサポートされるリソース提供量に応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定する。

【0166】

いくつかの実施形態では、ノードマッチングユニット62は、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量がリソース提供量内の各タイプのリソースの提供量にマッチするかどうかに応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定する。

【0167】

いくつかの実施形態では、ノードマッチングユニット62は、予測されるリソース使用量内の各タイプのリソースの予測されるリソース使用量が対応する使用量しきい値よりも大きいかどうかを判定し、対応する使用量しきい値よりも大きいタイプのリソースを需要リソースとして決定し、少なくとも1つの候補ノードの各々における、リソース提供量内の各タイプのリソースの現在の利用率が対応する利用率しきい値未満であるかどうかを判定し、対応する利用率しきい値未満である現在の利用率を有するタイプのリソースを少なくとも1つの候補ノードの各々の利用可能なリソースとして決定し、需要リソースと利用可能なリソースのマッチングに応じて、すでに実行されたポッドレプリカにマッチする少なくとも1つの候補ノードを決定する。

【0168】

スケジューリングユニット63は、すでに実行されたポッドレプリカが少なくとも1つの候補ノード上で実行されるようにスケジュールする。

【0169】

いくつかの実施形態では、スケジューリングユニット63は、予測されるリソース使用量および少なくとも1つの候補ノードのリソース提供量に応じて、少なくとも1つの候補ノードによってアウェイクされる必要がある物理機械の数を決定し、物理機械の数は、予測されるリソース使用量を満たすことが可能な最小数である。

【0170】

いくつかの実施形態では、スケジューリング装置6は、判定の結果に応じて、スケジュールされることになるポッドレプリカの数を増大させるかどうかを決定するために、すでに実行されたポッドレプリカのリソース使用量の収集された履歴変更に応じて、スケジュールされることになるポッドレプリカが現在、使用量のピーク時間期間内にあるかまたは谷時間期間内にあるかを判定するように構成された判定ユニット64をさらに備える。

【0171】

いくつかの実施形態では、判定ユニット64は、指定された時間期間内の各時間モーメントにおけるすでに実行されたポッドレプリカのリソース使用量に応じて、指定された時間期間内の各タイプのリソースの平均使用量を計算し、平均使用量に応じて、指定された時間期間内の各タイプのリソースの使用量のピーク時間期間および谷時間期間を履歴変更として判定する。

【0172】

いくつかの実施形態では、スケジューリング装置6は、履歴変更に応じて、ターゲット時間モーメントにおける、スケジュールされることになるポッドレプリカのリソース使用量を推定し、現在アウェイク状態の物理機械はターゲット時間モーメントにおいてリソース使用量を満たすことが可能でないという条件下で、ターゲット時間モーメントが到来する前にリソースを提供するために、ターゲット時間モーメントにおいてリソース使用量を満たすことが可能である、いくつかの物理機械をアウェイクさせるように構成された制御ユニット65をさらに備える。

【0173】

いくつかの実施形態では、制御ユニット65は、それがピーク時間期間内にあり、単一のスケジュールされることになるポッドレプリカのリソース負荷が負荷しきい値を超えるという条件下で、スケジュールされることになるポッドレプリカの数を増大させる。

【0174】

いくつかの実施形態では、制御ユニット65は、それが谷時間期間内にあるという条件下で、スケジュールされることになるポッドレプリカの数を低減させ、クリアにされた物理機械がスリープ状態に入るように制御する。

【0175】

いくつかの実施形態では、制御ユニット65は、少なくとも1つの候補ノードの対応する物理機械上で実行しているポッドレプリカの数に応じて、対応する物理機械が高性能モードまたは非高性能モードになるように制御するように構成される。

【0176】

いくつかの実施形態では、制御ユニット65が対応する物理機械が高性能モードまたは非高性能モードになるように制御することは、対応する物理機械上で実行しているポッドレプリカが存在しないという条件下で、対応する物理機械がスリープモードになるように制御することと、対応する物理機械上で実行しているポッドレプリカの数がレプリカしきい値未満であるという条件下で、対応する物理機械が低性能モードになるように制御することとを含む。

【0177】

いくつかの実施形態では、少なくとも1つの候補ノードの各々は、スケジュールされることになるポッドレプリカの数、高可用性需要、親和性需要、または独占需要のうちの1つに応じて決定される。

【0178】

上記の実施形態では、スケジュールされることになるポッドレプリカのリソース使用量は、スケジュールされることになるポッドレプリカと同じタイプのポッドレプリカのリソース使用量の事前データに従って予測され、それに基づいて、各ノードによって提供され得るリソースの数と併せてスケジューリング戦略が生成される。このようにして、システムリソースの無駄を低減させるために、システムのリソース使用量はリソース提供量にマッチし得る。

【0179】

図7は、本開示による、コンテナのスケジューリング装置の他の実施形態のブロック図を示す。

【0180】

図7に示すように、本実施形態のコンテナのスケジューリング装置7は、メモリ71とメモリ71に結合されたプロセッサ72とを備え、プロセッサ72は、メモリ71内に記憶された命令に基づいて、本開示の実施形態のうちのいずれかによるコンテナのスケジューリング方法を実施するように構成される。

【0181】

メモリ71は、たとえば、システムメモリ、固定非一時的記憶媒体などを含み得る。システムメモリは、たとえば、オペレーティングシステム、アプリケーション、ブートローダー、データベース、他のプログラムなどをその上に記憶している。

【0182】

図8は、本開示による、コンテナのスケジューリング装置のさらに他の実施形態のブロック図を示す。

【0183】

図8に示すように、本実施形態のコンテナのスケジューリング装置8は、メモリ810と、メモリ810に結合されたプロセッサ820とを備え、プロセッサ820は、メモリ810内に記憶された命令に基づいて、上記で説明した実施形態のうちのいずれかにおけるコンテナのスケジューリング方法を実施するように構成される。

【0184】

メモリ810は、たとえば、システムメモリ、固定非一時的記憶媒体などを含み得る。システムメモリは、たとえば、オペレーティングシステム、アプリケーション、ブートローダー、他のプログラムなどをその上に記憶している。

【0185】

コンテナのスケジューリング装置8は、入出力インターフェース830、ネットワークインターフェース840、ストレージインターフェース850などをさらに備え得る。これらのインターフェース830、840、850、およびメモリ810、ならびにプロセッサ820は、たとえば、バス860を通して接続され得る。入出力インターフェース830は、ディスプレイ、マウス、キーボード、およびタッチスクリーンなど、入出力デバイスに対する接続インターフェースを提供する。ネットワークインターフェース840は、多種多様なネットワーキングデバイスに対する接続インターフェースを提供する。ストレージインターフェース850は、SDカードおよびUSBフラッシュディスクなど、外部記憶デバイスに対する接続インターフェースを提供する。

【0186】

本開示の実施形態は、方法、システム、またはコンピュータプログラム製品として提供され得ることを当業者は諒解されたい。したがって、本開示は、ハードウェア実施形態全体、ソフトウェア実施形態全体、またはソフトウェア態様とハードウェア態様を組み合わせた実施形態の形をとってよい。さらに、本開示は、コンピュータ使用可能プログラムコードをその中で実施した、1つまたは複数のコンピュータ可用非一時的記憶媒体(限定はしないが、ディスクメモリ、CD-ROM、光メモリなどを含む)上で実装されるコンピュータプログラム製品の形をとってよい。

【0187】

これまで、本開示による詳細な説明が行われてきた。本開示の概念を曖昧にするのを避けるために、当技術分野でよく知られているいくつかの詳細は説明されていない。当業者は、今や、前述の説明に鑑みて、本明細書で説明した技術的解決策をどのように実装するかを十分諒解されよう。

【0188】

本開示の方法およびシステムは、いくつかの方法で実装され得る。本開示の方法およびシステムは、たとえば、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組合せで実装され得る。この方法のステップに対する上記の順序は、単なる例示のためであり、本開示の方法のステップは、別段に明記されていない限り、上記で具体的に説明した順序に限定されない。さらに、いくつかの実施形態では、本開示は、記録媒体内に記録されたプログラムとして実装されてもよく、プログラムは、本開示による方法を実装するための機械可読命令を備える。したがって、本開示は、本開示による方法を実行するためのプログラムをその上に記憶した記録媒体も網羅する。

【0189】

本開示のいくつかの特定の実施形態が例により詳細に説明されてきたが、上記の例は、単なる例示のためであり、本開示の範囲を限定することを意図しないことを当業者は理解されたい。本開示の範囲および趣旨から逸脱せずに、上記の実施形態に修正が行われてよいことを当業者は理解されたい。本開示の範囲は、添付の特許請求の範囲によって定義される。

【符号の説明】

【0190】

6 スケジューリング装置
7 スケジューリング装置
8 スケジューリング装置
61 使用量決定ユニット
62 ノードマッチングユニット
63 スケジューリングユニット
64 判定ユニット
65 制御ユニット
71 メモリ
72 プロセッサ
810 メモリ
820 プロセッサ
830 入出力インターフェース、インターフェース
840 ネットワークインターフェース、インターフェース
850 ストレージインターフェース、インターフェース
860 バス

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】