知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-08-29
(45)【発行日】2022-09-06
(54)【発明の名称】ストレージシステム及びストレージシステムの負荷分散方法
(51)【国際特許分類】
G06F 9/50 20060101AFI20220830BHJP
G06F 9/455 20060101ALI20220830BHJP
G06F 11/07 20060101ALI20220830BHJP
G06F 11/20 20060101ALI20220830BHJP
【ＦＩ】
G06F9/50 120Z
G06F9/455 150
G06F11/07 196
G06F11/07 140A
G06F11/20 630
【請求項の数】
11
(21)【出願番号】P 2021062015
(22)【出願日】2021-03-31
【審査請求日】2021-07-30
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】小川 直記
(72)【発明者】
【氏名】坂井 伸圭
(72)【発明者】
【氏名】齋藤 響
【審査官】坂庭 剛史
(56)【参考文献】
【文献】特開２００９－１３４６８７（ＪＰ，Ａ）
【文献】国際公開第２０１５／０６８２９９（ＷＯ，Ａ１）
【文献】国際公開第２０１４／１６２６０１（ＷＯ，Ａ１）
【文献】特開２０１６－０５３９２８（ＪＰ，Ａ）
【文献】特開２０１２－０９３９９２（ＪＰ，Ａ）
【文献】特開２０１１－１１８５２５（ＪＰ，Ａ）
【文献】特表２０１５－５３１０９１（ＪＰ，Ａ）
【文献】国際公開第２０１７／０６８６２３（ＷＯ，Ａ１）
【文献】特表２０１５－５１８５８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ９／５０
Ｇ０６Ｆ ９／４５５
Ｇ０６Ｆ １１／０７
Ｇ０６Ｆ １１／２０
(57)【特許請求の範囲】
【請求項1】
ネットワークを介して接続された複数の計算機システムを含んで構成されるストレージシステムであって、各前記計算機システムは、管理サーバと、アプリケーション、仮想マシン、及びコンテナの少なくとも何れかを含む実行対象の実行制御を行うと共に前記実行対象の実行に用いるリソースの稼働状況を収集するコントローラとを有し、
前記管理サーバは、
前記稼働状況が閾値を超過するか否かを判定し、
前記稼働状況が閾値を超過したことを検知すると、
前記計算機システムで動作する前記実行対象を移動させて他の前記計算機システムで動作させた際のコスト、信頼性、及び性能の少なくとも何れかに関する情報と、前記計算機システムに適用されている法令又は規則を指標化した指標化情報とに基づく前記実行対象毎の第１指標を計算し、
前記実行対象の移動先として他の前記計算機システムが選択される度合いを無次元量で表す第２指標を他の前記計算機システムから取得し、
前記第１指標及び前記第２指標の何れか又は両方に基づいて、他の前記計算機システムの中から、前記実行対象の移動先の計算機システムを決定する
ことを特徴とするストレージシステム。
【請求項2】
請求項１に記載のストレージシステムであって、前記管理サーバは、
少なくとも前記第１指標に基づいて、前記移動先の計算機システムと共に、移動させる前記実行対象を決定する
ことを特徴とするストレージシステム。
【請求項3】
請求項１に記載のストレージシステムであって、前記管理サーバは、
他の前記計算機システムで動作する前記実行対象の移動先として前記計算機システムが選択される度合いを表す前記第２指標を算出し、
算出した前記第２指標を、要求に応じて他の前記計算機システムへ送信する
ことを特徴とするストレージシステム。
【請求項4】
請求項１に記載のストレージシステムであって、前記管理サーバは、
移動元の前記計算機システムの前記コントローラを前記移動先の計算機システムへスケールアウトし、
移動元の前記計算機システムで動作する前記実行対象を移動させて前記移動先の計算機システムで動作させる
ことを特徴とするストレージシステム。
【請求項5】
請求項４に記載のストレージシステムであって、前記管理サーバは、
前記移動先の計算機システムで動作する前記実行対象を戻して、移動元の前記計算機システムで動作させ、
スケールアウトした前記コントローラをスケールインする
ことを特徴とするストレージシステム。
【請求項6】
請求項４に記載のストレージシステムであって、前記管理サーバは、
移動元の前記計算機システムで動作する前記実行対象を移動させた際の前記稼働状況を履歴として保存し、
前記移動先の計算機システムで動作する前記実行対象を戻して移動元の前記計算機システムで動作させた場合の前記稼働状況が閾値を超過するか否かを、前記履歴に基づいて予測し、
前記稼働状況が閾値を超過しないと予測される場合に、前記移動先の計算機システムで動作する前記実行対象を戻して移動元の前記計算機システムで動作させ、スケールアウトした前記コントローラをスケールインする
ことを特徴とするストレージシステム。
【請求項7】
請求項４に記載のストレージシステムであって、前記管理サーバは、
前記移動先の計算機システムで動作する前記実行対象を戻して、移動元の前記計算機システムで動作させ、
前記稼働状況が閾値を超過するか否かを判定し、
前記稼働状況が閾値を超過しない場合に、前記第１指標を再計算し、前記第２指標を再取得し、該第１指標及び該第２指標の何れか又は両方に基づいて前記実行対象の再移動先の計算機システムを決定し、前記再移動先が前記移動先と一致する場合には、前記計算機システムで動作する前記実行対象を移動させて前記移動先の計算機システムで動作させ、前記再移動先が前記移動先と一致しない場合には、前記計算機システムの前記コントローラを前記再移動先の計算機システムへスケールアウトし、前記計算機システムで動作する前記実行対象を移動させて前記再移動先の計算機システムで動作させ、前記移動先の計算機システムへスケールアウトした前記コントローラをスケールインする
ことを特徴とするストレージシステム。
【請求項8】
請求項１に記載のストレージシステムであって、前記管理サーバは、
前記ストレージシステムに追加された新規の前記計算機システムの地理又は組織に関する新規情報を取得し、
前記新規情報と、前記ストレージシステムの既存の前記計算機システムの地理又は組織に関する既存情報と、を比較し、
前記新規情報と前記既存情報との包含関係及び位置関係に応じて、既存の前記計算機システムに適用されている前記法令又は前記規則を、新規の前記計算機システムに対して適用する
ことを特徴とするストレージシステム。
【請求項9】
請求項１に記載のストレージシステムであって、前記管理サーバは、
前記法令又は規則の記載内容をデータ化した法令規則データと、前記第１指標を計算する際に用いる前記指標化情報と、前記法令規則データの記載内容に基づいて前記指標化情報に格納する指標値を判定するための判定規則と、を保持し、
前記法令又は規則の記載内容の解析結果に基づいて前記法令規則データを更新し、前記法令規則データの更新内容と前記判定規則とに基づいて、前記指標化情報の前記指標値を更新する
ことを特徴とするストレージシステム。
【請求項10】
請求項１に記載のストレージシステムであって、前記管理サーバは、
所定の入力画面を介して、前記コスト、前記信頼性、及び前記性能の少なくとも何れかに関する情報と共に、前記法令又は前記規則に基づいて各前記計算機システムを前記移動先の計算機システムと決定し得るか否かの可否情報の入力を受け付け、前記可否情報から前記指標化情報を生成する
ことを特徴とするストレージシステム。
【請求項11】
ネットワークを介して接続された複数の計算機システムを含んで構成されるストレージシステムの負荷分散方法であって、各前記計算機システムは、管理サーバと、アプリケーション、仮想マシン、及びコンテナの少なくとも何れかを含む実行対象の実行制御を行うと共に前記実行対象の実行に用いるリソースの稼働状況を収集するコントローラとを有し、
前記管理サーバが、
前記稼働状況が閾値を超過するか否かを判定し、
前記稼働状況が閾値を超過したことを検知すると、
前記計算機システムで動作する前記実行対象を移動させて他の前記計算機システムで動作させた際のコスト、信頼性、及び性能の少なくとも何れかに関する情報と、前記計算機システムに適用されている法令又は規則を指標化した指標化情報とに基づく前記実行対象毎の第１指標を計算し、
前記実行対象の移動先として他の前記計算機システムが選択される度合いを無次元量で表す第２指標を他の前記計算機システムから取得し、
前記第１指標及び前記第２指標の何れか又は両方に基づいて、他の前記計算機システムの中から、前記実行対象の移動先の計算機システムを決定する
ことを特徴とするストレージシステムの負荷分散方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストレージシステム及びストレージシステムの負荷分散方法に関する。
【背景技術】
【0002】
例えば特許文献１には、「負荷分散装置は、第１のクラウドにおけるリソース利用率と第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得する利用率取得手段と、仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、第１のクラウドのリソース利用率が予め定められた第２の閾値を超えているとき、第２のクラウドにおいて新たな仮想マシンを起動させ、第２のクラウドにおけるリソース利用率が第２の閾値以下であるとき、第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理手段とを有する。」が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１５３３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら上述の従来技術では、性能やコストを考慮した仮想マシンの移動を行っているが、仮想マシンの状態や、移動先の法令や規則の遵守、移動先のリソース使用状況等を考慮した移動を行うものではない。
【0005】
すなわち、コントローラ上で動作する仮想マシンを含むアプリケーションの刻々と変化する状態を把握し、コントローラのスケールアウト先の法令や規則を遵守しながらアプリケーションを手動で再配置することは、困難を伴う。また、スケールアウト先のリソース使用状況の収集は、スケールアウト先が別組織による管理の場合に、セキュリティの観点から現実的でない。
【0006】
本発明は、上記に鑑み、コントローラのスケールアウトとアプリケーションの移動を、アプリケーションの状態、スケールアウト先の法令や規則、及びリソース使用状況を考慮して行うことを１つの目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するため、本発明の一態様では、ネットワークを介して接続された複数の計算機システムを含んで構成されるストレージシステムであって、各前記計算機システムは、管理サーバと、アプリケーション、仮想マシン、及びコンテナの少なくとも何れかを含む実行対象の実行制御を行うと共に前記実行対象の実行に用いるリソースの稼働状況を収集するコントローラとを有し、前記管理サーバは、前記稼働状況が閾値を超過するか否かを判定し、前記稼働状況が閾値を超過したことを検知すると、前記計算機システムで動作する前記実行対象を移動させて他の前記計算機システムで動作させた際のコスト、信頼性、及び性能の少なくとも何れかに関する情報と、前記計算機システムに適用されている法令又は規則を指標化した指標化情報とに基づく前記実行対象毎の第１指標を計算し、前記実行対象の移動先として他の前記計算機システムが選択される度合いを無次元量で表す第２指標を他の前記計算機システムから取得し、前記第１指標及び前記第２指標の何れか又は両方に基づいて、他の前記計算機システムの中から、前記実行対象の移動先の計算機システムを決定することを特徴とする。
【発明の効果】
【0008】
本発明によれば、例えば、コントローラのスケールアウトとアプリケーションの移動を、アプリケーションの状態、スケールアウト先の法令や規則、及びリソース使用状況を考慮しつつ容易かつ適切に行うことができる。
【図面の簡単な説明】
【0009】
【図1】実施形態に係るストレージシステムの構成を例示する図。
【図2】管理クライアントの構成を例示する図。
【図3】実施形態に係るリージョンの構成を例示する図。
【図4】ＡＰＰスコア設定画面の構成を例示する図。
【図5A】スケール許可テーブルの構成を例示する図。
【図5B】ＡＰＰスコア設定テーブルの構成を例示する図。
【図5C】リージョンスコア格納テーブルの構成を例示する図。
【図5D】該非判定テーブルの構成を例示する図。
【図5E】リージョン毎グループテーブルの構成を例示する図。
【図5F】国別グループ分類テーブルの構成を例示する図。
【図6】評価スコアの計算例を説明するための説明図。
【図7】宣言スコアの計算例を説明するための説明図。
【図8】実施形態に係るスケールアウト処理を例示するフローチャート。
【図9】ＡＰＰ毎の評価スコア計算処理を例示するフローチャート。
【図10】実施形態に係るＡＰＰ定期再配置処理を例示するフローチャート。
【図11】変形例１に係るＡＰＰ定期再配置処理を例示するフローチャート。
【図12】変形例２に係るＡＰＰ定期再配置処理を例示するフローチャート。
【図13】変形例２に係るリソース使用状況履歴テーブルの構成を例示する図。
【図14】実施形態に係るリージョングループ追加設定処理（国及び地域単位）を例示するフローチャート。
【図15】実施形態に係るリージョングループ追加設定処理（国及び地域単位）を説明するための説明図。
【図16】変形例３に係るリージョングループ追加設定処理（社内規則）を例示するフローチャート。
【図17】変形例３に係るリージョングループ追加設定処理（社内規則）を説明するための説明図。
【図18】実施形態に係るスケール許可テーブル自動更新処理を例示するフローチャート。
【図19】規則データ解析処理を例示するフローチャート。
【図20】実施形態に係る規則データ解析処理を説明するための説明図。
【図21】実施形態に係るスケール許可テーブルの自動更新処理を説明するための説明図。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態や各形態の一部又は全部を組合せた形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でもよい。
【0011】
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0012】
（ストレージシステム１の構成）
図１は、実施形態に係るストレージシステム１の構成を例示する図である。ストレージシステム１は、ネットワーク２を介して互いに通信可能に接続された管理クライアント３及び１以上のリージョン４を含んで構成される。図１では、３つのリージョン４（＃０）、４（＃１）、４（＃２）を例示するが、これに限られない。リージョン４は、ネットワーク２を介してＷｅｂサイト５にアクセス可能である。
図１は、実施形態に係るストレージシステム１の構成を例示する図である。ストレージシステム１は、ネットワーク２を介して互いに通信可能に接続された管理クライアント３及び１以上のリージョン４を含んで構成される。図１では、３つのリージョン４（＃０）、４（＃１）、４（＃２）を例示するが、これに限られない。リージョン４は、ネットワーク２を介してＷｅｂサイト５にアクセス可能である。
【0013】
管理クライアント３は、後述するＡＰＰ（アプリケーション）スコア設定のためのユーザ入力を受付ける。図２に示すように、管理クライアント３は、入力デバイス３１、表示デバイス３２、ＣＰＵ（Central Processing Unit）３３、メモリ３４、及びＩ／Ｆ（Inter/Face）３５を有する。メモリ３４には、ＣＰＵ３３によって実行されるＷｅｂブラウザ３４１のプロセスが格納されている。
【0014】
管理クライアント３は、ＡＰＰスコア設定のための入力画面をＷｅｂブラウザ３４１を介して表示デバイス３２に表示し、入力デバイス３１を介したユーザ入力を受け付ける。Ｉ／Ｆ３５は、管理クライアント３がネットワーク２に接続するための通信インタフェースである。図２では、ＡＰＰスコア設定のための入力画面の表示の際にＷｅｂブラウザ３４１を用いる管理クライアント３を例示しているが、その他の入出力機能を用いてもよい。
【0015】
リージョン４は、ストレージシステム１及びリージョン４の管理制御を行う管理ソフトウェアが動作する管理サーバ４１、１以上のコントローラ４２、及びストレージ４３を含んで構成される。リージョン４は、管理サーバ４１と、コントローラ４２及びコントローラ４２上で動作する実行対象とが存在する場所を指し、例えば地理的に異なる地点に配置される計算機システムである。実行対象とは、アプリケーション、ＶＭ（Virtual Machine）、及びコンテナの少なくとも何れかを含む。実行対象を、以下「ＡＰＰ」（APPlication）と称する。
【0016】
コントローラ４２は、ＣＰＵ４２１やメモリ４２２といったリソースを有し、リソースの性能情報の収集と、ＡＰＰの実行制御を行う。但し、リージョン４では、必ずしもＡＰＰが動作しているとは限らない。
【0017】
ストレージ４３は、管理サーバ４１及びコントローラ４２が用いる記憶領域を提供する１以上のドライブを含んで構成される。ストレージ４３及びドライブは、必ずしもリージョン４内に存在しなくてもよく、管理サーバ４１及びコントローラ４２とネットワークを介して通信可能であればよい。
【0018】
Ｗｅｂサイト５は、法令規則情報５１、ＳＮＳ（Social Networking Service）５２、ハザードマップ情報５３等を提供するインターネット上又はイントラネット内の１以上のサーバである。法令規則情報５１は、国や自治体の法令や、企業といった組織の規則等の条文を含む。ＳＮＳ５２は、ＳＮＳによって発信された情報を含む。ハザードマップ情報５３は、国や自治体、その他の組織によって提供される自然災害の被害範囲の予測を含んだ地図情報である。Ｗｅｂサイト５は、これらの情報に限らず、各リージョン４を評価するための情報となり得る様々な情報が利用できる。
【0019】
本実施形態では、あるリージョン４内のリソース（ＣＰＵ４２１又はメモリ４２２等）の稼働状況がひっ迫したときに、管理サーバ４１が、リソースを一時的にスケールアウトしＡＰＰを移動させる移動先のリージョンを決定する。ＡＰＰの移動先のリージョンを決定する際、移動先の法令や規則の遵守や、刻々と変わるＡＰＰの状況、移動先の運用コスト、リスク、及び性能等を考慮するため、これらの情報を反映したスコア（以下「評価スコア」と呼ぶ）が計算される。評価スコア計算の基礎となる情報は、ユーザ入力及びＷｅｂサイト５から取得される。
【0020】
（リージョン４の構成）
図３は、実施形態に係るリージョン４の構成を例示する図である。リージョン４は、ネットワーク４４を介して接続された管理サーバ４１、１以上のコントローラ４２、及びストレージ４３を含んで構成される。ストレージ４３は、必ずしもリージョン４内に存在するとは限らず、外部に存在してもよい。また、管理サーバ４１、コントローラ４２、及びアプリケーション４２４、ＶＭ４２５、及びコンテナ４２６は、ネットワーク４４を介して外部と通信可能である。
図３は、実施形態に係るリージョン４の構成を例示する図である。リージョン４は、ネットワーク４４を介して接続された管理サーバ４１、１以上のコントローラ４２、及びストレージ４３を含んで構成される。ストレージ４３は、必ずしもリージョン４内に存在するとは限らず、外部に存在してもよい。また、管理サーバ４１、コントローラ４２、及びアプリケーション４２４、ＶＭ４２５、及びコンテナ４２６は、ネットワーク４４を介して外部と通信可能である。
【0021】
コントローラ４２は、ＣＰＵ４２１、メモリ４２２、及びＩ／Ｆ４２Ｆを含んで構成され、Ｉ／Ｆ４２Ｆを介してネットワーク４４に接続される。コントローラ４２は、メモリ４２２に、ＣＰＵ４２１及びメモリ４２２の協働によるプログラム実行で実現される制御部４２７、及びＡＰＰ４２４を格納する。
【0022】
制御部４２７は、リソース使用状況採取部４２８及びＡＰＰ動作処理部４２９を有する。リソース使用状況採取部４２８は、コントローラ４２のＣＰＵ及びメモリ４２２等のリソースの使用状況を採取する。リソース使用状況は、管理ソフトウェア実行部４１１の宣言スコア計算部４１１ｅによって、宣言スコアＳｄｅｃｌａｒｅ
Ｒの計算の際に取得される。
【0023】
ＡＰＰ４２３は、ＡＰＰ動作処理部４２９の制御よって動作するアプリケーション４２４、ＶＭ４２５、及びコンテナ４２６の少なくとも何れかを含む。但し、ＶＭ４２５及びコンテナ４２６は、同時には動作せず何れか一方が動作する。また、アプリケーション４２４、ＶＭ４２５、及びコンテナ４２６が必ずしも動作していなくてもよい。
【0024】
ストレージ４３は、１以上のドライブ及びＩ／Ｆ４３Ｆを含んで構成され、Ｉ／Ｆ４３Ｆを介してネットワーク４４に接続される。ストレージ４３は、リージョン４の外部に存在してもよい。
【0025】
管理サーバ４１は、ＣＰＵ４１Ｐ、メモリ４１Ｍ、及びＩ／Ｆ４１Ｆを含んで構成され、Ｉ／Ｆ４１Ｆを介してネットワーク４４に接続される。管理サーバ４１は、メモリ４１Ｍに、ＣＰＵ４１Ｐとの協働によるプログラム実行で実現される管理ソフトウェアの機能である管理ソフトウェア実行部４１１、及びテーブル群４１２を格納する。
【0026】
管理ソフトウェア実行部４１１は、ＡＰＰスコア設定入力部４１１ａ、評価スコア計算部４１１ｂ、信用スコア計算部４１１ｃ、リージョンスコア計算部４１１ｄ、宣言スコア計算部４１１ｅ、宣言スコア送受信部４１１ｆ、配置処理部４１１ｇ、スケール処理部４１１ｈ、ＡＰＰ移動処理部４１１ｉ、性能閾値超過検知部４１１ｊ、法令規則適用部４１１ｋ、及び、スケール許可テーブル更新部４１１ｍを有する。
【0027】
また、テーブル群４１２には、スケール許可テーブル４１２ａ（図５Ａ）、ＡＰＰスコア設定テーブル４１２ｂ（図５Ｂ）、リージョンスコア格納テーブル４１２ｃ（図５Ｃ）、該非判定テーブル４１２ｄ（図５Ｄ）、リージョン毎グループテーブル４１２ｅ（図５Ｅ）、及び、国別グループ分類テーブル４１２ｆ（図５Ｆ）が含まれる。該非判定テーブル４１２ｄ、リージョン毎グループテーブル４１２ｅ、及び、国別グループ分類テーブル４１２ｆは、法令や規則の内容をデータ化したテーブルである。
【0028】
スケール許可テーブル４１２ａは、図５Ａに示すように、ＡＰＰ＃、リージョン＃０、リージョン＃１、・・・の列を有し、ＡＰＰ毎に法令や規則の遵守の観点に基づく各リージョンへのスケール可否のスコアを格納する。スケール許可テーブル４１２ａには、ＡＰＰ＃Ａ（Ａ＝０，１，・・・）及びリージョン＃Ｒ（Ｒ＝０，１，・・・）に対応して法令スコアＬＡ，Ｒが格納される。法令スコアＬＡ，Ｒは、｛０，１｝の何れかの値を取る無次元量である。
【0029】
ＡＰＰスコア設定テーブル４１２ｂは、図５Ｂに示すように、ＡＰＰ＃、コスト：スコア＃０：通信コスト、リスク：スコア＃１：自然災害、リスク：スコア＃２：検閲、性能：スコア＃３：レイテンシ、性能：スコア＃４：通信速度、・・・の列を有する。ＡＰＰスコア設定テーブル４１２ｂには、ＡＰＰ＃Ａ（Ａ＝０，１，・・・）及びスコア＃ｉ（ｉ＝０，１，・・・）に対応してＡＰＰスコアＳｉ
Ａが格納される。ＡＰＰスコアＳｉ
Ａは、［０，１］の範囲で正規化された無次元量である。図５Ｂは、ＡＰＰスコア設定テーブル４１２ｂの列項目の一例を示すに過ぎず、その他の項目を含んでもよい。
【0030】
リージョンスコア格納テーブル４１２ｃは、図５Ｃに示すように、ＡＰＰ＃、コスト：スコア＃０：通信コスト、リスク：スコア＃１：自然災害、リスク：スコア＃２：検閲、性能：スコア＃３：レイテンシ、性能：スコア＃４：通信速度、・・・の列を有する。リージョンスコア格納テーブル４１２ｃには、リージョン＃Ｒ（Ｒ＝０，１，・・・）及びスコア＃ｉ（ｉ＝０，１，・・・）に対応してリージョンスコアＳｉ
Ｒが格納される。リージョンスコアＳｉ
Ｒは、［０，１］の範囲で正規化された無次元量である。リージョンスコア格納テーブル４１２ｃの列項目は、ＡＰＰスコア設定テーブル４１２ｂの列項目と同一である。図５Ｃは、リージョンスコア格納テーブル４１２ｃの列項目の一例を示すに過ぎず、その他の項目を含んでもよい。
【0031】
該非判定テーブル４１２ｄは、図５Ｄに示すように、ＡＰＰ＃、該非判定書登録、該非判定、許可の列を有する。該非判定テーブル４１２ｄは、国別グループ分類テーブル４１２ｆのグループの変更やその他の該非判定の再実行に際し、スケール許可テーブル４１２ａの該当項目に対して該非判定に基づくスコアを与えるテーブルである。該非判定テーブル４１２ｄの許可の列は、省略可能である。
【0032】
リージョン毎グループテーブル４１２ｅは、図５Ｅに示すように、リージョン＃、グループ＃の列を有し、各リージョン４が属するグループを示す。
【0033】
国別グループ分類テーブル４１２ｆは、図５Ｆに示すように、カントリーコード、グループ＃の列を有し、カントリーコードに対応するグループを示す。
【0034】
なお、上述の各テーブルは、必ずしもメモリ４１Ｍ上に存在する必要はなく、管理ソフトウェア実行部４１１からアクセス可能な記憶領域に存在すればよい。
【0035】
図４は、実施形態に係るＡＰＰスコア設定画面３４１Ｄの構成を例示する図である。ＡＰＰスコア設定入力部４１１ａは、管理クライアント３のＷｅｂブラウザ３４１に表示されるＡＰＰスコア設定画面３４１Ｄから入力された設定を受け付け、スケール許可テーブル４１２ａ及びＡＰＰスコア設定テーブル４１２ｂに設定を格納する。
【0036】
ユーザは、ＡＰＰスコア設定画面３４１Ｄを介して、ＡＰＰ毎に、スケールアウトに際して何れのリージョン４への移動を許可するか（輸出管理法判定）、及び、スケール先のリージョン４に関する重視点（スケール先重視点）を入力する。輸出管理法判定は必ず守られるべき事項とするが、スケール先重視点は全ての要件を充足できるリージョンが存在するとは限らないためベストエフォートとする。
【0037】
ＡＰＰスコア設定画面３４１Ｄは、プルダウン３４１ａ、トグルスイッチ３４１ｂ、及びスライダーバー３４１ｃを備える。プルダウン３４１ａから設定対象のＡＰＰの選択が入力される。
【0038】
トグルスイッチ３４１ｂから設定対象のＡＰＰのスケール先としての可否がリージョン毎に入力される。各リージョン４について、スケール先として許可（Ｙｅｓ）である場合にはスケール許可テーブル４１２ａの該当のＡＰＰ＃及びリージョン＃の欄に“１”が格納され、不許可（Ｎｏ）である場合には“０”が格納される。スケール許可テーブル４１２ａにおけるスケール先としての可否情報は、例えば輸出管理法で輸出規制されていない国は“１”（スケール許可）、輸出規制されている国は“０”（スケール不許可）とされる法令スコアである。なお、可否情報では、スケール許可を“１”に代えて、スケール先のその他の事情を考慮した（０，１］の値で表してもよい。
【0039】
スライダーバー３４１ｃから設定対象のＡＰＰの各スケール先重視点について、ユーザが要求するレベルが入力される。スケール先重視点の例としては、“コスト”、“リスク”、及び“性能”等があるが、これらに限られない。また、各スケール先重視点は、ＡＰＰスコア設定入力部４１１ａの内部処理によってさらに項目が詳細化されてもよい。スケール先のリージョン４に求める“コスト”、“リスク”、及び“性能”の要求レベルがスライダーバー３４１ｃから入力され、内部処理によって［０，１］の数値へ変換されてＡＰＰスコア設定テーブル４１２ｂの該当欄に格納される。
【0040】
なお、新規のリージョン追加時には、スケール許可テーブル４１２ａ及びＡＰＰスコア設定テーブル４１２ｂに、初期値を自動設定してもよいし、ユーザ入力に基づいて設定してもよい。
【0041】
評価スコア計算部４１１ｂ、信用スコア計算部４１１ｃ、リージョンスコア計算部４１１ｄ、宣言スコア計算部４１１ｅ、及び宣言スコア送受信部４１１ｆの説明は後述する。
【0042】
配置処理部４１１ｇは、後述のように評価スコア計算部４１１ｂによって計算された評価スコアＳＡ，Ｒに基づいて、移動させるＡＰＰ及び移動先のリージョン４を決定する。例えば、配置処理部４１１ｇは、最大の評価スコアＳＡ，Ｒのリージョン＃ＲへＡＰＰ＃Ａを移動させると決定する。そして、配置処理部４１１ｇは、スケール処理部４１１ｈに対してＡＰＰの移動先のリージョン４でコントローラ４２のリソースを確保するスケールアウトを指示する。また、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに対しスケールアウトした移動先のリージョン４のコントローラ４２へのＡＰＰの移動を指示する。
【0043】
また、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに対し移動先のリージョン４のコントローラ４２からのＡＰＰの戻しを指示する。また、配置処理部４１１ｇは、スケール処理部４１１ｈに対してＡＰＰの移動先のリージョン４でスケールアウトしたコントローラ４２のリソースを解放するスケールインを指示する。
【0044】
スケール処理部４１１ｈは、配置処理部４１１ｇが指示する移動先のリージョン４の配置処理部４１１ｇと共に、移動元のコントローラ４２を移動先のリージョン４へスケールアウトする。また、スケール処理部４１１ｈは、配置処理部４１１ｇが指示する移動先のリージョン４の配置処理部４１１ｇと共に、ＡＰＰの移動先のコントローラ４２をスケールインする。
【0045】
ＡＰＰ移動処理部４１１ｉは、配置処理部４１１ｇが指示する移動先のリージョン４のＡＰＰ移動処理部４１１ｉと共に、移動元のＡＰＰを移動先のコントローラ４２へ移動させる。また、ＡＰＰ移動処理部４１１ｉは、配置処理部４１１ｇが指示する移動先のリージョン４のＡＰＰ移動処理部４１１ｉと共に、移動したＡＰＰを移動元のコントローラ４２へ戻す。
【0046】
性能閾値超過検知部４１１ｊは、コントローラ４２のリソース（ＣＰＵ４２１、メモリ４２２等）の使用率等の負荷状況を監視し、負荷が性能閾値を超過したことを検知する。なお、リソースには、コントローラ４２のＣＰＵ４２１やメモリ４２２に限らず、ＡＰＰの実行に必要なネットワークリソース、ストレージ４３、及びその他のリソースが含まれてもよい。
【0047】
【0048】
スケール許可テーブル更新部４１１ｍは、後述するスケール許可テーブル自動更新処理を実行する。スケール許可テーブル自動更新処理では、国別グループ分類テーブル４１２ｆに対して変更が加えられたことが検知されると、該非判定テーブル４１２ｄ及びリージョン毎グループテーブル４１２ｅをもとに、スケール許可テーブル４１２ａが自動更新される。スケール許可テーブル自動更新処理は、図１８、図１９、図２０、図２１を参照して後述する。
【0049】
（評価スコアＳＡ，Ｒの計算例）
図６は、評価スコアＳＡ，Ｒの計算例を説明するための説明図である。評価スコアとは、あるリージョン４のＡＰＰを他のリージョン４へさせる際に、移動させやすさの観点で他のリージョン４を評価する指標である。図６では、リージョン＃０がＡＰＰ＃Ａの移動に関してリージョン＃Ｒを評価する評価スコアＳＡ，Ｒを算出する例を示す。ＡＰＰ＃Ａをリージョン＃Ｒに移動する際の評価スコアＳＡ，Ｒは、式（１）に基づいて、信用スコアＳreliability Ａ，Ｒと宣言スコアＳdeclare Ｒの積として計算される。
図６は、評価スコアＳＡ，Ｒの計算例を説明するための説明図である。評価スコアとは、あるリージョン４のＡＰＰを他のリージョン４へさせる際に、移動させやすさの観点で他のリージョン４を評価する指標である。図６では、リージョン＃０がＡＰＰ＃Ａの移動に関してリージョン＃Ｒを評価する評価スコアＳＡ，Ｒを算出する例を示す。ＡＰＰ＃Ａをリージョン＃Ｒに移動する際の評価スコアＳＡ，Ｒは、式（１）に基づいて、信用スコアＳreliability Ａ，Ｒと宣言スコアＳdeclare Ｒの積として計算される。
【0050】
【数1】
【0051】
信用スコアＳreliability
Ａ，Ｒは、ＡＰＰスコア設定テーブル４１２ｂ及びリージョンスコア格納テーブル４１２ｃにおけるＡＰＰ＃Ａに対応するｋ個のＡＰＰスコアＳｉ
Ａ及びリージョンスコアＳｉ
Ｒに基づく（０，１］の値を取る関数ｆｉ（Ｓｉ
Ｒ，Ｓｉ
Ａ）の和を表す。信用スコアＳreliability
Ａ，Ｒは、スケール先として法令を遵守しかつスケール先重視点の要求レベルを充足するスコア項目が多いリージョン４であるほど値が大きくなる正数である。スケール先として法令を遵守していないリージョン４の信用スコアＳreliability
Ａ，Ｒは“０”である。
【0052】
ＡＰＰスコアＳｉ
Ａは、ＡＰＰスコア設定テーブル４１２ｂにおけるＡＰＰ＃Ａのスコア＃ｉである。リージョンスコアＳｉ
Ｒは、リージョンスコア格納テーブル４１２ｃにおけるリージョン＃Ｒのスコア＃ｉである。法令スコアＬＡ，Ｒは、スケール許可テーブル４１２ａにおけるＡＰＰ＃Ａかつリージョン＃Ｒに対応するスコアである。
【0053】
ステップＳ１１では、リージョン＃０のＡＰＰスコア設定入力部４１１ａは、ＡＰＰスコア設定画面３４１ＤからＡＰＰスコア設定入力を受け付け、スケール許可テーブル４１２ａに法令スコアＬＡ，Ｒを、ＡＰＰスコア設定テーブル４１２ｂにＡＰＰスコアＳｉ
Ａを格納する。
【0054】
ステップＳ１２では、リージョン＃０のリージョンスコア計算部４１１ｄは、Ｗｅｂサイト５等から外部情報を収集し、収集した外部情報に基づいてリージョンスコアＳｉ
Ｒを計算し、リージョンスコア格納テーブル４１２ｃに格納する。リージョンスコア格納テーブル４１２ｃに格納されるリージョンスコアＳｉ
Ｒは、定期的に更新される。なお、リージョンスコア格納テーブル４１２ｃを省略してもよい。リージョンスコア計算部４１１ｄは、必要時に外部情報を収集してリアルタイムでリージョンスコアＳｉ
Ｒを算出してもよい。
【0055】
リージョンスコアＳｉ
Ｒは、法令情報や、ハザードマップ等による静的情報、ＳＮＳといった動的情報、料金表等を解析し、リスクの値をリアルタイムに計算することで、外部からリージョン＃Ｒを評価する指標である。例えば“自然災害”であれば、洪水や地震のハザードマップとＳＮＳ解析によりリスクの高い地域を動的に計算可能である。また、“障害”や“検閲（通信遮断）”等の信頼性のリスクは、テキスト情報のネガティブスコア及びポジティブスコアを機械学習等を用いることで計算できる。また、“レイテンシ”や“通信速度”等の性能は、リージョン間の通信の実測値を用いることができる。
【0056】
また、リージョンスコアＳｉ
Ｒは、項目によって単位が異なるため、式（２）に基づいて、各取得値ｘをその最大値Ｍａｘ及び最小値Ｍｉｎに基づいて［０，１］の無次元量に正規化される。
【0057】
【数2】
【0058】
ステップＳ１３では、リージョン＃０の信用スコア計算部４１１ｃは、スケール許可テーブル４１２ａ、ＡＰＰスコア設定テーブル４１２ｂ、及びリージョンスコア格納テーブル４１２ｃからそれぞれ法令スコアＬＡ，Ｒ、ＡＰＰスコアＳｉ
Ａ、及びリージョンスコアＳｉ
Ｒを取得する。そして、式（１）に基づいて、信用スコアＳreliability
Ａ，Ｒを算出する。
【0059】
ステップＳ１４では、リージョン＃Ｒの宣言スコア計算部４１１ｅは、リージョン＃Ｒのコントローラ４２等のリソース使用状況に基づいて、リージョン＃１の宣言スコアＳｄｅｃｌａｒｅ
Ｒを算出する。宣言スコア計算部４１１ｅは、リージョン＃Ｒの管理サーバ４１の管理下のコントローラ４２等のリソース性能値及びメンテナンス時期から宣言スコアＳｄｅｃｌａｒｅ
Ｒを計算する。
【0060】
宣言スコア計算部４１１ｅは、例えば式（３）に基づいて宣言スコアＳｄｅｃｌａｒｅ
Ｒを計算する。式（３）では、リージョン＃Ｒの管理サーバ４１の管理下のリソース、例えばＣＰＵ４２１及びメモリ４２２の使用率の平均値（瞬間値や移動平均値）をそれぞれＳｃｐｕ及びＳｍｅｍ（０～１（０％～１００％））としている。また、メンテナンス日入力時点をＭｉｎｐｕｔ、メンテナンス日をＭｅｘｅｃ、現時点をＭｎｏｗ（０～１）としている。
【0061】
【数3】
【0062】
図７を参照して、宣言スコアＳｄｅｃｌａｒｅ
Ｒの計算を説明する。図７は、実施形態に係る宣言スコアＳｄｅｃｌａｒｅ
Ｒの計算例を説明するための模式図である。図７に示すように、式（３）の右辺第１因子は［０，１］の値を取り、ＣＰＵ４２１及びメモリ４２２の使用率の平均値のうちの大きい方が１００％に近いほど小さい値となる。また、式（３）の右辺第２因子は［０，１］の値を取り、現時点Ｍｎｏｗがメンテナンス日Ｍｅｘｅｃに近いほど小さい値となる。
【0063】
すなわち、宣言スコアＳｄｅｃｌａｒｅ
Ｒは、リソース使用率が高く、メンテナンス日が近いほど小さくなる［０，１］の範囲の無次元量となる。よって、宣言スコアＳｄｅｃｌａｒｅ
Ｒは、該当のリージョン４のリソース状況といった情報が反映されつつも詳細内容を外部に対して秘匿するスコアである。式（１）に基づいて、他のリージョン４から取得した宣言スコアＳｄｅｃｌａｒｅ
Ｒを信用スコアＳreliability
Ａ，Ｒに乗じることで、評価スコアＳＡ，Ｒの値を抑制し、ＡＰＰ＃Ａのリージョン＃Ｒへの移動しやすさを調整できる。また、各管理サーバ４１で自身の宣言スコアＳｄｅｃｌａｒｅ
Ｒを計算し、他のリージョン４の管理サーバ４１へ通知することで互いに交換し合うことで、宣言スコアＳｄｅｃｌａｒｅ
Ｒの算出負荷を軽減できる。
【0064】
ステップＳ１５では、リージョン＃Ｒの宣言スコア送受信部４１１ｆは、リージョン＃０の管理ソフトウェア実行部４１１からの要求に応じて、ステップＳ１４で算出された宣言スコアＳｄｅｃｌａｒｅ
Ｒをリージョン＃Ｒへ送信する。
【0065】
ステップＳ１６では、リージョン＃０の宣言スコア送受信部４１１ｆは、リージョン＃Ｒの管理サーバ４１に対する問い合わせに応じて、リージョン＃Ｒの宣言スコア送受信部４１１ｆによって送信された宣言スコアＳｄｅｃｌａｒｅ
Ｒを受信する。
【0066】
ステップＳ１７では、評価スコア計算部４１１ｂは、式（１）に基づいて、ステップＳ１３で計算された信用スコアＳreliability
Ａ，Ｒ、及び、ステップＳ１６で受信されたリージョン＃Ｒの宣言スコアＳｄｅｃｌａｒｅ
Ｒを乗算して、ＡＰＰ毎の評価スコアＳＡ，Ｒを計算する。
【0067】
なお、常に宣言スコアＳｄｅｃｌａｒｅ
Ｒ＝１とすることで、スケールアウト先のリージョン４の選択の際に、信用スコアＳreliability
Ａ，Ｒのみに基づくことができる。この場合、他のリージョン４から宣言スコアＳｄｅｃｌａｒｅ
Ｒが取得できない状況下でも、法令を遵守しつつスケール先重視点に合致するリージョン４をスケール先として選択できる。
【0068】
また、常に信用スコアＳreliability
Ａ，Ｒ＝１とすることで、スケールアウト先のリージョン４の選択の際に、宣言スコアＳｄｅｃｌａｒｅ
Ｒのみに基づくことができる。例えば、運営企業が異なるが同じ国内のリージョンのみをスケールアウト先として選択する場合には、輸出管理法上の問題がないことが明らかであるため、信用スコアＳreliability
Ａ，Ｒの情報を省略しても、詳細なスケール先の内部情報を必要とせずスケール先を適切に選択できる。
【0069】
（スケールアウト処理）
図８は、実施形態に係るスケールアウト処理を例示するフローチャートである。また図９は、図８のステップＳ２２のＡＰＰ毎の評価スコア計算処理を例示するフローチャートである。本スケールアウト処理は、性能閾値の変更、法令や規則の変更、又は所定周期を契機として実行される。また、本スケールアウト処理は、後述のＡＰＰ定期再配置処理（図１０）からも呼び出される。
図８は、実施形態に係るスケールアウト処理を例示するフローチャートである。また図９は、図８のステップＳ２２のＡＰＰ毎の評価スコア計算処理を例示するフローチャートである。本スケールアウト処理は、性能閾値の変更、法令や規則の変更、又は所定周期を契機として実行される。また、本スケールアウト処理は、後述のＡＰＰ定期再配置処理（図１０）からも呼び出される。
【0070】
ステップＳ２１では、性能閾値超過検知部４１１ｊは、コントローラ４２等のリソース使用率といった稼働状況が性能閾値を超過したか否かを判定する。性能閾値超過検知部４１１ｊは、性能閾値を超過した場合（ステップＳ２１ＹＥＳ）にステップＳ２２へ処理を移し、性能閾値を超過していない場合（ステップＳ２１ＮＯ）に本スケールアウト処理を終了する。
【0071】
ステップＳ２２では、評価スコア計算部４１１ｂは、図９を参照して後述するＡＰＰ毎の評価スコア計算処理を実行する。ステップＳ２２の処理により、ＡＰＰ毎かつリージョン毎の複数の評価スコアＳＡ，Ｒが計算される。
【0072】
ステップＳ２３では、配置処理部４１１ｇは、スケール処理部４１１ｈに指示し、ステップＳ２２で算出した評価スコアＳＡ，Ｒのうちの例えば最大の評価スコアＳＡ，Ｒのリージョン４へコントローラ４２をスケールアウトする。ステップＳ２４では、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに指示し、ステップＳ２３でスケールアウトしたリージョン４へ該当のＡＰＰを移動させる。
【0073】
図９を参照して図８のステップＳ２２のＡＰＰ毎の評価スコア計算処理の詳細を説明する。ステップＳ２２１では、信用スコア計算部４１１ｃは、スケール許可テーブル４１２ａ、ＡＰＰスコア設定テーブル４１２ｂ、及びリージョンスコア格納テーブル４１２ｃから、法令スコアＬＡ，Ｒ、ＡＰＰスコアＳｉ
Ａ、及びリージョンスコアＳｉ
Ｒをそれぞれ取得する。
【0074】
次にステップＳ２２２では、信用スコア計算部４１１ｃは、式（１）に基づいて、ＡＰＰ毎の信用スコアＳreliability
Ａ，Ｒを計算する。次にステップＳ２２３では、宣言スコア送受信部４１１ｆは、他のリージョン４の宣言スコアＳｄｅｃｌａｒｅ
Ｒを取得する。
【0075】
次にステップＳ２２４では、評価スコア計算部４１１ｂは、式（１）に基づいて評価スコアＳＡ，Ｒを算出する。
【0076】
（ＡＰＰ定期再配置処理）
本実施形態では、法令を遵守した一時的なスケールアウトを目的としている。このため、スケール先の負荷を考慮して、スケール元もしくはスケール先の性能閾値の変更、法令や規則の変更、又は所定周期を契機として、スケールイン又は再配置を実施する。但し、負荷が高いスケールアウト及びＡＰＰ移動の再度の実行を抑制するため、評価スコアＳＡ，Ｒが当初のスケールアウト時から一定以上低下したことや、ある程度の長さの所定周期を契機とし、スケール元のリソースのひっ迫が解消された可能性が高い状態でスケールイン又は再配置を実施するようにしてもよい。
本実施形態では、法令を遵守した一時的なスケールアウトを目的としている。このため、スケール先の負荷を考慮して、スケール元もしくはスケール先の性能閾値の変更、法令や規則の変更、又は所定周期を契機として、スケールイン又は再配置を実施する。但し、負荷が高いスケールアウト及びＡＰＰ移動の再度の実行を抑制するため、評価スコアＳＡ，Ｒが当初のスケールアウト時から一定以上低下したことや、ある程度の長さの所定周期を契機とし、スケール元のリソースのひっ迫が解消された可能性が高い状態でスケールイン又は再配置を実施するようにしてもよい。
【0077】
図１０は、実施形態に係るＡＰＰ定期再配置処理を例示するフローチャートである。ステップＳ３１では、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに指示し他のリージョン４へスケールアウトしたスケールＡＰＰのうちの例えば最小の評価スコアＳＡ，ＲのスケールＡＰＰを移動元である自身のリージョン４へ戻す。
【0078】
次にステップＳ３２では、性能閾値超過検知部４１１ｊは、スケールＡＰＰを自身のリージョン４へ戻したことによりコントローラ４２のリソース使用率等の稼働状況が性能閾値を超過したか否かを判定する。性能閾値超過検知部４１１ｊは、性能閾値を超過した場合（ステップＳ３２ＹＥＳ）にステップＳ３３へ処理を移し、性能閾値を超過していない場合（ステップＳ３２ＮＯ）にステップＳ３７へ処理を移す。
【0079】
ステップＳ３３では、評価スコア計算部４１１ｂは、図９のＡＰＰ毎の評価スコア計算処理を実行する。次にステップＳ３４では、配置処理部４１１ｇは、ステップＳ３３で計算した評価スコアＳＡ，Ｒが最大のリージョンが、ステップＳ３１で移動元へ戻したスケールＡＰＰのスケール先のリージョンから変わったか否かを判定する。配置処理部４１１ｇは、評価スコアＳＡ，Ｒが最大のリージョンが変わった場合（ステップＳ３４ＹＥＳ）にステップＳ３５へ処理を移し、変わっていない場合（ステップＳ３４ＮＯ）にステップＳ３９へ処理を移す。
【0080】
ステップＳ３５では、配置処理部４１１ｇは、スケール処理部４１１ｈに指示しステップＳ３３で計算した評価スコアＳＡ，Ｒが最大のリージョン４へコントローラ４２をスケールアウトする。次にステップＳ３６では、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに指示しステップＳ３５のスケール先へ該当のＡＰＰを移動する。次にステップＳ３７では、配置処理部４１１ｇは、スケール処理部４１１ｈを指示しステップＳ３１の処理前にスケールＡＰＰが動作していた元の移動先のリージョン４のコントローラをスケールインする。ステップＳ３５～Ｓ３７は、ＡＰＰのスケール先の再配置である。
【0081】
次にステップＳ３８では、配置処理部４１１ｇは、他にスケールＡＰＰが存在するか否かを判定し、存在する場合（ステップＳ３８ＹＥＳ）にステップＳ３１へ処理を戻し、存在しない場合（ステップＳ３８ＮＯ）に本ＡＰＰ定期再配置処理を終了する。ステップＳ３８から処理を移したステップＳ３１では、前回までに選択された評価スコアＳＡ，Ｒを除いて例えば最小の評価スコアＳＡ，ＲのスケールＡＰＰが処理対象となる。
【0082】
一方ステップＳ３９では、配置処理部４１１ｇは、ステップＳ３１で戻したスケールＡＰＰを元のスケール先に再度移動する。ステップＳ３９は、ＡＰＰのスケール先の変更がない場合である。
【0083】
（ＡＰＰ定期再配置処理の変形例１）
図９を参照して説明したＡＰＰ定期再配置処理は、ＡＰＰの移動とコントローラのスケールとを切り離して実行し、ＡＰＰのスケールイン後に同一のリージョン４が再度スケールアウトされる重複を排除している。この他のＡＰＰ定期再配置処理として、ＡＰＰのスケールイン後に、戻した先のコントローラ４２の性能閾値を超過する場合に、改めてスケール先を決定する変形例１が考えらえる。図１１を参照して、ＡＰＰ定期再配置処理の変形例１を説明する。図１１の説明では、図１０と同一処理には同一符号を付与して説明を省略する。
図９を参照して説明したＡＰＰ定期再配置処理は、ＡＰＰの移動とコントローラのスケールとを切り離して実行し、ＡＰＰのスケールイン後に同一のリージョン４が再度スケールアウトされる重複を排除している。この他のＡＰＰ定期再配置処理として、ＡＰＰのスケールイン後に、戻した先のコントローラ４２の性能閾値を超過する場合に、改めてスケール先を決定する変形例１が考えらえる。図１１を参照して、ＡＰＰ定期再配置処理の変形例１を説明する。図１１の説明では、図１０と同一処理には同一符号を付与して説明を省略する。
【0084】
図１１は、変形例１に係るＡＰＰ定期再配置処理を例示するフローチャートである。ステップＳ３１Ｂでは、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに指示し他のリージョン４へスケールアウトしたスケールＡＰＰのうち評価スコアＳＡ，Ｒが最小のスケールＡＰＰを自身のリージョン４へ戻す。そして、配置処理部４１１ｇは、スケール処理部４１１ｈに指示し該当のスケール先のコントローラをスケールインする。
【0085】
次に性能閾値超過検知部４１１ｊは、ステップＳ３２の処理を行い、性能閾値を超過した場合（ステップＳ３２ＹＥＳ）にステップＳ３３Ｂへ処理を移し、性能閾値を超過していない場合（ステップＳ３２ＮＯ）にステップＳ３８へ処理を移す。
【0086】
ステップＳ３３Ｂでは、配置処理部４１１ｇは、図８のスケールアウト処理を実行する。配置処理部４１１ｇは、ステップＳ３３Ｂの終了後、本ＡＰＰ定期再配置処理を終了する。
【0087】
一方ステップＳ３８では、配置処理部４１１ｇは、他にスケールＡＰＰが存在するか否かを判定し、存在する場合（ステップＳ３８ＹＥＳ）にステップＳ３１Ｂへ処理を戻し、存在しない場合（ステップＳ３８ＮＯ）に本ＡＰＰ定期再配置処理を終了する。ステップＳ３８から処理を移したステップＳ３１Ｂでは、前回までに選択された評価スコアＳＡ，Ｒを除いて最小の評価スコアＳＡ，ＲのスケールＡＰＰが処理対象となる。
【0088】
（ＡＰＰ定期再配置処理の変形例２）
図１１を参照して説明した変形例１のＡＰＰ定期再配置処理は、ＡＰＰの移動とコントローラのスケールとを続けて実行し処理を簡略化しているが、ＡＰＰのスケールイン後に同一のリージョン４が再度スケールアウトされる重複がある。この他のＡＰＰ定期再配置処理として、移動元にＡＰＰを戻した場合にコントローラ４２の性能閾値を超過しないと予測される場合にのみ実際にＡＰＰを戻してコントローラ４２をスケールインする変形例２が考えらえる。図１２を参照して、ＡＰＰ定期再配置処理の変形例２を説明する。図１２の説明では、図１０と同一処理には同一符号を付与して説明を省略する。
図１１を参照して説明した変形例１のＡＰＰ定期再配置処理は、ＡＰＰの移動とコントローラのスケールとを続けて実行し処理を簡略化しているが、ＡＰＰのスケールイン後に同一のリージョン４が再度スケールアウトされる重複がある。この他のＡＰＰ定期再配置処理として、移動元にＡＰＰを戻した場合にコントローラ４２の性能閾値を超過しないと予測される場合にのみ実際にＡＰＰを戻してコントローラ４２をスケールインする変形例２が考えらえる。図１２を参照して、ＡＰＰ定期再配置処理の変形例２を説明する。図１２の説明では、図１０と同一処理には同一符号を付与して説明を省略する。
【0089】
図１２は、変形例２に係るＡＰＰ定期再配置処理を例示するフローチャートである。ステップＳ３１Ｃでは、配置処理部４１１ｇは、他のリージョン４へスケールアウトしたスケールＡＰＰのうち評価スコアＳＡ，Ｒが最小のスケールＡＰＰを選択する。
【0090】
次にステップＳ３２Ｃでは、性能閾値超過検知部４１１ｊは、リソース使用状況履歴テーブル４１２ｇ（図１２）を参照し、ステップＳ３１Ｃでの選択ＡＰＰを自身のリージョンへ戻した場合にコントローラが性能閾値を超過するか否かを予測する。性能閾値超過検知部４１１ｊは、性能閾値を超過すると予想される場合（ステップＳ３２ＣＹＥＳ）にステップＳ３１Ｃへ処理を戻し、性能閾値を超過しないと予想される場合（ステップＳ３２ＣＮＯ）にステップＳ３３Ｃへ処理を移す。なお、性能閾値超過検知部４１１ｊは、性能閾値を超過すると予想される場合（ステップＳ３２ＣＹＥＳ）に、ステップＳ３１ＣではなくステップＳ３８へ処理を移し、他のスケールＡＰＰの有無を判定してもよい。
【0091】
図１３は、リソース使用状況履歴テーブル４１２ｇの構成を例示する図である。リソース使用状況履歴テーブル４１２ｇは、メモリ４１Ｍのテーブル群４１２に含まれる。リソース使用状況履歴テーブル４１２ｇは、ＡＰＰ＃、スケール元リージョン＃、リソース使用率：ＣＰＵ、リソース使用率：メモリ、・・・の列を有し、ＡＰＰ＃毎にスケール前のリージョン＃及びリソース使用状況を記録する。性能閾値超過検知部４１１ｊは、ステップＳ３２Ｃの判定処理の際、リソース使用状況履歴テーブル４１２ｇに記録されているコントローラ４２のスケール前のリソース使用状況を現在の使用状況に加算する。このように、該当ＡＰＰをスケール前のリージョンへ戻した場合に、該当リージョンのコントローラの使用状況が性能閾値を超過するかが予測される。
【0092】
ステップＳ３３Ｃでは、配置処理部４１１ｇは、ＡＰＰ移動処理部４１１ｉに指示し選択ＡＰＰをスケール前のリージョンへ戻し、スケール処理部４１１ｈに指示しスケール先のコントローラをスケールインする。
【0093】
次にステップＳ３８では、配置処理部４１１ｇは、他にスケールＡＰＰが存在するか否かを判定し、存在する場合（ステップＳ３８ＹＥＳ）にステップＳ３１Ｃへ処理を戻し、存在しない場合（ステップＳ３８ＮＯ）に本ＡＰＰ定期再配置処理を終了する。ステップＳ３２Ｃ又はＳ３８から処理を移したステップＳ３１Ｃでは、前回までに選択された評価スコアＳＡ，Ｒを除いて最小の評価スコアＳＡ，ＲのスケールＡＰＰが選択される。
【0094】
（新規リージョン追加時の法令適用処理）
さて、新規リージョンが追加された際に、追加リージョンに関する法令又は規則を全て新規設定することは負担が大きく時間がかかる。そこで、地理情報に基づいて既存の法令又は規則を伝搬させて設定することで、追加リージョンに関する法令又は規則の設定負荷を軽減する。地理情報は、ＧｅｏＩＰ等のＩＰアドレスに基づくGeolocationやＧＰＳ（Global Positioning System）、手動設定等から取得できる。
さて、新規リージョンが追加された際に、追加リージョンに関する法令又は規則を全て新規設定することは負担が大きく時間がかかる。そこで、地理情報に基づいて既存の法令又は規則を伝搬させて設定することで、追加リージョンに関する法令又は規則の設定負荷を軽減する。地理情報は、ＧｅｏＩＰ等のＩＰアドレスに基づくGeolocationやＧＰＳ（Global Positioning System）、手動設定等から取得できる。
【0095】
図１４は、実施形態に係るリージョングループ追加設定処理（国及び地域単位）を例示するフローチャートである。図１４は、実施形態に係るリージョングループ追加設定処理（国及び地域単位）を説明するための説明図である。
【0096】
各リージョン４の管理サーバ４１の法令規則適用部４１１ｋは、新規のリージョン４が追加されたことを例えばＩＰ通信によって認識するとリージョングループ追加設定処理（国・地域単位）を実行する。
【0097】
ステップＳ５１では、法令規則適用部４１１ｋは、地理情報に基づいて新規のリージョン４のコントローラ４２の国及び地域を特定する。ステップＳ５２では、法令規則適用部４１１ｋは、ステップＳ５１で特定した国と「同じ国内の情報」があるか否かを判定する。法令規則適用部４１１ｋは、「同じ国内の情報」がある場合（ステップＳ５２ＹＥＳ）にステップＳ５３へ処理を移し、「同じ国内の情報」がない場合（ステップＳ５２ＮＯ）にステップＳ５６へ処理を移す。
【0098】
ステップＳ５３では、法令規則適用部４１１ｋは、ステップＳ５１で特定されたコントローラの地域が「同じ国内の情報」に内包されているか否かを判定する。法令規則適用部４１１ｋは、ステップＳ５１で特定されたコントローラの地域が「同じ国内の情報」に内包されている場合（ステップＳ５３ＹＥＳ）にステップＳ５４へ処理を移し、内包されていない場合（ステップＳ５３ＮＯ）にステップＳ５７へ処理を移す。
【0099】
ステップＳ５４では、法令規則適用部４１１ｋは、「同じ国内の情報」に内包されている他の地域があるか否かを判定する。法令規則適用部４１１ｋは、「同じ国内の情報」に内包されている他の地域がある場合（ステップＳ５４ＹＥＳ）にステップＳ５８へ処理を移し、他の地域がない場合（ステップＳ５４ＮＯ）にステップＳ５５へ処理を移す。
【0100】
ステップＳ５５では、法令規則適用部４１１ｋは、ステップＳ５２で判定された「同じ国内の情報」の法令又は規則を追加リージョンに対して設定する。図１５（ａ）に示すように、追加リージョンＢ＝Ｔｏｋｙｏ（ＪＰ）で「同じ国内の情報」（リージョンＡ＝ＪＰ）が存在する（ステップＳ５２ＹＥＳ）。また、コントローラの地域（リージョンＢ＝Ｔｏｋｙｏ（ＪＰ））が「同じ国内の情報」（リージョンＡ＝ＪＰ）に内包される（ステップＳ５３ＹＥＳ）。また、「同じ国内の情報」（リージョンＡ＝ＪＰ）に内包されている他の地域が存在しない（ステップＳ５４ＮＯ）。このため、ステップＳ５５でリージョンＡ＝ＪＰの法令又は規則を伝搬して、リージョンＢに設定される。
【0101】
ステップＳ５６では、法令規則適用部４１１ｋは、新たなリージョンの国及び地域に関する法令又は規則の既存情報が存在しないため、新規入力する。
【0102】
ステップＳ５７では、法令規則適用部４１１ｋは、「同じ国内の情報」のうち追加リージョンの最近傍の地域の規則を追加リージョンに対して設定する。図１５（ｂ）に示すように、リージョンＣ＝Ｏｓａｋａ（ＪＰ）で「同じ国内の情報」（リージョンＢ＝Ｔｏｋｙｏ（ＪＰ）が存在する（ステップＳ５２ＹＥＳ）。また、コントローラの地域（リージョンＣ＝Ｏｓａｋａ（ＪＰ））が「同じ国内の情報」（リージョンＢ＝Ｔｏｋｙｏ（ＪＰ））に内包されない（ステップＳ５３ＮＯ）。このため、ステップＳ５７で最近傍のリージョンＢ＝Ｔｏｋｙｏ（ＪＰ）の規則を伝搬して、リージョンＣに設定される。但し、最近傍であるかの判定は、同一国内や、ＥＵ（European Union）といった同一経済圏内といったルールを設ける。
【0103】
ステップＳ５８では、法令規則適用部４１１ｋは、内包されている新たなリージョンの最近傍の他の地域の規則を追加リージョンに対して設定する。図１４（ｃ）に示すように、新たなリージョンＣ＝Ｏｓａｋａ（ＪＰ）で「同じ国内の情報」（リージョンＢ＝Ｔｏｋｙｏ（ＪＰ）が存在する（ステップＳ５２ＹＥＳ）。また、コントローラの地域（リージョンＣ＝Ｏｓａｋａ（ＪＰ））が「同じ国内の情報」（リージョンＡ＝ＪＰ）に内包される（ステップＳ５３ＹＥＳ）。また、「同じ国内の情報」（リージョンＡ＝ＪＰ）に内包されている他の地域が存在する（リージョンＢ＝Ｔｏｋｙｏ（ＪＰ））（ステップＳ５４ＮＯ）。このため、より厳格な規則を適用するため、ステップＳ５８で最近傍のリージョンＢ＝Ｔｏｋｙｏ（ＪＰ）の規則を伝搬して、リージョンＣに設定される。
【0104】
（新規リージョン追加時の情報設定処理の変形例）
さて、図１４～図１５では、国又は地域単位での規則伝搬を例に説明したが、企業といった組織であっても同様の規則伝搬を適用することができる。以下、変形例３として同様のリージョン追加時の社内規則等の自動設定について説明する。地理情報は、ＧｅｏＩＰ等のＩＰアドレスに基づくGeolocationやWhois情報等から取得できる。
さて、図１４～図１５では、国又は地域単位での規則伝搬を例に説明したが、企業といった組織であっても同様の規則伝搬を適用することができる。以下、変形例３として同様のリージョン追加時の社内規則等の自動設定について説明する。地理情報は、ＧｅｏＩＰ等のＩＰアドレスに基づくGeolocationやWhois情報等から取得できる。
【0105】
【0106】
ステップＳ６１では、法令規則適用部４１１ｋは、地理情報から追加リージョンの国及び企業を特定する。次にステップＳ６２では、法令規則適用部４１１ｋは、「同じ国内の情報」があるか否かを判定する。法令規則適用部４１１ｋは、「同じ国内の情報」がある場合（ステップＳ６２ＹＥＳ）にステップＳ６３へ処理を移し、「同じ国内の情報」がない場合（ステップＳ６２ＮＯ）にステップＳ６５へ処理を移す。同じ国内で同じ企業内かどうかは、GeoIP及びWhois情報を併用することで判断できる。
【0107】
次にステップＳ６３では、法令規則適用部４１１ｋは、「同じ企業内」かつ「上位の情報」があるか否かを判定する。法令規則適用部４１１ｋは、「同じ企業内」かつ「上位の情報」がある場合（ステップＳ６３ＹＥＳ）にステップＳ６４へ処理を移し、「同じ企業内」かつ「上位の情報」がない場合（ステップＳ６３ＮＯ）にステップＳ６５へ処理を移す。
【0108】
ステップＳ６４では、法令規則適用部４１１ｋは、「上位の情報」の規則を追加リージョンに適用する。図１７に示すように、追加リージョンＢ＝ＹＹＹ部（ＪＰ，ＸＸＸ社）じは、「同じ国内の情報」（リージョンＡ＝ＸＸＸ社(ＪＰ)）があり（ステップＳ６２ＹＥＳ）、「同じ企業内の情報」かつ「上位の情報」（リージョンＡ＝ＸＸＸ社(ＪＰ)）がある（ステップＳ６３ＹＥＳ）。このため、ステップＳ６４で「上位の情報」のリージョンＡ＝ＸＸＸ社(ＪＰ）の規則を伝搬して、リージョンＢに設定される。
【0109】
ステップＳ６５では、法令規則適用部４１１ｋは、追加リージョンの規則情報を新規入力する。
【0110】
（スケール許可テーブル自動更新処理）
以下、スケール許可テーブル４１２ａのルール自動更新の例を説明する。例えば、輸出管理法上における国別カテゴリーが変更された場合や、外為法変更に伴って、該非判定の再実行の必要が生じた場合に、管理サーバ４１が保持する規則データの更新及びスケール先の設定変更を自動で行う。
以下、スケール許可テーブル４１２ａのルール自動更新の例を説明する。例えば、輸出管理法上における国別カテゴリーが変更された場合や、外為法変更に伴って、該非判定の再実行の必要が生じた場合に、管理サーバ４１が保持する規則データの更新及びスケール先の設定変更を自動で行う。
【0111】
図１８は、実施形態に係るスケール許可テーブル４１２ａの自動更新処理を例示するフローチャートである。図１９は、図１８のステップＳ７２の規則データ解析処理を例示するフローチャートである。図１９は、規則データ解析処理を説明するための説明図である。図２０は、実施形態に係るスケール許可テーブルの自動更新処理を説明するための説明図である。
【0112】
ステップＳ７１では、スケール許可テーブル更新部４１１ｍは、規則データを読み込む。規則データは、法令又は規則の条文のテキストデータある。次にステップＳ７２では、スケール許可テーブル更新部４１１ｍは、図１９を参照して後述する規則データ解析処理を実行する。次にステップＳ７３では、スケール許可テーブル更新部４１１ｍは、国別にグループ情報所定の記憶領域に保存する規則データを更新する。
【0113】
ステップＳ７２の規則データ解析処理において、図１９に示すように、ステップＳ７２１では、スケール許可テーブル更新部４１１ｍは、ステップＳ７１で読み込んだ規則データから対象条文を取得する。次にステップＳ７２２では、スケール許可テーブル更新部４１１ｍは、ステップＳ７２１で読み込んだ対象条文を分かち書きし、表毎の国を取得する。次にステップＳ７２３では、スケール許可テーブル更新部４１１ｍは、ステップＳ７２２で取得した国別にグループ情報を返却する。
【0114】
図２０に示すように、更新があった規則データ（図２０では輸出例別表）に基づいて、例えばカントリーコードＡＡのグループ＃が１から０へと変更されたとする。図２０及び図２１に示すように、国別グループ分類テーブル４１２ｆのカントリーコード＝ＡＡのグループ＃が０に変更されると、リージョン毎グループテーブル４１２ｅのリージョン＃０がカントリーコード＝ＡＡに属していた場合、グループ＃を０と更新する。その後、リージョン毎グループテーブル４１２ｅのグループ＃及び該非判定テーブル４１２ｄの該非判定書登録及び該非判定の列を用いて、事前に定められた規則に則って、グループ＃が更新されたリージョン＃のスケール許可テーブル４１２ａの対応箇所を０から１へ更新する。事前に定められた規則によって、例えばグループ＃＝０、該非判定書登録＝登録、該非判定＝非該当ならば１（許可）というように、変更されたグループ＃に含まれるリージョン＃及びＡＰＰ＃の組合せをもとに該非判定テーブル４１２ｄを参照してスケール許可テーブル４１２ａの格納値が決まる。該非判定テーブル４１２ｄにおいてＡＰＰ＃、該非判定書登録、及び該非判定の組合せに対応する許可の列の値を取得してスケール許可テーブル４１２ａが自動更新される。
【0115】
上述の実施形態では、法令及び規則の遵守の観点及びスケールアウト先として他のリージョンに対して求める性能情報を信用スコアへ織り込み、他のリージョンがスケールアウト先として選択される妥当性を宣言スコアへ織り込み、これらに基づく評価スコアが高いリージョン及びＡＰＰをスケールアウト先として決定する。よって、スケールアウト先のリージョン４として様々な観点に基づく多くの選択肢が存在する状況で、リージョン同士が内部情報を外部へ出さずにセキュリティを維持しつつ、相互の法令遵守、運用コスト、運用リスク、装置性能等を考慮して、適時に適切なスケールアウト先のリージョンを選択するスケールアウトを低コストかつ自動で実施できる。
【0116】
なお、上述の実施形態では、１つのリージョン４の管理サーバ４１は、１つのコントローラ４２を管理すると説明した。しかし、１つのリージョン４の管理サーバ４１は、複数のコントローラ４２を管理する場合もある。この場合、管理サーバ４１は、コントローラ４２毎にスケールアウト及びスケールインを管理してもよいし、管理下の複数のコントローラ４２を単位としてスケールアウト及びスケールインを管理してもよい。
【0117】
また、上述の実施形態では、リージョン４は、管理サーバ４１、コントローラ４２、及びストレージ４３の３Ｔｉｅｒ構成で説明したが、ＣＩ（Converged Infrastructure）構成、ＨＣＩ（Hyper-Converged Infrastructure）構成であっても本発明は適用可能である。
【0118】
本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また、実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。
【符号の説明】
【0119】
１：ストレージシステム、３：管理クライアント、４：リージョン、５：Ｗｅｂサイト、４１：管理サーバ、４２：コントローラ、４３：ストレージ
【要約】 （修正有）
【課題】コントローラのスケールアウトとアプリケーションの移動を、アプリケーションの状態、スケールアウト先の法令や規則及びリソース使用状況を考慮して行うストレージシステム及び負荷分散方法を提供する。
【解決手段】ストレージシステム１において、計算機システムである複数のリージョン４の管理サーバは、稼働状況が閾値を超過すると、リージョンで動作するアプリケーション、仮想マシン及びコンテナの少なくとも何れかを含む実行対象を移動させて他のリージョンで動作させた際のコスト、信頼性及び性能の少なくとも何れかに関する情報と、リージョンに適用されている法令又は規則を指標化した指標化情報とに基づく実行対象毎の第１指標を計算し、実行対象の移動先として他のリージョンが選択される度合いを無次元量で表す第２指標を他のリージョンから取得し、両指標の何れか又は両方に基づいて、他のリージョンの中から実行対象の移動先を決定する。
【選択図】図１
【解決手段】ストレージシステム１において、計算機システムである複数のリージョン４の管理サーバは、稼働状況が閾値を超過すると、リージョンで動作するアプリケーション、仮想マシン及びコンテナの少なくとも何れかを含む実行対象を移動させて他のリージョンで動作させた際のコスト、信頼性及び性能の少なくとも何れかに関する情報と、リージョンに適用されている法令又は規則を指標化した指標化情報とに基づく実行対象毎の第１指標を計算し、実行対象の移動先として他のリージョンが選択される度合いを無次元量で表す第２指標を他のリージョンから取得し、両指標の何れか又は両方に基づいて、他のリージョンの中から実行対象の移動先を決定する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】