ホーム > 特許ランキング > 日立ヴァンタラ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162814
(43)【公開日】2024-11-21
(54)【発明の名称】計算機システム及びストレージ制御方法
(51)【国際特許分類】
G06F 11/20 20060101AFI20241114BHJP
G06F 3/06 20060101ALI20241114BHJP
G06F 11/07 20060101ALI20241114BHJP
G06F 13/10 20060101ALI20241114BHJP
【ＦＩ】
G06F11/20 692
G06F3/06 306Z
G06F3/06 304B
G06F11/07 140M
G06F13/10 340B
G06F11/07 193
G06F11/20 666
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023078726
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】菊地 隆文
(72)【発明者】
【氏名】佐藤 功人
(72)【発明者】
【氏名】山本 貴大
【テーマコード（参考）】
5B034
5B042
【Ｆターム（参考）】
5B034CC04
5B042GA12
5B042GA34
5B042JJ29
5B042KK04
5B042MA08
5B042MC09
5B042MC25
5B042MC40
(57)【要約】 （修正有）
【課題】複数のデータセンタに跨って構築されたストレージシステムに所定の通信障害が発生した際にＩ／Ｏ処理に伴う課金の発生及びレスポンスの増加を抑制する障害制御を実行する。
【解決手段】計算機システム１では、異なるデータセンタ１０Ａ、１０Ｂに配置されたストレージコントローラ１３１Ａ、１３１Ｂが、データセンタ間の通信経路を介してペアを構成する。ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、ストレージクラスタコントローラ１４０が有するタイブレーカ１４２が、Ｉ／Ｏモニタ１３２Ａ、１３２Ｂが生成したストレージコントローラの通信特性の統計情報に基づいて、ペアを構成するストレージコントローラの一方から他方にデータ入出力を引き継ぎ、一方のストレージコントローラを有するストレージノード１３０Ａ、１３０Ｂを停止する障害制御を決定し、ストレージクラスタコントローラが障害制御を実行する。
【選択図】図１
【解決手段】計算機システム１では、異なるデータセンタ１０Ａ、１０Ｂに配置されたストレージコントローラ１３１Ａ、１３１Ｂが、データセンタ間の通信経路を介してペアを構成する。ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、ストレージクラスタコントローラ１４０が有するタイブレーカ１４２が、Ｉ／Ｏモニタ１３２Ａ、１３２Ｂが生成したストレージコントローラの通信特性の統計情報に基づいて、ペアを構成するストレージコントローラの一方から他方にデータ入出力を引き継ぎ、一方のストレージコントローラを有するストレージノード１３０Ａ、１３０Ｂを停止する障害制御を決定し、ストレージクラスタコントローラが障害制御を実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のデータセンタに配置された複数の計算機をネットワークで結合して構成され、
アプリケーションを実行するコンピュートノードと、
前記コンピュートノードからのＩ／Ｏを処理して記憶装置に入出力するストレージコントローラを有するストレージノードと、
前記ストレージノードを制御するストレージクラスタコントローラと、
を備えた計算機システムであって、
異なる前記データセンタに配置されたストレージコントローラがペアを構成し、前記ペアの一方のストレージコントローラの処理を他方のストレージコントローラが引き継ぐために、前記データセンタ間の通信経路を介して通信しており、
前記アプリケーションと前記ストレージコントローラとの間の通信特性を収集して所定の統計処理を実施して統計情報を生成するＩ／Ｏモニタを有し、
前記ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、
前記ストレージクラスタコントローラが有するタイブレーカが、前記Ｉ／Ｏモニタが生成した前記ストレージコントローラの前記通信特性の統計情報に基づいて、前記ペアを構成するストレージコントローラの一方から他方のストレージコントローラにデータ入出力を引き継ぎ、前記一方のストレージコントローラを有するストレージノードを停止する障害制御を決定し、
前記ストレージクラスタコントローラは、前記タイブレーカが決定した障害制御を実行し、
前記停止させたストレージノードのストレージコントローラへＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラへＩ／Ｏを送る
ことを特徴とする計算機システム。
アプリケーションを実行するコンピュートノードと、
前記コンピュートノードからのＩ／Ｏを処理して記憶装置に入出力するストレージコントローラを有するストレージノードと、
前記ストレージノードを制御するストレージクラスタコントローラと、
を備えた計算機システムであって、
異なる前記データセンタに配置されたストレージコントローラがペアを構成し、前記ペアの一方のストレージコントローラの処理を他方のストレージコントローラが引き継ぐために、前記データセンタ間の通信経路を介して通信しており、
前記アプリケーションと前記ストレージコントローラとの間の通信特性を収集して所定の統計処理を実施して統計情報を生成するＩ／Ｏモニタを有し、
前記ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、
前記ストレージクラスタコントローラが有するタイブレーカが、前記Ｉ／Ｏモニタが生成した前記ストレージコントローラの前記通信特性の統計情報に基づいて、前記ペアを構成するストレージコントローラの一方から他方のストレージコントローラにデータ入出力を引き継ぎ、前記一方のストレージコントローラを有するストレージノードを停止する障害制御を決定し、
前記ストレージクラスタコントローラは、前記タイブレーカが決定した障害制御を実行し、
前記停止させたストレージノードのストレージコントローラへＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラへＩ／Ｏを送る
ことを特徴とする計算機システム。
【請求項2】
前記コンピュートノードと、前記ストレージノードとは、それぞれ異なる通信経路で他のデータセンタに接続されており、
前記コンピュートノードのアプリケーションは、他のデータセンタのストレージノードのストレージコントローラにＩ／Ｏ要求を送ることが可能であり、
複数のアプリケーションと、複数のペアのストレージコントローラを有しており、
前記アプリケーション及びそのＩ／Ｏを処理するストレージコントローラは、前記データセンタ間での通信量が少なくなるように各データセンタに配置されており、
前記タイブレーカは、ストレージノードを停止させた場合に、前記データセンタ間での通信量の増加が少なくなるように、前記停止させるストレージノードを決定する
ことを特徴とする請求項１に記載の計算機システム。
前記コンピュートノードのアプリケーションは、他のデータセンタのストレージノードのストレージコントローラにＩ／Ｏ要求を送ることが可能であり、
複数のアプリケーションと、複数のペアのストレージコントローラを有しており、
前記アプリケーション及びそのＩ／Ｏを処理するストレージコントローラは、前記データセンタ間での通信量が少なくなるように各データセンタに配置されており、
前記タイブレーカは、ストレージノードを停止させた場合に、前記データセンタ間での通信量の増加が少なくなるように、前記停止させるストレージノードを決定する
ことを特徴とする請求項１に記載の計算機システム。
【請求項3】
異なる前記データセンタに配置されたストレージコントローラ同士がデータセンタ間の通信経路を介してコントローラペアを構成するとき、
前記コントローラペアを構成する２つのストレージコントローラは、一方がアクティブ状態でボリュームを管理し、他方がスタンバイ状態で待機するよう構成され、
前記障害制御の実行によってアクティブ状態の第１のストレージコントローラが停止された場合には、前記第１のストレージコントローラとコントローラペアを組むスタンバイ状態の第２のストレージコントローラが、アクティブ状態となって前記第１のストレージコントローラによるボリュームの管理を引き継ぐ
ことを特徴とする請求項２に記載の計算機システム。
前記コントローラペアを構成する２つのストレージコントローラは、一方がアクティブ状態でボリュームを管理し、他方がスタンバイ状態で待機するよう構成され、
前記障害制御の実行によってアクティブ状態の第１のストレージコントローラが停止された場合には、前記第１のストレージコントローラとコントローラペアを組むスタンバイ状態の第２のストレージコントローラが、アクティブ状態となって前記第１のストレージコントローラによるボリュームの管理を引き継ぐ
ことを特徴とする請求項２に記載の計算機システム。
【請求項4】
異なる前記データセンタに配置されたストレージノードが有するストレージコントローラ同士で前記コントローラペアが構成され、前記コントローラペアにおけるデータセンタ間の通信経路において通信障害が発生したとき、
前記タイブレーカは、当該コントローラペアを構成する何れか一方のストレージコントローラを有するストレージノードにおいてすべてのストレージコントローラを停止する形態で、停止後のデータセンタ間の通信量が最小化するように前記障害制御を決定する
ことを特徴とする請求項３に記載の計算機システム。
前記タイブレーカは、当該コントローラペアを構成する何れか一方のストレージコントローラを有するストレージノードにおいてすべてのストレージコントローラを停止する形態で、停止後のデータセンタ間の通信量が最小化するように前記障害制御を決定する
ことを特徴とする請求項３に記載の計算機システム。
【請求項5】
異なる前記データセンタに配置されたストレージノードが有するストレージコントローラ同士で前記コントローラペアが構成され、前記コントローラペアが構成された２組以上のストレージノードの組において、データセンタ間の通信経路に通信障害が発生したとき、
前記タイブレーカは、前記コントローラペアが構成されたストレージノードの組ごとに独立して前記障害制御を決定する
ことを特徴とする請求項３に記載の計算機システム。
前記タイブレーカは、前記コントローラペアが構成されたストレージノードの組ごとに独立して前記障害制御を決定する
ことを特徴とする請求項３に記載の計算機システム。
【請求項6】
前記ストレージコントローラは、前記アプリケーションに、Ｉ／Ｏを行うためにボリュームを提供し、
異なる前記データセンタに配置されたボリューム同士がデータセンタ間の通信経路を介してボリュームペアを構成するとき、
前記ボリュームペアを構成する２つのボリュームは、ともにアクティブ状態で動作してデータを同期するよう構成され、
前記障害制御の実行によって前記ボリュームペアを構成する一方の第１のボリュームが停止された場合には、前記第１のボリュームとボリュームペアを組む第２のボリュームがＩ／Ｏの受付を継続する
ことを特徴とする請求項２に記載の計算機システム。
異なる前記データセンタに配置されたボリューム同士がデータセンタ間の通信経路を介してボリュームペアを構成するとき、
前記ボリュームペアを構成する２つのボリュームは、ともにアクティブ状態で動作してデータを同期するよう構成され、
前記障害制御の実行によって前記ボリュームペアを構成する一方の第１のボリュームが停止された場合には、前記第１のボリュームとボリュームペアを組む第２のボリュームがＩ／Ｏの受付を継続する
ことを特徴とする請求項２に記載の計算機システム。
【請求項7】
異なる前記データセンタに配置されたストレージノードが有するボリューム同士で前記ボリュームペアが構成され、２組以上の前記ボリュームペアにおけるデータセンタ間の通信経路で通信障害が発生したとき、
前記タイブレーカは、前記ボリュームペアごとに独立して前記障害制御を決定する
ことを特徴とする請求項６に記載の計算機システム。
前記タイブレーカは、前記ボリュームペアごとに独立して前記障害制御を決定する
ことを特徴とする請求項６に記載の計算機システム。
【請求項8】
前記ストレージクラスタコントローラは、前記障害制御の実行による前記ストレージコントローラまたは前記ストレージコントローラが管理するボリュームの停止時に、ストレージシステムの構成情報及び前記アプリケーションの配置情報に基づいて、変更後のデータセンタ間の通信経路における通信量を最小化するように、前記複数のデータセンタにおける前記アプリケーションの配置の変更を提案するマイグレーションプロポーザをさらに有する
ことを特徴とする請求項１から請求項７の何れか１項に記載の計算機システム。
ことを特徴とする請求項１から請求項７の何れか１項に記載の計算機システム。
【請求項9】
前記マイグレーションプロポーザは、前記アプリケーションの配置の変更の提案を、前記アプリケーションの配置及び動作を制御する機構に出力する
ことを特徴とする請求項８に記載の計算機システム。
ことを特徴とする請求項８に記載の計算機システム。
【請求項10】
複数のデータセンタに配置された複数の計算機をネットワークで結合して構成される計算機システムによるストレージ制御方法であって、
前記計算機システムは、
アプリケーションを実行するコンピュートノードと、
前記コンピュートノードからのＩ／Ｏを処理して記憶装置に入出力するストレージコントローラを有するストレージノードと、
前記ストレージノードを制御するストレージクラスタコントローラと、
を有し、
異なる前記データセンタに配置されたストレージコントローラがペアを構成し、前記ペアの一方のストレージコントローラの処理を他方のストレージコントローラが引き継ぐために、前記データセンタ間の通信経路を介して通信しており、
前記アプリケーションと前記ストレージコントローラとの間の通信特性を収集して所定の統計処理を実施して統計情報を生成するＩ／Ｏモニタを有し、
前記ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、
前記ストレージクラスタコントローラが有するタイブレーカが、前記Ｉ／Ｏモニタが生成した前記ストレージコントローラの前記通信特性の統計情報に基づいて、前記ペアを構成するストレージコントローラの一方から他方のストレージコントローラにデータ入出力を引継ぎ、前記一方のストレージコントローラを有するストレージノードを停止する障害制御を決定し、
前記ストレージクラスタコントローラが、前記タイブレーカが決定した障害制御を実行し、
前記停止させたストレージノードのストレージコントローラへＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラへＩ／Ｏを送る
ことを特徴とするストレージ制御方法。
前記計算機システムは、
アプリケーションを実行するコンピュートノードと、
前記コンピュートノードからのＩ／Ｏを処理して記憶装置に入出力するストレージコントローラを有するストレージノードと、
前記ストレージノードを制御するストレージクラスタコントローラと、
を有し、
異なる前記データセンタに配置されたストレージコントローラがペアを構成し、前記ペアの一方のストレージコントローラの処理を他方のストレージコントローラが引き継ぐために、前記データセンタ間の通信経路を介して通信しており、
前記アプリケーションと前記ストレージコントローラとの間の通信特性を収集して所定の統計処理を実施して統計情報を生成するＩ／Ｏモニタを有し、
前記ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、
前記ストレージクラスタコントローラが有するタイブレーカが、前記Ｉ／Ｏモニタが生成した前記ストレージコントローラの前記通信特性の統計情報に基づいて、前記ペアを構成するストレージコントローラの一方から他方のストレージコントローラにデータ入出力を引継ぎ、前記一方のストレージコントローラを有するストレージノードを停止する障害制御を決定し、
前記ストレージクラスタコントローラが、前記タイブレーカが決定した障害制御を実行し、
前記停止させたストレージノードのストレージコントローラへＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラへＩ／Ｏを送る
ことを特徴とするストレージ制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算機システム及びストレージ制御方法に関し、複数のデータセンタに跨って構築されたストレージシステムを含む計算機システム、及びそのストレージ制御方法に適用して好適なものである。
【背景技術】
【0002】
従来、クラウドコンピューティング環境では、データセンタ単位の障害が発生してもＩＴサービスを継続できるように、複数のデータセンタに跨ってシステムを構築している。そのため、クラウド上で動作するストレージシステムでは、複数のデータセンタに跨ってストレージシステムを構築し、データセンタ障害への耐性を備えた構成をとっている。
【0003】
ここで、複数のストレージを分散させて構築されたストレージシステムにおいては、ストレージシステムを構成するストレージノードやストレージクラスタの間で通信障害が発生した場合に、その障害を検知した主体が、通信障害が発生したのか、通信相手に障害が発生したのかを区別することができず、適切な障害制御（閉塞やフェイルオーバ等）を実施することができないおそれがあった。このような問題の解決方法として、第三者である仲介者を通じて、障害区分を判別して制御を行うことができる。
【0004】
例えば、ストレージノード間に通信障害が発生した場合には、特許文献１に記載されているように、仲介者を用いてストレージノード間のステート情報を共有することで、障害制御を実施するか否かを判断することができる。
【0005】
また例えば、ストレージクラスタ間に通信障害が発生した場合には、特許文献２または特許文献３に記載されているように、仲介者を通して制御命令を相手クラスタに伝達することで、障害制御を実施することができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表２０１８－５３６２２９号公報
【特許文献2】特開２０２２－１２２９９３号公報
【特許文献3】国際公開第２０１５／１９８４４９号
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、オンプレミスなストレージシステム内の通信障害に対しては、上述したように特許文献１～３に開示された従来技術を利用して、通信障害が発生した際にストレージシステムを制御する対策が存在するが、複数のデータセンタに跨って複数の計算機をネットワークで結合したストレージシステム（クラウド環境で動作するストレージシステム）の場合は、従来技術では解決できない以下の課題が存在している。
【0008】
クラウド環境におけるデータセンタ間通信は、通信量に応じて課金が発生し、通信のレイテンシがデータセンタ内通信に比べて大きい。そのため一般的には、ストレージシステムが提供するボリュームと、それを利用するアプリケーションとは、同じデータセンタ内で通信できるように構成する。このように構成されたストレージシステム内において通信障害が発生した場合、障害制御によってストレージシステムの一部を停止することにより、ボリュームがデータセンタを跨いで移動することがある。この結果、障害制御後にボリュームとアプリケーションとがデータセンタを跨ぐ構成となった場合には、Ｉ／Ｏのたびにデータセンタ間通信が発生するようになることから、課金が発生したりレスポンスの増加が発生したりする、という課題があった。
【0009】
本発明は以上の点を考慮してなされたもので、複数のデータセンタに跨って構築されたストレージシステムにおいて所定の通信障害が発生した際に、Ｉ／Ｏ処理に伴う課金の発生及びレスポンスの増加を抑制する障害制御を実行可能な計算機システム及びストレージ制御方法を提案しようとするものである。
【課題を解決するための手段】
【0010】
かかる課題を解決するため本発明においては、複数のデータセンタに配置された複数の計算機をネットワークで結合して構成され、アプリケーションを実行するコンピュートノードと、前記コンピュートノードからのＩ／Ｏを処理して記憶装置に入出力するストレージコントローラを有するストレージノードと、前記ストレージノードを制御するストレージクラスタコントローラと、を備えた計算機システムであって、異なる前記データセンタに配置されたストレージコントローラがペアを構成し、前記ペアの一方のストレージコントローラの処理を他方のストレージコントローラが引き継ぐために、前記データセンタ間の通信経路を介して通信しており、前記アプリケーションと前記ストレージコントローラとの間の前記通信特性を収集して所定の統計処理を実施して統計情報を生成するＩ／Ｏモニタを有し、前記ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、前記ストレージクラスタコントローラが有するタイブレーカが、前記Ｉ／Ｏモニタが生成した前記ストレージコントローラの前記通信特性の統計情報に基づいて、前記ペアを構成するストレージコントローラの一方から他方のストレージコントローラにデータ入出力を引き継ぎ、前記一方のストレージコントローラを有するストレージノードを停止する障害制御を決定し、前記ストレージクラスタコントローラは、前記タイブレーカが決定した障害制御を実行し、前記停止させたストレージノードのストレージコントローラへＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラへＩ／Ｏを送ることを特徴とする計算機システムが提供される。
【0011】
また、かかる課題を解決するため本発明においては、複数のデータセンタに配置された複数の計算機をネットワークで結合して構成される計算機システムによるストレージ制御方法であって、前記計算機システムは、アプリケーションを実行するコンピュートノードと、前記コンピュートノードからのＩ／Ｏを処理して記憶装置に入出力するストレージコントローラを有するストレージノードと、前記ストレージノードを制御するストレージクラスタコントローラと、を有し、異なる前記データセンタに配置されたストレージコントローラがペアを構成し、前記ペアの一方のストレージコントローラの処理を他方のストレージコントローラが引き継ぐために、前記データセンタ間の通信経路を介して通信しており、前記アプリケーションと前記ストレージコントローラとの間の前記通信特性を収集して所定の統計処理を実施して統計情報を生成するＩ／Ｏモニタを有し、前記ペアを構成したストレージコントローラ間の通信経路における通信障害の発生時に、前記ストレージクラスタコントローラが有するタイブレーカが、前記Ｉ／Ｏモニタが生成した前記ストレージコントローラの前記通信特性の統計情報に基づいて、前記ペアを構成するストレージコントローラの一方から他方のストレージコントローラにデータ入出力を引継ぎ、前記一方のストレージコントローラを有するストレージノードを停止する障害制御を決定し、前記ストレージクラスタコントローラが、前記タイブレーカが決定した障害制御を実行し、前記停止させたストレージノードのストレージコントローラへＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラへＩ／Ｏを送ることを特徴とするストレージ制御方法が提供される。
【発明の効果】
【0012】
本発明によれば、複数のデータセンタに跨って構築されたストレージシステム（例えばクラウド環境で動作するストレージシステム）において所定の通信障害が発生した際に、Ｉ／Ｏ処理に伴う課金の発生及びレスポンスの増加を抑制する障害制御を実行することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態に係る計算機システム１の概念図である。
【図2】ストレージクラスタ１２０の概念図である。
【図3】ストレージシステム１００のハードウェア構成例を示す図である。
【図4】ストレージシステム１００における通信障害を説明するための図である。
【図5】ストレージシステム１００におけるＩ／Ｏのログ情報の収集を説明するための概念図である。
【図6】第１の実施形態における通信障害制御の概念図である。
【図7】レイアウトモジュール１４１の構成例を示す図である。
【図8】ストレージコントローラレイアウトテーブル２１２の一例を示す図である。
【図9】コントローラペアレイアウトテーブル２１３の一例を示す図である。
【図10】コンピュートノードレイアウトテーブル２１４の一例を示す図である。
【図11】コンピュートノード情報の登録画面の一例を示す図である。
【図12】Ｉ／Ｏモニタ１３２の構成例を示す図である。
【図13】Ｉ／Ｏ情報記録２５５の一例を示す図である。
【図14】第１の実施形態における通信特性記録処理の処理手順例を示すフローチャートである。
【図15】タイブレーカ１４２の構成例を示す図である。
【図16】第１の実施形態における通信障害に対する制御方法決定処理の処理手順例を示すフローチャートである。
【図17】第１の実施形態の変形例における計算機システムの概念図である。
【図19】本発明の第２の実施形態に係る計算機システム２の概念図である。
【図20】ストレージシステム３００におけるＩ／Ｏのログ情報の収集を説明するための概念図である。
【図21】第２の実施形態における通信障害制御の概念図である。
【図22】レイアウトモジュール３４１の構成例を示す図である。
【図23】ボリュームレイアウトテーブル４１２の一例を示す図である。
【図24】ボリュームペアレイアウトテーブル４１３の一例を示す図である。
【図25】Ｉ／Ｏモニタ３２２及びＩ／Ｏステートテーブル３３３の構成例を示す図である。
【図26】Ｉ／Ｏ情報記録４３３の一例を示す図である。
【図27】第２の実施形態における通信特性記録処理の処理手順例を示すフローチャートである。
【図28】タイブレーカ３４２の構成例を示す図である。
【図29】ボリュームステートテーブル３３２の一例を示す図である。
【図30】第２の実施形態における通信障害に対する制御方法決定処理の処理手順例を示すフローチャートである。
【図31】本発明の第３の実施形態に係る計算機システム３の概念図である。
【図32】マイグレーションプロポーザ５４４の構成例を示す図である。
【図33】本発明の第４の実施形態に係る計算機システム４の概念図である。
【図34】マイグレーションプロポーザ７４５の構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施形態を詳述する。
【0015】
なお、以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。本発明が実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加や変更等を行うことができる。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は複数でも単数でも構わない。
【0016】
以下の説明では、「テーブル」、「表」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
【0017】
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、少なくとも１以上のプロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノード、ストレージシステム、ストレージ装置、サーバ、管理計算機、クライアント、又は、ホストであってもよい。プログラムを実行して行う処理の主体（例えばプロセッサ）は、処理の一部又は全部を行うハードウェア回路を含んでもよい。例えば、プログラムを実行して行う処理の主体は、暗号化及び復号化、又は圧縮及び伸張を実行するハードウェア回路を含んでもよい。プロセッサは、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置及びシステムは、これらの機能部を含む装置及びシステムである。
【0018】
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な非一時的な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と非一時的な記憶資源とを含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0019】
また、以下の説明では、同種の要素を区別せずに説明する場合には、添字や枝番を含む参照符号のうちの共通部分（添字や枝番を除く部分）を使用し、同種の要素を区別して説明する場合には、添字や枝番を含む参照符号を使用することがある。例えば、ストレージノードを特に区別せずに説明する場合には「ストレージノード１３０」と記載するのに対して、個々のストレージノード１３０を区別して説明する場合には「ストレージノード１３０Ａ」、「ストレージノード１３０Ｂ」のように添字を付けて記載することがある。また、対象とする要素に割り振られた識別子（ＩＤ）等を使用して、個々の要素を記載することもある。具体的には例えば、ストレージノード１３０Ａを「ストレージノード＃１」、ストレージノード１３０Ｂを「ストレージノード＃２」と記載することがある。
【0020】
（１）第１の実施形態
図１は、本発明の第１の実施形態に係る計算機システム１の概念図である。図１に示した計算機システム１は、複数の計算機（後述するサーバ）をネットワークで結合したストレージシステム１００（ストレージクラスタ１２０）と、ストレージシステム１００を利用する複数の計算機（コンピュートノード１１０）とから構成される。ストレージシステム１００（ストレージクラスタ１２０）の構成は、図２～図４の説明後に改めて詳述する。
図１は、本発明の第１の実施形態に係る計算機システム１の概念図である。図１に示した計算機システム１は、複数の計算機（後述するサーバ）をネットワークで結合したストレージシステム１００（ストレージクラスタ１２０）と、ストレージシステム１００を利用する複数の計算機（コンピュートノード１１０）とから構成される。ストレージシステム１００（ストレージクラスタ１２０）の構成は、図２～図４の説明後に改めて詳述する。
【0021】
図２は、ストレージクラスタ１２０の概念図である。図２に示すように、ストレージクラスタ１２０は、複数のストレージノード１３０とストレージクラスタコントローラ１４０とがネットワークスイッチ１６０で接続されて構成される。ストレージクラスタコントローラ１４０は、ストレージノード１３０の内部で実行されてもよい。図２に示したストレージクラスタの構成は、後述する他の実施形態でも共通する。なお、図１に示したストレージシステム１００では、全体として１つのストレージクラスタ１２０が構成されていることから、ストレージクラスタ１２０をストレージシステム１００と読み替えてもよく、その逆でもよい。
【0022】
図３は、ストレージシステム１００のハードウェア構成例を示す図である。図１にも示したように、ストレージシステム１００は、複数のデータセンタ１０に跨って構成され、各データセンタ１０では、複数のサーバ２０がデータセンタ内ネットワーク（Intra-DC Network）３０で接続される。そして、データセンタ１０間（例えばデータセンタ＃１とデータセンタ＃２の間）が、データセンタ間ネットワーク（Inter-DC Network）４０で接続されることにより、複数のデータセンタ１０が互いに通信可能に接続される。
【0023】
サーバ２０は、プロセッサであるＣＰＵ２１と、ＣＰＵ２１が実行するプログラム及びデータを記憶する主記憶装置であるメモリ２２と、サーバ２０と外部との間の通信機能を有するネットワークインタフェース２３と、プログラム及びデータを記憶する補助記憶装置であるドライブ２４と、を有して構成される。なお、ＣＰＵ２１は、ＣＰＵ（Central Processing Unit）以外のプロセッサであってもよい。１つのストレージノード１３０は１つのサーバ２０に相当する。
【0024】
ストレージクラスタ１２０を構成するストレージノード１３０やストレージクラスタコントローラ１４０は、サーバ２０上で実行される。ストレージクラスタ１２０は、特定のデータセンタ１０内に構成されてもよいし、あるいは複数のデータセンタ１０を跨いで構成されてもよい。具体的には例えば、ストレージクラスタ１２０は、データセンタ１０Ａ内で構成される場合もあれば、データセンタ１０Ａ，１０Ｂ等の複数のデータセンタ１０から構成される場合もある。図３を用いて説明したストレージシステムのハードウェア構成は、後述する他の実施形態でも共通する。
【0025】
図４は、ストレージシステム１００における通信障害を説明するための図である。図４に示すように、クラウド環境を提供するデータセンタ１０Ａ，１０Ｂは、ストレージラック等の複数のラック５０から構成され、複数のネットワーク経路で接続される。ストレージクラスタ１２０に含まれる複数のストレージノード１３０は、異なるラック５０に分散して配置され、それぞれのストレージノード１３０間の接続は異なる経路をとる。
【0026】
ストレージシステム１００は、上記のような通信経路を構成することで、ストレージノード１３０間を接続する通信経路の１つに障害（図４に示した×印）が発生した場合には、データセンタ＃１上のストレージノード１３０とデータセンタ＃２上のストレージノード１３０の一部のみが通信障害となり（すなわち、当該障害が発生した通信経路の通信だけが切断され）、それ以外の通信経路では通信が継続可能となる。図４を用いて説明したストレージシステムの通信経路の構成は、後述する他の実施形態でも共通する。
【0027】
図１を参照しながら、複数の計算機（サーバ２０）をネットワークで結合して構成されるストレージシステム１００（ストレージクラスタ１２０）の構成について、詳しく説明する。
【0028】
図１に示すように、ストレージクラスタ１２０は、ストレージノード１３０Ａ、ストレージノード１３０Ｂ、及びストレージクラスタコントローラ１４０を備える。
【0029】
ストレージノード１３０Ａ（ストレージノード＃１）は、ストレージコントローラ１３１Ａ，１３１Ｃ、及びＩ／Ｏモニタ１３２Ａを有し、データセンタ１０Ａに配置される。ストレージノード１３０Ｂ（ストレージノード＃２）は、ストレージコントローラ１３１Ｂ，１３１Ｄ、及びＩ／Ｏモニタ１３２Ｂを有し、データセンタ１０Ｂに配置される。
【0030】
ストレージクラスタコントローラ１４０は、ストレージクラスタ１２０を全体的に制御するコントローラであって、レイアウトモジュール１４１、タイブレーカ１４２、及びネットワークモニタ３４３を有して構成される。ストレージクラスタコントローラ１４０は、例えば、データセンタ１０Ａ，１０Ｂとは異なるデータセンタ１０上で実行され、データセンタ間ネットワーク４０によって、各データセンタ１０に配置されたストレージノード１３０Ａ，１３０Ｂに接続される。なお、前述したように、ストレージクラスタコントローラ１４０は、データセンタ１０Ａまたはデータセンタ１０Ｂ上で実行される構成であってもよい。その場合、分散アルゴリズムを用いたアプリケーションが、ストレージクラスタ１２０の構成情報や制御命令を、データセンタ１０Ａ，１０Ｂ及び３つ目のデータセンタ１０との間で共有していればよい。
【0031】
ストレージコントローラ１３１は、データセンタ＃１とデータセンタ＃２とを跨ぐように、ストレージコントローラ１３１同士でペア（コントローラペア１３４）を組み、ボリューム１３３を管理する。
【0032】
例えば、コントローラペア１３４Ａ（コントローラペア＃１）は、ストレージコントローラ１３１Ａ（ストレージコントローラ＃１）とストレージコントローラ１３１Ｂ（ストレージコントローラ＃２）から構成され、アクティブ－スタンバイ構成をとる。通常時、ストレージコントローラ＃１がアクティブ状態で、ボリューム１３３Ａ，１３３Ｂ（ボリューム＃１，＃２）を管理する。ストレージコントローラ＃２は、通常時はスタンバイ状態で待機しており、ペア相手のストレージコントローラ＃１が停止した場合に、アクティブ状態となって、ボリューム＃１，＃２の管理を引き継ぐ。同様に、コントローラペア１３４Ｂ（コントローラペア＃２）を構成するストレージコントローラ１３１Ｃ（ストレージコントローラ＃３）とストレージコントローラ１３１Ｄ（ストレージコントローラ＃４）も、アクティブ－スタンバイ構成をとる。通常時、ストレージコントローラ＃４がアクティブ状態で、ボリューム１３３Ｃ（ボリューム＃３）を管理する。ストレージコントローラ＃３は、通常時はスタンバイ状態で待機しており、ペア相手のストレージコントローラ＃４が停止した場合に、アクティブ状態となって、ボリューム＃３の管理を引き継ぐ。
【0033】
コンピュートノード１１０Ａ（コンピュートノード＃１）は、ストレージシステム１００を利用するアプリケーションであり、データセンタ１０Ａ上で動作する。図１に示すように、コンピュートノード１１０Ａとストレージシステム１００は、データセンタ内パス１５１Ａ及びデータセンタ間パス１５２Ａで接続されており、これらのパスを経由して、コンピュートノード１１０Ａからボリューム１３３（１３３Ａ，１３３Ｂ，１３３Ｃ）へのアクセスが実施可能となっている。
【0034】
コンピュートノード１１０Ｂ（コンピュートノード＃２）は、ストレージシステム１００を利用するアプリケーションであり、データセンタ１０Ｂ上で動作する。図１に示すように、コンピュートノード１１０Ｂとストレージシステム１００は、データセンタ内パス１５１Ｂ及びデータセンタ間パス１５２Ｂで接続されており、これらのパスを経由して、コンピュートノード１１０Ｂからボリューム１３３（１３３Ａ，１３３Ｂ，１３３Ｃ）へのアクセスが実施可能となっている。
【0035】
データセンタ内パス１５１は、同一のデータセンタ１０内における通信経路であり、コンピュートノード１１０からのボリューム１３３へのアクセスが、データセンタ内パス１５１だけを経由するデータセンタ内通信である場合、クラウド環境における課金は発生しない。
【0036】
データセンタ間パス１５２は、異なるデータセンタ１０間の通信経路であり、コンピュートノード１１０からのボリューム１３３へのアクセスが、データセンタ間パス１５２を経由するデータセンタ間通信である場合、例えば通信量に応じて、クラウド環境における課金が発生する。
【0037】
図５は、ストレージシステム１００におけるＩ／Ｏのログ情報の収集を説明するための概念図である。
【0038】
図５に示したように、データセンタ＃１に配置されたストレージコントローラ＃１は、コンピュートノード１１０Ａ，１１０Ｂから自身が管理するボリューム１３３（ボリューム＃１またはボリューム＃２）に対してＩ／Ｏが来た場合に、当該Ｉ／Ｏのログ情報をＩ／Ｏモニタ＃１に送る。そしてＩ／Ｏモニタ＃１は、受け取ったＩ／Ｏのログ情報とストレージクラスタコントローラ１４０のレイアウトモジュール１４１の情報とを用いて、当該Ｉ／Ｏがデータセンタ内通信であるかデータセンタ間通信であるかを判定した上で、Ｉ／Ｏのログ情報を記録する。
【0039】
同様に、データセンタ＃２に配置されたストレージコントローラ＃２は、コンピュートノード１１０Ａ，１１０Ｂから自身が管理するボリューム１３３（ボリューム＃３）に対してＩ／Ｏが来た場合に、当該Ｉ／Ｏのログ情報をＩ／Ｏモニタ＃２に送る。そしてＩ／Ｏモニタ＃２は、受け取ったＩ／Ｏのログ情報とストレージクラスタコントローラ１４０のレイアウトモジュール１４１の情報とを用いて、当該Ｉ／Ｏがデータセンタ内通信であるかデータセンタ間通信であるかを判定した上で、Ｉ／Ｏのログ情報を記録する。
【0040】
上記のように構成することにより、各ストレージノード１３０では、ストレージコントローラ１３１と連携して、Ｉ／Ｏモニタ１３２が、ボリューム１３３に対するＩ／Ｏのログ情報を蓄積して保持することができる（Ｉ／Ｏ統計情報）。
【0041】
図６は、第１の実施形態における通信障害制御の概念図である。通信障害制御は、通信障害の発生時に実施される制御を意味し、以後、障害制御とも称する。図６に示したストレージクラスタ１２０の状態は、ストレージノード＃１とストレージノード＃２との通信経路に障害が発生したことにより、コントローラペア＃１とコントローラペア＃２が切断された状態である。このようにコントローラペア間が通信不可になった場合、第１の実施形態に係るストレージシステム１００は、ストレージノード＃１あるいはストレージノード＃２に属するストレージコントローラ１３１を全て停止し、ストレージノード＃１あるいはストレージノード＃２を停止した状態とする。
【0042】
より具体的に、通信障害発生時の制御を説明する。上記のような通信障害が発生したとき、まず、ストレージクラスタコントローラ１４０上で動作するネットワークモニタ１４３が、コントローラペア＃１及びコントローラペア＃２が通信不可になったことを検知し、タイブレーカ１４２に、関係するストレージコントローラ１３１の停止を要求する。
【0043】
次に、タイブレーカ１４２は、レイアウトモジュール１４１からストレージシステム１００の構成情報を取得し、さらにＩ／Ｏモニタ＃１，＃２からストレージコントローラ＃１，＃４（切断されたコントローラペア１３４におけるアクティブ状態のストレージコントローラ１３１）のＩ／Ｏ統計情報を取得する。
【0044】
そしてタイブレーカ１４２は、取得したこれらの情報に基づいて、ストレージノード＃１，＃２を停止した後のデータセンタ間通信量（スループット）が最小となるように、ストレージコントローラ１３１の停止方法を決定し、決定した停止方法に沿った制御をストレージクラスタコントローラ１４０に依頼する。例えば図６の場合、タイブレーカ１４２は、ストレージノード＃２を停止するとデータセンタ間通信量（スループット）が最小になると判断し、その判断結果に従って、ストレージノード＃２が有するストレージコントローラ＃２，＃４の停止を、ストレージクラスタコントローラ１４０に依頼する。
【0045】
そしてストレージクラスタコントローラ１４０は、タイブレーカ１４２からの依頼に従って、ストレージコントローラ１３１を停止する制御を実施し、通信不可となったコントローラペアの一方が属するストレージノード１３０（本例ではストレージノード＃２）を停止する。この結果、図６に示すように、コントローラペア＃１においては、スタンバイ状態にあったストレージコントローラ＃２が停止し、ストレージコントローラ＃１はアクティブ状態で動作（ボリューム＃１，＃２の管理）を継続する。また、コントローラペア＃２においては、アクティブ状態にあったストレージコントローラ＃４が停止し、ストレージコントローラ＃３がスタンバイ状態からアクティブ状態となって、ボリューム＃３の管理を引き継ぐ。
【0046】
上述した通信障害制御の結果、ストレージシステム１００に対するコンピュートノード＃１のパスはデータセンタ内パス１５１Ａとなり、ストレージシステム１００に対するコンピュートノード＃２のパスはデータセンタ間パス１５２Ｂとなる。このとき、Ｉ／Ｏ処理に伴う２つのパスの通信量を比較すると、データセンタ内パス１５１Ａの通信量の方が、データセンタ間パス１５２の通信量よりも大きくなり、データセンタ間パス１５２を経由するデータセンタ間通信で発生する課金が最小化される。
【0047】
図７は、レイアウトモジュール１４１の構成例を示す図である。図７に示すように、レイアウトモジュール１４１は、レイアウト更新器２１１、ストレージコントローラレイアウトテーブル２１２、コントローラペアレイアウトテーブル２１３、及びコンピュートノードレイアウトテーブル２１４を有して構成される。
【0048】
ストレージコントローラレイアウトテーブル２１２は、ストレージコントローラ１３１の配置情報を管理するデータであって、ストレージクラスタ１２０の構成情報を保持している構成ファイル２２０から、ストレージコントローラ１３１の配置情報を入力として受け取り、これを保持する。ストレージコントローラレイアウトテーブル２１２が保持しているストレージコントローラ１３１の配置情報が更新されると、レイアウトモジュール１４１は、タイブレーカ１４２及びＩ／Ｏモニタ１３２に対して、更新された情報を送る。なお、構成ファイル２２０の記憶場所は、例えばストレージクラスタコントローラ１４０内であるが、特に限定されない。
【0049】
図８は、ストレージコントローラレイアウトテーブル２１２の一例を示す図である。図８の場合、ストレージコントローラレイアウトテーブル２１２は、個々のデータセンタ１０に割り振られた識別子（データセンタＩＤ）を示すデータセンタＩＤ２１２１と、個々のストレージノード１３０に割り振られた識別子（ストレージノードＩＤ）を示すストレージノードＩＤ２１２２と、個々のストレージコントローラ１３１に割り振られた識別子（ストレージコントローラＩＤ）を示すストレージコントローラＩＤ２１２３と、から構成される。これらの情報は、構成ファイル２２０から取得することでき、ストレージコントローラ１３１が所属しているストレージノード１３０及びデータセンタ１０を知ることができる。
【0050】
コントローラペアレイアウトテーブル２１３は、コントローラペア１３４に関する情報を管理するデータであって、ストレージクラスタ１２０の構成情報を保持している構成ファイル２２０から、コントローラペア１３４に関する情報を入力として受け取り、これを保持する。コントローラペアレイアウトテーブル２１３が保持しているコントローラペア１３４の情報が更新されると、レイアウトモジュール１４１は、タイブレーカ１４２に対して、更新された情報を送る。
【0051】
図９は、コントローラペアレイアウトテーブル２１３の一例を示す図である。図９の場合、コントローラペアレイアウトテーブル２１３は、個々のコントローラペア１３４に割り振られた識別子（コントローラペアＩＤ）を示すコントローラペアＩＤ２１３１と、コントローラペア１３４においてアクティブ状態であるストレージコントローラ１３１のストレージコントローラＩＤを示すアクティブストレージコントローラＩＤ２１３２と、コントローラペア１３４においてスタンバイ状態であるストレージコントローラ１３１のストレージコントローラＩＤを示すスタンバイストレージコントローラＩＤ２１３３と、から構成される。これらの情報は、構成ファイル２２０から取得することができ、コントローラペア１３４を構成するストレージコントローラ１３１とその状態（アクティブ状態あるいはスタンバイ状態）を知ることができる。
【0052】
コンピュートノードレイアウトテーブル２１４は、コンピュートノード１１０の配置情報を管理するデータであって、レイアウト更新器２１１から、コンピュートノード１１０の配置情報を入力として受け取り、これを保持する。コンピュートノードレイアウトテーブル２１４が保持しているコンピュートノード１１０の配置情報が更新されると、レイアウトモジュール１４１は、Ｉ／Ｏモニタ１３２に対して、更新された情報を送る。
【0053】
レイアウト更新器２１１は、コンピュートノードレイアウトテーブル２１４が保持するコンピュートノード１１０の配置情報を更新する機能を有する。レイアウト更新器２１１は、ソフトウェアでもハードウェアでもよい。レイアウト更新器２１１は、ユーザによる入力操作が可能なユーザインタフェース２３０から、コンピュートノードＩＤ（コンピュートノード１１０の識別子）とインスタンスＩＤの入力を受け取り、データセンタ基盤２４０にコンピュートノード１１０の配置情報（コンピュートノード１１０が所属するデータセンタ１０の情報）を問い合わせ、これらの処理結果を、コンピュートノードレイアウトテーブル２１４に送る。なお、レイアウト更新器２１１がデータセンタ基盤２４０に問い合わせて得た情報が、ユーザインタフェース２３０からユーザ側に提供されるように構成されてもよい。後述する図１１には、ユーザインタフェース２３０によってユーザに提供される、コンピュートノード情報の登録画面の一例が示される。
【0054】
なお、インスタンスＩＤとは、データセンタ基盤２４０におけるサーバ管理情報を指し、コンピュートノード１１０等を実行するサーバや、当該サーバ上で実行される仮想マシンに、インスタンスＩＤが付されている。また、データセンタ基盤２４０は、データセンタ１０が提供するクラウド上の機能である。
【0055】
図１０は、コンピュートノードレイアウトテーブル２１４の一例を示す図である。図１０の場合、コンピュートノードレイアウトテーブル２１４は、データセンタＩＤを示すデータセンタＩＤ２１４１と、個別のコンピュートノード１１０に割り振られた識別子（コンピュートノードＩＤ）を示すコンピュートノードＩＤ２１４２と、から構成される。これらの情報は、前述したようにユーザインタフェース２３０及びデータセンタ基盤２４０からレイアウト更新器２１１を介して取得することができ、コンピュートノード１１０が所属しているデータセンタ１０を知ることができる。
【0056】
図１１は、コンピュートノード情報の登録画面の一例を示す図である。図１１に示した登録画面２８０は、ユーザインタフェース２３０によってユーザに提供される情報入力用の画面であって、ストレージクラスタ１２０にネットワークを経由して接続されたディスプレイ等に表示される。登録画面２８０においてユーザによる所定の操作が行われることによって、コンピュートノード１１０に関する情報が追加入力されて、レイアウトモジュール１４１のコンピュートノードレイアウトテーブル２１４が保持する情報が更新される。
【0057】
図１１に示した登録画面２８０は、コンピュートノードＩＤを入力する入力欄２８１と、インスタンスＩＤを入力する入力欄２８２と、コンピュートノード１１０が所属するデータセンタ１０のデータセンタＩＤを検索するための検索ボタン２８３と、検索ボタン２８３の操作を経てデータセンタＩＤが表示される出力欄２８４と、対象行の入出力内容を削除するための削除ボタン２８５と、登録画面２８０に表示された入出力内容に基づくコンピュートノード１１０の配置情報を、コンピュートノードレイアウトテーブル２１４に適用（登録）するための適用ボタン２８６と、を有して構成される。
【0058】
登録画面２８０では、ユーザが、入力欄２８１，２８２にコンピュートノードＩＤ及びインスタンスＩＤを入力した後、検索ボタン２８３を押下すると、レイアウト更新器２１１が、インスタンスＩＤを利用してデータセンタ基盤２４０に問い合わせることにより、コンピュートノード１１０の配置情報（データセンタＩＤ）が得られて、出力欄２８４に表示される。そして、ユーザが適用ボタン２８６を押下すると、レイアウト更新器２１１が、登録画面２８０に表示された入出力内容（コンピュートノードＩＤとデータセンタＩＤ）を合わせて、コンピュートノードレイアウトテーブル２１４に送信し、情報が適用（登録）される。
【0059】
図１２は、Ｉ／Ｏモニタ１３２の構成例を示す図である。図１２に示すように、Ｉ／Ｏモニタ１３２は、Ｉ／Ｏレコーダ２５１、統計モジュール２５２、データセンタ内Ｉ／Ｏテーブル２５３、及びデータセンタ間Ｉ／Ｏテーブル２５４を有して構成される。
【0060】
Ｉ／Ｏレコーダ２５１は、ストレージコントローラ１３１から受信したＩ／Ｏログについて、Ｉ／Ｏがデータセンタ内通信であるかデータセンタ間通信であるかを識別し、識別結果に応じたテーブルにＩ／Ｏログを送信する機能を有する。Ｉ／Ｏレコーダ２５１は、ソフトウェアでもハードウェアでもよい。
【0061】
詳しく説明すると、Ｉ／Ｏレコーダ２５１は、まず、レイアウトモジュール１４１からストレージコントローラレイアウトテーブル２１２及びコンピュートノードレイアウトテーブル２１４の情報を受け取り、保存しておく。
【0062】
Ｉ／Ｏレコーダ２５１は、ストレージコントローラ１３１からＩ／Ｏログ（Ｉ／Ｏログ２６１）を受信すると、ストレージコントローラレイアウトテーブル２１２のストレージコントローラＩＤ２１２３と、コンピュートノードレイアウトテーブル２１４のコンピュートノードＩＤ２１４２とを参照することにより、Ｉ／Ｏがデータセンタ内通信で処理されたか、データセンタ間通信で処理されたかを識別する。Ｉ／Ｏログには、例えば図１２に示すＩ／Ｏログ２６１のように、ストレージコントローラＩＤ、コンピュートノードＩＤ、及びＩ／Ｏサイズが含まれる。
【0063】
そしてＩ／Ｏレコーダ２５１は、上記識別の結果に応じて、データセンタ内通信で処理されたＩ／Ｏの場合には、Ｉ／Ｏログをデータセンタ内Ｉ／Ｏテーブル２５３に送り、データセンタ間通信で処理されたＩ／Ｏの場合には、Ｉ／Ｏログをデータセンタ間Ｉ／Ｏテーブル２５４に送る。後述する図１４には、上記したＩ／Ｏレコーダ２５１による処理（通信特性記録処理）の詳細が示される。
【0064】
データセンタ内Ｉ／Ｏテーブル２５３は、Ｉ／Ｏレコーダ２５１から受信した、データセンタ内通信で処理されたＩ／Ｏのログ情報を記録する（図１３に示すＩ／Ｏ情報記録２５５を参照）。データセンタ内Ｉ／Ｏテーブル２５３は、ストレージコントローラＩＤごとに、Ｉ／Ｏサイズをインクリメントして保持する。また、データセンタ内Ｉ／Ｏテーブル２５３は、統計モジュール２５２からリセット信号を受信した場合には、保持していたＩ／Ｏサイズをゼロにリセットする。
【0065】
データセンタ間Ｉ／Ｏテーブル２５４は、Ｉ／Ｏレコーダ２５１から受信した、データセンタ間通信で処理されたＩ／Ｏのログ情報を記録する。データセンタ間Ｉ／Ｏテーブル２５４は、ストレージコントローラＩＤごとに、Ｉ／Ｏサイズをインクリメントして保持する。また、データセンタ間Ｉ／Ｏテーブル２５４は、統計モジュール２５２からリセット信号を受信した場合には、保持していたＩ／Ｏサイズをゼロにリセットする。
【0066】
統計モジュール２５２は、タイブレーカ１４２からの要求に応じて、指定されたストレージコントローラＩＤに対応するＩ／Ｏ統計情報（データセンタ内通信のＩ／Ｏ通信量とデータセンタ間通信のＩ／Ｏ通信量）を応答する機能を有するプログラムである。
【0067】
詳しく説明すると、統計モジュール２５２は、タイブレーカ１４２からストレージコントローラＩＤを受信すると、当該ストレージコントローラＩＤに対応するＩ／Ｏサイズを、データセンタ内Ｉ／Ｏテーブル２５３とデータセンタ間Ｉ／Ｏテーブル２５４からそれぞれ読み出す。
【0068】
そして、統計モジュール２５２は、読み出したそれぞれのＩ／Ｏサイズを、各テーブルが前回リセットされた時からの経過時間で除する（割り算する）ことにより、Ｉ／Ｏ処理に伴うデータセンタ内通信の通信量（スループット）と、Ｉ／Ｏ処理に伴うデータセンタ間通信の通信量（スループット）とに変換し、これらの変換結果を統計情報（Ｉ／Ｏ統計情報２６２）としてタイブレーカ１４２に応答する。図１２に示すように、Ｉ／Ｏ統計情報２６２には、ストレージコントローラＩＤごとに、データセンタ内通信量（データセンタ内Ｉ／Ｏスループット）とデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）とが含まれる。
【0069】
また、統計モジュール２５２は、タイブレーカ１４２からリセットのリクエストを受信したタイミングで、あるいは一定間隔で、データセンタ内Ｉ／Ｏテーブル２５３及びデータセンタ間Ｉ／Ｏテーブル２５４にリセット信号を送り、各テーブルが保持しているＩ／Ｏサイズをゼロリセットさせる。
【0070】
なお、定期的な処理等によってＩ／Ｏサイズをリセットした直後に、タイブレーカ１４２からリセットのリクエストを受信した場合には、Ｉ／Ｏサイズが短時間しか記録されていない状況となってしまい、データセンタ間通信量が最小となるようにストレージコントローラ１３１の停止方法を決定するために十分なＩ／Ｏ統計情報が得られない可能性があることから、一定間隔でリセットする場合には、リセット前のＩ／Ｏサイズを所定期間保持しておくことが好ましい。
【0071】
図１３は、Ｉ／Ｏ情報記録２５５の一例を示す図である。Ｉ／Ｏ情報記録２５５は、データセンタ内Ｉ／Ｏテーブル２５３及びデータセンタ間Ｉ／Ｏテーブル２５４がそれぞれ保持する、Ｉ／Ｏのログ情報を記録したデータである。図１３の場合、Ｉ／Ｏ情報記録２５５は、ストレージコントローラＩＤを示すストレージコントローラＩＤ２５５１と、ストレージコントローラ１３１が処理したＩ／Ｏのデータ量の累計を示すＩ／Ｏサイズ２５５２と、から構成される。Ｉ／Ｏ情報記録２５５（データセンタ内Ｉ／Ｏテーブル２５３、データセンタ間Ｉ／Ｏテーブル２５４）は、ストレージコントローラ１３１単位で、処理したＩ／ＯサイズをインクリメントしてＩ／Ｏサイズ２５５２に保持しておき、統計モジュール２５２からのリセット信号を受け取った場合には、Ｉ／Ｏサイズ２５５２の値をゼロにリセットする。
【0072】
図１４は、第１の実施形態における通信特性記録処理の処理手順例を示すフローチャートである。図１４に示す通信特性記録処理は、ストレージシステム１００におけるストレージコントローラ１３１ごとのＩ／Ｏ処理に伴う通信特性の記録として、Ｉ／Ｏモニタ１３２（特にＩ／Ｏレコーダ２５１）がＩ／Ｏログをデータセンタ内Ｉ／Ｏテーブル２５３またはデータセンタ間Ｉ／Ｏテーブル２５４に記録する処理であって、ストレージコントローラ１３１からＩ／Ｏログを受け取ったことを契機として、処理が開始される。
【0073】
図１４によれば、まず、Ｉ／Ｏモニタ１３２は、Ｉ／Ｏログに含まれるストレージコントローラＩＤに基づいて、当該ストレージコントローラＩＤが示すストレージコントローラ１３１が所属するデータセンタ１０のデータセンタＩＤを確認する（ステップＳ１０１）。ストレージコントローラＩＤからデータセンタＩＤを確認する際は、図８に示したストレージコントローラレイアウトテーブル２１２を参照すればよい。
【0074】
次に、Ｉ／Ｏモニタ１３２は、Ｉ／Ｏログに含まれるコンピュートノードＩＤに基づいて、当該コンピュートノードＩＤが示すコンピュートノード１１０が所属するデータセンタ１０のデータセンタＩＤを確認する（ステップＳ１０２）。コンピュートノードＩＤからデータセンタＩＤを確認する際は、図１０に示したコンピュートノードレイアウトテーブル２１４を参照すればよい。ステップＳ１０１とステップＳ１０２の実行順序は特に限定されず、並行処理されてもよい。
【0075】
次に、Ｉ／Ｏモニタ１３２は、ステップＳ１０１，Ｓ１０２で確認したデータセンタＩＤを比較して、Ｉ／Ｏログに示されるストレージコントローラ１３１とコンピュートノード１１０とが同じデータセンタ１０に所属しているか否かを判定する（ステップＳ１０３）。
【0076】
ステップＳ１０３においてストレージコントローラ１３１とコンピュートノード１１０とが同じデータセンタ１０に所属していると判定した場合（ステップＳ１０３のＹＥＳ）、Ｉ／Ｏモニタ１３２は、処理開始時に受け取ったＩ／Ｏログをデータセンタ内Ｉ／Ｏテーブル２５３に記録し（ステップＳ１０４）、通信特性記録処理を終了する。
【0077】
一方、ステップＳ１０３においてストレージコントローラ１３１とコンピュートノード１１０とが異なるデータセンタ１０に所属していると判定した場合（ステップＳ１０３のＮＯ）、Ｉ／Ｏモニタ１３２は、処理開始時に受け取ったＩ／Ｏログをデータセンタ間Ｉ／Ｏテーブル２５４に記録し（ステップＳ１０５）、通信特性記録処理を終了する。
【0078】
図１５は、タイブレーカ１４２の構成例を示す図である。図１５に示すように、タイブレーカ１４２は、収集器２７１、計算機２７２（２７２Ａ，２７２Ｂ）、及び指示器２７３を有して構成される。これらの各構成要素は、ソフトウェアで実現されてもよいしハードウェアで実現されてもよい。
【0079】
収集器２７１は、レイアウトモジュール１４１からコントローラペアレイアウトテーブル２１３の情報を受け取って保持しておく機能を有し、さらに、ネットワークモニタ１４３から障害制御が必要なコントローラペアＩＤを受け取った場合に、以下のような処理を行う機能を有する。
【0080】
収集器２７１は、ストレージノード間の通信障害を検知したネットワークモニタ１４３から、障害制御が必要なコントローラペアＩＤを２つ受け取った場合に、アクティブ状態のストレージコントローラＩＤに対するＩ／Ｏ統計情報をＩ／Ｏモニタ１３２Ａ，１３２Ｂに問い合わせる。そして収集器２７１は、Ｉ／Ｏモニタ１３２Ａ，１３２Ｂから問い合わせたＩ／Ｏ統計情報（図１２に示したＩ／Ｏ統計情報２６２）を受け取ると、その情報を計算機２７２Ａ，２７２Ｂに送信する。
【0081】
具体例として、図１５には、収集器２７１が、ネットワークモニタ１４３からコントローラペアＩＤ＃１とコントローラペアＩＤ＃２を受け取り、アクティブ状態のストレージコントローラのＩＤとしてストレージコントローラＩＤ＃１とストレージコントローラＩＤ＃４を認識し、ストレージコントローラＩＤ＃１についてのＩ／Ｏ統計情報をＩ／Ｏモニタ１３２Ａに問い合わせ、ストレージコントローラＩＤ＃４についてのＩ／Ｏ統計情報をＩ／Ｏモニタ１３２Ｂに問い合わせることが示されている。
【0082】
計算機２７２（２７２Ａ，２７２Ｂ）は、Ｉ／Ｏ統計情報に基づいて、障害制御の対象となるストレージコントローラ１３１が停止した場合のデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）を計算し、指示器２７３に送信する機能を有する。
【0083】
具体的には、図１５の場合、計算機２７２Ａは、ストレージコントローラＩＤ＃１のストレージコントローラ（図１に示したストレージコントローラ＃１）が停止した場合のデータセンタ間通信量（図１５の「Ｔ１」）を計算するために、Ｉ／Ｏ統計情報を参照して、ストレージコントローラＩＤ＃１におけるデータセンタ内通信のＩ／Ｏスループットと、ストレージコントローラＩＤ＃４におけるデータセンタ間通信のＩ／Ｏスループットとを加算する。また、計算機２７２Ｂは、ストレージコントローラＩＤ＃４のストレージコントローラ（図１に示したストレージコントローラ＃４）が停止した場合のデータセンタ間通信量（図１５の「Ｔ２」）を計算するために、Ｉ／Ｏ統計情報を参照して、ストレージコントローラＩＤ＃４におけるデータセンタ内通信のＩ／Ｏスループットと、ストレージコントローラＩＤ＃１におけるデータセンタ間通信のＩ／Ｏスループットとを加算する。
【0084】
指示器２７３は、レイアウトモジュール１４１からストレージコントローラレイアウトテーブル２１２及びコントローラペアレイアウトテーブル２１３の情報を受け取り保持しておく機能を有し、さらに、計算機２７２Ａ，２７２Ｂからアクティブ状態のストレージコントローラが停止した場合のデータセンタ間スループットの計算結果（図１５のＴ１，Ｔ２）を受信した場合に、以下のような処理を行う機能を有する。
【0085】
指示器２７３は、計算機２７２Ａから受け取ったデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）Ｔ１と計算機２７２Ｂから受け取ったデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）Ｔ２とを比較し、データセンタ間通信量（スループット）が小さくなるようにストレージコントローラ１３１の停止を判断し、その判断結果に応じてストレージクラスタコントローラ１４０に対象のストレージコントローラ１３１の停止を依頼する。
【0086】
図１５に示した具体例では、Ｔ１の値が大きい場合（Ｔ１≧Ｔ２）、指示器２７３は、ストレージコントローラＩＤ＃４が所属するストレージノード（ストレージノード＃２）のストレージコントローラ１３１を全て停止することを決定する。一方、Ｔ２の値が大きい場合（Ｔ１＜Ｔ２）、指示器２７３は、ストレージコントローラＩＤ＃１が所属するストレージノード（ストレージノード＃１）のストレージコントローラ１３１を全て停止することを決定する。Ｔ１の値が大きい場合の制御結果は、前述した図６で例示した状態に相当し、具体的には、ストレージノード＃２（ストレージノード１３０Ｂ）に所属するストレージコントローラ＃２，＃４（ストレージコントローラ１３１Ｂ，１３１Ｄ）が停止される。
【0087】
図１６は、第１の実施形態における通信障害に対する制御方法決定処理の処理手順例を示すフローチャートである。図１６に示す制御方法決定処理は、タイブレーカ１４２が実行する処理であって、タイブレーカ１４２が、ストレージノード間の通信障害を検知したネットワークモニタ１４３から、障害制御が必要なコントローラペアＩＤを２つ受け取ったことを契機として、処理が開始される。
【0088】
図１５によればまず、タイブレーカ１４２の収集器２７１が、ネットワークモニタ１４３から受信した２つのコントローラペアＩＤから、アクティブ状態のストレージコントローラＩＤを抽出する（ステップＳ２０１）。ステップＳ２０１において、収集器２７１は、受信したコントローラペアＩＤをキーとして、コントローラペアレイアウトテーブル２１３から対応するアクティブストレージコントローラＩＤ２１３２を取得することにより、アクティブ状態のストレージコントローラＩＤを抽出することができる。本説明では、ストレージコントローラ＃１に対応するストレージコントローラＩＤ＃１として「ＳＣ００１」が抽出され、ストレージコントローラ＃４に対応するストレージコントローラＩＤ＃４として「ＳＣ００４」が抽出されたとする。
【0089】
次に、収集器２７１は、Ｉ／Ｏモニタ１３２に問い合わせて、ステップＳ２０１で抽出したストレージコントローラＩＤに対応する２つのストレージコントローラ１３１の通信特性の情報（Ｉ／Ｏ統計情報２６２）を取得する（ステップＳ２０２）。そして収集器２７１は、取得した２つのストレージコントローラ１３１（ストレージコントローラＩＤ＃１，＃４）のＩ／Ｏ統計情報２６２を、計算機２７２Ａ，２７２Ｂに送信する。
【0090】
次に、計算機２７２Ａが、ステップＳ２０２で受信したＩ／Ｏ統計情報２６２を用いて、１つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ（例えばストレージコントローラ＃１）が停止した場合に想定されるデータセンタ間通信の通信量「Ｔ１」を計算する（ステップＳ２０３）。「Ｔ１」の計算方法は、図１５を参照して行った計算機２７２Ａの説明で述べた通りである。
【0091】
次に、計算機２７２Ｂが、ステップＳ２０２で受信したＩ／Ｏ統計情報２６２を用いて、２つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ（例えばストレージコントローラ＃４）が停止した場合想定されるデータセンタ間通信の通信量「Ｔ２」を計算する（ステップＳ２０４）。「Ｔ２」の計算方法は、図１５を参照して行った計算機２７２Ｂの説明で述べた通りである。
【0092】
そして、計算機２７２Ａは、ステップＳ２０３で算出したデータセンタ間通信量「Ｔ１」を指示器２７３に送信し、計算機２７２Ｂは、ステップＳ２０４で算出したデータセンタ間通信量「Ｔ２」を指示器２７３に送信する。なお、ステップＳ２０３とステップＳ２０４の実行順序は特に限定されず、並行処理されてもよい。
【0093】
次に、指示器２７３は、算出されたデータセンタ間通信量「Ｔ１」の値とデータセンタ間通信量「Ｔ２」の値とを比較し（ステップＳ２０５）、Ｔ１の値がＴ２の値以上であるか否かを判定する（ステップＳ２０６）。Ｔ１の値がＴ２の値以上である場合は（ステップＳ２０６のＹＥＳ）、ステップＳ２０７に進み、Ｔ１の値がＴ２の値未満である場合は（ステップＳ２０６のＮＯ）、ステップＳ２０８に進む。
【0094】
ここで、「Ｔ１≧Ｔ２」の関係は、２つのストレージコントローラペアのうち、１つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ＃１を停止した場合に、２つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ＃４を停止した場合よりも、Ｉ／Ｏ処理に伴ってデータセンタ１０間で発生するデータセンタ間通信量が大きくなってしまう、ことを意味する。
【0095】
そこで、ステップＳ２０６において「Ｔ１≧Ｔ２」である場合（ステップＳ２０６のＹＥＳ）、指示器２７３は、障害制御後（すなわち、ストレージコントローラ停止後）のデータセンタ間通信量が小さくなるような制御方法として、２つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ＃４が所属するストレージノード＃２について、その全てのストレージコントローラ１３１（ストレージコントローラ＃２，＃４）を停止することを決定し、この決定に沿った制御をストレージクラスタコントローラ１４０に依頼して（ステップＳ２０７）、制御方法決定処理を終了する。
【0096】
一方、「Ｔ１＜Ｔ２」の関係は、２つのストレージコントローラペアのうち、２つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ＃４を停止した場合に、１つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ＃１を停止した場合よりも、Ｉ／Ｏ処理に伴ってデータセンタ１０間で発生するデータセンタ間通信量が大きくなってしまう、ことを意味する。
【0097】
そこで、ステップＳ２０６において「Ｔ１＜Ｔ２」である場合（ステップＳ２０６のＮＯ）、指示器２７３は、障害制御後（すなわち、ストレージコントローラ停止後）のデータセンタ間通信量が小さくなるような制御方法として、１つ目のコントローラペアにおけるアクティブ状態のストレージコントローラ＃１が所属するストレージノード＃１について、その全てのストレージコントローラ１３１（ストレージコントローラ＃１，＃３）を停止することを決定し、この決定に沿った制御をストレージクラスタコントローラ１４０に依頼して（ステップＳ２０８）、制御方法決定処理を終了する。
【0098】
以上のように、図１４に示した通信特性記録処理と、図１６に示した制御方法決定処理とが実行されることにより、本実施形態に係る計算機システム１では、異なるデータセンタ１０のストレージノード１３０に所属するストレージコントローラ１３１の間で形成されたストレージコントローラペアであって、各ペアにおけるアクティブ状態のストレージコントローラ１３１が異なるデータセンタ１０のストレージノード１３０に所属する、２つのストレージコントローラペア（図６のコントローラペア＃１，＃２）において、コントローラペア間の通信障害が発生した場合に、Ｉ／Ｏ処理に伴うデータセンタ間の通信量（スループット）を小さく抑えるように、何れかのストレージノード１３０に所属するすべてのストレージコントローラ１３１を停止する障害制御方法を決定することができる。そして、決定された障害制御方法に従ってストレージクラスタコントローラ１４０がストレージコントローラ１３１を停止する際、停止対象となるアクティブ状態のストレージコントローラ１３１によるボリューム１３３の管理は、ストレージコントローラペアのスタンバイ状態のストレージコントローラ１３１がアクティブ状態となって引き継がれる。そして、障害制御の実行後、停止されたストレージコントローラ１３１へＩ／Ｏを行っていたアプリケーションは、その処理を引き継いだストレージコントローラ１３１へＩ／Ｏを送る。この結果、図６の概念図を参照しながら説明したように、ストレージシステム１００は、１以上のコンピュートノード１１０からのＩ／Ｏ要求に対して、データセンタ間パス１５２を経由するデータセンタ間通信の通信量を抑制しながら、１つのデータセンタ１０内に配置されたストレージコントローラ１３１で対応することができ、Ｉ／Ｏ処理に伴う課金の発生及びレスポンスの増加を抑制する障害制御を実現することができる。
【0099】
ところで、図１や図５に例示したストレージシステム１００の構成では、ストレージクラスタ１２０を構成するストレージノード１３０は、データセンタ１０ごとに１つが配置されていたが、本実施形態に係るストレージシステム１００は、データセンタ１０ごとに配置されるストレージノード１３０の数が限定されるものではなく、各データセンタ１０に複数のストレージノード１３０が配置されるものであってもよい。このように構成されたストレージシステム１００を含む計算機システムについて、第１の実施形態の変形例として図１７～図１８を参照しながら説明する。
【0100】
【0101】
図１７に示すように、ストレージクラスタ２９０は、それぞれのデータセンタ１０Ａ，１０Ｂに複数が配置されたストレージノード１３０と、１つのストレージクラスタコントローラ１４０とを備えて構成される。より具体的には、図１７の場合は、データセンタ１０Ａ（データセンタ＃１）において、少なくともストレージノード１３０Ａ（ストレージノード＃１）及びストレージノード１３０Ｃ（ストレージノード＃３）が動作し、データセンタ１０Ｂ（データセンタ＃２）において、少なくともストレージノード１３０Ｂ（ストレージノード＃２）及びストレージノード１３０Ｄ（ストレージノード＃４）が動作する構成が示されている。なお、さらに多くのストレージノード１３０がストレージクラスタ２９０（ストレージシステム１００）に属してもよい。
【0102】
また、ストレージクラスタ２９０において１つのデータセンタ１０に複数のストレージノード１３０を含む場合であっても、図１に示したストレージクラスタ１２０と同様に、異なるデータセンタ１０に跨るコントローラペア１３４は、特定のストレージノード１３０の間でのみ構成される。具体的には図１７の場合、データセンタ＃１に配置されたストレージノード＃１が有するストレージコントローラ１３１は、データセンタ＃２に配置されたストレージノード＃２が有するストレージコントローラ１３１と、コントローラペア１３４Ａ，１３４Ｂ（コントローラペア＃１，＃２）を組んでおり、データセンタ＃１に配置されたストレージノード＃３が有するストレージコントローラ１３１は、データセンタ＃２に配置されたストレージノード＃４が有するストレージコントローラ１３１と、コントローラペア１３４Ｃ，１３４Ｄ（コントローラペア＃３，＃４）を組んでいる。
【0103】
図１８は、図１７に示したストレージクラスタ２９０における通信障害を説明するための図である。図１８に示したストレージクラスタ２９０では、ストレージノード＃１とストレージノード＃２の間の通信経路に障害が発生し、コントローラペア＃１，＃２が切断されている。さらに、ストレージノード＃３とストレージノード＃４の間の通信経路にも障害が発生し、コントローラペア＃３，＃４が切断されている。
【0104】
図１８のような通信障害が発生したとき、ストレージクラスタ２９０は、コントローラペア１３４を組んでいる２つのストレージノード単位で障害制御を実施する。したがって、ストレージクラスタ２９０では、ストレージノード＃１とストレージノード＃２を対象とする障害制御と、ストレージノード＃３とストレージノード＃４を対象とする障害制御とを独立して実施することができる。それぞれの障害制御の詳細は、図１５及び図１６を参照して前述した障害制御と同様と考えてよいため、説明を省略する。
【0105】
したがって、各データセンタ１０に複数のストレージノード１３０が配置される第１の実施形態の変形例の構成であっても、前述した第１の実施形態のストレージシステム１００と同様の効果を得ることができる。
【0106】
（２）第２の実施形態
第２の実施形態では、ストレージクラスタ３２０とクォーラムディスク（Quorum Disk）３３０を備えて構成されるストレージシステム３００を説明する。なお、第２の実施形態の説明では、第１の実施形態との相違点を中心に説明する。そのため、第２の実施形態において第１の実施形態と同様の構成については、同一の符号を付す等して説明を適宜省略する。また、個々の構成による処理についても、第１の実施形態における処理と同様のものは、説明を適宜省略する。
第２の実施形態では、ストレージクラスタ３２０とクォーラムディスク（Quorum Disk）３３０を備えて構成されるストレージシステム３００を説明する。なお、第２の実施形態の説明では、第１の実施形態との相違点を中心に説明する。そのため、第２の実施形態において第１の実施形態と同様の構成については、同一の符号を付す等して説明を適宜省略する。また、個々の構成による処理についても、第１の実施形態における処理と同様のものは、説明を適宜省略する。
【0107】
図１９は、本発明の第２の実施形態に係る計算機システム２の概念図である。図１９に示した計算機システム２は、複数の計算機（サーバ２０）をネットワークで結合したストレージシステム３００と、ストレージシステム３００を利用する複数の計算機（コンピュートノード１１０）とから構成される。
【0108】
ストレージシステム３００は、ストレージクラスタ３２０Ａ（ストレージクラスタ＃１）と、ストレージクラスタ３２０Ｂ（ストレージクラスタ＃２）と、クォーラムディスク（Quorum Disk）３３０と、を備えて構成される。なお、図１９には図示していないが、各ストレージクラスタ３２０は、第１の実施形態に示したストレージクラスタ１２０，２９０と同様に、１以上のストレージノードを含むと考えてよい。
【0109】
ストレージクラスタ＃１は、ストレージコントローラ３２１Ａ（ストレージコントローラ＃１）、Ｉ／Ｏモニタ３２２Ａ（Ｉ／Ｏモニタ＃１）、及びストレージクラスタコントローラ３４０Ａ（ストレージクラスタコントローラ＃１）を備え、データセンタ１０Ａ（データセンタ＃１）上に配置される。
【0110】
ストレージクラスタ＃２は、ストレージコントローラ３２１Ｂ（ストレージコントローラ＃２）、Ｉ／Ｏモニタ３２２Ｂ（Ｉ／Ｏモニタ＃２）、及びストレージクラスタコントローラ３４０Ｂ（ストレージクラスタコントローラ＃２）を備え、データセンタ１０Ｂ（データセンタ＃２）上に配置される。
【0111】
クォーラムディスク３３０は、データセンタ＃１及びデータセンタ＃２からアクセス可能な情報記録機能を有する記録媒体であって、レイアウトテーブル３３１、ボリュームステートテーブル３３２、及びＩ／Ｏステートテーブル３３３を有して構成される。なお、クォーラムディスク３３０は、サーバ２０上で実行されるノードが保持する構成であってもよい。
【0112】
ストレージコントローラ＃１は、ボリューム３２３Ａ（ボリューム＃１）及びボリューム３２３Ｃ（ボリューム＃３）を管理しており、ストレージコントローラ＃２は、ボリューム３２３Ｂ（ボリューム＃２）及びボリューム３２３Ｄ（ボリューム＃４）を管理している。ストレージシステム３００において、異なるストレージクラスタ３２０に配置された２つのボリューム３２３はペアを組む（ボリュームペア３２４）。ボリュームペア３２４を構成する２つのボリューム３２３は、同じデータを保持しており、アクティブ－アクティブ状態で動作する。具体的には例えば、ボリューム＃１とボリューム＃２は、ボリュームペア３２４Ａ（ボリュームペア＃１）を組んで、同じデータを保持する。ボリューム＃１とボリューム＃２は、どちらにＩ／Ｏアクセスが行われてもよく、書き込み結果は２つのボリューム間で同期される。同様に、ボリューム＃３とボリューム＃４は、ボリュームペア３２４Ｂ（ボリュームペア＃２）を組んで、同じデータを保持する。
【0113】
ストレージクラスタコントローラ３４０は、ストレージクラスタ３２０ごとに設けられて、自身が所属するストレージクラスタ３２０を全体的に制御するコントローラである。ストレージクラスタコントローラ＃１は、レイアウトモジュール３４１Ａ、タイブレーカ３４２Ａ、ネットワークモニタ３４３Ａ、及びステートチェッカ３４４Ａを有して構成される。同様に、ストレージクラスタコントローラ＃２は、レイアウトモジュール３４１Ｂ、タイブレーカ３４２Ｂ、ネットワークモニタ３４３Ｂ、及びステートチェッカ３４４Ｂを有して構成される。ステートチェッカ３４４は、定期的にクォーラムディスク３３０のボリュームステートテーブル３３２を監視し、当該テーブルに変更があった場合は、その状態に応じた制御を自ストレージクラスタコントローラ３４０に依頼する機能を有する。
【0114】
図１９におけるコンピュートノード１１０Ａ（コンピュートノード＃１）は、ストレージシステム３００を利用するアプリケーションであり、データセンタ＃１上で動作する。図１９に示すように、コンピュートノード＃１とストレージシステム３００は、データセンタ内パス１５１Ａ及びデータセンタ間パス１５２Ａで接続されており、これらのパスを経由して、コンピュートノード＃１からボリューム３２３（３２３Ａ，３２３Ｂ，３２３Ｃ，３２３Ｄ）へのアクセスが実施可能となっている。
【0115】
図１９におけるコンピュートノード１１０Ｂ（コンピュートノード＃２）は、ストレージシステム３００を利用するアプリケーションであり、データセンタ＃２上で動作する。図１９に示すように、コンピュートノード＃２とストレージシステム３００は、データセンタ内パス１５１Ｂ及びデータセンタ間パス１５２Ｂで接続されており、これらのパスを経由して、コンピュートノード＃２からボリューム３２３（３２３Ａ，３２３Ｂ，３２３Ｃ，３２３Ｄ）へのアクセスが実施可能となっている。
【0116】
図２０は、ストレージシステム３００におけるＩ／Ｏのログ情報の収集を説明するための概念図である。
【0117】
図２０に示したように、データセンタ＃１に配置されたストレージコントローラ＃１は、コンピュートノード１１０Ａ，１１０Ｂから自身が管理するボリューム３２３（ボリューム＃１またはボリューム＃３）に対してＩ／Ｏが来た場合に、当該Ｉ／Ｏのログ情報をＩ／Ｏモニタ＃１に送る。
【0118】
そしてＩ／Ｏモニタ＃１は、受け取ったＩ／Ｏのログ情報とストレージクラスタコントローラ＃１のレイアウトモジュール３４１Ａの情報とを用いて、当該Ｉ／Ｏがデータセンタ内通信であるかデータセンタ間通信であるかを判定した上で、Ｉ／Ｏのログ情報を記録する。さらにＩ／Ｏモニタ＃１は、記録したＩ／Ｏのログ情報をＩ／Ｏステートテーブル３３３にも書き込む。また、Ｉ／Ｏモニタ＃１は、Ｉ／Ｏステートテーブル３３３の情報を定期的に監視し、変更があった場合にはその差分を取得して自身に記録する。
【0119】
一方、データセンタ＃２に配置されたストレージコントローラ＃２は、図２０に示したように、ストレージクラスタ＃２上においてストレージコントローラ＃１と同様の動作を行い、ストレージコントローラ＃２からＩ／Ｏのログ情報を受け取ったＩ／Ｏモニタ＃２は、Ｉ／Ｏモニタ＃１と同様の動作を行う。したがって、Ｉ／Ｏモニタ＃１とＩ／Ｏモニタ＃２は、Ｉ／Ｏステートテーブル３３３を介して、同じ情報を共有する。
【0120】
図２０に示したように、ストレージクラスタコントローラ＃１上で動作するレイアウトモジュール３４１Ａは、Ｉ／Ｏモニタ＃１に対してボリューム３２３及びコンピュートノード１１０のデータセンタ配置情報を送る機能を有する。この情報に変更があった場合、レイアウトモジュール３４１Ａは、レイアウトテーブル３３１にも情報を書き込む。また、レイアウトモジュール３４１Ａは、レイアウトテーブル３３１を定期的に監視し、変更があった場合にはその差分を取得して記録する。
【0121】
一方、ストレージクラスタコントローラ＃２上で動作するレイアウトモジュール３４１Ｂは、図２０に示したように、ストレージクラスタ＃２上においてレイアウトモジュール３４１Ａと同様の動作を行う。したがって、ストレージクラスタコントローラ＃１のレイアウトモジュール３４１Ａとストレージクラスタコントローラ＃２のレイアウトモジュール３４１Ｂは、レイアウトテーブル３３１を介して、同じレイアウト情報を共有する。
【0122】
図２１は、第２の実施形態における通信障害制御の概念図である。図２１に示したストレージクラスタ３２０の状態は、ストレージノード＃１とストレージノード＃２との通信経路に障害が発生したことにより、ボリュームペア＃１とボリュームペア＃２が切断された状態である。このようにボリュームペア間が通信不可になった場合、ボリューム間の同期ができなくなる。このような状態となった場合、第２の実施形態に係るストレージシステム３００は、切断されたボリュームペアを構築する一方のボリューム（例えばボリューム＃２）を停止して、他方のボリューム（この場合はボリューム＃１）のみでＩ／Ｏの受付を継続する。
【0123】
ストレージシステム３００による障害制御について、上記例を用いて具体的に説明する。上記のような通信障害が発生したとき、まず、ストレージクラスタコントローラ＃１上で動作するネットワークモニタ３４３Ａが、ボリュームペア＃１が通信不可となったことを検知し、タイブレーカ３４２Ａに、関係するボリューム３２３の停止を要求する。
【0124】
次に、タイブレーカ３４２Ａは、レイアウトモジュール３４１Ａからストレージシステム３００の構成情報を取得し、さらにＩ／Ｏモニタ＃１からボリュームペア＃１を構成するボリューム＃１，＃２のＩ／Ｏ統計情報を取得する。
【0125】
そしてタイブレーカ３４２Ａは、取得したこれらの情報に基づいて、ボリュームペア＃１を構成するボリューム＃１，＃２の何れかを停止した後のデータセンタ間通信量（スループット）が最小となるように、ボリュームの停止方法を決定し、決定した停止方法に沿った制御をストレージクラスタコントローラ＃１に依頼するか、決定した停止方法に沿った情報をボリュームステートテーブル３３２に書き込む。例えば図２１の場合、タイブレーカ３４２Ａは、ボリューム＃２を停止すると、その後のデータセンタ間通信量が最小になると判断し、その判断結果に従ってボリューム＃２の停止をボリュームステートテーブル３３２に書き込む。
【0126】
ここで、ストレージクラスタ＃２のストレージクラスタコントローラ＃２上で動作するステートチェッカ３４４Ｂは、定期的にボリュームステートテーブル３３２を監視しており、変更があった場合はその状態に合わせた制御をストレージクラスタコントローラ＃２に依頼する。したがって、上記したようにタイブレーカ３４２Ａがボリューム＃２の停止をボリュームステートテーブル３３２に書き込むと、ステートチェッカ３４４Ｂはこれを認識し、ストレージクラスタコントローラ＃２にボリューム＃２の停止を依頼する。そして依頼を受けたストレージクラスタコントローラ＃２は、ストレージコントローラ＃２を介して、ボリューム＃２を停止する。
【0127】
以上のようにして、第２の実施形態に係る計算機システム２では、通信障害によってボリュームペア＃１が切断された場合に、停止後のデータセンタ間通信量が最小となるように、ボリュームペア＃１を構成するボリュームの何れかを停止することができ、停止しなかった他方のボリューム（本例ではボリューム＃１）のみでＩ／Ｏの受付を継続することができる。なお、ボリュームペア＃２が通信障害によって切断された場合も、同様の処理が行われることにより、ボリュームペア＃２を構成するボリュームの何れか一方を用いてＩ／Ｏの受付を継続することができる。
【0128】
図２２は、レイアウトモジュール３４１の構成例を示す図である。図２２に示すように、レイアウトモジュール３４１は、レイアウト更新器４１１、ボリュームレイアウトテーブル４１２、ボリュームペアレイアウトテーブル４１３、及びコンピュートノードレイアウトテーブル４１４を有して構成される。
【0129】
ボリュームレイアウトテーブル４１２は、ボリューム３２３の構成情報を管理するデータであって、レイアウトテーブル３３１から、ストレージシステム３００が保持しているボリューム３２３の構成情報を読み出し、これを保持する。ボリュームレイアウトテーブル４１２が保持しているボリューム３２３の構成情報が更新されると、レイアウトモジュール３４１は、タイブレーカ３４２及びＩ／Ｏモニタ３２２に対して、更新された情報を送る。
【0130】
図２３は、ボリュームレイアウトテーブル４１２の一例を示す図である。図２３の場合、ボリュームレイアウトテーブル４１２は、個々のデータセンタ１０に割り振られた識別子（データセンタＩＤ）を示すデータセンタＩＤ４１２１と、個々のストレージコントローラ３２１に割り振られた識別子（ストレージコントローラＩＤ）を示すストレージコントローラＩＤ４１２２と、上記ストレージコントローラ３２１が管理するボリュームに割り振られた識別子（ボリュームＩＤ）を示すボリュームＩＤ４１２３と、から構成される。このようなボリュームレイアウトテーブル４１２を参照することにより、ボリューム３２３が所属しているストレージコントローラ３２１とデータセンタ１０を知ることができる。
【0131】
ボリュームペアレイアウトテーブル４１３は、ボリュームペア３２４に関する情報を管理するデータであって、レイアウトテーブル３３１から、ストレージシステム３００が保持しているボリュームペア３２４の構成情報を読み出し、これを保持する。ボリュームペアレイアウトテーブル４１３が保持しているボリュームペア３２４の構成情報が更新されると、レイアウトモジュール３４１は、タイブレーカ３４２に対して、更新された情報を送る。
【0132】
図２４は、ボリュームペアレイアウトテーブル４１３の一例を示す図である。図２４の場合、ボリュームペアレイアウトテーブル４１３は、個々のボリュームペア３２４に割り振られた識別子（ボリュームペアＩＤ）を示すボリュームペアＩＤ４１３１と、ボリュームペア３２４を構成するボリューム３２３のボリュームＩＤを示すボリュームＩＤ４１３２とから構成される。なお、前述した通り、第２の実施形態に係るストレージシステム３００では、ボリュームペア３２４を構成する２つのボリューム３２３はアクティブ－アクティブ状態で動作する。このようなボリュームペアレイアウトテーブル４１３を参照することにより、ボリュームペア３２４を組んでいるボリューム３２３を知ることができる。
【0133】
コンピュートノードレイアウトテーブル４１４は、コンピュートノード１１０の配置情報を管理するデータであって、レイアウト更新器４１１から、コンピュートノード１１０の配置情報を入力として受け取り、これを保持する。コンピュートノードレイアウトテーブル４１４が保持しているコンピュートノード１１０の配置情報が更新されると、レイアウトモジュール３４１は、Ｉ／Ｏモニタ３２２に対して、更新された情報を送る。コンピュートノードレイアウトテーブル４１４のデータ構成は、図１０に示したコンピュートノードレイアウトテーブル２１４と同様であればよく、詳細な説明を省略する。
【0134】
レイアウト更新器４１１は、コンピュートノードレイアウトテーブル４１４が保持するコンピュートノード１１０の配置情報を更新する機能を有する。レイアウト更新器４１１は、ソフトウェアでもハードウェアでもよい。レイアウト更新器４１１は、ユーザによる入力操作が可能なユーザインタフェース２３０から、コンピュートノードＩＤとインスタンスＩＤの入力を受け取り、データセンタ基盤２４０にコンピュートノード１１０の配置情報（コンピュートノード１１０が所属するデータセンタ１０の情報）を問い合わせ、これらの処理結果を、コンピュートノードレイアウトテーブル４１４に送る。さらに、レイアウト更新器４１１は、上記処理結果をレイアウトテーブル３３１に対しても書き込む。なお、レイアウト更新器４１１がデータセンタ基盤２４０に問い合わせて得た情報が、ユーザインタフェース２３０からユーザ側に提供されるように構成されてもよい。また、レイアウト更新器４１１は、定期的にレイアウトテーブル３３１の情報を確認し、変更があった場合は、その差分をコンピュートノードレイアウトテーブル４１４に反映する。
【0135】
図２５は、Ｉ／Ｏモニタ３２２及びＩ／Ｏステートテーブル３３３の構成例を示す図である。図２５に示すように、Ｉ／Ｏモニタ３２２は、Ｉ／Ｏレコーダ４２１及び統計モジュール４２２を有して構成され、Ｉ／Ｏステートテーブル３３３は、データセンタ内Ｉ／Ｏテーブル４３１及びデータセンタ間Ｉ／Ｏテーブル４３２を有して構成される。
【0136】
Ｉ／Ｏレコーダ４２１は、レイアウトモジュール３４１から、ボリュームレイアウトテーブル４１２とコンピュートノードレイアウトテーブル４１４の情報を受け取り、保持することで、ボリューム３２３及びコンピュートノード１１０が所属するデータセンタ１０を識別することができる。Ｉ／Ｏレコーダ４２１は、ストレージコントローラ３２１からＩ／Ｏログを受信すると、ボリュームＩＤ及びコンピュートノードＩＤを用いて、Ｉ／Ｏがデータセンタ内通信で処理されたか、データセンタ間通信で処理されたかを識別する。そしてＩ／Ｏレコーダ４２１は、データセンタ内通信で処理されたＩ／Ｏの場合にはデータセンタ内Ｉ／Ｏテーブル４３１にＩ／Ｏログを送り、データセンタ間通信で処理されたＩ／Ｏの場合にはデータセンタ間Ｉ／Ｏテーブル４３２にＩ／Ｏログを送る。後述する図２７には、上記したＩ／Ｏレコーダ４２１による処理（通信特性記録処理）の詳細が示される。
【0137】
データセンタ内Ｉ／Ｏテーブル４３１及びデータセンタ間Ｉ／Ｏテーブル４３２は、ボリュームＩＤごとに処理したＩ／Ｏサイズをインクリメントして保持する（図２６に示すＩ／Ｏ情報記録４３３を参照）。また、データセンタ内Ｉ／Ｏテーブル４３１及びデータセンタ間Ｉ／Ｏテーブル４３２は、統計モジュール４２２からリセット信号を受信した場合には、保持していたＩ／Ｏサイズをゼロにリセットする。
【0138】
統計モジュール４２２は、タイブレーカ３４２からの要求に応じて、指定されたボリュームＩＤに対応するＩ／Ｏ統計情報（データセンタ内通信のＩ／Ｏ通信量とデータセンタ間通信のＩ／Ｏ通信量）を応答する機能を有するプログラムである。
【0139】
詳しく説明すると、統計モジュール４２２は、タイブレーカ３４２からボリュームＩＤを受け取ると、データセンタ内Ｉ／Ｏテーブル４３１とデータセンタ間Ｉ／Ｏテーブル４３２から当該ボリュームＩＤに対応するＩ／Ｏサイズを読み出す。そして、統計モジュール４２２は、読み出したそれぞれのＩ／Ｏサイズを、各テーブルが前回リセットされた時からの経過時間で除する（割り算する）ことにより、Ｉ／Ｏ処理に伴うデータセンタ内通信の通信量（スループット）と、Ｉ／Ｏ処理に伴うデータセンタ間通信の通信量（スループット）とに変換し、これらの変換結果を統計情報（Ｉ／Ｏ統計情報４４２）としてタイブレーカ３４２に応答する。
【0140】
また、統計モジュール４２２は、タイブレーカ３４２からリセットのリクエストを受信したタイミングで、あるいは一定間隔で、データセンタ内Ｉ／Ｏテーブル４３１及びデータセンタ間Ｉ／Ｏテーブル４３２にリセット信号を送り、各テーブルが保持しているＩ／Ｏサイズをゼロリセットさせる。なお、定期的な処理等によってＩ／Ｏサイズをリセットした直後に、タイブレーカ３４２からリセットのリクエストを受信した場合には、Ｉ／Ｏサイズが短時間しか記録されていない状況となってしまい、データセンタ間通信量が最小となるようにボリューム３２３の停止方法を決定するために十分なＩ／Ｏ統計情報が得られない可能性があることから、一定間隔でリセットする場合には、リセット前のＩ／Ｏサイズを所定期間保持しておくことが好ましい。
【0141】
図２６は、Ｉ／Ｏ情報記録４３３の一例を示す図である。Ｉ／Ｏ情報記録４３３は、データセンタ内Ｉ／Ｏテーブル４３１及びデータセンタ間Ｉ／Ｏテーブル４３２がそれぞれ保持する、Ｉ／Ｏのログ情報を記録したデータである。図２６の場合、Ｉ／Ｏ情報記録４３３は、ボリュームＩＤを示すボリュームＩＤ４３３１と、当該ボリュームにおけるＩ／Ｏのデータ量の累計を示すＩ／Ｏサイズ４３３２と、から構成される。Ｉ／Ｏ情報記録４３３（データセンタ内Ｉ／Ｏテーブル４３１、データセンタ間Ｉ／Ｏテーブル４３２）は、ボリューム３２３単位で、処理したＩ／ＯサイズをインクリメントしてＩ／Ｏサイズ４３３２に保持しておき、統計モジュール４２２からのリセット信号を受け取った場合には、Ｉ／Ｏサイズ４３３２の値をゼロにリセットする。
【0142】
図２７は、第２の実施形態における通信特性記録処理の処理手順例を示すフローチャートである。図２７に示す通信特性記録処理は、ストレージシステム３００におけるボリューム３２３ごとのＩ／Ｏ処理に伴う通信特性の記録として、Ｉ／Ｏモニタ３２２（特にＩ／Ｏレコーダ４２１）がＩ／Ｏログをデータセンタ内Ｉ／Ｏテーブル４３１またはデータセンタ間Ｉ／Ｏテーブル４３２に記録する処理であって、ストレージコントローラ３２１からＩ／Ｏログを受け取ったことを契機として、処理が開始される。
【0143】
図２７によれば、まず、Ｉ／Ｏモニタ３２２は、Ｉ／Ｏログに含まれるボリュームＩＤに基づいて、当該ボリュームＩＤが示すボリューム３２３が所属するデータセンタ１０のデータセンタＩＤを確認する（ステップＳ３０１）。ボリュームＩＤからデータセンタＩＤを確認する際は、図２３に示したボリュームレイアウトテーブル４１２を参照すればよい。
【0144】
次に、Ｉ／Ｏモニタ３２２は、Ｉ／Ｏログに含まれるコンピュートノードＩＤに基づいて、当該コンピュートノードＩＤが示すコンピュートノード１１０が所属するデータセンタ１０のデータセンタＩＤを確認する（ステップＳ３０２）。コンピュートノードＩＤからデータセンタＩＤを確認する際は、コンピュートノードレイアウトテーブル４１４を参照すればよい。ステップＳ３０１とステップＳ３０２の実行順序は特に限定されず、並行処理されてもよい。
【0145】
次に、Ｉ／Ｏモニタ３２２は、ステップＳ３０１，Ｓ３０２で確認したデータセンタＩＤを比較して、Ｉ／Ｏログに示されるボリューム３２３とコンピュートノード１１０とが同じデータセンタ１０に所属しているか否かを判定する（ステップＳ３０３）。
【0146】
ステップＳ３０３においてボリューム３２３とコンピュートノード１１０とが同じデータセンタ１０に所属していると判定した場合（ステップＳ３０３のＹＥＳ）、Ｉ／Ｏモニタ３２２は、処理開始時に受け取ったＩ／Ｏログをデータセンタ内Ｉ／Ｏテーブル４３１に記録し（ステップＳ３０４）、通信特性記録処理を終了する。
【0147】
一方、ステップＳ３０３においてボリューム３２３とコンピュートノード１１０とが異なるデータセンタ１０に所属していると判定した場合（ステップＳ３０３のＮＯ）、Ｉ／Ｏモニタ３２２は、処理開始時に受け取ったＩ／Ｏログをデータセンタ間Ｉ／Ｏテーブル４３２に記録し（ステップＳ３０５）、通信特性記録処理を終了する。
【0148】
【0149】
収集器４５１は、レイアウトモジュール３４１からボリュームペアレイアウトテーブル４１３の情報を受け取って保持しておく機能を有し、さらに、ネットワークモニタ３４３から障害制御が必要なボリュームペアＩＤを受け取った場合に、以下のような処理を行う機能を有する。
【0150】
収集器４５１は、ボリュームペア３２４間の通信障害を検知したネットワークモニタ３４３から障害制御が必要なボリュームペアＩＤを受け取った場合に、そのボリュームペアＩＤに基づいてペアを組んでいる２つのボリューム３２３を識別し、当該各ボリューム３２３のＩ／Ｏ統計情報をＩ／Ｏモニタ３２２に問い合わせる。そして収集器４５１は、Ｉ／Ｏモニタ３２２から問い合わせたＩ／Ｏ統計情報（図２５に示したＩ／Ｏ統計情報４４２）を受け取ると、その情報を計算機４５２Ａ，４５２Ｂに送信する。
【0151】
計算機４５２（４５２Ａ，４５２Ｂ）は、Ｉ／Ｏ統計情報に基づいて、障害制御の対象となるボリューム３２３が停止した場合のデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）を計算し、指示器４５３に送信する機能を有する。
【0152】
具体的には、図２８の場合、計算機４５２Ａは、ボリュームペアを組む１つ目のボリューム（本例では、ボリューム＃１）が停止した場合のデータセンタ間通信量（図２８の「Ｔ１」）を計算するために、Ｉ／Ｏ統計情報を参照して、ボリュームＩＤ＃１におけるデータセンタ内通信のＩ／Ｏスループットと、ボリュームＩＤ＃２におけるデータセンタ間通信のＩ／Ｏスループットとを加算する。また、計算機４５２Ｂは、ボリュームペアを組む２つ目のボリューム（本例では、ボリューム＃２）が停止した場合のデータセンタ間通信量（図２８の「Ｔ２」）を計算するために、Ｉ／Ｏ統計情報を参照して、ボリュームＩＤ＃２におけるデータセンタ内通信のＩ／Ｏスループットと、ボリュームＩＤ＃１におけるデータセンタ間通信のＩ／Ｏスループットとを加算する。
【0153】
指示器４５３は、レイアウトモジュール３４１からボリュームレイアウトテーブル４１２及びボリュームペアレイアウトテーブル４１３の情報を受け取り保持しておく機能を有し、さらに、計算機４５２Ａ，４５２Ｂからボリュームペアを構成するボリュームの１つが停止した場合のデータセンタ間スループットの計算結果（図２８のＴ１，Ｔ２）を受信した場合に、以下のような処理を行う機能を有する。
【0154】
指示器４５３は、計算機４５２Ａから受け取ったデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）Ｔ１と計算機４５２Ｂから受け取ったデータセンタ間通信量（データセンタ間Ｉ／Ｏスループット）Ｔ２とを比較し、データセンタ間通信量（スループット）が小さくなるようにボリューム３２３の停止を判断し、その判断結果に応じてストレージクラスタコントローラ３４０に対象のボリューム３２３の停止を依頼する（詳細は、後述する図３０を参照）。さらに、指示器４５３は、ボリュームステートテーブル３３２に、対象のボリューム３２３を停止状態とすることを書き込む。
【0155】
図２９は、ボリュームステートテーブル３３２の一例を示す図である。ボリュームステートテーブル３３２は、ボリューム３２３ごとのステート情報を保持するテーブルであって、図２９の場合、ボリュームＩＤを示すボリュームＩＤ３３２１と、ボリュームの状態を示すステート３３２２と、から構成される。ステート３３２２において、ボリュームの状態は、アクティブ状態（「Ａｃｔｉｖｅ」）またはブロック状態（「Ｂｌｏｃｋ」）で示される。アクティブ状態は、当該ボリューム３２３がＩ／Ｏ可能な状態であることを示し、ブロック状態は、当該ボリューム３２３がＩ／Ｏ不可な状態であることを示す。
【0156】
図３０は、第２の実施形態における通信障害に対する制御方法決定処理の処理手順例を示すフローチャートである。図３０に示す制御方法決定処理は、タイブレーカ３４２が実行する処理であって、タイブレーカ３４２が、ボリューム間の通信障害を検知したネットワークモニタ３４３から、障害制御が必要なボリュームペアＩＤを受信したことを契機として、処理が開始される。
【0157】
図３０によればまず、タイブレーカ３４２の収集器４５１が、ネットワークモニタ３４３から受信したボリュームペアＩＤに基づいて、ペアを組んでいる２つのボリューム３２３のボリュームＩＤを抽出する（ステップＳ４０１）。ステップＳ４０１において、収集器４５１は、受信したボリュームペアＩＤをキーとして、ボリュームペアレイアウトテーブル４１３から対応するボリュームＩＤ４１３２を取得することにより、ペアを組む２つのボリューム３２３のボリュームＩＤを抽出することができる。本説明では、図２８等を用いた具体例として、ボリュームペアＩＤ＃１の受信に基づいて、ボリュームＩＤ＃１「Ｖ００１」とボリュームＩＤ＃２「Ｖ００２」が抽出されたとする。
【0158】
次に、収集器４５１は、Ｉ／Ｏモニタ３２２に問い合わせて、ステップＳ４０１で抽出したボリュームＩＤに対応する２つのボリューム３２３の通信特性の情報（Ｉ／Ｏ統計情報４４２）を取得する（ステップＳ４０２）。そして収集器４５１は、取得した２つのボリューム３２３（ボリューム＃１，＃２）のＩ／Ｏ統計情報４４２を、計算機４５２Ａ，４５２Ｂに送信する。
【0159】
次に、計算機４５２Ａが、ステップＳ４０２で受信したＩ／Ｏ統計情報４４２を用いて、通信障害が検知されたボリュームペア３２４における１つ目のボリューム３２３（例えばボリューム＃１）が停止した場合に想定されるデータセンタ間通信の通信量「Ｔ１」を計算する（ステップＳ４０３）。「Ｔ１」の計算方法は、図２８を参照して行った計算機４５２Ａの説明で述べた通りである。
【0160】
次に、計算機４５２Ｂが、ステップＳ４０２で受信したＩ／Ｏ統計情報４４２を用いて、通信障害が検知されたボリュームペア３２４における１つ目のボリューム３２３（例えばボリューム＃２）が停止した場合に想定されるデータセンタ間通信の通信量「Ｔ２」を計算する（ステップＳ４０４）。「Ｔ２」の計算方法は、図２８を参照して行った計算機４５２Ｂの説明で述べた通りである。
【0161】
そして、計算機４５２Ａは、ステップＳ４０３で算出したデータセンタ間通信量「Ｔ１」を指示器４５３に送信し、計算機４５２Ｂは、ステップＳ４０４で算出したデータセンタ間通信量「Ｔ２」を指示器４５３に送信する。なお、ステップＳ４０３とステップＳ４０４の実行順序は特に限定されず、並行処理されてもよい。
【0162】
次に、指示器４５３は、算出されたデータセンタ間通信量「Ｔ１」の値とデータセンタ間通信量「Ｔ２」の値とを比較し（ステップＳ４０５）、Ｔ１の値がＴ２の値以上であるか否かを判定する（ステップＳ４０６）。Ｔ１の値がＴ２の値以上である場合は（ステップＳ４０６のＹＥＳ）、ステップＳ４０７に進み、Ｔ１の値がＴ２の値未満である場合は（ステップＳ４０６のＮＯ）、ステップＳ４０８に進む。
【0163】
ここで、「Ｔ１≧Ｔ２」の関係は、ボリュームペア＃１を構成する２つのボリューム＃１，＃２のうち、１つ目のボリューム＃１を停止した場合に、２つ目のボリューム＃２を停止した場合よりも、Ｉ／Ｏ処理に伴ってデータセンタ１０間で発生するデータセンタ間通信量が大きくなってしまう、ことを意味する。
【0164】
そこで、ステップＳ４０６において「Ｔ１≧Ｔ２」である場合（ステップＳ４０６のＹＥＳ）、指示器４５３は、障害制御後（ボリューム停止後）のデータセンタ間通信量が小さくなるような制御方法として、２つ目のボリューム＃２を停止することを決定し、この決定に沿った制御をストレージクラスタコントローラ３４０に依頼して（あるいは、ボリュームステートテーブル３３２にボリューム＃２（ボリュームＩＤ「Ｖ００２」）を停止状態とすることを書き込み）（ステップＳ４０７）、制御方法決定処理を終了する。
【0165】
一方、「Ｔ１＜Ｔ２」の関係は、ボリュームペア＃１を構成する２つのボリューム＃１，＃２のうち、２つ目のボリューム＃２を停止した場合に、１つ目のボリューム＃１を停止した場合よりも、Ｉ／Ｏ処理に伴ってデータセンタ１０間で発生するデータセンタ間通信量が大きくなってしまう、ことを意味する。
【0166】
そこで、ステップＳ４０６において「Ｔ１＜Ｔ２」である場合（ステップＳ４０６のＮＯ）、指示器４５３は、障害制御後（ボリューム停止後）のデータセンタ間通信量が小さくなるような制御方法として、１つ目のボリューム＃１を停止することを決定し、この決定に沿った制御をストレージクラスタコントローラ３４０に依頼して（あるいは、ボリュームステートテーブル３３２にボリューム＃２（ボリュームＩＤ「Ｖ００２」）を停止状態とすることを書き込み）（ステップＳ４０８）、制御方法決定処理を終了する。
【0167】
以上のように、第２の実施形態に係る計算機システム２では、図２７に示した通信特性記録処理と、図３０に示した制御方法決定処理とが実行されることにより、異なるデータセンタ１０のストレージクラスタ３１０におけるボリューム３２３の間で形成されたボリュームペア３２４において、ボリュームペア間の通信障害が発生した場合に、Ｉ／Ｏ処理に伴うデータセンタ間の通信量（スループット）を小さく抑えるように、当該ボリュームペア３２４を構成する２つのボリューム３２３の一方を停止する障害制御方法を決定することができる。ここで、ボリュームペア３２４を構成する２つのボリューム３２３は、アクティブ－アクティブ状態でデータを同期して動作していたことから、決定された障害制御方法に従ってストレージクラスタコントローラ３４０が一方のボリューム３２３を停止した後も、他方のボリューム３２３がＩ／Ｏアクセスを受け付けることができる。この結果、図２１の概念図を参照しながら説明したように、ストレージシステム３００は、１以上のコンピュートノード１１０からのＩ／Ｏ要求に対して、データセンタ間パス１５２を経由するデータセンタ間通信の通信量を抑制しながら、停止されなかったボリューム３２３で対応することができ、Ｉ／Ｏ処理に伴う課金の発生及びレスポンスの増加を抑制する障害制御を実現することができる。
【0168】
（３）第３の実施形態
第３の実施形態は、第１の実施形態を拡張した実施形態であって、通信障害制御によってストレージコントローラを停止した後の状態において、データセンタ間通信量をさらに削減することができるコンピュートノード１１０の配置方法を提案する機能が追加される。以下の説明では、第１の実施形態に係る構成を基にして、第３の実施形態で固有の構成を中心に説明する。
第３の実施形態は、第１の実施形態を拡張した実施形態であって、通信障害制御によってストレージコントローラを停止した後の状態において、データセンタ間通信量をさらに削減することができるコンピュートノード１１０の配置方法を提案する機能が追加される。以下の説明では、第１の実施形態に係る構成を基にして、第３の実施形態で固有の構成を中心に説明する。
【0169】
【0170】
図３１に示すように、計算機システム３が備えるストレージシステム５００（ストレージクラスタ５２０）は、図１に示した第１の実施形態におけるストレージシステム１００（ストレージクラスタ１２０）の構成との相違点として、ストレージクラスタコントローラ１４０とは内部構成が異なるストレージクラスタコントローラ５４０を備える。また、計算機システム３には、第１の実施形態に係る計算機システム１との相違点として、コンピュートマネージャ５６０が追加される。
【0171】
第３の実施形態におけるストレージクラスタコントローラ５４０は、レイアウトモジュール５４１、タイブレーカ５４２、ネットワークモニタ５４３、及びマイグレーションプロポーザ５４４を有して構成される。このうち、マイグレーションプロポーザ５４４以外の構成は、第１の実施形態におけるストレージクラスタコントローラ１４０が有する同名の構成と同様であるが、タイブレーカ５４２による処理の一部において第１の実施形態とは相違がある。以下に、ストレージクラスタコントローラ５４０の詳細を説明する。
【0172】
タイブレーカ５４２は、コントローラペア１３４における通信障害の発生時に、第１の実施形態におけるタイブレーカ１４２と同様に、ストレージコントローラ１３１の停止方法を決定し、決定したストレージコントローラ１３１を停止する制御をストレージクラスタコントローラ５４０に依頼する。このときタイブレーカ５４２は、停止するアクティブ状態なストレージコントローラのＩＤを、マイグレーションプロポーザ５４４にも受け渡す。
【0173】
具体的には、図３１の場合、タイブレーカ５４２は、ストレージノード＃２に属するストレージコントローラ＃２及びストレージコントローラ＃４を停止することを決定しており、アクティブ状態であるストレージコントローラ＃４のストレージコントローラＩＤ「ＳＣ００４」をマイグレーションプロポーザ５４４に受け渡す。
【0174】
マイグレーションプロポーザ５４４は、所定のストレージコントローラ１３１が停止された後の状態において、データセンタ間通信量をさらに削減することが期待できるコンピュートノード１１０の配置方法を提案する機能を有する。マイグレーションプロポーザ５４４は、タイブレーカ５４２からストレージコントローラＩＤを受け取ると、レイアウトモジュール５４１からストレージシステム５００の構成情報及びコンピュートノード１１０の配置情報を取得する。そしてマイグレーションプロポーザ５４４は、これらの取得した情報に基づいて、障害制御によるストレージコントローラ１３１停止後の状態においてデータセンタ間通信量を削減することが期待されるコンピュートノード１１０の配置方法を演算し、この配置方法をコンピュートマネージャ５６０に提案する。
【0175】
コンピュートマネージャ５６０は、コンピュートノード１１０の配置及び動作を制御する機構である。コンピュートマネージャ５６０は、マイグレーションプロポーザ５４４からコンピュートノードの配置方法の提案を受け取ると、その提案を実施するか否かを判断する。判断は、予め用意されたプログラムに基づいて実施されてもよいし、ユーザによる判断を受け付けるようにしてもよい。そして、提案の実施を決定した場合には、コンピュートマネージャ５６０は、当該提案の内容に沿ってコンピュートノード１１０の配置を変更する。
【0176】
具体的には、図３１の場合、コンピュートマネージャ５６０は、コンピュートノード＃１（コンピュートノード１１０Ａ）とコンピュートノード＃２（コンピュートノード１１０Ｂ）を制御している。通信障害が発生して障害制御が実施される前の状態においては、コンピュートノード＃１はデータセンタ１０Ａに配置され、コンピュートノード＃２はデータセンタ＃２に配置されていた。その後、障害制御によってデータセンタ＃２内のストレージコントローラ＃２，＃４が停止された後、マイグレーションプロポーザ５４４から、データセンタ間通信量をさらに削減する配置方法として、コンピュートノード＃２をデータセンタ＃１に配置することが提案される。この提案を受けてコンピュートマネージャ５６０は、データセンタ＃２に配置されていたコンピュートノード＃２をデータセンタ＃１に移動している。
【0177】
上記のようにコンピュートマネージャ５６０によってコンピュートノード１１０の配置制御が行われた結果、データセンタ＃１にコンピュートノード＃１，＃２が配置される。このような状態となることで、ストレージシステム５００では、図３１に示すようにストレージクラスタ５２０（ストレージシステム５００）に対するコンピュートノード＃１，＃２のパスはデータセンタ＃１内のデータセンタ内パス５５１Ａ，５５１Ｂのみとなり、データセンタ間通信をゼロにすることができる。
【0178】
図３２は、マイグレーションプロポーザ５４４の構成例を示す図である。図３２に示すように、マイグレーションプロポーザ５４４は、データセンタ検索器６１１（個別には、データセンタ検索器６１１Ａとデータセンタ検索器６１１Ｂ）、コンピュートノード検索器６１２、ストレージコントローラ検索器６１３、プロポーザル生成器６１４、及びフィルタ６１５を有して構成される。
【0179】
データセンタ検索器６１１は、レイアウトモジュール５４１からストレージコントローラレイアウトテーブルの情報を受け取り、保持している。レイアウトモジュール５４１の内部構成は、第１の実施形態で図７に示したレイアウトモジュール１４１と同様であると考えてよく、その内部には、レイアウト更新器２１１、ストレージコントローラレイアウトテーブル２１２、コントローラペアレイアウトテーブル２１３、及びコンピュートノードレイアウトテーブル２１４を有する。したがって、データセンタ検索器６１１が受け取るストレージコントローラレイアウトテーブルの情報は、図７や図８に示したストレージコントローラレイアウトテーブル２１２の情報と考えてよい。データセンタ検索器６１１は、タイブレーカ５４２からストレージコントローラＩＤ（図３２に示す「ＳＣ ＩＤ（Ａｃｔｉｖｅ）」を入力として受け取ると、保持しているストレージコントローラレイアウトテーブルを用いて、入力されたストレージコントローラＩＤが示すストレージコントローラ１３１が配置されているデータセンタ１０のデータセンタＩＤを検索して出力する（図３２に示す「ＤＣ ＩＤ」）。
【0180】
コンピュートノード検索器６１２は、レイアウトモジュール５４１からコンピュートノードレイアウトテーブル（例えば、図１０に示したコンピュートノードレイアウトテーブル２１４）の情報を受け取り、保持している。コンピュートノード検索器６１２は、データセンタ検索器６１１からデータセンタＩＤ（図３２に示す「ＤＣ ＩＤ」）を入力として受け取ると、コンピュートノードレイアウトテーブルを用いて、入力されたデータセンタＩＤが示すデータセンタ１０に配置されているすべてのコンピュートノード１１０のコンピュートノードＩＤを検索してリストとして出力する（図３２に示す「ＣＮ ＩＤ」）。
【0181】
ストレージコントローラ検索器６１３は、レイアウトモジュール５４１からコントローラペアレイアウトテーブル（例えば、図９に示したコントローラペアレイアウトテーブル２１３）の情報を受け取り、保持している。ストレージコントローラ検索器６１３は、タイブレーカ５４２からストレージコントローラＩＤ（図３２に示す「ＳＣ ＩＤ（Ａｃｔｉｖｅ）」を入力として受け取ると、保持しているコントローラペアレイアウトテーブルを用いて、入力されたストレージコントローラＩＤが示すストレージコントローラ１３１がペアを組んでいるコントローラペア１３４における他方のストレージコントローラ１３１のストレージコントローラＩＤを検索して出力する（図３２に示す「ＳＣ ＩＤ（Ｓｔａｎｄｂｙ）」）。
【0182】
上記のような内部構成を有するマイグレーションプロポーザ５４４は、タイブレーカ５４２から入力としてアクティブ状態のストレージコントローラＩＤを１つ受け取ると、データセンタ検索器６１１Ａとコンピュートノード検索器６１２を用いて、受け取ったストレージコントローラＩＤが示すストレージコントローラ１３１と同じデータセンタ１０に所属するコンピュートノード１１０のＩＤリストを取得する。このコンピュートノードＩＤのリストは、マイグレーションプロポーザ５４４が提案する配置方法において移動させるべきコンピュートノード１１０を含むリストであって、内部的にはプロポーザル生成器６１４への入力となる。
【0183】
さらに、マイグレーションプロポーザ５４４は、タイブレーカ５４２から入力として受け取ったアクティブ状態のストレージコントローラＩＤについて、ストレージコントローラ検索器６１３とデータセンタ検索器６１１Ｂを用いて、当該ストレージコントローラＩＤが示すストレージコントローラ１３１とペアを組む他方のストレージコントローラ１３１が所属するデータセンタ１０のＩＤを取得する。このデータセンタＩＤは、マイグレーションプロポーザ５４４が提案する配置方法においてコンピュートノード１１０の移動先となるデータセンタ１０のＩＤであって、内部的にはプロポーザル生成器６１４への入力となる。
【0184】
次に、上記のようにしてプロポーザル生成器６１４にコンピュートノードＩＤのリスト「ＣＤ ＩＮ」とデータセンタＩＤ「ＤＣ ＩＤ」とが入力された後の、マイグレーションプロポーザ５４４内部での処理を説明する。
【0185】
プロポーザル生成器６１４は、入力されたコンピュートノードＩＤのリストとデータセンタＩＤとに基づいて、コンピュートノード１１０を移動させる提案を生成し、フィルタ６１５に出力する。具体的には例えば、コンピュートノードＩＤのリストが「ＣＮ００２（コンピュートノードＩＤ＃２）」で構成され、データセンタＩＤが「ＤＣ００１（データセンタＩＤ＃１）」であったとすると、「コンピュートノード＃２をデータセンタ＃１に移動させる」という提案が生成される。
【0186】
フィルタ６１５は、プロポーザル生成器６１４が生成した提案をコンピュートマネージャ５６０に受け渡すか否かを判断する。初期状態ではフィルタ６１５はオフ状態（Ｆｉｌｔｅｒ ＯＦＦ）であり、オフ状態のフィルタ６１５は、提案をコンピュートマネージャ５６０に受け渡す。一方、一度コンピュートマネージャ５６０に提案を受け渡した場合は、フィルタ６１５はオン状態（Ｆｉｌｔｅｒ ＯＮ）となり、オン状態のフィルタ６１５は、それ以降の提案をすべて（次にオフ状態に変わるまでは）コンピュートマネージャ５６０に受け渡すことなく却下する。
【0187】
フィルタ６１５によってプロポーザル生成器６１４の提案を却下する理由は、ストレージコントローラ１３１を停止する制御が実施されている間に、コンピュートノード１１０の配置変更を複数回に渡って提案すると、コンピュートノード１１０が定位置にとどまらない可能性があるためである。したがって、２回目以降の提案をフィルタリングすることによって、通信障害時のコンピュートノードの移動を１回に留めている。なお、フィルタ６１５のオン状態は、ストレージクラスタコントローラ５４０から所定の指示が出された場合に、オフ状態に切り替えられる。具体的には、ストレージクラスタコントローラ５４０は、ストレージクラスタ５２０（ストレージシステム５００）が障害から復旧した場合に、フィルタ６１５にオフ状態となることを指示する。
【0188】
以上のように、第３の実施形態に係る計算機システム３では、第１の実施形態に係る計算機システム１と同様に、コントローラペア間で通信障害が発生した場合に、Ｉ／Ｏ処理に伴うデータセンタ間の通信量（スループット）を小さく抑えるように、何れかのストレージノード１３０に所属するすべてのストレージコントローラ１３１を停止する障害制御方法を決定し、決定した障害制御方法に従ってストレージコントローラ１３１を停止することができるだけでなく、さらにデータセンタ間通信量を削減する（ゼロにする）ことができるようにコンピュートノード１１０の配置方法を提案することができる。そして、コンピュートマネージャ５６０は、提案を受け入れた場合にはコンピュートノード１１０の配置を変更することができる。
【0189】
（４）第４の実施形態
第４の実施形態は、第２の実施形態を拡張した実施形態であって、通信障害制御によってボリュームを停止した後の状態において、データセンタ間通信量をさらに削減することができるコンピュートノード１１０の配置方法を提案する機能が追加される。以下の説明では、第２の実施形態に係る構成を基にして、第４の実施形態で固有の構成を中心に説明する。
第４の実施形態は、第２の実施形態を拡張した実施形態であって、通信障害制御によってボリュームを停止した後の状態において、データセンタ間通信量をさらに削減することができるコンピュートノード１１０の配置方法を提案する機能が追加される。以下の説明では、第２の実施形態に係る構成を基にして、第４の実施形態で固有の構成を中心に説明する。
【0190】
【0191】
図３３に示すように、計算機システム４が備えるストレージシステム７００は、図１９に示した第２の実施形態におけるストレージシステム３００の構成との相違点として、ストレージクラスタコントローラ３４０とは内部構成が異なるストレージクラスタコントローラ７４０を備える。また、計算機システム４には、第２の実施形態に係る計算機システム２との相違点として、コンピュートマネージャ７６０が追加される。
【0192】
第４の実施形態におけるストレージクラスタコントローラ７４０は、レイアウトモジュール７４１、タイブレーカ７４２、ネットワークモニタ７４３、ステートチェッカ７４４、及びマイグレーションプロポーザ７４５を有して構成される。このうち、マイグレーションプロポーザ７４５以外の構成は、第２の実施形態におけるストレージクラスタコントローラ３４０が有する同名の構成と同様であるが、タイブレーカ７４２による処理の一部において第２の実施形態とは相違がある。以下に、ストレージクラスタコントローラ７４０の詳細を説明する。
【0193】
タイブレーカ７４２は、ボリュームペア３２４における通信障害の発生時に、第２の実施形態におけるタイブレーカ３４２と同様に、ボリューム３２３の停止方法を決定し、決定したボリューム３２３を停止する制御をストレージクラスタコントローラ７４０に依頼する。このときタイブレーカ７４２は、停止するボリューム３２３のＩＤを、マイグレーションプロポーザ７４５にも受け渡す。
【0194】
具体的には、図３３の場合、ストレージクラスタコントローラ７４０Ａ（ストレージクラスタコントローラ＃１）のタイブレーカ７４２Ａが、ストレージクラスタ＃２に配置されたボリューム＃２及びボリューム＃４を停止することを決定しており、それら２つのボリュームのＩＤ「Ｖ００２」，「Ｖ００４」をマイグレーションプロポーザ７４５に受け渡す。
【0195】
マイグレーションプロポーザ７４５は、所定のボリューム３２３が停止された後の状態において、データセンタ間通信量をさらに削減することが期待できるコンピュートノード１１０の配置方法を提案する機能を有する。マイグレーションプロポーザ７４５は、タイブレーカ７４２からボリュームＩＤを受け取ると、レイアウトモジュール７４１からストレージシステム７００の構成情報及びコンピュートノード１１０の配置情報を取得する。そしてマイグレーションプロポーザ７４５は、これらの取得した情報に基づいて、障害制御によるボリューム３２３停止後の状態においてデータセンタ間通信量を削減することが期待されるコンピュートノード１１０の配置方法を演算し、この配置方法をコンピュートマネージャ７６０に提案する。
【0196】
コンピュートマネージャ７６０は、コンピュートノード１１０の配置及び動作を制御する機構である。コンピュートマネージャ７６０は、マイグレーションプロポーザ７４５からコンピュートノードの配置方法の提案を受け取ると、その提案を実施するか否かを判断する。判断は、予め用意されたプログラムに基づいて実施されてもよいし、ユーザによる判断を受け付けるようにしてもよい。そして、提案の実施を決定した場合には、コンピュートマネージャ７６０は、当該提案の内容に沿ってコンピュートノード１１０の配置を変更する。
【0197】
具体的には、図３３の場合、コンピュートマネージャ７６０は、コンピュートノード＃１（コンピュートノード１１０Ａ）とコンピュートノード＃２（コンピュートノード１１０Ｂ）を制御している。通信障害が発生して障害制御が実施される前の状態においては、コンピュートノード＃１はデータセンタ１０Ａに配置され、コンピュートノード＃２はデータセンタ＃２に配置されていた。その後、障害制御によってデータセンタ＃２内のボリューム＃２，＃４が停止された後、マイグレーションプロポーザ７４５から、データセンタ間通信量をさらに削減する配置方法として、コンピュートノード＃２をデータセンタ＃１に配置することが提案される。この提案を受けてコンピュートマネージャ７６０は、データセンタ＃２に配置されていたコンピュートノード＃２をデータセンタ＃１に移動している。
【0198】
上記のようにコンピュートマネージャ７６０によってコンピュートノード１１０の配置制御が行われた結果、データセンタ＃１にコンピュートノード＃１，＃２が配置される。このような状態となることで、ストレージシステム７００では、図３３に示すようにストレージシステム７００に対するコンピュートノード＃１，＃２のパスはデータセンタ＃１内のデータセンタ内パス７５１Ａ，７５１Ｂのみとなり、データセンタ間通信をゼロにすることができる。
【0199】
図３４は、マイグレーションプロポーザ７４５の構成例を示す図である。図３４に示すように、マイグレーションプロポーザ７４５は、データセンタ検索器８１１（個別には、データセンタ検索器８１１Ａとデータセンタ検索器８１１Ｂ）、コンピュートノード検索器８１２、ボリューム検索器８１３、プロポーザル生成器８１４、及びフィルタ８１５を有して構成される。
【0200】
データセンタ検索器８１１は、レイアウトモジュール７４１からボリュームレイアウトテーブルの情報を受け取り、保持している。レイアウトモジュール７４１の内部構成は、第２の実施形態で図２２に示したレイアウトモジュール３４１と同様であると考えてよく、その内部には、レイアウト更新器４１１、ボリュームレイアウトテーブル４１２、ボリュームペアレイアウトテーブル４１３、及びコンピュートノードレイアウトテーブル４１４を有する。したがって、データセンタ検索器８１１が受け取るボリュームレイアウトテーブルの情報は、図２２や図２３に示したボリュームレイアウトテーブル４１２の情報と考えてよい。データセンタ検索器８１１は、タイブレーカ７４２からボリュームＩＤ（図３４に示す「Ｖｏｌ ＩＤ」を入力として受け取ると、保持しているボリュームレイアウトテーブルを用いて、入力されたボリュームＩＤが示すボリューム３２３が配置されているデータセンタ１０のデータセンタＩＤを検索して出力する（図３４に示す「ＤＣ ＩＤ」）。
【0201】
コンピュートノード検索器８１２は、レイアウトモジュール７４１からコンピュートノードレイアウトテーブル（例えば、図１０に示したコンピュートノードレイアウトテーブル２１４）の情報を受け取り、保持している。コンピュートノード検索器８１２は、データセンタ検索器８１１からデータセンタＩＤ（図３４に示す「ＤＣ ＩＤ」）を入力として受け取ると、コンピュートノードレイアウトテーブルを用いて、入力されたデータセンタＩＤが示すデータセンタ１０に配置されているすべてのコンピュートノード１１０のコンピュートノードＩＤを検索してリストとして出力する（図３４に示す「ＣＮ ＩＤ」）。
【0202】
ボリューム検索器８１３は、レイアウトモジュール７４１からボリュームペアレイアウトテーブル（例えば、図２４に示したボリュームペアレイアウトテーブル４１３）の情報を受け取り、保持している。ボリューム検索器８１３は、タイブレーカ７４２からボリュームＩＤ（図３４に示す「Ｖｏｌ ＩＤ」）を入力として受け取ると、保持しているボリュームペアレイアウトテーブルを用いて、入力されたボリュームＩＤが示すボリューム３２３がペアを組んでいるボリュームペア３２４における他方のボリューム３２３のボリュームＩＤを検索して出力する（図３４に示す「Ｖｏｌ ＩＤ」）。
【0203】
上記のような内部構成を有するマイグレーションプロポーザ７４５は、タイブレーカ７４２から入力としてボリュームＩＤを１つ受け取ると、データセンタ検索器８１１Ａとコンピュートノード検索器８１２を用いて、受け取ったボリュームＩＤが示すボリューム３２３と同じデータセンタ１０に所属するコンピュートノード１１０のＩＤリストを取得する。このコンピュートノードＩＤのリストは、マイグレーションプロポーザ７４５が提案する配置方法において移動させるべきコンピュートノード１１０を含むリストであって、内部的にはプロポーザル生成器８１４への入力となる。
【0204】
さらに、マイグレーションプロポーザ７４５は、タイブレーカ７４２から入力として受け取ったボリュームＩＤについて、ボリューム検索器８１３とデータセンタ検索器６１１Ｂを用いて、当該ボリュームＩＤが示すボリューム３２３とペアを組む他方のボリューム３２３が所属するデータセンタ１０のＩＤを取得する。このデータセンタＩＤは、マイグレーションプロポーザ５４４が提案する配置方法においてコンピュートノード１１０の移動先となるデータセンタ１０のＩＤであって、内部的にはプロポーザル生成器８１４への入力となる。
【0205】
次に、上記のようにしてプロポーザル生成器８１４にコンピュートノードＩＤのリスト「ＣＤ ＩＮ」とデータセンタＩＤ「ＤＣ ＩＤ」とが入力された後の、マイグレーションプロポーザ７４５内部での処理を説明する。
【0206】
プロポーザル生成器８１４は、入力されたコンピュートノードＩＤのリストとデータセンタＩＤとに基づいて、コンピュートノード１１０を移動させる提案を生成し、フィルタ８１５に出力する。具体的には例えば、コンピュートノードＩＤのリストが「ＣＮ００２（コンピュートノードＩＤ＃２）」で構成され、データセンタＩＤが「ＤＣ００１（データセンタＩＤ＃１）」であったとすると、「コンピュートノード＃２をデータセンタ＃１に移動させる」という提案が生成される。
【0207】
フィルタ８１５は、プロポーザル生成器８１４が生成した提案をコンピュートマネージャ７６０に受け渡すか否かを判断する。初期状態ではフィルタ８８５はオフ状態（Ｆｉｌｔｅｒ ＯＦＦ）であり、オフ状態のフィルタ６１５は、提案をコンピュートマネージャ７６０に受け渡す。一方、一度コンピュートマネージャ７６０に提案を受け渡した場合は、フィルタ８１５はオン状態（Ｆｉｌｔｅｒ ＯＮ）となり、オン状態のフィルタ８１５は、それ以降の提案をすべて（次にオフ状態に変わるまでは）コンピュートマネージャ７６０に受け渡すことなく却下する。
【0208】
フィルタ８１５によってプロポーザル生成器８１４の提案を却下する理由は、ボリューム３２３を停止する制御が実施されている間に、コンピュートノード１１０の配置変更を複数回に渡って提案すると、コンピュートノード１１０が定位置にとどまらない可能性があるためである。したがって、２回目以降の提案をフィルタリングすることによって、通信障害時のコンピュートノードの移動を１回に留めている。なお、フィルタ８１５のオン状態は、ストレージクラスタコントローラ７４０から所定の指示が出された場合に、オフ状態に切り替えられる。具体的には、ストレージクラスタコントローラ７４０は、ストレージシステム７００が障害から復旧した場合に、フィルタ８１５にオフ状態となることを指示する。
【0209】
以上のように、第４の実施形態に係る計算機システム４では、第２の実施形態に係る計算機システム２と同様に、ボリュームペア間で通信障害が発生した場合に、Ｉ／Ｏ処理に伴うデータセンタ間の通信量（スループット）を小さく抑えるように、通信障害で切断されたボリュームペアの何れか一方を停止する障害制御方法を決定し、決定した障害制御方法に従ってボリューム３２３を停止することができるだけでなく、さらにデータセンタ間通信量を削減する（ゼロにする）ことができるようにコンピュートノード１１０の配置方法を提案することができる。そして、コンピュートマネージャ７６０は、提案を受け入れた場合にはコンピュートノード１１０の配置を変更することができる。
【0210】
以上、本発明に係る計算機システムについて、様々な実施形態及びその変形例を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、各実施形態を適宜組合わせてもよいし、他の種々の形態でも実行することが可能である。これらの実施形態等で示したように、本発明に係る計算機システムは、複数のデータセンタに配置された各ストレージノード（またはストレージクラスタ）において、ストレージコントローラあるいはボリュームを対象としてアプリケーション（コンピュートノード）とのＩ／Ｏに係る通信特性を収集し記録するＩ／Ｏモニタと、通信障害が発生したときに障害制御を判断する機構（タイブレーカ）とを備える。そして、本ストレージシステムがペア間の通信経路における通信障害を認識した場合には、障害制御の判断機構がＩ／Ｏモニタから通信特性の統計情報を集計し、データセンタ間の通信量が最小となるように、ストレージコントローラあるいはボリュームを停止する障害制御を決定する。このような構成を備えることにより、複数のデータセンタに跨って複数の計算機をネットワークで結合したストレージシステム（例えばクラウド環境で動作するストレージシステム）において通信障害が発生した際に、本ストレージシステムは、上記機構による決定に従って、データセンタ間の通信量が最小となるように障害制御を実施することにより、Ｉ／Ｏ処理に伴う課金の発生（あるいは増加）を抑制することができ、Ｉ／Ｏ処理におけるレスポンスの増加を抑制（最も好適には最小化）することができる。
【符号の説明】
【0211】
１，２，３，４ 計算機システム
１０ データセンタ
２０ サーバ
２１ ＣＰＵ
２２ メモリ
２３ ネットワークインタフェース
２４ ドライブ
３０ データセンタ内ネットワーク
４０ データセンタ間ネットワーク
１００，３００，５００，７００ ストレージシステム
１１０ コンピュートノード
１２０，２９０，３２０，５２０ ストレージクラスタ
１３０ ストレージノード
１３１，３２１ ストレージコントローラ
１３２，３２２ Ｉ／Ｏモニタ
１３３，３２３ ボリューム
１３４ コントローラペア
１４０，３４０，５４０，７４０ ストレージクラスタコントローラ
１４１，３４１，５４１，７４１ レイアウトモジュール
１４２，３４２，５４２，７４２ タイブレーカ
１４３，３４３，５４３，７４３ ネットワークモニタ
１５１，５５１，７５１ データセンタ内パス
１５２ データセンタ間パス
１６０ ネットワークスイッチ
２１１，４１１ レイアウト更新器
２１２ ストレージコントローラレイアウトテーブル
２１３ コントローラペアレイアウトテーブル
２１４，４１４ コンピュートノードレイアウトテーブル
２２０ 構成ファイル
２３０ ユーザインタフェース
２４０ データセンタ基盤
２５１，４２１ Ｉ／Ｏレコーダ
２５２，４２２ 統計モジュール
２５３，４３１ データセンタ内Ｉ／Ｏテーブル
２５４，４３２ データセンタ間Ｉ／Ｏテーブル
２５５，４３３ Ｉ／Ｏ情報記録
２６１，４４１ Ｉ／Ｏログ
２６２，４４２ Ｉ／Ｏ統計情報
２７１，４５１ 収集器
２７２，４５２ 計算機
２７３，４５３ 指示器
２８０ 登録画面
３２４ ボリュームペア
３３０ クォーラムディスク
３３１ レイアウトテーブル
３３２ ボリュームステートテーブル
３３３ Ｉ／Ｏステートテーブル
３４４，７４４ ステートチェッカ
４１２ ボリュームレイアウトテーブル
４１３ ボリュームペアレイアウトテーブル
５６０，７６０ コンピュートマネージャ
６１１，８１１ データセンタ検索器
６１２，８１２ コンピュートノード検索器
６１３ ストレージコントローラ検索器
６１４，８１４ プロポーザル生成器
６１５，８１５ フィルタ
８１３ ボリューム検索器
１０ データセンタ
２０ サーバ
２１ ＣＰＵ
２２ メモリ
２３ ネットワークインタフェース
２４ ドライブ
３０ データセンタ内ネットワーク
４０ データセンタ間ネットワーク
１００，３００，５００，７００ ストレージシステム
１１０ コンピュートノード
１２０，２９０，３２０，５２０ ストレージクラスタ
１３０ ストレージノード
１３１，３２１ ストレージコントローラ
１３２，３２２ Ｉ／Ｏモニタ
１３３，３２３ ボリューム
１３４ コントローラペア
１４０，３４０，５４０，７４０ ストレージクラスタコントローラ
１４１，３４１，５４１，７４１ レイアウトモジュール
１４２，３４２，５４２，７４２ タイブレーカ
１４３，３４３，５４３，７４３ ネットワークモニタ
１５１，５５１，７５１ データセンタ内パス
１５２ データセンタ間パス
１６０ ネットワークスイッチ
２１１，４１１ レイアウト更新器
２１２ ストレージコントローラレイアウトテーブル
２１３ コントローラペアレイアウトテーブル
２１４，４１４ コンピュートノードレイアウトテーブル
２２０ 構成ファイル
２３０ ユーザインタフェース
２４０ データセンタ基盤
２５１，４２１ Ｉ／Ｏレコーダ
２５２，４２２ 統計モジュール
２５３，４３１ データセンタ内Ｉ／Ｏテーブル
２５４，４３２ データセンタ間Ｉ／Ｏテーブル
２５５，４３３ Ｉ／Ｏ情報記録
２６１，４４１ Ｉ／Ｏログ
２６２，４４２ Ｉ／Ｏ統計情報
２７１，４５１ 収集器
２７２，４５２ 計算機
２７３，４５３ 指示器
２８０ 登録画面
３２４ ボリュームペア
３３０ クォーラムディスク
３３１ レイアウトテーブル
３３２ ボリュームステートテーブル
３３３ Ｉ／Ｏステートテーブル
３４４，７４４ ステートチェッカ
４１２ ボリュームレイアウトテーブル
４１３ ボリュームペアレイアウトテーブル
５６０，７６０ コンピュートマネージャ
６１１，８１１ データセンタ検索器
６１２，８１２ コンピュートノード検索器
６１３ ストレージコントローラ検索器
６１４，８１４ プロポーザル生成器
６１５，８１５ フィルタ
８１３ ボリューム検索器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】