ホーム > 特許ランキング > 日立ヴァンタラ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122175
(43)【公開日】2024-09-09
(54)【発明の名称】ストレージシステム及び通信パス制御方法
(51)【国際特許分類】
G06F 3/06 20060101AFI20240902BHJP
G06F 13/10 20060101ALI20240902BHJP
【ＦＩ】
G06F3/06 304B
G06F13/10 340A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023029573
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】山本 貴大
(72)【発明者】
【氏名】吉田 美里
(72)【発明者】
【氏名】大平 良徳
(57)【要約】 （修正有）
【課題】ストレージシステムの正サイトと副サイトとでリモートコピーペアを作成するにあたり、ストレージシステムの運用コストを低減し、さらに、リモートコピー処理を実行する際の性能への悪影響を防止する。
【解決手段】ストレージシステム１０１において、正ボリューム（ＰＶＯＬ）から副ボリューム（ＳＶＯＬ）へのリモートコピーの通信パスを設定する場合に、正サイト（サイト２０１ａ）のストレージノードは、副サイト（サイト２０１ｂ）のディスカバリノード（ノード２１０ｚ）に、正ボリュームとペアを組む副ボリュームを有するノードのノード情報を問い合わせ、正ボリュームオーナノード（ノード２１０ｘ）は、ディスカバリノードから取得されたノード情報に基づいて、副ボリュームオーナノード（ノード２１０ｙ）との間に、正ボリュームから副ボリュームへのボリュームデータのリモートコピーに用いる通信パス１０４を設定する。
【選択図】図１
【解決手段】ストレージシステム１０１において、正ボリューム（ＰＶＯＬ）から副ボリューム（ＳＶＯＬ）へのリモートコピーの通信パスを設定する場合に、正サイト（サイト２０１ａ）のストレージノードは、副サイト（サイト２０１ｂ）のディスカバリノード（ノード２１０ｚ）に、正ボリュームとペアを組む副ボリュームを有するノードのノード情報を問い合わせ、正ボリュームオーナノード（ノード２１０ｘ）は、ディスカバリノードから取得されたノード情報に基づいて、副ボリュームオーナノード（ノード２１０ｙ）との間に、正ボリュームから副ボリュームへのボリュームデータのリモートコピーに用いる通信パス１０４を設定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
プロセッサ及びメモリを含むプロセッサパッケージをそれぞれ有する複数のストレージノードと１以上のドライブとをそれぞれ有する正サイトと副サイトとによって構成されるストレージシステムであって、
前記正サイトを構成するストレージノードには、正ボリュームを有する正ボリュームオーナノードが含まれ、
前記副サイトを構成するストレージノードには、前記正ボリュームとペアを組む副ボリュームを有する副ボリュームオーナノードと、問い合わせに応じて自サイトにおけるボリュームを有するノードのノード情報を応答するディスカバリノードとが含まれ、
前記正ボリュームから前記副ボリュームへのリモートコピーの通信パスを設定する場合に、
前記正サイトのストレージノードは、前記副サイトのディスカバリノードに、前記正ボリュームとペアを組む前記副ボリュームを有するノードのノード情報を問い合わせ、
前記ディスカバリノードは、受信した前記問い合わせに対し、前記副ボリュームを有するノードのノード情報を返信し、
前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記副ボリュームオーナノードとの間に、前記正ボリュームから前記副ボリュームへのボリュームデータのリモートコピーに用いる通信パスを設定する
ことを特徴とするストレージシステム。
前記正サイトを構成するストレージノードには、正ボリュームを有する正ボリュームオーナノードが含まれ、
前記副サイトを構成するストレージノードには、前記正ボリュームとペアを組む副ボリュームを有する副ボリュームオーナノードと、問い合わせに応じて自サイトにおけるボリュームを有するノードのノード情報を応答するディスカバリノードとが含まれ、
前記正ボリュームから前記副ボリュームへのリモートコピーの通信パスを設定する場合に、
前記正サイトのストレージノードは、前記副サイトのディスカバリノードに、前記正ボリュームとペアを組む前記副ボリュームを有するノードのノード情報を問い合わせ、
前記ディスカバリノードは、受信した前記問い合わせに対し、前記副ボリュームを有するノードのノード情報を返信し、
前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記副ボリュームオーナノードとの間に、前記正ボリュームから前記副ボリュームへのボリュームデータのリモートコピーに用いる通信パスを設定する
ことを特徴とするストレージシステム。
【請求項2】
前記正ボリュームオーナノード及び前記副ボリュームオーナノードは、それぞれ、処理を実行するアクティブノードと、前記アクティブノードに障害が発生したときに処理を引き継ぐスタンバイノードとを有し、
前記通信パスの設定において、前記正ボリュームオーナノード及び前記副ボリュームオーナノードのアクティブノード同士の間における前記通信パスの設定と、前記正ボリュームオーナノード及び前記副ボリュームオーナノードのアクティブノードとスタンバイノードとの間の後退パスの設定を行い、
前記正ボリュームオーナノードまたは前記副ボリュームオーナノードの何れかのアクティブノードで障害が発生した場合に、
前記障害が発生したアクティブノードから前記スタンバイノードへ処理を引き継ぎ、
前記ペアにおける通信パスを前記後退パスに切り替えて、前記ペア間の処理を継続する
ことを特徴とする請求項１に記載のストレージシステム。
前記通信パスの設定において、前記正ボリュームオーナノード及び前記副ボリュームオーナノードのアクティブノード同士の間における前記通信パスの設定と、前記正ボリュームオーナノード及び前記副ボリュームオーナノードのアクティブノードとスタンバイノードとの間の後退パスの設定を行い、
前記正ボリュームオーナノードまたは前記副ボリュームオーナノードの何れかのアクティブノードで障害が発生した場合に、
前記障害が発生したアクティブノードから前記スタンバイノードへ処理を引き継ぎ、
前記ペアにおける通信パスを前記後退パスに切り替えて、前記ペア間の処理を継続する
ことを特徴とする請求項１に記載のストレージシステム。
【請求項3】
前記正サイト及び前記副サイトはそれぞれ、前記ディスカバリノードを有し、
前記正サイト及び前記副サイトのサイトごとに、複数のストレージノードは、処理を実行するアクティブノードと、前記アクティブノードに障害が発生したときに処理を引き継ぐスタンバイノードとを有し、
前記正ボリュームオーナノードまたは前記副ボリュームオーナノードの何れかのアクティブノードで障害が発生した場合に、
前記障害が発生したアクティブノードから前記スタンバイノードへ処理を引き継ぎ、
前記障害が発生していないサイトのアクティブノードから前記障害が発生したサイトの前記ディスカバリノードに、前記処理を引き継いだノードのノード情報を問い合わせ、
前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記障害が発生していないサイトのアクティブノードから前記処理を引き継いだノードに前記通信パスを再設定して、前記ペア間の処理を継続する
ことを特徴とする請求項１に記載のストレージシステム。
前記正サイト及び前記副サイトのサイトごとに、複数のストレージノードは、処理を実行するアクティブノードと、前記アクティブノードに障害が発生したときに処理を引き継ぐスタンバイノードとを有し、
前記正ボリュームオーナノードまたは前記副ボリュームオーナノードの何れかのアクティブノードで障害が発生した場合に、
前記障害が発生したアクティブノードから前記スタンバイノードへ処理を引き継ぎ、
前記障害が発生していないサイトのアクティブノードから前記障害が発生したサイトの前記ディスカバリノードに、前記処理を引き継いだノードのノード情報を問い合わせ、
前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記障害が発生していないサイトのアクティブノードから前記処理を引き継いだノードに前記通信パスを再設定して、前記ペア間の処理を継続する
ことを特徴とする請求項１に記載のストレージシステム。
【請求項4】
前記正サイト及び前記副サイトの一方のサイトにおいて所定のボリュームが同一サイト内のストレージノード間で移動された場合、
前記所定のボリュームと前記ペアを組む他方のサイトのボリュームのオーナノードが、前記一方のサイトにおける前記ボリュームの移動先ノードとの間に、前記通信パスを再設定する
ことを特徴とする請求項１に記載のストレージシステム。
前記所定のボリュームと前記ペアを組む他方のサイトのボリュームのオーナノードが、前記一方のサイトにおける前記ボリュームの移動先ノードとの間に、前記通信パスを再設定する
ことを特徴とする請求項１に記載のストレージシステム。
【請求項5】
前記正サイト及び前記副サイトの一方のサイトにおいて所定のボリュームが同一サイト内のストレージノード間で移動された場合、
前記移動した所定のボリュームの移動元ノードが、現在の通信パスが適していない旨を、前記移動した所定のボリュームと前記ペアを組む他方のサイトのボリュームのオーナノードに通知し、
前記通知を受信した前記他方のサイトのボリュームのオーナノードが、前記一方のサイトのディスカバリノードに前記所定のボリュームを有する移動先ノードのノード情報を問い合わせ、前記問い合わせたディスカバリノードから取得した前記ノード情報に基づいて、前記ボリュームの移動先ノードとの間に、前記通信パスを再設定する
ことを特徴とする請求項１に記載のストレージシステム。
前記移動した所定のボリュームの移動元ノードが、現在の通信パスが適していない旨を、前記移動した所定のボリュームと前記ペアを組む他方のサイトのボリュームのオーナノードに通知し、
前記通知を受信した前記他方のサイトのボリュームのオーナノードが、前記一方のサイトのディスカバリノードに前記所定のボリュームを有する移動先ノードのノード情報を問い合わせ、前記問い合わせたディスカバリノードから取得した前記ノード情報に基づいて、前記ボリュームの移動先ノードとの間に、前記通信パスを再設定する
ことを特徴とする請求項１に記載のストレージシステム。
【請求項6】
前記正サイト及び前記副サイトはそれぞれ、自サイト内のストレージノード間で共有された構成情報を格納する共有データベースを有し、
前記正サイト及び前記副サイトの一方のサイトから、他方のサイトの何れかのストレージノードに対して、当該他方のサイトのボリュームを有するノードに関する問い合わせが行われた場合、
前記問い合わせを受けたストレージノードは、自サイトの前記共有データベースを参照することによって問い合わせ対象のノードのノード情報を取得し、前記問い合わせ元に応答する
ことを特徴とする請求項１に記載のストレージシステム。
前記正サイト及び前記副サイトの一方のサイトから、他方のサイトの何れかのストレージノードに対して、当該他方のサイトのボリュームを有するノードに関する問い合わせが行われた場合、
前記問い合わせを受けたストレージノードは、自サイトの前記共有データベースを参照することによって問い合わせ対象のノードのノード情報を取得し、前記問い合わせ元に応答する
ことを特徴とする請求項１に記載のストレージシステム。
【請求項7】
前記正サイトは、複数の正ボリュームの更新差分データが書き込みの時刻情報を含むメタデータとともに格納されるジャーナルボリュームを有し、
所定のタイミングで、前記副ボリュームオーナノードが前記正ボリュームオーナノードに対してジャーナルリード要求を送信し、
前記ジャーナルリード要求を受信した前記正ボリュームオーナノードが、前記正サイトの前記ジャーナルボリュームを参照して更新差分データ及びそのメタデータを前記副ボリュームオーナノードに転送し、
前記副ボリュームオーナノードが、前記正ボリュームオーナノードから転送された更新差分データを、前記メタデータを参照して、対応する前記副ボリュームに書き込む
ことを特徴とする請求項１に記載のストレージシステム。
所定のタイミングで、前記副ボリュームオーナノードが前記正ボリュームオーナノードに対してジャーナルリード要求を送信し、
前記ジャーナルリード要求を受信した前記正ボリュームオーナノードが、前記正サイトの前記ジャーナルボリュームを参照して更新差分データ及びそのメタデータを前記副ボリュームオーナノードに転送し、
前記副ボリュームオーナノードが、前記正ボリュームオーナノードから転送された更新差分データを、前記メタデータを参照して、対応する前記副ボリュームに書き込む
ことを特徴とする請求項１に記載のストレージシステム。
【請求項8】
プロセッサ及びメモリを含むプロセッサパッケージをそれぞれ有する複数のストレージノードと１以上のドライブとをそれぞれ有する正サイトと副サイトとによって構成されるストレージシステムによる通信パス制御方法であって、
前記正サイトを構成するストレージノードには、正ボリュームを有する正ボリュームオーナノードが含まれ、
前記副サイトを構成するストレージノードには、前記正ボリュームとペアを組む副ボリュームを有する副ボリュームオーナノードと、問い合わせに応じて自サイトにおけるボリュームを有するノードのノード情報を応答するディスカバリノードとが含まれ、
前記正ボリュームから前記副ボリュームへのリモートコピーの通信パスを設定する場合に、
前記正サイトのストレージノードは、前記副サイトのディスカバリノードに、前記正ボリュームとペアを組む前記副ボリュームを有するノードのノード情報を問い合わせ、
前記ディスカバリノードは、受信した前記問い合わせに対し、前記副ボリュームを有するノードのノード情報を返信し、
前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記副ボリュームオーナノードとの間に、前記正ボリュームから前記副ボリュームへのボリュームデータのリモートコピーに用いる通信パスを設定する
ことを特徴とする通信パス制御方法。
前記正サイトを構成するストレージノードには、正ボリュームを有する正ボリュームオーナノードが含まれ、
前記副サイトを構成するストレージノードには、前記正ボリュームとペアを組む副ボリュームを有する副ボリュームオーナノードと、問い合わせに応じて自サイトにおけるボリュームを有するノードのノード情報を応答するディスカバリノードとが含まれ、
前記正ボリュームから前記副ボリュームへのリモートコピーの通信パスを設定する場合に、
前記正サイトのストレージノードは、前記副サイトのディスカバリノードに、前記正ボリュームとペアを組む前記副ボリュームを有するノードのノード情報を問い合わせ、
前記ディスカバリノードは、受信した前記問い合わせに対し、前記副ボリュームを有するノードのノード情報を返信し、
前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記副ボリュームオーナノードとの間に、前記正ボリュームから前記副ボリュームへのボリュームデータのリモートコピーに用いる通信パスを設定する
ことを特徴とする通信パス制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストレージシステム及び通信パス制御方法に関し、正サイトと副サイトとの間でリモートコピーペアを作成するストレージシステム及び通信パス制御方法に適用して好適なものである。
【背景技術】
【0002】
従来、複数のストレージノードで構成されたストレージシステムが知られている。例えば、それぞれのストレージノード（以下、ノード）において所定のソフトウェアが実行されることで、ストレージシステムが提供される。
【0003】
また、災害が起きてもビジネスを継続するために、ストレージシステムを複数の地理的に離れたデータセンタ間で複製する技術として、リモートコピー機能がある。複数のノードで構成されリモートコピー機能が搭載されるストレージシステムにおいて、通常時に業務アプリケーションを処理するサイトを正サイト（Primary Site）と呼び、正サイト側にサイト全体の障害が起きてストレージシステムが停止したときに、正サイトから切り替えて動作させるサイトを副サイト（Secondary Site）と呼ぶ。
【0004】
例えば特許文献１には、副サイトが複数のストレージ装置で組まれた構成において、正サイトと副サイトとでリモートコピーペアを組むとき、正サイトの性能及び容量要件を満たすように副サイト側のストレージ装置を選択して、ペアを構築する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第２０１８／００３２２５４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
ストレージシステムのボリュームには、ホストまたは別サイトのストレージシステムからのＩ／Ｏ要求を処理するためのオーナ権がある。ボリュームのオーナ権は、サイトごと（正サイト及び副サイトのそれぞれ）に、特定の１つのノードに対して付与され、任意のボリュームへのＩ／Ｏ要求は、オーナ権を付与されたノードで処理される。すなわち、あるノードが、オーナ権を有さないボリュームへのＩ／Ｏ要求を受信した場合、当該ノードはオーナ権を有するノードにＩ／Ｏ要求を転送し、オーナ権を有するノードがＩ／Ｏ要求を処理する。
【0007】
ストレージシステムにおいて、正サイトと副サイトは、リモートコピーペアを１以上のボリューム単位で構築する。正サイトのボリュームをＰＶＯＬ（Primary Volume）、副サイトのボリュームをＳＶＯＬ（Secondary Volume）と呼称する。リモートコピーペアを作成するとき、正サイトと副サイトとの間でＩ／Ｏ要求や各種コマンドを通信し合うために通信パスが設定される。この通信パスは、正サイトのノードから副サイトのノードに対して設定される。
【0008】
ここで、上記の通信パスを設定するにあたり、処理性能の観点から、正サイトのＰＶＯＬのオーナ権を有するノードと、ペアを組む副サイトのＳＶＯＬのオーナ権を有するノードとの間に通信パスを設定することが望ましい。これは、オーナ権を有さないノード（非オーナ権のノード）との間に通信パスを設定してしまうと、リモートコピー処理を実行するにあたり、一旦、非オーナ権のノードで要求を受信し、オーナ権のあるノードに要求を転送してから処理することになり、ＣＰＵオーバヘッド、ネットワーク帯域、及び遅延時間の観点で悪影響となるためである。しかし、特許文献１に開示された従来技術は、サイト間でのリモートコピーペアを自動構築することから、上記のような通信パスの設定ができないという問題があった。
【0009】
また、リモートコピーペア作成時に、運用者が、正サイトと副サイトの情報を確認して、ＰＶＯＬのオーナ権を有したノード（ＰＶＯＬオーナノード）とＳＶＯＬのオーナ権を有したノード（ＳＶＯＬオーナノード）との間に通信パスを設定することもできるが、その場合は運用手順が煩雑化し、導入コスト及び運用コストが増加するという問題があった。
【0010】
本発明は以上の点を考慮してなされたもので、ストレージシステムの正サイトと副サイトとでリモートコピーペアを作成するにあたり、ストレージシステムの運用コストを低減し、さらに、リモートコピー処理を実行する際の性能への悪影響を防止することが可能なストレージシステム及び通信パス制御方法を提案しようとするものである。
【課題を解決するための手段】
【0011】
かかる課題を解決するため本発明においては、プロセッサ及びメモリを含むプロセッサパッケージをそれぞれ有する複数のストレージノードと１以上のドライブとをそれぞれ有する正サイトと副サイトとによって構成されるストレージシステムであって、前記正サイトを構成するストレージノードには、正ボリュームを有する正ボリュームオーナノードが含まれ、前記副サイトを構成するストレージノードには、前記正ボリュームとペアを組む副ボリュームを有する副ボリュームオーナノードと、問い合わせに応じて自サイトにおけるボリュームを有するノードのノード情報を応答するディスカバリノードとが含まれ、前記正ボリュームから前記副ボリュームへのリモートコピーの通信パスを設定する場合に、前記正サイトのストレージノードは、前記副サイトのディスカバリノードに、前記正ボリュームとペアを組む前記副ボリュームを有するノードのノード情報を問い合わせ、前記ディスカバリノードは、受信した前記問い合わせに対し、前記副ボリュームを有するノードのノード情報を返信し、前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記副ボリュームオーナノードとの間に、前記正ボリュームから前記副ボリュームへのボリュームデータのリモートコピーに用いる通信パスを設定することを特徴とするストレージシステムが提供される。
【0012】
また、かかる課題を解決するため本発明においては、プロセッサ及びメモリを含むプロセッサパッケージをそれぞれ有する複数のストレージノードと１以上のドライブとをそれぞれ有する正サイトと副サイトとによって構成されるストレージシステムによる通信パス制御方法であって、前記正サイトを構成するストレージノードには、正ボリュームを有する正ボリュームオーナノードが含まれ、前記副サイトを構成するストレージノードには、前記正ボリュームとペアを組む副ボリュームを有する副ボリュームオーナノードと、問い合わせに応じて自サイトにおけるボリュームを有するノードのノード情報を応答するディスカバリノードとが含まれ、前記正ボリュームから前記副ボリュームへのリモートコピーの通信パスを設定する場合に、前記正サイトのストレージノードは、前記副サイトのディスカバリノードに、前記正ボリュームとペアを組む前記副ボリュームを有するノードのノード情報を問い合わせ、前記ディスカバリノードは、受信した前記問い合わせに対し、前記副ボリュームを有するノードのノード情報を返信し、前記正ボリュームオーナノードは、前記ディスカバリノードから取得された前記ノード情報に基づいて、前記副ボリュームオーナノードとの間に、前記正ボリュームから前記副ボリュームへのボリュームデータのリモートコピーに用いる通信パスを設定することを特徴とする通信パス制御方法が提供される。
【発明の効果】
【0013】
本発明によれば、ストレージシステムの正サイトと副サイトとでリモートコピーペアを作成するにあたり、ストレージシステムの運用コストを低減することができ、さらに、リモートコピー処理を実行する際の性能への悪影響を防止することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係るストレージシステム１０１の概要を示すイメージ図である。
【図2】ストレージシステム１０１の物理構成例を示す図である。
【図3】ストレージシステム１０１におけるリモートコピー構成の概要を示すイメージ図である。
【図4】ストレージシステム１０１におけるＩ／Ｏ要求処理の概要を示すイメージ図である。
【図5】ストレージシステム１０１におけるノード障害からの回復処理の概要を示すイメージ図である。
【図6】メモリ２１２に保持される情報の一例を示す図である。
【図7】システム構成管理テーブル６１１の一例を示す図である。
【図8】ペア構成管理テーブル６１２の一例を示す図である。
【図9】パス作成処理の処理手順例を示すシーケンス図である。
【図10】第１のノード障害回復処理を含むライト処理の処理手順例を示すシーケンス図である。
【図11】第２のノード障害回復処理を含むライト処理の処理手順例を示すシーケンス図である。
【図12】リモートコピー処理の処理手順例を示すシーケンス図である。
【図13】パス変更処理の処理手順例を示すシーケンス図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明の一実施形態を詳述する。
【0016】
以下の説明では、「インターフェース装置」は、一つ以上の通信インターフェースデバイスでよい。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし、二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【0017】
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし、不揮発性メモリデバイスであってもよい。
【0018】
また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはＮＶＭｅ（Non-Volatile Memory Express）ドライブでよい。
【0019】
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよいが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部または全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）、またはＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。
【0020】
また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし（例えば、構造化データでもよいし非構造化データでもよいし）、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部または一部が一つのテーブルであってもよい。
【0021】
また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶装置及び／またはインターフェース装置等を用いながら行うため、処理の主語が、プロセッサ（あるいは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な（例えば非一時的な）記録媒体であってもよい。また、以下の説明において、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。
【0022】
また、以下の説明では、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、ノードを特に区別しないで説明する場合には、「ノード２１０」と記載し、個々のノードを区別して説明する場合には、「ノード２１０ａ」、「ノード２１０ｂ」のように記載することがある。また、同種の要素を区別して説明する場合の別の記載方法として、要素のＩＤ（例えば識別番号）を使用することがある。具体的には例えば、上記した「ノード２１０ａ」、「ノード２１０ｂ」を「ノード１」、「ノード２」と記載することがある。さらに、ノードｖ（ｖは０以上の整数）が有する要素の名称にｖを付加することで、いずれのノードの要素であるか（或いは、いずれのノードに対応する要素であるか）を区別することができる。
【0023】
（１）システムの構成及び概要
図１は、本発明の一実施形態に係るストレージシステム１０１の概要を示すイメージ図である。図１は、ストレージシステム１０１において、サイト２０１ａ内のボリューム１０２ｘとサイト２０１ｂ内のボリューム１０２ｙとでリモートコピーペアを設定するときの概要を示している。以下では、図１を参照しながら、サイト２０１ａを正サイト、そのボリューム１０２ｘをＰＶＯＬ、サイト２０１ｂを副サイト、そのボリューム１０２ｙをＳＶＯＬとして、リモートコピーペア１０３を設定する場合を例に挙げて説明する。
図１は、本発明の一実施形態に係るストレージシステム１０１の概要を示すイメージ図である。図１は、ストレージシステム１０１において、サイト２０１ａ内のボリューム１０２ｘとサイト２０１ｂ内のボリューム１０２ｙとでリモートコピーペアを設定するときの概要を示している。以下では、図１を参照しながら、サイト２０１ａを正サイト、そのボリューム１０２ｘをＰＶＯＬ、サイト２０１ｂを副サイト、そのボリューム１０２ｙをＳＶＯＬとして、リモートコピーペア１０３を設定する場合を例に挙げて説明する。
【0024】
ストレージシステム１０１は、正サイト２０１ａと副サイト２０１ｂとを有して構成され、各サイト内には、複数のノード２１０と、サイト内のノード間で共有された構成情報を格納する共有データベース１０５とを含んで構成された独立したストレージクラスタが構築されている。ストレージクラスタを構成するノード数は、正サイト２０１ａと副サイト２０１ｂとで異なっていてもよい。なお、図１では、図面の都合上、副サイト２０１ｂ内の共有データベース１０５だけを記載し、正サイト２０１ａ内の共有データベース１０５の記載は省略している。ユーザ１００は図１に示した手順に沿って、このような正サイト２０１ａと副サイト２０１ｂとの間でリモートコピーペアとして組まれたボリュームペアを構築する。
【0025】
図１に示した手順（１）について説明する。なお、手順（１）をユーザ１００による処理として説明するが、ストレージシステム１０１に記憶されたプログラムによって実行されてもよい。
【0026】
手順（１）において、ユーザ１００は、正サイト２０１ａに対してＰＶＯＬとなるボリューム１０２ｘの作成を指示するとともに、副サイト２０１ｂに対してＳＶＯＬとなるボリューム１０２ｙの作成を指示する。ボリューム作成の指示は、サイト内のいずれのノードに出してもよく、ストレージシステム１０１（より具体的には、ボリューム１０２ｙの作成指示を受け取ったノード２１０（または転送された作成指示を受け取った別のノード２１０）のアクティブなＳＣＳ５０１）は、サイト内の各ノードの容量使用率や処理負荷の状況を考慮して、好適なノード２１０にボリューム１０２を作成する。例えば、ストレージシステム１０１は、容量使用率が低く、かつ処理負荷が少ないノードにボリューム１０２を作成する。図１では、ストレージシステム１０１は、正サイト２０１ａ内のノード２１０ｘにＰＶＯＬ１０２ｘを作成し、副サイト２０１ｂ内のノード２１０ｙにＳＶＯＬ１０２ｙを作成している。ＳＣＳ５０１は、プロセッサが所定のプログラムを実行するストレージ制御ソフトウェア（ＳＣＳ：Storage Control Software）であって、所定のプログラムに、後述する図６に示すストレージプログラム６２０が含まれる。各ノード２１０内にはアクティブとスタンバイの１対のＳＣＳ５０１が存在する。ＳＣＳ５０１の詳細は図５を参照した説明において後述する。
【0027】
図１に示した手順（２）について説明する。
【0028】
手順（２）においてまず、ユーザ１００は、正サイト２０１ａにリモートコピーの通信パスの設定を指示する。このとき、ユーザ１００は、リモートコピーペアを作成するＰＶＯＬとＳＶＯＬの識別子（ＰＶＯＬ ＩＤ，ＳＶＯＬ ＩＤ）、及び副サイト２０１ｂのディスカバリノード（図１ではノード２１０ｚ）の通信先アドレス（例えば、ＩＰアドレスとポート番号）を指定する。ディスカバリノードは、問い合わせに応じて、自サイトでボリュームを有するノード２１０のノード情報を応答する機能を有するノードである。例えば、正サイト２０１ａが副サイト２０１ｂのディスカバリノード２０１ｚに情報を問い合わせたときに、ディスカバリノード２０１ｚはＳＶＯＬのオーナ権を有するノード（ＳＶＯＬオーナノード）のノード情報を返す機能を有する。ディスカバリノードは、ＳＶＯＬオーナノードが役割を兼任していてもよく、また複数のノードがディスカバリノードの機能を有していてもよい。正サイト２０１ａのノード２１０ｘがユーザ指示を受領すると、当該ノード２１０ｘは、ユーザ１００から指定された副サイト２０１ｂのディスカバリノード（ノード２１０ｚ）に、ＳＶＯＬのオーナ権（制御権）を有するノードの情報を問い合わせる（手順（２－ａ））。
【0029】
なお、ストレージシステム１０１は、正サイト２０１ａも、副サイト２０１ｂのディスカバリノードと同様に、問い合わせに応じて自サイト（正サイト）のＰＶＯＬのオーナ権を有するノード（ＰＶＯＬオーナノード）のノード情報を返す機能を有するディスカバリノードを備えていてよい。このような構成とすることで、互いのサイトは、相手サイトの何れのノードに問い合わせても、相手サイトのディスカバリノードから、自サイトにおけるボリュームのペア先のボリュームのオーナ権を有するノードのノード情報を取得することができる。
【0030】
次に、問い合わせを受けた副サイト２０１ｂ内のノード２１０ｚ（より具体的にはノード２１０ｚのＳＣＳ５０１）は、サイト内の構成情報を格納した共有データベース１０５からＳＶＯＬのオーナ権を有するノード情報を取得し、正サイト２０１ａのノード２１０ｘに返却する（手順（２－ｂ））。
【0031】
次に、正サイト２０１ａのＰＶＯＬのオーナ権を有するノード２１０ｘは、手順（２－ｂ）でノード情報を取得した副サイト２０１ｂのＳＶＯＬのオーナ権を有するノード２１０ｙとの間に、通信パス１０４を設定する（手順（２－ｃ））。
【0032】
最後に、正サイト２０１ａと副サイト２０１ｂのストレージクラスタは、ＰＶＯＬ１０２ｘとＳＶＯＬ１０２ｙとがリモートコピーペア１０３であることを、各サイト内の共有データベース１０５に登録し、ＰＶＯＬとＳＶＯＬとの間のリモートコピーペア設定を完了する（手順（２－ｄ））。
【0033】
なお、上述した手順（２）及びそれに伴う処理は、ユーザ１００から副サイト２０１ｂにリモートコピーの通信パスの設定が指示され、副サイト２０１ｂから正サイト２０１ａに対して実施されてもよい。この場合、副サイト２０１ｂのノードから正サイト２０１ａのノードにＰＶＯＬのオーナ権を有するノード情報を問い合わせ、副サイト２０１ｂがＰＶＯＬとＳＶＯＬのオーナ権を有するノード間での通信パスを設定する。
【0034】
【0035】
各サイト２０１は、ネットワーク２０２を介して通信可能に接続される。ネットワーク２０２は、例えば、ＷＡＮ（Wide Area Network）であるが、ＷＡＮに限定されるものではない。サイト２０１は、データセンタ等であり、１以上のノード２１０を含んで構成される。
【0036】
ノード２１０は、一般的なサーバ計算機の構成を備えてよい。ノード２１０は、例えば、プロセッサ２１１及びメモリ２１２等を含む１以上のプロセッサパッケージ２１３、１以上のドライブ２１４、１以上のポート２１５を含んで構成される。これらの各構成要素は、内部バス２１６を介して接続されている。
【0037】
プロセッサ２１１は、例えば、ＣＰＵ（Central Processing Unit）であり、各種の処理を行う。
【0038】
メモリ２１２は、ノード２１０の機能を実現する上で必要な制御用の情報を格納したり、データを格納したりする。また、メモリ２１２は、例えば、プロセッサ２１１により実行されるプログラムを格納する。メモリ２１２は、揮発性のＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、不揮発のＳＣＭ（Storage Class Memory）であってもよいし、その他の記憶デバイスであってもよい。
【0039】
ドライブ２１４は、各種のデータやプログラム等を記憶する。ドライブ２１４は、ＳＡＳ（Serial Attached SCSI）またはＳＡＴＡ（Serial Advanced Technology Attachment）接続のＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＮＶＭｅ（Non-Volatile Memory Express）接続のＳＳＤ、ＳＣＭの他、複数のＨＤＤまたはＳＳＤを搭載したドライブボックス等であってもよく、記憶デバイスの一例である。
【0040】
ポート２１５は、ネットワーク２２０に接続され、ネットワーク２２０を介して自ノードをサイト２０１内の他のノード２１０と通信可能に接続する。ネットワーク２２０は、例えば、ＬＡＮ（Local Area Network）であるが、ＬＡＮに限定されるものではない。
【0041】
なお、ストレージシステム１０１に係る物理構成は、上述した内容に限定されるものではない。例えば、ネットワーク２０２，２２０については、冗長化されていてもよい。また例えば、ネットワーク２２０は、管理用のネットワークとストレージ用のネットワークとに分離されてもよく、接続規格は、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｉｎｆｉｎｉｂａｎｄ、または無線でもよく、接続トポロジも図２に示す構成に限定されない。また例えば、ドライブ２１４がノード２１０から独立した構成であってもよい。
【0042】
図３は、ストレージシステム１０１におけるリモートコピー構成の概要を示すイメージ図である。詳しく言うと、図３には、ストレージシステム１０１において、正サイト２０１ａと副サイト２０１ｂとの間で、複数のボリューム間でリモートコピーペアを構築したときの概要が示されている。
【0043】
図３の場合、正サイト２０１ａと副サイト２０１ｂとの間で、２つのコンシステンシグループ３０１ａ，３０１ｂが構築されている。コンシステンシグループは、複数のリモートコピーペアのボリュームで構成されており、コンシステンシグループ内の正サイトの複数のボリュームは、整合性を維持した状態で副サイトにコピーされる。具体的には、コンシステンシグループ３０１内の複数のボリューム１０２に対して、同時刻までの更新差分データが副サイト２０１ｂにコピーされる。また、コンシステンシグループの制御（コンシステンシ制御）は、ジャーナルボリューム（ＪＮＬ）により管理される。ジャーナルボリュームには、複数のＰＶＯＬの更新差分データが、その書き込み時刻等のメタデータとともに格納される。正サイト２０１ａのストレージクラスタは、副サイト２０１ｂにＰＶＯＬのデータを転送するとき、ジャーナルボリュームに書き込まれた複数のＰＶＯＬの更新差分データのうち、同時刻までの更新差分データを副サイト２０１ｂに転送する。これにより、複数のＰＶＯＬ間の更新時刻の整合性を維持した状態で、副サイト２０１ｂのＳＶＯＬにコピーすることができる。
【0044】
具体的には、図３に示す構成において、コンシステンシグループ３０１ａは、正サイト２０１ａのノード２１０ａにあるボリューム１０２ａ，１０２ｂの整合性を維持した状態で、副サイト２０１ｂのノード２１０ｄにあるボリューム１０２ｉ，１０２ｊ（すなわちコンシステンシグループ３０１ｃのＳＶＯＬ１０２ｉ，１０２ｊ）にデータをコピーする。コンシステンシグループ３０１ｂは、正サイト２０１ａのノード２１０ｂにあるボリューム１０２ｄ、及びノード２１０ｃにあるボリューム１０２ｆの整合性を維持した状態で、副サイト２０１ｂのノード２１０ｅにあるボリューム１０２ｌ、及びノード２１０ｆにあるボリューム１０２ｎ（すなわちコンシステンシグループ３０１ｄのＳＶＯＬ１０２ｌ，１０２ｎ）にデータをコピーする。
【0045】
上述した具体的な構成から分かるように、コンシステンシグループ３０１は、サイト内の特定のノード内のボリュームで構成されてもよいし、サイト内の複数のノードにあるボリュームで構成されてもよい。
【0046】
また、図示はしていないが、ストレージシステム１０１では、ジャーナルボリュームなしで、直接、ＰＶＯＬとＳＶＯＬを対応付けてリモートコピーペアを構築してもよく、この場合には、ＰＶＯＬへの更新差分データが、ジャーナルボリュームを経由せずに直接、ＳＶＯＬを有したノードに転送され、ＳＶＯＬに書き込まれる。このようにＰＶＯＬとＳＶＯＬを直接ペアリングした場合には、ＰＶＯＬからＳＶＯＬへの更新差分データの反映時にジャーナルボリュームを介しないことから、ＰＶＯＬの更新差分データをＳＶＯＬに高速に反映することができる。このため、ホストからのＩ／Ｏ処理と同期してリモートコピーするようなケースで有用となる。一方で、ＰＶＯＬとＳＶＯＬを直接ペアリングした場合には、ジャーナルボリュームがないため、同時刻までの更新差分データをＳＶＯＬに反映するといったコンシステンシ制御はできない。
【0047】
図４は、ストレージシステム１０１におけるＩ／Ｏ要求処理の概要を示すイメージ図である。詳しく言うと、図４には、ストレージシステム１０１において、正サイト２０１ａのＰＶＯＬ１０２ａと副サイト２０１ｂのＳＶＯＬ１０２ｄとの間でリモートコピーペアを構築した状態におけるＩ／Ｏ処理の概要が示されている。
【0048】
まず、ホスト４０１上で動作するアプリケーション４０２は、データ４０３ａ（データＡ）及びデータ４０３ｂ（データＢ）をＰＶＯＬ１０２ａに書き込むように、ノード２１０ａに書き込み要求を発行する。書き込み要求を受信したノード２１０ａは、データＡ及びデータＢをＰＶＯＬ１０２ａに書き込み、さらにジャーナルボリューム１０２ｂ（ＪＮＬ１）にデータＡ及びデータＢを更新差分データとして書き込む。
【0049】
次にノード２１０ａは、ジャーナルボリューム１０２ｂに書き込まれた更新差分データを、副サイト２０１ｂのジャーナルボリューム１０２ｃ，１０２ｅに転送する。このとき、正サイト２０１ａと副サイト２０１ｂとの間に複数の通信パスが確立されている場合には、いずれの通信パスを使用してデータ転送してもよい。通常は、正サイト２０１ａのノード２１０ａは、ＰＶＯＬ１０２ａとペアを組んだＳＶＯＬ１０２ｄのオーナ権を有するノード２１０ｄに更新差分データを転送する。但し、オーナ権を有する通信パスに障害が生じたときは、オーナ権を有さないノード２１０ｅ等に更新差分データを転送してもよい。例えば、正サイト２０１ａのノード２１０ａが副サイト２０１ｂのオーナ権を有さないノード２１０ｅに更新差分データを転送したとき、副サイト２０１ｂのノード２１０ｅは、受信した更新差分データをオーナ権のあるノード２１０ｄに転送し、ノード２１０ｄはジャーナルボリューム１０２ｃに転送された更新差分データを書き込む。
【0050】
次にノード２１０ｄは、副サイト２０１ｂのジャーナルボリューム１０２ｃに書き込まれた更新差分データを、周期的にＳＶＯＬ１０２ｄに書き込む。そしてＳＶＯＬ１０２ｄに書き込まれたデータ４０３ａ（データＡ），４０３ｂ（データＢ）は、ストレージプール４０４ａを経由して、ドライブ２１４ａに書き込まれる。ドライブ２１４ａの構成がノード（サーバ）とドライブとが１対１で接続されるＤＡＳ（Direct Attached Storage）の場合、ノード２１０ｄに搭載したローカルドライブ（ドライブ２１４ａ）にデータが書き込まれる。このようにＳＶＯＬ１０２ｄに書き込むデータをＳＶＯＬ１０２ｄのオーナ権のあるノード２１０ｄのドライブ２１４ａにすべて書き込んでおくことで、後にＳＶＯＬ１０２ｄからデータを読み出すときに、別ノードからデータを読み出す必要がなくなる。これにより、ストレージシステム１０１は、ノード間転送処理を排除することができ、高速な読み出し処理を実現することができる。
【0051】
なお、ストレージプール４０４（例えばストレージプール４０４ａ）では、Ｔｈｉｎ－ｐｒｏｖｉｓｏｎｉｎｇや圧縮、重複排除などのストレージ機能が提供され、書き込まれたデータに必要なストレージ機能の処理が実行される。また、ストレージシステム１０１は、ドライブ２１４ａに書き込むときにノード障害からデータを保護するため、書き込むデータ（データＡ，Ｂ）の冗長データを、別ノード（例えば、スタンバイノードであるノード２１０ｅ）のドライブ２１４ｂにも書き込む。冗長データの書き込みについて、データ保護ポリシがレプリケーションの場合、ストレージシステム１０１は、書き込みデータのレプリカを冗長データとしてドライブ２１４ｂに書き込む。一方、データ保護ポリシがＥｒａｓｕｒｅ Ｃｏｄｉｎｇの場合、ストレージシステム１０１は、書き込みデータからパリティを計算し、算出したパリティを冗長データとしてドライブ２１４ｂに書き込む。
【0052】
また、図４では、ノード２１０ｂ，２１０ｃ，２１０ｆは、内部的な構成の記載を省略したが、これらの各ノード２１０も、上述したノード２１０ａ，２１０ｄ，２１０ｅと同様にＰＶＯＬやＳＶＯＬを持ち、ホスト４０１からのＩ／Ｏを処理するとしてよい。
【0053】
また、図４に示したＩ／Ｏ処理の流れは、正サイト２０１ａから副サイト２０１ｂにデータを配信するプッシュ型のＩ／Ｏ処理の一例であるが、ストレージシステム１０１は、副サイト２０１ｂから正サイト２０１ａにデータを読みに行くプル型のＩ／Ｏ処理を実行することもできる。
【0054】
図５は、ストレージシステム１０１におけるノード障害からの回復処理の概要を示すイメージ図である。詳しく言うと、図５には、ストレージシステム１０１において、正サイト２０１ａと副サイト２０１ｂのボリューム間でリモートコピーペアを構築した状態において、副サイト２０１ｂにノード障害が発生したときの回復処理の概要が示されている。本説明でいうノード障害は、パス設定の変更が必要になる障害である。
【0055】
図５に示すストレージシステム１０１において、各ノード２１０（２１０ｄ，２１０ｅ，２１０ｆ）では、Ｉ／Ｏ処理、Ｔｈｉｎ－ｐｒｏｖｉｓｏｎｉｎｇ、圧縮、及び重複排除といった各種のストレージ機能を処理するためのストレージ制御ソフトウェア（ＳＣＳ）５０１が動作している。それぞれのノード２１０内では、通常時に処理を実行する稼働系（アクティブ）のストレージ制御ソフトウェア５０１と、待機系（スタンバイ）のストレージ制御ソフトウェア５０１とが動作する。具体的には図５の場合、ノード２１０ｄ内では、ストレージ制御ソフトウェア（アクティブ）５０１ａとストレージ制御ソフトウェア（スタンバイ）５０１ｆが動作し、ノード２１０ｅ内では、ストレージ制御ソフトウェア（アクティブ）５０１ｂとストレージ制御ソフトウェア（スタンバイ）５０１ｃが動作し、ノード２１０ｆ内では、ストレージ制御ソフトウェア（アクティブ）５０１ｅとストレージ制御ソフトウェア（スタンバイ）５０１ｄが動作する。アクティブのストレージ制御ソフトウェア５０１が動作するノード２１０をアクティブノードと呼び、スタンバイのストレージ制御ソフトウェア５０１が動作するノードをスタンバイノードと呼ぶ。
【0056】
ストレージ制御ソフトウェア５０１のアクティブとスタンバイは、１対になっている（図５においては、添字１，２，３が同じＳＣＳ同士が対になる）。通常時は、ストレージ制御ソフトウェア（アクティブ）５０１ａ，５０１ｃ，５０１ｅが、Ｉ／Ｏ要求やストレージ機能を処理し、アクティブのストレージ制御ソフトウェアが障害により停止した場合には、対になったスタンバイのストレージ制御ソフトウェアがアクティブに昇格して、処理を引き継ぐ。
【0057】
図５に示した具体例を用いて、ノード障害からの回復処理を説明する。
【0058】
ノード２１０ｄには、ストレージ制御ソフトウェア（アクティブ）５０１ａが動作しており、対になるストレージ制御ソフトウェア（スタンバイ）５０１ｂがノード２１０ｅで動作している。また、副サイト２０１ｂに含まれるノード２１０ｄは、正サイト２０１ａのノード２１０ａのＰＶＯＬ１０２ａとリモートコピーペアを組むＳＶＯＬ１０２ｈを有している。
【0059】
ノード２１０ｅは、ノード２１０ｄのリモートコピーペア情報を引き継ぐために、ノード２１０ｄが有するＳＶＯＬ１０２ｈ及びジャーナルボリューム１０２ｇの構成情報を複製してもつ。またノード２１０ｅは、ノード２１０ｄのドライブ２１４ａに書き込まれたデータの冗長データをドライブ２１４ｄに格納している。さらにノード２１０ｅは、正サイト２０１ａのノード２１０ａとの間に通信パスを確立している。
【0060】
そして例えばノード２１０ｄが障害により停止したとき、障害を検出したノード２１０ｅは、ノード２１０ｄのストレージ制御ソフトウェア（アクティブ）５０１ａの処理を引継ぎ、ストレージ制御ソフトウェア（スタンバイ）５０１ｂをアクティブに昇格して、正サイト２０１ａのノード２１０ａと通信して、ＰＶＯＬ１０２ａとＳＶＯＬ１０２ｈとの間のリモートコピー処理を継続する。すなわち、副サイト２０１ｂのノード１（ノード２１０ｄ）が障害により停止した場合、ストレージシステム１０１は、ＳＣＳ１の制御をノード１のＳＣＳ１（ＳＣＳ５０１ａ）と対になっているノード２のＳＣＳ１（ＳＣＳ５０１ｂ）にフェイルオーバする。このようにすることで、ストレージシステム１０１では、副サイト２０１ｂ内でノード障害がおきた場合でも、副サイト２０１ｂが正サイト２０１ａとのリモートコピー処理を継続することができる。
【0061】
図６は、メモリ２１２に保持される情報の一例を示す図である。図６に示す情報には、ドライブ２１４からメモリ２１２に読み出される情報が含まれる。具体的には、制御情報テーブル６１０に含まれる各種テーブル及びストレージプログラム６２０に含まれる各種プログラムは、各自が使用される処理の実行中はメモリ２１２上に展開されるが、それ以外のときには、停電などに備えてドライブ２１４等の不揮発な記憶領域に格納されている。
【0062】
【0063】
ストレージプログラム６２０には、パス作成処理プログラム６２１、ノード障害回復処理プログラム６２２、データ転送処理プログラム６２３、パス変更処理プログラム６２４、Ｉ／Ｏ処理プログラム６２５、及びオーナマイグレーション処理プログラム６２６が含まれる。ストレージプログラム６２０を構成する各プログラムはノード２１０の各種機能（パス作成、ノード障害回復、データ転送、パス変更、オーナマイグレーション処理）がソフトウェア（ストレージ制御ソフトウェア５０１）によって実現される場合に用いられるプログラムの一例であって、具体的には、プロセッサ２１１がドライブ２１４に格納されたこれらのプログラムをメモリ２１２に読み出して実行することによって実現される。なお、本実施形態に係るストレージシステム１０１において、ノード２１０の各種機能は、上記した各プログラムに相当する機能を有する専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、ノード２１０の各種機能の一部は、ノード２１０と通信可能な他のコンピュータにより実現されてもよい。
【0064】
図７は、システム構成管理テーブル６１１の一例を示す図である。システム構成管理テーブル６１１は、サイト２０１内のノード２１０、ドライブ２１４、及びポート２１５の構成を管理するための情報を格納する。
【0065】
システム構成管理テーブル６１１は、ノード構成管理テーブル７１０、ドライブ構成管理テーブル７２０、及びポート構成管理テーブル７３０を含んで構成される。なお、ストレージシステム１０１は、サイト２０１ごとに、各サイト２０１に存在する複数のノード２１０に関してノード構成管理テーブル７１０を管理し、ノード２１０は、自ノード２１０内の複数のドライブ２１４に関してドライブ構成管理テーブル７２０及びポート構成管理テーブル７３０を管理する。
【0066】
ノード構成管理テーブル７１０は、サイト２０１ごとに設けられ、サイト２０１に設けられるノード２１０に係る構成（ノード２１０とドライブ２１４との関係等）を示す情報を格納する。より具体的には、ノード構成管理テーブル７１０は、ノードＩＤ７１１と、状態７１２と、ドライブＩＤリスト７１３と、ポートＩＤリスト７１４とが対応付けられた情報を格納する。
【0067】
ノードＩＤ７１１は、ノード２１０を識別可能な識別情報である。状態７１２は、ノード２１０の状態を示す状態情報（例えば、ＮＯＲＭＡＬ，ＷＡＲＮＩＮＧ，ＦＡＩＬＵＲＥ等）である。ドライブＩＤリスト７１３は、ノード２１０に設けられるドライブ２１４を識別可能な識別情報である。ポートＩＤリスト７１４は、ノード２１０に設けられるポート２１５を識別可能な識別情報である。
【0068】
ドライブ構成管理テーブル７２０は、ノード２１０ごとに設けられ、ノード２１０に設けられるドライブ２１４に係る構成を示す情報を格納する。より具体的には、ドライブ構成管理テーブル７２０は、ドライブＩＤ７２１と、状態７２２と、サイズ７２３とが対応付けられた情報を格納する。
【0069】
ドライブＩＤ７２１は、ドライブ２１４を識別可能な識別情報である。状態７２２は、ドライブ２１４の状態を示す状態情報（例えば、ＮＯＲＭＡＬ，ＷＡＲＮＩＮＧ，ＦＡＩＬＵＲＥ等）である。サイズ７２３は、ドライブ２１４の容量を示す情報（例えば、ＴＢ（テラバイト）やＧＢ（ギガバイト））である。
【0070】
ポート構成管理テーブル７３０は、ノード２１０ごとに設けられ、ノード２１０に設けられるポート２１５に係る構成を示す情報を格納する。より具体的には、ポート構成管理テーブル７３０は、ポートＩＤ７３１と、状態７３２と、アドレス７３３とが対応付けられた情報を格納する。
【0071】
ポートＩＤ７３１は、ポート２１５を識別可能な識別情報である。状態７３２は、ポート２１５の状態を示す状態情報（例えば、ＮＯＲＭＡＬ，ＷＡＲＮＩＮＧ，ＦＡＩＬＵＲＥ等）である。アドレス７３３は、ポート２１５に割り当てられたネットワーク上のアドレス（識別情報）を示す情報である。アドレスの形態は、ＩＰ（Internet Protocol）でもよいし、ＷＷＮ（World Wide Name）やＭＡＣ（Media Access Control）アドレス等でもよい。
【0072】
図８は、ペア構成管理テーブル６１２の一例を示す図である。ペア構成管理テーブル６１２は、サイト２０１内のボリューム１０２、リモートコピーペア１０３、及びリモートコピーペアの通信パス１０４の構成を管理するための情報を格納する。
【0073】
ペア構成管理テーブル６１２は、ボリューム管理テーブル８１０、ペア管理テーブル８２０、及びパス管理テーブル８３０を含んで構成される。なお、ストレージシステム１０１において、サイト２０１内のノード２１０は、ボリューム管理テーブル８１０、ペア管理テーブル８２０、及びパス管理テーブル８３０の情報を共有データベース１０５に格納しており、サイト２０１内の何れのノード２１０からでもこれらの情報を取得することができる。
【0074】
ボリューム管理テーブル８１０は、ボリューム１０２に係る構成を示す情報を格納する。より具体的には、ボリューム管理テーブル８１０は、ボリュームＩＤ８１１と、オーナノードＩＤ８１２と、後退先ノードＩＤ８１３と、サイズ８１４と、属性８１５とが対応付けられた情報を格納する。
【0075】
ボリュームＩＤ８１１は、ボリューム１０２を識別可能な識別情報である。オーナノードＩＤ８１２は、ボリューム１０２のオーナ権を有するノード２１０を示す情報である。後退先ノードＩＤ８１３は、ＳＶＯＬのオーナ権を有するノード２１０の障害時に処理を引き継ぐノード２１０を示す情報である。サイズ８１４は、ボリューム１０２の容量を示す情報（例えば、ＴＢ（テラバイト）やＧＢ（ギガバイト））である。属性８１５は、ボリューム１０２の属性を示す情報であり、通常ＶＯＬ（ボリューム）、ＰＶＯＬ（Primary Volume）、ＳＶＯＬ（Secondary Volume）、ＪＮＬＶＯＬ（Journal Volume）等が含まれる。
【0076】
ペア管理テーブル８２０は、リモートコピーのペア１０３に係る構成を示す情報を格納する。より具体的には、ペア管理テーブル８２０は、ペアＩＤ８２１と、プライマリジャーナルボリュームＩＤ８２２と、プライマリボリュームＩＤ８２３と、セカンダリジャーナルボリューム８２４と、セカンダリボリュームＩＤ８２５と、パスＩＤ８２６と、状態８２７とが対応付けられた情報を格納する。
【0077】
ペアＩＤ８２１は、リモートコピーペア１０３を識別可能な識別情報である。プライマリジャーナルボリュームＩＤ８２２は、リモートコピーペア１０３の正サイト２０１ａ側のジャーナル情報を記録するボリューム１０２のＩＤである。プライマリボリュームＩＤ８２３は、リモートコピーペア１０３の正サイト２０１ａ側にあるコピー元となるボリューム１０２のＩＤである。セカンダリジャーナルボリューム８２４は、リモートコピーペアの副サイト２０１ｂ側のジャーナル情報を記録するボリューム１０２のＩＤである。セカンダリボリュームＩＤ８２５は、リモートコピーペアの副サイト２０１ｂ側にあるコピー先となるボリューム１０２のＩＤである。パスＩＤ８２６は、リモートコピー処理を実行するための通信パス１０４を識別可能な識別情報であって、パス管理テーブル８３０に対応する通信パス１０４の詳細な情報が格納される。状態８２７は、リモートコピーペア１０３の状態を示す状態情報（例えば、ＮＯＲＭＡＬ，ＣＯＰＹＩＮＧ，ＳＵＳＰＥＮＤ等）である。
【0078】
パス管理テーブル８３０は、リモートコピーペア１０３の通信パス１０４に係る構成を示す情報を格納する。より具体的には、パス管理テーブル８３０は、パスＩＤ８３１と、プロトコル情報８３２と、Ｄｅｓｔｉｎａｔｉｏｎ Ａｄｄｒｅｓｓ８３３と、アクセスポリシ８３４と、優先パス８３５とが対応付けられた情報を格納する。
【0079】
パスＩＤ８３１は、通信パス１０４を識別可能な識別情報である。プロトコル情報８３２は、通信パス１０４の通信プロトコルを示す情報である。通信パス１０４の通信プロトコルは、ｉＳＣＳＩ（Internet Small Computer System Interface）でもよいし、ＦＣ（Fibre Channel）、ＮＶＭｅ－ｏＦ（NVMe over Fabrics）の他、ベンダ固有の独自プロトコルでもよい。Ｄｅｓｔｉｎａｔｉｏｎ Ａｄｄｒｅｓｓ８３３は、通信パス１０４の通信先のアドレスを示した情報である。アクセスポリシ８３４は、Ｄｅｓｔｉｎａｔｉｏｎ Ａｄｄｒｅｓｓ８３３に複数の通信先が記録されている場合に、複数の通信先に対する要求の発行方法を示した情報である。例えば、「対称」の発行方法では、複数のパスに対して、ラウンドロビンで要求を発行し、「非対称」の発行方法では、優先パスを設定し、優先パスに対してのみ要求を発行する。優先パス８３５は、アクセスポリシ８３４が「非対称」である場合に、要求を優先的に発行する通信先を示す情報である。
【0080】
（２）処理
上述した構成を備えるストレージシステム１０１において実行される代表的な処理について、図９～図１３に示すシーケンス図を参照しながら説明する。なお、各シーケンス図の説明においてストレージ制御ソフトウェア（ＳＣＳ）５０１を主体として記載する処理は、当該ＳＣＳ５０１が呼び出したストレージプログラム６２０の何れか（対象の処理の実行時またはそれ以前に呼び出したプログラムであって、各説明において明示される）によって実行される処理と考えてよい。
上述した構成を備えるストレージシステム１０１において実行される代表的な処理について、図９～図１３に示すシーケンス図を参照しながら説明する。なお、各シーケンス図の説明においてストレージ制御ソフトウェア（ＳＣＳ）５０１を主体として記載する処理は、当該ＳＣＳ５０１が呼び出したストレージプログラム６２０の何れか（対象の処理の実行時またはそれ以前に呼び出したプログラムであって、各説明において明示される）によって実行される処理と考えてよい。
【0081】
（２－１）パス作成処理
図９は、パス作成処理の処理手順例を示すシーケンス図である。パス作成処理は、図１の手順（２）に相当する処理である。図１の手順（１）に示したようにユーザ１００がリモートコピーペアとなるＰＶＯＬとＳＶＯＬとを作成した後に、正サイトと副サイトとの間に通信パスを設定するユーザ１００からの指示（パス作成指示）をストレージシステム１０１が受領すると、当該指示に関連する各ノード２１０のストレージ制御ソフトウェア５０１（５０１Ａ～５０１Ｃ）においてパス作成処理プログラム６２１が呼び出され、図９に示す処理が実行される。
図９は、パス作成処理の処理手順例を示すシーケンス図である。パス作成処理は、図１の手順（２）に相当する処理である。図１の手順（１）に示したようにユーザ１００がリモートコピーペアとなるＰＶＯＬとＳＶＯＬとを作成した後に、正サイトと副サイトとの間に通信パスを設定するユーザ１００からの指示（パス作成指示）をストレージシステム１０１が受領すると、当該指示に関連する各ノード２１０のストレージ制御ソフトウェア５０１（５０１Ａ～５０１Ｃ）においてパス作成処理プログラム６２１が呼び出され、図９に示す処理が実行される。
【0082】
図９に示すパス作成処理（パス作成処理プログラム６２１）は、正サイトのＰＶＯＬオーナノードのストレージ制御ソフトウェア（ＳＣＳ）５０１Ａによる処理と、副サイトのディスカバリノードのストレージ制御ソフトウェア（ＳＣＳ）５０１Ｃによる処理と、副サイトのＳＶＯＬオーナノードのストレージ制御ソフトウェア５０１Ｂ（ＳＣＳ）による処理とで構成される。
【0083】
図９によればまず、ユーザ１００が、副サイトのディスカバリノードの接続先となるポートのアドレスと、ペアを組むＰＶＯＬ及びＳＶＯＬのＩＤと、副サイトのクラスタＩＤとを含めてパス作成を指示する（ステップＳ９０１）。
【0084】
次に、正サイトのＰＶＯＬのオーナ権を有するノード（ＰＶＯＬオーナノード）がユーザからのパス作成指示を受信すると、当該ノードのＳＣＳ５０１Ａがパス作成処理プログラム６２１を呼び出す（ステップＳ９０２）。
【0085】
そしてＳＣＳ５０１Ａは、ユーザから指示された副サイトのディスカバリノードへ、ＳＶＯＬのオーナ権を有するノード情報を問い合わせる（ステップＳ９０３）。
【0086】
ステップＳ９０２のノード情報の問い合わせを副サイトのディスカバリノードが受け取ると、当該ノードのＳＣＳ５０１Ｃがパス作成処理プログラム６２１を呼び出し、ノード間の共有データベースを参照して、ＳＶＯＬのオーナ権を有するノードの情報を取得する（ステップＳ９０４）。
【0087】
さらにＳＣＳ５０１Ｃは、ステップＳ９０４で取得したノード情報を問い合わせ元の正サイトのノードに応答する（ステップＳ９０５）。応答内容となるノード情報は、複数のノード分の情報が含まれていてもよく、例えばＳＶＯＬのオーナ権を有するノードの情報と、当該ノードに障害がおきたときに処理を引き継ぐスタンバイのノードの情報とを含む。またノード情報には、ノードＩＤ、接続先のＷＷＮ、ＩＰアドレス、ポート番号、セキュリティキーなど、接続と通信に必要な情報が含まれる。
【0088】
そして、正サイトのＰＶＯＬのオーナ権を有するノードが、副サイトのディスカバリノードからの応答を受信する（ステップＳ９０６）。
【0089】
次に、ステップＳ９０７では、正サイトのノードと副サイトのノードとの間での通信パスの接続確立（ログイン処理）が行われる。ステップＳ９０７のログイン処理は、詳しくはステップＳ９０８～Ｓ９１３の処理で構成される。
【0090】
ステップＳ９０８では、ＳＣＳ５０１Ａが、ステップＳ９０６で取得したノード情報に該当するノード（すなわち、副サイトのＳＶＯＬのオーナノード）にログイン要求を発行する。
【0091】
ステップＳ９０９では、ステップＳ９０８で発行されたログイン要求を副サイトのＳＶＯＬオーナノードが受信し、当該ノードのＳＣＳ５０１Ｂがパス作成処理プログラム６２１を呼び出す。
【0092】
ステップＳ９１０では、ＳＣＳ５０１Ｂが、ステップＳ９０９で受信したログイン要求を確認して、パラメタに問題がなければ、ログイン完了の通知をＰＶＯＬオーナノードに送信する。
【0093】
ステップＳ９１１では、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、副サイトのＳＶＯＬオーナノードからログイン完了通知を受信する。ログイン応答には、副サイトのＳＶＯＬオーナノードのノード情報を含む。具体的には、接続先ポートのＷＷＮやＩＰアドレス、ポート番号、副サイトのクラスタＩＤなどを含む。
【0094】
ステップＳ９１２では、ＳＣＳ５０１Ａが、ステップＳ９０２で受信したユーザ１００からの入力情報と、ステップＳ９１１で受信したログイン応答の情報とを照合し、情報が一致することを検証する。
【0095】
ステップＳ９１３では、ＳＣＳ５０１Ａは、ステップＳ９１２で照合した結果、ログイン応答の情報とユーザ１００からの入力情報が一致する場合に、正しい接続先にログインできたとして、確立した通信パスをリモートコピーのための通信パスとして有効化する。一方、ステップＳ９１２の照合の結果、ログイン応答の情報とユーザ１００からの入力情報とが一致しない場合には、ＳＣＳ５０１Ａは、誤った接続先であるとして、ログアウトし、パス作成操作をエラーとしてユーザ１００に応答する。
【0096】
以上のように、ストレージシステム１０１において冗長パスを作成する場合には、ＰＶＯＬと対をなすＳＶＯＬの冗長化先のノードに対しても、ログイン処理が実行される。
【0097】
ステップＳ９０７（ステップＳ９０８～Ｓ９１３）のログイン処理が正常に完了した後のステップＳ９１４では、ＳＣＳ５０１Ａは、パス作成の操作完了をユーザ１００に通知する。
【0098】
そしてステップＳ９１５では、ユーザ１００は、ステップＳ９１４で正サイトのＰＶＯＬオーナノードから送信されたパス作成の操作完了を受領し、以上をもってパス作成処理が終了する。
【0099】
（２－２）ノード障害回復処理
図５を参照して説明したノード障害からの回復処理の処理（ノード障害回復処理）について、第１及び第２の２つの処理手順を例示して詳しく説明する。ノード障害回復処理では、当該処理に関与する各ノード２１０のストレージ制御ソフトウェア５０１（５０１Ａ，５０１Ｄ，５０１Ｅ）がそれぞれのノード障害回復処理プログラム６２２を呼び出して実行する。
図５を参照して説明したノード障害からの回復処理の処理（ノード障害回復処理）について、第１及び第２の２つの処理手順を例示して詳しく説明する。ノード障害回復処理では、当該処理に関与する各ノード２１０のストレージ制御ソフトウェア５０１（５０１Ａ，５０１Ｄ，５０１Ｅ）がそれぞれのノード障害回復処理プログラム６２２を呼び出して実行する。
【0100】
図１０は、第１のノード障害回復処理を含むライト処理の処理手順例を示すシーケンス図である。図１０に含まれる第１のノード障害回復処理は、副サイトのＳＶＯＬオーナノード（アクティブ）に障害が起きたときに、正サイトのＰＶＯＬオーナノード（アクティブ）と副サイトのＳＶＯＬオーナノード（アクティブ）との間に事前に設定された通信パス（後退パス）を用いて、コマンドの発行先を後退先ノード（ＳＶＯＬオーナノード（スタンバイ））に切り替えることを特徴とする。
【0101】
図１０の上部に示したステップＳ１００１～Ｓ１００５の処理は、ノード障害発生前（ノード障害が発生していないとき）に実行されるライト処理である。ホストから正サイトのＰＶＯＬにデータが書き込まれるとき、ＰＶＯＬオーナノードのＳＣＳ５０１Ａは、Ｉ／Ｏ処理プログラム６２５を呼び出してＰＶＯＬにライトデータを書き込んだ後、データ転送処理プログラム６２３を呼び出してステップＳ１００１～Ｓ１００５の処理を実行する。
【0102】
図１０の下部に示したステップＳ１００１～Ｓ１００２，Ｓ１００６～Ｓ１０１４の処理は、副サイトのＳＶＯＬオーナノードに障害が発生した場合に実行されるライト処理であって、ノード障害の回復のために第１のノード回復処理が実行される。より具体的には、ステップＳ１００６～Ｓ１００９の処理はノード障害回復処理プログラム６２２によって実行され、ステップＳ１０１０～Ｓ１０１４の処理はデータ転送処理プログラム６２３によって実行される。
【0103】
なお、図１０及び後述する図１１に示すデータ転送処理プログラム６２３の処理は、ＰＶＯＬとＳＶＯＬとを直接ペアリングし、ホストのＩ／Ｏ処理と同期的に更新差分データを反映するデータ転送処理である。このようなデータ転送方法とは別に、本実施形態のデータ転送処理プログラム６２３は、ジャーナルボリュームを介した非同期的なデータ転送処理を実行するようにしてもよく、その詳細は図１２を参照しながら後述する。そして図１０及び図１１に示すノード障害回復処理は、上記の何れのデータ転送処理とも組合せ可能である。
【0104】
ノード障害回復処理プログラム６２２による第１のノード障害回復処理では、ＳＶＯＬの処理を引き継ぐスタンバイノードにＳＶＯＬの処理を引継ぎ、正サイトは予め後退パスとして設定していたスタンバイノードへコマンドの発行先を切り替える。これにより、副サイト内のノードに障害が起きてもリモートコピー処理を継続することができる。
【0105】
図１０の上部に示したノード障害発生前の処理（ステップＳ１００１～Ｓ１００５）について、詳しく説明する。
【0106】
まず、正サイトのＰＶＯＬオーナノードがホストからのライト要求を受信すると、ＰＶＯＬオーナノードのＳＣＳ５０１ＡがＰＶＯＬへライトデータを書き込み、その後、ステップＳ１００１において、ＳＣＳ５０１ＡがＰＶＯＬへの更新差分データを副サイトのＳＶＯＬオーナノード（アクティブ）に転送する。
【0107】
ステップＳ１００２では、ステップＳ１００１で正サイトのＰＶＯＬオーナノードから送信された更新差分データを副サイトのＳＶＯＬオーナノード（アクティブ）が受信すると、当該ＳＶＯＬオーナノード（アクティブ）のＳＣＳ５０１Ｄが、データ転送処理プログラム６２３を呼び出す。
【0108】
ステップＳ１００３では、ＳＣＳ５０１Ｄが、ステップＳ１００２で受信した更新差分データをＳＶＯＬに書き込み、ステップＳ１００４では、ＳＣＳ５０１Ｄが、更新差分データをＳＶＯＬに反映したことを正サイトのＰＶＯＬオーナノードに応答する。
【0109】
そしてステップＳ１００５では、正サイトのＰＶＯＬオーナノードがステップＳ１００４の応答（完了通知）を受信すると、当該ＰＶＯＬオーナノードのＳＣＳ５０１Ａは、データ転送が正常に終了したとして、データ転送処理を終了する。
【0110】
次に、図１０の下部に示したノード障害発生時の処理（ステップＳ１００１～Ｓ１００２，Ｓ１００６～Ｓ１０１４）について、詳しく説明する。ここでは、ＰＶＯＬからＳＶＯＬへの書き込み処理中にアクティブなＳＶＯＬオーナノードに障害が発生した場合の処理手順が示されている。
【0111】
具体的には、ステップＳ１００１では、正サイトのＰＶＯＬオーナノードがホストからのライト要求を受信すると、ＰＶＯＬオーナノードのＳＣＳ５０１Ａが、ＰＶＯＬへライトデータを書き込み、その後、ＰＶＯＬへの更新差分データを副サイトのＳＶＯＬオーナノード（アクティブ）に転送する。そしてステップＳ１００２では、正サイトのＰＶＯＬオーナノードから送信された更新差分データを副サイトのＳＶＯＬオーナノード（アクティブ）が受信する。この後、ＳＶＯＬオーナノード（アクティブ）において、通信ができなくなるような障害が発生したとする。
【0112】
この場合、ステップＳ１００６において、障害が発生した副サイトのＳＶＯＬオーナノード（アクティブ）に紐付けられたＳＶＯＬオーナノード（スタンバイ）のＳＣＳ５０１Ｅが、ＳＶＯＬオーナノード（アクティブ）の障害を検出する。障害の検出方法としては、例えば、ＳＶＯＬオーナノード（スタンバイ）がＳＶＯＬオーナノード（アクティブ）に対して、ハートビート通信を定常的に行い、ハートビートが届かなくなったときに障害を検出する。
【0113】
ステップＳ１００７では、ＳＣＳ５０１Ｅは、ＳＶＯＬオーナノード（アクティブ）の処理を引継ぐフェイルオーバ処理を実行する。フェイルオーバ処理では、冗長化されていた引継ぎ元の処理状態をスタンバイノード上のプロセスのメモリにロードし、スタンバイノード上の各プロセスの処理権限をアクティブ同等に設定して、処理を再開する。各プロセスの処理権限の設定とは、具体的には、各ＳＶＯＬのオーナ権やストレージ機能の処理や冗長化処理をスタンバイノードで処理するように設定することである。
【0114】
ステップＳ１００８では、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、ステップＳ１００１で副サイトのＳＶＯＬへ送信した更新差分データに対する反映完了通知を受け取ることができず、タイムアウトを検出する。
【0115】
この場合、ステップＳ１００９において、ＳＣＳ５０１Ａは、更新差分データの転送先を、ＳＶＯＬオーナノード（スタンバイ）との間に設定された後退パスに切り替える。第１のノード障害回復処理においては、後退パスはパス作成処理プログラム６２１の実行前に予め設定される。すなわち、正サイトのＰＶＯＬオーナノードは、ノード障害が発生する前から、副サイトのＳＶＯＬオーナノード（アクティブ）との間にメインパスが設定され、副サイトのＳＶＯＬオーナノード（スタンバイ）との間に後退パスが設定されており、ステップＳ１００９では、メインパスから後退パスへの切り替えが行われる。
【0116】
その後、正サイトのＰＶＯＬオーナノードがホストからのライト要求を受信すると、ステップＳ１０１０において、ＳＣＳ５０１ＡはＰＶＯＬへライトデータを書き込んだ後、ステップＳ１００９で切り替えた後退パスを用いて、ＰＶＯＬへの更新差分データを副サイトのＳＶＯＬオーナノード（スタンバイ）に転送する。すなわち、ステップＳ１０１０では、ライトデータ（厳密には更新差分データ）のＰＶＯＬへの転送のリトライが行われる。
【0117】
ステップＳ１０１１では、副サイトのＳＶＯＬオーナノード（スタンバイ）は、正サイトのＰＶＯＬオーナノードから送信された更新差分データを受信する。
【0118】
ステップＳ１０１２では、ＳＶＯＬオーナノード（スタンバイ）のＳＣＳ５０１Ｅは、ステップＳ１０１１で受信した更新差分データをＳＶＯＬに書き込む。
【0119】
ステップＳ１０１３では、ＳＣＳ５０１Ｅは、更新差分データをＳＶＯＬに反映したことを正サイトのＰＶＯＬオーナノードに応答する。
【0120】
そしてステップＳ１０１４では、正サイトのＰＶＯＬオーナノードがステップＳ１００４の応答（完了通知）を受信し、当該ＰＶＯＬオーナノードのＳＣＳ５０１Ａは、データ転送が正常に終了したとして、データ転送処理を終了する。
【0121】
以上のようにノード障害回復処理を経てデータ転送処理が実行されることにより、副サイトのＳＶＯＬオーナノード（アクティブ）にノード障害が発生した場合でも、ＰＶＯＬに書き込まれたライトデータの更新差分データを、スタンバイからアクティブに昇格されたＳＶＯＬオーナノード（スタンバイ）のＳＶＯＬに書き込むことができる。
【0122】
図１１は、第２のノード障害回復処理を含むライト処理の処理手順例を示すシーケンス図である。図１１に含まれる第２のノード障害回復処理は、副サイトのＳＶＯＬオーナノード（アクティブ）に障害が起きたときに、障害が起きたＳＶＯＬオーナノード（アクティブ）の処理を引き継いだＳＶＯＬオーナノード（スタンバイ）のノード情報を取得し、取得したノード情報が示すノード（すなわち、後退先ノード）に動的に通信パスを再設定してコマンドの発行先を切り替えることを特徴とする。これにより、副サイト内のノードに障害が起きてもリモートコピー処理を継続することができる。図１１に示した処理には、図１０で説明した第１のノード障害回復処理と同様の処理があるが、これについては詳細な説明を省略し、差分のみを説明する。
【0123】
図１１において、ステップＳ１１０１より前の処理（ステップＳ１００１，Ｓ１００２，Ｓ１００８）は、図１０の下部に示したステップＳ１０１０より前の処理と同様である。ここの処理を簡単に言うと、正サイトのＰＶＯＬオーナノードがホストからのライト要求を受信し、そのＳＣＳ５０１Ａがデータ転送処理プログラム６２３を呼び出して、ＰＶＯＬへの更新差分データを副サイトのＳＶＯＬオーナノード（アクティブ）に転送する（ステップＳ１００１）。そして転送先の副サイトのＳＶＯＬオーナノード（アクティブ）において、ＳＣＳ５０１Ｄが、データ転送処理プログラム６２３を呼び出す（ステップＳ１００２）。その後、ＳＶＯＬオーナノード（アクティブ）において、通信ができなくなるような障害が発生したとすると、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、タイムアウトを検出する（ステップＳ１００８）。
【0124】
図１１において、ステップＳ１１０１～Ｓ１１０４（あるいはステップＳ９０７まで）の処理が、第２のノード障害回復処理に相当し、ノード障害回復処理プログラム６２２によって実行される。ステップＳ９０７の処理は、図９で説明したようにパス作成処理プログラム６２１によって実行される。
【0125】
ステップＳ１１０１では、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、ＳＶＯＬオーナノード（スタンバイ）のノード情報を副サイトのディスカバリノードに問い合わせる。
【0126】
ステップＳ１１０２では、ステップＳ１１０１の問い合わせを受けた副サイトのディスカバリノードのＳＣＳ５０１Ｃが、副サイト内のノード間の共有データベースからＳＶＯＬオーナノード（スタンバイ）に関するノード情報を取得する。
【0127】
ステップＳ１１０３では、ＳＣＳ５０１Ｃは、ステップＳ１１０２で取得したＳＶＯＬオーナノード（スタンバイ）のノード情報を正サイトのＰＶＯＬオーナノードに応答する。
【0128】
ステップＳ１１０４では、正サイトのＰＶＯＬオーナノードは、副サイトから応答として、ＳＶＯＬオーナノード（スタンバイ）のノード情報を受信する。
【0129】
その後、ステップＳ９０７では、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａは、パス作成処理プログラム６２１を呼び出して、ＳＶＯＬオーナノード（スタンバイ）のノードとの間に通信パスを確立する。ステップＳ９０７の詳細な処理は、図９で説明した通りである。
【0130】
ステップＳ９０７の処理が完了することにより、正サイトのＰＶＯＬオーナノードから後退先ノードであるＳＶＯＬオーナノード（スタンバイ）に通信パスが設定される。したがってその後は、図１０の場合と同様にステップＳ１０１０～Ｓ１０１４の処理が行われることで、第２のノード障害回復処理が実行された場合も、ＰＶＯＬへの更新差分データをＳＶＯＬに反映することができる。
【0131】
なお、上述した第１及び第２のノード障害回復処理は、副サイト内のノードに障害が発生した場合のノード障害回復処理を説明したものであるが、正サイトと副サイトとを入れ替えて考えれば、正サイト内のノードに障害が発生した場合も同様に、ストレージシステム１０１は、ノード障害回復処理を実行することができる。正サイトと副サイトとを入れ替えることは、前述したパス作成処理や後述するパス変更処理でも同様に考えられる。
【0132】
（２－３）リモートコピー処理
図１２は、リモートコピー処理の処理手順例を示すシーケンス図である。図１２には、ジャーナルボリューム（ＪＮＬＶＯＬ）を介した非同期的なデータ転送処理として、リモートコピー処理が示されている。図１２に示すリモートコピー処理は、Ｉ／Ｏ処理プログラム６２５及びデータ転送処理プログラム６２３の処理で構成される。
図１２は、リモートコピー処理の処理手順例を示すシーケンス図である。図１２には、ジャーナルボリューム（ＪＮＬＶＯＬ）を介した非同期的なデータ転送処理として、リモートコピー処理が示されている。図１２に示すリモートコピー処理は、Ｉ／Ｏ処理プログラム６２５及びデータ転送処理プログラム６２３の処理で構成される。
【0133】
ジャーナルボリュームを介したリモートコピー処理では、正サイトのＰＶＯＬへの更新差分データをジャーナルボリュームに記録しておき、副サイトのＳＶＯＬのジャーナルボリュームを有するノードが、正サイトのＰＶＯＬのジャーナボリュームを有するノードに更新差分データを問い合わせて、取得した更新差分データをＳＶＯＬのジャーナルボリュームに書き込み、さらにＳＶＯＬのジャーナルボリュームからＳＶＯＬ本体に更新差分データを反映する。ジャーナルボリュームを経由することで、複数のＰＶＯＬとＳＶＯＬとがリモートコピーペアとして登録されており、それらが同一のコンシステンシグループに属するとき、ジャーナルボリュームに書き込まれた更新差分データを同時刻までＳＶＯＬに反映することで、複数のＳＶＯＬ間での整合性を維持することができる。
【0134】
図１２を参照しながらリモートコピー処理を詳しく説明する。
【0135】
まず、正サイトのＰＶＯＬオーナノードがホストからのライト要求を受信すると、ＰＶＯＬオーナノードのＳＣＳ５０１Ａが、Ｉ／Ｏ処理プログラム６２５を呼び出してステップＳ１２０１～Ｓ１２０２の処理を実行する。ステップＳ１２０１～Ｓ１２０２は、Ｉ／Ｏ処理プログラム６２５の一部である書込み処理を示しており、ホストからの書き込み要求があるとライトデータをＰＶＯＬに書き込み、更新差分データをＪＮＬＶＯＬへ書き込む。
【0136】
ステップＳ１２０１では、ＳＣＳ５０１Ａが、ホストからのライトデータをＰＶＯＬに書き込む。ステップＳ１２０２では、ＳＣＳ５０１Ａが、ＰＶＯＬへのライトデータをメタデータとともにＰＶＯＬのＪＮＬＶＯＬへ書込む。メタデータには、書き込み時刻、書き込み先ＰＶＯＬ ＩＤ、書き込み先ＬＢＡ（Logical Block Address）、及び書き込みデータの転送長等が含まれる。
【0137】
正サイトのＰＶＯＬにデータが書き込まれた後は、ＳＣＳ５０１Ａが、データ転送処理プログラム６２３を呼び出し、ステップＳ１２０３～Ｓ１２０８が実行される。ステップＳ１２０３～Ｓ１２０８は、Ｉ／Ｏ処理の完了後に毎回起動して実行してもよいし、周期的に実行してもよい。
【0138】
ステップＳ１２０３では、副サイトのＳＶＯＬオーナノードのＳＣＳ５０１Ｂが、正サイトの対応するＰＶＯＬオーナノードにジャーナルリード要求を送信する。
【0139】
ステップＳ１２０４では、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、副サイトのＳＶＯＬオーナノードからのジャーナルリード要求を受信する。次のステップＳ１２０５では、ＳＣＳ５０１Ａが、ジャーナルボリュームからＳＶＯＬに未反映の更新差分データを読み出して、メタデータと共に副サイトのＳＶＯＬオーナノードに転送する。
【0140】
ステップＳ１２０６では、ＳＣＳ５０１Ｂが、正サイトのＰＶＯＬオーナノードから更新差分データとメタデータを受信する。次のステップＳ１２０７では、ＳＣＳ５０１Ｂは、ＳＶＯＬのジャーナルボリュームにステップＳ１２０６で受信した更新差分データとメタデータを書き込む。
【0141】
そしてステップＳ１２０８では、ＳＣＳ５０１Ｂが、ＳＶＯＬのジャーナルボリュームから更新差分データとメタデータとを読み出し、更新差分データをＳＶＯＬに書き込む。複数のボリュームがリモートコピーペアを組む場合、つまり正副サイトのそれぞれで複数のボリュームが１つのジャーナルボリュームを共有して、リモートコピー処理を実行する場合、ＳＣＳ５０１Ｂは、ステップＳ１２０８で副サイトのジャーナルボリュームから読み出したメタデータを参照して、同時刻までの更新差分データまでを複数のＳＶＯＬに書き込む。これにより、複数のボリューム間でコンシステンシを維持したリモートコピー処理を実現することができる。
【0142】
（２－４）パス変更処理
図１３は、パス変更処理の処理手順例を示すシーケンス図である。ノードの容量不足等を理由に、同一サイト内の別ノードにＳＶＯＬまたはジャーナルボリュームを移動するとき（オーナ権の移動でもよい）、パス変更処理プログラム６２４が呼び出されて、図１３に示すパス変更処理が実行される。
図１３は、パス変更処理の処理手順例を示すシーケンス図である。ノードの容量不足等を理由に、同一サイト内の別ノードにＳＶＯＬまたはジャーナルボリュームを移動するとき（オーナ権の移動でもよい）、パス変更処理プログラム６２４が呼び出されて、図１３に示すパス変更処理が実行される。
【0143】
パス変更処理では、ＳＶＯＬのオーナ権を、あるノード（移動元ＳＶＯＬノード）から別のノード（移動先ＳＶＯＬノード）に移動したとき、移動元ＳＶＯＬノードのストレージ制御ソフトウェア（ＳＣＳ）５０１Ｆが、正サイトにオーナ権が移動されたことを通知し、正サイトのＰＶＯＬのオーナ権を有するノード（ＰＶＯＬオーナノード）のストレージ制御ソフトウェア（ＳＣＳ）５０１Ａが、副サイトに移動先ＳＶＯＬノードのノード情報を問い合わせ、取得したノード情報が示すノード（すなわち移動先ＳＶＯＬノード）に通信パスを再設定する。
【0144】
ステップＳ１３０１～Ｓ１３０７の処理は、副サイトにあるＳＶＯＬのオーナ権を移動する処理であって、オーナマイグレーション処理プログラム６２６によって実行される。
【0145】
ステップＳ１３０１では、副サイトのＳＶＯＬオーナノードのＳＣＳ５０１Ｆが、ＳＶＯＬのオーナ権移動（Owner Migration）を開始する。オーナ権移動は、ノードの性能もしくは容量が不足したことを検知した際に、処理が開始される。
【0146】
ステップＳ１３０２では、副サイト内でオーナ権の移動元となるＳＶＯＬノード（移動元ＳＶＯＬノード）のＳＣＳ５０１Ｆが、オーナ権の移動先となるＳＶＯＬノード（移動先ＳＶＯＬノード）へＳＶＯＬのデータを転送する。データの移動中にホストから書き込み要求を受領した場合は、移動元ＳＶＯＬノードと移動先ＳＶＯＬノードの両方にライトデータを書き込む。
【0147】
ステップＳ１３０３では、副サイトの移動先ＳＶＯＬノードのＳＣＳ５０１Ｇが、移動元ＳＶＯＬノードから移動元ＳＶＯＬノードのＳＶＯＬのデータを受信し、自ノードのＳＶＯＬに書き込む。
【0148】
ステップＳ１３０４では、副サイトの移動元ＳＶＯＬノードのＳＣＳ５０１Ｆは、ＳＶＯＬの全データを転送完了したとき、全データの転送完了通知を移動先ＳＶＯＬノードに送信する。
【0149】
ステップＳ１３０５では、副サイトの移動先ＳＶＯＬノードは、ステップＳ１３０４で送信された転送完了通知を受信する。
【0150】
ステップＳ１３０６では、副サイトの移動元ＳＶＯＬノードのＳＣＳ５０１Ｆが、自ノードのＳＶＯＬの制御情報を非オーナ属性に更新する。
【0151】
ステップＳ１３０７では、副サイトの移動先ＳＶＯＬノードのＳＣＳ５０１Ｇが、自ノードのＳＶＯＬの制御情報をオーナ属性に更新する。
【0152】
以上の処理が行われることにより、移動先ＳＶＯＬノードがＳＶＯＬのオーナ権を持つことになり、以降のホストからのＩ／Ｏ要求を処理する。なお、非オーナ属性である移動元ＳＶＯＬノードがホストからＩ／Ｏ要求を受信した場合には、移動元ＳＶＯＬノードから移動先ＳＶＯＬノードへＩ／Ｏ要求を転送し、移動先ＳＶＯＬノードにおいてＩ／Ｏ要求を処理する。
【0153】
また、副サイトのクラスタがノード間で共有されたドライブボックスを用いて構成されている場合、ステップＳ１３０２～Ｓ１３０５のデータ転送処理はスキップしてもよい。これは、各ノードは、いずれのノードがオーナ権をもつデータにも物理的にアクセス可能なため、ステップＳ１３０６～Ｓ１３０７のオーナ権に関する制御情報の更新だけでオーナ権移動を実現することができるためである。
【0154】
ステップＳ１３０８～Ｓ１３１３の処理は、正サイトのＰＶＯＬオーナノードと副サイトのＳＶＯＬノードとの間で通信パスを変更する処理であって、パス変更処理プログラム６２４によって実行される。
【0155】
ステップＳ１３０８では、副サイトの移動元ＳＶＯＬノードのＳＣＳ５０１Ｆが、正サイトのＰＶＯＬオーナノードに、現在の通信パスが最適でないことを通知する。ここで、最適でないとは、新たなＳＶＯＬオーナノード（移動先ＳＶＯＬノード）に通信パスが設定されていないことを意味する。また、この通知は、ホストからのＩ／Ｏ要求の応答に含めてもよいし、ホストＩ／Ｏ要求とは非同期に送信してもよい。また、この通知は、移動元ＳＶＯＬノードへの通信パスを切断することによって代えてもよい。
【0156】
ステップＳ１３０９では、正サイトのＰＶＯＬオーナノードは、現在の通信パスが最適でないことの通知を移動元ＳＶＯＬノードから受信する。
【0157】
ステップＳ１３１０では、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、ＳＶＯＬのオーナ権を有するノードの情報を副サイトのディスカバリノードに問い合わせる。
【0158】
ステップＳ１３１１では、副サイトのディスカバリノードのＳＣＳ５０１Ｃが、副サイトのノード間の共有データベースから、ＳＶＯＬのオーナ権を有するノード（すなわち移動先ＳＶＯＬノード）に関するノード情報を取得する。
【0159】
そしてステップＳ１３１２では、ＳＣＳ５０１Ｃが、ステップＳ１３１１で取得したノード情報を正サイトのＰＶＯＬオーナノードに応答する。
【0160】
ステップＳ１３１３では、正サイトのＰＶＯＬオーナノードは、副サイトのディスカバリノードからＳＶＯＬオーナノードに関するノード情報を受信する。
【0161】
そして、正サイトのＰＶＯＬオーナノードのＳＣＳ５０１Ａが、受信したノード情報に基づいてステップＳ９０７のログイン処理を実行することにより、上記ノード情報が示す移動先ノードＳＶＯＬノードにログインして通信パスを確立する。
【0162】
上記のステップＳ９０７の処理が完了することにより、以降は、正サイトのＰＶＯＬオーナノードは、移動先ＳＶＯＬノードに対して、リモートコピーのデータ転送の通信を行うことができる。すなわち、ストレージシステム１０１は、副サイトのＳＶＯＬオーナノードを変更した際に、副サイトのディスカバリノードを利用して、ＰＶＯＬオーナノードとＳＶＯＬオーナノードとの間の通信パスの設定を変更することができる。
【0163】
以上に説明した各処理を実行することにより、本実施形態に係るストレージシステム１０１は、リモートコピーペアを作成するときに、正サイトと副サイトとの間でＰＶＯＬオーナノードまたはＳＶＯＬオーナノードに関する情報を問い合わせて、ＰＶＯＬオーナノードとＳＶＯＬオーナノード間で通信パスを自動で設定することができる。また、ストレージシステム１０１において各サイトは、ＰＶＯＬまたはＳＶＯＬに関するオーナ権の情報をノード間の共有データベース１０５に記録することで、正サイトまたは副サイトは、相手サイトのいずれのノードに問い合わせても、ペアとなるボリュームのオーナ権を有したノードに関する情報を取得することができる。
【0164】
かくして、本実施形態に係るストレージシステム１０１によれば、正サイトと副サイトでリモートコピーペアを作成するにあたり、ペアとなるボリュームのオーナ権を有したノード間で通信パスを自動で設定できるようになるため、ストレージシステムの運用コストを低減することができ、さらに、リモートコピー処理を実行する際の性能への悪影響を防止することができる。
【符号の説明】
【0165】
１００ ユーザ
１０１ ストレージシステム
１０２ ボリューム（ＰＶＯＬ，ＳＶＯＬ，ＪＮＬＶＯＬ）
１０３ リモートコピーペア
１０４ 通信パス
１０５ 共有データベース
２０１ サイト（正サイト，副サイト）
２０２，２２０ ネットワーク
２１０ ノード
２１１ プロセッサ
２１２ メモリ
２１３ プロセッサパッケージ
２１４ ドライブ
２１５ ポート
２１６ 内部バス
４０１ ホスト
４０２ アプリケーション
４０３ データ
４０４ ストレージプール
５０１ ストレージ制御ソフトウェア（ＳＣＳ）
６１０ 制御情報テーブル
６１１ システム構成管理テーブル
６１２ ペア構成管理テーブル
６２０ ストレージプログラム
６２１ パス作成処理プログラム
６２２ ノード障害回復処理プログラム
６２３ データ転送処理プログラム
６２４ パス変更処理プログラム
６２５ Ｉ／Ｏ処理プログラム
６２６ オーナマイグレーション処理プログラム
１０１ ストレージシステム
１０２ ボリューム（ＰＶＯＬ，ＳＶＯＬ，ＪＮＬＶＯＬ）
１０３ リモートコピーペア
１０４ 通信パス
１０５ 共有データベース
２０１ サイト（正サイト，副サイト）
２０２，２２０ ネットワーク
２１０ ノード
２１１ プロセッサ
２１２ メモリ
２１３ プロセッサパッケージ
２１４ ドライブ
２１５ ポート
２１６ 内部バス
４０１ ホスト
４０２ アプリケーション
４０３ データ
４０４ ストレージプール
５０１ ストレージ制御ソフトウェア（ＳＣＳ）
６１０ 制御情報テーブル
６１１ システム構成管理テーブル
６１２ ペア構成管理テーブル
６２０ ストレージプログラム
６２１ パス作成処理プログラム
６２２ ノード障害回復処理プログラム
６２３ データ転送処理プログラム
６２４ パス変更処理プログラム
６２５ Ｉ／Ｏ処理プログラム
６２６ オーナマイグレーション処理プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】