特許7553136ストレージシステム、ストレージ、ストレージシステムの制御方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】ストレージシステム、ストレージ、ストレージシステムの制御方法およびプログラム
(51)【国際特許分類】
G06F 3/06 20060101AFI20240910BHJP
G06F 13/10 20060101ALI20240910BHJP
G06F 11/14 20060101ALI20240910BHJP
【ＦＩ】
G06F3/06 304F
G06F3/06 301X
G06F3/06 301Z
G06F13/10 340A
G06F3/06 304B
G06F11/14 648
【請求項の数】
8
(21)【出願番号】P 2023034239
(22)【出願日】2023-03-07
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】野中 春輝
【審査官】田名網 忠雄
(56)【参考文献】
【文献】特開２００３－２４２０１１（ＪＰ，Ａ）
【文献】特開２０２１－０８６１５９（ＪＰ，Ａ）
【文献】特開２００８－１８１２８８（ＪＰ，Ａ）
【文献】特開２０１１－０４８５００（ＪＰ，Ａ）
【文献】特開２０１９－１８５６６１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０６－３／０８
Ｇ０６Ｆ １３／１０－１３／１４
Ｇ０６Ｆ １１／１４
(57)【特許請求の範囲】
【請求項1】
正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージと、
を備え、
前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、
前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーし、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、
その後、前記コピー動作を再開する
ストレージシステム。
【請求項2】
前記第２差分情報に基づいて差分があるとされた各データの前記副ボリュームから前記退避ボリュームへのコピーと、前記第１差分情報に基づいて差分があるとされた各データの前記正ボリュームから前記副ボリュームへのコピーとが、
第１記憶領域および第２記憶領域毎に並行して行われる
請求項１に記載のストレージシステム。
【請求項3】
前記第２差分情報に基づいて差分があるとされた各データの前記副ボリュームから前記退避ボリュームへのコピーが、前記コピー動作が停止した場合、停止後に行われる請求項１に記載のストレージシステム。
【請求項4】
正ボリュームを備え、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージに通信回線を介して接続された第１ストレージであって、前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、前記副ボリュームと、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、
前記コピー動作が停止した場合、前記第２ストレージにおいて前記第２差分情報に基づいて差分があるとされた各データが前記副ボリュームから前記退避ボリュームへコピーされた後に、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、
その後、前記コピー動作を再開する
ストレージ。
【請求項5】
正ボリュームを備える第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージであって、前記第１ストレージが、前記正ボリュームと、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、
前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データが前記正ボリュームから前記副ボリュームへコピーされる前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーし、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、
その後、前記コピー動作を再開する
ストレージ。
【請求項6】
正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージと、
を制御する制御方法であって、
前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、
前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーするステップと、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーするステップと、
その後、前記コピー動作を再開するステップと
を含むストレージシステムの制御方法。
【請求項7】
正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージと、
を備え、
前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、前記副ボリュームと、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備えるストレージシステムにおける、前記第１ストレージのコンピュータを、
前記コピー動作が停止した場合、前記第２ストレージにおいて前記第２差分情報に基づいて差分があるとされた各データが前記副ボリュームから前記退避ボリュームへコピーされた後に、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする手段、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする手段、
その後、前記コピー動作を再開する手段、
として機能させるプログラム。
【請求項8】
正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージとを備え、
前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、前記副ボリュームと、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備えるストレージシステムにおける、前記第２ストレージのコンピュータを、
前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データが前記正ボリュームから前記副ボリュームへコピーされる前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーする手段、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする手段、
その後、前記コピー動作を再開する手段
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストレージシステム、ストレージ、ストレージシステムの制御方法およびプログラムに関する。
【背景技術】
【0002】
メインサイトのストレージのデータをリモートサイトのストレージにバックアップする方式には、メインサイトのデータ更新とリモートサイトのデータコピーとをデータの順序性を保持した上で非同期に実行する方式がある（例えば特許文献１）。この方式では、例えばコピーするデータを一時的に保持するバッファがあふれた場合、コピー動作を停止し、整合性がとれるまで差分コピーを実行した後、コピー動作が再開される。この差分コピーはデータの順序性を意識せず実行されるので、差分コピーを実行している状態でメインサイトに障害が発生するとリモートサイトのデータは無意味なデータとなってしまう（特許文献１の段落０００７～０００９）。この問題に対しては、リモートサイトに差分コピー実行前の状態を保持する退避領域を設けることで、少なくとも差分コピー前の整合性のあるデータを復旧することができる（特許文献１の段落００１０～００１１）。退避領域を設ける場合、差分データを上書きする前に上書きされるデータを退避するため、空きエリアの探索と、データの退避と、データが格納されていた位置と退避先などを表す情報の作成と記憶とを行う必要がある（特許文献１の先行特許文献（特開平１１－１５６０４号公報の段落００５２））。また、退避領域を設ける場合、ボリューム容量として現状の２倍の容量を用意する必要がある（特許文献１の段落００１４）
【0003】
また、上述したメインサイトとリモートサイト間の差分コピー時の問題は、例えばリモートサイトにあるコピー先の副ボリュームのレプリカを設けて、副ボリュームの全データをレプリカにバックアップしておくことで解決することができる（特許文献２）。この場合、障害発生時の退避ボリュームを用いたデータの復旧は、副ボリュームのデータをレプリカにバックアップした時点のデータに基づいて行われる。この特許文献２に記載されているリモートコピーシステムでは、予め設定した予約時刻で副ボリュームからレプリカへデータがバックアップされる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－５２８４４号公報
【文献】特開２００８－１８１２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載されているようにメインサイトからリモートサイトへ差分コピーが行われる際に上書きされるデータを退避領域に退避させる場合、差分コピーの内容に応じて退避領域の確保や退避したデータに関する情報の作成と記憶とを行わなければならない。このため、場合によっては退避に要する処理や記憶容量が問題となることがある。
【0006】
また、特許文献２に記載されているように予め設定した予約時刻にレプリカを作成する場合、障害発生時刻と予約時刻との間隔によっては、復旧できるデータ量が問題となることがある。
【0007】
本発明は、上述の課題を解決するストレージシステム、ストレージ、ストレージシステムの制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様は、正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージとを備え、前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーし、その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、その後、前記コピー動作を再開する、ストレージシステムである。
【0009】
本発明の一態様は、正ボリュームを備え、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージに通信回線を介して接続された第１ストレージであって、前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、前記第２ストレージが、前記副ボリュームと、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データが前記正ボリュームから前記副ボリュームへコピーされる前に、前記第２差分情報に基づいて差分があるとされた各データが前記副ボリュームから前記退避ボリュームへコピーされ、その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データが前記正ボリュームから前記副ボリュームへコピーされ、その後、前記コピー動作が再開される、ストレージである。
【0010】
本発明の一態様は、正ボリュームを備える第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージであって、前記第１ストレージが、前記正ボリュームと、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データが前記正ボリュームから前記副ボリュームへコピーされる前に、前記第２差分情報に基づいて差分があるとされた各データが前記副ボリュームから前記退避ボリュームへコピーされ、その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データが前記正ボリュームから前記副ボリュームへコピーされ、その後、前記コピー動作が再開される、ストレージである。
【0011】
本発明の一態様は、正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージとを制御する制御方法であって、前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーするステップと、その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーするステップと、その後、前記コピー動作を再開するステップとを含むストレージシステムの制御方法である。
【0012】
本発明の一態様は、正ボリュームを備える第１ストレージと、前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージとを制御する際に、前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーするステップと、その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーするステップと、その後、前記コピー動作を再開するステップとをコンピュータに実行させるプログラムである。
【発明の効果】
【0013】
本発明のストレージシステム、ストレージ、ストレージシステムの制御方法およびプログラムによれば、正ボリュームから副ボリュームへの順序性を保証したデータのコピー動作を、停止した後、再開する場合に、副ボリュームのデータを適切に退避させることができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係るストレージシステムの構成例を説明するためのブロック図である。
【図2】本発明の実施形態で順序保証コピーのグループを設定する際の処理の例を示すフローチャートである。
【図3】本発明の実施形態における順序保証コピーのグループの設定例を示す模式図である。
【図4】本発明の実施形態で順序保証コピーのボリュームを構築する際の動作例を示すフローチャートである。
【図5】本発明の実施形態で順序保証コピーのボリュームを構築する際のデータの流れの例を説明するための模式図である。
【図6】本発明の実施形態で順序保証コピーのボリュームを構築する際の差分情報バッファの内容の例を説明するための模式図である。
【図7】本発明の実施形態で順序保証コピーの退避ボリュームを構築する際の動作例を示すフローチャートである。
【図8】本発明の実施形態で順序保証コピーの退避ボリュームを構築する際のデータの流れの例を説明するための模式図である。
【図9】本発明の実施形態で順序保証コピーの退避ボリュームを構築する際の差分情報バッファの内容の例を説明するための模式図である。
【図10】本発明の実施形態における順序保証コピーの動作例を示すフローチャートである。
【図11】本発明の実施形態に係る順序保証コピーの動作例におけるデータの流れの例を説明するための模式図である。
【図12】本発明の実施形態における順序保証コピーを停止する際の動作例を示すフローチャートである。
【図13】本発明の実施形態における順序保証コピーを停止した状態でのホストからの書き込みの際の動作例を示すフローチャートである。
【図14】本発明の実施形態において順序保証コピーを停止した状態でのホストからの書き込みの際の動作例におけるデータの流れの例を説明するための模式図である。
【図15】本発明の実施形態において順序保証コピーを停止した状態でのホストからの書き込みの際の動作例における差分情報バッファの内容の例を説明するための模式図である。
【図16】本発明の第１実施形態において順序保証コピーを再開する際の動作例を示すフローチャートである。
【図17】本発明の第１実施形態において順序保証コピーを再開する際の退避ボリュームへのコピー動作の例を示すフローチャートである。
【図18】本発明の第１実施形態において順序保証コピーを再開する際の動作例におけるデータの流れの例を説明するための模式図である。
【図19】本発明の第１実施形態において順序保証コピーを再開する際の差分情報バッファの内容の例を説明するための模式図である。
【図20】本発明の第１実施形態において順序保証コピーを再開する際の正ボリュームから副ボリュームへの差分コピーの動作例を示すフローチャートである。
【図21】本発明の第１実施形態において順序保証コピーを再開する際の動作例におけるデータの流れの例を説明するための模式図である。
【図22】本発明の第１実施形態において順序保証コピーを再開する際の差分情報バッファの内容の例を説明するための模式図である。
【図23】本発明の第２実施形態において順序保証コピーを再開する際の動作例を示すフローチャートである。
【図24】本発明の第２実施形態において順序保証コピーを再開する際の正ボリュームから副ボリュームへの差分コピーの動作例を示すフローチャートである。
【図25】本発明の第３実施形態における順序保証コピーを停止する際の動作例を示すフローチャートである。
【図26】本発明の実施形態に係る構成の最小構成例を示すブロック図である。
【図27】本発明の実施形態に係る動作の最小構成例を示すフローチャートである。
【図28】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。
【0016】
［第１実施形態］
（ストレージシステムの構成）
図１は、本発明の実施形態（第１実施形態、第２実施形態および第３実施形態）に係るストレージシステムの構成例を説明するためのブロック図である。図１に示すストレージシステム３は、メインサイト１に設置されたストレージ１０とリモートサイト２に設置されたストレージ２０とを備える。リモートサイト２は例えばディザスタリカバリを目的としてメインサイト１から離れた地域に配置されている。なお、以下では、「メインサイト１に設置されたストレージ１０」を、単に「メインサイト１」ともいう。また、「リモートサイト２に設置されたストレージ２０」を、単に「リモートサイト２」ともいう。メインサイト１とリモートサイト２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の遠隔回線（通信回線）５０で接続されている。
（ストレージシステムの構成）
図１は、本発明の実施形態（第１実施形態、第２実施形態および第３実施形態）に係るストレージシステムの構成例を説明するためのブロック図である。図１に示すストレージシステム３は、メインサイト１に設置されたストレージ１０とリモートサイト２に設置されたストレージ２０とを備える。リモートサイト２は例えばディザスタリカバリを目的としてメインサイト１から離れた地域に配置されている。なお、以下では、「メインサイト１に設置されたストレージ１０」を、単に「メインサイト１」ともいう。また、「リモートサイト２に設置されたストレージ２０」を、単に「リモートサイト２」ともいう。メインサイト１とリモートサイト２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の遠隔回線（通信回線）５０で接続されている。
【0017】
ストレージ１０はＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線５１を介してホストコンピュータ（以下、単に「ホスト」という）１００に接続されている。ホスト１００は、ストレージ１０に対してデータの書き込み、および、データの読み出しを行うとともに、ストレージシステム３の動作条件等の設定等を行う。また、ストレージ２０は通信回線５２を介してホスト２００に接続されている。ホスト２００は、ストレージ２０に対してデータの書き込み、および、データの読み出しを行うとともに、ストレージシステム３の動作条件等の設定等を行う。なお、ホスト１００とホスト２００は、ストレージシステム３に含まれていてもよいし、含まれてなくてもよい。また、ホスト２００は省略してもよい。また、ホスト１００とホスト２００はそれぞれ複数であってもよい。以下では、ホスト１００からストレージ１０へのデータの書き込み動作を「Ｉ／Ｏ」（入力または出力）または「ホストＩ／Ｏ」という。また、書き込まれたデータを「Ｉ／Ｏデータ」ともいう。なお、Ｉ／Ｏデータは、例えば、ホスト１００上で稼働するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって管理される。Ｉ／Ｏデータは、例えば、書き込み先のボリュームとボリューム内の格納領域とを指定して所定のブロック単位でストレージ１０への書き込みが要求されるという形態で発行される。
【0018】
ストレージ１０は、ストレージコントローラ（ストレージプロセッサ、アレイコントローラ等とも呼ばれる）ＳＣ１と、ストレージアレイ３０とを備える。ストレージ２０は、ストレージコントローラＳＣ２と、ストレージアレイ４０とを備える。ストレージアレイ３０および４０は、例えば複数のディスクドライブとコントローラとを備える。ストレージアレイ３０および４０には複数のボリュームが設定される。ボリュームは、ストレージ（外部記憶装置）におけるデータの管理上の単位であり、論理ボリュームとも呼ばれる。複数のボリュームはグループ分けすることができる。各グループ（ボリュームグループともいう）は複数のボリュームを含むことができる。同一グループに属するボリュームは、同一のタイミングでデータの整合性が保たれる。
【0019】
本実施形態のストレージシステム３では、ホスト１００が更新した正ボリュームのデータは、そのコピーが順序保証されてメインサイト１内のバッファ（メモリやディスク等の記憶領域）に格納される。また、メインサイト１内のバッファに格納されたデータは、別途ホストＩ／Ｏとは非同期にリモートサイト２のストレージ２０へ転送される。そして、リモートサイト２のストレージ２０上に更新順序が保証された副ボリュームが作成される。以下、正ボリュームで更新されたデータのコピーが、順序性を保証された状態で副ボリュームへ書き込まれる一連の動作を「順序保証コピー」あるいは「順序保証コピー動作」という。また、順序保証コピーによってコピーされるデータを順序保証データともいう。
【0020】
本実施形態では、一例として、ストレージアレイ３０に正ボリューム１８（以下、単に「ボリューム１８」ともいう）が設定され、ストレージアレイ４０に正ボリューム１８のコピーペアとして副ボリューム２８（以下、単に「ボリューム２８」ともいう）が設定される。また、ストレージアレイ４０には、副ボリューム２８の全データをコピーして記憶する退避ボリューム２９が設定される。また、「ボリューム１８」と「ボリューム２８」は「グループ３」に属すると設定される。以下、必要に応じて、正ボリューム１８、副ボリューム２８および退避ボリューム２９を例示して構成および動作について説明する。
【0021】
なお、ボリューム１８、２８および退避ボリューム２９は、互いに対応する領域Ａ（ＲＡ）、領域Ｂ（ＲＢ）、領域Ｃ（ＲＣ）、領域Ｄ（ＲＤ）、および、領域Ｅ（ＲＥ）を含んでいる。例えば、順序保証コピーの実行時には、ボリューム１８の領域Ｄとボリューム２８の領域Ｄに同一のデータが保持され、また、ボリューム２８の領域Ｄと退避ボリューム２９の領域Ｄに同一のデータが保持される。
【0022】
（ストレージコントローラの構成）
ストレージコントローラＳＣ１は、コンピュータと、そのコンピュータの周辺回路や周辺装置等のハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として次の各部を備える。すなわち、ストレージコントローラＳＣ１は、Ｉ／Ｏ処理部１１、キャッシュメモリ１２、順序保証処理部１３、順序保証バッファ１４、リモート送信処理部１５、差分管理処理部１６、および、差分情報バッファ１７を備える。
ストレージコントローラＳＣ１は、コンピュータと、そのコンピュータの周辺回路や周辺装置等のハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として次の各部を備える。すなわち、ストレージコントローラＳＣ１は、Ｉ／Ｏ処理部１１、キャッシュメモリ１２、順序保証処理部１３、順序保証バッファ１４、リモート送信処理部１５、差分管理処理部１６、および、差分情報バッファ１７を備える。
【0023】
まず、順序保証バッファ１４と差分情報バッファ１７について説明する。順序保証バッファ１４は、順序保証コピーのデータを格納するメモリやディスク等の記憶領域である。順序保証バッファ１４には、順序保証コピーの実行時にホスト１００から正ボリューム１８に対して発行されたＩ／Ｏデータが関係データとともに順序保証処理部１３によって格納される。ここで、関係データとは、例えば、更新された正ボリューム１８の位置、タイムスタンプ、シーケンス番号等を表すデータを含む。なお、以下では順序保証バッファ１４が格納したデータを順序保証バッファデータともいう。
【0024】
差分情報バッファ１７は差分情報を格納するメモリやディスク等の記憶領域である。差分情報バッファ１７は、メインサイト１で、ボリューム１８とリモートサイト２のボリューム２８との差分管理用として用いられる。差分情報バッファ１７は、例えば図６に示すように、ボリューム１８の各領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）、Ｅ（ＲＥ）、…について、ボリューム２８の各領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）、Ｅ（ＲＥ）、…とデータが一致している場合には「差分なし」とのデータを保持し、一致していない場合には「差分あり」とのデータを保持する。なお、図６は、本発明の実施形態で順序保証コピーのボリュームを構築する際の差分情報バッファ（差分情報バッファ１７および２７）の内容の例を説明するための模式図である。また、差分情報バッファ１７の内容は差分管理処理部１６によって更新される。また、差分情報バッファ１７には有効または無効の設定があり、差分管理処理部１６によって設定され、無効の場合には内容の更新は行われない。
【0025】
次に、Ｉ／Ｏ処理部１１は、ホスト１００からのＩ／Ｏデータを受信して処理する。Ｉ／Ｏ処理部１１は、例えば、ホスト１００から書き込まれたＩ／Ｏデータをキャッシュメモリ１２に受信し、順序保証処理部１３を呼ぶ。これに対し、順序保証処理部１３は、後述するように順序保証バッファ１４にデータをコピーし、Ｉ／Ｏ処理部１１に終了を報告する。また、Ｉ／Ｏ処理部１１は、順序保証処理部１３から順序保証バッファ１４へのデータのコピーの終了報告を受けた場合、差分管理処理部１６を呼び、差分管理処理部１６によって差分情報バッファ１７に差分ありを設定する。また、Ｉ／Ｏ処理部１１は、順序保証処理部１３から順序保証バッファ１４へのＩ／Ｏデータのコピーの終了報告を受けた場合、ホスト１００に終了を報告する。また、Ｉ／Ｏ処理部１１は、なお、キャッシュメモリ１２に書き込まれたＩ／ＯデータをホストＩ／Ｏとは非同期にボリューム１８に書き込む。
【0026】
キャッシュメモリ１２は、メモリやディスク等の記憶領域である。
【0027】
順序保証処理部１３は、Ｉ／Ｏの順序を処理する。順序保証処理部１３は、例えばホスト１００からの指示に基づき、順序保証コピーのグループを構築する。順序保証処理部１３は、例えば、ボリューム１８、２８および退避ボリューム２９の設定、順序保証バッファ１４および２４の設定、差分情報バッファ１７および２７の設定等を行う。また、順序保証処理部１３は、順序保証コピーを再開した場合に、リモートサイト２の差分管理処理部２６にボリューム２８のデータの退避ボリューム２９へのコピーを指示する。また、順序保証処理部１３は、Ｉ／Ｏ処理部１１からの呼び出しに応じて、キャッシュメモリ１２に格納されているＩ／Ｏデータを順序保証バッファ１４にコピーし、Ｉ／Ｏ処理部１１に終了を報告する。また、順序保証コピーの実行時に、順序保証処理部１３は、順序保証バッファ１４のＩ／Ｏデータのリモートサイト２への転送をリモート送信処理部１５に対して指示する。また、順序保証コピーを停止した場合、順序保証処理部１３は順序保証バッファ１４へのＩ／Ｏデータのコピーを停止する。
【0028】
リモート送信処理部１５は、順序保証処理部１３または差分管理処理部１６からの指示に応じて、順序保証バッファ１４のコピーおよび差分コピーをリモートサイト２に送信する処理を行う。ここで、順序保証バッファ１４のコピーは、順序保証バッファ１４に格納されている順序保証バッファデータを複製したデータである。また、差分コピーは、順序保証コピー再開時に差分情報バッファ１７の内容に基づいて（「差分あり」の場合に）正ボリューム１８のデータを複製したデータである。
【0029】
差分管理処理部１６は、差分コピーを実施する。差分管理処理部１６は、差分情報バッファ１７の有効または無効の設定と、差分情報バッファ１７の内容（「差分あり」または「差分なし」）の設定とを管理する。正ボリューム１８のコピーペアである副ボリューム２８の構築時に、差分管理処理部１６は、ボリューム１８の全データをボリューム２８へコピーするため、ボリューム１８の全データをリモート送信処理部１５からリモートサイト２に転送する。また、順序保証コピーの再開時には、差分管理処理部１６は、差分情報バッファ１７の内容に基づき、ボリューム１８のデータの差分コピーをリモート送信処理部１５からリモートサイト２に転送する。
【0030】
ストレージコントローラＳＣ２は、コンピュータと、そのコンピュータの周辺回路や周辺装置等のハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として次の各部を備える。すなわち、ストレージコントローラＳＣ２は、Ｉ／Ｏ処理部２１、キャッシュメモリ２２、順序保証処理部２３、順序保証バッファ２４、リモート受信処理部２５、差分管理処理部２６、および、差分情報バッファ２７を備える。
【0031】
まず、順序保証バッファ２４と差分情報バッファ２７について説明する。順序保証バッファ２４は、順序保証データを格納するメモリやディスク等の記憶領域である。順序保証バッファ２４には、順序保証コピーの実行時にメインサイト１から受信した順序保証バッファデータが関係データとともに順序保証処理部２３によって格納される。
【0032】
差分情報バッファ２７は、差分情報を格納するメモリやディスク等の記憶領域である。差分情報バッファ２７は、リモートサイト２で、ボリューム２８と退避ボリューム２９との差分管理用として用いられる。差分情報バッファ２７は、例えば図６に示すように、ボリューム２８の各領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）、Ｅ（ＲＥ）、…について、ボリューム２９の各領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）、Ｅ（ＲＥ）、…とデータが一致している場合には「差分なし」とのデータを保持し、一致していない場合には「差分あり」とのデータを保持する。また、差分情報バッファ２７の内容は差分管理処理部２６によって更新される。なお、この例では、差分情報バッファ２７と差分情報バッファ１７で差分のありなしを管理する領域の大きさを同一としているが、領域の大きさは異なっていてもよい。例えば、差分情報バッファ２７では、差分情報バッファ１７が管理する領域Ａ（ＲＡ）とＢ（ＲＢ）の２つの領域をまとめて１つの領域として差分のありなしを管理してもよい。
【0033】
Ｉ／Ｏ処理部２１は受信したＩ／Ｏを処理する。リモート受信処理部２５がデータを受信した場合、Ｉ／Ｏ処理部２１は、リモート受信処理部２５に呼び出され、順序保証処理部２３を呼んで順序保証バッファ２４にデータを受信させる。また、リモート受信処理部２５がデータを受信した場合、Ｉ／Ｏ処理部２１は、リモート受信処理部２５に呼び出され、差分管理処理部２６を呼んで差分情報バッファ２７に差分ありを設定することを指示する。また、Ｉ／Ｏ処理部２１は、順序保証処理部２３から順序保証バッファ２４へのデータの受信が終了したという報告を受けた場合リモート受信処理部２５に終了を報告する。
【0034】
キャッシュメモリ２２はデータを保存するメモリやディスク等の記憶領域である。キャッシュメモリ２２は例えばホスト２００が送信したＩ／Ｏデータを一時的に保持する。
【0035】
順序保証処理部２３はメインサイト１から受信した順序保証バッファデータを処理する。リモート受信処理部２５がデータを受信した場合、順序保証処理部２３は、Ｉ／Ｏ処理部２１に呼び出され、順序保証バッファ２４にデータを受信し、Ｉ／Ｏ処理部２１に終了を報告する。また、リモート受信処理部２５がデータを受信した場合、順序保証処理部２３は、Ｉ／Ｏ処理部２１に呼び出され、差分管理処理部２６呼び、差分情報バッファ２７に差分ありを設定させる。また、順序保証処理部２３はボリューム２８に順序保証バッファ２４のデータをコピーする。
【0036】
順序保証バッファ２４は受信した順序保証データを格納するメモリやディスク等の記憶領域である。
【0037】
リモート受信処理部２５はメインサイト１からの順序保証バッファ１４のコピーおよびボリューム１８からの差分コピーを受信する。リモート受信処理部２５はデータを受信するとＩ／Ｏ処理部２１を呼ぶ。また、リモート受信処理部２５は、Ｉ／Ｏ処理部２１から終了を報告されると、リモート受信処理部２５はメインサイト１のリモート送信処理部１５に終了を報告する。
【0038】
差分管理処理部２６は差分コピーを実施する。また、差分管理処理部２６は差分情報バッファ２７の内容を更新する。また、差分管理処理部２６は、ボリューム構築時に、順序保証処理部１３からの指示に応じて、ボリューム２８のデータを退避ボリューム２９へコピーする。また、差分管理処理部２６は、順序保証コピー動作時に設定された差分情報バッファ２７の差分ありの領域に対して、ボリューム２８から退避ボリューム２９へデータのコピーを実施する。
【0039】
（ストレージシステムの動作例）
次に図１に示すストレージシステム３の動作例について説明する。なお、この動作例の説明では、動作およびデータの流れとして次の例を用いる。すなわち、ボリューム１８の領域Ｄ（ＲＤ）にデータＤ０が記憶されている状態を初期状態とする。次に、順序保証コピーのコピーペアを構築する。次に、順序保証コピーを実行中にホスト１００からボリューム１８の領域Ｄ（ＲＤ）にデータＤ１が書き込まれる。次に順序保証コピーの動作を停止する。次に、順序保証コピーの停止中にホスト１００からボリューム１８の領域Ｄ（ＲＤ）にデータＤ２が書き込まれる。その後、順序保証コピーを再開する処理を行う。
次に図１に示すストレージシステム３の動作例について説明する。なお、この動作例の説明では、動作およびデータの流れとして次の例を用いる。すなわち、ボリューム１８の領域Ｄ（ＲＤ）にデータＤ０が記憶されている状態を初期状態とする。次に、順序保証コピーのコピーペアを構築する。次に、順序保証コピーを実行中にホスト１００からボリューム１８の領域Ｄ（ＲＤ）にデータＤ１が書き込まれる。次に順序保証コピーの動作を停止する。次に、順序保証コピーの停止中にホスト１００からボリューム１８の領域Ｄ（ＲＤ）にデータＤ２が書き込まれる。その後、順序保証コピーを再開する処理を行う。
【0040】
（順序保証コピーのグループの構築）
まず、図２を参照して、順序保証処理部１３が、順序保証コピーのグループを構築する手順について説明する。なお、本実施形態では、１つのグループにペアを１つ設定しているが、２つ以上あってもよい。図２は、本発明の実施形態で順序保証コピーのグループを設定する際の処理の例を示すフローチャートである。図２に示す処理は、例えばホスト１００とメインサイト１間で所定のユーザインタフェースを用いたやりとりに応じて実行される。
まず、図２を参照して、順序保証処理部１３が、順序保証コピーのグループを構築する手順について説明する。なお、本実施形態では、１つのグループにペアを１つ設定しているが、２つ以上あってもよい。図２は、本発明の実施形態で順序保証コピーのグループを設定する際の処理の例を示すフローチャートである。図２に示す処理は、例えばホスト１００とメインサイト１間で所定のユーザインタフェースを用いたやりとりに応じて実行される。
【0041】
図２に示す処理では、まず、メインサイト１で順序保証バッファ１４を「グループ３」に設定する（ステップＳ１０１）。次にリモートサイト２で順序保証バッファ２４を「グループ３」に設定する（ステップＳ１０２）。次にメインサイト１のボリューム１８とリモートサイト２のボリューム２８をペア（コピーペア）として設定する（ステップＳ１０３）。次にメインサイト１でボリューム１８とリモートサイト２のボリューム２８の差分管理用として、差分情報バッファ１７を設定する（ステップＳ１０４）。次にボリューム１８とボリューム２８を「グループ３」として設定する（ステップＳ１０５）。次にボリューム２８に退避ボリューム２９を設定する（ステップＳ１０６）。次にリモートサイト２でボリューム２８と退避ボリューム２９の差分管理用として、差分情報バッファ２７を設定する（ステップＳ１０７）。次にメインサイト１の差分管理処理部１６に構築時のボリューム１８のデータコピーを指示する（ステップＳ１０８）。次にリモートサイト２の差分管理処理部２６に構築時のボリューム２８のデータコピーを指示する（ステップＳ１０９）。
【0042】
ステップＳ１０１からステップＳ１０９までの処理が実施されると、「グループ３」の設定状況は図３に示すようになる。図３は本発明の実施形態における順序保証コピーのグループの設定例を示す模式図である。メインサイト１ではボリューム１８と順序保証バッファ１４と差分情報バッファ１７が「グループ３」に設定される。リモートサイト２ではボリューム２８と退避ボリューム２９と順序保証バッファ２４と差分情報バッファ２７が「グループ３」に設定される。
【0043】
（順序保証コピーのグループ構築時のボリュームのデータのコピー）
次に図４を参照してメインサイト１のグループ構築時に図２のステップＳ１０８でボリュームのデータコピー指示を受けた差分管理処理部１６の動作とリモートサイト２の受信動作について説明する。図４は本発明の実施形態で順序保証コピーのボリュームを構築する際の動作例を示すフローチャートである。グループ構築時のボリュームのデータコピー指示は例えばホスト１００の操作に基づいて発せられる。なお、データをコピーする前は、差分情報バッファ１７の各領域の内容は差分ありに設定されていて、差分情報バッファ２７の各領域の内容は差分なしに設定されている。
次に図４を参照してメインサイト１のグループ構築時に図２のステップＳ１０８でボリュームのデータコピー指示を受けた差分管理処理部１６の動作とリモートサイト２の受信動作について説明する。図４は本発明の実施形態で順序保証コピーのボリュームを構築する際の動作例を示すフローチャートである。グループ構築時のボリュームのデータコピー指示は例えばホスト１００の操作に基づいて発せられる。なお、データをコピーする前は、差分情報バッファ１７の各領域の内容は差分ありに設定されていて、差分情報バッファ２７の各領域の内容は差分なしに設定されている。
【0044】
図４に示す処理では、まず、メインサイト１の差分管理処理部１６が、ボリューム１８の領域ＤのデータＤ０をリモート送信処理部１５からリモートサイト２に転送する（ステップＳ２０１）。リモートサイト２のリモート受信処理部２５はデータＤ０を受信し、Ｉ／Ｏ処理部２１を呼ぶ（ステップＳ２０２）。次にリモートサイト２のＩ／Ｏ処理部２１は差分管理処理部２６に指示し、差分管理処理部２６は差分情報バッファ２７のボリューム２８の領域Ｄに差分ありを設定する（ステップＳ２０３）。次にリモートサイト２のＩ／Ｏ処理部２１は、メインサイト１から受信したデータＤ０をボリューム２８にコピーし、メインサイト１に終了を報告する（ステップＳ２０４）。メインサイト１の差分管理処理部１６は、差分情報バッファ１７のボリューム１８の領域Ｄに差分なしを設定する（ステップＳ２０５）。
【0045】
メインサイト１のボリューム１８の全体のコピーが完了するまでステップＳ２０１からステップ２０５までの処理が繰り返し実行される（ステップＳ２０１～Ｓ２０５とステップＳ２０６でいいえの繰り返し）。全体のコピーが完了すると差分管理処理部１６は呼び元の順序保証処理部１３に終了を報告する。
【0046】
なお、「グループ３」に２つ以上のペアが設定されている場合は、ステップＳ２０１～Ｓ２０６を繰り返して、「グループ３」のすべてのペアに対してコピーを実施する。構築時のコピーが終了すると、ボリューム１８とボリューム２８のデータは一致した状態となる。領域Ｄ（ＲＤ）でみるとボリューム１８とボリューム２８はデータＤ０となる（図５）。また、差分情報バッファ１７は差分なしとなり、差分情報バッファ２７は差分ありとなる（図６）。なお、図５は、本発明の実施形態で順序保証コピーのボリュームを構築する際のデータの流れの例を説明するための模式図である。
【0047】
（グループ構築時のボリューム２８のデータコピー指示を受けた差分管理処理部２６の動作）
次に図７を参照して、リモートサイト２のグループ構築時に図２のステップＳ１０９でボリューム２８のデータコピー指示を受けた差分管理処理部２６の動作について説明する。図７は本発明の実施形態で順序保証コピーの退避ボリュームを構築する際の動作例を示すフローチャートである。
次に図７を参照して、リモートサイト２のグループ構築時に図２のステップＳ１０９でボリューム２８のデータコピー指示を受けた差分管理処理部２６の動作について説明する。図７は本発明の実施形態で順序保証コピーの退避ボリュームを構築する際の動作例を示すフローチャートである。
【0048】
図７に示す処理では、まず、差分管理処理部２６が、ボリューム２８の領域Ｄ（ＲＤ）のデータＤ０を退避ボリューム２９の領域Ｄ（ＲＤ）へコピーする（ステップＳ３０１）。次に差分管理処理部２６は、差分バッファ２７の領域Ｄ（ＲＤ）に差分なしを設定する（ステップＳ３０２）。差分管理処理部２６は、ボリューム全体のコピーが完了するまでステップＳ３０１～Ｓ３０３を繰り返す（ステップＳ３０１～Ｓ３０２とステップＳ３０３でいいえの繰り返し）。全体のコピーが完了すると差分管理処理部２６は、呼び元の順序保証処理部１３に終了を報告する。
【0049】
なお、「グループ３」に２つ以上のペアが設定されている場合は、ステップＳ３０１～Ｓ３０３を繰り返して、「グループ３」のすべてのペアに対してコピーを実施する。
【0050】
リモートサイト２のボリューム２８から退避ボリューム２９へのコピーが終了すると、ボリューム２８と退避ボリュームのデータは一致した状態となる。領域Ｄ（ＲＤ）でみるとボリューム２８と退避ボリューム２９はデータＤ０となる（図８）。また、差分情報バッファ２８は差分なしとなる（図９）。なお、図８は本発明の実施形態で順序保証コピーの退避ボリューム２９を構築する際のデータの流れの例を説明するための模式図である。図９は本発明の実施形態で順序保証コピーの退避ボリューム２９を構築する際の差分情報バッファ２７の内容の例を説明するための模式図である。
【0051】
（順序保証コピー動作）
次に、図１０を参照して、ホスト１００からボリューム１８への書き込みが実施された場合の順序保証コピー動作を説明する。図１０は本発明の実施形態における順序保証コピーの動作例を示すフローチャートである。
次に、図１０を参照して、ホスト１００からボリューム１８への書き込みが実施された場合の順序保証コピー動作を説明する。図１０は本発明の実施形態における順序保証コピーの動作例を示すフローチャートである。
【0052】
図１０に示す処理では、Ｉ／Ｏ処理部１１はホスト１００から書き込まれたデータＤ１をキャッシュメモリ１２に受信し、順序保証処理部１３を呼ぶ（ステップＳ４０１）。次に順序保証処理部１３は、順序保証バッファ１４にデータＤ１をコピーし、Ｉ／Ｏ処理部１１に終了を報告する（ステップＳ４０２）。次にＩ／Ｏ処理部１１はホスト１００に終了を報告する（ステップＳ４０３）。なお、キャッシュメモリ１２に書き込まれたデータＤ１は非同期にボリューム１８に書き込まれる。
【0053】
次に順序保証処理部１３はリモート送信処理部１５に順序保証バッファ１４のデータＤ１のリモートサイト２への転送を指示する。また、リモート送信処理部１５はリモートサイト２にデータを転送する（ステップＳ４０４）。
【0054】
一方、リモートサイト２のリモート受信処理部２５はＩ／Ｏ処理部２１を呼び、Ｉ／Ｏ処理部２１は順序保証処理部２３を呼ぶ（ステップＳ４０５）。次に順序保証処理部２３は順序保証バッファ２４にデータＤ１を受信し、Ｉ／Ｏ処理部２１に終了を報告する（ステップＳ４０６）。次にＩ／Ｏ処理部２１はリモート受信処理部２５に終了を報告し、リモート受信処理部２５はメインサイト１のリモート送信処理部１５に終了を報告する（ステップＳ４０７）。
【0055】
次に順序保証処理部２３は差分管理処理部２６呼び、差分管理処理部２６は差分情報バッファ２７（この例では差分情報バッファ２７のボリューム２８の領域Ｄ（ＲＤ）に対応する格納領域）に差分ありを設定する（ステップＳ４０８）。
【0056】
その後、順序保証処理部２３はボリューム２８の領域Ｄ（ＲＤ）にデータＤ１をコピーする（ステップＳ４０９）。
【0057】
順序保証コピーが実施されると、ボリューム１８とボリューム２８の領域Ｄ（ＲＤ）はデータＤ１と同じ状態となり、退避ボリューム２９の領域Ｄ（ＲＤ）へはコピーされていないのでデータＤ０のままとなる（図１１）。図１１は、本発明の実施形態に係る順序保証コピーの動作例におけるデータの流れの例を説明するための模式図である。
【0058】
（順序保証コピーの停止）
次に、図１２を参照して順序保証コピーを停止する場合について説明する。順序保証コピー動作は、例えば、順序保証バッファ１４があふれそうになった場合に停止される。図１２は本発明の実施形態における順序保証コピーを停止する際の動作例を示すフローチャートである。図１２に示す処理では、まず、メインサイト１の順序保証処理部１３が順序保証バッファ１４へのコピーを停止する（ステップＳ５０１）。次に差分管理処理部１６は差分情報バッファ１７を有効にする（ステップＳ５０２）。
次に、図１２を参照して順序保証コピーを停止する場合について説明する。順序保証コピー動作は、例えば、順序保証バッファ１４があふれそうになった場合に停止される。図１２は本発明の実施形態における順序保証コピーを停止する際の動作例を示すフローチャートである。図１２に示す処理では、まず、メインサイト１の順序保証処理部１３が順序保証バッファ１４へのコピーを停止する（ステップＳ５０１）。次に差分管理処理部１６は差分情報バッファ１７を有効にする（ステップＳ５０２）。
【0059】
（順序保証コピーを停止状態でのホスト１００からボリューム１８への書き込み）
次に、図１３を参照して、順序保証コピーの停止状態でホスト１００からボリューム１８への書き込みが実施された場合について説明する。図１３は本発明の実施形態における順序保証コピーを停止した状態でのホスト１００からの書き込みの際の動作例を示すフローチャートである。
次に、図１３を参照して、順序保証コピーの停止状態でホスト１００からボリューム１８への書き込みが実施された場合について説明する。図１３は本発明の実施形態における順序保証コピーを停止した状態でのホスト１００からの書き込みの際の動作例を示すフローチャートである。
【0060】
図１３に示す処理では、まず、Ｉ／Ｏ処理部１１が、ホスト１００から書き込まれたデータＤ２をキャッシュメモリ１２に受信する（ステップＳ６０１）。次にＩ／Ｏ処理部１１は差分管理処理部１６を呼び（ステップＳ６０２）、差分管理処理部１６は差分情報バッファ１７のボリューム１８の領域Ｄ（ＲＤ）に差分ありを設定し、Ｉ／Ｏ処理部１１に終了を報告する（ステップＳ６０３）。
【0061】
次にＩ／Ｏ処理部１１は、ホスト１００に終了を報告する（ステップＳ６０４）。なお、キャッシュメモリ１２に書き込まれたデータＤ２は非同期にボリューム１８に書き込まれる。この場合、データＤ２は、ボリューム１８には書き込まれるが、順序保証バッファ１４には格納されず、差分情報バッファ１７のボリューム１８の領域Ｄに対応する格納領域に差分ありが記録される。
【0062】
ボリューム１８は、ホスト１００からボリューム１８への書き込みが行われた領域Ｄ（ＲＤ）がデータＤ２となる（図１４）。また、差分バッファ１７は、ホスト１００からボリューム１８への書き込みが行われた領域Ｄが差分ありとなる（図１５）。図１４は本発明の実施形態において順序保証コピーを停止した状態でのホスト１００からの書き込みの際の動作例におけるデータの流れの例を説明するための模式図である。図１５は本発明の実施形態において順序保証コピーを停止した状態でのホスト１００からの書き込みの際の動作例における差分情報バッファ１７の内容の例を説明するための模式図である。
【0063】
図１４は、順序保証コピーの実行時にホスト１００がデータＤ１をボリューム１８の領域Ｄに書き込み、その後、順序保証コピーの停止時にホスト１００がデータＤ２をボリューム１８の領域Ｄに書き込んだ状態を示す。この場合、メインサイト１では、キャッシュメモリ１２にはデータＤ２が格納されていて、ボリューム１８の領域Ｄ（ＲＤ）にはデータＤ２が格納されている。また、順序保証バッファ１４には、データＤ１が格納されている。一方、リモートサイト２では、順序保証バッファ２４にデータＤ１が格納されていて、ボリューム２８の領域Ｄ（ＲＤ）にはデータＤ１が格納されている。また、退避ボリューム２９の領域Ｄ（ＲＤ）にはデータＤ０が格納されている。
【0064】
（順序保証コピーの再開）
次に、図１６を参照して順序保証コピーを再開する場合について説明する。図１６は本発明の第１実施形態において順序保証コピーを再開する際の動作例を示すフローチャートである。順序保証コピーの再開は、例えば、ホスト１００からの指示に応じて、あるいは、停止の際の原因が解消した場合に、再開される。
次に、図１６を参照して順序保証コピーを再開する場合について説明する。図１６は本発明の第１実施形態において順序保証コピーを再開する際の動作例を示すフローチャートである。順序保証コピーの再開は、例えば、ホスト１００からの指示に応じて、あるいは、停止の際の原因が解消した場合に、再開される。
【0065】
図１６に示す処理において、まず、順序保証処理部１３は、リモートサイト２の差分管理処理部２６にボリューム２８のデータの退避ボリューム２９へのコピーを指示する（ステップＳ７０１）。
【0066】
次に順序保証処理部１３は、メインサイト１の差分管理処理部１６にボリューム１８からボリューム２８へのコピーを指示する（ステップＳ７０２）。
【0067】
次に差分管理処理部１３は順序保証バッファ１４を有効にする（ステップＳ７０３）。以降、ホスト１００からの書き込みは順序保証バッファ１４を利用した順序保証コピーとなる。
【0068】
（順序保証コピーの再開の際のボリューム２８のデータの退避ボリューム２９へコピー）
次に、図１７を参照して、図１６のステップＳ７０１におけるボリューム２８のデータの退避ボリューム２９へのコピーについて説明する。図１７は本発明の第１実施形態において順序保証コピーを再開する際の退避ボリューム２９へのコピー動作の例を示すフローチャートである。
次に、図１７を参照して、図１６のステップＳ７０１におけるボリューム２８のデータの退避ボリューム２９へのコピーについて説明する。図１７は本発明の第１実施形態において順序保証コピーを再開する際の退避ボリューム２９へのコピー動作の例を示すフローチャートである。
【0069】
図１７に示す処理では、差分管理処理部２６が、まず、順序保証コピー動作時に図１０のステップＳ４０８で設定された差分情報バッファ２７の差分ありの領域Ｄに対して、ボリューム２８から退避ボリューム２９へデータＤ１のコピーを実施する（ステップＳ８０１→ステップＳ８０２：はい→ステップＳ８０３）。なお、ステップＳ８０１では、差分管理処理部２６が差分情報バッファ２７から差分あり領域を算出する。また、ステップＳ８０２では、差分管理処理部２６が差分あり領域があるか否かを判定する。また、ステップＳ８０２では、差分管理処理部２６がボリューム２８から差分あり領域のデータを読み出して退避ボリューム２９へコピーする。
【0070】
次に差分管理処理部２６は、差分情報バッファ２７のコピーした領域Ｄを差分なしに設定する（ステップＳ８０４）。
【0071】
差分管理処理部２６は、差分ありの領域がすべてなくなるまで、ステップＳ８０１～８０４を繰り返す。
【0072】
なお、グループに２つ以上のペアがある場合は、ステップＳ８０１～８０４を繰り返す。
【0073】
コピーが終了すると退避ボリューム２９の領域ＤはデータＤ１となる（図１８）。また、差分バッファ２７のボリューム２８の領域Ｄは差分なしの状態となる（図１９）。図１８は本発明の第１実施形態において順序保証コピーを再開する際の動作例におけるデータの流れの例を説明するための模式図である。図１９は本発明の第１実施形態において順序保証コピーを再開する際の差分情報バッファ２７の内容の例を説明するための模式図である。
【0074】
図１８は、順序保証コピーの停止状態から順序保証コピーを再開する前に、ボリューム２８のデータを退避ボリューム２９へコピー（退避）した段階の状態を示す。この場合、メインサイト１では、キャッシュメモリ１２にはデータＤ２が格納されていて、ボリューム１８の領域Ｄ（ＲＤ）にはデータＤ２が格納されている。また、順序保証バッファ１４には、データＤ１が格納されている。一方、リモートサイト２では、順序保証バッファ２４にデータＤ１が格納されていて、ボリューム２８の領域Ｄ（ＲＤ）にはデータＤ１が格納されている。また、退避ボリューム２９の領域Ｄ（ＲＤ）にはデータＤ１が格納されている。
【0075】
（順序保証コピーの再開の際のメインサイト１のボリューム１８からリモートサイト２のボリューム２８への差分コピー）。
次に、図２０を参照して、図１６のステップＳ７０２におけるメインサイト１のボリューム１８からリモートサイト２のボリューム２８への差分コピーについて説明する。図２０は、本発明の第１実施形態において順序保証コピーを再開する際の正ボリューム１８から副ボリューム２８への差分コピーの動作例を示すフローチャートである。
次に、図２０を参照して、図１６のステップＳ７０２におけるメインサイト１のボリューム１８からリモートサイト２のボリューム２８への差分コピーについて説明する。図２０は、本発明の第１実施形態において順序保証コピーを再開する際の正ボリューム１８から副ボリューム２８への差分コピーの動作例を示すフローチャートである。
【0076】
図２０に示す処理では、まず、差分管理処理部１６が、順序保証コピー停止時に差分情報バッファ１７に設定された差分ありの領域（この例では領域Ｄ（ＲＤ））に対して、ボリューム１８からボリューム２８へデータＤ２のコピーを実施する（ステップＳ９０１→ステップＳ９０２：はい→ステップＳ９０３）。なお、ステップＳ９０１では差分管理処理部１６が差分情報バッファ１７に差分あり領域を算出する。ステップＳ９０２では差分管理処理部１６が差分あり領域があるか否かを判定する。ステップＳ９０３ではボリューム１８の差分ありのデータをリモート送信処理部１５からリモートサイト２に転送する。
【0077】
リモートサイト２の差分管理処理部２６は構築時のコピーと同様に差分情報バッファ２７に差分ありを設定して、ボリューム２８へデータをコピーして、終了を報告する（ステップＳ９０４～Ｓ９０６）。なお、ステップＳ９０４ではリモート受信処理部２５がデータを受信してＩ／Ｏ処理部２１を呼ぶ。ステップＳ９０５ではＩ／Ｏ処理部２１が差分管理処理部２６に指示し、差分情報バッファ２７に差分ありを設定する。ステップＳ９０６ではＩ／Ｏ処理部２１が、メインサイト１から受信したデータＤ２をボリューム２８にコピーし、メインサイト１に終了を報告する。
【0078】
メインサイト１では、終了の報告を受けた後、差分管理処理部１６が、差分情報バッファ１７にコピーした領域を差分なしに設定する（ステップＳ９０７）。差分情報バッファ１７の差分ありの領域をすべてコピーするまでステップＳ９０１からステップＳ９０７が繰り返される（ステップＳ９０１→ステップＳ９０２：はい→ステップＳ９０３～ステップＳ９０７の繰り返し）。
【0079】
なお、「グループ３」に２つ以上のペアがある場合は、ステップＳ９０１～Ｓ９０７をペア毎に繰り返し実行する。
【0080】
コピーが終了するとボリューム２８の領域ＤはデータＤ２となる（図２１）。差分バッファ１７は差分なしとなり、差分バッファ２８はコピーされた領域が差分ありとなる（図２２）。図２１は本発明の第１実施形態において順序保証コピーを再開する際の動作例におけるデータの流れの例を説明するための模式図である。図２２は本発明の第１実施形態において順序保証コピーを再開する際の差分情報バッファの内容の例を説明するための模式図である。
【0081】
図２１は、順序保証コピーの停止状態から順序保証コピーを再開する前に、ボリューム２８のデータを退避ボリューム２９へコピーが完了した後、ボリューム１８からボリューム２８へ差分ありのデータをコピーした段階の状態を示す。この場合、メインサイト１では、キャッシュメモリ１２にはデータＤ２が格納されていて、ボリューム１８の領域Ｄ（ＲＤ）にはデータＤ２が格納されている。また、順序保証バッファ１４には、データＤ１が格納されている。一方、リモートサイト２では、順序保証バッファ２４にデータＤ１が格納されていて、ボリューム２８の領域Ｄ（ＲＤ）にはデータＤ２が格納されている。また、退避ボリューム２９の領域Ｄ（ＲＤ）にはメインサイト１からリモートサイト２へ順序保証コピー動作において転送されたデータＤ１が格納されている。
【0082】
（作用・効果）
本実施形態によれば、順序保証コピーの再開時にメインサイト１の差分情報バッファ１７を使った差分コピーを実施する前に、順序保証コピーを停止した時点のボリューム２８のデータＤ１を退避ボリューム２９に自動的にコピーすることで、順序保証コピーの停止前のデータＤ１を順序性を保持して確保することができる。すなわち、第１実施形態によれば、正ボリュームから副ボリュームへの順序性を保証したデータのコピー動作を、停止した後、再開する場合に、副ボリュームのデータを適切に退避させることができる。
本実施形態によれば、順序保証コピーの再開時にメインサイト１の差分情報バッファ１７を使った差分コピーを実施する前に、順序保証コピーを停止した時点のボリューム２８のデータＤ１を退避ボリューム２９に自動的にコピーすることで、順序保証コピーの停止前のデータＤ１を順序性を保持して確保することができる。すなわち、第１実施形態によれば、正ボリュームから副ボリュームへの順序性を保証したデータのコピー動作を、停止した後、再開する場合に、副ボリュームのデータを適切に退避させることができる。
【0083】
［第２実施形態］
本発明に係るストレージシステムの第２実施形態について図２３および図２４を参照して説明する。図２３は本発明の第２実施形態において順序保証コピーを再開する際の動作例を示すフローチャートである。図２３に示す処理は、第１実施形態における図１６に示す処理に対応する。図２４は本発明の第２実施形態において順序保証コピーを再開する際の正ボリュームから副ボリュームへの差分コピーの動作例を示すフローチャートである。図２４に示す処理は、第１実施形態における図１７に示す処理と図２０に示す処理との組み合わせに対応する。
本発明に係るストレージシステムの第２実施形態について図２３および図２４を参照して説明する。図２３は本発明の第２実施形態において順序保証コピーを再開する際の動作例を示すフローチャートである。図２３に示す処理は、第１実施形態における図１６に示す処理に対応する。図２４は本発明の第２実施形態において順序保証コピーを再開する際の正ボリュームから副ボリュームへの差分コピーの動作例を示すフローチャートである。図２４に示す処理は、第１実施形態における図１７に示す処理と図２０に示す処理との組み合わせに対応する。
【0084】
第１実施形態では、図１６、図１７および図２０を参照して説明したように、まず、順序保証コピーの再開の際、再開前に、ボリューム２８で差分ありのデータを退避ボリューム２９へコピーし（図１６のステップＳ７０１、図１７）、終了後にボリューム１８で差分ありのデータをボリューム２８へ差分コピーする（図１６のステップＳ７０２、図２０）。一方、第２実施形態では、順序保証コピーの再開の際、再開前に、ボリューム２８から退避ボリューム２９へのコピーとボリューム１８で差分ありのデータのボリューム２８への差分コピーを領域毎に並列して実行する。他の構成および動作については、第１実施形態と第２実施形態とで基本的に同一である。以下、第１実施形態と異なる部分について説明する。
【0085】
第２実施形態において、図２３に示す再開の処理では、まず、順序保証処理部１３が、リモートサイト２の差分管理処理部２６にボリューム２８から退避ボリューム２９へのデータのコピーを指示する（ステップＳ１００１）。次にリモートサイト２の差分管理処理部２６はコピーが完了するのを待たずに、メインサイト１の順序保証処理部１３に終了を報告する（ステップＳ１００２）。次に順序保証処理部１３は、差分管理処理部１６に順序保証コピー停止中にボリューム１８へ書き込まれたデータのコピーを指示する（ステップＳ１００３）。次に差分管理処理部１６は順序保証バッファ１４を有効にする（ステップＳ１００４）。以降、ホスト１００からの書き込みは順序保証バッファ１４を利用した順序保証コピーとなる。
【0086】
次に、図２４を参照して、図２３のステップＳ１００３における差分管理処理部１６のボリューム１８からボリューム２８へのコピー動作について説明する。図２４に示す処理では、まず、差分管理処理部１６が、順序保証コピー停止時に差分情報バッファ１７に設定された差分ありの領域に対して、ボリューム１８の領域Ｄ（ＲＤ）のデータＤ２をリモート送信処理部１５にリモート転送を指示し、リモートサイト２にデータを送信する（ステップＳ１１０１→ステップＳ１１０２：はい→ステップＳ１１０３）。なお、ステップＳ１１０１では差分管理処理部１６が差分情報バッファ１７に差分あり領域を算出する。ステップＳ１１０２では差分管理処理部１６が差分あり領域があるか否かを判定する。ステップＳ１１０３ではボリューム１８の差分ありのデータをリモート送信処理部１５からリモートサイト２に転送する。
【0087】
次にリモートサイト２のリモート受信処理部２５はデータ受信する（ステップＳ１１０４）。次にリモートサイト２の差分管理処理部２６は、順序保証コピー動作時に設定された差分情報バッファ２７の差分ありの領域の場合（ステップＳ１１０５→ステップＳ１１０６：はいの場合）は、ボリューム２８から退避ボリューム２９への領域Ｄ（ＲＤ）のデータＤ１のコピーを実施してから（ステップＳ１１０７～Ｓ１１０８）、ボリューム１８の領域Ｄ（ＲＤ）のデータＤ２をボリューム２８へコピーする（ステップＳ１１０９～Ｓ１１１０）。一方、差分なしの領域の場合は（ステップＳ１１０５→ステップＳ１１０６：いいえの場合）、そのままボリューム１８の領域Ｄ（ＲＤ）のデータＤ２をボリューム２８へコピーする（ステップＳ１１０９～Ｓ１１１０）。
【0088】
なお、ステップＳ１１０４ではリモート受信処理部２５がデータを受信する。ステップＳ１１０５では差分管理処理部２６が差分情報バッファ２７を確認する。ステップＳ１１０６では差分管理処理部２６が差分ありの領域か否かを判定する。ステップＳ１１０７では差分管理処理部２６がボリューム２８から退避ボリューム２９へデータをコピーする。ステップＳ１１０８では差分管理処理部２６が差分情報バッファ２７に差分なしを設定する。ステップＳ１１０９では差分管理処理部２６が差分情報バッファ２７に差分ありを設定する。ステップＳ１１１０では差分管理処理部２６がボリューム１８領域Ｄ（ＲＤ）ののデータＤ２をボリューム２８へコピーし、リモートサイト２はメインサイト１に終了を報告する。
【0089】
メインサイト１では差分管理処理部１６が差分情報バッファ１７にコピーした領域を差分なしに設定する（ステップＳ１１１１）。
【0090】
差分情報バッファ１７の差分ありの領域すべてのコピーが終わるまでステップＳ１１０１～Ｓ１１１１の処理が繰り返し実行される（ステップＳ１１１１→ステップＳ１１０２：はい→Ｓ１１０３～Ｓ１１１１の繰り返し）。
【0091】
なお、グループに２つ以上のペアがある場合は、ステップＳ１１０１～Ｓ１１１１が繰り返し実行される。
【0092】
以上のように、第２実施形態では、差分あり領域の事前コピー処理（ステップＳ１１０６：はい→ステップＳ１１０７およびＳ１１０８）を追加することで順序保証コピー停止前の順序保証データＤ１が退避ボリューム２９に確保できる。また、ボリューム２８から退避ボリューム２９へのコピー完了を待たずにボリューム１８からボリューム２８への差分コピーを領域毎に並行して行うことで、順序保証コピー再開までの時間を短縮することができる。なお、上述したように、差分情報バッファ１７の各領域の大きさと差分情報バッファ２７の各領域の大きさを異ならせる場合には、図２５に示す判定処理を大きさの違いを考慮した判定処理にする。
【0093】
［第３実施形態］
本発明に係るストレージシステムの第３実施形態について図２５を参照して説明する。図２５は本発明の第３実施形態における順序保証コピーを停止する際の動作例を示すフローチャートである。図２５に示す処理は、第１実施形態における図１２に示す処理と図１７に示す処理との組み合わせに対応する。
本発明に係るストレージシステムの第３実施形態について図２５を参照して説明する。図２５は本発明の第３実施形態における順序保証コピーを停止する際の動作例を示すフローチャートである。図２５に示す処理は、第１実施形態における図１２に示す処理と図１７に示す処理との組み合わせに対応する。
【0094】
第１実施形態では、順序保証コピーの再開の際、再開前に、ボリューム２８で差分ありのデータを退避ボリューム２９へコピーした（図１６のステップＳ７０１、図１７）。一方、第３実施形態では、順序保証コピーの停止の際、停止後に、例えば再開の条件が整う前に、ボリューム２８の退避ボリューム２９へのコピーが実行される。他の構成および動作については、第１実施形態と第３実施形態とで基本的に同一である。以下、第１実施形態と異なる部分について説明する。
【0095】
図２５に示す処理では、順序保証処理部１３は、順序保証コピーを停止したあとで、リモートサイト２の差分管理処理部２６にボリューム２８から退避ボリューム２９へのデータのコピーを指示する（ステップＳ１２０１～Ｓ１２０３）。なお、ステップＳ１２０１では順序保証処理部１３が順序保証バッファ１４へのコピーを停止する。ステップＳ１２０２では順序保証処理部１３がリモートサイト２の差分情報バッファ２７を有効にする。ステップＳ１２０３では順序保証処理部１３がリモートサイト２のボリューム２８から退避ボリューム２９へのコピー開始を指示する。
【0096】
差分管理処理部２６は、差分情報バッファ２７の差分ありの領域に対して、ボリューム２８から退避ボリューム２９へデータＤ１をコピーする（ステップＳ１２０４～Ｓ１２０７）。その際、コピーが完了した領域は差分情報バッファ２７に差分なしを設定する（ステップＳ１２０７）。差分情報バッファ２７のすべての差分ありの領域のコピーが終わるまで（ステップＳ１２０５：いいえ、まで）、ステップＳ１２０４～Ｓ１２０７の処理が繰り返し実行される。なお、ステップＳ１２０４では差分管理処理部２６が、差分情報バッファ２７から差分あり領域を算出する。ステップＳ１２０５では差分管理処理部２６が、差分情報バッファ２７に差分あり領域があるか否かを判定する。ステップＳ１２０６では差分管理処理部２６が、ボリューム２８から差分あり領域のデータを読み出して、退避ボリューム２９へコピーする。ステップＳ１２０７では差分管理処理部２６は、差分情報バッファ２７に差分なしを設定する。
【0097】
なお、「グループ３」に２つ以上のペアがある場合は、すべてのペアに対してステップＳ１２０４～Ｓ１２０７の処理を繰り返し実行する。
【0098】
第３実施形態では、以上の処理を順序保証コピーの停止時から実施することで、順序保証コピー再開時には退避ボリューム２９へのデータをコピーする時間を短縮することができる。
【0099】
［各実施形態の作用・効果］
順序保証コピー動作では、停止した動作を再開した場合に、リモートサイトの副ボリュームが一時的に順序保証されていない状態となる場合がある。この順序保証されていない期間に例えばメインサイトが利用不可となると、リモートサイトのストレージのボリュームを使った業務再開が困難となることがある。このため、順序保証されたデータを維持し、かつ、データを維持するのに要する時間を短縮が課題となることがあった。これに対し、本発明に係る各実施形態では、正ボリューム１８のデータをリモートサイト２の副ボリューム２８へコピーする前に、リモートサイト２の差分情報バッファ２７を用いてボリューム２８のデータを退避ボリューム２９へコピーして退避する。これにより、退避ボリューム２９に順序保証された状態のボリューム２８のデータが維持される。すなわち、本実施形態のストレージシステムは、正ボリュームから副ボリュームへの順序性を保証したコピー動作が停止した場合、その停止期間中に正ボリュームと副ボリューム間で差分があるとされた各データを正ボリュームから副ボリュームへコピーする前に、停止前の正ボリュームから副ボリュームへの順序性を保証したコピー動作中に副ボリュームと退避ボリューム間で差分があるとされた各データを副ボリュームから退避ボリュームへコピーし、その後、差分があるとされた各データを正ボリュームから副ボリュームへコピーし、その後、コピー動作を再開する。したがって、本実施形態によれば、正ボリュームから副ボリュームへの順序性を保証したデータのコピー動作を、停止した後、再開する場合に、副ボリュームのデータを適切に退避させることができる。また、第２実施形態では、ボリューム２８から退避ボリューム２９へのコピーとボリューム１８からボリューム２８へのコピーを同時にすることで、順序保証再開までの時間を短縮することができる。
順序保証コピー動作では、停止した動作を再開した場合に、リモートサイトの副ボリュームが一時的に順序保証されていない状態となる場合がある。この順序保証されていない期間に例えばメインサイトが利用不可となると、リモートサイトのストレージのボリュームを使った業務再開が困難となることがある。このため、順序保証されたデータを維持し、かつ、データを維持するのに要する時間を短縮が課題となることがあった。これに対し、本発明に係る各実施形態では、正ボリューム１８のデータをリモートサイト２の副ボリューム２８へコピーする前に、リモートサイト２の差分情報バッファ２７を用いてボリューム２８のデータを退避ボリューム２９へコピーして退避する。これにより、退避ボリューム２９に順序保証された状態のボリューム２８のデータが維持される。すなわち、本実施形態のストレージシステムは、正ボリュームから副ボリュームへの順序性を保証したコピー動作が停止した場合、その停止期間中に正ボリュームと副ボリューム間で差分があるとされた各データを正ボリュームから副ボリュームへコピーする前に、停止前の正ボリュームから副ボリュームへの順序性を保証したコピー動作中に副ボリュームと退避ボリューム間で差分があるとされた各データを副ボリュームから退避ボリュームへコピーし、その後、差分があるとされた各データを正ボリュームから副ボリュームへコピーし、その後、コピー動作を再開する。したがって、本実施形態によれば、正ボリュームから副ボリュームへの順序性を保証したデータのコピー動作を、停止した後、再開する場合に、副ボリュームのデータを適切に退避させることができる。また、第２実施形態では、ボリューム２８から退避ボリューム２９へのコピーとボリューム１８からボリューム２８へのコピーを同時にすることで、順序保証再開までの時間を短縮することができる。
【0100】
［コンピュータの構成］
図２８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０、主記憶装置７２０、補助記憶装置７３０、およびインタフェース７４０を備える。インタフェース７４０には例えば不揮発性記憶媒体７５０が接続される。上述のホストコンピュータ１００、ホストコンピュータ２００、ストレージ１０、ストレージ２０、ストレージコントローラＳＣ１、ストレージコントローラＳＣ２、ストレージアレイ３０、および、ストレージアレイ４０は、コンピュータ７００と同様の構成を備えてよい。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。
図２８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０、主記憶装置７２０、補助記憶装置７３０、およびインタフェース７４０を備える。インタフェース７４０には例えば不揮発性記憶媒体７５０が接続される。上述のホストコンピュータ１００、ホストコンピュータ２００、ストレージ１０、ストレージ２０、ストレージコントローラＳＣ１、ストレージコントローラＳＣ２、ストレージアレイ３０、および、ストレージアレイ４０は、コンピュータ７００と同様の構成を備えてよい。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。
【0101】
プログラムは、コンピュータ７００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、補助記憶装置７３０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、ＣＰＵ７１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0102】
補助記憶装置７３０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。補助記憶装置７３０は、コンピュータ７００のバスに直接接続された内部メディアであってもよいし、インタフェース７４０または通信回線を介してコンピュータ７００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ７００に配信される場合、配信を受けたコンピュータ７００が当該プログラムを主記憶装置７２０に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、補助記憶装置７３０は、一時的でない有形の記憶媒体である。
【0103】
［変形例等］
以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。
以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。
【0104】
【0105】
図２６に示すように、本発明の実施形態に係るストレージシステム６０は、少なくとも、第１ストレージ６１と、第２ストレージ６２とを備えればよい。第１ストレージ６１は、正ボリューム６１１を備える。第２ストレージ６２は、第１ストレージ６１に通信回線７１を介して接続され、正ボリューム６１１とコピーペアに設定された副ボリューム６２１を備える。また、第１ストレージ６１は、さらに、第１記憶手段６１２と、第２記憶手段６１３とを備える。第１記憶手段６１２は、正ボリューム６１１から副ボリューム６２１へ順序性を保証してコピーされるデータを一時的に保持する。第２記憶手段６１３は、正ボリューム６１１と副ボリューム６２１について所定の第１記憶領域Ａ、Ｂ、Ｃ、…毎にデータに差分があるか否かを表す第１差分情報を記憶する。第２ストレージ６２は、さらに、退避ボリューム６２２と、第３記憶手段６２３とを備える。退避ボリューム６２２は、ボリューム６２１の全データをコピーして記憶する。第３記憶手段６２３は、副ボリューム６２１と退避ボリューム６２２について、所定の第２記憶領域ａ、ｂ、ｃ、…毎に、第１記憶手段６１２を介した正ボリューム６１１から副ボリューム６２１へのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する。
【0106】
ストレージシステム６０は、第１記憶手段６１２を介した正ボリューム６１１から副ボリューム６２１へのデータの順序性を保証したコピー動作が停止した場合、その停止期間中に第２記憶手段６１３に記憶された第１差分情報に基づいて差分があるとされた各データを正ボリューム６１１から副ボリューム６２１へコピーする前に、第２差分情報に基づいて差分があるとされた各データを副ボリューム６２１から退避ボリューム６２２へコピーする（ステップＳ１）。
【0107】
ストレージシステム６０は、その後、停止期間中に第２記憶手段６１３に記憶された第１差分情報に基づいて差分があるとされた各データを正ボリューム６１１から副ボリューム６２１へコピーする（ステップＳ２）。
【0108】
ストレージシステム６０は、その後、第１記憶手段６１２を介した正ボリューム６１１から副ボリューム６２１へのデータの順序性を保証したコピー動作を再開する（ステップＳ３）。
【0109】
図２７に示すように、本発明の実施形態に係るストレージシステム６０の制御方法は、少なくとも、上記ステップＳ１と、ステップＳ２と、ステップＳ３とを含めばよい。
【0110】
なお、本発明の構成要素と実施形態の構成要素の対応関係は以下の通りである。「ストレージシステム」は、ストレージシステム３に対応する。「第１ストレージ」は、ストレージ１０に対応する。「第２ストレージ」は、ストレージ２０に対応する。「正ボリューム」は、正ボリューム１８に対応する。「通信回線」は、遠隔回線５０に対応する。「副ボリューム」は、副ボリューム２８に対応する。「退避ボリューム」は、退避ボリューム２９に対応する。「第１記憶手段」は、順序保証バッファ１４に対応する。「第１記憶領域」は、領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）に対応する。「第２記憶手段」は、差分情報バッファ１７に対応する。「第１差分情報」は、領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）の差分あり／差分なしを表す情報に対応する。「第２記憶領域」は、領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）に対応する。「第２差分情報」は、領域Ａ（ＲＡ）、Ｂ（ＲＢ）、Ｃ（ＲＣ）、Ｄ（ＲＤ）の差分あり／差分なしを表す情報に対応する。「第３記憶手段」は、差分情報バッファ２７に対応する。なお、以上の対応関係は、本発明の構成要素の一構成例との対応関係であって、本発明の構成要素を限定するものではない。
【0111】
［付記］
上記実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
上記実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
【0112】
（付記１）
正ボリュームを備える第１ストレージと、
前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージとを
を備え、
前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、
前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーし、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、
その後、前記コピー動作を再開する
ストレージシステム。
正ボリュームを備える第１ストレージと、
前記第１ストレージに通信回線を介して接続され、前記正ボリュームとコピーペアに設定された副ボリュームを備える第２ストレージとを
を備え、
前記第１ストレージが、さらに、前記正ボリュームから前記副ボリュームへ順序性を保証してコピーされるデータを一時的に保持する第１記憶手段と、前記正ボリュームと前記副ボリュームについて所定の第１記憶領域毎にデータに差分があるか否かを表す第１差分情報を記憶する第２記憶手段とを備え、
前記第２ストレージが、さらに、前記副ボリュームの全データをコピーして記憶する退避ボリュームと、前記副ボリュームと前記退避ボリュームについて、所定の第２記憶領域毎に、前記第１記憶手段を介した前記正ボリュームから前記副ボリュームへのデータの順序性を保証したコピー動作中に発生した差分があるか否かを表す第２差分情報を記憶する第３記憶手段とを備え、
前記コピー動作が停止した場合、その停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーする前に、前記第２差分情報に基づいて差分があるとされた各データを前記副ボリュームから前記退避ボリュームへコピーし、
その後、前記停止期間中に前記第２記憶手段に記憶された前記第１差分情報に基づいて差分があるとされた各データを前記正ボリュームから前記副ボリュームへコピーし、
その後、前記コピー動作を再開する
ストレージシステム。
【0113】
（付記２）
前記第２差分情報に基づいて差分があるとされた各データの前記副ボリュームから前記退避ボリュームへのコピーと、
前記第１差分情報に基づいて差分があるとされた各データの前記正ボリュームから前記副ボリュームへのコピーとが、
第１記憶領域および第２記憶領域毎に並行して行われる
付記１に記載のストレージシステム。
前記第２差分情報に基づいて差分があるとされた各データの前記副ボリュームから前記退避ボリュームへのコピーと、
前記第１差分情報に基づいて差分があるとされた各データの前記正ボリュームから前記副ボリュームへのコピーとが、
第１記憶領域および第２記憶領域毎に並行して行われる
付記１に記載のストレージシステム。
【0114】
（付記３）
前記第２差分情報に基づいて差分があるとされた各データの前記副ボリュームから前記退避ボリュームへのコピーが、前記コピー動作が停止した場合、停止後に行われる
付記１または付記２に記載のストレージシステム。
前記第２差分情報に基づいて差分があるとされた各データの前記副ボリュームから前記退避ボリュームへのコピーが、前記コピー動作が停止した場合、停止後に行われる
付記１または付記２に記載のストレージシステム。
【符号の説明】
【0115】
３、６０…ストレージシステム、１０、２０…ストレージ、１００、２００…ホストコンピュータ、ＳＣ１、ＳＣ２…ストレージコントローラ、３０、４０…ストレージアレイ、１１、２１…Ｉ／Ｏ処理部、１２、２２…キャッシュメモリ、１３、２３…順序保証処理部、１４、２４…順序保証バッファ、１５…リモート送信処理部、１６、２６…差分管理処理部、１７、２７…差分情報バッファ、１８、６１１…正ボリューム、２５…リモート受信処理部、２８、６２１…副ボリューム、２９、６２２…退避ボリューム、５０…遠隔回線、６１…第１ストレージ、６２…第２ストレージ、６１２…第１記憶手段、６１３…第２記憶手段、６２３…第３記憶手段、７１…通信回線
【要約】
【課題】正ボリュームから副ボリュームへの順序性を保証したデータのコピー動作を、停止した後、再開する場合に、副ボリュームのデータを適切に退避させる。
【解決手段】ストレージシステムは、正ボリュームから副ボリュームへの順序性を保証したコピー動作が停止した場合、その停止期間中に正ボリュームと副ボリューム間で差分があるとされた各データを正ボリュームから副ボリュームへコピーする前に、正ボリュームから副ボリュームへの順序性を保証したコピー動作中に副ボリュームと退避ボリューム間で差分があるとされた各データを副ボリュームから退避ボリュームへコピーし、その後、第２記憶手段に記憶されている第１差分情報に基づいて差分があるとされた各データを正ボリュームから副ボリュームへコピーし、その後、コピー動作を再開する。
【選択図】図２６
【解決手段】ストレージシステムは、正ボリュームから副ボリュームへの順序性を保証したコピー動作が停止した場合、その停止期間中に正ボリュームと副ボリューム間で差分があるとされた各データを正ボリュームから副ボリュームへコピーする前に、正ボリュームから副ボリュームへの順序性を保証したコピー動作中に副ボリュームと退避ボリューム間で差分があるとされた各データを副ボリュームから退避ボリュームへコピーし、その後、第２記憶手段に記憶されている第１差分情報に基づいて差分があるとされた各データを正ボリュームから副ボリュームへコピーし、その後、コピー動作を再開する。
【選択図】図２６
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】