特許 7371547 ノード、ミラーリング型クラスタシステム、リストア検出方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】ノード、ミラーリング型クラスタシステム、リストア検出方法、及び、プログラム

(51)【国際特許分類】

   G06F 11/16 20060101AFI20231024BHJP

   G06F 3/06 20060101ALI20231024BHJP

   G06F 11/14 20060101ALI20231024BHJP

【ＦＩ】

G06F11/16 658

G06F3/06 304E

G06F3/06 306Z

G06F11/14 658

【請求項の数】 9

(21)【出願番号】P 2020048992

(22)【出願日】2020-03-19

(65)【公開番号】P2021149534

(43)【公開日】2021-09-27

【審査請求日】2023-02-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】堀部 拓也

【審査官】漆原 孝治

(56)【参考文献】

【文献】国際公開第２０１６／１２９２７５（ＷＯ，Ａ１）

【文献】特開平５－０２８０２１（ＪＰ，Ａ）

【文献】特開２００９－１９３２０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／１６

Ｇ０６Ｆ ３／０６

Ｇ０６Ｆ １１／１４

(57)【特許請求の範囲】

【請求項1】

ミラーリング型クラスタシステムを構成するノードであって、
自ノードのイベントタイミング値である自イベントタイミング値と、他ノードのイベントタイミング値である他イベントタイミング値と、を記憶するイベントタイミング値記憶装置と、
ミラーリング対象データを記憶するデータ記憶装置と、
前記ミラーリング対象データを前記データ記憶装置に書き込むデータ書き込み部と、
前記ミラーリング対象データの書き込みイベントが発生したら、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値を増減の何れか一方のみに更新するカウント部と、
前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値及び前記他イベントタイミング値を他ノードに送信する送信部と、
他ノードから前記自イベントタイミング値及び前記他イベントタイミング値を受信する受信部と、
前記受信部が受信した前記他イベントタイミング値で前記イベントタイミング値記憶装置に記憶されている前記他イベントタイミング値を更新する更新部と、
前記受信部が受信した前記自イベントタイミング値と、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値と、を比較することにより、又は、前記受信部が受信した前記他イベントタイミング値と前記イベントタイミング値記憶装置に記憶されている更新前の前記他イベントタイミング値と、を比較することにより、自ノード又は他ノードがリストアされたことを検出するリストア検出部と、
を備えた、
ノード。

【請求項2】

請求項１に記載のノードであって、
前記リストア検出部は、前記受信部が受信した前記自イベントタイミング値が、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値よりも時系列上過去を示す値であるとき、他ノードがリストアされたことを検出する、
ノード。

【請求項3】

請求項１又は２に記載のノードであって、
前記リストア検出部は、前記受信部が受信した前記自イベントタイミング値が、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値よりも時系列上未来を示す値であるとき、自ノードがリストアされたことを検出する、
ノード。

【請求項4】

請求項１から３までの何れか１項に記載のノードであって、
前記リストア検出部は、前記受信部が受信した前記他イベントタイミング値が、前記イベントタイミング値記憶装置に記憶されている更新前の前記他イベントタイミング値よりも時系列上過去を示す値であるとき、他ノードがリストアされたことを検出する、
ノード。

【請求項5】

請求項１から４までの何れか１項に記載のノードであって、
前記データ記憶装置は、更に、前記自イベントタイミング値を記憶するように構成され、
前記カウント部は、前記ミラーリング対象データの書き込みイベントが発生したら、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値を更新すると共に、更新後の前記自イベントタイミング値で前記データ記憶装置に記憶されている前記自イベントタイミング値を更新し、
前記リストア検出部は、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値と、前記データ記憶装置に記憶されている前記自イベントタイミング値と、に基づいて自ノードの前記データ記憶装置がリストアされたことを検出する、
ノード。

【請求項6】

請求項５に記載のノードであって、
前記リストア検出部は、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値が、前記データ記憶装置に記憶されている前記自イベントタイミング値よりも時系列上未来を示す値であるとき、自ノードの前記データ記憶装置がリストアされたことを検出する、
ノード。

【請求項7】

請求項１から６までの何れか１項に記載のノードを複数備えた、
ミラーリング型クラスタシステム。

【請求項8】

ミラーリング型クラスタシステムを構成するノードであって、
自ノードのイベントタイミング値である自イベントタイミング値と、他ノードのイベントタイミング値である他イベントタイミング値と、を記憶するイベントタイミング値記憶装置と、
ミラーリング対象データを記憶するデータ記憶装置と、
を備えたノードのリストア検出方法であって、
前記ミラーリング対象データを前記データ記憶装置に書き込み、
前記ミラーリング対象データの書き込みイベントが発生したら、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値を増減の何れか一方のみに更新し、
前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値及び前記他イベントタイミング値を他ノードに送信し、
他ノードから前記自イベントタイミング値及び前記他イベントタイミング値を受信し、
受信した前記他イベントタイミング値で前記イベントタイミング値記憶装置に記憶されている前記他イベントタイミング値を更新し、
受信した前記自イベントタイミング値と、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値と、を比較することにより、又は、受信した前記他イベントタイミング値と前記イベントタイミング値記憶装置に記憶されている更新前の前記他イベントタイミング値と、を比較することにより、自ノード又は他ノードがリストアされたことを検出する、
リストア検出方法。

【請求項9】

コンピュータに、請求項８に記載のリストア検出方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ノード、ミラーリング型クラスタシステム、リストア検出方法、及び、プログラムに関する。

【背景技術】

【0002】

高可用な環境を構築するための方式として複数のノードにより冗長化を行うHA(High Availability, 高可用性)クラスタシステムが知られている。HAクラスタシステムの一例として、フェイルオーバークラスタシステムと負荷分散クラスタシステムがある。

【0003】

フェイルオーバークラスタシステムでは、同一の役割を持たせた複数のノードが、実際にサービスを提供する稼働系ノードと、それをバックアップするための待機系ノードと、の２グループに分けられる。稼働系ノードに障害が発生した場合、待機系ノードを稼働系ノードに切り替える。これによりサービスを中断させることなく、高可用な環境が実現される。フェイルオーバークラスタシステムは、Active-Standby型クラスタシステムや高可用密結合クラスタシステムとも呼ばれる。通常、単にHAクラスタシステムと言った場合、このフェイルオーバークラスタシステムを指す。

【0004】

負荷分散クラスタシステムでは、同一の役割を持たせた複数のノードを、実際にサービスを提供する稼働系ノードとして並列に動作させる。複数のノードのうち何れかに障害が発生しても残りのノードでサービスを継続することが可能となる。負荷分散クラスタシステムは、Active-Active型クラスタシステムや密結合並列クラスタシステムとも呼ばれる。

【0005】

前述のフェイルオーバークラスタシステムでは、複数のノードが互いに障害の有無を把握できるようハートビート通信を行っている。即ち、ハートビート通信は、自ノードが正常に稼働していることを他ノードに知らせるための通信である。ハートビート通信は、例えば所定時間毎に複数のノード間で実行さえる。これにより、各ノードは他ノードから受信するハートビートに基づいて当該他ノードの障害監視を行えるようになっている。

【0006】

例えば特許文献１から３に示すように、前述のフェイルオーバークラスタシステムでは、稼働系ノードのデータをクラスタソフトウェアが搭載するミラーリング機能を用いて待機系ノードに複製する。従って、フェイルオーバークラスタシステムは、ミラーリング型クラスタシステムとも呼ばれる。フェイルオーバークラスタシステムでは、サービスを提供している自ノード上でデータ書き込みが発生したことをクラスタソフトウェアが検知すると、自ノードのクラスタソフトウェアは、書き込まれたデータを他ノードへ転送する。他ノードは、自ノードから受信したデータを他ノードのデータストレージに書き込む。これにより、ミラーリング型クラスタシステムを構成するすべてのノードのデータストレージは、同一のデータを保持することになる。

【0007】

仮想環境やクラウド環境ではバックアップの作成及びバックアップからのリストアが容易である。従って、前述のミラーリング型クラスタシステムにおいても、ノード毎に、データストレージを含むシステム全体又はデータストレージのみをバックアップしたり、バックアップからシステム全体又はデータストレージのみをリストアさせるケースが増えてきている。

【0008】

上記のミラーリング型クラスタシステムにおいてバックアップからリストアが実行された場合、当該リストア後では、ミラーリング型クラスタシステムを構成する複数のノードのうちどのノードのデータストレージのデータをミラーリング元のデータとするか決定すると共に、当該ミラーリング元のデータストレージからミラーリング先のデータストレージへデータを転送することにより、複数のノード間でデータストレージのデータを再同期する。

【0009】

しかしながら、上記のリストアは、一般に、どのノードにも属さない外部装置によって実行されるものであるから、各ノードで実行されるクラスタソフトウェアが自ノード又は他ノードで上記のリストアが実行されたことを検出することはできなかった。

【0010】

従って、上記のリストアが実行されたにもかかわらず複数のノード間でデータストレージのデータが再同期されないまま、即ち、複数のノード間でデータストレージのデータが相互に異なった状態が継続し、データが破損するなどの問題が発生するケースが現に存在していた。

【先行技術文献】

【特許文献】

【0011】

【文献】特開２０１０－２３１２５７号公報

【文献】特開２０１２－０６４１０９号公報

【文献】国際公開第２０１７／０４７０６５号

【発明の概要】

【発明が解決しようとする課題】

【0012】

本願発明の目的は、上記課題の何れかを解決することを目的とする。

【課題を解決するための手段】

【0013】

本願発明の第１の観点によれば、ミラーリング型クラスタシステムを構成するノードであって、自ノードのイベントタイミング値である自イベントタイミング値と、他ノードのイベントタイミング値である他イベントタイミング値と、を記憶するイベントタイミング値記憶装置と、ミラーリング対象データを記憶するデータ記憶装置と、前記ミラーリング対象データを前記データ記憶装置に書き込むデータ書き込み部と、前記ミラーリング対象データの書き込みイベントが発生したら、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値を増減の何れか一方のみに更新するカウント部と、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値及び前記他イベントタイミング値を他ノードに送信する送信部と、他ノードから前記自イベントタイミング値及び前記他イベントタイミング値を受信する受信部と、前記受信部が受信した前記他イベントタイミング値で前記イベントタイミング値記憶装置に記憶されている前記他イベントタイミング値を更新する更新部と、前記受信部が受信した前記自イベントタイミング値と、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値と、を比較することにより、又は、前記受信部が受信した前記他イベントタイミング値と前記イベントタイミング値記憶装置に記憶されている更新前の前記他イベントタイミング値と、を比較することにより、自ノード又は他ノードがリストアされたことを検出するリストア検出部と、を備えた、ノードが提供される。
本願発明の第２の観点によれば、ミラーリング型クラスタシステムを構成するノードのリストア検出方法が提供される。ノードは、自ノードのイベントタイミング値である自イベントタイミング値と、他ノードのイベントタイミング値である他イベントタイミング値と、を記憶するイベントタイミング値記憶装置と、ミラーリング対象データを記憶するデータ記憶装置と、を備える。前記ミラーリング対象データを前記データ記憶装置に書き込む。前記ミラーリング対象データの書き込みイベントが発生したら、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値を増減の何れか一方のみに更新する。前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値及び前記他イベントタイミング値を他ノードに送信する。他ノードから前記自イベントタイミング値及び前記他イベントタイミング値を受信する。受信した前記他イベントタイミング値で前記イベントタイミング値記憶装置に記憶されている前記他イベントタイミング値を更新する。受信した前記自イベントタイミング値と、前記イベントタイミング値記憶装置に記憶されている前記自イベントタイミング値と、を比較することにより、又は、受信した前記他イベントタイミング値と前記イベントタイミング値記憶装置に記憶されている更新前の前記他イベントタイミング値と、を比較することにより、自ノード又は他ノードがリストアされたことを検出する。

【発明の効果】

【0014】

本発明によれば、ノードのリストアを検出できる。

【図面の簡単な説明】

【0015】

【図1】ノードの機能ブロック図である。

【図2】ミラーリング型クラスタシステムの概略図である。

【図3】稼働系ノードの機能ブロック図である。

【図4】各ノードにおけるイベントタイミング値記憶装置及びデータ記憶装置の記憶内容を示す図である。

【図5】各ノードにおけるイベントタイミング値記憶装置及びデータ記憶装置の記憶内容を示す図である。

【図6】各ノードにおけるイベントタイミング値記憶装置及びデータ記憶装置の記憶内容を示す図である。

【図7】各ノードにおけるイベントタイミング値記憶装置及びデータ記憶装置の記憶内容を示す図である。

【図8】稼働系ノードの制御フローである。

【発明を実施するための形態】

【0016】

（第１実施形態）
以下、図１を参照して、第１実施形態を説明する。

【0017】

図１は、ミラーリング型クラスタシステムを構成するノード１００の機能ブロック図を示している。ミラーリング型クラスタシステム

【0018】

ミラーリング型クラスタシステムは、前述したように、複数のノードにより構成される。複数のノードは、稼働系ノードと待機系ノードに大別される。稼働系ノードと待機系ノードは同じ構成であるから、以下、待機系ノードをノード１００として説明する。

【0019】

ノード１００は、中央演算処理器としてのCPU（Central Processing Unit）と、読み書き自由のRAM（Random Access Memory）、読み出し専用のROM（Read Only Memory）を備えている。ノード１００は、更に、イベントタイミング値記憶装置１０１と、データ記憶装置１０２を備える。イベントタイミング値記憶装置１０１及びデータ記憶装置１０２は、何れも、典型的にはHDD（Hard Disk Drive）である。

【0020】

そして、CPUがROMに記憶されているプログラムを読み出して実行することで、プログラムは、CPUなどのハードウェアを以下の機能部として機能させる。機能部は、データ書き込み部１０３、カウント部１０４、送信部１０５、受信部１０６、更新部１０７、リストア検出部１０８を含む。

【0021】

イベントタイミング値記憶装置１０１は、自ノードのイベントタイミング値である自イベントタイミング値と、他ノードのイベントタイミング値である他イベントタイミング値と、を記憶する。

【0022】

データ記憶装置１０２は、ミラーリング対象データを記憶する。

【0023】

データ書き込み部１０３は、ミラーリング対象データをデータ記憶装置に書き込む。

【0024】

カウント部１０４は、ミラーリング対象データの書き込みイベントが発生したら、イベントタイミング値記憶装置に記憶されている自イベントタイミング値を増減の何れか一方のみに更新する。

【0025】

送信部１０５は、イベントタイミング値記憶装置に記憶されている自イベントタイミング値及び他イベントタイミング値を他ノードに送信する。

【0026】

受信部１０６は、他ノードから自イベントタイミング値及び他イベントタイミング値を受信する。

【0027】

更新部１０７は、受信部が受信した他イベントタイミング値でイベントタイミング値記憶装置に記憶されている他イベントタイミング値を更新する。

【0028】

リストア検出部１０８は、受信部が受信した自イベントタイミング値と、イベントタイミング値記憶装置に記憶されている自イベントタイミング値と、を比較することにより、自ノード又は他ノードがリストアされたことを検出する。

【0029】

また、リストア検出部１０８は、受信部が受信した他イベントタイミング値とイベントタイミング値記憶装置に記憶されている更新前の他イベントタイミング値と、を比較することにより、他ノードがリストアされたことを検出する。

【0030】

以上の構成によれば、自ノード又は他ノードがリストアされたことを検出である。

【0031】

（第２実施形態）
次に、図２から図８を参照して、第２実施形態を説明する。

【0032】

図２には、ミラーリング型クラスタシステム１の概略図を示している。図２に示すように、ミラーリング型クラスタシステム１は、稼働系ノード２と待機系ノード３を含む。ミラーリング型クラスタシステム１は、更に、他の待機系ノードを含んでもよい。

【0033】

稼働系ノード２と待機系ノード３は、ネットワークスイッチ４を介して双方向通信可能に構成されている。稼働系ノード２と待機系ノード３は同一の構成であるから、以下、稼働系ノード２の構成を説明し、待機系ノード３の構成は説明しない。稼働系ノード２は、自ノードの一具体例である。待機系ノード３は、他ノードの一具体例である。

【0034】

図３には、稼働系ノード２の機能ブロック図を示している。図３に示すように、稼働系ノード２は、中央演算処理器としてのCPU（Central Processing Unit）と、読み書き自由のRAM（Random Access Memory）、読み出し専用のROM（Read Only Memory）を備えている。稼働系ノード２は、更に、カウンタ１０と、イベントタイミング値記憶装置１１、データ記憶装置１２を備えている。イベントタイミング値記憶装置１１及びデータ記憶装置１２は、何れも、典型的にはHDD（Hard Disk Drive）である。イベントタイミング値記憶装置１１及びデータ記憶装置１２は、別部品として構成されている。即ち、データ記憶装置１２を単体でリストア可能であると共に、イベントタイミング値記憶装置１１及びデータ記憶装置１２を同時にリストア可能とされている。具体的には、稼働系ノード２全体がリストアされたとき、イベントタイミング値記憶装置１１及びデータ記憶装置１２がリストアされる。稼働系ノード２全体がリストアされたとき、稼働系ノード２で稼働するOSもリストアされる。データ記憶装置１２単体がリストアされたとき、イベントタイミング値記憶装置１１はリストアされない。

【0035】

そして、CPUがROMに記憶されているプログラムを読み出して実行することで、プログラムは、CPUなどのハードウェアを以下の機能部として機能させる。機能部は、データ書き込み部１３、カウント部１４、送信部１５、受信部１６、更新部１７、リストア検出部１８を含む。

【0036】

カウンタ１０は、外部指令に基づいて内部に保有するカウンタ値をインクリメントするように構成されている。しかし、カウンタ１０は、外部指令に基づいてカウンタ値をデクリメントするように構成してもよい。

【0037】

イベントタイミング値記憶装置１１は、自ノードのイベントタイミング値である自イベントタイミング値と、他ノードのイベントタイミング値である他イベントタイミング値と、を記憶する。

【0038】

図４には、イベントタイミング値記憶装置１１の記憶内容１１ａを例示している。図４に示すように、イベントタイミング値記憶装置１１は、第１自イベントタイミング値Ｐ、第１他イベントタイミング値Ｑ、第２自イベントタイミング値Ｒ、第２他イベントタイミング値Ｓを記憶する。

【0039】

第１自イベントタイミング値Ｐは、自イベントタイミング値の一具体例である。第１自イベントタイミング値Ｐは、自ノードのイベントタイミング値記憶装置１１に関連するイベントタイミング値である。

【0040】

第１他イベントタイミング値Ｑは、他イベントタイミング値の一具体例である。第１他イベントタイミング値Ｑは、第１他イベントタイミング値Ｑは、他ノードのイベントタイミング値記憶装置１１に関連するイベントタイミング値である。

【0041】

第２自イベントタイミング値Ｒは、自ノードのデータ記憶装置１２に関連するイベントタイミング値である。

【0042】

第２他イベントタイミング値Ｓは、他ノードのデータ記憶装置１２に関連するイベントタイミング値である。

【0043】

データ記憶装置１２は、ミラーリング対象データを記憶する。ミラーリング対象データとは、例えば稼働系ノード２がサービスを提供するのに供されるデータであって、待機系ノード３にミラーリングされる対象としてのデータである。データ記憶装置１２は、更に、自イベントタイミング値と、他イベントタイミング値と、を記憶する。

【0044】

図４には、データ記憶装置１２の記憶内容１２ａを例示している。図４に示すように、データ記憶装置１２は、イベントタイミング値記憶装置１１と同様に、第１自イベントタイミング値Ｐ、第１他イベントタイミング値Ｑ、第２自イベントタイミング値Ｒ、第２他イベントタイミング値Ｓを記憶する。

【0045】

データ書き込み部１３は、ミラーリング対象データをデータ記憶装置１２に書き込む。

【0046】

カウント部１４は、ミラーリング対象データの書き込みイベントが発生したら、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒをインクリメントするように更新する。具体的には、カウント部１４は、ミラーリング対象データの書き込みイベントが発生したら、カウンタ１０に指令を出力することで、カウンタ１０が保有するカウンタ値をインクリメントさせる。そして、カウント部１４は、インクリメント後のカウンタ値をイベントタイミング値記憶装置１１の第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒに複写する。これにより、カウント部１４は、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒをインクリメントするように更新する。ただし、カウンタ１０を省略し、カウント部１４がイベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒを直接インクリメントするように構成してもよい。

【0047】

カウント部１４は、ミラーリング対象データの書き込みイベントが発生したら、更に、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ等を更新すると共に、更新後の第１自イベントタイミング値Ｐ等でデータ記憶装置１２に記憶されている第１自イベントタイミング値Ｐ等を更新する。第１自イベントタイミング値Ｐ等とは、以下、第１自イベントタイミング値Ｐ及び第１他イベントタイミング値Ｑ、第２自イベントタイミング値Ｒ、第２他イベントタイミング値Ｓを意味する。

【0048】

送信部１５は、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ等を待機系ノード３に送信する。送信部１５は、更に、ミラーリング対象データの書き込みイベントが発生したら、ミラーリング対象データを待機系ノード３に送信する。

【0049】

受信部１０６は、待機系ノード３から第１自イベントタイミング値Ｐ等を受信する。

【0050】

更新部１７は、受信部１６が受信した第１他イベントタイミング値Ｑ及び第２他イベントタイミング値Ｓで、イベントタイミング値記憶装置１１及びデータ記憶装置１２にそれぞれ記憶されている第１他イベントタイミング値Ｑ及び第２他イベントタイミング値Ｓを更新する。

【0051】

リストア検出部１８は、受信部１６が受信した第１自イベントタイミング値Ｐと、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐと、を比較することにより、稼働系ノード２又は待機系ノード３がリストアされたことを検出する。

【0052】

リストア検出部１８は、受信部１６が受信した第１他イベントタイミング値Ｑとイベントタイミング値記憶装置１１に記憶されている更新前の第１他イベントタイミング値Ｑと、を比較することにより、他ノードがリストアされたことを検出する。

【0053】

次に、図４から図８を参照して、稼働系ノード２の動作を説明する。図８には、稼働系ノード２の制御フローを示している。

【0054】

ステップ３００：
まず、稼働系ノード２及び待機系ノード３をネットワークスイッチ４で接続するなどして、ミラーリング型クラスタシステム１を構成したら、稼働系ノード２及び待機系ノード３が初期化される。具体的には、図４に示すように、稼働系ノード２において、カウンタ１０、イベントタイミング値記憶装置１１の記憶内容１１ａ、データ記憶装置１２の記憶内容１２ａが初期化される。即ち、カウンタ１０のカウンタ値は０にセットされ、イベントタイミング値記憶装置１１の記憶内容１１ａに含まれる第１自イベントタイミング値Ｐ等はゼロにセットされる。待機系ノード３においても同様である。

【0055】

ステップ３１０：
次に、稼働系ノード２のデータ書き込み部１３がミラーリング対象データをデータ記憶装置１２に書き込む。これにより、ミラーリング対象データの書き込みイベントが発生する。

【0056】

ステップ３２０ーＳ３４０：
ミラーリング対象データの書き込みイベントが発生したら（S320:YES）、カウント部１４は、カウンタ１０にカウンタ値更新指令を出力する。これにより、図５に示すように、カウンタ１０のカウンタ値がインクリメントされる。

【0057】

そして、カウント部１４は、カウンタ１０のカウンタ値で、図５に示すように、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒを更新する（S330）。端的に言えば、カウント部１４は、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒをインクリメントする。

【0058】

同様に、カウント部１４は、カウンタ１０のカウンタ値で、図５に示すように、データ記憶装置１２に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒを更新する。端的に言えば、カウント部１４は、データ記憶装置１２に記憶されている第１自イベントタイミング値Ｐ及び第２自イベントタイミング値Ｒをインクリメントする。

【0059】

そして、送信部１５は、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ等を待機系ノード３に送信する（S340）。具体的には、送信部１５は、ミラーリング対象データと共に、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ等を待機系ノード３に送信する。これにより、図５に示すように、待機系ノード３のイベントタイミング値記憶装置１１に記憶されている第１他イベントタイミング値Ｑ及び第２他イベントタイミング値Ｓが更新される。

【0060】

ステップＳ３５０―Ｓ３７０：
受信部１６が待機系ノード３から第１自イベントタイミング値Ｐ等を受信したら（S350:YES）、リストア検出部１８は、受信部１６が受信した第１自イベントタイミング値Ｐと、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐと、を比較することにより、稼働系ノード２又は待機系ノード３がリストアされたことを検出する（S360）。

【0061】

図６には、待機系ノード３全体がリストアされた場合を示している。この場合、イベントタイミング値記憶装置１１及びデータ記憶装置１２に記憶されている第１自イベントタイミング値Ｐ等がすべて初期化されている。図６に示すように、受信部１６が受信した第１自イベントタイミング値Ｐ（０）が、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ（１）よりも時系列上で過去を示す値である場合、リストア検出部１８は、待機系ノード３がリストアされたことを検出する。具体的には、リストア検出部１８は、この場合、待機系ノード３のイベントタイミング値記憶装置１１及びデータ記憶装置１２を含む待機系ノード３全体がリストアされたことを検出する。

【0062】

一方、例えば、受信部１６が受信した第１自イベントタイミング値Ｐが、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐよりも時系列上で未来を示す値である場合、リストア検出部１８は、稼働系ノード２がリストアされたことを検出する（S360）。具体的には、リストア検出部１８は、この場合、稼働系ノード２のイベントタイミング値記憶装置１１及びデータ記憶装置１２を含む稼働系ノード２全体がリストアされたことを検出する。稼働系ノード２全体がリストアされるとは、仮想マシンのスナップショット機能などを用いて、OS領域を含めて取得したバックアップから稼働系ノード２がリストアされたことを意味する。

【0063】

また、リストア検出部１８は、受信部１６が受信した第１他イベントタイミング値Ｑとイベントタイミング値記憶装置１１に記憶されている第１他イベントタイミング値Ｑと、を比較することにより、待機系ノード３がリストアされたことを検出する（S360）。

【0064】

具体的には、受信部１６が受信した第１他イベントタイミング値Ｑが、イベントタイミング値記憶装置１１に記憶されている第１他イベントタイミング値Ｑよりも時系列上過去を示す値であるとき、待機系ノード３がリストアされたことを検出する。具体的には、リストア検出部１８は、この場合、待機系ノード３のイベントタイミング値記憶装置１１及びデータ記憶装置１２を含む待機系ノード３全体がリストアされたことを検出する。

【0065】

リストア検出部１８は、稼働系ノード２全体がリストアされたこと、又は、待機系ノード３全体がリストアされたことを検出したら（S365:YES）、処理をS380に進める。一方、リストア検出部１８は、稼働系ノード２全体がリストアされたことを検出せず、及び、待機系ノード３全体がリストアされたことを検出しなかったら（S365:NO）、処理をS370に進める。

【0066】

更新部１７は、受信部１６が待機系ノード３から受信した第１他イベントタイミング値Ｑ及び第２他イベントタイミング値Ｓで、イベントタイミング値記憶装置１１に記憶されている第１他イベントタイミング値Ｑ及び第２他イベントタイミング値Ｓを更新する（S370）。

【0067】

ステップＳ３８０：
次に、リストア検出部１８は、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐ等と、データ記憶装置１２に記憶されている第１自イベントタイミング値Ｐ等と、に基づいて稼働系ノード２のデータ記憶装置１２がリストアされたことを検出する。具体的には、例えば図７に示すように、リストア検出部１８は、イベントタイミング値記憶装置１１に記憶されている第１自イベントタイミング値Ｐが、データ記憶装置１２に記憶されている第１自イベントタイミング値Ｐよりも時系列上未来を示す値であるとき、稼働系ノード２のデータ記憶装置１２がリストアされたことを検出する。端的にいえば、イベントタイミング値記憶装置１１の記憶内容１１ａとデータ記憶装置１２の記憶内容１２ａが一致しない場合、リストア検出部１８は、データ記憶装置１２はリストアされたことを検出する。

【0068】

以上、上記第２実施形態では、稼働系ノード２及び待機系ノード３のリストアが検出可能となり、稼働系ノード２のデータ記憶装置１２のみがリストアされたことも検出可能となる。従って、例えば、リストアが検知された後にどのノードのデータ記憶装置１２が保有するミラーリング対象データが最新であるかを判定するなどして、複数のノード間におけるミラーリング対象データの同期を正常化させることが可能となる。また、リストアが実行されたことを利用者にメッセージ形式で報知することで、利用者に何らかのアクションを促すことが可能となる。

【0069】

また、例えば、稼働系ノード２と待機系ノード３との間における第１自イベントタイミング値Ｐ等の送受信をハートビート通信に合わせて実行することで、ミラーリング型クラスタシステム１の動作に大きな負荷を与えることのないリストア検知システムが実現される。

【0070】

なお、上記第２実施形態では、ミラーリング型クラスタシステム１が２台のノード、即ち稼働系ノード２及び待機系ノード３によって構成されるとしたが、３台以上のノードによって構成されてもよい。また、稼働系ノード２は、１つのデータ記憶装置１２を備えるものとしたが、２つのデータ記憶装置１２を備えてもよい。

【0071】

また、稼働系ノード２及び待機系ノード３が双方向でミラーリングされる構成を採用し得る。また、イベントタイミング値に代えて、稼働系ノード２のシステム時刻を用いてもよい。

【0072】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。非一時的なコンピュータ可読媒体の例は、更に、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭを含む。非一時的なコンピュータ可読媒体の例は、更に、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【符号の説明】

【0073】

１００ ノード
１０１ イベントタイミング値記憶装置
１０２ データ記憶装置
１０３ データ書き込み部
１０４ カウント部
１０５ 送信部
１０６ 受信部
１０７ 更新部
１０８ リストア検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】