特許 7606933 ストレージシステム及びデータ管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】ストレージシステム及びデータ管理方法

(51)【国際特許分類】

   G06F 3/06 20060101AFI20241219BHJP

   G06F 13/10 20060101ALI20241219BHJP

   G06F 11/20 20060101ALI20241219BHJP

【ＦＩ】

G06F3/06 306Z

G06F3/06 302A

G06F13/10 340A

G06F3/06 304F

G06F11/20 689

【請求項の数】 12

(21)【出願番号】P 2021103479

(22)【出願日】2021-06-22

(65)【公開番号】P2023002309

(43)【公開日】2023-01-10

【審査請求日】2024-01-26

(73)【特許権者】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】中條 徳男

【審査官】太田 龍一

(56)【参考文献】

【文献】特開平１０－０２７０４７（ＪＰ，Ａ）

【文献】特開２００４－１７１４３７（ＪＰ，Ａ）

【文献】特開２００９－０７５６５８（ＪＰ，Ａ）

【文献】特開２００７－２１９７５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２５４４４６（ＵＳ，Ａ１）

【文献】特開２０１６－２１２４７５（ＪＰ，Ａ）

【文献】安田 博，Ｏｒａｃｌｅ／ＳＱＬ Ｓｅｒｖｅｒ／ハードウェア別に見る データベース障害対策最新技術ガイド メモリからＬＡＮアダプタ、ストレージまで ハードウェアの冗長化によるシステム信頼性向上の考え方，ＤＢ Ｍａｇａｚｉｎｅ，株式会社翔泳社，2008年08月28日，第１８巻 第６号，pp.49-59

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０６

Ｇ０６Ｆ １３／１０

Ｇ０６Ｆ １１／２０

(57)【特許請求の範囲】

【請求項1】

プロセッサと、第１メモリモジュールと、第２メモリモジュールと、記憶デバイスとを備えるストレージシステムであって、
前記プロセッサと、前記第１メモリモジュールとは、同一のノードに設けられ、
前記第２メモリモジュールは、前記ノードの電源を停止せずに交換可能であり、
前記第１メモリモジュールは、オペレーティングシステムと、前記記憶デバイスに格納するユーザデータを管理するプログラムとを記憶し、
前記第２メモリモジュールは、前記記憶デバイスに格納される前記ユーザデータのキャッシュデータを記憶し、
前記プロセッサは、前記第２メモリモジュールに格納されるデータのコピーを第３メモリモジュールに格納する
ストレージシステム。

【請求項2】

前記ノードは、前記第２メモリモジュールを備える
請求項１に記載のストレージシステム。

【請求項3】

前記第１メモリモジュールは、前記プロセッサのメモリコントローラに接続されている接続されているメモリモジュールである
請求項１に記載のストレージシステム。

【請求項4】

前記第２メモリモジュールは、前記ユーザデータを管理するための制御情報を記憶する
請求項１に記載のストレージシステム。

【請求項5】

前記ストレージシステムは、前記ノードを複数有し、
前記第３メモリモジュールは、他のノードのメモリモジュールである
請求項１に記載のストレージシステム。

【請求項6】

障害の発生した前記第２メモリモジュールの新たなメモリモジュールへの交換が完了していない状態で、ホストからユーザデータへのアクセスがあった場合に、前記プロセッサは、前記第３メモリモジュールの前記第２メモリモジュールの管理情報のコピーを参照して、前記ユーザデータへのアクセスを処理する
請求項１に記載のストレージシステム。

【請求項7】

前記第２メモリモジュールを新たなメモリモジュールに交換した場合に、前記プロセッサは、前記第３メモリモジュールから前記第２メモリモジュールのデータのコピーデータを読み出して、前記新たなメモリモジュールに書き込む
請求項６に記載のストレージシステム。

【請求項8】

前記第１メモリモジュールは、前記ノードの電源を停止せずに交換可能であり、
前記プロセッサは、前記第１メモリモジュールのＯＳ及び処理プログラムを前記第２メモリモジュールにコピーする
請求項１に記載のストレージシステム。

【請求項9】

前記第１メモリモジュールに障害が発生した場合に、前記プロセッサは、前記第２メモリモジュールにコピーされたＯＳ及び処理プログラムを用いて処理を実行する
請求項８に記載のストレージシステム。

【請求項10】

前記第１メモリモジュールを新たなメモリモジュールに交換した場合に、前記プロセッサは、前記第２メモリモジュールから前記第１メモリモジュールのデータのコピーデータを読み出して、前記新たなメモリモジュールに書き込む
請求項９に記載のストレージシステム。

【請求項11】

前記第２メモリモジュールは、前記第２メモリモジュールで発生したエラーの回数をカウントし、エラーの回数が所定の回数を超えた場合に、プロセッサに通知し、
前記プロセッサは、エラー回数が所定の回数を超えたとの通知を受けた場合に、前記第２メモリモジュールへの新たなデータの格納を停止し、プロセッサのキャッシュ内にキャッシュされているデータを前記第３メモリモジュールに書出し、第２メモリモジュールの交換を促す表示を行う
請求項１に記載のストレージシステム。

【請求項12】

プロセッサと、第１メモリモジュールと、第２メモリモジュールと、記憶デバイスとを備えるストレージシステムによるデータ管理方法であって、
前記プロセッサと、前記第１メモリモジュールとは、同一のノードに設けられ、
前記第２メモリモジュールは、前記ノードの電源を停止せずに交換可能であり、
前記第１メモリモジュールは、オペレーティングシステムと、ユーザデータを管理するプログラムとを記憶し、
前記第２メモリモジュールは、前記記憶デバイスに格納される前記ユーザデータのキャッシュデータを記憶し、
前記ストレージシステムは、前記第２メモリモジュールに格納されるデータのコピーを第３メモリモジュールに格納する
データ管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステムにおけるメモリ障害に対する技術に関する。

【背景技術】

【0002】

各種データを格納し、管理するストレージシステムとして、複数のノードで構成されるストレージシステムが知られている。例えば、ノードは、ＣＰＵと、メモリとを有する計算機で構成されている。ノードのメモリには、オペレーティングシステムや、ストレージシステムとして動作するためのアプリケーション（単にアプリともいう）や、ドライブに格納されるデータ（ユーザデータ）のキャッシュデータや、ドライブに格納されるユーザデータを管理するための制御情報等が格納される。

【0003】

ノードのメモリとしては、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられており、ノードに対して電力の供給が停止してしまうと、格納していたデータが消失してしまう問題がある。

【0004】

これに対して、特許文献１には、制御用情報を不揮発媒体に格納することにより、電源の供給が停止する前に管理されていた制御用情報にアクセスできる技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－５１２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、メモリに障害が発生した場合には、メモリを交換するために、メモリを取外す必要がある。例えば、ＣＰＵに対してメモリが直接接続されているノードにおいては、ノードの電源を落とす、すなわち、ノードを閉塞させる必要があり、ストレージシステムの性能を低下させてしまう。

【0007】

本発明は、上記事情に鑑みなされたものであり、その目的は、メモリに障害が発生した場合において、ノードを閉塞しなければならない状況の発生を低減できる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、一観点に係るストレージシステムは、プロセッサと、第１メモリモジュールと、第２メモリモジュールと、記憶デバイスとを備えるストレージシステムであって、前記プロセッサと、前記第１メモリモジュールとは、同一のノードに設けられ、前記第２メモリモジュールは、前記ノードの電源を停止せずに交換可能であり、前記第１メモリモジュールは、オペレーティングシステムと、前記記憶デバイスに格納するユーザデータを管理するプログラムとを記憶し、前記第２メモリモジュールは、前記記憶デバイスに格納される前記ユーザデータのキャッシュデータを記憶し、前記プロセッサは、前記第２メモリモジュールに格納されるデータのコピーを第３メモリモジュールに格納する。

【発明の効果】

【0009】

本発明によれば、ノードを閉塞しなければならない状況の発生を低減することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、第１実施形態に係るストレージシステムの全体構成図である。

【図2】図２は、第１実施形態に係るノードに関するメモリマップを説明する図である。

【図3】図３は、第１実施形態に係るストレージシステムの正常時の動作を説明する図である。

【図4】図４は、第１実施形態に係るストレージシステムのメモリモジュール交換時の動作を説明する図である。

【図5】図５は、第１実施形態に係るストレージシステムの処理動作を説明するフローチャートである。

【図6】図６は、第２実施形態に係るストレージシステムの全体構成図である。

【図7】図７は、第３実施形態に係るストレージシステムの全体構成図である。

【図8】図８は、第４実施形態に係るストレージシステムの全体構成図である。

【発明を実施するための形態】

【0011】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0012】

図１は、第１実施形態に係るストレージシステムの全体構成図である。

【0013】

ストレージシステム１は、１以上のホスト１０と、複数のノード１００（１００Ａ，１００Ｂ・・・，１００Ｘ）と、複数のドライブ１２０と、を備えている。ホスト１０とノード１００とは、ネットワーク２０を介して接続されている。ノード１００とドライブ１２０とは、バス１１６を介して接続されている。各ノード１００は、バックエンドネットワーク３０を介して接続されている。

【0014】

ネットワーク２０は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や無線ＬＡＮなどの通信路である。バックエンドネットワーク３０は、例えば、有線ＬＡＮ、無線ＬＡＮなどの通信路である。

【0015】

ホスト１０は、ストレージシステム１で管理されているデータ（ユーザデータ）を使用して各種処理を行う。

【0016】

ノード１００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ等の計算機によって構成されている。ノード１０は、プロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メモリモジュール１０４と、メモリモジュール１０７と、ネットワークＩ／Ｆ１１４と、ネットワークＩ／Ｆ（インターフェース）１１５と、バス１１６と、を備えている。メモリモジュール１０４は、ＣＰＵ１０１に接続されている。ＣＰＵ１０２と、メモリモジュール１０７と、ネットワークＩ／Ｆ１１４と、ネットワークＩ／Ｆ１１５とは、バス１１６を介して接続されている。バス１１６には、１以上のドライブ１２０（記憶装置の一例）が接続されている。

【0017】

ドライブ１２０は、記憶デバイスの一例であり、例えば、ハードディスクやフラッシュメモリなどである。ドライブ１２０は、ユーザデータ等のデータを記憶する。なお、ドライブ１２０は、ノード１００の内部に設けられてもよく、ノード１００の外部に設けられてもよい。

【0018】

ネットワークＩ／Ｆ１１５は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク２０を介して他の装置（例えば、ホスト１０）と通信する。

【0019】

ネットワークＩ／Ｆ１１４は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、バックエンドネットワーク３０を介して他の装置（例えば、他のノード１００）と通信する。

【0020】

ＣＰＵ１０１は、メモリモジュール１０４に格納されているプログラム（ＯＳ（オペレーティングシステム）、アプリケーション（処理プログラム）等）に従って各種処理を実行する。ＣＰＵ１０１は、メモリコントローラ１０２と、Ｉ／Ｏコントローラ１０３とを有する。メモリコントローラ１０２は、メモリモジュール１０４に格納されるデータに対するアクセスを制御する。Ｉ／Ｏコントローラ１０３は、バス１１６を介して接続される各種モジュールに対するＩ／Ｏを制御する。Ｉ／Ｏコントーラ１０３は、バス１１６に対するモジュールの取り付けや取外しを検知し、モジュールの状態に応じてＩ／Ｏを制御する。

【0021】

メモリモジュール１０４（第１メモリモジュールの一例）は、ＣＰＵ１０２のメモリコントローラ１０２に接続されており、ノード１００の電源を落とさずに交換することができない。ここで、交換できないとは、物理的に交換できないという意味ではなく、ＣＰＵ１０１の動作に異常を発生させない状態で交換できないという意味である。メモリモジュール１０４は、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）のメモリチップであり、ＣＰＵ１０１で実行されるプログラムや、必要な情報を記憶する。本実施形態では、メモリモジュール１０４は、ＯＳ１０５と、アプリケーション（単にアプリともいう）１０６とを記憶する。アプリケーション１０６は、ドライブ１２０に格納するユーザデータのＩ／Ｏを制御する処理や、メモリモジュール１０７の交換に関わる処理等を実行する。

【0022】

メモリモジュール１０７（第２メモリモジュールの一例）は、Ｉ／Ｏ・メモリコントローラ１０８と、メモリチップ１０９とを有する。Ｉ／Ｏ・メモリコントローラ１０８は、メモリチップ１０９に格納されるデータに対するアクセスを制御する機能と、バス１１６を介してメモリモジュール１０７を認識させ、バス１１６を介しての通信を制御する機能とを有する。また、Ｉ／Ｏ・メモリコントローラ１０８は、メモリチップ１０９に発生したエラーの回数を検出し、所定回数以上のエラーが発生した場合に、ＣＰＵ１０１に通知する機能（ＲＡＳ機能）を有する。このメモリモジュール１０７は、Ｉ／Ｏ・メモリコントローラ１０８を有しているので、ノード１００の電源が落ちていない状態において交換可能である。具体的には、メモリモジュール１０７は、取外し可能、すなわち、ＣＰＵ１０１等に取外されたことを認識させてメモリモジュール１０７に対する処理を行わないように対処させることができるとともに、ノード１００の電源が落ちていない状態において取付け可能、すなわち、ＣＰＵ１０１等に取付けられたことを認識させてメモリモジュール１０７に対する処理を開始させることができる。

【0023】

メモリチップ１０９は、例えば、ＲＡＭのチップであり、ドライブ１２０に格納されるユーザデータを管理する制御情報１１０と、ドライブ１２０に格納されるユーザデータのキャッシュデータ１１１と、他のノード１００の制御情報１１０のコピーである制御情報ミラー１１２と、他のノード１００のキャッシュデータ１１１のコピーであるキャッシュミラー１１３とを記憶する。例えば、ノード１００Ａの制御情報１１０及びキャッシュデータ１１１に対応する制御情報ミラー１１２及びキャッシュミラー１１３は、ノード１００Ｂのメモリモジュール１０７（第３メモリモジュールの一例）に格納される。なお、制御情報１１０やキャッシュデータ１１１は、ノード１００に対して１つ有していてもよく、ノード１００で管理する所定のデータ単位（例えば、ボリューム）毎に有するようにしてもよい。また、所定のデータ単位毎に制御情報１１０やキャッシュデータ１１１を有する場合には、これらに対応する制御情報ミラー１１２やキャッシュミラー１１３は、データ単位によって異なるノード１００のメモリモジュール１０７に格納されてもよい。

【0024】

図２は、第１実施形態に係るノードに関するメモリマップを説明する図である。図２は、１つのノードに関してメモリで管理する必要がある情報（データ）のメモリマップを示している。

【0025】

ノード１００に関してメモリで管理する必要がある情報としては、ＯＳ１０５と、アプリケーション１０６と、ローカルデータ１１７と、制御情報１１０と、キャッシュデータ１１１と、制御情報ミラー１１２と、キャッシュミラー１１３とがある。

【0026】

本実施形態では、比較的データ量が小さいＯＳ１０５、アプリケーション１０６、及びローカルデータ１１７については、メモリモジュール１０４に格納し、比較的データ量が大きい制御情報１１０、キャッシュデータ１１１、制御情報ミラー１１２、及びキャッシュミラー１１３についてはメモリモジュール１０９に格納している。

【0027】

メモリモジュール１０４に格納されるデータのデータ量は小さく、メモリモジュール１０４に必要なメモリ容量を小さくできるので、メモリ障害の発生確率は小さい。必要なメモリ容量を小さくできるので、メモリモジュール１０４のメモリチップは、高信頼性のメモリチップや、強力なエラー訂正機能を持ったメモリチップとしてもよい。このようにすると、メモリ障害の発生を更に低くすることができる。

【0028】

一方、メモリモジュール１０７に格納されるデータのデータ量は大きく、メモリモジュール１０７に必要なメモリ容量が大きくなるので、メモリ障害の発生確率は大きい。このため、メモリモジュール１０７を交換する必要が生じる可能性が高くなる。必要なメモリ容量が大きくなるので、コストを低減するためには、メモリモジュール１０７を、エラー訂正機能のない又は訂正能力が低いメモリチップとしてもよい。このようにすると、メモリ障害の発生がより高くなる可能性がある。

【0029】

まず、ストレージシステム１の正常時（正常モード）の動作について説明する。

【0030】

図３は、第１実施形態に係るストレージシステムの正常時の動作を説明する図である。

【0031】

ホスト１０からユーザデータの読出し要求を受けた場合には、ノード１００ＡのＣＰＵ１０１は、メモリモジュール１０７のメモリチップ１０９に、読出し要求に対応するユーザデータのキャッシュデータが存在する場合には、メモリチップ１０９からユーザデータを読出して要求元のホスト１０に送信する（ステップＳ１）一方、メモリチップ１０９に読出し要求に対応するユーザデータのキャッシュデータが存在しない場合には、ユーザデータをドライブ１２０から読出してメモリチップ１０９にキャッシュし（ステップＳ０）、要求元のホスト１０に送信する（ステップＳ１）。

【0032】

また、ホスト１０からユーザデータの書込み要求を受けた場合には、ノード１００ＡのＣＰＵ１０１は、メモリモジュール１０７のメモリチップ１０９に、書込み対象のユーザデータをキャッシュデータとして格納するとともに、キャッシュデータのコピーをコピー先（ミラー先）の他のノード１００（図３の例では、ノード１００Ｂ）のメモリモジュール１０７のメモリチップ１０９に格納する（ステップＳ２）。その後、ＣＰＵ１０１は、メモリモジュール１０７のメモリチップ１０９に格納されたキャッシュデータ１１１をドライブ１２０に格納する（ステップＳ３）。

【0033】

次に、ストレージシステム１のメモリモジュール１０７の交換時（交換時モード）の動作について説明する。

【0034】

図４は、第１実施形態に係るストレージシステムのメモリモジュール交換時の動作を説明する図である。

【0035】

ホスト１０からユーザデータの読出し要求を受けた場合には、ＣＰＵ１０１は、キャッシュデータのミラー先の他のノード１００（１００Ｂ）のメモリモジュール１０７に、読出し要求に対応するユーザデータのキャッシュデータが存在する場合には、メモリチップ１０９からユーザデータを読み出して要求元のホスト１０に送信する（ステップＳ５）一方、メモリチップ１０９に読出し要求に対応するユーザデータのキャッシュデータが存在しない場合には、ユーザデータをドライブ１２０から読出し（ステップＳ４）、要求元のホスト１０に送信する（ステップＳ５）。

【0036】

また、ホスト１０からユーザデータの書込み要求を受けた場合には、ＣＰＵ１０１は、ミラー先のメモリモジュール１０７のメモリチップ１０９に、書込み対象のユーザデータをキャッシュデータとして格納する（ステップＳ６）。なお、キャッシュデータのコピーを更に別のノード１００のメモリモジュール１０７のメモリチップ１０９に格納してもよい。その後、ＣＰＵ１０１は、ミラー先のノード１００のメモリモジュール１０７のメモリチップ１０９に格納されたキャッシュデータをノード１００Ａのドライブ１２０に格納する（ステップＳ７）。

【0037】

このように、ストレージシステム１によると、メモリモジュールの交換時においても支障なくユーザデータの読出し及び書込みを行うことできる。

【0038】

次に、ストレージシステム１の処理動作を説明する。

【0039】

図５は、第１実施形態に係るストレージシステムの処理動作を説明するフローチャートである。

【0040】

ストレージシステム１のノード１００においては、ＣＰＵ１０１は、ＯＳ１０５及びアプリケーション１０６を実行することにより、図３に示す通常モードで動作を実行する（ステップＳ１０）。

【0041】

この際、メモリモジュール１０７のＩ／Ｏ・メモリコントローラ１０８は、メモリチップ１０９でのエラー数（メモリエラー数）をカウントし（ステップＳ１１）、メモリエラー数が障害であると判断する所定の閾値を超えたか否かを判定する（ステップＳ１２）。この結果、メモリエラー数が閾値を超えていない場合（ステップＳ１２：Ｎｏ）には、Ｉ／Ｏ・メモリコントローラ１０８は、処理をステップＳ１１に進める。一方、メモリエラー数が閾値を超えている場合（ステップＳ１２：Ｙｅｓ）には、Ｉ／Ｏ・メモリコントローラ１０８は、障害が発生したことをＣＰＵ１０１に通知する。

【0042】

障害が発生したことの通知を受けると、ＣＰＵ１０１は、メモリモジュール１０７の領域を無効として（ステップＳ１３）、ホスト１０からのＩ／Ｏ（読込み要求、書込み要求）の受付を停止し、メモリモジュール１０７のメモリチップ１０９へのアクセスを停止する（ステップＳ１４）。

【0043】

次いで、ＣＰＵ１０１は、ＣＰＵ１０１の内部のキャッシュのデータを、メモリモジュール１０７のミラー先となる他のノード１００のメモリモジュール１０７にバックエンドネットワーク３０を介して書き出す（ステップＳ１５）。

【0044】

次いで、ＣＰＵ１０１は、内部のキャッシュのデータの書き出しが完了したか否かを判定し（ステップＳ１６）、書き出しが完了していない場合（ステップＳ１６：Ｎｏ）には、ステップＳ１５の処理を継続する一方、書き出しが完了した場合（ステップＳ１６：Ｙｅｓ）には、ＣＰＵ１０１の内部のキャッシュのデータの書き出しが完了し、メモリモジュール１０７の交換準備が整ったことを表示する（ステップＳ１７）。なお、交換準備が整ったことの表示方法としては、表示対象のユーザの計算機に表示してもよいし、ノード１００の所定のＬＥＤを点灯させる等してもよい。

【0045】

さらに、ＣＰＵ１０１は、ＯＳ１０５及びアプリケーション１０６を実行することにより、図４に示す交換時モードで動作を実行する（ステップＳ１８）。

【0046】

これにより、ノード１００の管理者がノード１００から障害の発生したメモリモジュール１０７を支障なく取外すことができるようになる。

【0047】

そして、ＣＰＵ１０１のＩ／Ｏコントローラ１０３は、メモリモジュール１０７が取外された場合には、メモリモジュール１０７が取外されたことを検知して、メモリモジュール１０７が取外されたことに対応する処理を行う（ステップＳ１９）。

【0048】

この後、管理者によりノード１００に新たなメモリモジュール１０７（なお、新たなメモリモジュールは、交換前のメモリモジュールと異なる場合が多いが、便宜的に交換前のメモリモジュールと同一の符号を付す）が取付けられると、ＣＰＵ１０１のＩ／Ｏコントローラ１０３は、メモリモジュール１０７が取付けられたことを検知して、ＣＰＵ１０１に通知する（ステップＳ２０）。

【0049】

ＣＰＵ１０１は、ＯＳ１０５及びアプリケーション１０６を実行することにより、ホスト１０からのＩ／Ｏ（読込み要求、書込み要求）の受付を停止し、メモリモジュール１０７のメモリチップ１０９へのホスト１０からのＩ／Ｏに伴うアクセスを停止する（ステップＳ２１）。

【0050】

次いで、ＣＰＵ１０１は、新たなメモリモジュール１０７に、ミラー先のメモリモジュール１０７にミラーされているデータ（キャッシュデータ及び制御情報）と、自身がミラー先となるデータ（制御情報ミラー及びキャッシュミラー）とを書き戻す処理を実行する（ステップＳ２２）。

【0051】

次いで、ＣＰＵ１０１は、データの書き戻しが完了したか否かを判定し（ステップＳ２３）、書き戻しが完了していない場合（ステップＳ２３：Ｎｏ）には、ステップＳ２２の処理を継続する。

【0052】

一方、書き戻しが完了した場合（ステップＳ２３：Ｙｅｓ）には、ＣＰＵ１０１は、ＯＳ１０５及びアプリケーション１０６を実行することにより、ホスト１０からのＩ／Ｏの受付を開始し、通常モードでの動作を開始する（ステップＳ２４）。

【0053】

上記した処理によると、障害の発生したメモリモジュールを支障なく取外すことができ、新しいメモリモジュールを取付けることができ、新しいメモリモジュールに対してデータを書き戻して、通常モードでの動作を実行できるようにすることができる。

【0054】

次に、第２実施形態に係るストレージシステムについて説明する。

【0055】

図６は、第２実施形態に係るストレージシステムの全体構成図である。なお、第１実施形態に係るストレージシステム１と同様な構成部分には、同一の符号を付すこととする。

【0056】

第２実施形態に係るストレージシステム１Ａは、ストレージシステム１においてノード１００に代えて、ノード２００（２００Ａ，２００Ｂ，・・・，２００Ｘ）を備える。

【0057】

ノード２００は、メモリモジュール２０１，２０４（第１メモリモジュールの一例）を備えている。

【0058】

メモリモジュール２０１は、Ｉ／Ｏ・メモリコントローラ２０２と、メモリチップ２０３とを有し、メモリモジュール２０４は、Ｉ／Ｏ・メモリコントローラ２０５と、メモリチップ２０６とを有する。Ｉ／Ｏ・メモリコントローラ２０２，２０５は、メモリコントローラ１０８と同様な機能を有し、メモリチップ２０３，２０６は、メモリチップ１０９と同様な構成となっている。

【0059】

本実施形態では、メモリモジュール２０１に、制御情報１１０及びキャッシュデータ１１１を記憶し、メモリモジュール２０４に、制御情報ミラー１１２及びキャッシュミラー１１３を記憶する。

【0060】

ストレージシステム１Ａにおいては、各メモリモジュール２０１，２０４を単位として、交換可能である。

【0061】

ＣＰＵ１０１は、メモリモジュール２０１の交換に関する処理としては、図５に示す処理と同様な処理を実行する。なお、図５におけるステップＳ２２においては、メモリモジュール２０１に格納すべきデータである制御情報１１０及びキャッシュデータ１１１のみをミラー先のメモリモジュールから書き戻す。

【0062】

一方、ＣＰＵ１０１は、メモリモジュール２０４の交換に関する処理としては、通常モード動作を継続して実行し、新しいメモリモジュール２０４の取り付けを検知した後に、メモリモジュール２０４に格納すべきデータである制御情報ミラー及びキャッシュミラーのみをミラー元のメモリモジュールから書き戻す。

【0063】

このストレージシステム１Ａによると、メモリモジュールの交換時に書き戻すデータ量を抑えることができ、処理時間を短縮することができる。また、制御情報１１０及びキャッシュデータ１１１を格納していないメモリモジュール２０４の交換時には、通常モード動作を継続して実行できる。

【0064】

次に、第３実施形態に係るストレージシステムについて説明する。

【0065】

図７は、第３実施形態に係るストレージシステムの全体構成図である。なお、第１実施形態に係るストレージシステム１と同様な構成部分には、同一の符号を付すこととする。

【0066】

第３実施形態に係るストレージシステム１Ｂは、第１実施形態に係るストレージシステム１において、ノード１００に代えて、ノード３００（３００Ａ，３００Ｂ，・・・，３００Ｘ）を備えるようにしたものである。

【0067】

ノード３００は、メモリモジュール３０１（第１メモリモジュールの一例）と、メモリモジュール３０４（第２メモリモジュールの一例）とを備える。メモリモジュール３０１は、Ｉ／Ｏ・メモリコントローラ３０２と、メモリチップ３０３とを有する。メモリモジュール３０４は、Ｉ／Ｏ・メモリコントローラ３０５と、メモリチップ３０６とを有する。Ｉ／Ｏ・メモリコントローラ３０２，３０５は、メモリコントローラ１０８と同様な機能を有し、メモリチップ３０３，３０６は、メモリチップ１０９と同様な構成となっている。

【0068】

メモリモジュール３０１のメモリチップ３０３は、ＯＳ１０５及びアプリケーション１０６を格納する。メモリモジュール３０５のメモリチップ３０６は、制御情報１１０と、キャッシュデータ１１１と、制御情報ミラー１１２と、キャッシュミラー１１３と、ＯＳ１０５のコピーであるＯＳミラー３０７と、アプリケーション１０６のコピーであるアプリケーションミラー３０８とを格納する。

【0069】

ストレージシステム１Ｂにおいては、各メモリモジュール３０１，３０４を単位として、交換可能である。

【0070】

ＣＰＵ１０１は、メモリモジュール３０４の交換に関する処理としては、図５に示す処理と同様な処理を実行する。なお、図５におけるステップＳ２２においては、メモリモジュール３０４に格納すべきデータであるＯＳミラー３０７と、アプリケーションミラー３０８とについてはメモリモジュール３０１から書き戻す。

【0071】

一方、ＣＰＵ１０１は、メモリモジュール３０１の交換に関する処理としては、メモリモジュール３０４のＯＳミラー３０７及びアプリケーションミラー３０８を実行するようにして通常モード動作を継続して実行し、新しいメモリモジュール３０１の取り付けを検知した後に、メモリモジュール３０１にメモリモジュール３０４のＯＳミラー３０７及びアプリケーションミラー３０８を書き戻すことにより、ＯＳ１０５及びアプリケーション１０６を回復し、その後、ＣＰＵ１０１は、メモリモジュール３０１のＯＳ１０５及びアプリケーション１０６を実行するようにする。

【0072】

このストレージシステム１Ｂによると、ＯＳ１０５やアプリケーション１０６が格納されたメモリモジュール３０１を交換する場合において、ノード３００の電源を落とすことなく、処理を継続することができ、メモリモジュールの交換後に、ノード３００を元の状態に戻すことができる。

【0073】

次に、第４実施形態に係るストレージシステムについて説明する。

【0074】

図８は、第４実施形態に係るストレージシステムの全体構成図である。なお、第１実施形態に係るストレージシステム１と同様な構成部分には、同一の符号を付すこととする。

【0075】

第４実施形態に係るストレージシステム１Ｃは、第１実施形態に係るストレージシステム１において、ノード１００に代えて、ノード４００（４００Ａ，４００Ｂ，・・・，４００Ｘ）を備え、さらに、ネットワーク４０を介して複数のノード４００に接続される複数のメモリ装置４２０（４２０Ａ，４２０Ｂ）（第２メモリモジュール、第３メモリモジュールの一例）を備えるようにしたものである。

【0076】

ノード４００は、ノード１００において、メモリモジュール１０７を備えずに、ネットワークＩ／Ｆ４０１を備えるようにしている。ネットワークＩ／Ｆ４０１は、ネットワーク４０を介してメモリ装置４２０と通信するインターフェースである。

【0077】

メモリ装置４２０は、ネットワークＩ／Ｆ４２１と、メモリコントローラ４２２と、メモリチップ４２３とを有する。ネットワークＩ／Ｆ４２１は、ネットワーク４０を介して複数のノード４００と通信するインターフェースである。メモリコントローラ４２２は、メモリチップ４２３に格納されるデータに対するアクセスを制御する機能と、メモリチップ４２３に発生したエラーの回数を検出し、所定回数以上のエラーが発生した場合に、ＣＰＵ１０１に通知する機能（ＲＡＳ機能）を有する。メモリチップ４２３は、例えば、ＲＡＭのチップである。

【0078】

本実施形態では、メモリ装置４２０Ａのメモリチップ４２３は、ノード４００Ａに関する制御情報１１０と、キャッシュデータ１１１とを格納し、メモリ装置４２０Ｂのメモリチップ４２３は、ノード４００Ａに関する制御情報ミラー１１２と、キャッシュミラー１１３とを格納する。なお、メモリ装置４２０Ａのメモリチップ４２３に、他のノード４００（ノード４００Ｂ等）に関する制御情報１１０と、キャッシュ１１１とを格納してもよく、他のノード４００（ノード４００Ｂ等）に関する制御情報ミラー１１２と、キャッシュミラー１１３とを格納してもよい。また、メモリ装置４２０Ｂのメモリチップ４２３に、他のノード４００（ノード４００Ｂ等）に関する制御情報ミラー１１２と、キャッシュミラー１１３とを格納してもよく、他のノード４００（ノード４００Ｂ等）に関する制御情報１１０と、キャッシュ１１１とを格納してもよい。

【0079】

ストレージシステム１Ｃにおいては、各メモリ装置４２０は、ノード４００の動作を維持しつつ交換可能である。

【0080】

ノード４００ＡのＣＰＵ１０１は、メモリ装置４２０Ａの交換に関する処理としては、図５に示す処理と同様な処理を実行する。なお、図５におけるステップＳ２２においては、メモリ装置４２０に格納すべきデータである制御情報１１０及びキャッシュデータ１１１を他のメモリ装置４２０に書き戻す。

【0081】

このストレージシステム１Ｃによると、メモリ装置の交換時に書き戻すデータ量を抑えることができ、処理時間を短縮することができる。

【0082】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

【0083】

例えば、上記第１実施形態乃至第４実施形態では、制御情報１１０を、ＯＳ１０５及びアプリケーション１０６とは異なるメモリモジュールに格納するようにしていたが、本発明はこれに限られず、制御情報１１０をＯＳ１０５及びアプリケーション１０６と同じメモリモジュールに格納するようにしてもよい。

【0084】

また、上記実施形態において、ＣＰＵが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。

【符号の説明】

【0085】

１…ストレージシステム、１０…ホスト、１００，１００Ａ，１００Ｂ，２００，２００Ａ，２００Ｂ，３００，３００Ａ，３００Ｂ，４００，４００Ａ，４００Ｂ…ノード、１０１…ＣＰＵ、１０４，１０７，２０１，２０４，３０３，３０４…メモリモジュール、１０５…ＯＳ、１０６…アプリケーション、１１０…制御情報、１１１…キャッシュデータ、１１２…制御情報ミラー、１１３…キャッシュミラー、４２０，４２０Ａ，４２０Ｂ…メモリ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】