特開 2022-191854 記憶システムおよびデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191854

(43)【公開日】2022-12-28

(54)【発明の名称】記憶システムおよびデータ処理方法

(51)【国際特許分類】

   G06F 3/06 20060101AFI20221221BHJP

   G06F 12/0868 20160101ALI20221221BHJP

   G06F 11/20 20060101ALI20221221BHJP

   G06F 16/172 20190101ALI20221221BHJP

【ＦＩ】

G06F3/06 304E

G06F3/06 302A

G06F3/06 304N

G06F12/0868 100

G06F11/20 689

G06F11/20 666

G06F16/172

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021100322

(22)【出願日】2021-06-16

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】伊藤 晋太郎

(72)【発明者】

【氏名】田島 幸恵

(72)【発明者】

【氏名】山本 貴大

(72)【発明者】

【氏名】揚妻 匡邦

【テーマコード（参考）】

5B034

5B205

【Ｆターム（参考）】

5B034AA01

5B034CC02

5B205KK02

5B205MM12

5B205QQ16

(57)【要約】

【課題】ホスト応答性能を向上すること。
【解決手段】冗長化グループを構成する複数の制御ソフトウェアが複数のストレージノードに分散配置された記憶システムにおいて、前記冗長化グループを構成する複数の前記制御ソフトウェアのうち、アクティブ状態の制御ソフトウェアが上位装置からの書き込み要求を受け付け、前記アクティブ状態の制御ソフトウェアが、前記アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、同一の冗長化グループに属する非アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、に前記書き込み要求にかかるデータを書き込んで二重化し、前記アクティブ状態の制御ソフトウェアが、前記上位装置に書き込み完了の応答を行い、前記キャッシュメモリに書き込まれたデータを冗長化して記憶装置に格納する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のストレージノードと、それぞれ記憶領域を提供する１又は複数の記憶装置と、
を有する記憶システムにおいて、
前記ストレージノードは、
上位装置からの要求に応じて、要求されたデータを対応する前記記憶装置に読み書きする１又は複数の制御ソフトウェアと、
前記読み書きに係るキャッシュデータを保持するキャッシュメモリと
を備え、
複数の前記制御ソフトウェアが冗長化グループを構成して、同一の前記冗長化グループに属する各前記制御ソフトウェアは、それぞれ異なる前記ストレージノードに配置され、
前記冗長化グループを構成する複数の前記制御ソフトウェアのうち、前記上位装置からの要求を処理するアクティブ状態の制御ソフトウェアは、
書き込み要求を受け付けた場合に、アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、同一の冗長化グループに属する非アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、に前記書き込み要求にかかるデータを書き込んで二重化し、前記上位装置に書き込み完了の応答を行い、
前記キャッシュメモリに書き込まれたデータを冗長化して前記記憶装置に格納する
ことを特徴とする記憶システム。

【請求項2】

前記アクティブ状態の制御ソフトウェアは、
所定の条件が満たされない場合には、前記キャッシュメモリのデータの二重化を行ってから前記書き込み完了の応答を行うライトバック処理を行い、
所定の条件が満たされるときには、前記アクティブ状態の制御ソフトウェアが配置されたストレージノードの記憶装置に書き込みを行って、前記上位装置に書き込み完了の応答を行うライトスルー処理を行うことを特徴とする請求項１に記載の記憶システム。

【請求項3】

前記アクティブ状態の制御ソフトウェアは、ストレージノード間の通信負荷が閾値を超えることを前記所定の条件として用いることを特徴とする請求項２に記載の記憶システム。

【請求項4】

前記アクティブ状態の制御ソフトウェアは、前記書き込み要求に係るデータサイズが閾値を超えることを前記所定の条件として用いることを特徴とする請求項２に記載の記憶システム。

【請求項5】

前記アクティブ状態の制御ソフトウェアを実行するプロセッサの負荷が閾値を超えることを前記所定の条件として用いることを特徴とする請求項２に記載の記憶システム。

【請求項6】

前記アクティブ状態の制御ソフトウェアは、連続した書き込み要求を受け付けたことを前記所定の条件として用いることを特徴とする請求項２に記載の記憶システム。

【請求項7】

前記冗長化グループは、非アクティブ状態の制御ソフトウェアを２以上含む構成であることを特徴とする請求項１に記載の記憶システム。

【請求項8】

前記記憶装置に格納されたデータは、冗長化されて格納化されることにより、前記アクティブ状態の制御ソフトウェア及び前記非アクティブ状態の制御ソフトウェアが利用可能であり、
前記非アクティブ状態の制御ソフトウェアがアクティブ状態に切り替わった場合には、前記記憶装置に格納されたデータと、当該制御ソフトウェアが設置されたストレージノードのキャッシュメモリに二重化して格納されていたキャッシュデータを、以降の要求の処理に用いることを特徴とする請求項１に記載の記憶システム。

【請求項9】

冗長化グループを構成する複数の制御ソフトウェアが複数のストレージノードに分散配置された記憶システムにおけるデータ処理方法であって、
前記冗長化グループを構成する複数の前記制御ソフトウェアのうち、アクティブ状態の制御ソフトウェアが上位装置からの書き込み要求を受け付けるステップと、
前記アクティブ状態の制御ソフトウェアが、前記アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、同一の冗長化グループに属する非アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、に前記書き込み要求にかかるデータを書き込んで二重化するステップと、
前記アクティブ状態の制御ソフトウェアが、前記上位装置に書き込み完了の応答を行い、前記キャッシュメモリに書き込まれたデータを冗長化して記憶装置に格納するステップと
を含むことを特徴とするデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記憶システムおよびデータ処理方法に関する。

【背景技術】

【0002】

従来、ソフトウェアによりストレージシステムを構築する技術(ソフトウェアデファインドストレージ：SDS)が提案されている。
例えば、特許文献１には、次のように記載されている。「複数のストレージノードを有する記憶システムにおいて、前記ストレージノードは、それぞれ記憶領域を提供する１又は複数の記憶装置と、上位装置からの要求に応じて、要求されたデータを対応する前記記憶装置に読み書きする１又は複数の制御ソフトウェアとを設け、各前記制御ソフトウェアは、それぞれ前記上位装置からの要求に応じて要求されたデータを対応する前記記憶装置に読み書きするために必要な所定の構成情報を保持し、複数の前記制御ソフトウェアが冗長化グループとして管理され、同一の前記冗長化グループに属する各前記制御ソフトウェアがそれぞれ保持する前記構成情報は同期して更新され、前記冗長化グループを構成する複数の前記制御ソフトウェアを、各前記ストレージノードの負荷を平準化するように、それぞれ異なる前記ストレージノードに配置するようにした。」

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１０１７０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術によれば、ＳＤＳにおいてノード障害時にも読み書きを継続できるストレージシステムを構築できる。一方で、データを複数のストレージノードのドライブに書き込むことにより冗長化する必要があるため、ホストに書き込み成功の応答を返すまでの時間が大きい。本発明は、こうしたシステムにおいてホストへの応答時間を短縮できる記憶システム等を提案しようとするものである。

【課題を解決するための手段】

【0005】

かかる課題を解決するため本発明においては、複数のストレージノードと、それぞれ記憶領域を提供する１又は複数の記憶装置と、を有する記憶システムにおいて、前記ストレージノードは、上位装置からの要求に応じて、要求されたデータを対応する前記記憶装置に読み書きする１又は複数の制御ソフトウェアと、前記読み書きに係るキャッシュデータを保持するキャッシュメモリとを備え、複数の前記制御ソフトウェアが冗長化グループを構成して、同一の前記冗長化グループに属する各前記制御ソフトウェアは、それぞれ異なる前記ストレージノードに配置され、前記冗長化グループを構成する複数の前記制御ソフトウェアのうち、前記上位装置からの要求を処理するアクティブ状態の制御ソフトウェアは、書き込み要求を受け付けた場合に、アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、同一の冗長化グループに属する非アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、に前記書き込み要求にかかるデータを書き込んで二重化し、前記上位装置に書き込み完了の応答を行い、前記キャッシュメモリに書き込まれたデータを冗長化して前記記憶装置に格納する。
また、冗長化グループを構成する複数の制御ソフトウェアが複数のストレージノードに分散配置された記憶システムにおけるデータ処理方法であって、前記冗長化グループを構成する複数の前記制御ソフトウェアのうち、アクティブ状態の制御ソフトウェアが上位装置からの書き込み要求を受け付けるステップと、前記アクティブ状態の制御ソフトウェアが、前記アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、同一の冗長化グループに属する非アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、に前記書き込み要求にかかるデータを書き込んで二重化するステップと、前記アクティブ状態の制御ソフトウェアが、前記上位装置に書き込み完了の応答を行い、前記キャッシュメモリに書き込まれたデータを冗長化して記憶装置に格納するステップとを含む。

【発明の効果】

【0006】

本発明によれば、ホスト応答性能を向上することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0007】

【図1】第１の実施の形態によるストレージシステムの全体を示すシステム構成図。

【図2】ストレージノードの物理構成の一例を示す図。

【図3】ストレージノードの論理構成の一例を示す図。

【図4】データ保護制御部が管理する記憶領域の一例を示す図。

【図5】本発明の概要を説明する図。

【図6】不揮発メモリの構成図の一例。

【図7】ソフトウェアモジュール構造の一例を示す図。

【図8】キャッシュディレクトリの一例を示す図。

【図9】ストレージ制御部管理テーブルの一例。

【図10】リード処理を示すフローチャート。

【図11】ライト処理を示すフローチャート。

【図12】非同期デステージ処理のフローチャート。

【図13】フェイルオーバー処理のフローチャート。

【図14】ステージング処理のフローチャート。

【図15】デステージ処理のフローチャート。

【図16】第２の実施例のソフトウェアモジュール図。

【図17】第２の実施例における不揮発メモリ構成図。

【発明を実施するための形態】

【0008】

以下、図面を参照し、本発明の一実施の形態を詳述する。本実施の形態は、例えば、１以上のＳＤＳが実装された複数のストレージノードを備えるストレージシステムに関するものである。

【実施例0009】

（１）第１の実施の形態
（１－１）本実施の形態によるストレージシステムの構成
図１は、第１の実施の形態によるストレージシステムの全体を示すシステム構成図である。
図１に示したストレージシステム１００は、例えば、複数のホスト装置１０１（Host）と、複数のストレージノード１０３（Storage Node）と、管理ノード１０４（Management Node）とを備える。ホスト装置１０１とストレージノード１０３と管理ノード１０４とは、ファイバーチャネル（Fibre Channel）、イーサネット（登録商標）、ＬＡＮ（Local Area Network）等から構成されるネットワーク１０２を介して相互に接続される。

【0010】

ホスト装置１０１は、ユーザ操作、実装されたアプリケーションプログラム等からの要求に応じて、ストレージノード１０３に対してリード要求またはライト要求（以下、適宜、これらをまとめてＩ／Ｏ（Input/Output）要求と呼ぶ）を送信する汎用のコンピュータ装置である。なお、ホスト装置１０１は、仮想マシンのような仮想的なコンピュータ装置であってもよい。

【0011】

ストレージノード１０３は、データを読み書きするための記憶領域をホスト装置１０１に対して提供するコンピュータ装置である。ストレージノード１０３は、例えば、汎用のサーバ装置である。

【0012】

管理ノード１０４は、システム管理者が本ストレージシステム１００全体を管理するために利用するコンピュータ装置である。管理ノード１０４は、複数のストレージノード１０３をクラスタと呼ぶグループとして管理する。なお、図１では、クラスタが１つのみ設けられた例を示しているが、ストレージシステム１００内に複数のクラスタを設けるようにしてもよい。

【0013】

図２は、ストレージノード１０３の物理構成の一例を示す図である。
ストレージノード１０３は、ＣＰＵ（Central Processing Unit）１０３１、揮発性メモリ１０３２（Volatile Memory）、不揮発メモリ(Non-Volatile Memory)１０３５、複数の記憶デバイス１０３３(Drive）および通信装置１０３４（NIC：Network Interface Card）を備える。

【0014】

ＣＰＵ１０３１は、ストレージノード全体の動作制御を司るプロセッサである。揮発性メモリ１０３２は、ＳＲＡＭ（Static RAM(Random Access Memory)）、ＤＲＡＭ（Dynamic RAM）等の揮発性の半導体メモリから構成される。不揮発メモリ１０３５は、NVRAM(Non-Volatile RAM)、NAND型フラッシュメモリ等から構成される。揮発性メモリ１０３２および不揮発メモリ１０３５は、各種のプログラム、必要なデータを一時的に保持するために利用される。揮発性メモリ１０３２および不揮発メモリ１０３５に格納されたプログラムをＣＰＵ１０３１が実行することにより、後述のようなストレージノード１０３全体としての各種の処理が実行される。

【0015】

記憶デバイス１０３３は、ＳＳＤ（Solid State Drive）、ＳＡＳ（Serial Attached SCSI(Small Computer System Interface)）ハードディスクドライブ、ＳＡＴＡ（Serial
ATA(Advanced Technology Attachment)）ハードディスクドライブ等の１または複数種類の大容量の不揮発性の記憶装置から構成される。記憶デバイス１０３３は、ホスト装置１０１からのＩ／Ｏ要求に応じてデータをリードまたはライトするための物理的な記憶領域を提供する。

【0016】

通信装置１０３４は、ストレージノード１０３がネットワーク１０２を介してホスト装置１０１、他のストレージノード１０３または管理ノード１０４と通信を行うためのインターフェースである。通信装置１０３４は、例えば、ＮＩＣ、ＦＣカード等から構成される。通信装置１０３４は、ホスト装置１０１、他のストレージノード１０３または管理ノード１０４との通信時におけるプロトコル制御を行う。

【0017】

図３は、ストレージノード１０３の論理構成の一例を示す図である。
ストレージノード１０３は、フロントエンドドライバ１０８１（Front-end driver）と、バックエンドドライバ１０８７（Back-end driver）と、１または複数のストレージ制御部１０８３（Storage Controller）と、データ保護制御部１０８６（Data Protection Controller）と、を備える。

【0018】

フロントエンドドライバ１０８１は、通信装置１０３４を制御し、ストレージ制御部１０８３に対してホスト装置１０１、他のストレージノード１０３または管理ノード１０４との通信時における抽象化したインターフェースをＣＰＵ１０３１に提供する機能を有するソフトウェアである。

【0019】

バックエンドドライバ１０８７は、自ストレージノード１０３内の各記憶デバイス１０３３を制御し、各記憶デバイス１０３３との通信時における抽象化したインターフェースをＣＰＵ１０３１に提供する機能を有するソフトウェアである。

【0020】

ストレージ制御部１０８３は、ＳＤＳのコントローラとして機能するソフトウェアである。ストレージ制御部１０８３は、ホスト装置１０１からのＩ／Ｏ要求を受け付け、当該Ｉ／Ｏ要求に応じたＩ／Ｏコマンドをデータ保護制御部１０８６に発行する。また、ストレージ制御部１０８３は、論理ボリューム構成機能を有する。論理ボリューム構成機能は、データ保護制御部が構成した論理チャンクとホストに提供する論理ボリュームを対応付ける。例えばストレートマッピング（論理チャンクと論理ボリュームを１：１で対応付け、論理チャンクのアドレスと論理ボリュームのアドレスを同じとする）方式でも良いし、仮想ボリューム機能（ＴｈｉｎＰｒｏｖｉｓｉｏｎｉｎｇ）方式（論理ボリュームと論理チャンクを小サイズの領域（ページ）に分け、ページ単位で論理ボリュームと論理チャンクのアドレス同士を対応付ける方式）を採っても良い。
本実施の形態の場合、ストレージノード１０３に実装された各ストレージ制御部１０８３は、別のストレージノード１０３に配置された他のストレージ制御部１０８３と共に冗長構成を構成するペアとして管理される。以下においては、このペアをストレージ制御部グループ１０８５と呼ぶものとする。

【0021】

なお、図３では、２つのストレージ制御部１０８３により１つのストレージ制御部グループ１０８５が構成される場合を示している。以下においても、２つのストレージ制御部１０８３によりストレージ制御部グループ１０８５が構成されるものとして説明を進めるが、３つ以上のストレージ制御部１０８３により１つの冗長構成を構成するようにしてもよい。

【0022】

ストレージ制御部グループ１０８５では、一方のストレージ制御部１０８３がホスト装置１０１からのＩ／Ｏ要求を受け付けることができる状態（現用系の状態であり、以下、アクティブモードと呼ぶ）に設定される。また、ストレージ制御部グループ１０８５では、他方のストレージ制御部１０８３がホスト装置１０１からのＩ／Ｏ要求を受け付けない状態（待機系の状態であり、以下、スタンバイモードと呼ぶ）に設定される。

【0023】

そして、ストレージ制御部グループ１０８５では、アクティブモードに設定されたストレージ制御部１０８３（以下、アクティブストレージ制御部と呼ぶ）、アクティブストレージ制御部が配置されたストレージノード１０３に障害が発生した場合等に、それまでスタンバイモードに設定されていたストレージ制御部１０８３（以下、スタンバイストレージ制御部と呼ぶ）の状態がアクティブモードに切り替えられる。これにより、アクティブストレージ制御部が稼働し得なくなった場合に、当該アクティブストレージ制御部が実行していたＩ／Ｏ処理を、スタンバイストレージ制御部により引き継ぐことができる。

【0024】

データ保護制御部１０８６は、各ストレージ制御部グループ１０８５に対して自ストレージノード１０３内または他のストレージノード１０３内の記憶デバイス１０３３が提供する物理的な記憶領域を割り当てると共に、ストレージ制御部１０８３から与えられる上述のＩ／Ｏコマンドに従って、指定されたデータを対応する記憶デバイス１０３３にリードまたはライトする機能を有するソフトウェアである。

【0025】

この場合、データ保護制御部１０８６は、ストレージ制御部グループ１０８５に対して他のストレージノード１０３内の記憶デバイス１０３３が提供する物理的な記憶領域を割り当てたときには、当該他のストレージノード１０３に実装されたデータ保護制御部１０８６と協働して、そのデータ保護制御部１０８６との間でネットワーク１０２を介してデータをやり取りすることにより、そのストレージ制御部グループ１０８５のアクティブストレージ制御部から与えられたＩ／Ｏコマンドに従ってそのデータをその記憶領域にリードまたはライトする。

【0026】

図４は、データ保護制御部１０８６が管理する記憶領域の一例を示す図である。
データ保護制御部１０８６は、図４に示すように、各ストレージノード１０３内の記憶デバイス１０３３がそれぞれ提供する物理的な記憶領域を、それぞれ所定大きさの物理記憶領域１０９２（以下、物理チャンクと呼ぶ）に分割して管理する。

【0027】

また、データ保護制御部１０８６は、各ストレージ制御部グループ１０８５に対してそれぞれ専用のプールを対応付け、これらプールに物理チャンクと同じ大きさの論理的な記憶領域である論理記憶領域１０９１（以下、論理チャンク）を適宜割り当て、論理チャンクに対して１または複数の物理チャンクを対応付ける。

【0028】

さらに、各ストレージ制御部グループ１０８５のプール上には、１または複数の仮想的な論理ボリューム（以下、仮想ボリュームまたはボリュームと呼ぶ）が定義され、これらの仮想ボリュームがホスト装置１０１にホストボリュームとして提供される。

【0029】

ホスト装置１０１は、かかる仮想ボリュームにデータをライトする場合、データのライト先の仮想ボリューム（以下、ライト対象ボリュームと呼ぶ）の識別子（ＬＵＮ（Logical Number Unit））と、当該ライト対象ボリュームにおける当該データのライト先の記憶領域（以下、ライト先記憶領域と呼ぶ）とを指定したライト要求を、対応するクラスタ内のいずれかのストレージノード１０３に送信する。

【0030】

ライト要求を受信したストレージノード１０３のフロントエンドドライバ１０８１は、受信したライト要求において指定されたライト対象ボリュームとプールとを介して対応付けられたストレージ制御部グループ１０８５のアクティブストレージ制御部またはスタンバイストレージ制御部が配置されている各ストレージノード１０３のフロントエンドドライバ１０８１に当該ライト要求、および、当該ライト要求と共にホスト装置１０１から送信されてきたライト対象のデータ（以下、ライトデータと呼ぶ）を転送する。

【0031】

また、ライト要求およびライトデータを受領したストレージノード１０３のフロントエンドドライバ１０８１は、ライト要求およびライトデータを、ライト要求において指定されたライト対象ボリュームとプールとを介して対応付けられたストレージ制御部グループ１０８５のストレージ制御部１０８３に引き渡す。

【0032】

そして、ライト要求およびライトデータが引き渡されたストレージ制御部１０８３のうちのアクティブストレージ制御部は、ライト対象ボリューム内のライト先記憶領域に対して、当該ライト対象ボリュームと対応付けられたプールを構成する論理チャンクから必要に応じて記憶領域（以下、論理領域と呼ぶ）を割り当てる。

【0033】

また、アクティブストレージ制御部は、ライト要求において指定されたライト対象ボリューム内のライト先記憶領域のアドレスを、当該ライト先記憶領域に論理領域を割り当てた論理チャンクのチャンク番号と、当該論理領域のオフセット位置とに変換したＩ／Ｏコマンド（ライトコマンド）を生成し、生成したＩ／Ｏコマンドをライトデータと共に自ストレージノード１０３内のデータ保護制御部１０８６に送信する。

【0034】

データ保護制御部１０８６は、Ｉ／Ｏコマンドおよびライトデータを受信すると、当該Ｉ／Ｏコマンドで指定された論理チャンクに対応付けた各物理チャンクをそれぞれ提供する各記憶デバイス１０３３内のかかるオフセット位置の記憶領域にデータをそれぞれ格納する。

【0035】

このようにしてストレージシステム１００では、ホスト装置１０１からのデータが対応する論理チャンクに対応付けられた複数の物理チャンクに冗長化されて格納される。このため、論理チャンクに割り当てられる物理チャンクの数は、ストレージシステム１００における冗長化方式の設定内容によって決定される。

【0036】

例えば、データを二重化して記憶する設定の場合には、１つの論理チャンクに対して２つの物理チャンクが対応付けられ、データを三重化以上に多重化して記憶する設定の場合、ＥＣ（Erasure-Coding）のようにデータから冗長化データを作成して記憶する設定がなされている場合等には、３つ以上の必要な数の物理チャンクが１つの論理チャンクに対応付けられる。

【0037】

一方、ホスト装置１０１は、仮想ボリュームからデータを読み出す場合、当該仮想ボリューム（以下、リード対象ボリュームと呼ぶ）のＬＵＮと、当該リード対象ボリュームにおけるそのデータのリード先の記憶領域（以下、リード先領域と呼ぶ）とを指定したリード要求を当該リード対象ボリュームが含まれるクラスタ内のいずれかのストレージノード１０３に送信する。

【0038】

リード要求を受信したストレージノード１０３のフロントエンドドライバ１０８１は、受信したリード要求において指定されたリード対象ボリュームとプールとを介して対応付けられたストレージ制御部グループ１０８５のアクティブストレージ制御部またはスタンバイストレージ制御部が配置された各ストレージノード１０３にリード要求をそれぞれ転送する。

【0039】

また、リード要求を受領したストレージノード１０３のフロントエンドドライバ１０８１は、リード要求を当該リード要求において指定されたリード対象ボリュームとプールとを介して対応付けられたストレージ制御部グループ１０８５のストレージ制御部１０８３に引き渡す。

【0040】

リード要求が引き渡されたストレージ制御部１０８３のうちのアクティブストレージ制御部は、リード対象ボリューム内のリード先領域のアドレスを、当該リード先領域に論理領域を割り当てた論理チャンクのチャンク番号と、当該論理領域のオフセット位置とに変換したＩ／Ｏコマンド（リードコマンド）を生成し、生成したＩ／Ｏコマンドを自ストレージノード１０３内のデータ保護制御部１０８６に送信する。

【0041】

データ保護制御部１０８６は、Ｉ／Ｏコマンドを受信すると、当該Ｉ／Ｏコマンドで指定された論理チャンクと対応付けられた各物理チャンクのうち、「マスタ」に設定された物理チャンク内のＩ／Ｏコマンドで指定されたオフセット位置の記憶領域からデータを読み出し、読み出したデータをリードデータとしてＩ／Ｏコマンドの送信元のアクティブストレージ制御部に転送する。リードデータは、この後、アクティブストレージ制御部によりネットワーク１０２を介してリード要求の送信元のホスト装置１０１に転送される。

【0042】

（１－２）論理チャンクに対する物理チャンクの割当て
上述のように１つの論理チャンクに複数の物理チャンクを対応付け、物理チャンクにデータをそれぞれ格納することによりデータを冗長化する冗長化方式を採用する場合、データ保護の観点からも、１つの論理チャンクに対応付ける複数の物理チャンクをそれぞれ異なるストレージノード１０３が提供する物理チャンクから選択することが望ましい。これは、例えば、１つの論理チャンクに対して同じストレージノード１０３内の複数の物理チャンクを対応付けた場合、当該ストレージノード１０３が障害等によりデータの読み出しを行えなくなったときにデータロストが発生することになるからである。

【0043】

そこで、本ストレージシステム１００では、データ保護制御部１０８６がストレージ制御部グループ１０８５に論理チャンクを割り当て、当該論理チャンクに複数の物理チャンクを対応付ける際に、複数の物理チャンクをそれぞれ互いに異なる複数のストレージノード１０３が提供する物理チャンクの中から選択することとしている。

【0044】

（１－３）ライトコマンドの処理
図５は、本発明の概要を説明する図である。図中の矢印はホストからのライトＩＯに対するデータの流れと、それがホストＩＯ同期で行われるか否かを示している。ホストＩＯ同期とは、ホストのライトコマンドに対する成功応答を返す前にその処理が行われることを意味する。ホストＩＯ非同期とはその逆に、ホストのライトコマンドに対する成功応答を返した後で行われることを意味する。

【0045】

ホストから書き込まれたデータは、各ストレージノードのフロントエンドドライバを介してActiveなストレージ制御部に受け渡される(図ではフロントエンドドライバ及びバックエンドドライバは省略)。この図ではストレージ制御部グループ１に属するActiveなストレージ制御部に渡される。ストレージ制御部はライト処理を実行し、ストレージ制御部グループ１に属するActiveモードのストレージ制御部と、Standbyモードのストレージ制御部が属するノードにそれぞれ対応して配置された不揮発メモリ上のキャッシュエリア１に書き込まれたデータを二重化(Mirroring)して格納し、ホストにライトコマンドに対する成功応答を返す。

【0046】

ホストに成功応答を返した後、ストレージ制御部はデータ保護制御の非同期デステージ処理を呼び出し、キャッシュエリア上のデータをデータ保護制御部に渡す。データ保護制御部は、ミラーリングまたはＥＣを用いてデータをノード間で冗長化して格納する。

【0047】

（１－４）メモリとデータ
図６は、不揮発メモリの構成図の一例である。不揮発メモリ内には、キャッシュエリアとキャッシュディレクトリが配置される。キャッシュエリアは、ホストから書き込まれたデータやホストへ読みだすためのデータを格納する。キャッシュディレクトリはキャッシュエリアを管理するための情報であり、細分化されたキャッシュエリアの部分領域（これをキャッシュセグメントと呼ぶ）それぞれについて、対応する論理ボリュームのアドレスを記録している。詳細を図８で説明する。

【0048】

キャッシュディレクトリおよびキャッシュエリアは、同じノードに配置されているストレージ制御部１０８３と対応する形で同数存在しており、例えばストレージ制御部グループ１に対応づくキャッシュディレクトリはキャッシュディレクトリ１、ストレージ制御部グループ１に対応づくキャッシュエリアはキャッシュエリア１とし、ストレージ制御部グループ２に対応づくキャッシュディレクトリはキャッシュディレクトリ２、ストレージ制御部グループ２に対応づくキャッシュエリアはキャッシュエリア２とする。

【0049】

同じストレージ制御部グループに属するストレージ制御部にそれぞれ対応するキャッシュエリアには、同じキャッシュデータが格納され、それを管理するキャッシュディレクトリにも同じ情報が格納される（ミラーリング）。このミラーリング処理は後述するライト処理の中で行われる。

【0050】

図７は、ストレージ制御部１０８３、データ保護制御部１０８６のソフトウェアモジュール構造の一例を示す図である。
ストレージ制御部１０８３は、リード処理およびライト処理、非同期デステージ処理、ＳＣフェイルオーバー処理を実行する。

【0051】

リード処理は、フロントエンドドライバから受け取ったリードコマンドに応じてリード対象データをキャッシュエリアまたは記憶デバイスから読みだす処理である。記憶デバイスからの読出しをステージングと呼び、データ保護制御部のステージング処理を呼び出すことによって行う。

【0052】

ライト処理は、フロントエンドドライバから受け取ったライトコマンドに応じてライト対象データをキャッシュエリアまたは記憶デバイスに書き込む処理である。記憶デバイスへの書き込みをデステージと呼び、データ保護制御部のデステージ処理を呼び出すことによって行う。
非同期デステージ処理は、キャッシュエリアから記憶デバイスへデータを書き込む処理である。

【0053】

ＳＣフェイルオーバー処理は、システム内のストレージノードに障害が起きた際に実行され、ストレージ制御部グループ内のストレージ制御部の中でStandbyモードのものがActiveモードに遷移し、障害が起きたストレージノードで実行されていたActiveモードのストレージ制御部の構成やキャッシュエリアを引き継ぐ処理である。

【0054】

データ保護制御部１０８６はステージング処理、デステージ処理を備える。それぞれの処理の詳細については後述する。

【0055】

以下、制御情報について説明する。図８～図９に示すテーブルは、制御情報の一例である。
図８は、キャッシュディレクトリの一例を示す図である。キャッシュディレクトリはキャッシュエリアを細分化した領域(キャッシュセグメント)の管理情報であり、キャッシュセグメントそれぞれに対応するエントリを持つ。
各エントリには、キャッシュアドレス、論理ボリューム番号、論理ボリュームアドレス、属性エントリがある。キャッシュアドレスは各エントリが対応するキャッシュセグメントのメモリ上のアドレスを指し、論理ボリューム番号と論理ボリュームアドレスは、当該キャッシュセグメントに格納されているデータが、どの論理ボリュームのどのアドレスのものであるかを指し示す。キャッシュセグメントにデータが格納されていない場合は値無しを示す「-」が格納される。キャッシュセグメントにデータが格納されている場合、属性フィールドにDirtyまたはCleanの値を持つ。Dirtyとは、当該データがまだデステージされておらず、記憶デバイスに書き込まれていないことを示し、Cleanは当該データがデステージ済であり記憶デバイスに書き込まれた値と一致することを示す。

【0056】

図９は、ストレージ制御部管理テーブルの一例である。本実施例ではストレージ制御部管理テーブルは揮発性メモリに格納されているが、不揮発メモリに格納しても良いし、記憶デバイスに格納しても良く、または記憶デバイス上に格納した上でそのコピーを揮発性メモリに保持する形態もとりうる。
ストレージ制御部管理テーブルはストレージ制御部グループのそれぞれに対応するエントリを持ち、各エントリはストレージ制御部グループ番号、アクティブ配置先ノード番号、スタンバイ配置先ノード番号、のエントリを持つ。ストレージ制御部グループ番号は各ストレージ制御部グループを一意に識別するための番号を保持し、アクティブ配置先ノード番号とスタンバイ配置先ノード番号は同グループに属するストレージ制御部のうちアクティブモードのものとスタンバイモードのものをどのノードに配置しているかを示す。

【0057】

（１－５）動作の説明
図１０はリード処理を示すフローチャートの例である。リード処理はストレージ制御部が実行する。ストレージ制御部は、まずフロントエンドドライバを介してホストから送信されたリードコマンドを受け取り、これを解釈してリード対象の論理ボリューム番号と論理ボリュームアドレスを得る（ステップＳ１０１）。次に、キャッシュヒットかどうかを判定する（ステップＳ１０２）。具体的には、ストレージ制御部は、キャッシュディレクトリを参照し、キャッシュディレクトリに当該論理ボリューム番号と論理ボリュームアドレスに対応するエントリを探し、ある場合は(ヒット)、当該エントリからキャッシュアドレスを参照し、分岐をＹｅｓに進んでキャッシュエリアからデータをリードして（ステップＳ１０７）、ホストにデータを応答する（ステップＳ１０８）。

【0058】

キャッシュディレクトリに当該論理ボリューム番号と論理ボリュームアドレスに対応するエントリが無い場合(ミス)、分岐をＮｏへ進み、当該論理ボリューム/アドレスに対応する論理チャンク番号/論理チャンクアドレスを算出する（ステップＳ１０３）。そうして算出された論理チャンク番号/論理チャンクアドレスをパラメタとしてステージング処理を呼び出す（ステップＳ１０４）。ステージング処理はデータ保護制御部によって実行される処理であり、その詳細は図１４にて説明するが、その実行結果として記憶デバイスから当該論理ボリューム番号/論理ボリュームアドレスに対応するデータが読みだされる。ストレージ制御部は、読みだしたデータをキャッシュ格納すべきか否かの判定を行い（ステップＳ１０５）、格納すべきと判定された場合はキャッシュに格納し（ステップＳ１０６）、キャッシュヒットした場合と同様にキャッシュからデータをリードする（ステップＳ１０７）。格納すべきでないと判断された場合はキャッシュエリアには格納せずにホストにデータを応答する（ステップＳ１０８）。

【0059】

キャッシュに格納すべきか否かの判定条件としては、例えば、キャッシュヒット率を集計しておき、キャッシュヒット率が低い場合はキャッシュに格納しない、という判定条件が挙げられる。

【0060】

なお、リード処理でキャッシュに格納したデータは、スタンバイのストレージに送って二重化してもよい。リード処理時もキャッシュデータの二重化を行うことで、アクティブとスタンバイでキャッシュメモリの内容を一致させることができる。一方で、ストレージノード間の通信負荷を抑制するのであれば、リード処理でキャッシュに格納したデータは二重化しないこととすればよい。

【0061】

図１１はライト処理を示すフローチャートの例である。ライト処理はストレージ制御部が実行する。ストレージ制御部は、まずフロントエンドドライバを介してホストから送信されたライトコマンドを受け取り、これを解釈してライト対象の論理ボリューム番号と論理ボリュームアドレスを得る（ステップＳ２０１）。次に、キャッシュヒットかどうかを判定する（ステップＳ２０２）。具体的には、キャッシュディレクトリを参照し、キャッシュディレクトリに当該論理ボリューム番号と論理ボリュームアドレスに対応するエントリを探し、ある場合は(ヒット)、当該エントリからキャッシュアドレスを参照し、分岐をＹｅｓに進む。次に同じストレージ制御部グループと対応づくキャッシュエリア ( ActiveとStandbyのそれぞれのストレージ制御部と同じノードにある) にデータをそれぞれ格納する（ステップＳ２０７，ステップＳ２０８）。次にそれぞれに対応するキャッシュディレクトリにおいて、当該キャッシュセグメントに対応するエントリの属性をダーティに更新する（ステップＳ２０９，ステップＳ２１０）。そしてホストにライト成功を応答する（ステップＳ２１１）。

【0062】

キャッシュミスの場合は分岐をＮｏに進み、ライトスルー条件を満たすか否かの判定を行い、満たさない場合は分岐をＮｏに進んでキャッシュセグメントを確保し、以降はヒットした場合と同様にステップＳ２０７～Ｓ２１１の処理を行う。すなわち、ライトスルー条件が満たさない場合には、キャッシュメモリのデータの二重化を行ってから書き込み完了の応答を行うライトバック処理が行われる。

【0063】

ライトスルー条件を満たした場合は一時バッファにデータを格納して（ステップＳ２０５）、後述するデステージ処理を呼び出す。デステージ処理の完了後にホストにライト成功を応答する。

【0064】

このように、ライトスルー条件を満たしたときは、スタンバイとの間でキャッシュデータの二重化を行わず、アクティブ状態の制御ソフトウェアが配置されたストレージノードの記憶装置と、同一の冗長化グループに属するスタンバイ（非アクティブ）状態の制御ソフトウェアが配置された記憶装置に書き込みを行って、書き込み完了の応答を行うライトスルー処理を行うことになる。
この結果、ライトスルー条件を満たした場合には、ホストへの応答は遅くなるが、ストレージノード間のネットワーク負荷を下げることができる。

【0065】

ライトスルー条件としては、例えば次のような条件を用いることができる。
「ストレージノード間の通信負荷が閾値を超える」、
「書き込み要求に係るデータサイズが閾値を超える」、
「アクティブ状態の制御ソフトウェアを実行するプロセッサの負荷が閾値を超える」、
「連続した書き込み要求を受け付けた」。
これらの条件は、単独で用いてもよいし、組み合わせて用いてもよい。また、例示以外の条件を採用することを妨げるものではなく、任意の条件を設定することができる。

【0066】

図１２は非同期デステージ処理のフローチャートである。非同期デステージ処理は、キャッシュディレクトリから属性が「ダーティ」であるエントリを探し（ステップＳ３０１）、このようなエントリが無ければ（ステップＳ３０２；Ｎｏ）、そのまま処理を終了する。ダーティであるようなエントリがあれば（ステップＳ３０２；Ｙｅｓ）、そのキャッシュセグメントを対象にデステージ処理を実行し（ステップＳ３０３）、完了したらキャッシュディレクトリから当該エントリを削除する（ステップＳ３０４）。この削除は同じストレージ制御部グループに対応づくActiveキャッシュディレクトリ、Standbyキャッシュディレクトリの双方に対して行う。

【0067】

図１３はフェイルオーバー処理のフローチャートである。この処理はストレージノードが障害を起こした場合、当該ノードにActiveモードのストレージ制御部を持つストレージ制御部グループのStandbyモードのストレージ制御部で実行される。まず、該当のストレージ制御部は、管理ノード１０４からActiveモードへの切替を求める指示を受信する（ステップＳ４０１）。ストレージ制御部は、自ストレージ制御部が設置されているストレージノードのキャッシュを有効にし（ステップＳ４０２）、自ストレージ制御部のモードをStandbyからActiveに変更し、ストレージ制御部管理テーブルを書き換える（ステップＳ４０３）。

【0068】

図１４はステージング処理のフローチャートである。ストレージ制御部から渡されたステージング要求を解釈し、リード対象の論理チャンク番号と論理チャンクアドレスを得る（ステップＳ５０１）。当該論理チャンクのマスター物理チャンクが格納された記憶デバイスに障害があるかどうかを判定し（ステップＳ５０２）、障害が無ければ（ステップＳ５０２；Ｎｏ）、当該物理チャンクが格納されたドライブからデータをリードする（ステップＳ５０４）。障害がある場合は（ステップＳ５０２；Ｙｅｓ）、当該論理チャンクを構成する他の物理チャンクから冗長データをリードし（ステップＳ５０３）、データを復元してドライブリードする（ステップＳ５０４）。ここでは、ＥＣによる保護の場合を示したが、復元方法はデータ保護制御部で行っているデータ保護の方式に依存する。例えば、ミラーリングによる保護の場合はミラー物理チャンクからリードすればよい。その後、いずれかの方法によりリードしたデータを呼び出し元であるストレージ制御部に応答する（ステップＳ５０５）。

【0069】

図１５はデステージ処理のフローチャートである。データ保護制御部は、ストレージ制御部から渡されたデステージ要求を解釈し（ステップＳ６０１）、ライト対象の論理チャンク番号と論理チャンクアドレスを得る。データ保護制御部は、ミラーリングまたはECによりデータを冗長化して記憶デバイスへ格納し（ステップＳ６０２）、成功を応答する（ステップＳ６０３）。

【実施例0070】

（１）第２の実施の形態
次に、第２の実施例を説明する。第１の実施例と異なる点は、第２の実施例では、ストレージ制御部グループを構成するストレージ制御部が３つあり、３つの互いに異なるストレージノードに配置されることである。

【0071】

図１６は第２の実施例のソフトウェアモジュール図を示している。各ストレージノードにストレージ制御部が３つずつ配置され、ストレージ制御部グループは３つのノードに配置されたストレージ制御部からなる。一つのストレージ制御部グループは、Activeモード、Standby1モード、Standby2モードのストレージ制御部から構成される。Standbyが２つあることにより、２つのストレージノードが障害を起こしても、ストレージ制御部グループ内に必ず一つは無事なストレージ制御部が残るためデータへのアクセスを継続することができる。

【0072】

図１７は第２の実施例における不揮発メモリ構成図の一例である。ストレージ制御部の３重化にあわせて、不揮発メモリ上のキャッシュディレクトリおよびキャッシュエリアも３重化される。

【0073】

上述してきたように、開示の実施例に係るストレージシステムは、複数のストレージノードと、それぞれ記憶領域を提供する１又は複数の記憶装置と、を有する記憶システムであって、前記ストレージノードは、上位装置からの要求に応じて、要求されたデータを対応する前記記憶装置に読み書きする１又は複数の制御ソフトウェアと、前記読み書きに係るキャッシュデータを保持するキャッシュメモリとを備え、複数の前記制御ソフトウェアが冗長化グループを構成して、同一の前記冗長化グループに属する各前記制御ソフトウェアは、それぞれ異なる前記ストレージノードに配置され、前記冗長化グループを構成する複数の前記制御ソフトウェアのうち、前記上位装置からの要求を処理するアクティブ状態の制御ソフトウェアは、書き込み要求を受け付けた場合に、アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、同一の冗長化グループに属する非アクティブ状態の制御ソフトウェアが配置されたストレージノードのキャッシュメモリと、に前記書き込み要求にかかるデータを書き込んで二重化し、前記上位装置に書き込み完了の応答を行い、前記キャッシュメモリに書き込まれたデータを冗長化して前記記憶装置に格納することを特徴とする。
かかる構成及び動作によれば、キャッシュへの書込みによりホストに成功を応答し、キャッシュから記憶装置への書き込みは、ホストI/Oとは非同期に行うことができるので、応答性能を向上することができる。
また、キャッシュを二重化することで、ホスト応答性能を向上と信頼性の高さを兼ね備えることができる。

【0074】

また、開示の実施例によれば、前記アクティブ状態の制御ソフトウェアは、所定の条件が満たされない場合には、前記キャッシュメモリのデータの二重化を行ってから前記書き込み完了の応答を行うライトバック処理を行い、所定の条件が満たされるときには、前記アクティブ状態の制御ソフトウェアが配置されたストレージノードの記憶装置に書き込みを行って、前記上位装置に書き込み完了の応答を行うライトスルー処理を行う。
このため、キャッシュの二重化と記憶装置への書込みの双方が発生することでネットワークの負荷が過度に大きくなる事態を防止できる。

【0075】

また、開示の実施例によれば、前記アクティブ状態の制御ソフトウェアは、ストレージノード間の通信負荷が閾値を超えることを前記所定の条件として用いることができる。
かかる条件を用いれば、通信負荷を直接的なフィードバック制御により抑制できる。

【0076】

また、前記アクティブ状態の制御ソフトウェアは、前記書き込み要求に係るデータサイズが閾値を超えることを前記所定の条件として用いることができる。
かかる条件を用いれば、データサイズからネットワークの負荷を事前に予測した制御が可能である。

【0077】

また、前記アクティブ状態の制御ソフトウェアを実行するプロセッサの負荷が閾値を超えることを前記所定の条件として用いることができる。
かかる条件では、ネットワークの負荷を示す指標として、システム全体の負荷を利用するため、ネットワークの負荷をフィードバックする場合に比べ、負荷の振動を引き起こすことなく、安定した制御が可能であり、プロセッサ自体の負荷制御自体にも効果がある。

【0078】

また、前記アクティブ状態の制御ソフトウェアは、連続した書き込み要求を受け付けたことを前記所定の条件として用いることができる。
かかる条件を用いれば、キャッシュの二重化と記憶装置への書込みが同時に発生する事態を予測した制御が可能である。

【0079】

また、前記冗長化グループは、非アクティブ状態の制御ソフトウェアを２以上含む構成としてもよい。
また、前記記憶装置に格納されたデータは、冗長化されて格納化されることにより、前記アクティブ状態の制御ソフトウェア及び前記非アクティブ状態の制御ソフトウェアが利用可能であり、前記非アクティブ状態の制御ソフトウェアがアクティブ状態に切り替わった場合には、前記記憶装置に格納されたデータと、当該制御ソフトウェアが設置されたストレージノードのキャッシュメモリに二重化して格納されていたキャッシュデータを、以降の要求の処理に用いることができる。すなわち、ストレージノードの障害時には、当該ストレージノードに配置された制御ソフトは、それが属する冗長化グループ内の別の制御ソフトに処理を引き継ぐが、この際、同じノードに冗長化された不揮発メモリ上のキャッシュを引き継ぐことにより、ストレージノード障害時にもデータを失わない。

【0080】

なお、本発明は上述の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

【0081】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。