知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023085874
(43)【公開日】2023-06-21
(54)【発明の名称】ストレージシステムおよびデータ管理方法
(51)【国際特許分類】
G06F 16/13 20190101AFI20230614BHJP
G06F 16/17 20190101ALI20230614BHJP
【ＦＩ】
G06F16/13 100
G06F16/17
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021200165
(22)【出願日】2021-12-09
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】小川 周吾
(72)【発明者】
【氏名】達見 良介
(72)【発明者】
【氏名】大平 良徳
(72)【発明者】
【氏名】江原 寛人
(72)【発明者】
【氏名】小川 純司
(57)【要約】 （修正有）
【課題】マッピング情報を適切に管理するストレージシステム及びデータ管理方法を提供する。
【解決手段】ストレージシステムにおいて、第１のコントローラは、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理する。第２のコントローラはガベージコレクション時に自身のマッピング情報を変更する。第１のコントローラは、ガベージコレクション後に所定の記憶領域のデータに第２のマッピング情報を用いてアクセスする際、第２のマッピング情報のうち、アクセスに使用する情報が更新されている場合、第２のコントローラからマッピング情報を取得し第２のマッピング情報を更新する。
【選択図】図５
【解決手段】ストレージシステムにおいて、第１のコントローラは、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理する。第２のコントローラはガベージコレクション時に自身のマッピング情報を変更する。第１のコントローラは、ガベージコレクション後に所定の記憶領域のデータに第２のマッピング情報を用いてアクセスする際、第２のマッピング情報のうち、アクセスに使用する情報が更新されている場合、第２のコントローラからマッピング情報を取得し第２のマッピング情報を更新する。
【選択図】図５
【特許請求の範囲】
【請求項1】
複数のコントローラと、前記複数のコントローラがアクセスする記憶装置と、を備え、前記記憶装置の記憶領域に対するデータの管理が前記複数のコントローラの何れかのコントローラに割り当てられているストレージシステムであって、
第１のコントローラは、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理し、
前記第２のコントローラは、前記所定の記憶領域についてガベージコレクションを実施した場合、前記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、前記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更し、
前記第１のコントローラは、前記ガベージコレクション後に前記所定の記憶領域のデータに前記第２のマッピング情報を用いてアクセスする際、前記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新する、
ストレージシステム。
第１のコントローラは、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理し、
前記第２のコントローラは、前記所定の記憶領域についてガベージコレクションを実施した場合、前記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、前記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更し、
前記第１のコントローラは、前記ガベージコレクション後に前記所定の記憶領域のデータに前記第２のマッピング情報を用いてアクセスする際、前記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新する、
ストレージシステム。
【請求項2】
前記記憶装置は、前記所定の記憶領域のデータの読み出し要求と、前記第２のマッピング情報が登録されたときの前記所定の記憶領域のバージョンを示す所定のバージョン情報とを前記第１のコントローラから受信した場合、前記所定の記憶領域の最新のバージョンのバージョン情報と、前記所定のバージョン情報とが一致するか否かを判定し、一致しないときは、前記所定のバージョン情報が更新されていることを示す応答情報を前記第１のコントローラに送信し、
前記第１のコントローラは、前記応答情報を受信した場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新する、
請求項１に記載のストレージシステム。
前記第１のコントローラは、前記応答情報を受信した場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新する、
請求項１に記載のストレージシステム。
【請求項3】
前記第２のコントローラは、前記ガベージコレクションを実施した場合、前記所定の記憶領域のバージョンを更新したことを示す更新済のバージョン情報を前記記憶装置に送信し、
前記記憶装置は、前記第２のコントローラから前記更新済のバージョン情報を受信した場合、前記更新済のバージョン情報を前記所定の記憶領域の最新のバージョン情報として管理し、
前記第１のコントローラは、前記応答情報を受信した場合、前記移動後のマッピング情報と前記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを前記第２のコントローラから取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新し、前記所定の記憶領域の前記所定のバージョン情報を前記移動後の記憶領域の前記移動後のバージョン情報に変更する、
請求項２に記載のストレージシステム。
前記記憶装置は、前記第２のコントローラから前記更新済のバージョン情報を受信した場合、前記更新済のバージョン情報を前記所定の記憶領域の最新のバージョン情報として管理し、
前記第１のコントローラは、前記応答情報を受信した場合、前記移動後のマッピング情報と前記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを前記第２のコントローラから取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新し、前記所定の記憶領域の前記所定のバージョン情報を前記移動後の記憶領域の前記移動後のバージョン情報に変更する、
請求項２に記載のストレージシステム。
【請求項4】
前記記憶装置は、前記応答情報として、前記所定の記憶領域のデータの読み出しに失敗したことを示すエラー情報を前記第１のコントローラに送信する、
請求項２に記載のストレージシステム。
請求項２に記載のストレージシステム。
【請求項5】
前記第１のコントローラは、前記所定の記憶領域のデータの読み出し要求に基づいて、前記所定の記憶領域の最新のバージョンのバージョン情報と、前記第２のマッピング情報が登録されたときの前記所定の記憶領域のバージョンを示す所定のバージョン情報とが一致するか否かを判定し、一致しないときは、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新する、
請求項１に記載のストレージシステム。
請求項１に記載のストレージシステム。
【請求項6】
前記第２のコントローラは、前記ガベージコレクションを実施した場合、前記所定の記憶領域のバージョンを更新したことを示す更新済のバージョン情報を他の全てのコントローラに送信し、
前記更新済のバージョン情報を受信したコントローラは、前記更新済のバージョン情報を前記所定の記憶領域の最新のバージョン情報として管理し、
前記第１のコントローラは、前記最新のバージョンのバージョン情報と前記所定のバージョン情報とが一致しない場合、前記移動後のマッピング情報と前記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを前記第２のコントローラから取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新し、前記所定の記憶領域の前記所定のバージョン情報を前記移動後の記憶領域の前記移動後のバージョン情報に変更する、
請求項５に記載のストレージシステム。
前記更新済のバージョン情報を受信したコントローラは、前記更新済のバージョン情報を前記所定の記憶領域の最新のバージョン情報として管理し、
前記第１のコントローラは、前記最新のバージョンのバージョン情報と前記所定のバージョン情報とが一致しない場合、前記移動後のマッピング情報と前記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを前記第２のコントローラから取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新し、前記所定の記憶領域の前記所定のバージョン情報を前記移動後の記憶領域の前記移動後のバージョン情報に変更する、
請求項５に記載のストレージシステム。
【請求項7】
複数のコントローラと、前記複数のコントローラがアクセスする記憶装置と、を備え、前記記憶装置の記憶領域に対するデータの管理が前記複数のコントローラの何れかのコントローラに割り当てられているストレージシステムにおけるデータ管理方法であって、
第１のコントローラが、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理することと、
前記第２のコントローラが、前記所定の記憶領域についてガベージコレクションを実施した場合、前記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、前記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更することと、
前記第１のコントローラが、前記ガベージコレクション後に前記所定の記憶領域のデータに前記第２のマッピング情報を用いてアクセスする際、前記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新することと、
を含むデータ管理方法。
第１のコントローラが、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理することと、
前記第２のコントローラが、前記所定の記憶領域についてガベージコレクションを実施した場合、前記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、前記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更することと、
前記第１のコントローラが、前記ガベージコレクション後に前記所定の記憶領域のデータに前記第２のマッピング情報を用いてアクセスする際、前記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新することと、
を含むデータ管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、複数のノードがアクセスする記憶領域のデータを管理するストレージシステムに関する。
【背景技術】
【0002】
ホストに対して高いＩ／Ｏ性能を提供するストレージシステムでは、記憶媒体を共有する複数のコントローラに対してアクセス処理を分散することで、性能向上を図ることが可能である。このようなストレージシステムでは、アクセス処理のオーバーヘッドを削減するために、コントローラ間の通信を排除して各コントローラ内でアクセス処理を完結させることで、コントローラの処理性能を高めることが好ましい。
【0003】
そのために、まず各コントローラに対してアクセス処理を分散する際に、例えば論理ユニット（ＬＵ）のように、アクセス処理が互いに非依存となる単位（以下、総称して「ＬＵ」と記述）でアクセス処理を割り当てることが必要である。また、複数のコントローラ間の負荷の偏りを防いで資源利用効率を高めるために、ＬＵのアクセス処理を割り当てるコントローラを変更し、ＬＵをコントローラ間で移動できることが併せて求められる。各ＬＵは、アクセス元であるホストから独立したデバイス、記憶領域等として認識されるため、各ＬＵのアクセス処理を割り当てるコントローラを１つに限定することで、コントローラ間の通信を排除可能である（特許文献１参照）。
【0004】
そして、各コントローラが他コントローラと通信せずに割り当てられたＬＵのアクセス処理を行えるように、ＬＵに格納されたデータについて、記憶媒体上の格納先の記憶領域を示すマッピング情報（以下、「マッピング情報」と記述）をメタデータとして持つことが必要である。ＬＵのアクセス処理が割り当てられたコントローラが当該ＬＵに格納されたデータに関するマッピング情報を用いてアクセスを行う。つまり、各ＬＵのアクセス処理を割り当てるコントローラが単一である場合、各ＬＵのマッピング情報の共有に伴うコントローラ間の通信は不要である。
【0005】
一方で、記憶領域の管理においてコントローラ間でマッピング情報を共有する場合は、各コントローラがマッピング情報のコピーを持つと共に、各コントローラ内でマッピング情報に更新が発生した場合、更新内容を他コントローラに通知するための通信が発生する。例えば、ストレージシステムがデータの重複排除機能を持つ場合、データ削減による記憶容量の節約の効果を高めるために、異なるＬＵ間で重複排除を行う必要が生じる。つまり、複数のＬＵが記憶領域を共有して格納されたデータを参照するため、コントローラ間で対応するマッピング情報の共有が必要である。
【0006】
ＬＵ間でマッピング情報を共有する場合、マッピング情報の更新に伴うコントローラ間の通知頻度を削減し、アクセス処理における通信によるオーバーヘッドを低減することが好ましい。マッピング情報の更新は、ＬＵに対する書き込み、または記憶領域のガベージコレクション（ＧＣ）によって発生する。重複排除を行う場合に用いられる、ログ構造のような記憶領域管理では、ＬＵに対する書き込み処理はＧＣに比べて高い頻度で発生する。そのため、ＬＵの書き込み処理によるコントローラ間の通知を回避可能な記憶領域の管理が求められる。
【0007】
特許文献２では、複数のコントローラが記憶媒体を共有し、ＬＵ間の重複排除を行うストレージシステムにおいて、各コントローラに対して個別に管理および更新を行う記憶領域を割り当て、ＬＵに対して書き込まれたデータを、当該ＬＵのアクセス処理を行うコントローラが管理する記憶領域に格納する技術が開示されている。この技術によって、ＬＵに対する書き込み処理におけるマッピングの更新に伴う影響を各コントローラ内の範囲に抑えて、コントローラ間の通知を回避可能となる。また、特許文献２では、ＬＵのアクセス処理を行うコントローラを変更した場合に、他コントローラが管理する記憶領域に格納されたデータを参照できるように、マッピング情報をコントローラ間でコピーし、ＧＣに伴うマッピングの更新を通知、反映するための技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第６１１４３９７号公報
【特許文献2】特願２０２０－１４１５２４号
【発明の概要】
【発明が解決しようとする課題】
【0009】
記憶領域に対するＧＣでは、有効なデータの退避に伴ってマッピング情報の更新が発生するため、複数のコントローラが記憶領域を共有する場合に、コントローラ間の通知が必要である。このとき、退避する各データの参照元となるＬＵのアドレス（論理アドレス）から、マッピング情報の更新対象であるＬＵ、および通知先のコントローラを特定する。その際に、退避の対象となるデータが格納された記憶領域のアドレスと、ＬＵのアドレスとの対応関係を管理するマッピング情報の参照が発生する。ログ構造のような記憶領域の管理では、ＬＵにＷｒｉｔｅされたデータに対して例えば４ＫｉＢのような、ホストからのＷｒｉｔｅと同等の粒度でマッピングを管理する。そのため、データの退避におけるマッピング情報の参照回数が増加する。また、各ＬＵのマッピングを細粒度で管理することから、記憶領域の管理に必要なマッピング情報の容量が増加し、コントローラのメモリに収まらないマッピング情報は、より低速な記憶媒体に格納される。この場合、マッピング情報の参照に伴うオーバーヘッドは更に増加する。
【0010】
よって、ＧＣを必要とする記憶領域を複数のコントローラが共有するストレージシステムにおいて、ＧＣによるデータの退避に伴うマッピング情報の更新をコントローラ間で通知するために、多数のマッピング情報の参照が発生する。つまり、マッピング情報の参照に伴うオーバーヘッドを削減し、コントローラのＧＣおよびＷｒｉｔｅ処理の性能低下を避けることが求められている。
【0011】
特許文献２では、ＧＣに伴うデータの退避処理において、他コントローラにマッピング情報の更新を通知する代わりに、マッピング情報を持つノードにＧＣの処理を引き継ぐ技術を開示している。しかしながら、ＧＣの処理の引き継ぎ先であるコントローラを特定するために、退避するデータの参照元であるＬＵのアドレスとの対応関係を示すマッピング情報を参照しており、マッピング情報の参照オーバーヘッドを減らす方法は開示されていない。
【0012】
本発明は、以上の点を考慮してなされたもので、マッピング情報を適切に管理し得るストレージシステム等を提案しようとするものである。
【課題を解決するための手段】
【0013】
かかる課題を解決するため本発明においては、複数のコントローラと、前記複数のコントローラがアクセスする記憶装置と、を備え、前記記憶装置の記憶領域に対するデータの管理が前記複数のコントローラの何れかのコントローラに割り当てられているストレージシステムであって、第１のコントローラは、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報と、第２のコントローラに管理が割り当てられている所定の記憶領域に記憶されたデータにアクセスするための第２のマッピング情報とを管理し、前記第２のコントローラは、前記所定の記憶領域についてガベージコレクションを実施した場合、前記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、前記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更し、前記第１のコントローラは、前記ガベージコレクション後に前記所定の記憶領域のデータに前記第２のマッピング情報を用いてアクセスする際、前記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、前記第２のコントローラから前記移動後のマッピング情報を取得し、前記移動後のマッピング情報を用いて前記第２のマッピング情報を更新する、ようにした。
【0014】
上記構成では、例えば、ガベージコレクションが実施された記憶領域のデータにマッピング情報を用いてアクセスする際に、ガベージコレクションに伴うマッピング情報の更新を実行することで、コントローラ間で更新通知を行うことを目的としたマッピング情報の参照を回避する。上記構成によれば、例えば、ガベージコレクションにおけるマッピング情報の参照に伴うオーバーヘッドの発生を抑制し、ガベージコレクションの性能低下を抑制することが可能である。
【発明の効果】
【0015】
本発明によれば、マッピング情報を適切に管理することができる。上記以外の課題、構成、および効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0016】
【図1】第１の実施の形態によるストレージシステムに係る構成の一例を示す図である。
【図2】第１の実施の形態によるコントローラに係る構成の一例を示す図である。
【図3】第１の実施の形態による記憶媒体ノードに係る構成の一例を示す図である。
【図4】第１の実施の形態によるコントローラに含まれるメモリの領域の一例を示す図である。
【図5】第１の実施の形態によるコントローラのメモリに含まれるプログラム領域の構成の一例を示す図である。
【図6】第１の実施の形態によるコントローラのメモリに含まれるメタデータ領域の構成の一例を示す図である。
【図7】第１の実施の形態による記憶媒体ノードに含まれるメモリの領域の一例を示す図である。
【図8】第１の実施の形態による記憶媒体ノードのメモリに含まれるプログラム領域の構成の一例を示す図である。
【図9】第１の実施の形態による記憶媒体ノードのメモリに含まれるメタデータ領域の構成の一例を示す図である。
【図10A】第１の実施の形態によるコントローラＲｅａｄ処理の一例を示す図である。
【図10B】第１の実施の形態によるコントローラＲｅａｄ処理の一例を示す図である。
【図11】第１の実施の形態による問い合わせ処理の一例を示す図である。
【図12】第１の実施の形態による記憶媒体Ｒｅａｄ処理の一例を示す図である。
【図13】第１の実施の形態によるコントローラＷｒｉｔｅ処理の一例を示す図である。
【図14】第１の実施の形態によるバージョン管理処理の一例を示す図である。
【図15】第１の実施の形態によるＬＵ移動処理の一例を示す図である。
【図16】第２の実施の形態によるコントローラのメモリに含まれるプログラム領域の構成の一例を示す図である。
【図17】第２の実施の形態によるコントローラのメモリに含まれるメタデータ領域の構成の一例を示す図である。
【図18】第２の実施の形態による記憶媒体ノードに含まれるメモリの領域の一例を示す図である。
【図19】第２の実施の形態による記憶媒体ノードのメモリに含まれるプログラム領域の構成の一例を示す図である。
【図20A】第２の実施の形態によるコントローラＲｅａｄ処理の一例を示す図である。
【図20B】第２の実施の形態によるコントローラＲｅａｄ処理の一例を示す図である。
【図21】第２の実施の形態による記憶媒体Ｒｅａｄ処理の一例を示す図である。
【図22】第２の実施の形態によるバージョン管理処理の一例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
【0018】
本実施の形態に係るストレージシステムは、マッピング情報の参照に伴うオーバーヘッドを減らすために、コントローラ間のマッピング情報の更新通知を行う代わりに、各コントローラが共有の記憶領域にアクセスする際にマッピング情報の更新有無を確認する。これにより、マッピング情報の更新対象であるＬＵおよび通知先のコントローラの特定に必要なマッピング情報の参照を回避する。
【0019】
より具体的には、本ストレージシステムは、ストレージシステムの各記憶領域について、いずれかのコントローラに管理を割り当てる。各記憶領域の管理を割り当てられたコントローラのみが、その記憶領域に対する書き込みとＧＣとを行い、格納されたデータに関するマッピング情報を管理する。本ストレージシステムでは、各コントローラは、他コントローラが管理する記憶領域のデータにアクセスする場合は、当該他コントローラからマッピング情報を取得し、当該記憶領域に対するアクセスに対してはＲｅａｄのみを行う。また、ＬＵにＷｒｉｔｅされたデータに対しては、格納済のデータの更新を含めて全て、当該ＬＵのアクセス処理を行うコントローラが管理する記憶領域に格納される。
【0020】
各コントローラは、管理する記憶領域に対してホストからのＷｒｉｔｅよりも大きな、一定のサイズの記憶領域（以下、「ページ」と記述）を単位としてＧＣの対象となる記憶領域を選択し、有効なデータの退避処理を行う。また、コントローラは、管理する記憶領域の各ページにバージョン番号を付与し、ＧＣを実施する毎に更新する。
【0021】
各コントローラは、ＬＵのアクセス処理において他コントローラが管理する記憶領域のデータのＲｅａｄを要求され、対応するマッピング情報を持っていない場合は、当該記憶領域を管理するコントローラからマッピング情報を取得する。マッピング情報を要求されたコントローラは、当該記憶領域のデータを含むページのバージョン番号を、要求されたマッピング情報と共に通知する。
【0022】
また、各コントローラは、管理する記憶領域に含まれるページのバージョン番号がＧＣにより更新されると、記憶領域に対応する記憶媒体を持つノードまたは他の全コントローラに対して、ＧＣを実施したページのバージョン番号の更新を通知する。バージョン番号の更新を通知されたノードまたはコントローラは、記憶領域の各ページのバージョン番号を保持し、通知に応じてバージョン番号を更新する。
【0023】
そして、各コントローラは、自身が持つマッピング情報を参照してＬＵに対するアクセス要求（Ｒｅａｄ要求、Ｗｒｉｔｅ要求等）を処理し、他コントローラが管理する記憶領域に格納されたデータをＲｅａｄする場合に、自身が持つマッピング情報に対応するバージョン番号を参照し、マッピング情報が更新されているかどうかを確認する。マッピング情報の更新有無の確認は、上記バージョン番号の更新の通知先である、記憶媒体を持つノードまたは自コントローラ内で行われる。
【0024】
記憶媒体を持つノードでマッピング情報の更新の有無を確認する場合、コントローラは自身が持つマッピング情報からアクセス先の記憶領域のアドレスを特定して、記憶媒体を持つノードに対してＲｅａｄ要求を行う。このとき、コントローラは、上記アドレスと共に、マッピング情報に対応するバージョン番号をＲｅａｄ要求に含める。記憶媒体を持つノードは、Ｒｅａｄを要求されたアドレスに対応するページを特定し、特定したページのバージョン番号を参照し、当該ページのバージョン番号とＲｅａｄ要求に含まれるバージョン番号とが一致するかを確認する。バージョン番号が不一致である場合は、上記ノードは、コントローラのＲｅａｄ要求に対してエラーを返すことで、コントローラが参照したマッピング情報が更新されたことを通知する。コントローラは、記憶媒体を持つノードからエラーを受け取ると、記憶領域を管理するコントローラに最新のマッピング情報を問い合わせて自身が持つマッピング情報を更新した後に、再度、記憶媒体のＲｅａｄ要求を行う。
【0025】
各コントローラでマッピング情報の更新の有無を確認する場合、コントローラは、自身が持つマッピング情報からアクセス先の記憶領域のアドレスを特定し、記憶媒体を持つノードに対してＲｅａｄ要求を行う前に、参照したマッピング情報に対応するバージョン番号と、コントローラ内で保持する各ページの最新のバージョン番号とを比較する。バージョン番号が不一致の場合は、コントローラは、記憶領域を管理するコントローラに最新のマッピング情報を問い合わせてマッピング情報を更新した後に、記憶媒体のＲｅａｄ要求を行う。
【0026】
上記構成によれば、ＧＣに伴うマッピング情報の更新有無を、各コントローラにおけるマッピング情報を参照したアクセス処理の際に行うようにすることで、コントローラ間で更新通知を行うことを目的としたマッピング情報の参照を回避する。その結果、アクセス処理におけるマッピング情報の参照に伴うオーバーヘッドの発生を抑制し、コントローラのＧＣおよびＷｒｉｔｅ処理の性能低下を抑制することが可能である。
【0027】
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0028】
（Ｉ）第１の実施の形態
本実施の形態では、複数のコントローラが記憶媒体を共有するストレージシステムにおいて、記憶媒体を持つノード（以下、「記憶媒体ノード」と記述）がコントローラからのＲｅａｄ要求を受けた際に、コントローラが参照したマッピング情報が更新されているかを記憶媒体ノードが確認する例を説明する。なお、本実施の形態は、本発明における請求の範囲を限定するものではなく、実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。
本実施の形態では、複数のコントローラが記憶媒体を共有するストレージシステムにおいて、記憶媒体を持つノード（以下、「記憶媒体ノード」と記述）がコントローラからのＲｅａｄ要求を受けた際に、コントローラが参照したマッピング情報が更新されているかを記憶媒体ノードが確認する例を説明する。なお、本実施の形態は、本発明における請求の範囲を限定するものではなく、実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。
【0029】
次に、本実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
【0030】
なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、コントローラを特に区別しないで説明する場合には、「コントローラ１０１」と記載し、個々のコントローラを区別して説明する場合には、「コントローラ１０１Ａ」、「コントローラ１０１Ｂ」のように記述することがある。
【0031】
図１は、本実施の形態に係るストレージシステム１００に係る構成の一例を示す図である。
【0032】
ストレージシステム１００は、複数のコントローラ１０１（コントローラノード）と、記憶媒体ノード１０２と、記憶媒体ノード１０２に接続された記憶媒体１０３と、コントローラ１０１および記憶媒体ノード１０２を接続するネットワーク１０４とを含んで構成される。また、コントローラ１０１は、ストレージシステム１００にアクセス要求を行うホスト１１０と接続される。
【0033】
コントローラ１０１は、ホスト１１０に対してストレージへのアクセスを提供する。ストレージは、記憶媒体１０３の記憶領域にマッピングされたＬＵの形でホスト１１０に提供される。コントローラ１０１は、ホスト１１０に対して複数のＬＵを提供してもよい。また、各ＬＵに対するアクセスは、同時に単一のコントローラ１０１のみが提供する。
【0034】
記憶媒体ノード１０２は、記憶装置の一例であり、ＬＵの記憶領域のマッピング先である記憶媒体１０３を持ち、コントローラ１０１に対してアクセスを提供する。複数のコントローラ１０１は、記憶媒体ノード１０２の記憶媒体１０３を共有し、いずれのコントローラ１０１からも他コントローラ１０１を経由せずに、記憶媒体１０３に対して直接アクセスが可能である。
【0035】
記憶媒体１０３は、コントローラ１０１が構築するＬＵに割り当てる記憶領域を提供する。記憶媒体１０３は、コントローラ１０１から共有されており、ネットワーク１０４を経由してアクセスされる。
【0036】
ネットワーク１０４は、コントローラ１０１および記憶媒体ノード１０２を互いに接続し、コントローラ１０１と通信し、コントローラ１０１から記憶媒体ノード１０２に接続される記憶媒体１０３に対するアクセス要求、アクセス要求に係る各データ等の転送を行う。
【0037】
ホスト１１０は、コントローラ１０１が提供するＬＵに対するアクセス要求を行う。
【0038】
以下では、複数のコントローラ１０１としてコントローラ１０１Ａおよびコントローラ１０１Ｂを例に挙げて説明するが、コントローラ１０１Ａおよびコントローラ１０１Ｂ以外に、追加のコントローラ１０１をネットワーク１０４に接続し、記憶媒体ノード１０２の記憶媒体１０３を共有してもよい。また、記憶媒体ノード１０２は、同時に複数の記憶媒体１０３に対するアクセスを提供してもよい。加えて、ネットワーク１０４は、図１の構成に限定されず、例えばホスト１１０がネットワーク１０４に接続され、当該ホスト１１０がコントローラ１０１にアクセス要求を行う構成でもよい。
【0039】
図２は、コントローラ１０１に係る構成の一例を示す図である。なお、コントローラ１０１Ａおよびコントローラ１０１Ｂは、同様の構成を持つため、それぞれの図示および説明については省略する。
【0040】
コントローラ１０１は、１つ以上のプロセッサ２０１と、１つ以上のメモリ２０２と、１つ以上の通信Ｉ／Ｆ２０３と、１つ以上のホストＩ／Ｆ２０４と、１つ以上のＬＵ２０５と、１つ以上のボリューム２０６とを備える。
【0041】
プロセッサ２０１は、メモリ２０２を用いてコントローラ機能を実現するプログラムを実行し、ホスト１１０に対してＬＵ２０５へのアクセスを提供する。
【0042】
メモリ２０２は、プロセッサ２０１上で動作するプログラム、プログラムが利用するメタデータ、一時的に保存が必要なデータ等を格納する。
【0043】
通信Ｉ／Ｆ２０３は、ネットワーク１０４に接続されており、コントローラ１０１から記憶媒体ノード１０２に接続された記憶媒体１０３に対するアクセス要求の送信と、応答の受信と、アクセス要求の処理に伴うＲｅａｄデータ（記憶媒体１０３からＲｅａｄされたデータ）およびＷｒｉｔｅデータ（記憶媒体１０３にＷｒｉｔｅするデータ）等のデータの転送とを行う。
【0044】
通信Ｉ／Ｆ２０３とネットワーク１０４との接続における通信規格は、上記アクセス要求および応答の送受信、およびデータの転送が可能である限り、特に限定されない。また、コントローラ１０１と記憶媒体ノード１０２との間で行われるアクセス要求、応答、およびデータの送受信で用いられるプロトコルも同様に限定されない。
【0045】
ホストＩ／Ｆ２０４は、ホスト１１０からのＬＵ２０５に対するアクセス要求の受信と、応答の送信と、ホスト１１０との間でアクセス要求の処理に伴うＲｅａｄデータまたはＷｒｉｔｅデータ等のデータの転送とを行う。
【0046】
ホストＩ／Ｆ２０４を介した、コントローラ１０１とホスト１１０との接続における通信規格およびプロトコルは、上記アクセス要求、応答の送受信、およびデータの転送が可能である限り、特に限定されない。また、ホスト１１０がネットワーク１０４に接続されている場合に、ホストＩ／Ｆ２０４が通信Ｉ／Ｆ２０３と共通の構成を用いてもよい。
【0047】
ＬＵ２０５は、プロセッサ２０１で動作するプログラムによって制御され、ボリューム２０６のアドレスに対応付けられた仮想的な記憶領域であり、ホストＩ／Ｆ２０４を通じてホスト１１０からアクセスが可能な記憶媒体として提供される。また、ＬＵ２０５については、ボリューム２０６に対するマッピング情報が事前にコントローラ１０１間で変換されることで、コントローラ１０１間で制御の移動が可能である。
【0048】
ボリューム２０６は、プロセッサ２０１で動作するプログラムによって制御され、記憶媒体１０３の記憶領域のうち、自コントローラ１０１に割り当てられた記憶領域から構築される仮想的な記憶領域である。ボリューム２０６の各アドレスは、記憶媒体１０３の記憶領域に対応付けられており、ＬＵ２０５のアドレスがボリューム２０６のアドレスに変換された後に、記憶媒体１０３の記憶領域のアドレスに変換されることでホスト１１０からのアクセスが行われる。
【0049】
図３は、記憶媒体ノード１０２に係る構成の一例を示す図である。記憶媒体ノード１０２は、接続された１つ以上の記憶媒体１０３以外に、１つ以上のプロセッサ３０１と、１つ以上のメモリ３０２と、１つ以上の通信Ｉ／Ｆ３０３とを備える。
【0050】
プロセッサ３０１は、メモリ３０２を用いて記憶媒体１０３に対するアクセス機能を実現するプログラムを実行し、コントローラ１０１からのアクセス要求に応じて記憶媒体１０３のアクセスを行う。
【0051】
メモリ３０２は、プロセッサ３０１上で動作するプログラム、プログラムが利用するメタデータ、一時的に保存が必要なデータ等を格納する。
【0052】
通信Ｉ／Ｆ３０３は、ネットワーク１０４に接続されており、コントローラ１０１からの記憶媒体１０３に対するアクセス要求の受信と、応答の送信と、アクセス要求の処理に伴うＲｅａｄデータまたはＷｒｉｔｅデータ等のデータの転送とを行う。
【0053】
通信Ｉ／Ｆ３０３とネットワーク１０４との接続における通信規格は、上記アクセス要求、応答の送受信、およびデータの転送が可能である限り、特に限定されない。また、コントローラ１０１と記憶媒体ノード１０２との間で行われるアクセス要求、応答、およびデータの送受信で用いられるプロトコルも同様に限定されない。
【0054】
図４は、コントローラ１０１に含まれるメモリ２０２の領域（格納データの構成）の一例を示す図である。メモリ２０２は、プログラム領域４０１と、バッファ領域４０２と、メタデータ領域４０３とを備える。
【0055】
プログラム領域４０１には、プロセッサ２０１が実行する、ストレージシステム１００のコントローラ機能を実施するプログラムが格納される。
【0056】
バッファ領域４０２には、記憶媒体ノード１０２に接続された記憶媒体１０３からのＲｅａｄデータ、または記憶媒体１０３に対するＷｒｉｔｅデータが一時的に格納される。
【0057】
メタデータ領域４０３には、コントローラ１０１がホスト１１０に対してアクセスを提供する各ＬＵ２０５の処理に関連した管理情報が格納される。
【0058】
図５は、コントローラ１０１のメモリ２０２に含まれるプログラム領域４０１の構成の一例を示す図である。
【0059】
プログラム領域４０１には、コマンド処理プログラム５０１と、Ｉ／Ｏ制御プログラム５０２と、ＬＵ制御プログラム５０３と、ボリューム制御プログラム５０４と、ＧＣプログラム５０５と、バージョン管理プログラム５０６と、マッピング問い合わせプログラム５０７と、マッピング応答プログラム５０８とが格納される。
【0060】
コマンド処理プログラム５０１は、ホストＩ／Ｆ２０４を介して、ホスト１１０からのＬＵ２０５に対するアクセス要求の受信と、当該アクセス要求に対応する結果の応答とを行う。例えば、コマンド処理プログラム５０１は、Ｒｅａｄ要求に対応した処理を開始し、ホストＩ／Ｆ２０４を介してホスト１１０との間でＲｅａｄ要求に対応するデータ（結果のデータ）をホスト１１０に送信する。また、例えば、コマンド処理プログラム５０１は、Ｗｒｉｔｅ要求に対応した処理を開始し、ホストＩ／Ｆ２０４を介してホスト１１０との間でＷｒｉｔｅ要求に対応するデータ（結果のデータ）をホスト１１０に送信する。
【0061】
Ｉ／Ｏ制御プログラム５０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２に接続された記憶媒体１０３に対するＲｅａｄ要求およびＷｒｉｔｅ要求を実行する。また、Ｉ／Ｏ制御プログラム５０２は、記憶媒体１０３のＲｅａｄ要求を行う際に、参照したマッピング情報に関するページのバージョン番号を記憶媒体ノード１０２に併せて通知する。Ｉ／Ｏ制御プログラム５０２から記憶媒体１０３に対するアクセスで使用されるプロトコルは、指定されたアドレスに対するＲｅａｄアクセスおよびＷｒｉｔｅアクセスが可能である限り、特に限定されない。
【0062】
ＬＵ制御プログラム５０３は、コントローラ１０１がホスト１１０に対してアクセスを提供するＬＵ２０５のアドレス空間について、ボリューム２０６のアドレス空間との間でマッピングを管理し、ＬＵ２０５のアドレスからボリューム２０６のアドレスへの変換を行う。また、ＬＵ制御プログラム５０３は、ＬＵ２０５の各アドレスに関するマッピング情報について、マッピングの問い合わせ時のページのバージョン番号を対応付けて管理する。
【0063】
ボリューム制御プログラム５０４は、ＬＵ２０５のアドレス空間が対応付けられる仮想的な記憶領域であるボリューム２０６のアドレス空間と、記憶媒体ノード１０２に接続された記憶媒体１０３の記憶領域との間のマッピングを管理する。ボリューム制御プログラム５０４は、ボリューム２０６のアドレスと、記憶媒体１０３の記憶領域を示すアドレスとの間で、相互にアドレス変換を行う。
【0064】
ＧＣプログラム５０５は、記憶媒体ノード１０２に接続された記憶媒体１０３から構成される記憶領域のうち、自コントローラ１０１が管理する記憶領域内のページに含まれる有効なデータを他のページに移動することで退避処理を行う。このときＧＣプログラム５０５は、退避を行ったデータの退避元の記憶領域に対応付けられていたボリューム２０６のアドレスのマッピングを更新し、退避先の記憶領域に対応付けられるようにする。また、ＧＣプログラム５０５は、バージョン管理プログラム５０６に対して処理対象としたページのバージョン番号の更新を指示する。
【0065】
バージョン管理プログラム５０６は、ＧＣプログラム５０５から指示されたページのバージョン番号を更新し、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２に対して当該ページのバージョン番号の更新を通知する。
【0066】
マッピング問い合わせプログラム５０７は、ＬＵ制御プログラム５０３から、他コントローラ１０１が管理するボリューム２０６のアドレスを受け取り、通信Ｉ／Ｆ２０３を介してマッピング情報に対応する記憶領域を管理するコントローラ１０１に問い合わせる。そして、マッピング問い合わせプログラム５０７は、問い合わせ先のコントローラ１０１から通信Ｉ／Ｆ２０３を介して受け取ったマッピング情報と、マッピング情報に対応するページのバージョン番号とをＬＵ制御プログラム５０３に応答する。
【0067】
マッピング応答プログラム５０８は、通信Ｉ／Ｆ２０３を介して他コントローラ１０１から自コントローラ１０１に対するマッピング情報の問い合わせ要求を受け取り、要求されたボリューム２０６のアドレスに対応する記憶媒体１０３の記憶領域のアドレスを取得する。また、マッピング応答プログラム５０８は、バージョン管理プログラム５０６を通じて、上記記憶領域のアドレスが含まれるページのバージョン番号を取得する。そして、マッピング応答プログラム５０８は、取得した記憶媒体１０３の記憶領域のアドレスと、ページのバージョン番号とを通信Ｉ／Ｆ２０３を介して問い合わせ要求元のコントローラ１０１に応答する。
【0068】
図６は、コントローラ１０１のメモリ２０２に含まれるメタデータ領域４０３の構成の一例を示す図である。
【0069】
メタデータ領域４０３は、ＬＵマッピングテーブル６１０と、ボリュームマッピングテーブル６２０と、バージョンテーブル６３０と、ボリューム逆引きテーブル６４０とを備える。
【0070】
ＬＵマッピングテーブル６１０は、ＬＵ２０５の各アドレスに対応する、ボリューム２０６のアドレスを格納する。また、ＬＵマッピングテーブル６１０は、ＬＵ２０５のアドレスが、他コントローラ１０１によって管理されるボリューム２０６のアドレスに対応する場合に、マッピング情報の問い合わせ結果として記憶媒体１０３の記憶領域のアドレスを格納する。上記２種類のアドレスを格納するために、ＬＵマッピングテーブル６１０は、ＬＵ２０５の各アドレスに対応するエントリを持つ。当該エントリは、各エントリ内に対応するボリューム２０６を示すボリュームＩＤ６１１（ボリューム番号）と、ボリューム２０６のアドレスを格納するボリュームアドレス６１２と、マッピング情報の問い合わせ結果である記憶媒体１０３の記憶領域のアドレスを格納する記憶領域アドレス６１３と、記憶領域アドレス６１３に問い合わせ結果のアドレスが格納されているか否かを示す問い合わせ済フラグ６１４を持つ。また、上記エントリは、他コントローラ１０１にマッピングを問い合わせた際に取得した、ページのバージョン番号を示すバージョン番号６１５を持つ。
【0071】
ＬＵマッピングテーブル６１０は、図６に示した形式に限らず、例えば問い合わせ済フラグ６１４は、「０」、「１」以外の値を用いてもよい。また、問い合わせ済フラグ６１４を省略する代わりに記憶領域アドレス６１３に無効を示す特定のアドレス値を格納することで、マッピング情報の問い合わせ結果のアドレスが格納されているかどうかを表してもよい。
【0072】
ボリュームマッピングテーブル６２０は、コントローラ１０１がアクセス処理を行うボリューム２０６毎に設けられ、自コントローラ１０１が持つボリューム２０６の各アドレスに対応する、記憶媒体１０３の記憶領域のアドレスを格納する。
【0073】
バージョンテーブル６３０は、自コントローラ１０１が管理する記憶媒体１０３の記憶領域に含まれる各ページのバージョン番号を格納する。
【0074】
ボリューム逆引きテーブル６４０は、コントローラ１０１がアクセス処理を行うボリューム２０６毎に設けられ、自コントローラ１０１が管理する記憶媒体１０３の記憶領域の各アドレスに対応する、ボリューム２０６のアドレスを格納する。
【0075】
図７は、記憶媒体ノード１０２に含まれるメモリ３０２の領域（格納データの構成）の一例を示す図である。メモリ３０２は、プログラム領域７０１と、バッファ領域７０２と、メタデータ領域７０３とを備える。
【0076】
プログラム領域７０１には、プロセッサ３０１が実行する、ストレージシステム１００のコントローラ機能を実施するプログラムが格納される。
【0077】
バッファ領域７０２には、記憶媒体１０３からのＲｅａｄデータまたは記憶媒体１０３に対するＷｒｉｔｅデータが一時的に格納される。
【0078】
メタデータ領域７０３には、記憶媒体１０３の記憶領域に含まれる各ページのバージョン番号が格納される。
【0079】
図８は、記憶媒体ノード１０２のメモリ３０２に含まれるプログラム領域７０１の構成の一例を示す図である。
【0080】
プログラム領域７０１には、コマンド処理プログラム８０１と、Ｉ／Ｏ制御プログラム８０２と、バージョン番号確認プログラム８０３と、バージョン番号更新プログラム８０４とが格納される。
【0081】
コマンド処理プログラム８０１は、通信Ｉ／Ｆ３０３を介してコントローラ１０１からの記憶媒体１０３に対するＲｅａｄ要求およびＷｒｉｔｅ要求を受信し、結果の応答を行う。また、コマンド処理プログラム８０１は、コントローラ１０１からＲｅａｄ要求を受け取る際に、当該コントローラ１０１が参照したマッピング情報に関するバージョン番号を併せて受け取る。
【0082】
Ｉ／Ｏ制御プログラム８０２は、記憶媒体１０３に対するＲｅａｄ要求およびＷｒｉｔｅ要求を実行する。
【0083】
バージョン番号確認プログラム８０３は、コマンド処理プログラム８０１から指定された、アクセス先のアドレスに対応するページを特定し、特定したページの現在のバージョン番号と、Ｒｅａｄ要求と併せてコントローラ１０１から受け取ったマッピング情報に関するバージョン番号と、を比較する。バージョン番号確認プログラム８０３は、Ｒｅａｄ要求のバージョン番号がページの現在のバージョン番号と一致しない場合、コントローラ１０１が更新前のマッピング情報を用いてＲｅａｄ要求を行ったと判定し、コマンド処理プログラム８０１に対してＲｅａｄ要求元のコントローラ１０１に対して、当該コントローラ１０１が参照したマッピング情報が更新されたことをエラーとして応答するように通知する。
【0084】
バージョン番号更新プログラム８０４は、通信Ｉ／Ｆ３０３を介してコントローラ１０１からページのアドレスと、新しいバージョン番号とを受け取り、記憶媒体ノード１０２が持つ、各ページのバージョン番号の情報を更新する。バージョン番号更新プログラム８０４がコントローラ１０１から受け取る、ページのバージョン番号の更新に関する通知は、上記形式に限定されない。例えば、各ページのバージョン番号が「０」から始まり、更新時に必ず「１」ずつ加算される場合は、記憶媒体ノード１０２が持つ各ページのバージョン番号を「０」で予め初期化しておき、コントローラ１０１からバージョン番号が変更されたページのアドレスのみを受け取る形式であってもよい。
【0085】
コントローラ１０１からコマンド処理プログラム８０１が受け取るＲｅａｄ要求およびＷｒｉｔｅ要求の規格は、上記動作が可能な限り特に限定されない。例えば、Ｒｅａｄ要求と併せて受け取るマッピング情報に関するバージョン番号について、Ｒｅａｄ要求にバージョン番号を格納する専用のフィールドを持たず、アドレスの上位ビットをバージョン番号として利用する方式等を用いてもよい。
【0086】
図９は、記憶媒体ノード１０２のメモリ３０２に含まれるメタデータ領域７０３の構成の一例を示す図である。
【0087】
メタデータ領域７０３は、バージョンテーブル９０１を備える。バージョンテーブル９０１は、記憶媒体１０３の記憶領域に含まれる各ページの現在のバージョン番号を格納する。
【0088】
図１０Ａおよび図１０Ｂは、ホスト１１０からＬＵ２０５へのＲｅａｄ要求に関する、コントローラ１０１Ａにおける一連の流れを示すフローチャート（コントローラＲｅａｄ処理）の一例を示す図である。図１０Ａおよび図１０Ｂのフローチャートに基づく動作は以下の通りである。
【0089】
ステップＳ１００１：コントローラ１０１Ａのコマンド処理プログラム５０１は、ホストＩ／Ｆ２０４を介して、ホスト１１０からＬＵ２０５に対するＲｅａｄ要求を受信する。続けてステップＳ１００２が実施される。
【0090】
ステップＳ１００２：ＬＵ制御プログラム５０３は、コマンド処理プログラム５０１からＲｅａｄ先のアドレス（例えば、ＬＵ２０５のアドレス）を受け取り、メモリ２０２上のメタデータ領域４０３から、ＬＵマッピングテーブル６１０のＲｅａｄ先のアドレスに対応するエントリを参照する。続けてステップＳ１００３が実施される。
【0091】
ステップＳ１００３：ＬＵ制御プログラム５０３は、ステップＳ１００２で参照したエントリのボリュームＩＤ６１１およびボリュームマッピングテーブル６２０を参照し、コントローラ１０１Ａが参照先のボリューム２０６を持つかを確認する。その結果、参照先のボリューム２０６を自コントローラ１０１Ａが管理している場合は、ステップＳ１００４が実施され、それ以外、即ち他コントローラ１０１Ｂが管理する場合は、ステップＳ１００６が実施される。
【0092】
ステップＳ１００４：ボリューム制御プログラム５０４は、ステップＳ１００２で参照されたエントリに含まれるボリュームＩＤ６１１に対応するボリュームマッピングテーブル６２０を参照する。そして、ボリューム制御プログラム５０４は、ステップＳ１００２で参照されたエントリに含まれるボリュームアドレス６１２に対応する当該ボリュームマッピングテーブル６２０のエントリを参照し、Ｒｅａｄ先のＬＵ２０５のアドレスに対応する、記憶媒体１０３の記憶領域のアドレスを取得する。続けてステップＳ１００５が実施される。
【0093】
ステップＳ１００５：ボリューム制御プログラム５０４は、ステップＳ１００４で取得した記憶媒体１０３の記憶領域のアドレスを含むページのアドレスを特定する。そして、ボリューム制御プログラム５０４は、メモリ２０２のメタデータ領域４０３に格納されたバージョンテーブル６３０を参照し、特定したページのアドレスから、特定したページの現在のバージョン番号を取得する。続けてステップＳ１００９が実施される。
【0094】
ステップＳ１００６：ＬＵ制御プログラム５０３は、ステップＳ１００２で参照したエントリに含まれる問い合わせ済フラグ６１４を参照し、マッピングを問い合わせ済であるかを確認する。マッピングを問い合わせ済である場合はステップＳ１００７が実施され、マッピングを問い合わせ済でない場合（問い合わせが未実施である場合）はステップＳ１００８が実施される。
【0095】
ステップＳ１００７：ＬＵ制御プログラム５０３は、ＬＵマッピングテーブル６１０を参照し、ステップＳ１００２で参照したエントリに含まれる記憶領域アドレス６１３およびバージョン番号６１５を、Ｒｅａｄ先のＬＵ２０５のアドレスに対応する記憶媒体１０３の記憶領域のアドレスおよびＲｅａｄ先のＬＵ２０５のアドレスに対応するページのバージョン番号として取得する。続けてステップＳ１００９が実施される。
【0096】
ステップＳ１００８：マッピング問い合わせプログラム５０７は、ステップＳ１００２で参照されたエントリに含まれるボリュームＩＤ６１１およびボリュームアドレス６１２に関するマッピング情報を、ボリューム２０６を管理するコントローラ１０１Ｂに問い合わせる。そして、マッピング問い合わせプログラム５０７は、コントローラ１０１Ｂから問い合わせ結果として、上記ボリュームＩＤ６１１およびボリュームアドレス６１２に対応する記憶媒体１０３の記憶領域のアドレスと当該アドレスを含むページのバージョン番号とを取得する。マッピング問い合わせプログラム５０７は、ステップＳ１００２で参照されたＬＵマッピングテーブル６１０のエントリに含まれる記憶領域アドレス６１３とバージョン番号６１５とに、取得したアドレスとバージョン番号とを格納し、当該エントリの問い合わせ済フラグ６１４を「１」にセットする。続けてステップＳ１００９が実施される。
【0097】
ステップＳ１００９：Ｉ／Ｏ制御プログラム５０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２に対して、記憶媒体１０３の記憶領域における、取得したアドレスのＲｅａｄ要求を行う。また、Ｉ／Ｏ制御プログラム５０２は、取得したページのバージョン番号を上記Ｒｅａｄ要求に格納し、Ｒｅａｄ先のアドレスと共に記憶媒体ノード１０２に送信する。続けてステップＳ１０１０が実施される。
【0098】
ステップＳ１０１０：Ｉ／Ｏ制御プログラム５０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２からステップＳ１００９のＲｅａｄ要求に対する応答を受け取る。記憶媒体ノード１０２から正常にＲｅａｄ結果のデータをＩ／Ｏ制御プログラム５０２が受信した場合はステップＳ１０１１が実施され、バージョン番号が不一致、即ちマッピング情報が更新済であることを示すエラーをＩ／Ｏ制御プログラム５０２が受信した場合はステップＳ１００８が実施される。
【0099】
ステップＳ１０１１：Ｉ／Ｏ制御プログラム５０２は、記憶媒体ノード１０２から受信したＲｅａｄ結果のデータを、メモリ２０２のバッファ領域４０２に格納する。続けてステップＳ１０１２が実施される。
【0100】
ステップＳ１０１２：コマンド処理プログラム５０１は、バッファ領域４０２に格納されたＲｅａｄ結果のデータを、ホストＩ／Ｆ２０４を介してホスト１１０にＲｅａｄ要求の結果として転送し、一連の動作を終了する。
【0101】
図１１は、図１０ＢのフローチャートのステップＳ１００８において、コントローラ１０１Ｂがコントローラ１０１Ａからのマッピングの問い合わせに応答する、一連の流れを示すフローチャート（問い合わせ処理）の一例を示す図である。図１１のフローチャートに基づく動作は以下の通りである。
【0102】
ステップＳ１１０１：コントローラ１０１Ｂのマッピング応答プログラム５０８は、通信Ｉ／Ｆ２０３を介して他コントローラ１０１Ａからマッピングの問い合わせ対象のボリュームＩＤおよびボリュームアドレスを受信する。続けてステップＳ１１０２が実施される。
【0103】
ステップＳ１１０２：マッピング応答プログラム５０８は、自コントローラ１０１Ｂのメモリ２０２のメタデータ領域４０３に格納されているボリュームマッピングテーブル６２０のうち、マッピングの問い合わせ対象としてボリュームＩＤで指定されたボリューム２０６に対応するボリュームマッピングテーブル６２０を参照する。そして、マッピング応答プログラム５０８は、当該ボリュームマッピングテーブル６２０におけるエントリであって、問い合わせ対象として指定されたボリュームアドレスに対応するエントリを参照し、当該エントリに含まれる記憶領域アドレス（記憶媒体１０３の記憶領域のアドレス）を取得する。続けてステップＳ１１０３が実施される。
【0104】
ステップＳ１１０３：マッピング応答プログラム５０８は、ステップＳ１１０２で取得した記憶媒体１０３の記憶領域のアドレスを含むページのアドレスを特定し、メモリ２０２のメタデータ領域４０３に格納されたバージョンテーブル６３０を参照する。そして、マッピング応答プログラム５０８は、バージョンテーブル６３０から、特定したページの現在のバージョン番号を取得する。続けてステップＳ１１０４が実施される。
【0105】
ステップＳ１１０４：マッピング応答プログラム５０８は、ステップＳ１１０２およびステップＳ１１０３のそれぞれにおいて取得した記憶媒体１０３の記憶領域のアドレスおよびページのバージョン番号を、通信Ｉ／Ｆ２０３を介してマッピングの問い合わせ元であるコントローラ１０１Ａに応答し、一連の動作を終了する。
【0106】
図１２は、コントローラ１０１ＡからのＲｅａｄ要求を、記憶媒体ノード１０２が処理する一連の流れを示すフローチャート（記憶媒体Ｒｅａｄ処理）の一例を示す図である。図１２のフローチャートに基づく動作は以下の通りである。
【0107】
ステップＳ１２０１：コマンド処理プログラム８０１は、通信Ｉ／Ｆ３０３を介してコントローラ１０１Ａから記憶媒体１０３の記憶領域に関するＲｅａｄ要求を受信する。続けてステップＳ１２０２が実施される。
【0108】
ステップＳ１２０２：バージョン番号確認プログラム８０３は、ステップＳ１２０１で受信したＲｅａｄ要求から、Ｒｅａｄ先のアドレス（記憶媒体１０３の記憶領域のアドレス）を含むページのアドレスを計算（特定）する。続けてステップＳ１２０３が実施される。
【0109】
ステップＳ１２０３：バージョン番号確認プログラム８０３は、メモリ３０２のメタデータ領域７０３に格納されたバージョンテーブル９０１を参照する。そして、バージョン番号確認プログラム８０３は、ステップＳ１２０２で計算したページのアドレスに対応する現在のバージョン番号を取得する。続けてステップＳ１２０４が実施される。
【0110】
ステップＳ１２０４：バージョン番号確認プログラム８０３は、ステップＳ１２０１で受信したＲｅａｄ要求に含まれるバージョン番号と、ステップＳ１２０３で取得したバージョン番号とを比較する。バージョン番号が一致する場合はステップＳ１２０５が実施され、バージョン番号が一致しない場合はステップＳ１２０７が実施される。
【0111】
ステップＳ１２０５：Ｉ／Ｏ制御プログラム８０２は、記憶媒体１０３に対してＲｅａｄ要求を行い、ステップＳ１２０１で受信されたＲｅａｄ先のアドレスのデータを記憶媒体１０３から取得する。Ｉ／Ｏ制御プログラム８０２は、記憶媒体１０３から取得したデータをメモリ３０２のバッファ領域７０２に格納する。続けてステップＳ１２０６が実施される。
【0112】
ステップＳ１２０６：コマンド処理プログラム８０１は、バッファ領域７０２に格納されたＲｅａｄ結果のデータを、通信Ｉ／Ｆ３０３を介してコントローラ１０１ＡにＲｅａｄ要求の結果として転送し、一連の動作を終了する。
【0113】
ステップＳ１２０７：コマンド処理プログラム８０１は、通信Ｉ／Ｆ３０３を介してコントローラ１０１Ａに、Ｒｅａｄ要求の結果としてバージョン番号の不一致、即ちページ内のデータのマッピング情報が更新されたことを示すエラーを転送し、一連の動作を終了する。
【0114】
図１３は、ホスト１１０からＬＵ２０５へのＷｒｉｔｅ要求に関する、コントローラ１０１Ａにおける一連の流れを示すフローチャート（コントローラＷｒｉｔｅ処理）の一例を示す図である。図１３のフローチャートに基づく動作は以下の通りである。
【0115】
ステップＳ１３０１：コントローラ１０１Ａのコマンド処理プログラム５０１は、ホストＩ／Ｆ２０４を介して、ホスト１１０からＬＵ２０５に対するＷｒｉｔｅ要求と、Ｗｒｉｔｅデータとを受信する。また、コマンド処理プログラム５０１は、受信したＷｒｉｔｅデータをメモリ２０２のバッファ領域４０２に格納する。続けてステップＳ１３０２が実施される。
【0116】
ステップＳ１３０２：コマンド処理プログラム５０１は、自コントローラ１０１Ａが管理するボリューム２０６から、Ｗｒｉｔｅデータを格納するボリューム２０６を選択する。続けてステップＳ１３０３が実施される。
【0117】
ステップＳ１３０３：ボリューム制御プログラム５０４は、メモリ２０２のメタデータ領域４０３に格納されたボリュームマッピングテーブル６２０を参照し、Ｗｒｉｔｅデータの格納先とする記憶媒体１０３の記憶領域のアドレスを決定する。続けてステップＳ１３０４が実施される。
【0118】
ステップＳ１３０４：Ｉ／Ｏ制御プログラム５０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２に対して、ステップＳ１３０３で決定した記憶媒体１０３の記憶領域のアドレスへのＷｒｉｔｅ要求を送信する。また、Ｉ／Ｏ制御プログラム５０２は、メモリ２０２のバッファ領域４０２からステップＳ１３０１で格納されたＷｒｉｔｅデータを読み出し、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２にＷｒｉｔｅデータとして送信する。続けてステップＳ１３０５が実施される。
【0119】
ステップＳ１３０５：ボリューム制御プログラム５０４は、Ｗｒｉｔｅデータの格納先の記憶領域と関連付ける、ボリューム２０６のアドレスを決定する。そして、ボリュームマッピングテーブル６２０およびボリューム逆引きテーブル６４０に、関連付けるボリューム２０６のアドレスと、記憶媒体１０３の記憶領域のアドレスとを登録する。続けてステップＳ１３０６が実施される。
【0120】
ステップＳ１３０６：ＬＵ制御プログラム５０３は、メモリ２０２のメタデータ領域４０３に格納されたＬＵマッピングテーブル６１０における、ＬＵ２０５のＷｒｉｔｅ先のアドレスに対応するエントリに着目する。そして、ＬＵ制御プログラム５０３は、ステップＳ１３０２でＷｒｉｔｅデータの格納先に選択されたボリューム２０６を示すボリュームＩＤを当該エントリのボリュームＩＤ６１１に格納し、Ｗｒｉｔｅ先の記憶領域に関連付けられたボリューム２０６のアドレスを当該エントリのボリュームアドレス６１２に格納する。続けてステップＳ１３０７が実施される。
【0121】
ステップＳ１３０７：コマンド処理プログラム５０１は、ホストＩ／Ｆ２０４を介して、Ｗｒｉｔｅ要求の処理が完了したことをホスト１１０に応答し、一連の動作を終了する。
【0122】
図１４は、ＧＣに伴うページのバージョン番号更新に関するコントローラ１０１Ａおよび記憶媒体ノード１０２における一連の流れを示すフローチャート（バージョン管理処理）の一例を示す図である。図１４のフローチャートに基づく動作は以下の通りである。
【0123】
ステップＳ１４０１：コントローラ１０１Ａのバージョン管理プログラム５０６は、メモリ２０２のメタデータ領域４０３に格納されたバージョンテーブル６３０を参照し、ＧＣプログラム５０５によりデータの退避処理の対象となったページのバージョン番号を取得する。続けてステップＳ１４０２が実施される。
【0124】
ステップＳ１４０２：コントローラ１０１Ａのバージョン管理プログラム５０６は、ステップＳ１４０１で取得したページのバージョン番号を「１」加算してバージョンテーブル６３０を更新する。続けてステップＳ１４０３が実施される。
【0125】
ステップＳ１４０３：コントローラ１０１Ａのバージョン管理プログラム５０６は、ＧＣプログラム５０５によりデータの退避処理の対象となったページに関する記憶媒体１０３の記憶領域のアドレスと、更新したページのバージョン番号とを、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２に送信することでページのバージョン番号が更新されたことを通知する。続けてステップＳ１４０４が実施される。
【0126】
ステップＳ１４０４：記憶媒体ノード１０２のバージョン番号更新プログラム８０４は、通信Ｉ／Ｆ３０３を介してコントローラ１０１Ａからページのバージョン番号の更新通知を受信する。そして、バージョン番号更新プログラム８０４は、メモリ３０２のメタデータ領域７０３に格納されたバージョンテーブル９０１において、通知を受けたページのバージョン番号を更新し、一連の動作を終了する。
【0127】
なお、ステップＳ１４０３の動作において、バージョン番号の更新は「１」を加算する方法に限定されない。また、ステップＳ１４０３の動作における、コントローラ１０１Ａから記憶媒体ノード１０２に対するページのバージョン番号の更新通知は、ページのアドレスを含み、更新したページのバージョン番号を含まない構成としてもよい。この場合、記憶媒体ノード１０２のバージョン番号更新プログラム８０４は、ステップＳ１４０４の動作においてバージョンテーブル９０１を参照して更新前のページのバージョン番号を取得し、バージョン番号を更新してバージョンテーブル９０１に格納する必要がある。
【0128】
図１５は、コントローラ１０１Ｂが制御（管理）していたＬＵ２０５をコントローラ１０１Ａに移動してコントローラ１０１Ａで制御する初期化処理の一連の流れを示すフローチャート（ＬＵ移動処理）の一例を示す図である。図１５のフローチャートに基づく動作は以下の通りである。
【0129】
ステップＳ１５０１：ＬＵ２０５の移動先であるコントローラ１０１Ａにおいて、ＬＵ制御プログラム５０３は、移動対象のＬＵ２０５に対応するエントリを、自コントローラ１０１Ａのメモリ２０２のメタデータ領域４０３に格納されているＬＵマッピングテーブル６１０に作成する。続けてステップＳ１５０２が実施される。
【0130】
ステップＳ１５０２：ＬＵ２０５の移動元であるコントローラ１０１Ｂにおいて、ＬＵ制御プログラム５０３は、自コントローラ１０１Ｂのメモリ２０２のメタデータ領域４０３に格納されているＬＵマッピングテーブル６１０から、移動対象のＬＵ２０５に対応する各エントリのボリュームＩＤ６１１およびボリュームアドレス６１２を取得し、通信Ｉ／Ｆ２０３を介してコントローラ１０１Ａに転送する。続けてステップＳ１５０３が実施される。
【0131】
ステップＳ１５０３：コントローラ１０１ＡのＬＵ制御プログラム５０３は、通信Ｉ／Ｆ２０３を介してコントローラ１０１Ｂから移動対象のＬＵ２０５に対応する各エントリのボリュームＩＤ６１１およびボリュームアドレス６１２を受信する。そして、ＬＵ制御プログラム５０３は、ステップＳ１５０１で作成したＬＵマッピングテーブル６１０の各エントリに格納する。続けてステップＳ１５０４が実施される。
【0132】
ステップＳ１５０４：コントローラ１０１ＡのＬＵ制御プログラム５０３は、ステップＳ１５０３でボリュームＩＤ６１１およびボリュームアドレス６１２を格納した、ＬＵマッピングテーブル６１０の各エントリについて問い合わせ済フラグ６１４を「０」にリセットする。続けてステップＳ１５０５が実施される。
【0133】
ステップＳ１５０５：コントローラ１０１ＢのＬＵ制御プログラム５０３は、ＬＵマッピングテーブル６１０から移動対象のＬＵ２０５に対応するエントリを削除し、一連の動作を終了する。
【0134】
本実施の形態によれば、複数のコントローラが記憶媒体を共有するストレージシステムにおいて、コントローラ間で更新の通知先を特定することを目的としたマッピング情報の参照を回避しつつ、コントローラ間のマッピング情報の同期が可能である。マッピング情報の参照を回避しつつコントローラ間でマッピング情報の同期を行うことで、コントローラのＧＣおよびＷｒｉｔｅ処理におけるオーバーヘッドの発生を回避し、性能低下の発生を抑制する。
【0135】
（２）第２の実施の形態
本実施の形態では、複数のコントローラが記憶媒体を共有するストレージシステムにおいて、各コントローラが記憶媒体ノードに対してＲｅａｄ要求を行う際に、コントローラ内で事前に参照したマッピング情報が更新されているかを確認する例を説明する。なお、本実施の形態は、本発明における請求の範囲を限定するものではなく、実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。また、本実施の形態の説明では、第１の実施の形態における構成および動作の差分を説明し、説明を行わない構成および動作については第１の実施の形態と同一としてよい。
本実施の形態では、複数のコントローラが記憶媒体を共有するストレージシステムにおいて、各コントローラが記憶媒体ノードに対してＲｅａｄ要求を行う際に、コントローラ内で事前に参照したマッピング情報が更新されているかを確認する例を説明する。なお、本実施の形態は、本発明における請求の範囲を限定するものではなく、実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。また、本実施の形態の説明では、第１の実施の形態における構成および動作の差分を説明し、説明を行わない構成および動作については第１の実施の形態と同一としてよい。
【0136】
図１６は、コントローラ１０１のメモリ２０２に含まれるプログラム領域４０１の構成の一例を示す図である。
【0137】
プログラム領域４０１には、コマンド処理プログラム５０１と、Ｉ／Ｏ制御プログラム５０２と、ＬＵ制御プログラム５０３と、ボリューム制御プログラム５０４と、ＧＣプログラム５０５と、バージョン管理プログラム１６０６と、マッピング問い合わせプログラム５０７と、マッピング応答プログラム５０８と、バージョン番号確認プログラム１６０９と、バージョン番号更新プログラム１６１０とが格納される。
【0138】
バージョン管理プログラム１６０６は、ＧＣプログラム５０５から指示されたページのバージョン番号を更新し、通信Ｉ／Ｆ２０３を介して他コントローラ１０１に対して当該ページのバージョン番号の更新を通知する。
【0139】
バージョン番号確認プログラム１６０９は、記憶媒体１０３の記憶領域におけるＲｅａｄ予定のアドレスに対応するページを特定し、特定したページのバージョン番号と、参照したボリューム２０６のマッピング情報に対応付けられたバージョン番号とを比較し、参照したマッピング情報に対応付けられたバージョン番号がページのバージョン番号と一致するか否かを判定する。
【0140】
バージョン番号更新プログラム１６１０は、通信Ｉ／Ｆ２０３を介して他コントローラ１０１からページのアドレスと、新しいバージョン番号とを受け取り、記憶媒体ノード１０２が持つ、各ページのバージョン番号の情報を更新する。なお、バージョン番号更新プログラム１６１０がコントローラ１０１から受け取る、ページのバージョン番号の更新に関する通知は、上記形式に限定されない。例えば、各ページのバージョン番号が「０」から始まり、更新時に必ず「１」ずつ加算される場合は、各ページのバージョン番号を「０」で予め初期化しておき、コントローラ１０１からバージョン番号が変更されたページのアドレスのみを受け取る形式であってもよい。
【0141】
図１７は、コントローラ１０１のメモリ２０２に含まれるメタデータ領域４０３の構成の一例を示す図である。
【0142】
メタデータ領域４０３は、ＬＵマッピングテーブル６１０と、ボリュームマッピングテーブル６２０と、バージョンテーブル６３０と、ボリューム逆引きテーブル６４０と、外部バージョンテーブル１７５０とを備える。
【0143】
外部バージョンテーブル１７５０は、記憶媒体１０３の記憶領域に含まれる他コントローラ１０１が管理する各ページの現在のバージョン番号を格納する。
【0144】
図１８は、記憶媒体ノード１０２に含まれるメモリ３０２の領域（格納データの構成）の一例を示す図である。メモリ３０２は、プログラム領域７０１と、バッファ領域７０２とを備える。
【0145】
図１９は、記憶媒体ノード１０２のメモリ３０２に含まれるプログラム領域７０１の構成の一例を示す図である。プログラム領域７０１には、コマンド処理プログラム８０１と、Ｉ／Ｏ制御プログラム８０２とが格納される。
【0146】
図２０Ａおよび図２０Ｂは、ホスト１１０からＬＵ２０５へのＲｅａｄ要求に関する、コントローラ１０１Ａにおける一連の流れを示すフローチャート（コントローラＲｅａｄ処理）の一例を示す図である。図２０Ａおよび図２０Ｂのフローチャートに基づく動作は以下の通りである。
【0147】
ステップＳ２００１：コントローラ１０１Ａのコマンド処理プログラム５０１は、ホストＩ／Ｆ２０４を介して、ホスト１１０からＬＵ２０５に対するＲｅａｄ要求を受信する。続けてステップＳ２００２が実施される。
【0148】
ステップＳ２００２：ＬＵ制御プログラム５０３は、コマンド処理プログラム５０１からＲｅａｄ先のアドレス（例えば、ＬＵ２０５のアドレス）を受け取り、メモリ２０２上のメタデータ領域４０３から、ＬＵマッピングテーブル６１０のＲｅａｄ先のアドレスに対応するエントリを参照する。続けてステップＳ２００３が実施される。
【0149】
ステップＳ２００３：ＬＵ制御プログラム５０３は、ステップＳ２００２で参照したエントリのボリュームＩＤ６１１およびボリュームマッピングテーブル６２０を参照し、コントローラ１０１Ａが参照先のボリューム２０６を持つかを確認する。その結果、参照先のボリューム２０６を自コントローラ１０１Ａが管理している場合は、ステップＳ２００４が実施され、それ以外、即ち他コントローラ１０１Ｂが管理する場合は、ステップＳ２００６が実施される。なお、ＬＵ制御プログラム５０３は、アクセス先が自コントローラ１０１Ａのボリューム２０６である場合は、エントリが初期化済みであるか確認する処理を行い、初期化済でない場合はＲｅａｄ先の記憶領域のアドレスおよびバージョン番号を取得することで、バージョン番号の比較処理を省略できる。
【0150】
ステップＳ２００４：ボリューム制御プログラム５０４は、ステップＳ２００２で参照されたエントリに含まれるボリュームＩＤ６１１に対応するボリュームマッピングテーブル６２０を参照する。そして、ボリューム制御プログラム５０４は、ステップＳ２００２で参照されたエントリに含まれるボリュームアドレス６１２に対応する当該ボリュームマッピングテーブル６２０のエントリを参照し、Ｒｅａｄ先のＬＵ２０５のアドレスに対応する、記憶媒体１０３の記憶領域のアドレスを取得する。続けてステップＳ２００５が実施される。
【0151】
ステップＳ２００５：ＬＵ制御プログラム５０３は、ステップＳ２００２で参照したエントリに含まれる問い合わせ済フラグ６１４を参照し、マッピングを問い合わせ済であるかを確認する。マッピングを問い合わせ済である場合はステップＳ２００６が実施され、マッピングを問い合わせ済でない場合はステップＳ２０１０が実施される。
【0152】
ステップＳ２００６：ＬＵ制御プログラム５０３は、ＬＵマッピングテーブル６１０を参照し、ステップＳ２００２で参照したエントリに含まれる記憶領域アドレス６１３およびバージョン番号６１５を、Ｒｅａｄ先のＬＵ２０５のアドレスに対応する記憶媒体１０３の記憶領域のアドレスおよびＲｅａｄ先のＬＵ２０５のアドレスに対応するページのバージョン番号として取得する。続けてステップＳ２００７が実施される。
【0153】
ステップＳ２００７：バージョン番号確認プログラム１６０９は、ステップＳ２００６で取得された記憶媒体１０３の記憶領域のアドレスを含むページのアドレスを計算する。続けてステップＳ２００８が実施される。
【0154】
ステップＳ２００８：バージョン番号確認プログラム１６０９は、メモリ２０２のメタデータ領域４０３に格納された、外部バージョンテーブル１７５０を参照する。そして、バージョン番号確認プログラム１６０９は、ステップＳ２００７で計算したページのアドレスに関する現在のバージョン番号を取得する。続けてステップＳ２００９が実施される。
【0155】
ステップＳ２００９：バージョン番号確認プログラム１６０９は、ステップＳ２００６でＬＵマッピングテーブル６１０のエントリから取得されたバージョン番号と、ステップＳ２００８で外部バージョンテーブル１７５０から取得したページのバージョン番号とを比較する。そして、バージョン番号が一致する場合は、ステップＳ２０１１が実施され、バージョン番号が一致しない場合はステップＳ２０１０が実施される。
【0156】
ステップＳ２０１０：マッピング問い合わせプログラム５０７は、ステップＳ２００２で参照されたエントリに含まれるボリュームＩＤ６１１およびボリュームアドレス６１２に関するマッピング情報を、ボリューム２０６を管理するコントローラ１０１Ｂに問い合わせる。そして、マッピング問い合わせプログラム５０７は、コントローラ１０１Ｂから問い合わせ結果として、上記ボリュームＩＤ６１１およびボリュームアドレス６１２に対応する記憶媒体１０３の記憶領域のアドレスと当該アドレスを含むページのバージョン番号とを取得する。マッピング問い合わせプログラム５０７は、ステップＳ２００２で参照されたＬＵマッピングテーブル６１０のエントリに含まれる記憶領域アドレス６１３とバージョン番号６１５とに、取得したアドレスとバージョン番号とを格納し、当該エントリの問い合わせ済フラグ６１４を「１」にセットする。続けてステップＳ２０１２が実施される。
【0157】
ステップＳ２０１１：Ｉ／Ｏ制御プログラム５０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２に対して、記憶媒体１０３の記憶領域における、取得したアドレスのＲｅａｄ要求を行う。続けてステップＳ２０１２が実施される。
【0158】
ステップＳ２０１２：Ｉ／Ｏ制御プログラム５０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２からステップＳ２０１１のＲｅａｄ要求に関する応答を受信すると共に、Ｒｅａｄ結果のデータをメモリ２０２のバッファ領域４０２に格納する。続けてステップＳ２０１３が実施される。
【0159】
ステップＳ２０１３：コマンド処理プログラム５０１は、バッファ領域４０２に格納されたＲｅａｄ結果のデータを、ホストＩ／Ｆ２０４を介してホスト１１０にＲｅａｄ要求の結果として転送し、一連の動作を終了する。
【0160】
図２１は、コントローラ１０１ＡからのＲｅａｄ要求を、記憶媒体ノード１０２が処理する一連の流れを示すフローチャート（記憶媒体Ｒｅａｄ処理）の一例を示す図である。図２１のフローチャートに基づく動作は以下の通りである。
【0161】
ステップＳ２１０１：コマンド処理プログラム８０１は、通信Ｉ／Ｆ３０３を介してコントローラ１０１Ａから記憶媒体１０３の記憶領域に関するＲｅａｄ要求を受信する。続けてステップＳ２１０２が実施される。
【0162】
ステップＳ２１０２：Ｉ／Ｏ制御プログラム８０２は、記憶媒体１０３に対してＲｅａｄ要求を行い、ステップＳ２１０１で受信されたＲｅａｄ先のアドレスのデータを記憶媒体１０３から取得する。Ｉ／Ｏ制御プログラム８０２は、記憶媒体１０３から取得したデータをメモリ３０２のバッファ領域７０２に格納する。続けてステップＳ２１０３が実施される。
【0163】
ステップＳ２１０３：コマンド処理プログラム８０１は、バッファ領域７０２に格納されたＲｅａｄ結果のデータを、通信Ｉ／Ｆ３０３を介してコントローラ１０１ＡにＲｅａｄ要求の結果として転送し、一連の動作を終了する。
【0164】
図２２は、コントローラ１０１Ａで実施したＧＣに伴うページのバージョン番号更新について、コントローラ１０１Ａにおける一連の流れを示すフローチャート（バージョン管理処理）の一例を示す図である。図２２のフローチャートに基づく動作は以下の通りである。
【0165】
ステップＳ２２０１：コントローラ１０１Ａのバージョン管理プログラム１６０６は、メモリ２０２のメタデータ領域４０３に格納されたバージョンテーブル６３０を参照し、ＧＣプログラム５０５によりデータの退避処理の対象となったページのバージョン番号を取得する。続けてステップＳ２２０２が実施される。
【0166】
ステップＳ２２０２：コントローラ１０１Ａのバージョン管理プログラム１６０６は、ステップＳ２２０１で取得したページのバージョン番号を「１」加算してバージョンテーブル６３０を更新する。続けてステップＳ２２０３が実施される。
【0167】
ステップＳ２２０３：コントローラ１０１Ａのバージョン管理プログラム１６０６は、ＧＣプログラム５０５によりデータの退避処理の対象となったページに関する、記憶媒体１０３の記憶領域のアドレスと、更新したページのバージョン番号とを、通信Ｉ／Ｆ２０３を介して他の全てのコントローラ１０１、即ちコントローラ１０１Ｂに送信することでページのバージョン番号が更新されたことを通知する。続けてステップＳ２２０４が実施される。
【0168】
ステップＳ２２０４：他コントローラ１０１Ｂのバージョン番号更新プログラム１６１０は、通信Ｉ／Ｆ２０３を介してコントローラ１０１Ａからページのバージョン番号の更新通知を受信する。そして、バージョン番号更新プログラム１６１０は、メモリ２０２のメタデータ領域４０３に格納された外部バージョンテーブル１７５０において、通知を受けたページのバージョン番号を更新し、一連の動作を終了する。
【0169】
本実施の形態によれば、複数のコントローラが記憶媒体を共有するストレージシステムにおいて、コントローラ間で更新の通知先を特定することを目的としたマッピング情報の参照を回避しつつ、コントローラ間のマッピング情報の同期が可能であることに加え、マッピング情報が更新されていた場合に、記憶媒体ノードに対するＲｅａｄ要求を回避できる。マッピング情報の参照を回避しつつコントローラ間でマッピング情報の同期を行うことで、コントローラのＧＣおよびＷｒｉｔｅ処理におけるオーバーヘッドの発生を回避し、性能低下の発生を抑制する。
【0170】
（ＩＩＩ）付記
本発明は、上述の実施の形態に限定されず、様々な派生形が含まれる。例えば、上述の実施の形態では、コントローラ１０１の各機能がプロセッサ２０１で動作するソフトウェアとされているが、機能の一部または全てはハードウェアによる実装であってもよい。また、上述の実施の形態において、コントローラ１０１、記憶媒体ノード１０２は、ネットワーク１０４で接続されているが、これらは同一筐体、同一ハードウェア内のバス、バックプレーン等による接続であってもよい。加えて、上述の実施の形態において、コントローラ１０１のＬＵマッピングテーブル６１０、ボリュームマッピングテーブル６２０、バージョンテーブル６３０、ボリューム逆引きテーブル６４０は、メモリ２０２のメタデータ領域４０３に格納されているが、一部または全てが記憶媒体ノード１０２に接続された記憶媒体１０３から構成される記憶領域に格納されていてもよい。
本発明は、上述の実施の形態に限定されず、様々な派生形が含まれる。例えば、上述の実施の形態では、コントローラ１０１の各機能がプロセッサ２０１で動作するソフトウェアとされているが、機能の一部または全てはハードウェアによる実装であってもよい。また、上述の実施の形態において、コントローラ１０１、記憶媒体ノード１０２は、ネットワーク１０４で接続されているが、これらは同一筐体、同一ハードウェア内のバス、バックプレーン等による接続であってもよい。加えて、上述の実施の形態において、コントローラ１０１のＬＵマッピングテーブル６１０、ボリュームマッピングテーブル６２０、バージョンテーブル６３０、ボリューム逆引きテーブル６４０は、メモリ２０２のメタデータ領域４０３に格納されているが、一部または全てが記憶媒体ノード１０２に接続された記憶媒体１０３から構成される記憶領域に格納されていてもよい。
【0171】
上述の実施の形態においては、本発明をストレージシステムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
【0172】
また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
【0173】
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0174】
上述した実施の形態は、例えば、以下の特徴的な構成を備える。
【0175】
（１）
複数のコントローラ（例えば、コントローラ１０１）と、上記複数のコントローラがアクセスする記憶装置（例えば、記憶媒体ノード１０２）と、を備え、上記記憶装置の記憶領域（例えば、ページであってもよいし、記憶媒体１０３であってもよい）に対するデータの管理が上記複数のコントローラの何れかのコントローラに割り当てられているストレージシステム（例えば、ストレージシステム１００）であって、第１のコントローラ（例えば、ＬＵ２０５の移動先のコントローラ１０１）は、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報（例えば、ＬＵマッピングテーブル６１０およびボリュームマッピングテーブル６２０、または、ＬＵアドレス、ボリュームＩＤ、ボリュームアドレス、記憶領域アドレス等）と、第２のコントローラに管理が割り当てられている所定の記憶領域（例えば、所定のＬＵに対応するページ）に記憶されたデータにアクセスするための第２のマッピング情報（例えば、ＬＵマッピングテーブル６１０、または、ボリュームＩＤ、ボリュームアドレス、記憶領域アドレス等）とを管理し、上記第２のコントローラは、上記所定の記憶領域についてガベージコレクション（例えば、ＧＣ）を実施した場合、上記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、上記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更し、上記第１のコントローラは、上記ガベージコレクション後に上記所定の記憶領域のデータに上記第２のマッピング情報を用いてアクセスする際（例えば、所定の記憶領域のデータのＲｅａｄ要求の際、問い合わせ済フラグが「０」であるデータであって、他コントローラにより管理されている記憶領域のデータのＲｅａｄ要求を所定のタイミングで実行する際）、上記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、上記第２のコントローラから上記移動後のマッピング情報を取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新する。
複数のコントローラ（例えば、コントローラ１０１）と、上記複数のコントローラがアクセスする記憶装置（例えば、記憶媒体ノード１０２）と、を備え、上記記憶装置の記憶領域（例えば、ページであってもよいし、記憶媒体１０３であってもよい）に対するデータの管理が上記複数のコントローラの何れかのコントローラに割り当てられているストレージシステム（例えば、ストレージシステム１００）であって、第１のコントローラ（例えば、ＬＵ２０５の移動先のコントローラ１０１）は、自コントローラに管理が割り当てられている記憶領域に記憶したデータにアクセスするための第１のマッピング情報（例えば、ＬＵマッピングテーブル６１０およびボリュームマッピングテーブル６２０、または、ＬＵアドレス、ボリュームＩＤ、ボリュームアドレス、記憶領域アドレス等）と、第２のコントローラに管理が割り当てられている所定の記憶領域（例えば、所定のＬＵに対応するページ）に記憶されたデータにアクセスするための第２のマッピング情報（例えば、ＬＵマッピングテーブル６１０、または、ボリュームＩＤ、ボリュームアドレス、記憶領域アドレス等）とを管理し、上記第２のコントローラは、上記所定の記憶領域についてガベージコレクション（例えば、ＧＣ）を実施した場合、上記所定の記憶領域に記憶したデータにアクセスするためのマッピング情報を、上記ガベージコレクションによる移動後のデータにアクセスするための移動後のマッピング情報に変更し、上記第１のコントローラは、上記ガベージコレクション後に上記所定の記憶領域のデータに上記第２のマッピング情報を用いてアクセスする際（例えば、所定の記憶領域のデータのＲｅａｄ要求の際、問い合わせ済フラグが「０」であるデータであって、他コントローラにより管理されている記憶領域のデータのＲｅａｄ要求を所定のタイミングで実行する際）、上記第２のマッピング情報のうち、アクセスに使用する情報がガベージコレクションに伴い更新されている場合、上記第２のコントローラから上記移動後のマッピング情報を取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新する。
【0176】
上記構成では、例えば、ガベージコレクションが実施された記憶領域のデータにマッピング情報を用いてアクセスする際に、ガベージコレクションに伴うマッピング情報の更新を実行することで、コントローラ間で更新通知を行うことを目的としたマッピング情報の参照を回避する。上記構成によれば、例えば、ガベージコレクションにおけるマッピング情報の参照に伴うオーバーヘッドの発生を抑制し、ガベージコレクションの性能低下を抑制することが可能である。
【0177】
（２）
上記記憶装置は、上記所定の記憶領域のデータの読み出し要求と、上記第２のマッピング情報が登録されたとき（例えば、マッピングの問い合わせ時）の上記所定の記憶領域のバージョンを示す所定のバージョン情報とを上記第１のコントローラから受信した場合、上記所定の記憶領域の最新のバージョンのバージョン情報と、上記所定のバージョン情報とが一致するか否かを判定し（例えば、ステップＳ１２０４参照）、一致しないときは、上記所定のバージョン情報が更新されていることを示す応答情報を上記第１のコントローラに送信し（例えば、ステップＳ１２０７参照）、上記第１のコントローラは、上記応答情報を受信した場合、上記第２のコントローラから上記移動後のマッピング情報を取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新する（例えば、ステップＳ１０１０およびステップＳ１００８参照）。
上記記憶装置は、上記所定の記憶領域のデータの読み出し要求と、上記第２のマッピング情報が登録されたとき（例えば、マッピングの問い合わせ時）の上記所定の記憶領域のバージョンを示す所定のバージョン情報とを上記第１のコントローラから受信した場合、上記所定の記憶領域の最新のバージョンのバージョン情報と、上記所定のバージョン情報とが一致するか否かを判定し（例えば、ステップＳ１２０４参照）、一致しないときは、上記所定のバージョン情報が更新されていることを示す応答情報を上記第１のコントローラに送信し（例えば、ステップＳ１２０７参照）、上記第１のコントローラは、上記応答情報を受信した場合、上記第２のコントローラから上記移動後のマッピング情報を取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新する（例えば、ステップＳ１０１０およびステップＳ１００８参照）。
【0178】
上記構成では、例えば、各コントローラにおけるマッピング情報を用いた読み出し要求の際に、ガベージコレクションに伴うマッピング情報の更新を実行することで、コントローラ間で更新通知を行うことを目的としたマッピング情報の参照を回避する。また、上記構成では、例えば、記憶装置においてマッピング情報の更新の必要性の判断が行われるので、コントローラが増減する場合でも、各記憶領域の最新のバージョンの管理が容易となる。
【0179】
（３）
上記第２のコントローラは、上記ガベージコレクションを実施した場合、上記所定の記憶領域のバージョンを更新したことを示す更新済のバージョン情報（例えば、バージョン番号であってもよいし、現在のバージョンとは異なるバージョンであってもよい）を上記記憶装置に送信し（例えば、ステップＳ１４０３参照）、上記記憶装置は、上記第２のコントローラから上記更新済のバージョン情報を受信した場合、上記更新済のバージョン情報を上記所定の記憶領域の最新のバージョン情報として管理し（例えば、ステップＳ１４０４参照）、上記第１のコントローラは、上記応答情報を受信した場合、上記移動後のマッピング情報と上記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを上記第２のコントローラから取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新し、上記所定の記憶領域の上記所定のバージョン情報を上記移動後の記憶領域の上記移動後のバージョン情報に変更する（例えば、ステップＳ１００８参照）。
上記第２のコントローラは、上記ガベージコレクションを実施した場合、上記所定の記憶領域のバージョンを更新したことを示す更新済のバージョン情報（例えば、バージョン番号であってもよいし、現在のバージョンとは異なるバージョンであってもよい）を上記記憶装置に送信し（例えば、ステップＳ１４０３参照）、上記記憶装置は、上記第２のコントローラから上記更新済のバージョン情報を受信した場合、上記更新済のバージョン情報を上記所定の記憶領域の最新のバージョン情報として管理し（例えば、ステップＳ１４０４参照）、上記第１のコントローラは、上記応答情報を受信した場合、上記移動後のマッピング情報と上記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを上記第２のコントローラから取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新し、上記所定の記憶領域の上記所定のバージョン情報を上記移動後の記憶領域の上記移動後のバージョン情報に変更する（例えば、ステップＳ１００８参照）。
【0180】
（４）
上記記憶装置は、上記応答情報として、上記所定の記憶領域のデータの読み出しに失敗したことを示すエラー情報を上記第１のコントローラに送信する（例えば、ステップＳ１２０７参照）。
上記記憶装置は、上記応答情報として、上記所定の記憶領域のデータの読み出しに失敗したことを示すエラー情報を上記第１のコントローラに送信する（例えば、ステップＳ１２０７参照）。
【0181】
（５）
上記第１のコントローラは、上記所定の記憶領域のデータの読み出し要求に基づいて、上記所定の記憶領域の最新のバージョンのバージョン情報と、上記第２のマッピング情報が登録されたときの上記所定の記憶領域のバージョンを示す所定のバージョン情報とが一致するか否かを判定し（例えば、ステップＳ２００９参照）、一致しないときは、上記第２のコントローラから上記移動後のマッピング情報を取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新する（例えば、ステップＳ２０１０参照）。
上記第１のコントローラは、上記所定の記憶領域のデータの読み出し要求に基づいて、上記所定の記憶領域の最新のバージョンのバージョン情報と、上記第２のマッピング情報が登録されたときの上記所定の記憶領域のバージョンを示す所定のバージョン情報とが一致するか否かを判定し（例えば、ステップＳ２００９参照）、一致しないときは、上記第２のコントローラから上記移動後のマッピング情報を取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新する（例えば、ステップＳ２０１０参照）。
【0182】
上記構成では、例えば、各コントローラにおけるマッピング情報を用いた読み出し要求の際に、ガベージコレクションに伴うマッピング情報の更新を実行することで、コントローラ間で更新通知を行うことを目的としたマッピング情報の参照を回避する。また、上記構成では、例えば、各コントローラにおいてマッピング情報の更新の必要性の判断が行われるので、マッピング情報の更新の必要性の判断が記憶装置で行われる場合と比べて、記憶領域のデータの読み出しにおけるコントローラおよび記憶装置間の通信を抑制することができる。
【0183】
（６）
上記第２のコントローラは、上記ガベージコレクションを実施した場合、上記所定の記憶領域のバージョンを更新したことを示す更新済のバージョン情報を他の全てのコントローラに送信し（例えば、ステップＳ２２０３参照）、上記更新済のバージョン情報を受信したコントローラは、上記更新済のバージョン情報を上記所定の記憶領域の最新のバージョン情報として管理し（例えば、ステップＳ２２０４参照）、上記第１のコントローラは、上記最新のバージョンのバージョン情報と上記所定のバージョン情報とが一致しない場合、上記移動後のマッピング情報と上記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを上記第２のコントローラから取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新し、上記所定の記憶領域の上記所定のバージョン情報を上記移動後の記憶領域の上記移動後のバージョン情報に変更する（例えば、ステップＳ２０１０参照）。
上記第２のコントローラは、上記ガベージコレクションを実施した場合、上記所定の記憶領域のバージョンを更新したことを示す更新済のバージョン情報を他の全てのコントローラに送信し（例えば、ステップＳ２２０３参照）、上記更新済のバージョン情報を受信したコントローラは、上記更新済のバージョン情報を上記所定の記憶領域の最新のバージョン情報として管理し（例えば、ステップＳ２２０４参照）、上記第１のコントローラは、上記最新のバージョンのバージョン情報と上記所定のバージョン情報とが一致しない場合、上記移動後のマッピング情報と上記ガベージコレクションによる移動後のデータが記憶されている移動後の記憶領域のバージョンを示す移動後のバージョン情報とを上記第２のコントローラから取得し、上記移動後のマッピング情報を用いて上記第２のマッピング情報を更新し、上記所定の記憶領域の上記所定のバージョン情報を上記移動後の記憶領域の上記移動後のバージョン情報に変更する（例えば、ステップＳ２０１０参照）。
【0184】
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
【符号の説明】
【0185】
１００……ストレージシステム、１０１……コントローラ、１０２……記憶媒体ノード。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図21】
【図22】