(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】ストレージシステム及びストレージシステムの制御方法
(51)【国際特許分類】
G06F 13/14 20060101AFI20221220BHJP
G06F 3/06 20060101ALI20221220BHJP
G06F 13/10 20060101ALI20221220BHJP
G06F 11/20 20060101ALI20221220BHJP
【ＦＩ】
G06F13/14 310H
G06F3/06 301Z
G06F13/10 340A
G06F13/14 330E
G06F11/20 671
G06F11/20 689
【請求項の数】
9
(21)【出願番号】P 2020163134
(22)【出願日】2020-09-29
(65)【公開番号】P2022055614
(43)【公開日】2022-04-08
【審査請求日】2021-05-12
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】達見 良介
(72)【発明者】
【氏名】山本 彰
(72)【発明者】
【氏名】松上 一樹
【審査官】松平 英
(56)【参考文献】
【文献】特開２０２０－１０６９９９（ＪＰ，Ａ）
【文献】国際公開第２０１６／０７５７６５（ＷＯ，Ａ１）
【文献】国際公開第２０１５／０６８２３９（ＷＯ，Ａ１）
【文献】特開２０１７－０９１３５５（ＪＰ，Ａ）
【文献】特表２０１３－５３６４７８（ＪＰ，Ａ）
【文献】特開２０２０－０７７１３７（ＪＰ，Ａ）
【文献】特開２０１８－１０１４４０（ＪＰ，Ａ）
【文献】特開２０１７－０１０３９０（ＪＰ，Ａ）
【文献】特開２０１６－０５７８７２（ＪＰ，Ａ）
【文献】特開２０１６－２１２５３０（ＪＰ，Ａ）
【文献】特開２０１５－２０７２７７（ＪＰ，Ａ）
【文献】国際公開第２０１１／１３５６３５（ＷＯ，Ａ１）
【文献】特開平１１－２９６３１３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２６９８３８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／００
３／０６－３／０８
３／１８
１１／１６－１１／２０
１２／０８－１２／１２８
１３／１０－１３／１４
１３／２０－１３／４２
１６／００－１６／９５８
(57)【特許請求の範囲】
【請求項1】
プロセッサとメモリとポートとを有する複数のストレージ制御部を有するノードと、データを格納する記憶媒体を有するストレージドライブと、を有するストレージシステムであって、前記ストレージ制御部のプロセッサは、ホスト計算機がデータ入出力を行う論理ユニットを提供し、
前記論理ユニットは、同じノード内の異なる複数のストレージ制御部にかかる複数のポートに対応付けられており、
前記複数のストレージ制御部は、それぞれ、
その複数の前記ポートを介して、ホスト計算機とデータアクセス要求及びデータの送受信を行い、
その複数の前記プロセッサが、ホスト計算機が前記ストレージドライブに入出力するデータを処理し、
その複数の前記メモリが、前記ストレージドライブに格納されたデータへアクセスするために前記プロセッサが参照する制御情報を保持し、
前記ストレージシステムは、前記ストレージ制御部のメモリに記憶された制御情報を複数のストレージ制御部を有する他のノードに送信してそのストレージ制御部のメモリに格納し、前記他のノードが前記制御情報にかかるデータアクセスを実行可能にする場合に、前記同じ論理ユニットに関係付けられた複数のポートを、前記他のノードの異なるストレージ制御部に関係つけるよう、前記ポートが担当する論理ユニットを決めることによって、前記ノードのストレージ制御部とポートとの関係を考慮しながら前記他のノードのポートの設定を行う
ことを特徴とするストレージシステム。
【請求項2】
請求項１に記載のストレージシステムであって、
前記異なる複数のストレージ制御部は、前記論理ユニットへのデータ入出力について、負荷分散処理または障害時の引き継ぎの少なくともいずれかが可能である
ことを特徴とするストレージシステム。
【請求項3】
請求項１に記載のストレージシステムであって、
前記ノードの異なるストレージ制御部に関係付けられ異なる論理ユニットに関係付けられた複数のポートを、前記他のノードの同じストレージ制御部に関係つけるポート設定が可能である
ことを特徴とするストレージシステム。
【請求項4】
請求項１に記載のストレージシステムであって、
前記ノードは、それぞれ複数のポートを有する第１のストレージ制御部及び第２のストレージ制御部を有し、
前記他のノードは、それぞれ複数のポートを有する第３のストレージ制御部及び第４のストレージ制御部を有し、
前記第１のストレージ制御部及び前記第２のストレージ制御部は、同じ制御情報を共有し、
前記第１のストレージ制御部及び前記第２のストレージ制御部が有する制御情報が前記他のノードへ送信されたら、前記第３のストレージ制御部及び前記第４のストレージ制御部は、前記制御情報をそれぞれのメモリに格納して同じ制御情報を共有し、前記第１のストレージ制御部のポートの情報を前記第３のストレージ制御部のポートが引き継ぎ、前記第２のストレージ制御部のポートの情報を前記第４のストレージ制御部のポートが引き継ぐ
ことを特徴とするストレージシステム。
【請求項5】
請求項１に記載のストレージシステムであって、
他のノードが前記ストレージシステムに追加された場合に、前記制御情報のメモリへの格納及び前記ポートの設定を行い、
データアクセス先の前記ポートを前記追加された他のノードのポートに変更することを、前記ポートを介してホスト計算機に通知する
ことを特徴とするストレージシステム。
【請求項6】
請求項１に記載のストレージシステムであって、
前記ストレージシステムは、前記ポートの設定を行う管理部を有する管理装置に接続されている
ことを特徴とするストレージシステム。
【請求項7】
プロセッサとメモリとポートとを有する複数のストレージ制御部を有するノードと、データを格納する記憶媒体を有するストレージドライブと、を有するストレージシステムであって、
前記複数のストレージ制御部は、それぞれ、
その複数の前記ポートを介して、ホスト計算機とデータアクセス要求及びデータの送受信を行い、
その複数の前記プロセッサが、ホスト計算機が前記ストレージドライブに入出力するデータを処理し、
その複数の前記メモリが、前記ストレージドライブに格納されたデータへアクセスするために前記プロセッサが参照する制御情報を保持し、
前記ストレージシステムは、前記ストレージ制御部のメモリに記憶された制御情報を複数のストレージ制御部を有する他のノードに送信してそのストレージ制御部のメモリに格納し、前記他のノードが前記制御情報にかかるデータアクセスを実行可能にする場合に、前記ノードのストレージ制御部とポートとの関係を考慮しながら前記他のノードのポートの設定を行い、
前記ノードのストレージ制御部は、前記メモリが保持する前記制御情報を、前記他のノードのストレージ制御部の前記プロセッサが実行するソフトウェアに適合する形式に変換して、前記形式が変換された制御情報を、前記他のノードのストレージ制御部に送信し、
前記他のノードのストレージ制御部は、前記形式が変換された制御情報をメモリに格納して、前記ストレージドライブ内のデータへのアクセスのために前記メモリ内の形式が変換された制御情報にアクセスし、
前記制御情報の形式の変換には、前記ソフトウェアを実行する前記プロセッサがアクセスしようとする前記制御情報のアドレスの変換が含まれており、
前記ノードのストレージ制御部は、前記ストレージドライブ内のデータへのアクセスのために、前記アドレスを変換して前記形式が変換された制御情報にアクセスしてストレージドライブ内のデータの格納先アドレスを取得する
ことを特徴とするストレージシステム。
【請求項8】
プロセッサとメモリとポートとを有する複数のストレージ制御部を有するノードと、データを格納する記憶媒体を有するストレージドライブと、を有するストレージシステムの制御方法であって、
前記ストレージ制御部のプロセッサは、ホスト計算機がデータ入出力を行う論理ユニットを提供し、
前記論理ユニットは、同じノード内の異なる複数のストレージ制御部にかかる複数のポートに対応付けられており、
前記複数のストレージ制御部は、それぞれ、
その複数の前記ポートを介して、ホスト計算機とデータアクセス要求及びデータの送受信を行い、
その複数の前記プロセッサが、ホスト計算機が前記ストレージドライブに入出力するデータを処理し、
その複数の前記メモリが、前記ストレージドライブに格納されたデータへアクセスするために前記プロセッサが参照する制御情報を保持し、
前記ストレージシステムは、前記ストレージ制御部のメモリに記憶された制御情報を複数のストレージ制御部を有する他のノードに送信してそのストレージ制御部のメモリに格納し、前記他のノードが前記制御情報にかかるデータアクセスを実行可能にする場合に、前記同じ論理ユニットに関係付けられた複数のポートを、前記他のノードの異なるストレージ制御部に関係つけるよう、前記ポートが担当する論理ユニットを決めることによって、前記ノードのストレージ制御部とポートと関係を考慮しながら前記他のノードのポートの設定を行う
ことを特徴とするストレージシステムの制御方法。
【請求項9】
プロセッサとメモリとポートとを有する複数のストレージ制御部を有するノードと、データを格納する記憶媒体を有するストレージドライブと、を有するストレージシステムの制御方法であって、
前記複数のストレージ制御部は、それぞれ、
その複数の前記ポートを介して、ホスト計算機とデータアクセス要求及びデータの送受信を行い、
その複数の前記プロセッサが、ホスト計算機が前記ストレージドライブに入出力するデータを処理し、
その複数の前記メモリが、前記ストレージドライブに格納されたデータへアクセスするために前記プロセッサが参照する制御情報を保持し、
前記ストレージシステムは、前記ストレージ制御部のメモリに記憶された制御情報を複数のストレージ制御部を有する他のノードに送信してそのストレージ制御部のメモリに格納し、前記他のノードが前記制御情報にかかるデータアクセスを実行可能にする場合に、前記ノードのストレージ制御部とポートとの関係を考慮しながら前記他のノードのポートの設定を行い、
前記ノードのストレージ制御部は、前記メモリが保持する前記制御情報を、前記他のノードのストレージ制御部の前記プロセッサが実行するソフトウェアに適合する形式に変換して、前記形式が変換された制御情報を、前記他のノードのストレージ制御部に送信し、
前記他のノードのストレージ制御部は、前記形式が変換された制御情報をメモリに格納して、前記ストレージドライブ内のデータへのアクセスのために前記メモリ内の形式が変換された制御情報にアクセスし、
前記制御情報の形式の変換には、前記ソフトウェアを実行する前記プロセッサがアクセスしようとする前記制御情報のアドレスの変換が含まれており、
前記ノードのストレージ制御部は、前記ストレージドライブ内のデータへのアクセスのために、前記アドレスを変換して前記形式が変換された制御情報にアクセスしてストレージドライブ内のデータの格納先アドレスを取得する
ことを特徴とするストレージシステムの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フラッシュメモリ又は磁気ディスクをストレージ（記憶媒体）装置として用いるストレージシステムのストレージコントローラリプレース及びアップグレードに関する。
【背景技術】
【0002】
近年、ＮＡＮＤ型フラッシュメモリの大容量化によりストレージシステムには大量のデータが保存されている。また、ストレージシステムは上位アプリケーションへの業務影響なく、ハードウェア及びソフトウェアを最新のものに交換できることが求められる。通常、ストレージシステムの交換には、新ストレージシステム側の設定及びデータ移行プロセスに時間を要している。
【0003】
特許文献１は、ストレージシステムのソフトウェアを無停止でアップデートするための発明を示している。ソフトウェアアップデート後、新しいデータ形式と古いデータ形式が両方存在しており、新しいデータには、古いデータ形式のデータへの参照が含まれている。データが更新されたときに、新しいデータ形式で書き込むことで、データの読み書きを止めることなく、新しいデータ形式へアップデートすることができる。
【0004】
特許文献２は、複数ストレージシステム間における無停止データ移行を行うための発明を示している。ホストから単一のストレージシステムであることを認識させるために、複数ストレージに跨る仮想ストレージシステム、仮想ポート及び仮想ロジカルユニット（ＬＵＮ）を構成する。移行元の物理ポートのポート名およびポートアドレスを移行先システムの仮想ポート名およびポートアドレスに対応付けることで、無停止で新しいストレージシステムへの移行を完了させることができる。
【0005】
デュアルコントローラのストレージシステムにおいて、ストレージシステムのハードウェアを無停止でアップデートするための方式がある。この方式によれば、接続されているドライブのデータを移動することなく新しいコントローラへアップデートすることができる。また、ストレージシステムの構成情報等は維持される。ストレージコントローラを片方ずつ順番に交換することで、新しいハードウェアへの交換を実現している。これは、ストレージシステムにおけるコントローラの交換手順として一般的な方法である。
【先行技術文献】
【特許文献】
【0006】
【文献】米国特許第９９５９０４３号明細書
【文献】米国特許第９０９８２１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１では、論理ボリューム内の各データに対して、データ形式が更新されている場合に、新データ形式から旧データへの参照を持つことで、旧データ形式を維持したまま、新しいソフトウェアでの新データ形式に対応している。ただし、一般的にストレージシステムはデータ格納先を示す制御情報の他にも、ハードウェア及びＬＵＮの構成情報並びに内部状態の管理情報など様々な制御情報を持つ。特許文献１には、これらの制御情報について、無停止で新しいソフトウェアに対応した形式へ変換する方式については開示されていない。
【0008】
特許文献２では、移行元のコントローラの各物理ポートアドレスに対応した仮想ポートアドレスを用意し、移行先のコントローラの物理ポートに関連付けることで、無停止で、ホストコマンドを受け付けるポートを切り替えている。ただし、ストレージシステムは一般に、冗長化のために複数コントローラを持っており、各コントローラに物理ポートが存在する。特許文献２には、移行先ストレージ装置において、どの物理ポートをどの仮想ポートに対応させるかに関する技術は開示されていない。
【0009】
本発明では、ストレージシステムのハードウェア及びソフトウェアを無停止でアップデートする際の下記課題を解決する。
【0010】
アップデート後の物理ポートアドレスについて、各ＬＵＮがアップデート前に設定されていたマルチパス構成の冗長度に対応するように、関連づけられる仮想ポートアドレスを設定する必要があることである。具体的には、各ＬＵＮに対して、アップデート前に、２つのコントローラ以上に分かれてマルチパス構成が設定されていた場合には、アップデート後にそれらのマルチパスの仮想ポートが同じコントローラの物理ポートに関連付けられないようにしなければならない。
【課題を解決するための手段】
【0011】
上記の課題の少なくとも一つを解消するため、本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、プロセッサとメモリとポートとを有する複数のストレージ制御部を有するノードと、データを格納する記憶媒体を有するストレージドライブと、を有するストレージシステムであって、前記ストレージ制御部のプロセッサは、ホスト計算機がデータ入出力を行う論理ユニットを提供し、前記論理ユニットは、同じノード内の異なる複数のストレージ制御部にかかる複数のポートに対応付けられており、前記複数のストレージ制御部は、それぞれ、その複数の前記ポートを介して、ホスト計算機とデータアクセス要求及びデータの送受信を行い、その複数の前記プロセッサが、ホスト計算機が前記ストレージドライブに入出力するデータを処理し、その複数の前記メモリが、前記ストレージドライブに格納されたデータへアクセスするために前記プロセッサが参照する制御情報を保持し、前記ストレージシステムは、前記ストレージ制御部のメモリに記憶された制御情報を複数のストレージ制御部を有する他のノードに送信してそのストレージ制御部のメモリに格納し、前記他のノードが前記制御情報にかかるデータアクセスを実行可能にする場合に、前記同じ論理ユニットに関係付けられた複数のポートを、前記他のノードの異なるストレージ制御部に関係つけるよう、前記ポートが担当する論理ユニットを決めることによって、前記ノードのストレージ制御部とポートとの関係を考慮しながら前記他のノードのポートの設定を行うことを特徴とする。
【発明の効果】
【0012】
本発明の一態様によれば、マルチコントローラストレージシステムにおいて、無停止かつ冗長性および性能を低下させることなく、新しいハードウェア及び新しいソフトウェアにアップデートすることができる。
【0013】
前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例におけるストレージシステムの構成を示すブロック図である。
【図2】本発明の実施例におけるストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3】本発明の実施例におけるストレージコントローラの仮想ポートアドレス切り替えを示す説明図である。
【図4】本発明の実施例におけるストレージコントローラが保持する制御情報の形式変換の手順を示す説明図である。
【図5】本発明の実施例におけるストレージコントローラが有するメモリの構成を示す説明図である。
【図6】本発明の実施例におけるストレージコントローラのメモリ内のプログラム領域の構成を示す説明図である。
【図7】本発明の実施例におけるストレージコントローラのメモリ内のローカルメモリの構成を示す説明図である。
【図8】本発明の実施例におけるストレージコントローラのメモリ内の共有メモリの構成を示す説明図である。
【図9】本発明の実施例におけるストレージコントローラのメモリに保持される制御情報構成情報の構成を示す説明図である。
【図10】本発明の実施例におけるストレージコントローラのメモリに保持される制御テーブル管理情報の構成を示す説明図である。
【図11】本発明の実施例におけるストレージコントローラのメモリに保持される制御情報アドレス変換パラメータの構成を示す説明図である。
【図12】本発明の実施例におけるストレージコントローラのメモリに保持されるソフトウェアバージョン構成情報の構成を示す説明図である。
【図13】本発明の実施例におけるストレージコントローラのメモリに保持される実装コントローラ管理情報の構成を示す説明図である。
【図14】本発明の実施例におけるストレージコントローラのメモリに保持されるハードウェア構成情報の構成を示す説明図である。
【図15】本発明の実施例におけるストレージコントローラのメモリに保持されるＦＥポート構成情報の構成を示す説明図である。
【図16】本発明の実施例におけるストレージコントローラのメモリに保持されるＬＵＮ構成情報の構成を示す説明図である。
【図17】本発明の実施例におけるストレージコントローラが実行するコントローラアップデート処理の全体を示すフローチャートである。
【図18】本発明の実施例におけるストレージコントローラが実行する制御情報形式変換処理を示すフローチャートである。
【図19】本発明の実施例におけるストレージコントローラが実行する新コントローラ増設処理を示すフローチャートである。
【図20】本発明の実施例におけるストレージコントローラが実行するＣＰＵ処理制御権切り替え処理を示すフローチャートである。
【図21】本発明の実施例におけるストレージコントローラが実行するＦＥポート切り替え処理を示すフローチャートである。
【図22】本発明の実施例におけるストレージコントローラが実行する旧コントローラ減設処理を示すフローチャートである。
【図23】本発明の実施例におけるストレージコントローラが実行する制御情報アドレス変換処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、図面に基づいて、本発明の実施例を説明する。添付図面では、機能的に同じ要素を同じ番号で表示する場合がある。添付図面は、本発明の原理に則った具体的な実施形態と実施例とを示している。それらの実施形態及び実施例は、本発明の理解のためのものであり、本発明を限定的に解釈するために用いてはならない。
【0016】
さらに、本発明の実施形態は、後述するように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし、専用ハードウェアで実装してもよいし、又はソフトウェアとハードウェアの組み合わせで実装してもよい。
【0017】
以下では「プログラム」を主語（動作主体）として本発明の実施形態における各処理について説明を行う場合がある。プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。プログラムの一部又は全ては専用ハードウェアで実現してもよく、また、モジュール化されていてもよい。各種プログラムはプログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。
【0018】
以下の説明では、「インターフェース部」は、ユーザインターフェース部と、通信インターフェース部とのうちの少なくとも１つを含んでよい。ユーザインターフェース部は、１以上のＩ／Ｏデバイス（例えば入力デバイス（例えばキーボード及びポインティングデバイス）と出力デバイス（例えば表示デバイス））と表示用計算機とのうちの少なくとも１つのＩ／Ｏデバイスを含んでよい。通信インターフェース部は、１以上の通信インターフェースデバイスを含んでよい。１以上の通信インターフェースデバイスは、１以上の同種の通信インターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【0019】
また、以下の説明では、「メモリ部」は、１以上のメモリを含む。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。メモリ部は、主に、プロセッサ部による処理の際に使用される。
【0020】
また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的にはＣＰＵ（Central Processing Unit）である。
【0021】
また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
【0022】
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通符号を使用し、同種の要素を区別する場合は、参照符号（又は要素のＩＤ（例えば識別番号）を使用することがある。例えば、複数のストレージコントローラを区別しない場合には、「ストレージコントローラ１０２」と記載し、各ストレージコントローラを区別する場合には、「ストレージコントローラ１０２Ａ」、「ストレージコントローラ１０２Ｂ」のように記載する。他の要素（例えば後述するストレージノード１０１、フロントエンドネットワークポート１０３、ＣＰＵ１０４、メモリ１０５、バックエンドネットワークポート１０６、インターコネクトネットワークポート１０７、ドライブボックス１０９、ホスト計算機１１０等）も同様である。
【0023】
また、以下の説明では、「ストレージシステム」は、１以上のストレージ装置を含む。少なくとも１つのストレージ装置は、汎用的な物理計算機であってもよい。また、少なくとも１つのストレージ装置が、仮想的なストレージ装置であってもよいし、ＳＤｘ（Software-Defined anything）を実行してもよい。ＳＤｘとしては、例えば、ＳＤＳ（Software Defined Storage）（仮想的なストレージ装置の一例）又はＳＤＤＣ（Software-defined Datacenter）を採用することができる。
【0024】
ここで、前述の３つの課題を解決するための本発明の実施例の概要を説明する。
【0025】
本発明の対象とするストレージシステムは、冗長性のために複数のストレージコントローラを持ち、互いにＰＣＩｅ又はＩｎｆｉｎｉＢａｎｄなどの広帯域、低遅延なネットワークで接続され、制御情報を互いに共有する密結合マルチコントローラシステムである。制御情報は、冗長化のため、２つ以上のコントローラに格納されている。
【0026】
本発明では、古いソフトウェアと新しいソフトウェアとの間で互換性を保ちながら、制御情報を共有することで、上記の課題を解決する。
【0027】
第１の課題を解決する方法を説明する。ソフトウェアがアップデートされる場合、一般に、新しい機能が追加されたり、管理できるリソース数が拡張されることが考えられる。すなわち、古いソフトウェアの制御情報の形式には、新しいソフトウェアで使用する制御情報用の領域が定義されていない。そこで、まず、新しいストレージコントローラを増設し、新しいソフトウェアが動作を開始する前に、古いソフトウェアはＩ／Ｏを継続したまま、古い形式の制御情報を新しい形式の制御情報に書き換えを行う。新しい形式の制御情報への変換が完了したら、新しいソフトウェアは、変換された新しい形式の制御情報へアクセスする。新しい形式の制御情報に書き換え後は、古いソフトウェアが、古い形式の制御情報にアクセスした場合、アドレス変換によって、対応する新しい形式の制御情報のアドレスを取得し、形式変換後の制御情報にアクセスする。
【0028】
第２の課題を解決する方法を説明する。処理を新しいストレージコントローラに切り替えた後、古いストレージコントローラの物理ポート名および物理ポートアドレスに対応する仮想ポート名および仮想ポートアドレスを新しいストレージの物理ポートに割当てる（切り替えが二回目以降の場合には、古いストレージコントローラの物理ポート名および物理ポートアドレスに代えて仮想ポート名および仮想ポートアドレスをさらに新しいストレージに割り当てる）。その際、古いストレージコントローラ間で冗長化のためにマルチパスが定義されているＬＵＮについては、移行後も別々のストレージコントローラの物理ポートが対応付くように、仮想ポートとの関連を作成する。
【0029】
もっとも単純な方法は、古いストレージシステムにおいて、別々のストレージコントローラ上の物理ポートは、新しいストレージシステムにおいても、別々のストレージコントローラに関連付くように、仮想ポートと物理ポートの対応を決定することである。コントローラの数が移行前後で変わらない場合には、コントローラとポートとの関係を保って移行後のポートを設定し、コントローラの数が増加する場合には、移行前の複数のコントローラからポートを引き継ぐコントローラが発生しないように、ポートを設定する。同じＬＵＮに紐づく仮想ポートではないことの確認をしていれば、移行前は異なるコントローラに関連付く仮想ポートを、移行後は同じコントローラに関連付けてもよい。これによって、第２の課題である移行後の冗長性を維持するポートの切り替え先を選択することができ、新しいストレージシステムにおいても、古いストレージシステムが有していた負荷分散や障害時のフェイルオーバーの機能を引き継ぐことができる。
【0030】
第３の課題を解決する方法を説明する。古いストレージシステムは、自分自身のストレージコントローラ同士を接続するインターコネクトの他に、新しいストレージコントローラと接続するための空きインターコネクトネットワークポートを持つ。アップデート時に、古いストレージコントローラを減設せずに、ネットワークポートを使用して、新しいストレージシステムのストレージコントローラを接続する。この時、ネットワークポートはストレージコントローラに直接つながっていてもよいし、ファブリックネットワークスイッチ上に存在してもよい。また、ストレージ装置を格納するストレージドライブボックスについても同様に、新しいストレージコントローラと接続するための空きバックエンドネットワークポートを持つ。ストレージコントローラと接続するときに、ドライブボックスと新しいストレージコントローラとの間も接続することで、古いストレージコントローラに接続されていたストレージ装置に対して、古いストレージコントローラを経由せずに、新しいストレージコントローラからアクセスすることができる。
【0031】
このために、例えば、古いストレージコントローラに、新しいストレージシステムを増設し、１つのマルチコントローラストレージシステムを形成する。その後、処理及び制御情報の移行が完了したら、古いストレージコントローラを停止し、古いストレージコントローラ減設する。これによって、第３の課題であるストレージコントローラ数及び物理ポート数を減らすことなく、ストレージのハードウェア及びソフトウェアのアップデートが完了する。
【0032】
新しいストレージシステム増設後の、マルチコントローラストレージシステム構成において、新しいストレージコントローラ内で動作する新しいストレージソフトウェアと古いストレージコントローラ内で動作する古いソフトウェアとは、ストレージコントローラ間ネットワークを介して、共通の制御情報に透過的にアクセスする。また、コントローラ間で通信して行う処理では、新しいソフトウェアは古いソフトウェアとの互換性を満たすように動作する。このようにすることで、ストレージシステムで実施される各処理について、古いコントローラ及び新しいコントローラのどちら側でも実施することができ、Ｉ／Ｏを停止することなく、各処理を新しいストレージコントローラで実施するように切り替えていくことができる。また、アップグレード中の保守を行うケース及び中断して元の状態に復帰させるケースなども、柔軟かつ迅速に対応できる。同時に、アップデート前に設定されていたＬＵＮ等の構成情報、レプリケーションなどの状態及びストレージメディアのティアリング等に使用するアクセス頻度情報などをそのまま新しいコントローラで実施される処理にも引き継ぐことができる。
【0033】
以下、上記の課題を解決するための本発明の実施例を図面に基づいて説明する。
【0034】
図１は、本発明の実施例におけるストレージシステムの構成を示すブロック図である。
【0035】
本実施例のストレージシステム１００は、複数のストレージコントローラ１０２、１以上のインターコネクトスイッチ１０８及び１以上のドライブボックス１０９を有する。図１には、複数のストレージコントローラ１０２の例として、ストレージコントローラ１０２Ａ～１０２Ｄを示す。これらのうちストレージコントローラ１０２Ａ及び１０２Ｂは、これから減設される旧ストレージコントローラであり、一つのストレージノード１０１Ａを構成する。一方、ストレージコントローラ１０２Ｃ及び１０２Ｄは、増設された新ストレージコントローラであり、一つのストレージノード１０１Ｂを構成する。
【0036】
各ストレージコントローラ１０２は、ＣＰＵ１０４、メモリ１０５、フロントエンドネットワークポート（以下、ＦＥポートとも記載する）１０３、バックエンドネットワークポート（以下、ＢＥポートとも記載する）１０６及びインターコネクトネットワークポート（以下、ＩＣポートとも記載する）１０７を有する。図１の例では一つのストレージコントローラ１０２が一つのＣＰＵ１０４、一つのメモリ１０５、二つのＦＥポート１０３、一つのＢＥポート１０６及び一つのＩＣポート１０７を有するが、これらの数は一例であり、実際の数は任意である。
【0037】
ＦＥポート１０３は、ネットワークスイッチ１１１に接続される。ネットワークスイッチ１１１は、１以上のホスト計算機１１０（図１の例ではホスト計算機１１０Ａ及び１１０Ｂ）に接続される。ストレージコントローラ１０２は、ＦＥポート１０３及びネットワークスイッチ１１１を経由してホスト計算機１１０からユーザデータの書き込み及び読み出し等のコマンドを受けて、それらに対する応答を返す。
【0038】
ＢＥポート１０６は、ドライブボックス１０９に接続される。ストレージコントローラ１０２は、ＢＥポート１０６を経由してドライブボックス１０９へのユーザデータの書き込み及び読み出し等を行う。
【0039】
ドライブボックス１０９は、ホスト計算機１１０によって書き込まれたデータを格納する記憶媒体を含む。この記憶媒体は、例えば、磁気ディスク又はフラッシュメモリ等の、大容量の不揮発性記憶媒体であってもよい。
【0040】
ＩＣポート１０７は、インターコネクトスイッチ１０８に接続される。インターコネクトスイッチ１０８は、各ストレージコントローラ１０２のＩＣポート１０７に接続される。ストレージコントローラ１０２は、ＩＣポート１０７及びインターコネクトスイッチ１０８を介して、ストレージシステム１００内の他のストレージコントローラ１０２と通信し、例えば制御情報等を送受信することができる。
【0041】
ＣＰＵ１０４は、メモリ１０５に格納されたプログラムを実行することによって、ストレージコントローラ１０２の種々の機能を実現する。ＣＰＵによって実現される機能の詳細については後述する。
【0042】
メモリ１０５は、ＣＰＵ１０４によって実行されるプログラムを記憶する領域、ストレージコントローラ１０２の制御情報を記憶する領域、ホスト計算機１１０による書き込み又は読み出しの対象のデータを記憶する領域等を含む。それらの領域の詳細については後述する。
【0043】
さらに、各ストレージコントローラ１０２は、管理ネットワーク１１３を介して管理装置１１２に接続される。
【0044】
図２は、本発明の実施例におけるストレージコントローラ１０２のアップグレードの手順の概要を示す説明図である。
【0045】
図２（Ａ）は、ストレージコントローラ１０２のアップグレードが開始される前のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ及び１０２Ｂを有し、新ストレージコントローラ１０２Ｃ及び１０２Ｄを有していない。このとき、二つのストレージコントローラ１０２Ａ及び１０２Ｂによって冗長性が確保されている。
【0046】
図２（Ｂ）は、ストレージコントローラ１０２のアップグレードが実行されているときのストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ及び１０２Ｂに加えて、増設された新ストレージコントローラ１０２Ｃ及び１０２Ｄを有する。このとき、四つのストレージコントローラ１０２Ａ～１０２Ｄによって冗長性が確保されている。
【0047】
図２（Ｃ）は、ストレージコントローラ１０２のアップグレードが終了した後のストレージシステム１００を示す。このとき、旧ストレージコントローラ１０２Ａ及び１０２Ｂは既に減設されており、ストレージシステム１００は、新ストレージコントローラ１０２Ｃ及び１０２Ｄを有する。このとき、二つのストレージコントローラ１０２Ｃ及び１０２Ｄによって冗長性が確保されている。
【0048】
上記の手順によって、アップグレードが実行されているときにも、アップグレード開始前及び終了後と少なくとも同等の冗長性が確保される。
【0049】
なお、本発明は、新ストレージコントローラ１０２Ｃ及び１０２Ｄが旧ストレージコントローラ１０２Ａ及び１０２Ｂと同一の機種である場合など、アップグレード以外の目的でストレージコントローラをリプレースする場合にも適用できる。しかし、本実施例では、旧ストレージコントローラ１０２Ａ及び１０２Ｂを、例えばそれらに新たな機能を追加した後継機種など、異なる品種の新ストレージコントローラ１０２Ｃ及び１０２Ｄにアップグレードするためのリプレースについて説明する。
【0050】
図３は、本発明の実施例におけるストレージコントローラ１０２の仮想ポートアドレス切り替えを示す説明図である。
【0051】
ホスト計算機１１０がアクセスするＦＥポート１０３のアドレス（例えばWorld Wide Name：ＷＷＮ）は、リプレースによって、旧ストレージコントローラから新ストレージコントローラに引き継がれる。このとき、異なる旧ストレージコントローラのＦＥポート１０３のアドレスが異なる新ストレージコントローラのＦＥポート１０３に引き継がれるように（言い換えると同一の新ストレージコントローラのＦＥポート１０３に引き継がれないように）、引継ぎ先を選択する。
【0052】
図３の例では、旧ストレージコントローラ１０２Ａの二つのＦＥポート１０３Ａ及び１０３ＢのＷＷＮである「ＡＡＡＡ」及び「ＢＢＢＢ」が、新ストレージコントローラ１０２Ｃの二つのＦＥポート１０３Ｅ及び１０３Ｆの仮想ＷＷＮとして引き継がれる。同様に、旧ストレージコントローラ１０２Ｂの二つのＦＥポート１０３Ｃ及び１０３ＤのＷＷＮである「ＣＣＣＣ」及び「ＤＤＤＤ」が、新ストレージコントローラ１０２Ｄの二つのＦＥポート１０３Ｇ及び１０３Ｈの仮想ＷＷＮとして引き継がれる。これによって、リプレース後もリプレース前と少なくとも同等の冗長性が確保される。また、ホスト計算機１１０は、リプレース後もリプレース前と同様にストレージシステム１００にアクセスすることができる。
【0053】
図４は、本発明の実施例におけるストレージコントローラ１０２が保持する制御情報の形式変換の手順を示す説明図である。
【0054】
旧ストレージノード１０１Ａの旧ストレージコントローラ１０２Ａのメモリ１０５Ａは、旧形式の制御情報４０１Ａを保持する。ここで、制御情報とは、後述する共有メモリ５０３（図５参照）に格納された種々の情報のほか、ドライブボックス１０９の構成を示す情報、論理的なボリューム（論理ユニット）の状態を示す情報、レプリケーション又はスナップショット等の状態を示す情報等、ストレージコントローラ１０２がホスト計算機１１０からのコマンドに従ってドライブボックス１０９へのデータの入出力（Ｉ／Ｏ）を実行するために必要な情報の全般を指す。
【0055】
ＣＰＵ１０４Ａは、ストレージコントローラのリプレースが開始される前は、旧形式の制御情報４０１Ａに基づいて種々の処理を実行する。ストレージコントローラのリプレースが開始されると、ＣＰＵ１０４Ａは、旧形式の制御情報４０１Ａの形式変換を行い（ステップ４０２Ａ）、新形式の制御情報４０３Ａを生成する。ここで新形式とは、旧ストレージコントローラ（この例では旧ストレージコントローラ１０２Ａ）をリプレースする新ストレージコントローラ（この例では新ストレージコントローラ１０２Ｃ）で動作するソフトウェアに適合する形式である。
【0056】
このとき、ＣＰＵ１０４Ａは、新形式の制御情報４０３Ａの格納先アドレスを取得して、旧形式の制御情報４０１Ａの形式変換を行って生成した新形式の制御情報４０３を順次格納先アドレスに格納する。旧形式の制御情報４０１Ａのすべての領域について新形式の制御情報４０３Ａへの変換と格納が終了した後、旧ストレージコントローラ１０２Ａがホスト計算機１１０からの書き込み又は読み出し等のコマンドを受信した場合、ＣＰＵ１０４Ａは、旧ストレージコントローラ１０２Ａに基づいて参照する旧形式の制御情報４０１Ａのアドレスを、上記の格納先アドレスに基づいて変換することによって、新形式の制御情報４０３Ａを参照して、当該コマンドを実行する。これらの処理の詳細は後述する（図１８参照）。
【0057】
ただし、全ての制御情報の形式を変更する必要はない。古いソフトウェアに適合する制御情報がそのまま新しいソフトウェアにも適合する場合には、制御情報の形式を変更せずにそのまま使用することができる。
【0058】
その後、格納先の切り替え（ステップ４０４Ａ）が行われる。具体的には、ＣＰＵ１０４ＡがＩＣポート１０７Ａ及びインターコネクトスイッチ１０８を介して新形式の制御情報４０３Ａを新ストレージコントローラ１０２Ｃに転送する。新ストレージコントローラ１０２ＣのＣＰＵ１０４Ｃは、ＩＣポート１０７Ｃを介して受信した制御情報を、新形式の制御情報４０５Ａとして、メモリ１０５Ｃ内の変換されたアドレスに格納する。
【0059】
旧ストレージコントローラ１０２Ｂにおける制御情報の形式変換及び新ストレージコントローラ１０２Ｄへの制御情報の移行も上記と同様に行われる。すなわち、旧ストレージノード１０１Ａの旧ストレージコントローラ１０２Ｂのメモリ１０５Ｂは、旧形式の制御情報４０１Ｂを保持する。ストレージコントローラのリプレースが開始されると、ＣＰＵ１０４Ｂは、旧形式の制御情報４０１Ｂの形式変換を行い（ステップ４０２Ｂ）、新形式の制御情報４０３Ｂを生成する。その後、格納先の切り替え（ステップ４０４Ｂ）が行われる。具体的には、ＣＰＵ１０４ＢがＩＣポート１０７Ｂ及びインターコネクトスイッチ１０８を介して新形式の制御情報４０３Ｂを新ストレージコントローラ１０２Ｄに転送する。新ストレージコントローラ１０２ＤのＣＰＵ１０４Ｄは、ＩＣポート１０７Ｄを介して受信した制御情報を、新形式の制御情報４０５Ｂとして、メモリ１０５Ｄ内の変換されたアドレスに格納する。
【0060】
上記図３に示したように旧ストレージコントローラ１０２Ａ等から新ストレージコントローラ１０２Ｃ等にＦＥポート１０３のアドレス及び制御情報が移行することによって、ホスト計算機１１０はストレージコントローラ１０２のリプレース後もリプレース前と同様にストレージシステム１００へのユーザデータの書き込み及び読み出しを実行することができる。なお、以下の説明において、旧ストレージコントローラ１０２を移行元ストレージコントローラ１０２、新ストレージコントローラ１０２を移行先ストレージコントローラ１０２とも記載する。
【0061】
図５は、本発明の実施例におけるストレージコントローラ１０２が有するメモリ１０５の構成を示す説明図である。
【0062】
メモリ１０５は、記憶領域として、プログラム領域５０１、ローカルメモリ５０２及び共有メモリ５０３を含む。これらの詳細は後述する。
【0063】
図６は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５内のプログラム領域５０１の構成を示す説明図である。
【0064】
プログラム領域５０１には、無停止コントローラアップデートシーケンス制御部６０１、制御情報形式変換部６０２、制御情報アドレス変換部６０３、コントローラ増設部６０４、制御権移動部６０５、ＦＥポート切り替え部６０６及びコントローラ減設部６０７が格納される。これらはいずれもメモリ１０５に格納され、ＣＰＵ１０４によって実行されるプログラムである。以下の説明において上記の各部が実行する処理は、実際にはＣＰＵ１０４がプログラムに従って実行する。
【0065】
無停止コントローラアップデートシーケンス制御部６０１は、本実施例のストレージコントローラ１０２のリプレースのシーケンスを制御する。制御情報形式変換部６０２は、旧形式の制御情報から新形式の制御情報への形式変換（図４のステップ４０２Ａ、４０２Ｂ）を行う。制御情報アドレス変換部６０３は、メモリ１０５における、旧形式の制御情報が格納される領域のアドレスから新形式の制御情報が格納される領域のアドレスへの変換を行う。
【0066】
コントローラ増設部６０４は、新ストレージコントローラ１０２の増設時の処理を行う。制御権移動部６０５は、ストレージコントローラ１０２の制御権の移動に関する処理を行う。ＦＥポート切り替え部６０６は、ホスト計算機１１０からのコマンドを受けるＦＥポート１０３の切り替えに関する処理を行う。コントローラ減設部６０７は、旧ストレージコントローラ１０２の減設時の処理を行う。
【0067】
図７は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５内のローカルメモリ５０２の構成を示す説明図である。
【0068】
ローカルメモリ５０２は、プログラム使用領域７０１及び共有メモリキャッシュ領域７０２を含む。プログラム使用領域７０１は、ＣＰＵ１０４がプログラムを実行するときに使用される領域である。共有メモリキャッシュ領域７０２は、メモリアクセス高速化のために、共有メモリ５０３上のデータをローカルメモリ５０２上にキャッシュしておくための領域である。
【0069】
図８は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５内の共有メモリ５０３の構成を示す説明図である。
【0070】
共有メモリ５０３には、制御情報構成情報８０１、制御テーブル管理情報８０２、制御情報アドレス変換パラメータ８０３、ソフトウェアバージョン構成情報８０４、実装コントローラ管理情報８０５、ハードウェア構成情報８０６、ＦＥポート構成情報８０７及びＬＵＮ構成情報８０８が格納される。これらの詳細は後述する（図９～図１６参照）。
【0071】
図９は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持される制御情報構成情報８０１の構成を示す説明図である。
【0072】
制御情報構成情報８０１は、第１制御情報格納先コントローラＩＤ９０１、第１制御情報形式９０２、第１制御情報格納先先頭アドレス９０３、第２制御情報格納先コントローラＩＤ９０４、第２制御情報形式９０５、第２制御情報格納先先頭アドレス９０６、第３制御情報格納先コントローラＩＤ９０７、第３制御情報形式９０８及び第３制御情報格納先先頭アドレス９０９を含む。
【0073】
第１制御情報格納先コントローラＩＤ９０１、第１制御情報形式９０２及び第１制御情報格納先先頭アドレス９０３は、それぞれ、第１の制御情報が格納されるストレージコントローラの識別情報、第１の制御情報の形式及び第１の制御情報が格納されるメモリ１０５内の領域の先頭アドレスである。第２制御情報格納先コントローラＩＤ９０４から第３制御情報格納先先頭アドレス９０９には、第２の制御情報及び第３の制御情報に関して、上記と同様の情報が格納される。
【0074】
例えば、第１の制御情報が図４に示す旧形式の制御情報４０１Ａであり、第２の制御情報が旧形式の制御情報４０１Ｂであってもよい。この場合、第１制御情報格納先コントローラＩＤ９０１は制御情報４０１Ａが格納されるストレージコントローラ１０２Ａの識別情報であり、第１制御情報形式９０２は制御情報４０１Ａの形式であり、第１制御情報格納先先頭アドレス９０３は制御情報４０１Ａが格納されるメモリ１０５Ａの領域の先頭アドレスである。同様に、第２制御情報格納先コントローラＩＤ９０４、第２制御情報形式９０５及び第２制御情報格納先先頭アドレス９０６は、旧形式の制御情報４０１Ｂに関する情報である。
【0075】
第３の制御情報は、形式変換及び格納先コントローラ切り替えのための一時的な格納先として使用される。形式変換及びコピー中は、第１から第３の制御情報への書き込みが行われる。切り替えが完了したら、第３の制御情報を切り替え対象の第１又は第２の制御情報にコピーして、第３の制御情報はクリアされる。
【0076】
図１０は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持される制御テーブル管理情報８０２の構成を示す説明図である。
【0077】
制御テーブル管理情報８０２は、旧形式制御テーブル管理情報１０００及び新形式制御テーブル管理情報１０１０を含む。
【0078】
旧形式制御テーブル管理情報１０００は、制御テーブルＩＤ１００１及び制御テーブル先頭アドレス１００２を含む。例えば、ストレージコントローラ１０２Ａが保持する制御テーブル管理情報８０２の場合、旧形式の制御情報４０１Ａに含まれる制御テーブルの識別情報及び先頭アドレスが、制御テーブルＩＤ１００１及び制御テーブル先頭アドレス１００２として保持される。
【0079】
新形式制御テーブル管理情報１０１０は、制御テーブルＩＤ１０１１及び制御テーブル先頭アドレス１０１２を含む。例えば、ストレージコントローラ１０２Ａが保持する制御テーブル管理情報８０２の場合、形式を変換された後の新形式の制御情報４０１Ｃに含まれる制御テーブルの識別情報及び先頭アドレスが、制御テーブルＩＤ１０１１及び制御テーブル先頭アドレス１０１２として保持される。
【0080】
実際には制御情報は種々の制御テーブルを含みうるため、それらの制御テーブルごとに上記の制御テーブルＩＤ及び制御テーブル先頭アドレスが保持される。
【0081】
図１１は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持される制御情報アドレス変換パラメータ８０３の構成を示す説明図である。
【0082】
制御情報アドレス変換パラメータ８０３は、制御テーブルＩＤ１１０１、アドレス変換パラメータＩＤ１１０２、アドレス変換対象アドレス範囲１１０３及びアドレス変換用計算パラメータ１１０４を含む。
【0083】
制御テーブルＩＤ１１０１は、各制御テーブルの識別情報である。アドレス変換パラメータＩＤ１１０２は、各制御テーブルのアドレスを変換するための計算パラメータの識別情報である。アドレス変換対象アドレス範囲１１０３は、変換の対象のアドレスの範囲である。アドレス変換用計算パラメータ１１０４は、各制御テーブルのアドレスを変換するための計算パラメータである。
【0084】
図１２は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持されるソフトウェアバージョン構成情報８０４の構成を示す説明図である。
【0085】
ソフトウェアバージョン構成情報８０４は、コントローラＩＤ１２０１、ソフトウェアバージョン１２０２及び制御情報形式１２０３を含む。
【0086】
コントローラＩＤ１２０１は、各ストレージコントローラ１０２の識別情報である。ソフトウェアバージョン１２０２は、各ストレージコントローラ１０２で使用されるソフトウェアのバージョンである。制御情報形式１２０３は、当該バージョンのソフトウェアによって使用される制御情報の形式である。
【0087】
図１３は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持される実装コントローラ管理情報８０５の構成を示す説明図である。
【0088】
実装コントローラ管理情報８０５は、実装コントローラＩＤ１３０１を含む。実装コントローラＩＤ１３０１は、ストレージシステム１００に実装され、データの入出力（Ｉ／Ｏ）等の処理を実行できる状態になっているストレージコントローラ１０２の識別情報である。
【0089】
例えば図２（Ａ）に示すように新ストレージコントローラ１０２Ｃ及び１０２Ｄが増設される前の状態では旧ストレージコントローラ１０２Ａ及び１０２Ｂの識別情報が実装コントローラＩＤ１３０１として保持される。図２（Ｂ）に示すように新ストレージコントローラ１０２Ｃ及び１０２Ｄが実装されてアップグレードの処理が実行されているときはストレージコントローラ１０２Ａ～１０２Ｄの識別情報が実装コントローラＩＤ１３０１として保持される。図２（Ｃ）に示すように旧ストレージコントローラ１０２Ａ及び１０２Ｂが減設された後の状態では新ストレージコントローラ１０２Ｃ及び１０２Ｃの識別情報が実装コントローラＩＤ１３０１として保持される。
【0090】
図１４は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持されるハードウェア構成情報８０６の構成を示す説明図である。
【0091】
ハードウェア構成情報８０６は、コントローラＩＤ１４０１、実装ＦＥポートＩＤ１４０２、実装ＢＥポートＩＤ１４０３、実装ＣＰＵＩＤ１４０４、実装インターコネクトポートＩＤ１４０５及び実装メモリＩＤ１４０６を含む。
【0092】
コントローラＩＤ１４０１は、各ストレージコントローラ１０２の識別情報である。実装ＦＥポートＩＤ１４０２、実装ＢＥポートＩＤ１４０３、実装ＣＰＵＩＤ１４０４、実装インターコネクトポートＩＤ１４０５及び実装メモリＩＤ１４０６は、それぞれ、各ストレージコントローラ１０２に実装されたＦＥポート１０３、ＢＥポート１０６、ＣＰＵ１０４、ＩＣポート１０７及びメモリ１０５の識別情報である。
【0093】
図１５は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持されるＦＥポート構成情報８０７の構成を示す説明図である。
【0094】
ＦＥポート構成情報８０７は、各ＦＥポート１０３の構成を示す情報である。各ストレージコントローラ１０２は、当該ストレージコントローラ１０２が有する全てのＦＥポートに関するＦＥポート構成情報８０７を保持する。ＦＥポート構成情報８０７は、ＦＥポートＩＤ１５０１、物理ＦＥポート名１５０２、物理ＦＥポートアドレス１５０３、ＬＵＮＩＤ１５０４、仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６を含む。
【0095】
ＦＥポートＩＤ１５０１は、各ＦＥポート１０３の識別情報である。物理ＦＥポート名１５０２及び物理ＦＥポートアドレス１５０３は、各ＦＥポート１０３の物理的な識別情報であり、搭載スロット位置に従って決定される。
【0096】
ＬＵＮＩＤ１５０４は、各ＦＥポートを介してホスト計算機１１０へのパスが設定されている論理ユニットを識別する情報である。一つのＦＥポート１０３に複数の論理ユニットへのパスが設定されていてもよく、その場合、ＬＵＮＩＤ１５０４として複数の値が保持される。
【0097】
仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６は、ホスト計算機１１０に対して提供される各ＦＥポート１０３の識別情報であり、必要に応じて任意の値を設定することができる。
【0098】
例えば、図３に示した旧ストレージノード１０１ＡのＦＥポート１０３Ａ～１０３ＤのＷＷＮは、物理ＦＥポート名１５０２又は物理ＦＥポートアドレス１５０３であってもよいし、仮想ＦＥポート名１５０５又は仮想ＦＥポートアドレス１５０６であってもよい。新ストレージノード１０１ＢのＦＥポート１０３Ｅ～１０３ＨのＷＷＮは、仮想ＦＥポート名１５０５又は仮想ＦＥポートアドレス１５０６である。
【0099】
図１６は、本発明の実施例におけるストレージコントローラ１０２のメモリ１０５に保持されるＬＵＮ構成情報８０８の構成を示す説明図である。
【0100】
ＬＵＮ構成情報８０８は、各論理ユニットの構成を示す情報であり、一つの論理ユニットに関して一つのＬＵＮ構成情報８０８が保持される。ＬＵＮ構成情報８０８は、ＬＵＮＩＤ１６０１、第１ＦＥポートＩＤ１６０２、第２ＦＥポートＩＤ１６０３、第ｎＦＥポートＩＤ１６０４及び制御権ＣＰＵＩＤ１６０５を含む。
【0101】
ＬＵＮＩＤ１６０１は、各論理ユニットの識別情報である。第１ＦＥポートＩＤ１６０２～第ｎＦＥポートＩＤ１６０４は、各論理ユニットへのパスが設定されているＦＥポートの識別情報である。制御権ＣＰＵＩＤ１６０５は、Ｉ／Ｏ処理の高速化のために、各論理ユニットへのＩ／Ｏ処理に係る制御情報に排他的にアクセスするＣＰＵ１０４の識別情報である。
【0102】
各論理ユニットは、負荷分散や障害時のフェイルオーバーを目的として、複数の異なるストレージコントローラに属するＦＥポートに対応付けられている。
【0103】
次に、ストレージコントローラ１０２が実行する処理についてフローチャートを参照して説明する。以下の処理はストレージコントローラ１０２のＣＰＵ１０４がメモリ１０５内のプログラム領域５０１に格納されたプログラムを実行することによって実現される。
【0104】
図１７は、本発明の実施例におけるストレージコントローラ１０２が実行するコントローラアップデート処理の全体を示すフローチャートである。
【0105】
最初に、ストレージコントローラ１０２は、制御情報形式変換処理を実行する（ステップ１７０１）。この処理の詳細は後述する（図１８参照）。
【0106】
次に、ストレージコントローラ１０２は、新コントローラ増設処理を実行する（ステップ１７０２）。この処理の詳細は後述する（図１９参照）。
【0107】
次に、ストレージコントローラ１０２は、ＣＰＵ処理制御権切り替え処理を実行する（ステップ１７０３）。この処理の詳細は後述する（図２０参照）。
【0108】
次に、ストレージコントローラ１０２は、ＦＥポート切り替え処理を実行する（ステップ１７０４）。この処理の詳細は後述する（図２１参照）。
【0109】
次に、ストレージコントローラ１０２は、制御情報格納先切り替え処理を実行する（ステップ１７０５）。これは、図４の格納先切り替え（ステップ４０４Ａ、４０４Ｂ）に相当するものであり、形式が変換された制御情報が新ストレージコントローラ１０２に格納される。
【0110】
次に、ストレージコントローラ１０２は、旧コントローラ減設処理を実行する（ステップ１７０６）。この処理の詳細は後述する（図２２参照）。
【0111】
図１８は、本発明の実施例におけるストレージコントローラ１０２が実行する制御情報形式変換処理を示すフローチャートである。
【0112】
図１８に示す制御情報形式変換処理は、移行元である旧ストレージコントローラ１０２（図４の例ではストレージコントローラ１０２Ａ及び１０２Ｂ）によって実行される。最初に、ストレージコントローラ１０２は、制御情報構成情報８０１及び制御テーブル管理情報８０２を参照して、形式変換後の制御情報の格納先アドレスを取得する（ステップ１８０１）。例えば、制御情報構成情報８０１の第３制御情報格納先先頭アドレスが、旧ストレージコントローラ１０２のメモリ１０５における形式変換後の制御情報（図４の例では新形式の制御情報４０３Ａ又は４０３Ｂ）の格納先先頭アドレスであれば、ストレージコントローラ１０２はそれを取得してもよい。
【0113】
次に、ストレージコントローラ１０２は、ステップ１８０１で取得したアドレスに従って、アドレスを変換しながら、制御情報の形式を変換してメモリ１０５内に格納する（ステップ１８０２）。これは、図４のステップ４０２Ａ及び４０２Ｂに相当する。
【0114】
ストレージコントローラ１０２は、制御情報の全領域について、形式を変換してメモリ１０５内に格納する処理が終了すると、制御情報のアクセス先及び制御情報の形式を切り替える（ステップ１８０３）。以後、旧ストレージコントローラ１０２がホスト計算機１１０から書き込み等のコマンドを受けた場合、それを実行するために、新形式の制御情報にアクセスする。そのときに実行される処理については後述する（図２３参照）。
【0115】
以上で制御情報形式変換処理が終了する。
【0116】
図１９は、本発明の実施例におけるストレージコントローラ１０２が実行する新コントローラ増設処理を示すフローチャートである。
【0117】
最初に、ストレージコントローラ１０２は、自ストレージコントローラ１０２のハードウェア構成情報を取得する（ステップ１９０１）。具体的には、ストレージコントローラ１０２は、自ストレージコントローラ１０２内のＦＥポート１０３、ＣＰＵ１０４、メモリ１０５、ＢＥポート１０６及びＩＣポート１０７等のハードウェア構成要素から、ハードウェア構成情報８０６の各項目に相当する情報を取得する。
【0118】
次に、ストレージコントローラ１０２は、ネットワーク接続チェックを行う（ステップ１９０２）。例えば、ストレージコントローラ１０２は、ネットワークスイッチ１１１、インターコネクトスイッチ１０８及びドライブボックス１０９等との接続を確認する。
【0119】
次に、ストレージコントローラ１０２は、ネットワーク接続チェックの結果が正常であったかを判定する（ステップ１９０３）。結果が正常でなかった場合、ストレージコントローラ１０２は、新コントローラ増設処理を中断する（ステップ１９０４）。
【0120】
ネットワーク接続チェックの結果が正常であった場合、ストレージコントローラ１０２は、ハードウェア構成情報を設定する（ステップ１９０５）。具体的には、ストレージコントローラ１０２は、ステップ１９０１で取得した情報をハードウェア構成情報８０６としてメモリ１０５に格納する。
【0121】
次に、ストレージコントローラ１０２は、増設側ＣＰＵ処理可能を登録する（ステップ１９０６）。これによって、共有メモリ５０３上の実装コントローラ管理情報８０５の実装コントローラＩＤ１３０１に当該ストレージコントローラ１０２の識別情報が追加される。
【0122】
以上で新コントローラ増設処理が終了する。
【0123】
図２０は、本発明の実施例におけるストレージコントローラ１０２が実行するＣＰＵ処理制御権切り替え処理を示すフローチャートである。
【0124】
最初に、移行元である旧ストレージコントローラ１０２（図４の例ではストレージコントローラ１０２Ａ及び１０２Ｂ）は、ホスト計算機１１０からの新規のＩ／Ｏ処理の受付を停止する（ステップ２００１）。
【0125】
次に、旧ストレージコントローラ１０２は、既に受け付けて継続中のＩ／Ｏ処理が完了するのを待つ（ステップ２００２）。
【0126】
継続中のＩ／Ｏ処理が完了すると、ストレージコントローラ１０２は、制御権ＣＰＵの移動を設定する（ステップ２００３）。具体的には、ストレージコントローラ１０２が保持するＬＵＮ構成情報８０８のうち、移行元のストレージコントローラ１０２のＣＰＵ１０４が制御権を有していた論理ユニットに関するＬＵＮ構成情報８０８の制御権ＣＰＵＩＤ１６０５の値を、移行先のストレージコントローラ１０２のＣＰＵ１０４の識別情報に書き換える。例えば移行元がストレージコントローラ１０２Ａ、移行先がストレージコントローラ１０２Ｃであれば、制御権ＣＰＵＩＤ１６０５の値がＣＰＵ１０４Ａの識別情報からＣＰＵ１０４Ｃの識別情報に書き換えられる。
【0127】
以上でＣＰＵ処理制御権切り替え処理が終了する。
【0128】
図２１は、本発明の実施例におけるストレージコントローラ１０２が実行するＦＥポート切り替え処理を示すフローチャートである。
【0129】
最初に、ストレージコントローラ１０２は、移行元及び移行先のストレージコントローラ１０２の識別情報を選択する（ステップ２１０１、２１０２）。例えば図２～図４に示したリプレースが行われる場合、移行元としてストレージコントローラ１０２Ａ、移行先としてストレージコントローラ１０２Ｃを選択してもよいし、移行元としてストレージコントローラ１０２Ｂ、移行先としてストレージコントローラ１０２Ｄを選択してもよい。
【0130】
次に、ストレージコントローラ１０２は、移行元ストレージコントローラ１０２の各ＦＥポート１０３に対応する移行先ストレージコントローラ１０２のＦＥポートを決定する（ステップ２１０３）。例えば上記のように図２～図４に示したリプレースが行われる場合、ＦＥポート１０３Ａ～１０３Ｄに対応するＦＥポート１０３Ｅ～１０３Ｈをそれぞれ決定してもよい。
【0131】
その場合、同一の移行元ストレージコントローラ１０２ＡのＦＥポート１０３Ａ及び１０３Ｂは、同一の移行先ストレージコントローラ１０２ＣのＦＥポート１０３Ｅ及び１０３Ｆに対応付けられる。そして、移行元ストレージコントローラ１０２Ａとは異なる移行元ストレージコントローラ１０２ＢのＦＥポート１０３Ｃ及び１０３Ｄは、移行先ストレージコントローラ１０２Ｃとは異なる移行先ストレージコントローラ１０２ＤのＦＥポート１０３Ｇ及び１０３Ｈに対応付けられる。
【0132】
このように、異なる移行元ストレージコントローラ１０２に実装されたＦＥポート１０３は、異なる移行先ストレージコントローラ１０２に実装されたＦＥポート１０３に対応付けられる。すなわち、異なる移行元ストレージコントローラ１０２に実装されたＦＥポート１０３が同一の移行先ストレージコントローラ１０２に実装されたＦＥポート１０３に対応付けられることはない。これによって、移行元と少なくとも同等の冗長性が移行先においても確保される。
【0133】
次に、ストレージコントローラ１０２は、各移行先ＦＥポート１０３の仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６に、対応する移行元ＦＥポート１０３の仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６を設定する（ステップ２１０４）。ポートを設定することによって各ポートが担当する論理ユニットが決定されるため、上記のようにポートの設定を引き継ぐことによって、移行元の各ポートが担当する論理ユニットがそれぞれ移行先の各ポートに引き継がれる。これによって、論理ユニットへのデータＩ／Ｏについて、負荷分散処理または障害時の引き継ぎの少なくともいずれかが可能となる。
【0134】
なお、各ストレージコントローラ１０２が保持するハードウェア構成情報８０６及びＦＥポート構成情報８０７は、各ストレージコントローラ１０２とそれに実装されたＦＥポート１０３の識別情報とを対応付ける情報を含んでいる。このため、これらの情報に基づいて、異なる移行元ストレージコントローラ１０２に実装されたＦＥポート１０３を異なる移行先ストレージコントローラ１０２に実装されたＦＥポート１０３に対応付けることができる。
【0135】
例えば、図３に示すように、移行元ＦＥポート１０３Ａ～１０３ＤのＷＷＮと同一の値がそれぞれ移行元ＦＥポート１０３Ｅ～１０３Ｈにの仮想ＷＷＮとして設定される。これによって、ホスト計算機１１０は移行先ＦＥポート１０３をそれに対応する移行元ＦＥポート１０３と同一のものと認識することができる。なお、移行元ＦＥポートにおいて仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６が設定され、ホスト計算機１１０がそれらを認識していた場合には、各移行先ＦＥポート１０３の仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６に、対応する移行元ＦＥポート１０３の仮想ＦＥポート名１５０５及び仮想ＦＥポートアドレス１５０６が設定される。
【0136】
次に、ストレージコントローラ１０２は、移行元ストレージコントローラ１０２のＦＥポート１０３のリンクダウン（ステップ２１０５）及びそれらに対応する移行先ストレージコントローラ１０２のＦＥポート１０３のリンクアップ（ステップ２１０６）を行い、移行先のＦＥポート１０３からホスト計算機１１０に構成変更通知を送信し（ステップ２１０７）、ホスト計算機１１０からinquiryを受領したかを判定する（ステップ２１０８）。
【0137】
ホスト計算機１１０からinquiryを受領しなかった場合、ホスト計算機１１０への接続が確認できないため、ストレージコントローラ１０２は、ＦＥポート切り替え処理を中断して、処理が失敗したこと及び失敗したＦＥポート１０３の物理ポート名を管理ネットワーク１１３経由で管理装置１１２に送信する。
【0138】
ホスト計算機１１０からinquiryを受領した場合、ＦＥポート切り替え処理が終了する。
【0139】
図２２は、本発明の実施例におけるストレージコントローラ１０２が実行する旧コントローラ減設処理を示すフローチャートである。
【0140】
最初に、旧ストレージコントローラ１０２は、キャッシュメモリ上のデータの破棄又はデステージを行う（ステップ２２０１）。具体的には、旧ストレージコントローラ１０２は、キャッシュメモリ上のデータが既にドライブボックス１０９内の記憶領域に格納されていれば、そのデータをキャッシュメモリから削除し、ドライブボックス１０９内の記憶領域にまだ格納されていなければ、格納した上でそのデータをキャッシュメモリから削除する。
【0141】
次に、旧ストレージコントローラ１０２は、新規処理の受け付けを停止する（ステップ２２０２）。
【0142】
次に、旧ストレージコントローラ１０２は、既に受け付けていて起動中の処理が停止するのを待つ（ステップ２２０３）。
【0143】
次に、各ストレージコントローラ１０２は、旧ストレージコントローラ１０２の減設が反映されるように、ハードウェア構成情報８０６を更新する（ステップ２２０４）。
【0144】
以上で旧コントローラ減設処理が終了する。
【0145】
図２３は、本発明の実施例におけるストレージコントローラ１０２が実行する制御情報アドレス変換処理を示すフローチャートである。
【0146】
最初に、ストレージコントローラ１０２は、ソフトウェア固有制御情報アドレスを取得する（ステップ２３０１）。ここで、ソフトウェア固有制御情報アドレスとは、当該ストレージコントローラのソフトウェアがアクセスしようとしている制御情報のアドレスである。
【0147】
次に、ストレージコントローラ１０２は、自制御情報の形式と格納先制御情報の形式とが一致するかを判定し（ステップ２３０２）、一致しない場合にはステップ２３０１で取得した制御情報のアドレスを格納先制御情報の形式に対応する値に変換する（ステップ２３０３）。
【0148】
次に、ストレージコントローラ１０２はアクセス先物理アドレスを取得する（ステップ２３０４）。具体的には、ストレージコントローラ１０２は、ステップ２３０２で形式が一致すると判定した場合にはステップ２３０１で取得されたアドレスに対応した物理アドレスを取得し、ステップ２３０２で形式が一致しないと判定した場合にはステップ２３０３で変換されたアドレスに対応した物理アドレスを取得する。
【0149】
以上で制御情報アドレス変換処理が終了する。
【0150】
例えば、図４に示した旧ストレージコントローラ１０２Ａにおいて、形式変換（ステップ４０２Ａ）が行われ、新形式制御情報４０３Ａが生成された後に、ＣＰＵ１０４Ａがメモリ１０５Ａ内の制御プログラムに従って制御情報にアクセスしようとした場合、ステップ２３０１では旧形式の制御情報４０１Ａのアドレスが取得される。この場合、ステップ２３０２において形式が一致しないと判定され、ステップ２３０２においてアクセス対象の旧形式の制御情報４０１Ａのアドレスが新形式の制御情報４０３Ａのアドレスに変換され、ステップ２３０４において当該変換後のアドレスが取得される。これによって、制御情報の形式が変換された後も、必要に応じて制御情報にアクセスすることが可能になる。
【0151】
また、本発明の実施形態のシステムは次のように構成されてもよい。
【0152】
（１）プロセッサ（例えばＣＰＵ１０４）とメモリ（例えばメモリ１０５）とポート（例えばＦＥポート１０３）とを有する複数のストレージ制御部（例えばストレージコントローラ１０２）を有するノード（例えばストレージノード１０１）と、データを格納する記憶媒体を有するストレージドライブ（例えばドライブボックス１０９に含まれるドライブ）と、を有するストレージシステム（例えばストレージシステム１００）であって、複数のストレージ制御部は、それぞれ、その複数のポートを介して、ホスト計算機（例えばホスト計算機１１０）とデータアクセス要求及びデータの送受信を行い、その複数のプロセッサが、ホスト計算機がストレージドライブに入出力するデータを処理し、その複数のメモリが、ストレージドライブに格納されたデータへアクセスするためにプロセッサが参照する制御情報を保持し、ストレージシステムは、ストレージ制御部のメモリに記憶された制御情報を複数のストレージ制御部を有する他のノードに送信してそのストレージ制御部のメモリに格納し、他のノードが制御情報にかかるデータアクセスを実行可能にする場合に、ノードのストレージ制御部とポートとの関係を考慮しながら他のノードのポートの設定を行う。
【0153】
これによって、ストレージ制御部のリプレースを実行中にも、リプレースが実行される前後と比較してストレージ制御部及びポートの数を減らすことなく、少なくとも同等の冗長性を維持することができる。
【0154】
（２）上記（１）において、ストレージ制御部のプロセッサは、ホスト計算機がデータ入出力を行う論理ユニットを提供し、論理ユニットは、ポートに対応付けられており、ポートの設定は、ポートが担当する論理ユニットを決めることである。
【0155】
（３）上記（２）において、論理ユニットは、同じノード内の異なる複数のストレージ制御部にかかる複数のポートに対応付けられており、同じ論理ユニットに関係付けられた複数のポートを、他のノードの異なるストレージ制御部に関係つけるよう、ノードのストレージ制御部とポートと関係を考慮しながら他のノードのポートの設定を行う。
【0156】
（４）上記（３）において、異なる複数のストレージ制御部は、論理ユニットへのデータ入出力について、負荷分散処理または障害時の引き継ぎの少なくともいずれかが可能である。
【0157】
（５）上記（３）において、ノードの異なるストレージ制御部に関係付けられ異なる論理ユニットに関係付けられた複数のポートを、他のノードの同じストレージ制御部に関係つけるポート設定が可能である。
【0158】
（６）上記（１）において、ノードは、それぞれ複数のポートを有する第１のストレージ制御部及び第２のストレージ制御部を有し、他のノードは、それぞれ複数のポートを有する第３のストレージ制御部及び第４のストレージ制御部を有し、第１のストレージ制御部及び第２のストレージ制御部は、同じ制御情報を共有し、第１のストレージ制御部及び第２のストレージ制御部が有する制御情報が他のノードへ送信されたら、第３のストレージ制御部及び第４のストレージ制御部は、制御情報をそれぞれのメモリに格納して同じ制御情報を共有し、第１のストレージ制御部のポートの情報を第３のストレージ制御部のポートが引き継ぎ、第２のストレージ制御部のポートの情報を第４のストレージ制御部のポートが引き継ぐ。
【0159】
（７）上記（１）において、他のノードがストレージシステムに追加された場合に、制御情報のメモリへの格納及びポートの設定を行い、データアクセス先のポートを追加された他のノードのポートに変更することを、ポートを介してホスト計算機に通知する。
【0160】
（８）上記（１）において、ストレージシステムは、ポートの設定を行う管理部を有する管理装置（例えば管理装置１１２）に接続されている。
【0161】
（９）上記（１）において、ノードのストレージ制御部は、メモリが保持する制御情報を、他のノードのストレージ制御部のプロセッサが実行するソフトウェアに適合する形式に変換して、形式が変換された制御情報を、他のノードのストレージ制御部に送信し、他のノードのストレージ制御部は、形式が変換された制御情報をメモリに格納する。
【0162】
（１０）上記（９）において、制御情報の変換には、格納先のアドレス変換が含まれており、ストレージ制御部は、制御情報の形式の変換が終了した後にホスト計算機からデータアクセス要求を受信した場合、変換後の格納先アドレスを参照してデータアクセスする。
【0163】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したものであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0164】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【0165】
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0166】
１００ ストレージシステム
１０１Ａ、１０１Ｂ ストレージノード
１０２Ａ～１０２Ｄ ストレージコントローラ
１０３Ａ～１０３Ｈ フロントエンドネットワークポート（ＦＥポート）
１０４Ａ～１０４Ｄ ＣＰＵ
１０５Ａ～１０５Ｄ メモリ
１０６Ａ～１０６Ｄ バックエンドネットワークポート（ＢＥポート）
１０７Ａ～１０７Ｄ インターコネクトネットワークポート（ＩＣポート）
１０８ インターコネクトスイッチ
１０９Ａ、１０９Ｂ ドライブボックス
１１０Ａ、１１０Ｂ ホスト計算機
１１１ ネットワークスイッチ
１１２ 管理装置
１１３ 管理ネットワーク
１０１Ａ、１０１Ｂ ストレージノード
１０２Ａ～１０２Ｄ ストレージコントローラ
１０３Ａ～１０３Ｈ フロントエンドネットワークポート（ＦＥポート）
１０４Ａ～１０４Ｄ ＣＰＵ
１０５Ａ～１０５Ｄ メモリ
１０６Ａ～１０６Ｄ バックエンドネットワークポート（ＢＥポート）
１０７Ａ～１０７Ｄ インターコネクトネットワークポート（ＩＣポート）
１０８ インターコネクトスイッチ
１０９Ａ、１０９Ｂ ドライブボックス
１１０Ａ、１１０Ｂ ホスト計算機
１１１ ネットワークスイッチ
１１２ 管理装置
１１３ 管理ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】