ホーム > 特許ランキング > 日立ヴァンタラ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-27
(45)【発行日】2025-01-14
(54)【発明の名称】ストレージシステム及びストレージシステムの制御方法
(51)【国際特許分類】
G06F 13/14 20060101AFI20250106BHJP
G06F 13/10 20060101ALI20250106BHJP
G06F 3/06 20060101ALI20250106BHJP
【ＦＩ】
G06F13/14 330E
G06F13/10 340Z
G06F3/06 301H
G06F3/06 301Z
【請求項の数】
14
(21)【出願番号】P 2022010702
(22)【出願日】2022-01-27
(65)【公開番号】P2022161816
(43)【公開日】2022-10-21
【審査請求日】2024-02-26
(31)【優先権主張番号】P 2021066298
(32)【優先日】2021-04-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】達見 良介
(72)【発明者】
【氏名】松上 一樹
(72)【発明者】
【氏名】山本 彰
(72)【発明者】
【氏名】篠塚 研太
【審査官】豊田 真弓
(56)【参考文献】
【文献】特開２０１６－０２４５６３（ＪＰ，Ａ）
【文献】特開２０１９－０４９８６６（ＪＰ，Ａ）
【文献】特開２００６－２２１５２６（ＪＰ，Ａ）
【文献】特開２０２２－０５５６１４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／００８５４６０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０２４２７７１（ＵＳ，Ａ１）
【文献】米国特許第０６９４１３９６（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １３／１４
Ｇ０６Ｆ １３／１０
Ｇ０６Ｆ ３／０６
(57)【特許請求の範囲】
【請求項1】
データを格納する記憶媒体を有するストレージドライブと、プロセッサとメモリとポートとを有して前記ストレージドライブに入出力するデータを処理する複数のストレージ制御部と、を有するストレージシステムであって、前記ストレージシステムに実装されている前記ストレージ制御部のリストと、前記ストレージシステムに実装可能な前記ストレージ制御部の最大数と、にかかる情報を保持し、
前記ストレージ制御部を交換する場合に、前記実装されているストレージ制御部の数と、前記実装可能な前記ストレージ制御部の最大数とに基づいて、減設するストレージ制御部から増設するストレージ制御部へ移動させる構成を、他のストレージ制御部を介して移動させるか直接移動させるかを決定する
ことを特徴とするストレージシステム。
【請求項2】
請求項１に記載のストレージシステムであって、前記実装されているストレージ制御部の数が前記実装可能な最大数である場合、前記ストレージ制御部の構成を、他のストレージ制御部を介して移動させ、
前記実装されているストレージ制御部の数が前記実装可能な最大数未満である場合、前記ストレージ制御部の構成を、減設するするストレージ制御部から増設するストレージ制御部へ直接移動させることを特徴とするストレージシステム。
【請求項3】
請求項２に記載のストレージシステムであって、前記ストレージ制御部には、前記ストレージドライブの記録領域にデータ入出力する制御権が設定され、前記制御権を有するストレージ制御部は、前記制御権にかかる記憶領域にアクセスするための制御情報及びポート設定情報を有し、
前記移動する構成は、前記制御権、制御情報及びポート設定情報である
ことを特徴とするストレージシステム。
【請求項4】
請求項３に記載のストレージシステムであって、前記ストレージ制御部のメモリには、前記制御権に紐付けられたデータが格納されており、
前記移動させる構成には、前記制御権に紐付けられたメモリ内のデータを含む
ことを特徴とするストレージシステム。
【請求項5】
請求項１に記載のストレージシステムであって、交換後のストレージ制御部は、第１の制御プログラムと、第２の制御プログラムと、を実行可能であり、
交換前のストレージ制御部は、少なくとも、前記第２の制御プログラムを実行可能であり、
前記ストレージシステム内の全ての前記ストレージ制御部が前記交換後のストレージ制御部である場合、前記第１の制御プログラムを用いて前記ストレージドライブに入出力されるデータを処理し、
前記ストレージシステム内の少なくとも一つの前記ストレージ制御部が前記交換前のストレージ制御部である場合、前記第２の制御プログラムを用いて前記ストレージドライブに入出力されるデータを処理することを特徴とするストレージシステム。
【請求項6】
請求項５に記載のストレージシステムであって、前記交換前のストレージ制御部を減設する処理は、減設対象のストレージ制御部の前記メモリのキャッシュ領域のデータを前記ストレージドライブに格納する処理と、前記減設対象のストレージ制御部がアクセス要求の受付を停止するようにポートを変更する処理と、前記減設対象のストレージ制御部の減設が反映されるように前記メモリ内のハードウェア構成情報を更新する処理と、を含み、
前記ストレージ制御部を増設する処理は、前記ストレージ制御部の増設が反映されるように前記メモリ内のハードウェア構成情報を更新する処理を含むことを特徴とするストレージシステム。
【請求項7】
請求項６に記載のストレージシステムであって、前記各ストレージ制御部は、ホスト計算機がデータ入出力を行うポートと論理ユニットとを提供し、
前記論理ユニットは、前記ポートに対応付けられており、
前記ストレージシステムに実装されている前記ストレージ制御部の数が前記最大数である場合、
前記減設対象のストレージ制御部を減設する処理において、前記減設対象の旧ストレージ制御部以外のいずれかの前記ストレージ制御部の前記ポートを選択し、前記減設対象のストレージ制御部の前記ポートに対応付けられている前記論理ユニットを前記選択されたポートに対応付ける処理を実行し、
前記ストレージ制御部を増設する処理において、前記選択されたポートに対応付けられた前記論理ユニットを、増設された前記ストレージ制御部の前記ポートに対応付ける処理を実行し、
前記ストレージシステムに実装されている前記ストレージ制御部の数が前記最大数に満たない場合、前記ストレージ制御部を増設し前記減設対象の旧ストレージ制御部を減設する処理において、前記減設対象のストレージ制御部の前記ポートに対応付けられている前記論理ユニットを、増設される前記ストレージ制御部の前記ポートに対応付ける処理を実行することを特徴とするストレージシステム。
【請求項8】
請求項７に記載のストレージシステムであって、前記選択されたポートは、前記減設対象のストレージ制御部の前記ポートに対応付けられている前記論理ユニットに既に対応付けられている前記ポートを有する前記ストレージ制御部とは異なる前記ストレージ制御部が有する前記ポートであることを特徴とするストレージシステム。
【請求項9】
請求項２に記載のストレージシステムであって、前記実装されているストレージ制御部の数が前記実装可能な最大数未満である場合、前記ストレージ制御部を前記最大数以下となるように増設し、前記ストレージ制御部の構成を減設するストレージ制御部から増設するストレージ制御部へ移動させ、前記ストレージ制御部を減設することを、複数回繰り返して複数台の前記ストレージ制御部を交換することを特徴とするストレージシステム。
【請求項10】
請求項１に記載のストレージシステムであって、前記ストレージ制御部の増設及び減設を実行する前に、前記減設するストレージ制御部に、他の前記ストレージ制御部との間の通信のためのインターコネクトポートが実装されているかを判定し、
前記インターコネクトポートが実装されていない場合、前記インターコネクトポートの実装作業を指示する情報を出力し、
前記インターコネクトポートが実装された場合、実装された前記インターコネクトポートを介して前記ストレージ制御部の構成を前記減設するストレージ制御部から前記増設するストレージ制御部へ移動させることによって前記ストレージ制御部を交換することを特徴とするストレージシステム。
【請求項11】
請求項１に記載のストレージシステムであって、前記ストレージ制御部の増設及び減設を実行する前に、前記ストレージ制御部間の通信のためのインターコネクトスイッチが実装されているかを判定し、
前記インターコネクトスイッチが実装されていない場合、前記インターコネクトスイッチの実装作業を指示する情報を出力し、
前記インターコネクトスイッチが実装された場合、実装された前記インターコネクトスイッチを介して前記ストレージ制御部の構成を前記減設するストレージ制御部から前記増設するストレージ制御部へ移動させることによって前記ストレージ制御部を交換することを特徴とするストレージシステム。
【請求項12】
請求項１に記載のストレージシステムであって、前記ストレージ制御部は、ホスト計算機がデータ入出力を行うポートと論理ユニットとを提供し、
前記論理ユニットは、前記ポートに対応付けられており、
前記減設するストレージ制御部から前記増設するストレージ制御部への移動を実行した後、前記減設するストレージ制御部を減設する前に、前記増設するストレージ制御部の前記ポートに前記論理ユニットを定義している前記ホスト計算機のポートのリストを出力することを特徴とするストレージシステム。
【請求項13】
請求項１に記載のストレージシステムであって、それぞれが１以上の前記ストレージドライブを含む複数のドライブボックスが実装され、
前記複数のドライブボックスの各々には、前記ストレージ制御部からのユーザデータの書き込み要求及び読み出し要求を受ける複数のドライブボックスポートが実装され、
前記複数のドライブボックスは、第１のドライブボックスと、前記第１のドライブボックスより多くの前記ドライブボックスポートが実装された第２のドライブボックスとを含み、
前記複数のドライブボックスは、前記第２のドライブボックスの前記ドライブボックスポートが前記ストレージ制御部からのユーザデータの書き込み要求及び読み出し要求を受け、前記第１のドライブボックスの前記ドライブボックスポートが前記第２のドライブボックスを介して前記ストレージ制御部からのユーザデータの書き込み要求及び読み出し要求を受けるように実装されることを特徴とするストレージシステム。
【請求項14】
データを格納する記憶媒体を有するストレージドライブと、プロセッサとメモリとポートとを有して前記ストレージドライブに入出力するデータを処理する複数のストレージ制御部と、を有するストレージシステムの制御方法であって、前記ストレージシステムに実装されている前記ストレージ制御部のリストと、前記ストレージシステムに実装可能な前記ストレージ制御部の最大数と、にかかる情報を保持し、
前記制御方法は、前記ストレージ制御部を交換する場合に、前記実装されているストレージ制御部の数と、前記実装可能な前記ストレージ制御部の最大数とに基づいて、減設するストレージ制御部から増設するストレージ制御部へ移動させる構成を、他のストレージ制御部を介して移動させるか直接移動させるかを決定する手順を含むことを特徴とするストレージシステムの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フラッシュメモリ又は磁気ディスクをストレージ（記憶媒体）装置として用いるストレージシステムのストレージコントローラリプレース及びアップグレードに関する。
【背景技術】
【0002】
近年、ＮＡＮＤ型フラッシュメモリの大容量化によりストレージシステムには大量のデータが保存されている。また、ストレージシステムは上位アプリケーションへの業務影響なく、ハードウェア及びソフトウェアを最新のものに交換できることが求められる。通常、ストレージシステムの交換には、新ストレージシステム側の設定及びデータ移行プロセスに時間を要している。
【0003】
特許文献１は、ストレージシステムのソフトウェアを無停止でアップデートするための発明を示している。ソフトウェアアップデート後、新しいデータ形式と古いデータ形式が両方存在しており、新しいデータには、古いデータ形式のデータへの参照が含まれている。データが更新されたときに、新しいデータ形式で書き込むことで、データの読み書きを止めることなく、新しいデータ形式へアップデートすることができる。
【0004】
特許文献２は、複数ストレージシステム間における無停止データ移行を行うための発明を示している。ホストから単一のストレージシステムであることを認識させるために、複数ストレージに跨る仮想ストレージシステム、仮想ポート及び仮想ロジカルユニット（ＬＵＮ）を構成する。移行元の物理ポートのポート名およびポートアドレスを移行先システムの仮想ポート名およびポートアドレスに対応付けることで、無停止で新しいストレージシステムへの移行を完了させることができる。
【0005】
デュアルコントローラのストレージシステムにおいて、ストレージシステムのハードウェアを無停止でアップデートするための方式がある。この方式によれば、接続されているドライブのデータを移動することなく新しいコントローラへアップデートすることができる。また、ストレージシステムの構成情報等は維持される。ストレージコントローラを片方ずつ順番に交換することで、新しいハードウェアへの交換を実現している。これは、ストレージシステムにおけるコントローラの交換手順として一般的な方法である。
【先行技術文献】
【特許文献】
【0006】
【文献】米国特許第９９５９０４３号明細書
【文献】米国特許第９０９８２１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１では、論理ボリューム内の各データに対して、データ形式が更新されている場合に、新データ形式から旧データへの参照を持つことで、旧データ形式を維持したまま、新しいソフトウェアでの新データ形式に対応している。ただし、ストレージシステムにおけるストレージコントローラのアップグレードにおいては、ハードウェアストレージコントローラのハードウェアコンポーネントの違いやストレージシステムとしての仕様により、ストレージコントローラのアップグレードの完了後に、適用を開始しなければならない制御論理が存在する。例えば、新しいストレージコントローラには強力なＣＰＵやハードウェアオフロードエンジンが搭載されており、より演算コストのかかるデータ暗号やデータ圧縮アルゴリズムの採用が可能となる場合などである。特許文献１には、これらの制御論理の適用の開始を決定する方式については開示されていない。
【0008】
本発明では、ストレージシステムのハードウェア及びソフトウェアを無停止でアップデートする際の下記課題を解決する。
【0009】
第１の課題は、ストレージシステム内に、古いストレージコントローラが存在しない状態で、新しいストレージコントローラでしか動作できない制御論理を動作させる必要があることである。具体的には、ストレージシステム内にストレージコントローラがいくつ存在していても、全てのストレージコントローラが新しいストレージコントローラへのアップグレードが完了した後に、制御論理を切り替える必要がある。
【0010】
第２の課題は、アップデートのために、ストレージコントローラ数及び物理ポート数が減ることによって、ストレージシステムの性能及び冗長性の低下することを抑えることである。ただし、ハードウェアまたはソフトウェアの制約により、ストレージシステムにおける接続可能なストレージコントローラ数には上限があり、ストレージコントローラをアップグレードする際には、接続可能な最大ストレージコントローラ数を考慮に入れる必要がある。
【課題を解決するための手段】
【0011】
上記の課題の少なくとも一つを解消するため、本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、データを格納する記憶媒体を有するストレージドライブと、プロセッサとメモリとポートとを有して前記ストレージドライブに入出力するデータを処理する複数のストレージ制御部と、を有するストレージシステムであって、前記ストレージシステムに実装されている前記ストレージ制御部のリストと、前記ストレージシステムに実装可能な前記ストレージ制御部の最大数と、にかかる情報を保持し、前記ストレージ制御部を交換する場合に、前記実装されているストレージ制御部の数と、前記実装可能な前記ストレージ制御部の最大数とに基づいて、減設するストレージ制御部から増設するストレージ制御部へ移動させる構成を、他のストレージ制御部を介して移動させるか直接移動させるかを決定することを特徴とする。
【発明の効果】
【0012】
本発明の一態様によれば、マルチコントローラストレージシステムにおいて、接続されているストレージコントローラ数に応じて、無停止かつ冗長性および性能低下の影響を抑えて、新しいハードウェア及び新しいソフトウェアにアップデートすることができる。
【0013】
また、ドライブボックスを共有する場合には、古いストレージコントローラに接続されていたドライブをそのまま新しいストレージコントローラに引き継ぐことができる。
【0014】
前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施例１におけるストレージシステムの構成を示すブロック図である。
【図2A】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数未満であるときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図2B】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数未満であるときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図2C】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数未満であるときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図2D】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数未満であるときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図2E】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数未満であるときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3A】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3B】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3C】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3D】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3E】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3F】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図3G】本発明の実施例１におけるストレージコントローラ数がストレージシステムの最大数と等しいときの、ストレージコントローラのアップグレードの手順の概要を示す説明図である。
【図4】本発明の実施例１におけるストレージコントローラが有するメモリの構成を示す説明図である。
【図5】本発明の実施例１におけるストレージコントローラのメモリ内のプログラム領域の構成を示す説明図である。
【図6】本発明の実施例１におけるストレージコントローラのメモリ内の共有メモリの構成を示す説明図である。
【図7】本発明の実施例１におけるストレージコントローラのメモリに保持されるハードウェア構成情報の構成を示す説明図である。
【図8】本発明の実施例１におけるストレージコントローラのメモリに保持される実装コントローラ管理情報の構成を示す説明図である。
【図9】本発明の実施例１におけるストレージコントローラのメモリに保持されるＬＵＮ構成情報の構成を示す説明図である。
【図10】本発明の実施例１におけるストレージコントローラのメモリに保持されるＦＥポート構成情報の構成を示す説明図である。
【図11】本発明の実施例１におけるストレージコントローラのメモリに保持される引継ぎ管理情報の構成を示す説明図である。
【図12】本発明の実施例１におけるストレージコントローラのメモリに保持される制御論理バージョン管理情報の構成を示す説明図である。
【図13】本発明の実施例１におけるストレージコントローラが実行するコントローラアップデート処理の全体を示すフローチャートである。
【図14】本発明の実施例１において、最大構成時における旧ストレージコントローラ減設時のストレージコントローラが実行する引継ぎ処理を示すフローチャートである。
【図15】本発明の実施例１において、最大構成時における新ストレージコントローラ増設後のストレージコントローラが実行する引継ぎ処理を示すフローチャートである。
【図16】本発明の実施例１において、最大構成未満時における新ストレージコントローラ１１２増設後のストレージコントローラが実行する引継ぎ処理を示すフローチャートである。
【図17】本発明の実施例１におけるストレージコントローラが実行する新コントローラ増設処理を示すフローチャートである。
【図18】本発明の実施例１におけるストレージコントローラが実行する旧コントローラ減設処理を示すフローチャートである。
【図19】本発明の実施例１におけるストレージコントローラが実行するＣＰＵ処理制御権切り替え処理を示すフローチャートである。
【図20】本発明の実施例１におけるストレージコントローラが実行するＦＥポート切り替え処理を示すフローチャートである。
【図21】本発明の実施例１におけるストレージコントローラアップグレード実施作業員が実行する新コントローラ増設作業手順を示すフローチャートである。
【図22】本発明の実施例１におけるストレージコントローラアップグレード実施作業員が実行する旧コントローラ減設作業処理手順を示すフローチャートである。
【図23】本発明の実施例１におけるストレージコントローラが実行する制御論理切り替え判定処理を含む制御論理を示すフローチャートである。
【図24A】本発明の実施例１における管理装置に表示するストレージコントローラアップグレード作業指示画面を示す説明図である。
【図24B】本発明の実施例１における管理装置に表示するストレージコントローラアップグレード作業指示画面を示す説明図である。
【図24C】本発明の実施例１における管理装置に表示するストレージコントローラアップグレード作業指示画面を示す説明図である。
【図25A】本発明の実施例２における、アップグレード前のストレージシステムにインターコネクトポート及びインターコネクトスイッチが実装されていない場合の、ストレージコントローラアップグレード処理の手順の概要を示す説明図である。
【図25B】本発明の実施例２における、アップグレード前のストレージシステムにインターコネクトポート及びインターコネクトスイッチが実装されていない場合の、ストレージコントローラアップグレード処理の手順の概要を示す説明図である。
【図25C】本発明の実施例２における、アップグレード前のストレージシステムにインターコネクトポート及びインターコネクトスイッチが実装されていない場合の、ストレージコントローラアップグレード処理の手順の概要を示す説明図である。
【図25D】本発明の実施例２における、アップグレード前のストレージシステムにインターコネクトポート及びインターコネクトスイッチが実装されていない場合の、ストレージコントローラアップグレード処理の手順の概要を示す説明図である。
【図26】本発明の実施例２におけるストレージコントローラのメモリ内の共有メモリの構成を示す説明図である。
【図27】本発明の実施例２におけるストレージコントローラのメモリに保持されるインターコネクトスイッチ実装管理情報の構成を示す説明図である。
【図28】本発明の実施例２におけるストレージコントローラのメモリに保持される接続先ホスト情報の構成を示す説明図である。
【図29】本発明の実施例２におけるストレージコントローラのメモリに保持されるドライブボックス構成情報の構成を示す説明図である。
【図30】本発明の実施例２におけるストレージコントローラが実行するコントローラアップデート処理の全体を示すフローチャートである。
【図31】本発明の実施例３におけるストレージコントローラアップグレード実施中のシステム構成を示す説明図である。
【図32A】本発明の実施例４において、ストレージコントローラ単位でアップグレードする手順の概要を示す説明図である。
【図32B】本発明の実施例４において、ストレージコントローラ単位でアップグレードする手順の概要を示す説明図である。
【図32C】本発明の実施例４において、ストレージコントローラ単位でアップグレードする手順の概要を示す説明図である。
【発明を実施するための形態】
【0016】
以下、図面に基づいて、本発明の実施例を説明する。添付図面では、機能的に同じ要素を同じ番号で表示する場合がある。添付図面は、本発明の原理に則った具体的な実施形態と実施例とを示している。それらの実施形態及び実施例は、本発明の理解のためのものであり、本発明を限定的に解釈するために用いてはならない。
【0017】
さらに、本発明の実施形態は、後述するように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし、専用ハードウェアで実装してもよいし、又はソフトウェアとハードウェアの組み合わせで実装してもよい。
【0018】
以下では「プログラム」を主語（動作主体）として本発明の実施形態における各処理について説明を行う場合がある。プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。プログラムの一部又は全ては専用ハードウェアで実現してもよく、また、モジュール化されていてもよい。各種プログラムはプログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。
【0019】
以下の説明では、「インターフェース部」は、ユーザインターフェース部と、通信インターフェース部とのうちの少なくとも１つを含んでよい。ユーザインターフェース部は、１以上のＩ／Ｏデバイス（例えば入力デバイス（例えばキーボード及びポインティングデバイス）と出力デバイス（例えば表示デバイス））と表示用計算機とのうちの少なくとも１つのＩ／Ｏデバイスを含んでよい。通信インターフェース部は、１以上の通信インターフェースデバイスを含んでよい。１以上の通信インターフェースデバイスは、１以上の同種の通信インターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【0020】
また、以下の説明では、「メモリ部」は、１以上のメモリを含む。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。メモリ部は、主に、プロセッサ部による処理の際に使用される。
【0021】
また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的にはＣＰＵ（Central Processing Unit）である。
【0022】
また、以下の説明では、「ハードウェアアクセラレータ部」は、１つ以上のハードウェア集積回路を含む。少なくとも１つのハードウェア集積回路は、典型的には、ＦＰＧＡ（Field Programmable Gate Array）である。
【0023】
また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
【0024】
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通符号を使用し、同種の要素を区別する場合は、参照符号（又は要素のＩＤ（例えば識別番号）を使用することがある。例えば、複数のストレージコントローラを区別しない場合には、「ストレージコントローラ１０２」と記載し、各ストレージコントローラを区別する場合には、「ストレージコントローラ１０２Ａ」、「ストレージコントローラ１０２Ｂ」のように記載する。他の要素（例えば後述するストレージノード１０１、フロントエンドネットワークポート１０３、ＣＰＵ１０４、メモリ１０５、バックエンドネットワークポート１０６、インターコネクトネットワークポート１０７、ドライブボックス１０９、ホスト計算機１１０等）も同様である。
【0025】
また、以下の説明では、「ストレージシステム」は、１以上のストレージ装置を含む。少なくとも１つのストレージ装置は、汎用的な物理計算機であってもよい。また、少なくとも１つのストレージ装置が、仮想的なストレージ装置であってもよいし、ＳＤｘ（Software-Defined anything）を実行してもよい。ＳＤｘとしては、例えば、ＳＤＳ（Software Defined Storage）（仮想的なストレージ装置の一例）又はＳＤＤＣ（Software-defined Datacenter）を採用することができる。
【0026】
ここで、前述の２つの課題を解決するための本発明の実施例の概要を説明する。
【0027】
本発明の対象とするストレージシステムは、冗長性のために複数のストレージコントローラを持ち、互いにＰＣＩｅ又はＩｎｆｉｎｉＢａｎｄなどの広帯域、低遅延なネットワークで接続され、制御情報を互いに共有する密結合マルチコントローラシステムである。制御情報は、冗長化のため、２つ以上のコントローラに格納されている。
【0028】
第１の課題を解決する方法を説明する。ストレージコントローラのアップグレードを無停止で実施するため、全てのストレージコントローラが一斉に新しいストレージコントローラに置き換わるのではなく、一時的に、古いストレージコントローラと新しいストレージコントローラが共存した状態が存在する。その間、各ストレージコントローラ上のソフトウェアは、どちらのストレージコントローラでも動作可能な制御論理で動作する。その後、逐次、ストレージコントローラのアップグレードが完了し、全てのストレージコントローラが新しいものに置き換わった後に、新しいストレージコントローラでのみ動作可能な制御論理の動作を開始する。
【0029】
第２の課題を解決する方法を説明する。古いストレージシステムは、ストレージコントローラ同士を接続するインターコネクトを持ち、古いストレージコントローラと新しいストレージコントローラのどちらにも接続接続可能なインターコネクトネットワークポートを持つ。アップデート時に、現在の構成が接続可能最大コントローラ数未満であれば、「新しいストレージコントローラを増設してから、古いストレージコントローラを減設する」という操作を繰り返す。一方、現在の構成が接続可能最大コントローラ数であれば、「古いストレージコントローラを減設してから、新しいストレージコントローラを増設する」という操作を繰り返す。
【0030】
古いストレージコントローラと新しいストレージコントローラは、ネットワークポートを使用して、接続する。この時、ネットワークポートはストレージコントローラに直接つながっていてもよいし、ファブリックネットワークスイッチ上に存在してもよい。また、ストレージ装置を格納するストレージドライブボックスについても同様に、新しいストレージコントローラと接続可能なバックエンドネットワークポートを持つ。ストレージコントローラと接続するときに、ドライブボックスと新しいストレージコントローラとの間も接続することで、古いストレージコントローラに接続されていたストレージ装置に対して、古いストレージコントローラを経由せずに、新しいストレージコントローラからアクセスすることができる。
【0031】
新しいストレージコントローラを増設してから古いストレージコントローラを減設する場合、例えば、古いストレージコントローラに、新しいストレージコントローラを増設し、１つのマルチコントローラストレージシステムを形成する。その後、処理及び制御情報の移行が完了したら、古いストレージコントローラを停止し、古いストレージコントローラ減設する。これを古いストレージコントローラが存在する限り繰り返していく。
【0032】
一方で、古いストレージコントローラを減設してから新しいストレージコントローラを増設する場合、ストレージシステム内の古いストレージコントローラのうち、初めにアップグレード対象とするものを選択し、処理及び他のコントローラと共有する制御情報を残っている別のストレージコントローラに退避する。その後、その古いストレージコントローラを停止し、減設する。そうすることにより、ストレージシステムに、別のストレージコントローラが増設可能な状態となる。その後、新しいストレージコントローラを増設し、他のストレージコントローラに退避した処理及び制御情報を増設したストレージコントローラに移行する。これを古いストレージコントローラ残っている限り繰り返す。
【0033】
これによって、ストレージシステムの構成が接続可能ストレージコントローラ数の上限に達していない場合は、ストレージコントローラ数及び物理ポート数を減らすことなく、ストレージのハードウェア及びソフトウェアのアップデートが完了する。また、ストレージシステムの構成が接続コントローラ数の上限に達している場合でも、ストレージコントローラ数及び物理ポート数の減少を抑えて、ストレージのハードウェア及びソフトウェアのアップグレードが完了する。
【0034】
新しいストレージシステム増設後の、マルチコントローラストレージシステム構成において、新しいストレージコントローラ内で動作する新しいストレージソフトウェアと古いストレージコントローラ内で動作する古いソフトウェアとは、ストレージコントローラ間ネットワークを介して、共通の制御情報に透過的にアクセスする。また、コントローラ間で通信して行う処理では、新しいストレージコントローラ上のソフトウェアは古いストレージコントローラ上のソフトウェアとの互換性を満たすように動作する。このようにすることで、ストレージシステムで実施される各処理について、古いコントローラ及び新しいコントローラのどちら側でも実施することができ、Ｉ／Ｏを停止することなく、各処理を新しいストレージコントローラで実施するように切り替えていくことができる。また、アップグレード中の保守を行うケース及び中断して元の状態に復帰させるケースなども、柔軟かつ迅速に対応できる。同時に、アップデート前に設定されていたＬＵＮ等の構成情報、レプリケーションなどの状態及びストレージメディアのティアリング等に使用するアクセス頻度情報などをそのまま新しいコントローラで実施される処理にも引き継ぐことができる。
【0035】
以下、上記の課題を解決するための本発明の実施例を図面に基づいて説明する。
【実施例1】
【0036】
図１は、本発明の実施例１におけるストレージシステムの構成を示すブロック図である。
【0037】
本実施例のストレージシステム１００は、複数のストレージコントローラ１０２及び１１２、１以上のインターコネクトスイッチ１０８及び１以上のドライブボックス１０９を有する。図１には、複数のストレージコントローラ１０２及び１１２の例として、ストレージコントローラ１０２Ａ～１０２Ｄ及び１１２Ａ、１１２Ｂを示す。これらのうちストレージコントローラ１０２Ａ～１０２Ｄは、これから減設される旧ストレージコントローラであり、ストレージコントローラ１０２Ａ及び１０２Ｂは、一つのストレージノード１０１Ａを構成し、ストレージコントローラ１０２Ｃ及び１０２Ｄは、一つのストレージノード１０１Ｂを構成する。一方、ストレージコントローラ１１２Ａ及び１１２Ｂは、増設された新ストレージコントローラであり、一つのストレージノード１１１Ａを構成する。
【0038】
減設される古いストレージコントローラ１０２は、それぞれ、ＣＰＵ１０４、メモリ１０５、フロントエンドネットワークポート（以下、ＦＥポートとも記載する）１０３、バックエンドネットワークポート（以下、ＢＥポートとも記載する）１０６及びインターコネクトネットワークポート（以下、ＩＣポートとも記載する）１０７を有する。同様に増設される新しいストレージコントローラ１１２は、それぞれ、ＣＰＵ１０４、メモリ１０５、ＦＥポート１０３、ＢＥポート１０６及びＩＣポート１０７を有する。
【0039】
図１の例では一つのストレージコントローラ１０２が一つのＣＰＵ１０４、一つのメモリ１０５、二つのＦＥポート１０３、一つのＢＥポート１０６及び一つのＩＣポート１０７を有するが、これらの数は一例であり、実際の数は任意である。増設対象のストレージコントローラについても同様に各コンポーネントの実際の数は任意である。また、これらのコンポーネントの他、ＦＰＧＡなどのハードウェアオフロードエンジンを搭載していてもよい。
【0040】
ＦＥポート１０３は、ネットワークスイッチ１２１に接続される。ネットワークスイッチ１２１は、１以上のホスト計算機１２０（図１の例ではホスト計算機１２０Ａ及び１２０Ｂ）に接続される。ストレージコントローラ１０２は、ＦＥポート１０３及びネットワークスイッチ１２１を経由してホスト計算機１２０からユーザデータの書き込み及び読み出し等のコマンドを受けて、それらに対する応答を返す。ストレージコントローラ１１２も同様である。
【0041】
ＢＥポート１０６は、ドライブボックス１０９に接続される。ストレージコントローラ１０２は、ＢＥポート１０６を経由してドライブボックス１０９へのユーザデータの書き込み及び読み出し等を行う。ストレージコントローラ１１２も同様である。
【0042】
ドライブボックス１０９は、ホスト計算機１２０によって書き込まれたデータを格納する記憶媒体を含む。この記憶媒体は、例えば、磁気ディスク又はフラッシュメモリ等の、大容量の不揮発性記憶媒体であってもよい。
【0043】
ＩＣポート１０７は、インターコネクトスイッチ１０８に接続される。インターコネクトスイッチ１０８は、各ストレージコントローラ１０２及び１１２のＩＣポート１０７に接続される。ストレージコントローラ１０２は、ＩＣポート１０７及びインターコネクトスイッチ１０８を介して、ストレージシステム１００内の他のストレージコントローラ１０２と通信し、例えば制御情報等を送受信することができる。ストレージコントローラ１０２とストレージコントローラ１１２との通信、及び、ストレージコントローラ１１２間の通信も同様である。
【0044】
ＣＰＵ１０４は、メモリ１０５に格納されたプログラムを実行することによって、ストレージコントローラ１０２及び１１２の種々の機能を実現する。ＣＰＵ１０４によって実現される機能の詳細については後述する。
【0045】
メモリ１０５は、ＣＰＵ１０４によって実行されるプログラムを記憶する領域、ストレージコントローラ１０２及び１１２の制御情報を記憶する領域、並びに、ホスト計算機１２０による書き込み又は読み出しの対象のデータを記憶する領域等を含む。それらの領域の詳細については後述する。
【0046】
さらに、各ストレージコントローラ１０２及び１１２は、管理ネットワーク１２３を介して管理装置１２２に接続される。
【0047】
【0048】
【0049】
図２Ａは、ストレージコントローラ１０２のアップグレードが開始される前のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｄを有し、新ストレージコントローラ１１２Ａ及び１１２Ｂを有していない。このとき、四つのストレージコントローラ１０２Ａ～１０２Ｄによって冗長性が確保されている。
【0050】
図２Ｂは、ストレージノード１０１Ｂのアップグレードが実行されているときで、新ストレージノード１１１Ａを増設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｄに加えて、増設された新ストレージコントローラ１１２Ａ及び１１２Ｂを有する。このとき、六つのストレージコントローラ１０２Ａ～１０２Ｄ及び１１２Ａ～１１２Ｂによって冗長性が確保されている。
【0051】
図２Ｃは、ストレージノード１０１Ｂのアップグレードが終了した後のストレージシステム１００を示す。このとき、旧ストレージコントローラ１０２Ｃ及び１０２Ｄは既に減設されており、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ、１０２Ｂ及び新ストレージコントローラ１１２Ａ、１１２Ｂを有する。このとき、四つのストレージコントローラ１０２Ａ、１０２Ｂ、１１２Ａ及び１１２Ｂによって冗長性が確保されている。
【0052】
図２Ｄは、ストレージノード１０１Ａのアップグレードが実行されているときで、新ストレージノード１１１Ｂを増設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｂに加えて、増設された新ストレージコントローラ１１２Ａ～１１２Ｄを有する。このとき、六つのストレージコントローラ１０２Ａ～１０２Ｂ及び１１２Ａ～１１２Ｄによって冗長性が確保されている。
【0053】
図２Ｅは、ストレージノード１０１Ａのアップグレードが終了した後のストレージシステム１００を示す。このとき、旧ストレージコントローラ１０２Ａ及び１０２Ｂは既に減設されており、ストレージシステム１００は、新ストレージコントローラ１１２Ａ～１１２Ｄを有する。このとき、四つのストレージコントローラ１１２Ａ～１１２Ｄによって冗長性が確保されている。
【0054】
上記の手順によって、アップグレードが実行されているときにも、アップグレード開始前及び終了後と少なくとも同等の冗長性が確保される。
【0055】
【0056】
図３Ａは、ストレージコントローラ１０２のアップグレードが開始される前のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｆを有し、新ストレージコントローラ１１２を有していない。このとき、六つのストレージコントローラ１０２Ａ～１０２Ｆによって冗長性が確保されている。この図の例では、ストレージシステム内のストレージコントローラ数の上限を６としているが、実際の上限の数は、ストレージシステムによって異なる。
【0057】
図３Ｂは、ストレージノード１０１Ｃのアップグレードが実行されているときで、古いストレージノード１０１Ｃを減設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｄを有する。このとき、四つのストレージコントローラ１０２Ａ～１０２Ｄによって冗長性が確保されている。
【0058】
図３Ｃは、ストレージノード１０１Ｃのアップグレードが終了した後、すなわち、新ストレージノード１１１Ａを増設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｄに加えて、増設された新ストレージコントローラ１１２Ａ及び１１２Ｂを有する。このとき、六つのストレージコントローラ１０２Ａ～１０２Ｄ及び１１２Ａ～１１２Ｂによって冗長性が確保されている。
【0059】
図３Ｄは、ストレージノード１０１Ｂのアップグレードが実行されているときで、古いストレージノード１０１Ｂを減設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ、１０２Ｂ及び新ストレージコントローラ１１２Ａ、１１２Ｂを有する。このとき、四つのストレージコントローラ１０２Ａ、１０２Ｂ、１１２Ａ及び１１２Ｂによって冗長性が確保されている。
【0060】
図３Ｅは、ストレージノード１０１Ｂのアップグレードが終了した後、すなわち、新ストレージノード１１１Ｂを増設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ、１０２Ｂに加えて、増設された新ストレージコントローラ１１２Ａ～１１２Ｄを有する。このとき、六つのストレージコントローラ１０２Ａ、１０２Ｂ及び１１２Ａ～１１２Ｄによって冗長性が確保されている。
【0061】
図３Ｆは、ストレージノード１０１Ａのアップグレードが実行されているときで、古いストレージノード１０１Ｃを減設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、新ストレージコントローラ１１２Ａ～１１２Ｄを有する。このとき、四つのストレージコントローラ１１２Ａ～１１２Ｄによって冗長性が確保されている。
【0062】
図３Ｇは、ストレージノード１０１Ａのアップグレードが終了した後、すなわち、新ストレージノード１１１Ｃを増設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ、１０２Ｂに加えて、増設された新ストレージコントローラ１１２Ａ～１１２Ｆを有する。このとき、六つのストレージコントローラ１１２Ａ～１１２Ｆによって冗長性が確保されている。
【0063】
上記の手順によって、ストレージコントローラ数が上限に達しているときにアップグレードが実行された場合には、アップグレード実施中は、アップグレード開始前と比較して１ノード分の冗長性低下に抑えられ、アップグレード終了後には、開始前と同等の冗長性が確保される。
【0064】
本実施手順では、増設及び減設の最小単位を１ストレージノードとして説明したが、ストレージノード内の、１コントローラずつの増設及び減設を実施してもよい。
【0065】
なお、本発明は、新ストレージコントローラ１１２が旧ストレージコントローラ１０２と同一の機種である場合など、アップグレード以外の目的でストレージコントローラをリプレースする場合にも適用できる。しかし、本実施例では、旧ストレージコントローラ１０２を、例えばそれらに新たな機能を追加した後継機種など、異なる品種の新ストレージコントローラ１１２にアップグレードするためのリプレースについて説明する。
【0066】
次に図４から図１２を参照して、、ストレージコントローラ１０２及び１１２が有するメモリ１０５が保持する情報について説明する。ここでは例としてストレージコントローラ１０２のメモリ１０５が保持する情報を説明するが、ストレージコントローラ１１２のメモリ１０５も同様の情報を保持する。
【0067】
図４は、本発明の実施例１におけるストレージコントローラ１０２が有するメモリ１０５の構成を示す説明図である。
【0068】
メモリ１０５は、記憶領域として、プログラム領域４０１、ローカルメモリ領域４０２、キャッシュメモリ領域４０３及び共有メモリ領域４０４を含む。プログラム領域４０１には、ストレージコントローラ１０２内のＣＰＵ１０４によって実行される制御プログラムが格納される。ローカルメモリ領域４０２は、制御プログラムが実施される際に一時的に使用するメモリ領域、及び、共有メモリ領域４０４に含まれる制御情報のコピーを格納する領域を含む。キャッシュメモリ領域４０３は、ホスト計算機１２０から書き込まれたデータ及びホスト計算機１２０によって読み出されたデータが一時的に格納される領域である。共有メモリ領域４０４は、制御プログラムが使用するストレージシステム１００に関する情報を含む。共有メモリ領域４０４は、全てのストレージコントローラ１０２及び１１２で共有する一意な情報であり、複数のストレージコントローラ１０２及び１１２）に跨って格納されていてもよい。また、共有メモリ領域４０４は、ストレージコントローラ１０２、１１２及びメモリ１０５に対する障害耐性のために、複数のストレージコントローラ間で冗長化されていてもよい。
【0069】
図５は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５内のプログラム領域４０１の構成を示す説明図である。
【0070】
プログラム領域４０１には、無停止コントローラアップデートシーケンス制御部５０１、処理引き継ぎ制御部５０２、コントローラ増設部５０３、コントローラ減設部５０４及びＩ／Ｏ処理部６０７が格納される。これらはいずれもメモリ１０５に格納され、ＣＰＵ１０４によって実行されるプログラムである。以下の説明において上記の各部が実行する処理は、実際にはＣＰＵ１０４がプログラムに従って実行する。
【0071】
無停止コントローラアップデートシーケンス制御部５０１は、本実施例のストレージコントローラ１０２のリプレースのシーケンスを制御する。処理引き継ぎ制御部５０２は、リプレース対象のストレージコントローラ１０２から、ＬＵＮ単位の処理制御権、ＦＥポートのＬＵＮ登録及び共有メモリに格納されているデータをリプレース先のストレージコントローラ１１２に引き継ぐ処理を行う。コントローラ増設部５０３は、新ストレージコントローラ１１２の増設時の処理を行う。コントローラ減設部５０４は、旧ストレージコントローラ１０２の減設時の処理を行う。
【0072】
制御論理切り替え部５０５は、旧ストレージコントローラ１０２のアップグレードが完了し、ストレージシステム内の全てのストレージコントローラが新ストレージコントローラ１１２となった後で、制御論理を新ストレージコントローラ１１２専用論理へ切り替える処理を行う。
【0073】
図６は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５内の共有メモリ領域４０４の構成を示す説明図である。
【0074】
共有メモリ領域４０４には、ハードウェア構成情報６０１、実装コントローラ管理情報６０２、ＬＵＮ構成情報６０３、ＦＥポート構成情報６０４、引継ぎ管理情報６０５及び制御論理バージョン管理情報６０６が格納される。これらの詳細は後述する（図７～図１２参照）。
【0075】
図７は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５に保持されるハードウェア構成情報６０１の構成を示す説明図である。
【0076】
ハードウェア構成情報６０１は、コントローラＩＤ７０１、コントローラバージョン情報７０２、実装ＦＥポートＩＤ７０３、実装ＢＥポートＩＤ７０４、実装ＣＰＵＩＤ７０５、実装インターコネクトポートＩＤ７０６及び実装メモリＩＤ７０７を含む。
【0077】
コントローラＩＤ７０１は、各ストレージコントローラ１０２の識別情報である。コントローラバージョン情報７０２は、コントローラＩＤ７０１に対応するハードウェアのバージョン情報である。これにより、各ストレージコントローラが旧ストレージコントローラなのか新ストレージコントローラなのかを判別できる。実装ＦＥポートＩＤ７０３、実装ＢＥポートＩＤ７０４、実装ＣＰＵＩＤ７０５、実装インターコネクトポートＩＤ７０６及び実装メモリＩＤ７０７は、それぞれ、各ストレージコントローラ１０２に実装されたＦＥポート１０３、ＢＥポート１０６、ＣＰＵ１０４、ＩＣポート１０７及びメモリ１０５の識別情報である。
【0078】
図８は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５に保持される実装コントローラ管理情報６０２の構成を示す説明図である。
【0079】
実装コントローラ管理情報６０２は、実装コントローラＩＤリスト８０１及び実装可能最大コントローラ数８０２を含む。実装コントローラＩＤリスト８０１は、ストレージシステム１００に実装され、データの入出力（Ｉ／Ｏ）等の処理を実行できる状態になっているストレージコントローラ１０２の識別情報のリストである。実装可能最大コントローラ数は、ストレージシステム１００が実装可能なストレージコントローラ数の上限値である。図２Ａから図３Ｇの例において、実装可能最大コントローラ数８０２の値は「６」である。
【0080】
例えば図２Ａに示すように新ストレージコントローラ１１２Ａ及び１１２Ｂが増設される前の状態では旧ストレージコントローラ１０２Ａ～１０２Ｄの識別情報が実装コントローラＩＤリスト８０１に保持される。図２Ｂに示すように新ストレージコントローラ１１２Ａ及び１１２Ｂが実装されてアップグレードの処理が実行されているときはストレージコントローラ１０２Ａ～１０２Ｄ、１１２Ａ及び１１２Ｂの識別情報が実装コントローラＩＤリスト８０１に保持される。図２Ｃに示すように旧ストレージコントローラ１０２Ｃ及び１０２Ｄが減設された後の状態では旧ストレージコントローラ１０２Ａ、１０２Ｂ、新ストレージコントローラ１１２Ａ及び１１２Ｂの識別情報が実装コントローラＩＤリスト８０１に保持される。
【0081】
図９は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５に保持されるＬＵＮ構成情報６０３の構成を示す説明図である。
【0082】
ＬＵＮ構成情報６０３は、各論理ユニットの構成を示す情報であり、一つの論理ユニットに関して一つのＬＵＮ構成情報６０３が保持される。ＬＵＮ構成情報６０３は、ＬＵＮＩＤ９０１、登録済みＦＥポートＩＤリスト９０２及び制御権ＣＰＵＩＤ９０３を含む。
【0083】
ＬＵＮＩＤ９０１は、各論理ユニットの識別情報である。ＦＥポートＩＤリスト９０２は、各論理ユニットへのパスが設定されているＦＥポートの識別情報のリストである。制御権ＣＰＵＩＤ９０３は、各論理ユニットへのＩ／Ｏ処理に係る制御情報に排他的にアクセスするＣＰＵ１０４の識別情報である。
【0084】
各論理ユニットは、負荷分散及び障害時のフェイルオーバーを目的として、複数の異なるストレージコントローラに属するＦＥポートに対応付けられている。
【0085】
図１０は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５に保持されるＦＥポート構成情報６０４の構成を示す説明図である。
【0086】
ＦＥポート構成情報６０４は、各ＦＥポート１０３の構成を示す情報である。各ストレージコントローラ１０２は、当該ストレージコントローラ１０２が有する全てのＦＥポートに関するＦＥポート構成情報６０４を保持する。ＦＥポート構成情報６０４は、ＦＥポートＩＤ１００１、ＦＥポートアドレス１００２及びＬＵＮＩＤリスト１００３を含む。
【0087】
ＦＥポートＩＤ１００１は、各ＦＥポート１０３の識別情報である。ＦＥポートアドレス１００２は、ホスト計算機１２０に対して提供される各ＦＥポート１０３の識別情報である。ＬＵＮＩＤリスト１００４は、各ＦＥポートを介してホスト計算機１２０へのパスが設定されている論理ユニットを識別する情報のリストである。一つのＦＥポート１０３に複数の論理ユニットへのパスが設定されていてもよく、その場合、ＬＵＮＩＤリスト１００４として複数の値が保持される。
【0088】
図１１は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５に保持される引継ぎ管理情報６０５の構成を示す説明図である。
【0089】
引継ぎ管理情報６０５は、リプレース対象の旧ストレージコントローラ１０２からリプレース先の新ストレージコントローラへ引き継ぐ対象を示す情報である。この情報は、ストレージコントローラのアップグレード処理において一時的に生成される。引継ぎ管理情報６０５は、減設対象コントローラＩＤ１１０１、ＬＵＮ制御権情報１１０２、ＦＥポートＬＵＮ登録情報１１０３、共有メモリ格納情報１１０４、ＬＵＮ制御権移動先情報１１０５、ＦＥポート毎移動先ＬＵＮ登録情報１１０６及び共有メモリ移動先情報１１０７を含む。
【0090】
減設対象コントローラＩＤ１１０１は、リプレース実施中の旧ストレージコントローラ１０２を示す識別情報である。ＬＵＮ制御権情報１１０２は、リプレース実施対象の旧ストレージコントローラ１０２がリプレース開始前に制御権を保持していたＬＵＮのリストである。ＦＥポートＬＵＮ登録情報１１０３は、リプレース実施対象の旧ストレージコントローラ１０２の各ＦＥポート１０３に、リプレース開始前に登録されていたＬＵＮのリストである。共有メモリ格納情報１１０４は、リプレース実施対象の旧ストレージコントローラ１０２のメモリ１０５内に保持されていた共有メモリの領域を示す情報である。
【0091】
ＬＵＮ制御権移動先情報１１０５は、新ストレージコントローラ１１２増設前に旧ストレージコントローラ１０２を減設する際に、一時的にＬＵＮ制御権を移動させたストレージコントローラを示す。具体的には、ＬＵＮ制御権移動先情報１１０５には、ＬＵＮ毎に移動先のストレージコントローラ情報が保持される。ＦＥポート毎移動先ＬＵＮ登録情報１１０６は、新ストレージコントローラ１１２増設前に旧ストレージコントローラ１０２を減設する際に、一時的にＬＵＮ登録先ＦＥポートを移動させた各ＦＥポートのＬＵＮ登録情報を示す。ＬＵＮ毎に登録先のＦＥポートが異なってよい。共有メモリ移動先情報１１０７は、新ストレージコントローラ１１２増設前に旧ストレージコントローラ１０２を減設する際に、一時的に移動させた共有メモリの移動先ストレージコントローラ１０２（又は１１２）を示す。
【0092】
図１２は、本発明の実施例１におけるストレージコントローラ１０２のメモリ１０５に保持される制御論理バージョン管理情報６０６の構成を示す説明図である。
【0093】
制御論理バージョン管理情報６０６は、本発明の実施例１におけるストレージコントローラアップグレードに伴う制御論理の切り替えを管理する制御情報である。制御論理バージョン管理情報６０６は、論理種別ＩＤ１２０１及び制御論理バージョン情報１２０２を含む。論理種別ＩＤ１２０１は、切り替え対象となる制御論理を示す識別情報である。制御論理バージョン情報１２０２は、制御論理切り替えの判定に使用する情報である。
【0094】
次に、ストレージコントローラ１０２及び１１２が実行する処理についてフローチャートを参照して説明する。以下の処理はストレージコントローラ１０２及び１１２のＣＰＵ１０４がメモリ１０５内のプログラム領域４０１に格納されたプログラムを実行することによって実現される。
【0095】
なお、以下の図１３から図１６の説明は、旧ストレージコントローラ１０２のいずれかが実行する処理の例を示しているが、既に１以上の新ストレージコントローラ１１２が増設されている場合にはその新ストレージコントローラ１１２が以下の処理を実行してもよい。特に、ストレージシステム１００に最後まで残った旧ストレージコントローラ１０２が減設対象となる処理は、新ストレージコントローラ１１２によって実行される。
【0096】
図１３は、本発明の実施例１におけるストレージコントローラが実行するコントローラアップデート処理の全体を示すフローチャートである。本実施例では、ストレージノード単位にアップデートする処理手順を示す。ストレージコントローラ単位にアップデートする場合であっても同様の手順で実施可能である。
【0097】
最初に、ストレージコントローラ１０２は、アップグレード対象のノードを特定する（ステップ１３０１）。次に、ストレージコントローラ１０２は、実装コントローラ管理情報６０２を参照して、現在の構成が最大構成になっているかどうかを判定する（ステップ１３０２）。すでに最大構成であれば、減設してから増設の手順でストレージコントローラをアップグレードすると判断し、ステップ１３０３へ進む。また、ストレージコントローラ数が最大未満であれば、増設してから減設の手順でストレージコントローラをアップグレードすると判断し、ステップ１３１１へ進む。
【0098】
ステップ１３０３では、減設対象のストレージコントローラからＬＵＮの制御権、ＬＵＮのＦＥポート割当および格納されている共有メモリ情報を減設対象ではない別のストレージコントローラ１０２、１１２またはその両方に跨って退避する。退避した情報は、引継ぎ管理情報４０５に格納する。
【0099】
次に、ストレージコントローラ１０２は、減設対象の旧ストレージノード１０１を減設する（ステップ１３０４）。
【0100】
次に、ストレージコントローラ１０２は、作業員による機器の設置及びケーブル等の配線を促すために、旧ストレージノード１０１の減設作業及び新ストレージノード１１１の増設作業指示を管理画面に表示（ステップ１３０５）し、作業員からの操作を待つ（ステップ１３０６）。管理画面とは例えば管理装置１２２の表示装置（図示省略）によって表示される画面である。ステップ１３０５において表示される画面の例については図２４Ａを参照して後述する。また、ステップ１３０６で実行される作業員の操作の詳細については図２１及び図２２を参照して後述する。
【0101】
作業員からの操作を受け付けたら、ストレージコントローラ１０２は、新ストレージノード１１１の増設処理を開始する（ステップ１３０７）。
【0102】
次に、ストレージコントローラ１０２は、引継ぎ管理情報４０５に格納した情報を用いて、ＬＵＮ制御権、ＦＥポート毎のＬＵＮ割当、退避前ストレージコントローラに配置されていた共有メモリ情報を増設した新ストレージコントローラ１１２に移動させる（ステップ１３０８）。次にステップ１３０９へ進む。
【0103】
ステップ１３０９では、ストレージコントローラ１０２は、コントローラバージョン情報７０２を参照して、ストレージシステム内に旧ストレージコントローラ１０２が残っているかどうかを判定する。旧ストレージコントローラ１０２が残っている場合には、ステップ１３０１に戻る。全て新ストレージコントローラ１１２へ置き換えが完了していたら、ステップ１３１０へ進む。
【0104】
ステップ１３１０では、ストレージコントローラ１１２は、制御論理バージョン管理情報４０６を更新し、新ストレージコントローラ１１２でのみ動作可能な制御論理へ切り替える。
【0105】
ステップ１３１１からステップ１３１６までは、ストレージコントローラノードを増設してから減設する手順でアップグレードを実施する処理手順である。
【0106】
ステップ１３１１では、ストレージコントローラ１０２は、作業員による機器の設置及びケーブル等の配線を促すために、新ストレージノード１１１の増設作業指示を管理画面に表示し、次に、作業員からの操作を待つ（ステップ１３１２）。ステップ１３１１において表示される画面の例については図２４Ｂを参照して後述する。また、ステップ１３１２で実行される作業員の操作の詳細については図２１を参照して後述する。
【0107】
作業員からの操作を受け付けたら、ストレージコントローラ１０２は、新ストレージノード１１１増設の増設処理を開始する（ステップ１３１３）。
【0108】
次に、ストレージコントローラ１０２は、減設対象のストレージコントローラ１０２に登録されているＬＵＮ制御権、ＦＥポート毎のＬＵＮ割当及び減設対象のストレージコントローラ１０２上に配置されている共有メモリ情報を増設した新ストレージコントローラ１１２に移動させる（ステップ１３１４）。
【0109】
移動が完了したら、ストレージコントローラ１０２は、減設対象のストレージノードを減設する（ステップ１３１５）。次に、ストレージコントローラ１０２は、作業員による機器やケーブルの取り外しを促すために、減設した旧ストレージノード１０１の減設作業指示を管理画面に表示する（ステップ１３１６）。その後、ステップ１３０９へ進む。なお、ステップ１３１６の指示を受けて、作業員は減設作業を実行する。ステップ１３１６において表示される画面の例については図２４Ｃを参照して後述する。また、ステップ１３１６の後に実行される減設作業の詳細については図２２を参照して後述する。
【0110】
図１４は、本発明の実施例１において、最大構成時における旧ストレージコントローラ１０２減設時のストレージコントローラ１０２が実行する引き継ぎ処理（ステップ１３０２）を示すフローチャートである。
【0111】
最初に、ストレージコントローラ１０２は、減設対象のストレージコントローラ１０２が保持する各ＦＥポート１０３のＬＵＮ登録情報の移動先を選択し、引継ぎ管理情報６０５に登録する（ステップ１４０１）。その際、ストレージコントローラ１０２は、ＬＵＮ構成情報６０３を参照し、減設対象のストレージコントローラ１０２が保持するＦＥポート１０３に登録されているＬＵＮの移動先（すなわち新たな登録先）として、当該ＬＵＮが既に登録されているＦＥポート１０３を含むストレージコントローラ１０２以外のストレージコントローラ１０２のＦＥポートを選択する。これによって、ストレージコントローラアップグレード中に冗長性が失われることを回避する。
【0112】
ただし、当該ＬＵＮが既に登録されているＦＥポート１０３を含むストレージコントローラ１０２以外のストレージコントローラ１０２が存在しない場合には、当該ＬＵＮが既に登録されているＦＥポート１０３を含むストレージコントローラ１０２において、当該ＬＵＮがまだ登録されていないＦＥポート１０３を選択する。そのようなＦＥポート１０３も存在しない場合には、当該ＬＵＮが既に登録されているＦＥポート１０３を選択してもよい。
【0113】
次に、ストレージコントローラ１０２は、ＬＵＮ制御権の切り替え先コントローラを選択し、引継ぎ管理情報６０５に登録する（ステップ１４０２）。その際、ストレージコントローラ１０２は、ＬＵＮ構成情報６０３を参照し、制御権を持つＬＵＮが少ないストレージコントローラ１０２をＬＵＮ制御権の切り替え先として選択してもよい。これによって、負荷分散が実現される。あるいは、ストレージコントローラ１０２は、ＬＵＮ登録されているＦＥポート１０３を含むストレージコントローラ１０２をＬＵＮ制御権の切り替え先として選択してもよい。これによって、ホスト計算機１２０からのアクセス毎にストレージコントローラ間通信が発生して、Ｉ／Ｏ性能が低下することが防止される。
【0114】
次に、ストレージコントローラ１０２は、設定した引継ぎ管理情報６０５を参照して、ＬＵＮ制御権の切り替えを実施する（ステップ１４０３）。
【0115】
次に、ストレージコントローラ１０２は、設定した引継ぎ管理情報６０５を参照して、対象のＦＥポート１０３に対してＬＵＮ登録を行う（ステップ１４０４）。
【0116】
ＬＵＮ制御権切り替え（ステップ１４０３）及びＬＵＮ登録（ステップ１４０４）は、各ＬＵＮに対して逐次的に行ってもよい。
【0117】
次に、ストレージコントローラ１０２は、減設対象ストレージコントローラ１０２内に共有メモリ領域４０４内の情報が格納されているかどうかを判定する（ステップ１４０５）。共有メモリ領域４０４内の情報が格納されているのであれば、ステップ１４０６へ進み、含まないのであれば、引継ぎ管理情報６０５の共有メモリ格納情報１１０４に何も登録せずに処理を終了する。
【0118】
ステップ１４０６では、減設対象ストレージコントローラ１０２内の共有メモリ領域４０４内の情報を減設対象でないストレージコントローラ１０２（又は１１２）へ移動し、移動先ストレージコントローラ１０２（又は１１２）及び移動先共有メモリ領域４０４内の情報を引継ぎ管理情報６０５の共有メモリ移動先情報１１０７及び共有メモリ格納情報１１０４に登録する。その際、移動する共有メモリの冗長度が失われないように、ストレージコントローラ１０２は、移動対象の共有メモリ内情報を含まないストレージコントローラ１０２（又は１１２）を移動先として選択する。
【0119】
最大構成時における旧ストレージコントローラ１０２減設時のストレージコントローラ１０２が実行する引き継ぎ処理を完了する。
【0120】
図１５は、本発明の実施例１において、最大構成時における新ストレージコントローラ１１２増設後のストレージコントローラ１０２が実行する引き継ぎ処理（ステップ１３０８）を示すフローチャートである。
【0121】
最初に、ストレージコントローラ１０２は、引継ぎ管理情報６０５を参照し、増設したストレージコントローラ１１２へ移動するＦＥポート１０３毎のＬＵＮ登録情報を参照する（ステップ１５０１）。次に、引継ぎ管理情報６０５を参照し、増設したストレージコントローラ１１２へ制御権を移動するＬＵＮを選択する（ステップ１５０２）。
【0122】
次に、ストレージコントローラ１０２は、ＬＵＮ制御権を増設したストレージコントローラ１１２に切り替える（ステップ１５０３）。次に、ストレージコントローラ１０２は、増設したストレージコントローラ１１２のＦＥポート１０３にＬＵＮ登録を行う（ステップ１５０４）。次に、ストレージコントローラ１０２は、引継ぎ管理情報６０５を参照し、減設対象ストレージコントローラ１０２内から別のストレージコントローラ１０２に移動された共有メモリ領域４０４内の情報が存在するかどうかを判定する（ステップ１５０５）。共有メモリ領域４０４内の情報が存在するのであれば、ステップ１５０６へ進み、存在しないのであれば終了する。
【0123】
ステップ１５０６では、減設されたストレージコントローラ１０２から退避された共有メモリ領域４０４内の情報を増設したストレージコントローラ１１２へ移動する。
【0124】
以上で、最大構成時における新ストレージコントローラ１１２増設後のストレージコントローラ１０２が実行する引き継ぎ処理を完了する。
【0125】
図１６は、本発明の実施例１において、最大構成未満時における新ストレージコントローラ１１２増設後のストレージコントローラ１０２が実行する引き継ぎ処理（ステップ１３１４）を示すフローチャートである。
【0126】
最初に、ストレージコントローラ１０２は、減設対象のストレージコントローラのＦＥポート１０３のＬＵＮ登録情報を参照し、ＬＵＮ毎の登録引き継ぎ先ＦＥポート１０３を選択する（ステップ１６０１）。次に、ストレージコントローラ１０２は、減設対象ストレージコントローラ１０２が制御権を保持するＬＵＮについて、制御権を移動する増設対象のストレージコントローラ１１２を選択する。一度に増設及び減設するストレージコントローラが複数存在する場合は、ＬＵＮ制御権が登録されていたストレージコントローラ１０２に対応するように、移動先のストレージコントローラ１１２を選択する（ステップ１６０２）。
【0127】
次に、ストレージコントローラ１０２は、ＬＵＮ制御権を増設したストレージコントローラ１１２に切り替える（ステップ１６０３）。次に、ストレージコントローラ１０２は、増設したストレージコントローラ１１２のＦＥポート１０３にＬＵＮ登録を行う（ステップ１６０４）。ステップ１６０３及びステップ１６０４は、ＬＵＮ毎に逐次的に実施してもよい。
【0128】
次に、ストレージコントローラ１０２は、減設対象ストレージコントローラ１０２内に、共有メモリ領域４０４内の情報を含むかどうかを判定する（ステップ１６０５）。共有メモリ領域４０４内の情報が存在するのであれば、ステップ１６０６へ進み、存在しないのであれば終了する。
【0129】
ステップ１６０６では、ストレージコントローラ１０２は、減設対象のストレージコントローラ１０２から共有メモリ領域４０４内の情報を増設したストレージコントローラ１１２へ移動する。
【0130】
以上で、最大構成未満での新ストレージコントローラ１１２増設後のストレージコントローラ１０２が実行する引き継ぎ処理を完了する。
【0131】
図１７は、本発明の実施例１におけるストレージコントローラ１０２及び１１２が実行する新コントローラ増設処理を示すフローチャートである。
【0132】
最初に、増設対象である新ストレージコントローラ１１２は、自ストレージコントローラ１１２のハードウェア構成情報を取得する（ステップ１７０１）。具体的には、新ストレージコントローラ１１２は、自ストレージコントローラ１１２内のＦＥポート１０３、ＣＰＵ１０４、メモリ１０５、ＢＥポート１０６及びＩＣポート１０７等のハードウェア構成要素から、ハードウェア構成情報６０１の各項目に相当する情報を取得する。
【0133】
次に、新ストレージコントローラ１１２は、ハードウェア構成情報を設定する（ステップ１７０２）。具体的には、ストレージコントローラ１１２は、ステップ１７０１で取得した情報をハードウェア構成情報６０１としてメモリ１０５に格納する。
【0134】
次に、この処理が実行されている時点でストレージシステム１００で稼働している各ストレージコントローラ１０２及び１１２は、増設側ＣＰＵ処理可能を登録する（ステップ１７０３）。これによって、ストレージシステム１００内の各ストレージコントローラ１０２及び１１２が保持する実装コントローラ管理情報６０２の実装コントローラＩＤリスト８０１に当該増設対象である新ストレージコントローラ１１２の識別情報が追加される。
【0135】
以上で新コントローラ増設処理が終了する。
【0136】
図１８は、本発明の実施例１におけるストレージコントローラ１０２が実行する旧コントローラ減設処理を示すフローチャートである。
【0137】
最初に、旧ストレージコントローラ１０２は、キャッシュメモリ領域４０３上のデータの破棄又はデステージを行う（ステップ１８０１）。具体的には、旧ストレージコントローラ１０２は、キャッシュメモリ領域４０３上のデータが既にドライブボックス１０９内の記憶領域に格納されていれば、そのデータをキャッシュメモリ領域４０３から削除し、ドライブボックス１０９内の記憶領域にまだ格納されていなければ、そのデータをドライブボックス１０９内の記憶領域に格納した上でそのデータをキャッシュメモリ領域４０３から削除する。
【0138】
次に、旧ストレージコントローラ１０２は、新規処理の受け付けを停止する（ステップ１８０２）。
【0139】
次に、旧ストレージコントローラ１０２は、既に受け付けていて起動中の処理が停止するのを待つ（ステップ１８０３）。
【0140】
次に、この処理が実行されている時点でストレージシステム１００で稼働している各ストレージコントローラ１０２及び１１２は、旧ストレージコントローラ１０２の減設が反映されるように、ハードウェア構成情報６０１を更新する（ステップ１８０４）。また、ここで、各ストレージコントローラ１０２及び１１２が保持する実装コントローラ管理情報６０２の実装コントローラＩＤリスト８０１から当該減設された旧ストレージコントローラ１０２の識別情報が削除される。
【0141】
以上で旧コントローラ減設処理が終了する。
【0142】
図１９は、本発明の実施例１におけるストレージコントローラ１０２及び１１２が実行するＣＰＵ処理制御権切り替え処理を示すフローチャートである。
【0143】
最初に、減設対象である旧ストレージコントローラ１０２は、ホスト計算機１２０からの新規のＩ／Ｏ処理の受付を停止する（ステップ１９０１）。
【0144】
次に、旧ストレージコントローラ１０２は、既に受け付けて継続中のＩ／Ｏ処理が完了するのを待つ（ステップ１９０２）。
【0145】
継続中のＩ／Ｏ処理が完了すると、各ストレージコントローラ１０２及び１１２は、制御権ＣＰＵの移動を設定する（ステップ１９０３）。具体的には、制御権移動対象の論理ユニットに対応するＬＵＮ構成情報６０３の制御権ＣＰＵＩＤ９０３の値を、制御権移動先のストレージコントローラ１０２のＣＰＵ１０４の識別情報に書き換える。例えば移動元がストレージコントローラ１０２Ａ、移動先がストレージコントローラ１０２Ｃであれば、制御権ＣＰＵＩＤ９０３の値がストレージコントローラ１０２ＡのＣＰＵ１０４の識別情報からストレージコントローラ１０２ＣのＣＰＵ１０４の識別情報に書き換えられる。
【0146】
以上でＣＰＵ処理制御権切り替え処理が終了する。
【0147】
図２０は、本発明の実施例１におけるストレージコントローラ１０２及び１１２が実行するＦＥポート切り替え処理を示すフローチャートである。
【0148】
最初に、各ストレージコントローラ１０２及び１１２は、ＦＥポート１０３にＬＵＮ登録情報を設定する（ステップ２００１）。具体的には、各ストレージコントローラ１０２及び１１２は、ＬＵＮ構成情報６０３の登録済みＦＥＰｏｒｔＩＤリスト９０２及びＦＥＰｏｒｔ構成情報６０４のＬＵＮＩＤリスト１００３を更新する。
【0149】
次に、ＬＵＮ登録情報を変更したＦＥポート１０３からホスト計算機１２０に構成変更通知を送信し（ステップ２００２）、ホスト計算機１２０からinquiryを受領したかを判定する（ステップ２００３）。
【0150】
ホスト計算機１２０からinquiryを受領しなかった場合、ホスト計算機１２０への接続が確認できないため、当該ストレージコントローラ１０２（又は１１２）は、ＦＥポート切り替え処理を中断して、処理が失敗したこと及び失敗したＦＥポート１０３のポートＩＤを管理ネットワーク１２３経由で管理装置１２２に送信する（ステップ２００４）。
【0151】
ホスト計算機１２０からinquiryを受領した場合、ＦＥポート切り替え処理が終了する。
【0152】
図２１は、本発明の実施例１におけるストレージコントローラアップグレード実施作業員が実行する新コントローラ増設作業手順を示すフローチャートである。
【0153】
最初に作業員は、新ストレージノード１１１をラックに設置する（ステップ２１０１）。
【0154】
次に、作業員は、新ストレージコントローラ１１２のＦＥポート１０３、ＢＥポート１０６及びＩＣポート１０７に各種ケーブルを配線する（ステップ２１０２）。その際、当該新ストレージコントローラ１１２によるリプレース対象となる旧ストレージコントローラの各ケーブルが接続されているネットワークと同じネットワークに接続する。同じネットワークに空きポートがないなどの理由で、同じネットワークに接続できない場合は、事前に当該新ストレージコントローラ１１２のリプレース対象の旧ストレージコントローラ１０２のＦＥポート１０３、ＢＥポート１０６及びＩＣポート１０７に接続されている各種ケーブルを接続先ポートから抜いておき、増設したストレージコントローラから接続可能にしておく。
【0155】
次に、作業員は、新ストレージコントローラ１１２の電源をＯＮする（ステップ２１０３）。電源操作は、ストレージコントローラ本体に付属しているボタンで操作してもよいし、管理装置１２２から操作してもよい。
【0156】
最後に、作業員は、管理装置１２２から新ストレージノードを増設する操作を行う（ステップ２１０４）。
【0157】
以上で新コントローラ増設を行う作業員の実施手順が終了する。
【0158】
図２２は、本発明の実施例１におけるストレージコントローラアップグレード実施作業員が実行する旧コントローラ減設作業処理手順を示すフローチャートである。
【0159】
作業員は、管理装置１２２でストレージノード減設指示の画面を確認したら、最初に、旧コントローラの電源をＯＦＦする（ステップ２２０１）。具体的には、作業員は、ストレージコントローラ１０２に付いている電源ボタンを操作してもよいし、管理装置１２２を操作してもよい。次に、作業員は、旧ストレージコントローラ１０２に接続されているケーブルを取り外す（ステップ２２０２）。
【0160】
最後に、作業員は、旧ストレージノード１０１をラックから取り外す（ステップ２２０３）。
【0161】
以上で旧コントローラ減設を行う作業員の実施手順が終了する。
【0162】
図２３は、本発明の実施例１におけるストレージコントローラが実行する制御論理切り替え判定処理を含む制御論理を示すフローチャートである。
【0163】
図２３に示す処理は、ストレージシステム１００を構成する旧ストレージコントローラ１０２及び新ストレージコントローラ１１２のそれぞれによって実行される。例えば、ストレージコントローラのアップグレードが開始された時点で、ストレージシステム１００内の全てのストレージコントローラが旧ストレージコントローラ１０２である場合、旧ストレージコントローラ１０２のそれぞれが図２３に示す処理を実行する。アップグレード中に旧ストレージコントローラ１０２と新ストレージコントローラ１１２とが混在している場合には、旧ストレージコントローラ１０２及び新ストレージコントローラ１１２のそれぞれが図２３に示す処理を実行する。ストレージコントローラのアップグレードが終了し、ストレージシステム１００内の全てのストレージコントローラが新ストレージコントローラ１１２である場合、新ストレージコントローラ１１２のそれぞれが図２３に示す処理を実行する。ここでは例として新ストレージコントローラ１１２が実行する処理として説明する。
【0164】
最初に、ストレージコントローラ１１２において、ある新・旧ハードウェアバージョン共通論理Ａが実行されている（ステップ２３０１）。次に、ストレージコントローラ１１２は、ハードウェアバージョンによって、振る舞いを変更する処理を実施する前に、制御論理バージョン管理情報４０６から対応する論理種別の制御論理バージョン情報１２０２を参照し、制御論理バージョンが新ストレージコントローラ対応になっているかどうかを判定する（ステップ２３０２）。対応している場合は、ステップ２３０３へ進み、対応していない場合はステップ２３０５へ進む。
【0165】
ステップ２３０３では、ストレージコントローラ１１２は、新ストレージコントローラ専用論理によって処理を実施する。その後、ステップ２３０４の新・旧共通制御論理Ｂに進む。
【0166】
ステップ２３０５では、ストレージコントローラ１１２は、旧ストレージコントローラとの互換論理により処理を実施する。その後、ステップ２３０４の新・旧共通制御論理Ｂに進む。
【0167】
ステップ２３０４では、ストレージコントローラ１１２は、新・旧共通制御論理Ｂを実行する。
【0168】
旧ストレージコントローラ１０２が実行する処理も上記と同様である。ただし、ストレージシステム１００内に旧ストレージコントローラ１０２が少なくとも一つ残っている場合、制御論理バージョンが新ストレージコントローラ対応になっていることはない。このため、旧ストレージコントローラ１０２がステップ２３０３を実行することはない。
【0169】
このようにして、ストレージシステム１００内の全てのストレージコントローラのアップグレードが完了する前に、一部の新ストレージコントローラ１１２が、旧ストレージコントローラ１０２との互換性がない処理を実施してしまうことを回避する。
【0170】
ハードウェアのバージョンによって振る舞いを変更する処理としては、例えば、圧縮又は暗号アルゴリズムなど、ＣＰＵ処理負荷が高く、最新ハードウェアの高性能なＣＰＵでない場合に性能低下を抑止するために動作させたくないような処理などが存在する。また、ハードウェアの性能及びソフトウェア互換性に問題がなくとも、製品モデルとして実現可能な機能や性能を明確に定義したい場合も考えられる。すなわち、新ストレージコントローラ専用論理とは、新ストレージコントローラ１１２のみで実行可能な制御論理であってもよいが、それに限定されず、新ストレージコントローラ１１２及び旧ストレージコントローラ１０２のいずれでも実行可能ではあるが旧ストレージコントローラ１０２では実行されない制御論理であってもよい。
【0171】
【0172】
図２４Ａは、アップグレード前にストレージコントローラ数がストレージシステム最大数であって、新ノードを増設する前に表示する画面の一例である。
【0173】
図２４Ａに示す画面２４０１は、例えば、図１３のステップ１３０５において管理装置１２２の表示装置（図示省略）によって表示される。画面２４０１は、旧ストレージノードを減設してから新ストレージノードを増設する手順を示す情報、減設対象のストレージノードを指定する情報、指定されたストレージノードの減設及び新ストレージノードの増設を指示する情報、及び、実行ボタン２４０２等を含む。作業員がこれに従って減設対象の旧ストレージノードを減設（図２３参照）し、新ストレージノードを増設（図２２参照）して実行ボタン２４０２を操作すると、ステップ１３０７以降の処理が実行される。
【0174】
図２４Ｂは、アップグレード前にストレージコントローラ数がストレージシステム最大数よりも少ない時に、新ノードを増設する前に表示する画面の一例である。
【0175】
図２４Ｂに示す画面２４０３は、例えば、図１３のステップ１３１１において管理装置１２２の表示装置（図示省略）によって表示される。画面２４０３は、新ストレージノードを増設してから旧ストレージノードを減設する手順を示す情報、新ストレージノードの増設を指示する情報、及び、実行ボタン２４０４等を含む。作業員がこれに従って新ストレージノードを増設（図２２参照）して実行ボタン２４０４を操作すると、ステップ１３１３以降の処理が実行される。
【0176】
図２４Ｃは、アップグレード前にストレージコントローラ数がストレージシステム最大数よりも少ない時に、旧ストレージノードを減設する前に表示する画面の一例である。
【0177】
図２４Ｃに示す画面２４０５は、例えば、図１３のステップ１３１６において管理装置１２２の表示装置（図示省略）によって表示される。画面２４０５は、新ストレージノードを増設してから旧ストレージノードを減設する手順を示す情報、減設対象のストレージノードを指定する情報、指定されたストレージノードの減設を指示する情報、及び、確認ボタン２４０６等を含む。作業員がこれに従って旧ストレージノードを減設（図２３参照）して確認ボタン２４０６を操作すると、減設対象の旧ストレージノードが取り外されたことを管理装置１２２及びストレージシステム１００が認識する。
【実施例2】
【0178】
【0179】
図２５Ａから図２５Ｄは、本発明の実施例２における、アップグレード前のストレージシステムにインターコネクトポート１０７及びインターコネクトスイッチ１０８が実装されていない場合の、ストレージコントローラアップグレード処理の手順の概要を示す説明図である。
【0180】
図２５Ａは、ストレージコントローラ１０２のアップグレードが開始される前のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ及び１０２Ｂを有し、新ストレージコントローラ１１２Ａ及び１１２Ｂを有していない。このとき、二つのストレージコントローラ１０２Ａ及び１０２Ｂによって冗長性が確保されている。また、このとき、旧ストレージコントローラ１０２Ａ及び１０２Ｂは、インターコネクトポート１０７を有しておらず、ストレージシステム１００はインターコネクトスイッチ１０８を有していない。。
【0181】
図２５Ｂは、ストレージノード１０１Ａのアップグレードが実行されているときで、インターコネクトポート１０７及びインターコネクトスイッチ１０８を増設した後のストレージシステム１００を示す。
【0182】
図２５Ｃは、ストレージノード１０１Ａのアップグレードが実行されているときで、新ストレージノード１１１Ａを増設した後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ及び１０２Ｂに加えて、増設された新ストレージコントローラ１１２Ａ及び１１２Ｂを有する。このとき、四つのストレージコントローラ１０２Ａ～１０２Ｂ及び１１２Ａ～１１２Ｂによって冗長性が確保されている。
【0183】
図２５Ｄは、ストレージノード１０１Ａのアップグレードが終了した後のストレージシステム１００を示す。このとき、旧ストレージコントローラ１０２Ａ～１０２Ｂ、インターコネクトポート１０７及びインターコネクトスイッチ１０８は既に減設されており、ストレージシステム１００は、新ストレージコントローラ１１２Ａ及び１１２Ｂを有する。このとき、二つのストレージコントローラ１１２Ａ及び１１２Ｂによって冗長性が確保されている。
【0184】
図２６は、本発明の実施例２におけるストレージコントローラ１０２のメモリ１０５内の共有メモリ領域４０４の構成を示す説明図である。
【0185】
共有メモリ４０４には、ハードウェア構成情報６０１、実装コントローラ管理情報６０２、ＬＵＮ構成情報６０３、ＦＥポート構成情報６０４、引継ぎ管理情報６０５、制御論理バージョン管理情報６０６、インターコネクトスイッチ実装管理情報６０７、接続先ホスト情報６０８及びドライブボックス構成情報６０９が格納される。
【0186】
図２７は、本発明の実施例２におけるストレージコントローラ１０２のメモリ１０５に保持されるインターコネクトスイッチ実装管理情報６０７の構成を示す説明図である。
【0187】
インターコネクトスイッチ実装管理情報６０７は、インターコネクトスイッチ実装有無情報２７０１を含む。インターコネクトスイッチ実装有無情報２７０１によって、ストレージシステムにインターコネクトスイッチ１０８が実装されているかどうかが管理される。
【0188】
図２８は、本発明の実施例２におけるストレージコントローラ１０２のメモリ１０５に保持される接続先ホスト情報６０８の構成を示す説明図である。
【0189】
接続先ホスト情報６０８は、ＦＥＰｏｒｔＩＤ２８０１及び接続先ホストポート識別情報リスト２８０１を含む。ＦＥＰｏｒｔＩＤ２８０１は、ＦＥＰｏｒｔの識別情報である。接続先ホストポート識別情報リスト２８０２は、当該ＦＥＰｏｒｔＩＤにＬＵＮを定義しているホストポート識別情報のリストである。
【0190】
図２９は、本発明の実施例２におけるストレージコントローラ１０２のメモリ１０５に保持されるドライブボックス構成情報６０９の構成を示す説明図である。
【0191】
ドライブボックス構成情報６０９は、ドライブボックスロケーション２９０１、ドライブボックス種別２９０２及びドライブボックスポート数２９０３を含む。ドライブボックスロケーション２９０１は、ストレージシステム１００におけるドライブボックスの搭載位置を示す。この情報によって、各ドライブボックスが、ストレージコントローラとＢＥポートを経由して直接接続されるのか、別のドライブボックスを経由して接続されるのかが管理される。ドライブボックス種別２９０２は、ドライブボックスの種類を示す。ドライブボックスの種類によって、通信プロトコル、搭載可能ドライブ数、搭載可能ドライブ種別などが識別される。ドライブボックスポート数２９０３は、ドライブボックスに搭載されているドライブボックスポート数を示す。
【0192】
なお、ドライブボックスのポート数及び搭載位置の例については、後述する実施例３において説明する。
【0193】
図３０は、本発明の実施例２におけるストレージコントローラ１０２が実行するコントローラアップデート処理の全体を示すフローチャートである。
【0194】
最初に、ストレージコントローラ１０２は、アップグレード対象のノードを特定する（ステップ３００１）。次に、ストレージコントローラ１０２は、ハードウェア構成情報６０１及びインターコネクトスイッチ実装管理情報６０７を参照して、インターコネクトポート１０７及びインターコネクトスイッチ１０８が実装されているかを判定する（ステップ３００２）。既に、インターコネクトポート１０７及びインターコネクトスイッチ１０８がともに実装済みであれば、ステップ３００６に進む。インターコネクトポート１０７及びインターコネクトスイッチ１０８の少なくともどちらか一方が未実装であれば、ステップ３００３に進む。
【0195】
ステップ３００３では、作業員によるインターコネクトポート１０７及びインターコネクトスイッチ１０８の増設を促すために、インターコネクトポート１０７及びインターコネクトスイッチ１０８の増設作業指示を管理画面に表示し、ステップ３００４では作業員からの操作指示を待つ。
【0196】
作業員からの操作を受け付けたら、ストレージコントローラ１０２は、インターコネクトポート１０７及びインターコネクトスイッチ１０８の増設処理を実施する（ステップ３００５）。
【0197】
ステップ３００６では、ストレージコントローラ１０２は、作業員による機器の設置及びケーブル等の配線を促すために、旧ストレージノード１０１の減設作業及び新ストレージノード１１１の増設作業指示を管理画面に表示し、作業員からの操作を待つ（ステップ３００７）。
【0198】
作業員からの操作を受け付けたら、ストレージコントローラ１０２は、新ストレージノード１１１の増設処理を開始する（ステップ３００８）。
【0199】
次に、ストレージコントローラ１０２は、ＦＥポート毎のＬＵＮ割当を増設した新ストレージコントローラ１１２に追加する（ステップ３００９）。
【0200】
次に、ストレージコントローラ１０２は、作業員及びユーザによるホストパス設定変更を促すために、ホストマルチパス追加指示を管理画面に表示（ステップ３０１０）し、作業員からの操作を待つ。ホストマルチパス追加が完了すると、各ＬＵＮは、旧ストレージコントローラ１０２と新ストレージコントローラ１１２の両方のＦＥポートを通してアクセス可能な状態となっている。
【0201】
次に、ストレージコントローラ１０２は、ＬＵＮの制御権及び共有メモリ情報を新ストレージコントローラ１１２に移動させる（ステップ３０１１）。
【0202】
次に、ストレージコントローラ１０２は、作業員に旧ストレージコントローラ１０２のＦＥポート１０３に接続されているホストパスに対応するマルチパスが新ストレージコントローラ１１２のＦＥポート１１３に接続されていることの確認を促すために、接続先ホストポートリストを管理画面に表示（ステップ３０１２）し、作業員からの操作を待つ（ステップ３０１３）。
【0203】
作業員からの操作を受け付けたら、ストレージコントローラ１０２は、旧ストレージコントローラ１０２の減設作業を開始する（ステップ３０１４）。次に、ストレージコントローラ１０２は、作業員による機器やケーブルの取り外しを促すために、減設した旧ストレージノード１０１の減設作業指示を管理画面に表示する（ステップ３０１５）。その後、ステップ３０１６へ進む。なお、ステップ３０１５の指示を受けて、作業員は減設作業を実行する。
【0204】
ステップ３０１６では、ストレージコントローラ１０２は、コントローラバージョン情報７０２を参照して、ストレージシステム内に旧ストレージコントローラ１０２が残っているかどうかを判定する。旧ストレージコントローラ１０２が残っている場合には、ステップ３００１に戻る。全て新ストレージコントローラ１１２へ置き換えが完了していたら、ステップ３０１７へ進む。
【0205】
ステップ３０１７では、ストレージコントローラ１１２は、制御論理バージョン管理情報４０６を更新し、新ストレージコントローラ１１２でのみ動作可能な制御論理へ切り替える。
【実施例3】
【0206】
次に、本発明の実施例３を示す。以下に説明する相違点を除き、実施例３のシステムの各部は、図１～図３０に示された実施例１～実施例２の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
【0207】
図３１は、本発明の実施例３におけるストレージコントローラアップグレード実施中のシステム構成を示す説明図である。
【0208】
図３１には、図２５Ｃと同様に、新ストレージノード１１１Ａを増設した後の状態を示している。ただし、図２５Ｃに示した構成と比較して、本実施例のストレージシステム１００には、少ポートドライブボックス１３０が追加されている。また、説明のために、ドライブボックス１０９、少ポートドライブボックス１３０、ストレージコントローラ１０２及び１１２をケーブルで接続するための、ドライブボックス及び少ポートドライブボックス側のポートをドライブボックスポート１３１と呼ぶ。
【0209】
これまでの実施例では、いずれもドライブボックス１０９は、二つ以上のストレージノード１１１の各ストレージコントローラ１１２等から接続可能であることが前提であった。即ち、ストレージコントローラ１１２からのユーザデータの書き込み要求及び読み出し要求を受ける四つ以上のドライブボックスポート１３１が必要である。また、ドライブボックス１０９は、他のドライブボックスと連結して、ストレージシステム１００の搭載ドライブ数を拡張していく必要があるため、さらにドライブボックスポート１３１が必要となる。
【0210】
ここでは、説明のために、ドライブボックス（例えばドライブボックス１０９及び少ポートドライブボックス１３０）が有する複数のドライブボックスポート１３１のうち、ストレージコントローラ１１２等からのユーザデータの書き込み要求及び読み出し要求を受けるものをインプット用ドライブボックスポート１３１、搭載ドライブボックス数を拡張するために他のドライブボックスと接続されるものをアウトプット用ドライブボックスポート１３１と記載する。各ドライブボックスのインプット用ドライブボックスポート１３１は、ストレージコントローラ１１２等のＢＥポート１０６と接続されるか、又は、当該ドライブボックスとストレージコントローラ１１２等との間に設置された他のドライブボックスのアウトプット用ドライブボックスポート１３１と接続される。
【0211】
しかし、ドライブボックスの中には、ストレージノード一つ分のインプット用ドライブボックスポートしか実装されていないものも存在する。また、ドライブボックスポート数の少ないドライブボックスの方が一般的には安価である。このように、ストレージノード一つ分のインプット用ドライブボックスポート（例えば、二つのドライブボックスポート）しか実装されていないドライブボックスを、本実施例では少ポートドライブボックスと呼ぶ。一方、少ポートドライブボックス以外のドライブボックスは、ストレージノード一つ分より多い数のインプット用ドライブボックスポート（例えば、四つ以上のインプット用ドライブボックスポート）が実装されている。
【0212】
少ポートドライブボックス１３０を使用して、本発明を適用するためには、図３１に示すように、ストレージコントローラ１０２及び１１２には、四コントローラ以上と接続可能なドライブボックスポート数を持つドライブボックス１０９を接続し、当該ドライブボックス１０９と、少ポートドライブボックス１３０とを連結させる構成を採る。
【0213】
すなわち、ドライブボックス１０９のストレージコントローラ側のドライブボックスポートは、ストレージコントローラ１０２及び１１２からのユーザデータの書き込み要求及び読み出し要求を受け、少ポートドライブボックス１３０のストレージコントローラ側のドライブボックスポート（すなわちインプット用ドライブボックスポート１３１）は、ドライブボックス１０９を介して、ストレージコントローラ１０２及び１１２からのユーザデータの書き込み要求及び読み出し要求を受ける。
【0214】
コントローラアップグレードの処理方式は、他の実施例と共通なので説明を省略する。
【実施例4】
【0215】
次に、本発明の実施例４を示す。以下に説明する相違点を除き、実施例４のシステムの各部は、図１～図３１に示された実施例１～実施例３の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
【0216】
【0217】
図３２Ａは、ストレージコントローラ１０２のアップグレードが開始される前のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｄを有し、新ストレージコントローラ１１２Ａ及び１１２Ｂを有していない。このとき、四つのストレージコントローラ１０２Ａ～１０２Ｄによって冗長性が確保されている。
【0218】
図３２Ｂは、ストレージノード１０１Ｂのアップグレードが実行されているときで、ストレージノード１０１Ｂ内のストレージコントローラ１０２Ｄが減設された後のストレージシステム１００を示す。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｃを有し、新ストレージコントローラ１１２Ａ及び１１２Ｂを有していない。このとき、三つのストレージコントローラ１０２Ａ～１０２Ｃによって冗長性が確保されている。
【0219】
図３２Ｃは、ストレージノード１０１Ｂのアップグレードが実行されているときで、新ストレージノード１１Ａ内に、新ストレージコントローラ１１２Ｂが増設された後のストレージシステム１００を示す。これは、旧ストレージコントローラ１１２Ｄが新ストレージコントローラ１１２Ｂにアップデートされた状態である。旧ストレージコントローラ１１２ＤのＦＥポート１０３、ＢＥポート１０６及びＩＣポート１０７に接続されていたケーブルは、それぞれ、新ストレージコントローラ１１２Ｂの各ポートに接続される。このとき、ストレージシステム１００は、旧ストレージコントローラ１０２Ａ～１０２Ｃ及び新ストレージコントローラ１１２Ｂを有し、新ストレージコントローラ１１２Ａを有していない。このとき、四つのストレージコントローラ１０２Ａ～１０２Ｃ及び１１２Ｂによって冗長性が確保されている。
【0220】
これ以降、旧ストレージコントローラを一つ減設し、対応する新ストレージコントローラを一つ増設する手順を繰り返して、ストレージシステム内に旧ストレージコントローラがなくなったらストレージコントローラアップグレード処理が完了する。
【0221】
例えば、図３２Ｃに示した状態のストレージシステム１００において、旧ストレージコントローラ１０２Ｃを減設して、対応する新ストレージコントローラ１１２Ａを増設する。さらに、旧ストレージコントローラ１０２Ｂ及び１０２Ａについても上記と同様の手順を繰り返すことによって、全ての旧ストレージコントローラ１０２が新ストレージコントローラ１１２にアップグレードされる。
【0222】
また、本発明の実施形態のシステムは次のように構成されてもよい。
【0223】
（１）データを格納する記憶媒体を有するストレージドライブ（例えばドライブボックス１０９）と、プロセッサ（例えばＣＰＵ１０４）とメモリ（例えばメモリ１０５）とポート（例えばＦＥポート１０３、ＢＥポート１０６及びＩＣポート１０７）とを有してストレージドライブに入出力するデータを処理する複数のストレージ制御部（例えばストレージコントローラ１０２及び１１２の少なくともいずれか）と、を有するストレージシステム（例えばストレージシステム１００）であって、ストレージシステムに実装されているストレージ制御部のリスト（例えば実装コントローラＩＤリスト８０１）と、ストレージシステムに実装可能なストレージ制御部の最大数（例えば実装可能最大コントローラ数８０２）と、にかかる情報を保持し、ストレージ制御部を交換する場合に、実装されているストレージ制御部の数と、実装可能なストレージ制御部の最大数とに基づいて、減設するストレージ制御部から増設するストレージ制御部へ移動させる構成を、他のストレージ制御部へ介して移動させるか直接移動させるかを決定する（例えばステップ１３０２～１３０８、１３１１～１３１６）。
【0224】
これによって、接続されているストレージ制御部の数に応じて、無停止かつ冗長性および性能低下の影響を抑えて、ハードウェアを交換することができる。
【0225】
（２）上記（１）において、実装されているストレージ制御部の数が実装可能な最大数である場合、ストレージ制御部の構成を他のストレージ制御部へ介して移動させ（例えばステップ１３０３～１３０８）、実装されているストレージ制御部の数が実装可能な最大数未満である場合、ストレージ制御部の構成を、減設するするストレージ制御部から増設するストレージ制御部へ直接移動させる（例えばステップ１３１１～１３１６）。
【0226】
これによって、接続されているストレージ制御部の数に応じて、無停止かつ冗長性および性能低下の影響を抑えて、ハードウェアを交換することができる。
【0227】
（３）上記（２）において、ストレージ制御部には、ストレージドライブの記録領域にデータ入出力する制御権が設定され、制御権を有するストレージ制御部は、制御権にかかる記憶領域にアクセスするための制御情報及びポート設定情報を有し、移動する構成は、制御権、制御情報及びポート設定情報である（例えばＬＵＮ構成情報６０３及びＦＥポート構成情報６０４等）。
【0228】
これによって、接続されているストレージ制御部の数に応じて、無停止かつ冗長性および性能低下の影響を抑えて、ハードウェアを交換することができる。
【0229】
（４）上記（３）において、ストレージ制御部のメモリには、制御権に紐付けられたデータが格納されており、移動させる構成には、制御権に紐付けられたメモリ内のデータを含む。
【0230】
これによって、接続されているストレージ制御部の数に応じて、無停止かつ冗長性および性能低下の影響を抑えて、ハードウェアを交換することができる。
【0231】
（５）上記（４）において、交換後のストレージ制御部は、第１の制御プログラムと、第２の制御プログラムと、を実行可能であり、交換前のストレージ制御部は、少なくとも、前記第２の制御プログラムを実行可能であり、ストレージシステム内の全てのストレージ制御部が交換後のストレージ制御部である場合、第１の制御プログラムを用いてストレージドライブに入出力されるデータを処理し（例えばステップ２３０３）、ストレージシステム内の少なくとも一つのストレージ制御部が交換前のストレージ制御部である場合、第２の制御プログラムを用いてストレージドライブに入出力されるデータを処理する（例えばステップ２３０５）。
【0232】
これによって、無停止かつ冗長性および性能低下の影響を抑えて、交換後のハードウェアに対応するソフトウェアにアップデートすることができる。また、ストレージシステムで実施される各処理について、交換前後のストレージ制御部のどちら側でも実施することができ、Ｉ／Ｏを停止することなく、各処理を交換後のストレージ制御部で実施するように切り替えていくことができる。
【0233】
（６）上記（５）において、交換前のストレージ制御部を減設する処理は、減設対象のストレージ制御部のメモリのキャッシュ領域のデータをストレージドライブに格納する処理と、減設対象のストレージ制御部がアクセス要求の受付を停止するようにポートを変更する処理と、減設対象のストレージ制御部の減設が反映されるようにメモリ内のハードウェア構成情報を更新する処理と、を含み（例えばステップ１３０４、１３１５、１８０８～１８０４）、ストレージ制御部を増設する処理は、ストレージ制御部の増設が反映されるようにメモリ内のハードウェア構成情報を更新する処理を含む（例えばステップ１３０７、１３１３、１７０１～１７０３）。
【0234】
これによって、ストレージ制御部を新しいハードウェアにアップデートすることができる。
【0235】
（７）上記（６）において、各ストレージ制御部は、ホスト計算機がデータ入出力を行うポートと論理ユニットとを提供し、論理ユニットは、ポートに対応付けられており、ストレージシステムに実装されているストレージ制御部の数が最大数である場合、減設対象のストレージ制御部を減設する処理において、減設対象の旧ストレージ制御部以外のいずれかのストレージ制御部のポートを選択し、減設対象のストレージ制御部のポートに対応付けられている論理ユニットを前記選択されたポートに対応付ける処理を実行し（例えばステップ１３０３、１４０１～１４０６）、ストレージ制御部を増設する処理において、選択されたポートに対応付けられた論理ユニットを、増設されたストレージ制御部のポートに対応付ける処理を実行し（例えばステップ１３０８、１５０１～１５０６）、ストレージシステムに実装されているストレージ制御部の数が最大数に満たない場合、ストレージ制御部を増設し減設対象の旧ストレージ制御部を減設する処理において、減設対象のストレージ制御部のポートに対応付けられている論理ユニットを、増設されるストレージ制御部のポートに対応付ける処理を実行する（例えばステップ１３１４、１６０１～１６０６）。
【0236】
これによって、交換前に設定されていた論理ユニット等の構成情報が交換後のストレージ制御部に引き継がれ、交換前のストレージ制御部に接続されていたドライブをそのまま交換後のストレージ制御部に引き継ぐことができる。
【0237】
（８）上記（７）において、選択されたポートは、減設対象のストレージ制御部のポートに対応付けられている論理ユニットに既に対応付けられているポートを有するストレージ制御部とは異なるストレージ制御部が有するポートである。
【0238】
これによって、ストレージ制御部のアップデートの実行中に冗長性が低下することが防止される。
【0239】
（９）上記（２）において、実装されているストレージ制御部の数が実装可能な最大数未満である場合、ストレージ制御部を最大数以下となるように増設し、ストレージ制御部の構成を減設するストレージ制御部から増設するストレージ制御部へ移動させ、ストレージ制御部を減設することを、複数回繰り返して複数台のストレージ制御部を交換する。
【0240】
これによって、接続されているストレージ制御部の数に応じて、無停止かつ冗長性および性能低下の影響を抑えて、ハードウェアを交換することができる。
【0241】
（１０）上記（１）において、ストレージ制御部の増設及び減設を実行する前に、減設するストレージ制御部に、他のストレージ制御部との間の通信のためのインターコネクトポート（例えばインターコネクトポート１０７）が実装されているかを判定し、インターコネクトポートが実装されていない場合、インターコネクトポートの実装作業を指示する情報を出力し（例えばステップ３００３）、インターコネクトポートが実装された場合、実装されたインターコネクトポートを介して減設するストレージ制御部から増設するストレージ制御部へ移動させることによってストレージ制御部を交換する。
【0242】
これによって、複数のストレージノードを持たない（したがって通常の運用時にインターコネクトポートを必要としない）ストレージシステムにおいても、無停止かつ冗長性および性能低下の影響を抑えたハードウェアの交換を実現することができる。
【0243】
（１１）上記（１）において、ストレージ制御部の増設及び減設を実行する前に、ストレージ制御部間の通信のためのインターコネクトスイッチ（例えばインターコネクトスイッチ１０８）が実装されているかを判定し、インターコネクトスイッチが実装されていない場合、インターコネクトスイッチの実装作業を指示する情報を出力し（例えばステップ３００３）、インターコネクトスイッチが実装された場合、実装されたインターコネクトスイッチを介して減設するストレージ制御部から増設するストレージ制御部へ移動させることによってストレージ制御部を交換する。
【0244】
これによって、複数のストレージノードを持たない（したがって通常の運用時にインターコネクトスイッチを必要としない）ストレージシステムにおいても、無停止かつ冗長性および性能低下の影響を抑えたハードウェアの交換を実現することができる。
【0245】
（１２）上記（１）において、ストレージ制御部は、ホスト計算機がデータ入出力を行うポートと論理ユニットとを提供し、論理ユニットは、ポートに対応付けられており、減設するストレージ制御部から増設するストレージ制御部への移動を実行した後、減設するストレージ制御部を減設する前に、増設するストレージ制御部のポートに論理ユニットを定義しているホスト計算機のポートのリストを出力する（例えばステップ３０１２）。
【0246】
これによって、マルチパスが追加されたことを確認し、無停止かつ冗長性および性能低下の影響を抑えたハードウェアの交換を確実に実現することができる。
【0247】
（１３）上記（１）において、それぞれが１以上のストレージドライブを含む複数のドライブボックスが実装され、複数のドライブボックスの各々には、ストレージ制御部からのユーザデータの書き込み要求及び読み出し要求を受けるのドライブボックスポート（例えばドライブボックスポート１３１）が実装され、複数のドライブボックスは、第１のドライブボックス（例えば少ポートドライブボックス１３０）と、第１のドライブボックスより多くのドライブボックスポートが実装された第２のドライブボックス（例えばドライブボックス１０９）とを含み、複数のドライブボックスは、第２のドライブボックスのドライブボックスポートがストレージ制御部からのユーザデータの書き込み要求及び読み出し要求を受け、第１のドライブボックスのドライブボックスポートが第２のドライブボックスを介してストレージ制御部からのユーザデータの書き込み要求及び読み出し要求を受けるように実装される。
【0248】
これによって、安価なドライブボックスを使用するシステムにおいても、無停止かつ冗長性および性能低下の影響を抑えたハードウェアの交換を実現することができる。
【0249】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したものであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0250】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【0251】
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0252】
１００ ストレージシステム
１０１Ａ～１０１Ｃ、１１１Ａ～１１１Ｃ ストレージノード
１０２Ａ～１０２Ｆ、１１２Ａ～１１２Ｆ ストレージコントローラ
１０３ フロントエンドネットワークポート（ＦＥポート）
１０４ ＣＰＵ
１０５ メモリ
１０６ バックエンドネットワークポート（ＢＥポート）
１０７ インターコネクトネットワークポート（ＩＣポート）
１０８ インターコネクトスイッチ
１０９ ドライブボックス
１２０Ａ、１２０Ｂ ホスト計算機
１２１ ネットワークスイッチ
１２２ 管理装置
１２３ 管理ネットワーク
１０１Ａ～１０１Ｃ、１１１Ａ～１１１Ｃ ストレージノード
１０２Ａ～１０２Ｆ、１１２Ａ～１１２Ｆ ストレージコントローラ
１０３ フロントエンドネットワークポート（ＦＥポート）
１０４ ＣＰＵ
１０５ メモリ
１０６ バックエンドネットワークポート（ＢＥポート）
１０７ インターコネクトネットワークポート（ＩＣポート）
１０８ インターコネクトスイッチ
１０９ ドライブボックス
１２０Ａ、１２０Ｂ ホスト計算機
１２１ ネットワークスイッチ
１２２ 管理装置
１２３ 管理ネットワーク
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図24C】
【図25A】
【図25B】
【図25C】
【図25D】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32A】
【図32B】
【図32C】