特開 2023-83757 ストレージ管理システム、及びストレージシステムの管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083757

(43)【公開日】2023-06-16

(54)【発明の名称】ストレージ管理システム、及びストレージシステムの管理方法

(51)【国際特許分類】

   G06F 13/14 20060101AFI20230609BHJP

   G06F 15/173 20060101ALI20230609BHJP

   G06F 15/177 20060101ALI20230609BHJP

   G06F 3/06 20060101ALI20230609BHJP

【ＦＩ】

G06F13/14 330B

G06F13/14 330F

G06F15/173 675

G06F15/177 A

G06F3/06 301M

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021197628

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】吉田 啓希

【テーマコード（参考）】

5B045

【Ｆターム（参考）】

5B045BB02

5B045BB12

5B045JJ00

(57)【要約】      （修正有）

【課題】ストレージのクラスタリングのための設定を迅速、かつ、容易に行うストレージ管理システム及び管理方法を提供する。
【解決手段】ストレージ管理システム１は、第１の通信網５の第１通信装置６０と、第２の通信網６の第２通信装置７０を備える監視装置５０と、を備える複数のサーバ装置１０を含み、データを分散記憶するストレージシステム２０及び監視装置５０から、第２の通信網６を介して第２通信装置７０の宛先情報を受信し、受信した宛先情報に基づいて監視装置５０から、当該サーバ装置１０の第１通信装置６０の個体情報を、第２の通信網６で受信し、受信した第１通信装置６０の個体情報に基づき、第１通信装置６０の第１の通信網５における宛先情報を推定し、推定した第１通信装置６０の宛先情報を、第１通信装置６０に第１の通信網５で送信する管理装置３０を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の通信網により通信可能な第１通信装置と、第２の通信網により通信可能な第２通信装置を備える監視装置とを備える複数のサーバ装置を含んで構成され、前記複数のサーバ装置のそれぞれが前記第１の通信網を介してデータを分散記憶するストレージシステム、及び、
前記監視装置から、前記第２の通信網を介して、前記第２通信装置の宛先情報を受信する宛先情報取得部と、
受信した前記第２通信装置の宛先情報に基づき、前記サーバ装置の監視装置から、当該サーバ装置の第１通信装置の個体情報を、前記第２の通信網を介して受信する個体情報取得部と、
受信した前記第１通信装置の個体情報に基づき、前記第１通信装置の、前記第１の通信網によるデータ通信に用いる宛先情報を推定する宛先情報推定部と、
推定した前記第１通信装置の宛先情報を、前記サーバ装置の第１通信装置に、前記第１の通信網を介して送信するクラスタリング情報送信部とを備える管理装置
を含んで構成されるストレージ管理システム。

【請求項2】

前記監視装置は、前記第１の通信網と独立した通信網である前記第２の通信網による通信を行う制御チップであり、
前記宛先情報取得部は、前記第２通信装置の前記宛先情報として、前記第２通信装置のＩＰｖ６アドレスを受信し、
前記個体情報取得部は、前記第１通信装置の個体情報として前記第１通信装置のｍａｃアドレスを受信する、
請求項１に記載のストレージ管理システム。

【請求項3】

前記宛先情報取得部は、指定された前記監視装置に、前記第１の通信網により通信可能な前記指定された監視装置以外の他の前記監視装置の宛先情報の取得要求を送信することにより、前記他の前記監視装置の前記第２の通信装置の前記宛先情報を受信する、
請求項１に記載のストレージ管理システム。

【請求項4】

前記個体情報取得部は、受信した前記複数のサーバ装置のそれぞれに係る前記第２通信装置の前記宛先情報に基づき、前記第１通信装置の個体情報の取得要求を、前記第２の通信網により前記複数のサーバ装置の前記監視装置に送信することにより、前記複数のサーバ装置のそれぞれの前記第１通信装置の個体情報を受信する、
請求項１に記載のストレージ管理システム。

【請求項5】

前記クラスタリング情報送信部は、前記サーバ装置の前記第１通信装置に、前記推定された第１通信装置の宛先情報と共にクラスタリング実行指示を送信し、
前記クラスタリング実行指示を受信した前記サーバ装置は、他の前記サーバ装置との間で、前記推定された第１通信装置の前記宛先情報に基づいて相互に通信を行うことにより、前記複数のサーバ装置のそれぞれのデータを分散記憶するクラスタリングを実行する、
請求項１に記載のストレージ管理システム。

【請求項6】

情報処理装置が、
第１の通信網により通信可能な第１通信装置と、第２の通信網により通信可能な第２通信装置を備える監視装置とを備える複数のサーバ装置を含んで構成され、前記複数のサーバ装置のそれぞれが前記第１の通信網を介してデータを分散記憶するストレージシステムの前記監視装置から、前記第２の通信網を介して、前記第２通信装置の宛先情報を受信する宛先情報取得処理と、
受信した前記第２通信装置の宛先情報に基づき、前記サーバ装置の監視装置から、当該
サーバ装置の第１通信装置の個体情報を、前記第２の通信網を介して受信する個体情報取得処理と、
受信した前記第１通信装置の個体情報に基づき、前記第１通信装置の、前記第１の通信網によるデータ通信に用いる宛先情報を推定する宛先情報推定処理と、
推定した前記第１通信装置の宛先情報を、前記サーバ装置の第１通信装置に、前記第１の通信網を介して送信するクラスタリング情報送信処理と
を実行する、ストレージシステムの管理方法。

【請求項7】

前記監視装置は、前記第１の通信網と独立した通信網である前記第２の通信網による通信を行う制御チップであり、
前記情報処理装置が、
前記宛先情報取得処理において、前記第２通信装置の前記宛先情報として、前記第２通信装置のＩＰｖ６アドレスを受信し、
前記個体情報取得処理において、前記第１通信装置の個体情報として前記第１通信装置のｍａｃアドレスを受信する、
請求項６に記載のストレージシステムの管理方法。

【請求項8】

前記情報処理装置が、
前記宛先情報取得処理において、指定された前記監視装置に、前記第１の通信網により通信可能な前記指定された監視装置以外の他の前記監視装置の宛先情報の取得要求を送信することにより、前記他の前記監視装置の前記第２の通信装置の前記宛先情報を受信する、
請求項６に記載のストレージシステムの管理方法。

【請求項9】

前記情報処理装置が、
前記個体情報取得処理において、受信した前記複数のサーバ装置のそれぞれに係る前記第２通信装置の前記宛先情報に基づき、前記第１通信装置の個体情報の取得要求を、前記第２の通信網により前記複数のサーバ装置の前記監視装置に送信することにより、前記複数のサーバ装置のそれぞれの前記第１通信装置の個体情報を受信する、
請求項６に記載のストレージシステムの管理方法。

【請求項10】

前記情報処理装置が、
前記クラスタリング情報送信処理において、前記サーバ装置の前記第１通信装置に、前記推定された第１通信装置の宛先情報と共にクラスタリング実行指示を送信し、
前記クラスタリング実行指示を受信した前記サーバ装置が、他の前記サーバ装置との間で、前記推定された第１通信装置の前記宛先情報に基づいて相互に通信を行うことにより、前記複数のサーバ装置のそれぞれのデータを分散記憶するクラスタリングを実行する、
請求項６に記載のストレージシステムの管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージ管理システム、及びストレージシステムの管理方法に関する。

【背景技術】

【0002】

複数の仮想ディスク等によるファイルストレージのクラスタシステムを構築することにより、データの負荷分散記憶を実現し冗長性を高める運用がなされている。例えば、特許文献１には、クラスタシステムの構築方法について、クラスタシステムにおけるマスターノードを用いてネットワークを介し、クラスタシステムにある少なくとも一つのワーカーノードをあらかじめに起動させた後に、システムカーネルと、システムイメージファイルとを伝送し、ワーカーノードにランダムアクセス記憶装置を割り付けて、仮想ディスクを形成してシステムイメージファイルを一時記憶させると同時に、システムカーネルを実行し、対応のシステムイメージファイルを導入後、登録信号をマスターノードに伝送し、環境設定ファイルをリクエストし、自己設定により関連サービスの設定及びＯＳ導入を完成させる構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－３８６１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように複数のノードに対してディスク領域を提供する場合には、各ノードのアクセス先、例えばＩＰアドレスを予め割り当てて設定しておく必要がある。そして、このような設定は管理者等が手動で割り当てる運用が通常である。従って、クラスタシステムにおけるノード数が増加すると管理者等の、設定の工数が増えると共に、これら設定したＩＰアドレスを管理者は把握しておかなければならないため、設定の失敗のリスクも上昇する。

【0005】

本発明は、このような現状に鑑みてなされたものであり、その目的は、ストレージのクラスタリングのための設定を迅速かつ容易に行うことが可能なストレージ管理システム、及びストレージシステムの管理方法の管理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の一つは、第１の通信網により通信可能な第１通信装置と、第２の通信網により通信可能な第２通信装置を備える監視装置とを備える複数のサーバ装置を含んで構成され、前記複数のサーバ装置のそれぞれが前記第１の通信網を介してデータを分散記憶するストレージシステム、及び、前記監視装置から、前記第２の通信網を介して、前記第２通信装置の宛先情報を受信する宛先情報取得部と、受信した前記第２通信装置の宛先情報に基づき、前記サーバ装置の監視装置から、当該サーバ装置の第１通信装置の個体情報を、前記第２の通信網を介して受信する個体情報取得部と、受信した前記第１通信装置の個体情報に基づき、前記第１通信装置の、前記第１の通信網によるデータ通信に用いる宛先情報を推定する宛先情報推定部と、推定した前記第１通信装置の宛先情報を、前記サーバ装置の第１通信装置に、前記第１の通信網を介して送信するクラスタリング情報送信部とを備える管理装置を含んで構成されるストレージ管理システム、とする。

【0007】

また、上記課題を解決するための本発明の一つは、情報処理装置が、第１の通信網によ
り通信可能な第１通信装置と、第２の通信網により通信可能な第２通信装置を備える監視装置とを備える複数のサーバ装置を含んで構成され、前記複数のサーバ装置のそれぞれが前記第１の通信網を介してデータを分散記憶するストレージシステムの前記監視装置から、前記第２の通信網を介して、前記第２通信装置の宛先情報を受信する宛先情報取得処理と、受信した前記第２通信装置の宛先情報に基づき、前記サーバ装置の監視装置から、当該サーバ装置の第１通信装置の個体情報を、前記第２の通信網を介して受信する個体情報取得処理と、受信した前記第１通信装置の個体情報に基づき、前記第１通信装置の、前記第１の通信網によるデータ通信に用いる宛先情報を推定する宛先情報推定処理と、推定した前記第１通信装置の宛先情報を、前記サーバ装置の第１通信装置に、前記第１の通信網を介して送信するクラスタリング情報送信処理とを実行する、ストレージシステムの管理方法、とする。

【発明の効果】

【0008】

本発明によれば、ストレージのクラスタリングのための設定を迅速かつ容易に行うことができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係るストレージ管理システム１の概略構成の一例を示す図である。

【図2】管理装置が備える機能の一例を説明する図である。

【図3】ストレージ装置が備える機能部（ソフトウェア）の一例を説明する図である。

【図4】ストレージ装置及び管理装置の各情報処理装置が備えるハードウェア（通信装置を除く）の一例を示す図である。

【図5】クラスタリング処理の概要を説明するシーケンス図である。

【図6】監視装置管理テーブルの一例を示す図である。

【図7】ホスト管理テーブルの一例を示す図である。

【図8】クラスタ構築処理の一例を説明するフロー図である。

【図9】ＩＰアドレス取得処理の詳細を説明するフロー図である。

【図10】ＩＰｖ６アドレスの収集要求の一例を示す図である。

【図11】管理装置が受信する結果情報の一例を示す図である。

【図12】ｍａｃアドレスの取得要求の一例を示す図である。

【図13】管理装置が受信する結果情報の一例を示す図である。

【図14】ホスト導入処理の詳細を説明するフロー図である。

【図15】ストレージ導入処理の詳細を説明するフロー図である。

【図16】クラスタリング実行処理の詳細を説明するフロー図である。

【図17】従来行われていたクラスタリングの構築方法の一例を示すフロー図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態を説明する。
図１は、本実施形態に係るストレージ管理システム１の概略構成の一例を示す図である。ストレージ管理システム１は、複数のサーバ装置１０を備えるストレージシステム２０と、ストレージシステム２０により実現されるクラスタリングの設定を行う管理装置３０とを含んで構成される。

【0011】

ストレージシステム２０における各サーバ装置１０は、データの記憶及びデータの記憶の制御を行うストレージ装置４０、及び、サーバ装置１０が備える各コンポーネント（詳細は後述）の監視又は情報の取得等を行う監視装置５０を備える。

【0012】

ストレージ装置４０は、第１通信装置６０を備えており、他のサーバ装置１０（の第１通信装置６０）と、第１の通信網５により通信可能に接続されている。各サーバ装置１０は、所定の割り当て方法又は冗長化方法により、データを各サーバ装置１０に分散して記憶するクラスタリングを実現する。

【0013】

監視装置５０は第２通信装置７０を備えており、第１の通信網５とは異なる第２の通信網６により、他の監視装置５０（の第２通信装置７０）と通信可能に接続されている。本実施形態では、監視装置５０は、制御チップ（物理チップ。例えば、iLO（integrated Lights-Out）等のBMC（Baseboard Management Controller）。）である。監視装置５０は、サーバ装置１０の稼働状態と動作を把握しており、例えば、サーバ装置１０におけるハードウェアの障害情報を監視してその結果を第２の通信網６を介して管理装置３０へ送信するようにしてもよい。

【0014】

なお、第１通信装置６０及び第２通信装置７０は、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、又はシリアル通信モジュール等で構成される。

【0015】

第１の通信網５及び第２の通信網６は、例えば、インターネット、ＬＡＮ（Local Area
Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネット
ワークである。第１の通信網５及び第２の通信網６は、両者の通信帯域が異なることにより、通信方式が異なることにより、もしくは物理的に異なるケーブル等を用いて構成されていることにより、互いに独立した通信網を構成している。

【0016】

次に、管理装置３０は、第１の通信網５を介して、各サーバ装置１０のストレージ装置４０と通信可能に接続されている。管理装置３０は、各ストレージ装置４０に対して、クラスタリングを実現するための情報を送信する。

【0017】

また、管理装置３０は、第２の通信網６を介して、各サーバ装置１０の監視装置５０と通信可能に接続されている。管理装置３０は、サーバ装置１０の監視装置５０に所定の要求情報を送信することで、各監視装置５０及びストレージ装置４０に関する情報を取得する。

【0018】

＜管理装置＞
次に、管理装置３０が備える機能の詳細について説明する。
図２は、管理装置３０が備える機能の一例を説明する図である。管理装置３０は、宛先情報取得部３１、個体情報取得部３２、宛先情報推定部３３、ストレージ導入部３４、及びクラスタリング情報送信部３５の各機能部を有する。また、管理装置３０は、監視装置管理テーブル１００、及びホスト管理テーブル２００を記憶している。

【0019】

宛先情報取得部３１は、各監視装置５０から、第２の通信網６を介して、第２通信装置７０の宛先情報を受信する。

【0020】

この宛先情報は、第１の通信網５による通信において、データの送信先（及び送信元）を特定するための情報である。本実施形態では、宛先情報取得部３１は、この宛先情報として、第２通信装置７０のＩＰｖ６アドレスを受信する。また本実施形態では、各ノードの監視装置５０は、前記のBMCの機能により、自身のＩＰｖ６アドレスの情報（自身が備
える第２通信装置７０のＩＰｖ６アドレスの情報）をあらかじめ保有しており、これを用いて管理装置３０との通信を行う。

【0021】

個体情報取得部３２は、宛先情報取得部３１が受信した第２通信装置７０の宛先情報（ＩＰｖ６アドレス）に基づき、サーバ装置１０の監視装置５０から、当該サーバ装置１０の第１通信装置５０の個体情報を、第２の通信網６を介して受信する。

【0022】

この第１通信装置６０の個体情報は、第１通信装置６０の個体を識別するための情報である。本実施形態では、個体情報取得部３２は、第１通信装置５０の個体情報として第１通信装置５０のｍａｃアドレスを受信する。

【0023】

宛先情報推定部３３は、個体情報取得部３２が受信した第１通信装置５０の個体情報（ｍａｃアドレス）に基づき、第１通信装置５０の、第１の通信網５によるデータ通信に用いる宛先情報（ＩＰｖ６アドレス）を推定する。

【0024】

ストレージ導入部３４は、ストレージ装置４０にデータの記憶領域（ファイルストレージ）を導入する。

【0025】

クラスタリング情報送信部３５は、宛先情報推定部３３が推定した第１通信装置５０の第１の通信網５によるデータ通信の宛先情報（ＩＰｖ６アドレス）を含むクラスタリング実行指示を、サーバ装置１０の第１通信装置５０に、第１の通信網５を介して送信する。この宛先情報は、ストレージ装置４０がクラスタリングに係るデータ通信に必要な宛先の情報である。

【0026】

＜ストレージ装置＞
図３は、ストレージ装置が備える機能部（プログラム）の一例を説明する図である。ストレージ装置４０は、データ記憶部４１、及びホスト部４２を備える。

【0027】

データ記憶部４１は、サーバ装置１０間でクラスタリングを構築しスケールアウト可能なファイルストレージ（ストレージシステム２０）を実現する。具体的には、データ記憶部４１は、データをブロック単位で記憶するブロックストレージを実現するブロックストレージ管理部４３と、ホスト部４２を制御するホスト制御部４４と、ファイルシステムを管理するファイルシステム管理部４５とを含む各コンポーネントを備える。データ記憶部４１におけるこれらのコンポーネントは、例えば、仮想マシン（Virtual Machine）とし
て構成されてもよい。

【0028】

ホスト部４２は、データ記憶部４１を構築するために設けられるコンポーネントである。ホスト部４２は、データ記憶部４１の各コンポーネント（仮想マシン）を構築し実行させるためのハイパーバイザ(hypervisor)である。

【0029】

ここで、図４は、ストレージ装置４０及び管理装置３０の各情報処理装置が備えるハードウェア（通信装置を除く）の一例を示す図である。各情報処理装置は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)等の処理装置９１と、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶装置９２と、HDD(Hard Disk Drive)、SSD(Solid State
Drive)などの補助記憶装置９３と、マウスやキーボード等で構成される入力装置９４と
、液晶ディスプレイまたは有機EL（Electro-Luminescence）ディスプレイ等で構成される出力装置９５とを備える。

【0030】

各情報処理装置の各機能は、処理装置９１が、主記憶装置９２又は補助記憶装置９３に格納されているプログラムを読み出して実行することにより実現される。また上記のプログラムは、例えば、記録媒体に記録して配布することができる。なお、各情報処理装置は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのよ
うに、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、各情報処理装置によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。
次に、ストレージ管理システム１が行う処理の概要を説明する。

【0031】

＜処理の概要＞

【0032】

図５は、ストレージ管理システム１が行う、サーバ装置１０によるクラスタリング実行及びそのための処理（以下、クラスタリング処理という）の概要を説明するシーケンス図である。

【0033】

まず、管理装置３０は、管理者から、サーバ装置１０（以下、ノードともいう）のうち、監視装置５０のＩＰｖ６アドレスが予め管理者等によって指定ないし把握されているノードである代表ノードの監視装置５０のＩＰｖ６アドレスの入力を受け付ける。

【0034】

そして、管理装置３０は、第２の通信網６を介して、代表ノードの監視装置５０に、ＩＰｖ６アドレスの収集要求を送信する（ｓ１）。

【0035】

代表ノードの監視装置５０は、ＩＰｖ６アドレスの収集要求を受信すると、第２の通信網６を介して、代表ノード以外の他の各ノードの監視装置５０に、ＩＰｖ６アドレスの情報取得要求（例えばiLOディスカバリ要求）を送信する（ｓ３）。

【0036】

ディスカバリ要求を受信した各ノードの監視装置５０は、自身のＩＰｖ６アドレスの情報（自身が備える第２通信装置７０のＩＰｖ６アドレスの情報）を取得し、取得した情報を、第２の通信網６を介して、代表ノードの監視装置５０に送信する（ｓ５）。

【0037】

代表ノードの監視装置５０は、各ノードの監視装置５０から、ＩＰｖ６アドレスの情報を受信すると、受信した各ＩＰｖ６アドレスの情報を、第２の通信網６を介して、管理装置３０に送信する（ｓ７）。そして、管理装置３０は、これらの全ノードの監視装置５０のＩＰｖ６アドレスの情報を受信し、監視装置管理テーブル１００に記憶する（ｓ９）。

【0038】

（監視装置管理テーブル）
図６は、監視装置管理テーブル１００の一例を示す図である。監視装置管理テーブル１００は、ノード番号１０１、及びＩＰアドレス１０２の各データ項目を有する、１以上のレコードで構成される。ノード番号１０１には、サーバ装置１０（ノード）ごとに予め割り当てられた番号（以下、ノード番号という）が設定される。ＩＰアドレス１０２には、ノード番号１０１に係るサーバ装置１０の監視装置５０（の第２通信装置７０）のＩＰｖ６アドレスが設定される。

【0039】

次に、図５のｓ１１に示すように、管理装置３０は、全ノードの監視装置５０に、第２の通信網６を介して、当該監視装置５０の属するノードのストレージ装置４０（の第１通信装置６０）のｍａｃアドレスの取得要求を送信する（ｓ１１）。本実施形態では、管理装置３０は、REST API(REpresentational State Transfer Application Programming Interface)を呼び出すべく、ｍａｃアドレスの取得要求を送信する。すなわち、管理装置３
０は、ｍａｃアドレスの取得要求を表す所定のURL及びHTTPメソッドを監視装置５０に送
信することで、REST APIを呼び出す。

【0040】

ｍａｃアドレスの取得要求を受信した各ノードの監視装置５０は、当該ノードのストレージ装置４０（の第１通信装置６０）のｍａｃアドレスを取得する。そして、各ノードの
監視装置５０は、第２の通信網６を介して、取得したｍａｃアドレスを管理装置３０に送信する（ｓ１３）。

【0041】

管理装置３０は、各ノードのストレージ装置４０のｍａｃアドレスに基づき、各ノードのストレージ装置４０のＩＰｖ６アドレスを推定し、ホスト管理テーブル２００に記憶する（ｓ１５、ｓ１７）。

【0042】

（ホスト管理テーブル）
図７は、ホスト管理テーブル２００の一例を示す図である。ホスト管理テーブル２００は、ノード番号２０１、ホストｍａｃアドレス２０２、及びホストＩＰアドレス２０３の各データ項目を有する、１以上のレコードで構成される。ノード番号２０１には、代表ノードを含む各ノードのノード番号が設定される。ホストｍａｃアドレス２０２には、ノード番号２０１に係るノードの監視装置５０の第１通信装置６０のｍａｃアドレスが設定される。ホストＩＰアドレス２０３には、ノード番号２０１に係るノードのストレージ装置４０の第１通信装置６０のＩＰｖ６アドレスが設定される。

【0043】

次に、図５のｓ１９に示すように、管理装置３０は、各ノードの監視装置５０に対して、第２の通信網６を介して、ストレージ装置４０のホスト部４２のデータイメージ（仮想ドライブのイメージ）を送信する。監視装置５０は、当該イメージを監視装置５０(例え
ばiLO)の仮想ドライブとしてマウントする。

【0044】

その後、ストレージ装置４０は、データイメージにおける各コンポーネント（仮想マシン）をインストールする（ｓ２１）。

【0045】

各ノードのストレージ装置４０は、ホスト部４２のコンポーネントのインストールが完了すると、第２の通信網６を介して、所定の完了通知を管理装置３０に送信する（ｓ２３）。

【0046】

次に、管理装置３０は、全ノードから完了通知を受信すると、第１の通信網５を介して、各ノードのストレージ装置４０に、データ記憶部４１のデータイメージ（仮想ドライブのイメージ）を送信する。ストレージ装置４０のホスト部４２は、当該イメージを監視装置５０(例えばiLO)の仮想ドライブとしてマウントする。（ｓ２５）。

【0047】

その後、ストレージ装置４０は、データイメージにおける各コンポーネント（仮想マシン）をインストールする（ｓ２７）。

【0048】

各ノードのストレージ装置４０は、データ記憶部４１のコンポーネントのインストールが完了すると、第２の通信網６を介して、所定の完了通知を管理装置３０に送信する（ｓ２９）。

【0049】

次に、管理装置３０は、全ノードから完了通知を受信すると、第１の通信網５を介して、ホスト管理テーブル２００を、代表ノードのストレージ装置４０に送信する（ｓ３１）。

【0050】

代表ノードのストレージ装置４０のデータ記憶部４１は、受信したホスト管理テーブル２００に基づき、各ストレージ装置４０のＩＰｖ６アドレスを特定する。そして、代表ノードのストレージ装置４０は、第１の通信網５により、特定した各ＩＰｖ６アドレスに基づき、他の各ストレージ装置４０と所定の通信を行い、クラスタリングを実行する（ｓ３３）。

【0051】

代表ノードのストレージ装置４０は、クラスタリングが終了すると、クラスタリングの完了通知を管理装置３０に送信する（ｓ３５）。管理装置３０は、この完了通知を受信し、クラスタリングの完了を記憶する。
次に、管理装置３０が行う処理の詳細を説明する。

【0052】

＜クラスタ構築処理＞
図８は、クラスタリング処理において管理装置３０が行う処理（クラスタ構築処理）の一例を説明するフロー図である。まず、管理装置３０は、代表ノードを除く全ノードの監視装置５０のＩＰｖ６アドレス、及び、全ノードのストレージ装置４０のＩＰｖ６アドレスを取得するＩＰアドレス取得処理ｓ１０１を実行する（図５のｓ１～ｓ１７に対応）。

【0053】

そして、管理装置３０は、ＩＰアドレス取得処理ｓ１０１で取得した各ＩＰｖ６アドレスに基づき、各ノードのストレージ装置４０にホスト部４２を導入するホスト導入処理ｓ１０３を実行する（ｓ１９～ｓ２３に対応）。

【0054】

さらに、管理装置３０は、ホスト導入処理ｓ１０３により構築された各ノードのホスト部４２に、データ記憶部４１を導入させるストレージ導入処理ｓ１０５を実行する（ｓ２５～ｓ２９に対応）。

【0055】

管理装置３０は、ストレージ導入処理ｓ１０５により導入されたデータ記憶部４１にクラスタリングを実行させるクラスタリング実行処理ｓ１０７を実行する（ｓ３１～ｓ３５に対応）。以上でクラスタ構築処理は終了する。

【0056】

（ＩＰアドレス取得処理）
図９は、図８におけるＩＰアドレス取得処理ｓ１０１の詳細を説明するフロー図である。
まず、管理装置３０の宛先情報取得部３１は、代表ノードに対してディスカバリを要求する（ｓ１０１１）。

【0057】

具体的には、まず、宛先情報取得部３１は、所定の入力画面を表示し、管理者から、代表ノードの監視装置５０のＩＰｖ６アドレスの入力を受け付ける。そして、宛先情報取得部３１は、入力されたＩＰｖ６アドレスを宛先として、代表ノードの監視装置５０に、（代表ノード以外の他ノードの）ＩＰｖ６アドレスの収集要求（例えばiLOディスカバリの
要求）を送信する。代表ノードの監視装置５０は、ＩＰｖ６アドレスの収集要求を受信すると、当該他の各ノードの監視装置５０に、第２の通信網６におけるマルチキャスト通信により、所定の情報取得要求を送信する。情報取得要求を受信した各ノードの監視装置５０は、ストレージ装置４０の第２通信装置７０のＩＰｖ６アドレスを取得してこれを代表ノードの監視装置５０に送信する。代表ノードの監視装置５０は、当該他の各ノードから、ＩＰｖ６アドレスを受信する。

【0058】

なお、宛先情報取得部３１は、本処理の前に、マルチキャスト通信を行う監視装置５０のグループを明示的に設定しておいてもよい。

【0059】

次に、宛先情報取得部３１は、（代表ノードを除く）全ノードのＩＰｖ６アドレスを、代表ノードの監視装置５０から取得する（ｓ１０１３）。具体的には、代表ノードの監視装置５０は、上記他の各ノードから受信した各監視装置５０のＩＰｖ６アドレスを管理装置３０に送信する。宛先情報取得部３１は、これらのＩＰｖ６アドレスを含む所定の結果情報を受信する。

【0060】

ここで、図１０は、ＩＰｖ６アドレスの収集要求（例えばiLOディスカバリ要求）の一
例を示す図である。このＩＰｖ６アドレスの収集要求は、代表ノードの監視装置５０のＩＰｖ６アドレスの指定部３０１と、ＩＰｖ６アドレスの収集命令部３０２（代表ノード以外の他のノードの指定）とを有する。

【0061】

また、図１１は、管理装置３０が受信する結果情報の一例を示す図である。この結果情報は、各ノードのＩＰｖ６アドレスの情報３０３を有する。

【0062】

次に、図９のｓ１０１５に示すように個体情報取得部３２は、全ノードのストレージ装置４０からｍａｃアドレスを取得する。

【0063】

具体的には、個体情報取得部３２は、ｓ１０１３で取得した各監視装置５０のＩＰｖ６アドレスを宛先として用い、各ノードの監視装置５０にｍａｃアドレスの取得要求を送信することで、ＲＥＳＴ ＡＰＩを呼び出す。各ノードの監視装置５０は、ｍａｃアドレスの取得要求を受信すると、第２通信装置７０のｍａｃアドレスを取得し、取得したｍａｃアドレスを含む所定の結果情報を管理装置３０に送信する。個体情報取得部３２は、各ノードから結果情報を受信する。

【0064】

ここで、図１２は、ＲＥＳＴ ＡＰＩを呼び出すためのｍａｃアドレスの取得要求の一例を示す図である。このｍａｃアドレスの取得要求は、ノードの監視装置５０のＩＰｖ６アドレスの指定部３０４と、ｍａｃアドレスの取得命令部３０５とを有する。

【0065】

また、図１３は、管理装置３０が受信する結果情報の一例を示す図である。この結果情報は、ノードの第１通信装置６０のｍａｃアドレスの情報３０６を有する。

【0066】

次に、図９のｓ１０１７に示すように宛先情報推定部３３は、ｓ１０１５で収集した各ノードの第１通信装置６０のｍａｃアドレスに基づき、各ノードの第１通信装置６０のＩＰｖ６アドレスを推定する。

【0067】

具体的には、宛先情報推定部３３は、ホスト部４２がサポートするデータフォーマットに従ったＩＰｖ６アドレスを、ｍａｃアドレスを加工することにより取得する。例えば、個体情報取得部３２は、ｍａｃアドレスに所定の数値を付加してデータを拡張することで、EUI-64フォーマットのデータを作成し、ＩＰｖ６アドレスを生成する。以上でＩＰアドレス取得処理ｓ１０１は終了する。

【0068】

（ホスト導入処理）
図１４は、図８におけるホスト導入処理ｓ１０３の詳細を説明するフロー図である。管理装置３０のストレージ導入部３４は、各ノードに対して、ホスト部４２のデータイメージのマウント及びインストールを指示する（ｓ１０３１、ｓ１０３３）。

【0069】

具体的には、ストレージ導入部３４は、ホスト部４２のデータイメージを指定したマウント要求を、各ノードの監視装置５０に送信する。各ノードの監視装置５０は、マウント要求を受信すると、マウント要求が指定するデータイメージを仮想ドライブとして認識させる。なお、このデータイメージは、予め管理装置３０が記憶していてもよいし、管理装置３０が他の情報処理装置から取得してもよい。

【0070】

その後、各ノードのストレージ装置４０は、データイメージにおける各コンポーネント（仮想マシン）をインストールする。以上でホスト導入処理ｓ１０３は終了する。

【0071】

（ストレージ導入処理）
図１５は、図８におけるストレージ導入処理ｓ１０５の詳細を説明するフロー図である
。ストレージ導入部３４は、各ノードに対して、データ記憶部４１のマウントを指示する（ｓ１０５１、ｓ１０５３）。

【0072】

具体的には、ストレージ導入部３４は、各ノードのストレージ装置４０のホスト部４２に、当該ノードのデータ記憶部４１のデータイメージを指定したマウント要求を送信する。各ノードのストレージ装置４０は、マウント要求を受信すると、マウント要求が指定するデータイメージを仮想ドライブとして認識させる。なお、このデータイメージは、予め管理装置３０が記憶していてもよいし、管理装置３０が他の情報処理装置から取得してもよい。

【0073】

その後、各ノードのストレージ装置４０は、データイメージにおける各コンポーネント（仮想マシン）をインストールする。以上でストレージ導入処理ｓ１０５は終了する。

【0074】

（クラスタリング実行処理）
図１６は、図８におけるクラスタリング実行処理ｓ１０７の詳細を説明するフロー図である。すなわち、クラスタリング情報送信部３５は、各ノードのストレージ装置４０の間でのデータのクラスタリングを実行する（ｓ１０７１）。

【0075】

具体的には、クラスタリング情報送信部３５は、代表ノードのストレージ装置４０に、ホスト管理テーブル２００を含むクラスタリングの実行指示を送信する。代表ノードのストレージ装置４０のデータ記憶部４１は、クラスタリングの実行指示を受信すると、ホスト管理テーブル２００の各レコードのホストＩＰアドレス２０３が示す、各ノードのストレージ装置４０の第１通信装置６０のＩＰｖ６アドレスを取得する。データ記憶部４１は、各ＩＰｖ６アドレスが示す各ストレージ装置４０との間で所定のデータ通信を行うことで、クラスタリングを実行する。以上でクラスタリング実行処理ｓ１０７は終了する。

【0076】

以上のように、本実施形態のストレージ管理システム１は、第１の通信網５により通信可能な第１通信装置６０と、第２の通信網６により通信可能な第２通信装置７０を備える監視装置５０（ＢＭＣ）とを備える複数のサーバ装置１０を含んで構成され、サーバ装置１０のそれぞれが第１の通信網５を介してデータをクラスタリングにより分散記憶するストレージシステム２０における監視装置５０から、第２の通信網６を介して、第２通信装置７０の宛先情報を受信し、受信した第２通信装置７０の宛先情報に基づき、サーバ装置１０の監視装置５０から、サーバ装置１０の第１通信装置６０の個体情報を、第２の通信網６を介して受信し、受信した第１通信装置６０の個体情報に基づき、第１通信装置６０の宛先情報を推定し、推定した第１通信装置６０の宛先情報を、サーバ装置１０の第１通信装置６０に、第１の通信網５を介して送信する。

【0077】

すなわち、ストレージ管理システム１は、第２の通信網６により通信を行う監視装置５０を利用して、第１通信装置６０の個体情報を受信し、これに基づき、サーバ装置１０によるクラスタリングに必要な、第１の通信網５における第１通信装置６０の宛先情報を推定する。これにより、ストレージ管理システム１は、複数のサーバ装置１０によるクラスタリングの構築を実現することができる。

【0078】

例えば、図１７は、従来行われていたクラスタリングの構築方法の一例を示すフロー図である。同図に示すように、クラスタリングを構築する場合は、各ストレージ装置（ノード）に対する領域のマウント及びインストールをそのノードの数だけ実施しなければならない他（ｓ３００）、ネットワークの設定として各ノード等のＩＰアドレスを管理者が入力しなければならなかった（ｓ５００）。しかし、本実施形態のストレージ管理システム１によれば、そのようなノードごとの設定をすることなく、クラスタリングの実行に必要な情報を取得できる。

【0079】

このように、本実施形態のストレージ管理システム１によれば、ストレージのクラスタリングのための設定を迅速かつ容易に行うことができる。

【0080】

さらに、本実施形態では、監視装置５０は、第１の通信網５と独立した通信網である第２の通信網６による通信を行う制御チップ（ｉＬＯ等のＢＭＣ）であり、ストレージ管理システム１は、第２通信装置７０の第１の通信網５における通信の宛先情報として第２通信装置７０のＩＰｖ６アドレスを受信し、第１通信装置６０の個体情報として第１通信装置６０のｍａｃアドレスを受信する。

【0081】

このように、ＢＭＣのＩＰｖ６アドレスとストレージ装置４０のｍａｃアドレスを用いることで、汎用性の高いストレージシステムを構成できる。

【0082】

また、本実施形態のストレージ管理システム１は、指定された監視装置５０（代表ノード）に、第１の通信網５により通信可能な代表ノード以外の他のノードの監視装置５０の宛先情報の取得要求（iLOディスカバリ要求）を送信することにより、当該他のノードの
監視装置５０の第２通信装置７０の第１の通信網５における宛先情報を受信する。

【0083】

このように、監視装置５０のディスカバリ機能を用いることで、ストレージシステム２０が多数のノードからなる場合であっても、簡易な工程で各監視装置５０の宛先情報を取得することができる。

【0084】

また、本実施形態のストレージ管理システム１は、受信した各サーバ装置１０のそれぞれに係る第２通信装置７０の第１通信網５における宛先情報に基づき、第１通信装置６０の個体情報（ｍａｃアドレス）の取得要求を、第２の通信網６により複数のサーバ装置の監視装置５０に送信することにより（ＲＥＳＴ ＡＰＩ）、複数のサーバ装置１０のそれぞれの第１通信装置６０の個体情報を受信する。

【0085】

このように、ＲＥＳＴ ＡＰＩを用いることで、各サーバ装置１０の第１通信装置６０の個体情報を容易に取得することができる。

【0086】

また、本実施形態のストレージ管理システム１は、サーバ装置１０の第１通信装置５０に、管理装置３０により推定された第１通信装置６０の宛先情報と共にクラスタリング実行指示を送信し、クラスタリング実行指示を受信したサーバ装置１０は、他のサーバ装置１０との間で、推定された第１通信装置６０の宛先情報に基づいて相互に通信を行うことにより、複数のサーバ装置１０のそれぞれのデータを分散記憶するクラスタリングを実行する。

【0087】

これにより、ストレージシステム２０は、管理装置３０が推定した第１通信装置６０の宛先情報を用いて、クラスタリングによるデータの分散記憶を実現することができる。

【0088】

本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0089】

また、本実施形態の各装置が備える各機能の一部は他の装置に設けてもよいし、別装置が備える機能を同一の装置に設けてもよい。

【0090】

また、１つのサーバ装置１０に対して複数の第１通信装置６０又は第２通信装置７０が設けられていてもよい。この場合は、例えば、監視装置管理テーブル１００及びホスト管理テーブル２００において、あるノード番号のサーバ装置１０に対して、複数のｍａｃアドレス又はＩＰアドレスが対応づけられることになる。

【符号の説明】

【0091】

１ ストレージ管理システム
５ 第１の通信網
６ 第２の通信網
１０ サーバ装置
２０ ストレージシステム
３０ 管理装置
３１ 宛先情報取得部
３２ 個体情報取得部
３３ 宛先情報推定部
３５ クラスタリング情報送信部
５０ 監視装置
６０ 第１通信装置
７０ 第２通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】