特開 2023-181694 ストレージシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181694

(43)【公開日】2023-12-25

(54)【発明の名称】ストレージシステム

(51)【国際特許分類】

   G06F 3/06 20060101AFI20231218BHJP

【ＦＩ】

G06F3/06 301W

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022094962

(22)【出願日】2022-06-13

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】井原 央翔

(72)【発明者】

【氏名】横井 伸浩

(72)【発明者】

【氏名】長尾 尚

(72)【発明者】

【氏名】吉井 義裕

(57)【要約】

【課題】ストレージシステム内で重複排除の負荷を分散する。
【解決手段】ストレージシステムは、中央処理装置と、メインメモリと、受信データのハッシュ値とボリューム内のアドレスとを関連付ける第１管理情報と、Ｉ／Ｏ処理パッケージとを含む。Ｉ／Ｏ処理パッケージは、Ｉ／Ｏプロセッサと、Ｉ／Ｏメモリとを含む。Ｉ／Ｏプロセッサは、プロトコル処理を実行する。Ｉ／Ｏプロセッサは、第１管理情報における、第１受信データのハッシュ値に関連付けられているアドレスの検索処理の少なくとも一部を実行する。中央処理装置は、第１受信データのハッシュ値に関連付けられているアドレスのデータに基づき、第１受信データの重複排除処理の実行を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ストレージシステムであって、
中央処理装置と、
前記中央処理装置のプログラム領域及び作業領域を含むメインメモリと、
受信データのハッシュ値とボリューム内のアドレスとを関連付ける第１管理情報と、
Ｉ／Ｏ処理パッケージと、を含み、
前記Ｉ／Ｏ処理パッケージは、
Ｉ／Ｏプロセッサと、
前記Ｉ／Ｏプロセッサのプログラム領域及び作業領域を含むＩ／Ｏメモリと、を含み、
前記中央処理装置は、ユーザデータのリード処理及びライト処理を制御し、
前記Ｉ／Ｏプロセッサは、プロトコル処理を実行し、
前記Ｉ／Ｏプロセッサは、前記第１管理情報における、第１受信データのハッシュ値に関連付けられているアドレスの検索処理の少なくとも一部を実行し、
前記中央処理装置は、前記第１受信データのハッシュ値に関連付けられているアドレスのデータに基づき、前記第１受信データの重複排除処理の実行を制御する、ストレージシステム。

【請求項2】

請求項１に記載のストレージシステムであって、
前記Ｉ／Ｏプロセッサは、前記第１管理情報において前記第１受信データのハッシュ値に関連付けられているアドレスを検索し、見つけられたアドレスを前記中央処理装置に送信する、ストレージシステム。

【請求項3】

請求項１に記載のストレージシステムであって、
複数Ｉ／Ｏ処理パッケージを含み、
前記中央処理装置は、前記複数Ｉ／Ｏ処理パッケージの負荷に基づいて、前記複数Ｉ／Ｏ処理パッケージそれぞれに対して割り当てる前記第１管理情報の検索処理の量を決定する、ストレージシステム。

【請求項4】

請求項３に記載のストレージシステムであって、
前記中央処理装置は、前記複数Ｉ／Ｏ処理パッケージそれぞれのＩ／Ｏプロセッサ及びＩ／Ｏメモリの負荷に基づいて、前記複数Ｉ／Ｏ処理パッケージそれぞれに対して割り当てる前記第１管理情報の検索処理の量を決定する、ストレージシステム。

【請求項5】

請求項４に記載のストレージシステムであって、
前記複数Ｉ／Ｏ処理パッケージそれぞれは、ＤＭＡコントローラをさらに含み、
前記中央処理装置は、前記複数Ｉ／Ｏ処理パッケージそれぞれのＩ／Ｏプロセッサ、Ｉ／Ｏメモリ及びＤＭＡコントローラの負荷に基づいて、前記複数Ｉ／Ｏ処理パッケージそれぞれに対して割り当てる前記第１管理情報の検索処理の量を決定する、ストレージシステム。

【請求項6】

請求項１に記載のストレージシステムであって、
複数Ｉ／Ｏ処理パッケージと、
受信データのハッシュ値の範囲と、前記第１管理情報における検索処理の少なくとも一部の割当先と、を関連付ける第２管理情報と、を含み、
前記中央処理装置は、前記第１受信データのハッシュ値及び前記第２管理情報に基づいて、前記検索処理の少なくとも一部を割り当てる前記Ｉ／Ｏプロセッサを決定する、ストレージシステム。

【請求項7】

請求項１に記載のストレージシステムであって、
受信データのハッシュ値の範囲と、前記第１管理情報における検索処理の少なくとも一部の割当先と、を関連付ける第２管理情報、を含み、
前記割当先は前記Ｉ／Ｏプロセッサ及び前記中央処理装置を含み、
前記中央処理装置は、第２受信データのハッシュ値及び前記第２管理情報に基づいて、前記第２受信データのための前記第１管理情報における検索処理の少なくとも一部の割当先を決定する、ストレージシステム。

【請求項8】

請求項１に記載のストレージシステムであって、
前記Ｉ／Ｏメモリは、前記第１管理情報内の第１部分情報を保持し、
前記第１部分情報は、受信データのハッシュ値を前記第１管理情報内の第２部分情報の前記メインメモリ内のアドレスと関連付け、
前記Ｉ／Ｏプロセッサは、
前記第１受信データのハッシュ値に基づいて、前記第１部分情報から前記メインメモリ内の第１アドレスを取得し、
前記メインメモリから、前記第１アドレスの第２部分情報を前記Ｉ／Ｏメモリに読み込む、ストレージシステム。

【請求項9】

請求項１に記載のストレージシステムであって、
前記Ｉ／Ｏ処理パッケージは、ホストとの通信におけるプロトコル処理を実行する、ストレージシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステムに関する。

【背景技術】

【0002】

ストレージ装置は、主にストレージコントローラ（以降、コントローラ）とドライブから構成される。コントローラは、ＳＡＮ経由で接続されたホストに対して、ストレージサービスを提供する。ストレージサービスとは、ホストからのデータ書き込み要求に応じて、データをドライブに格納し、ホストからのデータ読み出し要求に応じて、ドライブのデータを取り出すことを指す。

【0003】

有限のドライブ容量を最大限に活用し、ドライブコストを低く抑えるため、ホストからコントローラに対して同一のデータが複数回書き込まれたことを検出し、それらのデータをまとめて単一のデータとしてドライブに格納する機能を実装することがある。これを、重複排除機能と呼ぶ。

【0004】

重複排除機能は、ある種のハッシュ関数を用いて実装されることがある。ホストから書き込まれたデータを、固定長もしくは可変長のチャンクに分割し、各チャンクのデータをハッシュ関数に入力することで、データに対応するハッシュ値を得る。このハッシュ値のことを、特にＦｉｎｇｅｒｐｒｉｎｔ Ｋｅｙ（以降、ＦＰＫ）と呼ぶ。

【0005】

また、重複検出対象となるドライブ格納データの各チャンクに対応するＦＰＫは、専用のハッシュテーブルに格納される。このテーブルを、特にＦｉｎｇｅｒｐｒｉｎｔ Ｔａｂｌｅ（以降、ＦＰＴ）と呼ぶ。ホストからの書き込みデータから計算されたＦＰＫをＦＰＴ中で検索し、一致するＦＰＫが見つかった場合、それらのＦＰＫが指すデータは互いに重複している可能性が高い。

【0006】

ＦＰＫ一致したデータをドライブから読み出し、ホストからの書き込みデータと比較し、内容が一致していた場合は、これらを重複データとみなし、ホストからの書き込みデータをドライブに格納する代わりに、ドライブ格納済みデータへの参照が追加される。

【0007】

特許文献１では、重複排除方式と、それに基づくストレージ装置が開示されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２０１８／０６１１６１号

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１にて開示された重複排除方式では、ＦＰＴ検索をコントローラ、特にコントローラ内の中央処理装置（ＣＰＵ）が実施するため、ホストからの書き込みデータ流量によってはＦＰＴの検索に係る処理負荷が増大しＩ／Ｏ性能が低下するという課題がある。

【課題を解決するための手段】

【0010】

本発明の代表的一例のストレージシステムは、中央処理装置と、前記中央処理装置のプログラム領域及び作業領域を含むメインメモリと、受信データのハッシュ値とボリューム内のアドレスとを関連付ける第１管理情報と、Ｉ／Ｏ処理パッケージと、を含む。前記Ｉ／Ｏ処理パッケージは、Ｉ／Ｏプロセッサと、前記Ｉ／Ｏプロセッサのプログラム領域及び作業領域を含むＩ／Ｏメモリと、を含む。前記中央処理装置は、ユーザデータのリード処理及びライト処理を制御する。前記Ｉ／Ｏプロセッサは、プロトコル処理を実行する。前記Ｉ／Ｏプロセッサは、前記第１管理情報における、第１受信データのハッシュ値に関連付けられているアドレスの検索処理の少なくとも一部を実行する。前記中央処理装置は、前記第１受信データのハッシュ値に関連付けられているアドレスのデータに基づき、前記第１受信データの重複排除処理の実行を制御する。

【発明の効果】

【0011】

本発明の一態様によって、ストレージシステムの性能を向上させることができる。

【0012】

前記した以外の課題、構成および効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】実施例における情報システムの構成例を示すブロック図

【図2A】実施例に係るＩＰＵプログラム領域内ブロック図

【図2B】実施例に係るＣＰＵプログラム領域内ブロック図

【図3A】実施例に係るＩＰＵ作業領域内ブロック図

【図3B】実施例に係るＣＰＵ作業領域内ブロック図

【図4】実施例に係るＣＰＵ・ＩＰＵ各Ｉ／Ｏ領域内ブロック図

【図5】ＦＰＴ全体の構成例

【図6】ＶＦＰＴＤのトライ木による構成例

【図7A】ＳＱの構成例

【図7B】ＣＱの構成例

【図8】ＦＰＲＤＴの構成例

【図9A】実施例におけるＦＰＲＤＴに基づく負荷分散におけるＩＰＵ負荷情報テーブルの構成例

【図9B】実施例におけるＦＰＲＤＴに基づく負荷分散におけるＦＰＴ検索負荷情報テーブルの構成例

【図9C】実施例におけるＦＰＲＤＴに基づく負荷分散における更新されたＦＰＲＤＴの構成例

【図10】実施例におけるＦＰＴ検索フロー

【図11】実施例におけるＦＰＴ検索依頼フロー

【図12】実施例におけるＶＦＰＴＤ検索フロー

【図13】実施例におけるＦＰＭＱ検索フロー

【図14】実施例におけるＶＦＰＢＬ更新フロー

【図15】実施例におけるＶＦＰＴＤ更新依頼フロー

【図16】実施例におけるＦＰＴ更新フロー

【図17】実施例におけるＩＰＵ負荷取得フロー

【図18】実施例におけるＦＰＲＤＴ更新フロー

【図19】実施例におけるＶＦＰＢＬ解放フロー

【図20】実施例におけるＶＦＰＴＤ更新フロー

【発明を実施するための形態】

【0014】

以下、図面に基づいて、本発明の実施の形態を説明する。

【0015】

なお、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされており、本発明は、他の種々の形態でも実施する事が可能であり、特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0016】

また、以下に説明する実施例は特許請求の範囲に係る発明を限定するものではなく、実施例の中で説明されている要素の組み合わせの全てが、発明の解決手段に必須であるとは限らない。

【0017】

以降の説明における用語法について、以下に示す。

【0018】

第一に、キャッシュ機構を備えた周辺装置とのＩ／Ｏについて、当該装置から直接Ｉ／Ｏを要求するものとして言及することがあるが、そのような場合は、キャッシュ機構が適切に動作し、適宜キャッシュからのＩ／Ｏが実行されるものとする。ただし、キャッシュ機能の介在・非介在が明示された場合はその限りではない。

【0019】

第二に、メモリやストレージ装置上の領域を解放する処理について言及することがあるが、ストレージ装置がＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）によって構成されている等、装置の構造や装置の制御ソフトウェアの実装によっては、実際の解放処理は保留され、論理的に当該領域が解放されたものとして記録されるのみに留まることもある。

【0020】

第三に、処理手順の説明において、処理で使用したメモリ領域を解放せずに終了するよう規定することがあるが、使用済みメモリ領域の解放については、ＧＣ（Ｇａｒｂａｇｅ Ｃｏｌｌｅｃｔｉｏｎ）等の機構により適切に処理されるものとする。

【0021】

第四に、「プログラム」を主語として処理を説明することがあるが、そのような場合は、プログラムを実行するプロセッサが、プログラム内に定義された処理内容に応じて、適宜ストレージ等周辺装置に対してＩ／Ｏを発行するものとする。なお、プログラムを実行するプロセッサが指定されていない場合は、実行環境に応じて適切なプロセッサがプログラムを実行するものとする。

【0022】

以下において、ストレージシステムにおける重複排除のためのＦＰＴ（Ｆｉｎｇｅｒｐｒｉｎｔ Ｔａｂｌｅ）検索を説明する。ＦＰＴ検索によるコントローラ内のＣＰＵ処理負荷の増大は、Ｉ／Ｏ性能低下を引き起こし得る。ＣＰＵとは別にコントローラ内に検索専用ハードウェアを搭載し、これらに高負荷処理をオフロードすることで、ＣＰＵの負荷を低減し得る。例えば、ＦＰＴ検索を専用に実行するためのコプロセッサやＦＰＧＡを搭載し、これらにＦＰＴ検索をオフロードする。

【0023】

ＦＰＴ検索のオフロードのためだけに専用ハードウェアをコントローラ内部に搭載することは、コストや実装面積、電源容量、発熱等の面で課題が起こり得る。本明細書の一実施例は、ＦＰＴ検索とは異なる目的でコントローラに搭載されたコプロセッサの余剰資源に着目し、ここにＦＰＴ検索処理の少なくとも一部をオフロードすることを提案する。

【0024】

ＦＰＴ検索以外の目的でコントローラに搭載されるコプロセッサの例としては、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）における１００ギガビットイーサネット（以降、１００ＧｂＥ）等の高速ネットワーク規格のサポートに伴い、ネットワークプロトコルの処理負荷をＣＰＵからオフロードする目的でコントローラに搭載されるコプロセッサが挙げられる。このようなコプロセッサを、ＩＰＵ（Ｉ／Ｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と呼ぶ。

【0025】

ＩＰＵには、ネットワークプロトコル処理のためのプロセッサと、プロトコルデータのバッファとして働くメモリ、ならびに、コントローラのメモリを読み書きするためのＤＭＡエンジンが搭載されている。これらの資源は、当該ＩＰＵが接続されたホストインターフェースの負荷によっては十分に活用されず、余剰が生じることが考えられる。

【0026】

例として、１００ＧｂＥ等の高速ネットワーク規格をサポートしたＩＰＵを同一コントローラに複数搭載した構成では、マイグレーション動作等で単一ＩＰＵがコントローラ全体のＩ／Ｏ帯域を飽和させることが十分可能であり、そのような場合、他のＩＰＵは余剰資源となる。

【0027】

そうしたＩＰＵ余剰資源を活用してＦＰＴ検索をオフロードすることで、専用ハードウェアを搭載することなく、ストレージ装置の高性能化が可能となる。

【0028】

ただし、ＩＰＵは本来ホストとのＩ／Ｏ処理を受け持つためのコプロセッサであり、オフロードしたＦＰＴ検索の処理負荷によって、Ｉ／Ｏ処理性能に影響が出ることは避けることが求められる。また、ホストとのＩ／Ｏ処理負荷はホストアプリケーションの動作によって逐一変動するため、ＦＰＴ検索に使用できる資源量も変動する。したがって、コントローラは、ＦＰＴ検索を常時オフロードするのではなく、ＩＰＵのＩ／Ｏ処理負荷を逐一監視し、オフロード可否を適宜判断してもよ。

【0029】

また、ＩＰＵが複数搭載されている場合には、複数ＩＰＵ間での負荷分散も課題となり得る。ＩＰＵ間でＩ／Ｏ負荷が均等となることは考えにくい。例えばＦＰＫ毎にラウンドロビン方式でオフロード先を変更するなどして負荷分散を実装した場合は、Ｉ／Ｏ負荷が高いＩＰＵにおいてＩ／Ｏ性能への影響が大きくなり得る。したがって、複数搭載されたＩＰＵのうちＩ／Ｏ負荷が低いものに対して集中的にＦＰＴ検索をオフロードすることが考えられる。

【0030】

本明細書の実施例では、ＦＰＴ検索オフロードに伴って生じる課題を解決すべく、ＦＰＫに基づく負荷分散を提案する。本明細書の一実施例では、ＦＰＫ計算に特定のハッシュ関数を使用することを仮定しないが、同目的で使用されるハッシュ関数は、十分な一様性と無作為性を備えているものと仮定する。これはすなわち、入力データが特定のパターンに偏っていても、ハッシュ関数が出力するＦＰＫは一様乱数とみなすことができるということを意味する。

【0031】

したがって、特定のＦＰＫ値範囲を各ＩＰＵに割り当て、各ＩＰＵに対して割当範囲内のＦＰＫのみ検索を依頼する実装において、ＦＰＫ割当範囲を調整することで各ＩＰＵの検索負荷を調整することが可能となる。

【0032】

本明細書の実施例では、一定の時間周期ごとに各ＩＰＵのプロセッサ負荷、メモリ負荷、ＤＭＡ負荷を集計し、それらの負荷に基づいて、各ＩＰＵへのＦＰＫ値割当範囲を決定する。

【0033】

本明細書の実施例によって、ストレージ装置における重複データ検出処理を、ＩＰＵの余剰資源へオフロードすることが可能となり、専用ハードウェアを搭載することなくストレージ装置の性能を向上させることができる。なお、ＳＡＮと異なるネットワークやホスト異なる装置と通信のためのプロトコル処理を行うＩＰＵにＦＰＴ検索の少なくとも一部をオフロードできる。

【0034】

図１は、本明細書の一実施例に係る情報処理システムの構成例を示すブロック図を示す。

【0035】

本明細書の一実施例の情報処理システムは、ストレージシステム３４とホストコンピュータ３７を含み、両者はＳＡＮ１１１によって接続されている。

【0036】

ホストコンピュータ３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０やメモリ７３のほか、アプリケーション４０の実行に必要な周辺装置を備えたコンピュータ装置である。ホストコンピュータ３７は、アプリケーション４０の要求に応じ、接続されたストレージシステム３４に対してデータの書き込みコマンドや読み出しコマンドを発行する。

【0037】

ストレージシステム３４は、ＣＰＵ６４とメインメモリ７６を備える。メインメモリ７６はＣＰＵプログラム領域４７、作業領域４５、及びＩ／Ｏ領域１０８を含む。ＣＰＵ６４は、ＣＰＵプログラム領域４７内に配置された各種プログラムを実行する。ＣＰＵ６４は、ＣＰＵプログラム領域４７内各種プログラムに基づき、ボリューム４９のデータの読み書き（リード処理及びライト処理）を制御することでホストコンピュータ３７に対してストレージサービスを提供するとともに、ストレージシステム３４全体を制御する。ボリュームの物理記憶領域は、不図示の１以上の記憶ドライブにより与えられる。

【0038】

また、ストレージシステム３４は、ＩＰＵ（Ｉ／Ｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５５とＩＰＵメモリ７９を搭載したＩＰＵパッケージ（ＩＰＰＫ）１０４を備える。ＩＰＵパッケージ１０４は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ等のバス１１７を介してＣＰＵ６４に接続され、相互に通信が可能である。ＩＰＵメモリ７９は、ＩＰＵプログラム領域９２、ＩＰＵ作業領域９５、及びＩＰＵ Ｉ／Ｏ領域８４を含む。ＩＰＵ５５は、ＩＰＵプログラム領域９２内に配置された各種プログラムに基づいて、ホストコンピュータ３７とＣＰＵ６４間の通信を中継することが主な役割である。

【0039】

ＩＰＵ５５にはＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１１４（ＤＭＡ１１４）が搭載されており、ＩＰＵ５５からＤＭＡ１１４によってメインメモリ７６空間を読み書きすることが可能である。

【0040】

図２Ａは、本実施例に係るＩＰＵプログラム領域９２内ブロック図を示す。図２Ｂは、ＣＰＵプログラム領４３域内ブロック図を示す。

【0041】

ＩＰＵプログラム領域９２には、ＶＦＰＴＤ（Ｆｉｎｇｅｒ Ｐｒｉｎｔ Ｔａｂｌｅ Ｄｉｒｅｃｔｏｒｙ）検索ルーチン１８、ＶＦＰＴＤ更新ルーチン２４、ＩＰＵ負荷取得ルーチン３０が格納されている。ＶＦＰＴＤ検索ルーチン１８とＶＦＰＴＤ更新ルーチン２４は、それぞれＣＰＵ６４からのコマンドを待機する常時実行ルーチンである。また、ＩＰＵ負荷取得ルーチン３０は、一定周期でＩＰＵの負荷情報を取得する定期実行ルーチンである。

【0042】

その他、ＩＰＵプログラム領域９２には、上記ルーチンのサブルーチンとして、ＦＰＭＱ（Ｆｉｎｇｅｒ Ｐｒｉｎｔ Ｍａｔｃｈ Ｑｕｅｕｅ）検索ルーチン２１が格納されている。このルーチンは、上記ルーチン以外から直接呼び出されることはない。

【0043】

ＣＰＵプログラム領域４７には、ＦＰＴ検索ルーチン４２、ＦＰＴ更新ルーチン４８、ＦＰＲＤＴ更新ルーチン５４、ＶＦＰＢＬ（Ｖｉｒｔｕａｌ Ｆｉｎｇｅｒｐｒｉｎｔ Ｂｌｏｃｋ Ｌｉｓｔ）解放ルーチン６２が含まれる。ＦＰＴ検索ルーチン４２は、ホストコンピュータ３７からデータが書き込まれ、重複排除が実行されるタイミングで、一致データを検索するために呼び出される。

【0044】

ＦＰＴ更新ルーチン４８は、重複排除処理が完了し、新規データのエントリをＦＰＴに登録する、もしくはデータを削除する等の契機で呼び出される。ＦＰＲＤＴ更新ルーチン５４は、無限ループに基づく常時実行ルーチンである。ＶＦＰＢＬ解放ルーチン６２は、ＣＰＵ作業領域４５の容量が枯渇するなどの理由により、ＶＦＰＢＬならびにＦＰＭＱの解放が必要になった際に呼び出される。

【0045】

その他、ＣＰＵプログラム領域４７には、上記ルーチンのサブルーチンとして、ＦＰＴ検索依頼ルーチン４４、ＶＦＰＴＤ更新依頼ルーチン６０が含まれる。これらのルーチンは、上記ルーチン以外から直接呼び出されることはない。

【0046】

図３Ａは、ＩＰＵ作業領域９５内ブロック図を示す。ＩＰＵ作業領域９５は、ＶＦＰＴＤ６３を格納している。図３Ｂは、ＣＰＵ作業領域４５内ブロック図を示す。ＣＰＵ作業領域４５は、ＶＦＰＢＬ４３、及びＦＰＭＱ４６を格納している。ＩＰＵ Ｉ／Ｏ領域８４には、特にデータ構造は含まれない。

【0047】

図４は、ＣＰＵ Ｉ／Ｏ領域１０８内ブロック図を示す。ＣＰＵ Ｉ／Ｏ領域１０８には、各ＩＰＵ５５とコマンド・レスポンスを交換するためのＳＱ（Ｓｕｂｍｉｓｓｉｏｎ Ｑｕｅｕｅ）２０、ＣＱ（Ｃｏｍｐｌｅｔｉｏｎ Ｑｕｅｕｅ）２３が、ＩＰＵ５５あたり一対ずつ格納されている。

【0048】

図５は、本実施例に係るＦＰＴ全体の構成例を示す。本実施例において、ＦＰＴは、ＶＦＰＴＤ６３、ＶＦＰＢＬ４３、ＦＰＭＱ４６の３種のテーブルを含む。

【0049】

ＶＦＰＴＤ６３は、ＩＰＵ作業領域９５に常時配置され、ＦＰＫの上位ビットを索引として、対応するＶＦＰＢＬ４３のアドレスを与える。図５では、ＦＰＫの上位１２ビットから、３２ビットのＶＦＰＢＬアドレスを与えるＶＦＰＴＤ６３の例を示しているが、ＦＰＫのうちＶＦＰＴＤ６３の索引とするビット数に限りはなく、また、ＶＦＰＢＬアドレスのビット幅にも限りはない。

【0050】

ＩＰＵメモリ７９の容量は、一般にメインメモリ７６の容量より小さい。ＶＦＰＴＤ６３は、索引とするＦＰＫのビット数によってはサイズが大きくなり、ＩＰＵ作業領域９５を圧迫する可能性がある。そのため、ＶＦＰＴＤ６３は、線形の配列ではなく、トライ木等の疎なデータ構造によって実装してもよい。ＶＦＰＴＤ６３のトライ木による実装方法は図６で述べる。

【0051】

ＶＦＰＴＤ６３は、索引ＦＰＫに対応するＶＦＰＢＬ４３がＣＰＵ作業領域４５上に存在しないことを指示するために、無効なＶＦＰＢＬアドレスとして特別な値を取ることができる。図５では、無効アドレスとして－１を予約した例を示しているが、システムのメモリアドレス体系によっては、他の値を無効アドレスとしてもよい。

【0052】

ＩＰＵ５５がＣＰＵ６４からのＦＰＴ検索要求に基づいて、ＦＰＫからＶＦＰＴＤ６３を参照した結果、有効なＶＦＰＢＬアドレスが得られた場合、ＩＰＵ５５は、ＤＭＡ１１４を用いてＣＰＵ作業領域４５から対応するＶＦＰＢＬ４３をＩＰＵ作業領域９５へ読み込む。必要なＶＦＰＢＬ４３のみを読み込むことで、ＩＰＵ作業領域９５への圧迫を低減できる。

【0053】

一方、ＶＦＰＴＤ６３から得られたアドレスが無効なＶＦＰＢＬアドレスであった場合、ＩＰＵ５５はＣＰＵ６４に対してＶＦＰＢＬ４３の確保を要求する。ＣＰＵ６４は、ボリューム４９からＦＰＭＱ４６を読み込み、読み込まれたＦＰＭＱ４６のアドレスからＶＦＰＢＬ４３を作成し、新しく作成したＶＦＰＢＬ４３のアドレスを以ってＩＰＵ５５に対してＶＦＰＴＤ６３の更新と再検索を要求する。

【0054】

ＣＰＵ作業領域４５がデータキャッシュの増加等によって枯渇した場合は、ＶＦＰＢＬ４３やＦＰＭＱ４６を解放し、領域を確保する必要に迫られる場合がある。その際は、全ＩＰＵ５５に対して各ＩＰＵ作業領域９５のＶＦＰＴＤ６３から、該当するＶＦＰＢＬ４３へのアドレスを削除し、無効アドレスに置き換えるよう要請する。その後、ＶＦＰＢＬ４３とＦＰＭＱ４６を解放する。

【0055】

ＶＦＰＢＬ４３は、ＣＰＵ作業領域４５上に配置されたＦＰＭＱアドレスの配列である。ひとつのＶＦＰＢＬ４３には、ＶＦＰＴＤ６３上で同一のエントリに対応する全ＦＰＭＱ４６のアドレスが格納されており、ＩＰＵ５５は、ＣＰＵ作業領域４５上のＶＦＰＢＬ４３をＤＭＡ１１４によって参照することで、同じくＣＰＵ作業領域４５上の各ＦＰＭＱ４６へのアドレスを取得することができる。

【0056】

なお、図５では、３２ビットのＦＰＭＱアドレスを格納する例を示しているが、ＦＰＭＱアドレスのビット幅は３２ビットに限らない。

【0057】

ＦＰＭＱ４６は、ＣＰＵ作業領域４５上に配置された配列であり、ＦＰＭＱ４６の各エントリは、ＦＰＫとＬＡの組で構成される。ＩＰＵ５５は、ＶＦＰＢＬ４３の参照によって取得したＦＰＭＱアドレスに基づいて、ＣＰＵ作業領域４５からＩＰＵ作業領域９５へＦＰＭＱ４６を読み込み、検索対象ＦＰＫと一致するＦＰＫを含むＦＰＭＱエントリを検索する。ＦＰＫ一致が検出された場合、ＩＰＵ５５はＣＰＵ６４に対して、一致検出したエントリに格納されたＬＡを通知する。なお、一度の検索で複数のエントリに対して一致検出する可能性もあり、その場合は、一致検出した全エントリのＬＡをＣＰＵ６４に対して通知する。

【0058】

先述の通り、ＦＰＭＱ４６は、ＣＰＵ作業領域４５の容量が枯渇した場合、メインメモリ７６から解放されることがある。その後、改めて当該ＦＰＭＱ４６へのアクセスが要求された場合は、ＣＰＵ６４がボリューム４９からの読み込みアクセスによってメインメモリ７６上に再確保する。

【0059】

図５では、ＦＰＫとＬＡとしてそれぞれ３２ビットの値を使用した例を示しているが、これらの値のビット幅は３２ビットに限らない。

【0060】

図６は、本実施例に係るＶＦＰＴＤ６３のトライ木による構成例を示す。

【0061】

先述の通り、ＶＦＰＴＤ６３を線形配列等として構成した場合、ＩＰＵ作業領域９５の容量が逼迫する可能性がある。そのため、ＶＦＰＴＤ６３は、一つ以上のルートノード５３、任意個の中間ノード５２、ならびに任意個のリーフノード５５から構成されるトライ木として構成してもよい。このとき、ＶＦＰＴＤ６３の各ノードは、対応する桁の各値に対応する子ノードアドレスをテーブル６１として持つ。

【0062】

リーフノード５５のテーブル６１は、ＶＦＰＴＤ６３内のノードを指す代わりに、ＶＦＰＢＬ４３を指す。

【0063】

例えば、図６において、ＦＰＫの上位１２ビット（１６進トライ木における上位３桁）が２４５であった場合、まずルートノード５３において最上位桁の値２に対応する子ノードアドレス０ｘ２５Ｅ２７Ｅ６Ｄを参照することで、中間ノード５２を読み込む。次に、読み込んだ中間ノード５２のテーブル６１で第２桁の値４に対応する子ノードアドレス０ｘ５Ｂ７４Ｅ７２Ｂを参照してリーフノード５５を読み込む。最後に、第３桁の値５に対応するＶＦＰＢＬ４３アドレス０ｘ１Ｃ３４０６２Ｃを参照することで、２４５に対応するＶＦＰＢＬ４３を読み込む。リーフノード５５に格納されたアドレスは、ＩＰＵ作業領域９５ではなく、ＣＰＵ作業領域４５上のメモリ位置を指す点に注意されたい。

【0064】

なお、図６では、１６進かつ最大深さ３のトライ木としてＶＦＰＴＤ６３を構成した例を示しているが、トライ木の基数は１６でなくともよく、トライ木の深さは３でなくともよい。

【0065】

図７Ａは、本実施例に係るＳＱ２０の構成例を示す。図７Ｂは、本実施例に係るＣＱ２３の構成例を示す。

【0066】

ＳＱ２０は、ＣＰＵ Ｉ／Ｏ領域１０８上に配置され、ＣＰＵ６４からＩＰＵ５５に対して、コマンド２３を受け渡す領域として機能する。

【0067】

ＳＱ２０はＦＩＦＯ形式のリングバッファとして実装され、ＣＰＵ６４からＩＰＵ５５に対して送信されるコマンド２３はＳＱ２０の先頭に追加され、ＳＱの先頭位置を示すＰ－ｉｎｄｅｘ３２がインクリメントされる。ＩＰＵ５５はＳＱ２０末尾からコマンド２３を取り出し、ＳＱ末尾位置を示すＣ－ｉｎｄｅｘ２９をインクリメントすることで、ＣＰＵ６４に対してコマンド２３の受領を通知する。

【0068】

ＣＱ２３は、ＣＰＵ Ｉ／Ｏ領域１０８上に配置され、ＩＰＵ５５からＣＰＵ６４に対して、レスポンス５９を受け渡す領域として機能する。

【0069】

ＣＱ２３はＳＱ２０と同様にＦＩＦＯ形式のリングバッファとして実装される。ＩＰＵ５５からＣＰＵ６４に対して送信されるレスポンス５９はＣＱ２３の先頭に追加され、ＣＱの先頭位置を示すＰ－ｉｎｄｅｘ３２がインクリメントされる。ＣＰＵ６４はＣＱ末尾からレスポンス５９を取り出し、ＣＱ末尾位置を示すＣ－ｉｎｄｅｘ２９をインクリメントすることで、ＩＰＵ５５に対してレスポンス５９の受領を通知する。

【0070】

図８は、本実施例に係るＦＰＲＤＴ（Ｆｉｎｇｅｒｐｒｉｎｔ Ｒａｎｇｅ Ｄｉｓｐａｔｃｈ Ｔａｂｌｅ）１５の構成例を示す。

【0071】

ＦＰＲＤＴ１５は、ＦＰＫ範囲９と割当先ＩＤ１２の２つのカラムを含むテーブルである。ＦＰＫ範囲９にはＦＰＫの区間が、割当先ＩＤ１２には各ＦＰＫ区間内のＦＰＫに対するＦＰＴ検索の割り当て先ＩＰＵ番号が格納されている。

【0072】

例えば図８において、ＦＰＫの上位４ビットが０ｘ２４５６であった場合には、当該ＦＰＫは０ｘ２０００－０ｘ２ＦＦＦの区間内であるため、検索依頼先は０番のＩＰＵとなる。

【0073】

また、割当先ＩＤ１２カラムでは、特別な値として－１を格納することで、いずれのＩＰＵに対しても検索を依頼せず、ＣＰＵ６４での検索を指定する。これにより、ＣＰＵ６４を含めて負荷分散が可能である。ＣＰＵ６４は、本明細書で説明するＩＰＵ５５によるＦＰＴ検索処理と同法の方法で、ＦＰＴ検索処理を実行できる。

【0074】

なお、図８では、１６ビットのＦＰＫを１６の区間に均等に分割した例を示しているが、ＦＰＫのサイズは１６ビットとは限らず、ＦＰＫの分割数は１６に限らない。また、ＦＰＫの区間分割は均等である必要はない。

【0075】

ＦＰＫの区間分割によってＦＴＰ検索処理の割り当て量を決定することで、ＩＰＵパッケージ１０４にキャッシュされている検索処理のための参照データを再利用可能な確率が増加し、ＦＴＰ検索処理の全体効率を高めることができる。

【0076】

図９Ａから９Ｃは、本実施例に係るＦＰＲＤＴ１５に基づく負荷分散の例を示す。

【0077】

本実施例では、例えば、各時刻における各ＩＰＵ５５の負荷情報を、ＩＰＵ負荷情報テーブル３１に格納する。図９ＡはＩＰＵ負荷情報テーブル３１の構成例を示す。ＩＰＵ負荷情報テーブル３１は、複数のＩＰＵそれぞれについて、最大処理能力、現在のＩＰＵ負荷率、現在のメモリ負荷率、及び現在のＤＭＡ負荷率を示す。負荷率は、各構成要素の性能の使用率を示す。例えば、ＩＰＵ負荷率は時間当たりの演算量に基づき決定され、メモリ負荷率は、時間当たりのアクセス量に基づき決定され、ＤＭＡ負荷率は時間当たりのデータ転送量に基づき決定され得る。

【0078】

ＩＰＵの処理能力と構成要素の処理能力及び負荷率とは、次のような関係を有する。ＣＰＵ、メモリ及びＤＭＡの最大処理能力は、ＩＰＵの最大処理能力と一致する。図９Ａの例においては、全てのＩＰＵの最大処理能力は５であり、それらの各構成要素の最大処理能力も５である。各構成要素が発揮している（使用されている）処理能力は、その負荷率と最大処理能力の積である。余剰処理性能は、最大処理性能から現在の使用処理性能を現在した値である。なお、ＩＰＵ間で最大処理能力が異なってもよい。

【0079】

ＣＰＵ６４は、後述のＩＰＵ負荷取得ルーチン３０が送信するレスポンスの情報に基づき、各ＩＰＵ５５のＩＰＵ負荷率、メモリ負荷率、ＤＭＡ負荷率を取得し、ＩＰＵ負荷情報テーブル３１の対応したカラムにそれぞれ格納する。ＩＰＵ負荷情報テーブル３１は、ＣＰＵ作業領域４５に格納され得る。

【0080】

一方で、ＣＰＵ６４は、各時刻におけるＦＰＴ検索負荷を取得し、ＦＰＴ検索負荷情報テーブル２８に記録する。図９ＢはＦＰＴ検索負荷情報テーブル２８の構成例を示す。ＦＰＴ検索負荷情報テーブル２８は、ＣＰＵ作業領域４５に格納され得る。

【0081】

ＦＰＴ検索負荷情報テーブル２８は、各時刻においてこれらから行うべきＦＰＴ検索処理の負荷と、ＦＰＴ検索処理におけるＣＰＵ、メモリ及びＤＭＡの負荷比を示す。図９Ｂの例において、現在時刻においてこれから実行すべきＦＰＴ検索処理負荷は１０である。この処理に必要なＩＰＵ処理能力は、１０である。また、ＦＰＴ検索処理において、ＣＰＵ、メモリ及びＤＭＡに係る負荷の比は、１００：１５０：７５である。つまり、メモリの負荷が最も高く、ＤＭＡの負荷が最も小さい。本例においては、全てのＩＰＵに対して、負荷比が共通であるとするが、ＩＰＵ間で負荷比が異なってもよい。

【0082】

ＣＰＵ６４は、ＩＰＵ負荷情報テーブル３１の情報と、ＦＰＴ検索負荷情報テーブル２８の情報を照合することで、各時刻でＩＰＵ資源の利用効率を最大化するよう、ＦＰＲＤＴ１５を更新する。図９Ｃは、更新されたＦＰＲＤＴ１５の構成例を示す。

【0083】

例えば、図９Ａから９Ｃに示した例では、０番のＩＰＵは最大処理能力５を備えており、現時点のＩＰＵ負荷率は６０％、メモリ負荷率は７０％、ＤＭＡ負荷率は５０％である。したがって、ＦＰＴ検索に利用可能な余剰処理能力は、ＣＰＵが２（５＊０．４）、メモリが１．５（５＊０．３）、ＤＭＡが２．５（５＊０．５）となる。

【0084】

この例では、図９Ｂに示すように、ＦＰＴ検索はメモリが最も負荷が高くなる。そのため、０番のＩＰＵにオフロード可能なＦＰＴ検索処理量は全体１０のうち１となる。なお、ＦＰＴ検索処理量は、１の単位でオフロードされるものとする。このとき、ＦＰＲＤＴ１５には、ＦＰＴ検索処理全体の１０分の１以下の処理量が、０番のＩＰＵに割り当てられる。

【0085】

ＣＰＵ６４は、同様にＩＰＵ１番から３番までへのオフロード量を決定する。残った処理については、ＦＰＲＤＴ１５に無効なＩＰＵ番号として－１などを設定し、ＣＰＵ６４で処理させることで、ＩＰＵ５５のＩ／Ｏ処理性能には影響を及ぼすことなく、同時にＩＰＵ５５の余剰資源を最大限有効活用してＦＰＴ検索性能を向上させることができる。

【0086】

図１０は、本実施例に係るＦＰＴ検索フローを示す。

【0087】

ステップＳ０１０１で、ＦＰＴ検索ルーチン４２は、ＦＰＴ検索依頼ルーチン４４を呼び出す。

【0088】

ステップＳ０１０２で、ＦＰＴ検索ルーチン４２は、ＣＱ２３からＦＰＴ検索依頼ルーチン４４の検索結果を受信する。

【0089】

ステップＳ０１０３で、ＦＰＴ検索ルーチン４２は、ステップＳ０１０２で受信したＦＰＴ検索依頼ルーチン４４の検索結果が、ＶＦＰＴＤ６３に無効アドレスが設定されていたことによる、ＶＦＰＢＬ４３の読み込み要求レスポンスであるかどうか確認する。

【0090】

ステップＳ０１０３で、受信したＦＰＴ検索依頼ルーチン４４の検索結果がＶＦＰＢＬの要求レスポンスであった場合、ステップＳ０１０５で、ＦＰＴ検索ルーチン４２は、ＶＦＰＢＬ更新ルーチン５６を呼び出し、ＶＦＰＢＬ４３ならびにＶＦＰＢＬによって指示される全ＦＰＭＱ４６をボリューム４９からＣＰＵ作業領域４５上にロードし、結果をＩＰＵ５５に通知する。その後、ステップＳ０１０１に戻り、ＦＰＴ検索を再度ＩＰＵ５５に依頼する。

【0091】

ステップＳ０１０４で、ＦＰＴ検索ルーチン４２は、ステップＳ０１０２でＩＰＵ５５から受信した検索結果でＦＰＫ一致が検出されていたかどうか判定する。

【0092】

ステップＳ０１０４で、ＦＰＫ一致が検出されていた場合、ステップＳ０１０６で、ＦＰＴ検索ルーチン４２は、重複排除処理等を呼び出し、ＩＰＵ５５から受信した１以上のＬＡを渡して、処理を実施させる。重複排除処理の内容は、任意の方法を採用することができ、本稿ではその詳細を省略する。

【0093】

図１１は、本実施例に係るＦＰＴ検索依頼フローを示す。

【0094】

ステップＳ０２０１で、ＦＰＴ検索依頼ルーチン４４は、ＦＰＴ検索対象データのＦＰＫを計算する。ＦＰＫは、データに対してハッシュ関数を適用することで計算される。ここで使用されるハッシュ関数の種別については本実施例で規定しないが、負荷が正しく分散されるために十分な一様性と無作為性を備えたハッシュ関数を使用できる。

【0095】

なお、ＦＰＫにハッシュ関数を適用し、ＦＰＫを計算する際は、ＣＰＵ６４もしくはＩＰＵ５５に搭載されたアクセラレータを使用してもよい。

【0096】

ステップＳ０２０２で、ＦＰＴ検索依頼ルーチン４４は、ＦＰＴ割当範囲テーブル１５をメモリ上に読み込む。

【0097】

ステップＳ０２０３で、ＦＰＴ検索依頼ルーチン４４は、ステップＳ０１０１で計算したＦＰＫの値を用いて、ステップＳ０２０２で読み込んだＦＰＴ割当範囲テーブル１５をルックアップし、検索依頼対象となるＩＰＵ番号を決定する。

【0098】

ステップＳ０２０４で、ＦＰＴ検索依頼ルーチン４４は、ステップＳ０２０３でＦＰＴ割当範囲テーブル１５から読み込んだＩＰＵ検索依頼先ＩＤによって、ＦＰＴ検索依頼先を決定する。

【0099】

ステップＳ０２０４で、ＦＰＴ検索依頼先ＩＤがいずれかのＩＰＵに該当する場合、ステップＳ０２０５で、ＦＰＴ検索依頼ルーチン４４はＩＰＵ５５にＦＰＴ検索を依頼するコマンドを作成する。

【0100】

ステップＳ０２０６で、ＦＰＴ検索依頼ルーチン４４は、ステップＳ０２０５で作成したＦＰＴ検索依頼コマンドを依頼先ＩＰＵのＳＱ２０に格納することで、コマンドを送信する。ＦＰＴ検索依頼コマンドを受信したＩＰＵ５５は、ＶＦＰＴＤ検索ルーチン１８を起動する。

【0101】

一方、ステップＳ０２０４で、ＦＰＴ検索依頼先ＩＤがいずれのＩＰＵにも該当しなかった場合、ステップＳ０２０７で、ＦＰＴ検索依頼ルーチン４４はＩＰＵ５５にＦＰＴ検索を依頼する代わりに、ＣＰＵ６４でＦＰＴ検索を実行するためのルーチンを呼び出す。なお、当該ルーチンの詳細は、本稿では省略する。

【0102】

図１２は、本実施例に係るＶＦＰＴＤ検索フローを示す。

【0103】

ステップＳ０３００で、ＶＦＰＴＤ検索ルーチン１８は、ＣＰＵ６４からＦＰＴ検索依頼コマンドを受信する。

【0104】

ステップＳ０３０１で、ＶＦＰＴＤ検索ルーチン１８は、ＦＰＫの上位ビットを用いてＶＦＰＴＤ６３を参照し、ＶＦＰＢＬアドレスを取得する。

【0105】

ステップＳ０３０２で、ＶＦＰＴＤ検索ルーチン１８は、ステップＳ０３０１で読み込まれたＶＦＰＢＬアドレスが、ＣＰＵ作業領域４５内のメモリ位置を指す有効なアドレスかどうかを判定する。本例において、ＶＦＰＢＬアドレスが「－１」である場合、そのアドレスは無効なアドレスである。

【0106】

ステップＳ０３０２で判定結果が有効なＶＦＰＢＬアドレスでない場合、ＣＰＵ６４によるＶＦＰＢＬ４３の確保が必要であるため、ステップＳ０３０３で、ＶＦＰＴＤ検索ルーチン１８は、ＣＰＵ６４に対してＶＦＰＢＬ４３の確保を求めるＶＦＰＢＬ要求レスポンスを作成する。

【0107】

ステップＳ０３０４で、ＶＦＰＴＤ検索ルーチン１８は、ステップＳ０３０３で作成したＶＦＰＢＬ要求レスポンスをＣＱ２３に格納し、レスポンスをＣＰＵ６４に対して送信する。その後、ステップＳ０３００に戻り、次のコマンドを待機する。

【0108】

ステップＳ０３０２で判定結果が有効なＶＦＰＢＬアドレスであった場合には、ステップＳ０３０５で、ＶＦＰＴＤ検索ルーチン１８は当該アドレスをパラメータとしてＦＰＭＱ検索ルーチン２１を呼び出す。その後、ステップＳ０３００に戻り、次のコマンドを待機する。

【0109】

図１３は、本実施例に係るＦＰＭＱ検索フローを示す。

【0110】

ステップＳ０４００で、ＦＰＭＱ検索ルーチン２１は、ＣＰＵ作業領域４５に配置されたＶＦＰＢＬ４３を、ＤＭＡ１１４によってＩＰＵ作業領域９５に読み込む。

【0111】

ステップＳ０４０１で、ＦＰＭＱ検索ルーチン２１は、ステップＳ０４００で読み込まれたＶＦＰＢＬ４３の内容に基づいて、ＣＰＵ作業領域４５に配置されたＦＰＭＱ４６を、ＤＭＡ１１４によってＩＰＵ作業領域９５に読み込む。例えば、ＶＦＰＢＬ４３が示す全てのアドレスのＦＰＭＱ４６が読み込まれる。なお、ＶＦＰＢＬ４３が示すＦＰＭＱ４６が順次読み込まれて、以下に説明する処理がＦＰＭＱ４６毎に実行されてもよい。
なお、ＦＰＭＱ４６がＣＰＵ作業領域４５上で複数の不連続領域に分割されて配置されている場合は、それらすべての領域をひとつのＦＰＭＱ４６として取り扱うものとする。これら不連続領域に分散したＣＰＵ作業領域４５上のＦＰＭＱ４６をＤＭＡ１１４によってＩＰＵ作業領域９５に読み込む際、ＤＭＡのギャザー機能等、複数領域に分割されたデータの転送を高速化する機能を用いてもよい。

【0112】

ステップＳ０４０２で、ＦＰＭＱ検索ルーチン２１は、ステップＳ０４０１でＩＰＵ作業領域９５に読み込まれたＦＰＭＱ４６の先頭エントリを取り出す。

【0113】

ステップＳ０４０３で、ＦＰＭＱ検索ルーチン２１は、取り出されたＦＰＭＱエントリのＦＰＫと、検索対象ＦＰＫを比較する。

【0114】

ステップＳ０４０３で、ＦＰＭＱエントリのＦＰＫと検索対象ＦＰＫが一致しなかった場合、ステップＳ０４０４で、ＦＰＭＱ検索ルーチン２１は、現在のＦＰＭＱエントリがＦＰＭＱ中の最終エントリであるかどうかを判定する。それが最終エントリであった場合は、ルーチンの処理を終了する。

【0115】

ステップＳ０４０４で、現在のＦＰＭＱエントリがＦＰＭＱ中の最終エントリでなかった場合、ステップＳ０４０５で、ＦＰＭＱ検索ルーチン２１は、ＦＰＭＱ４６中で次のＦＰＭＱエントリを読み込み、ステップＳ０４０３に戻る。

【0116】

ステップＳ０４０３で、ＦＰＭＱエントリ中のＦＰＫと、検索対象ＦＰＫが一致した場合、ステップＳ０４０６で、ＦＰＭＱ検索ルーチン２１は、ＦＰＫ検出をＣＰＵ６４に通知するためのＦＰＫ一致検出レスポンスを作成する。ＦＰＫ一致検出レスポンスは、一致する１以上のＦＰＫそれぞれに関連付けられているＬＡを含む。

【0117】

ステップＳ０で、ＦＰＭＱ検索ルーチン２１は、ステップＳ０４０６で作成したＦＰＫ一致検出レスポンスをＣＱ２３に格納し、ＣＰＵ６４に送信する。その後、ステップＳ０４０４に進む。なお、例えば、ＶＦＰＴＤ検索がＩＰＵ５５にオフロードされ、ＦＰＭＱ検索はＣＰＵ６４により実行されてもよい。検索されたＶＦＰＢＬアドレスは、ＩＰＵ５５からＣＰＵ６４に渡される。

【0118】

図１４は、本実施例に係るＶＦＰＢＬ更新フローを示す。

【0119】

ステップＳ０５０１で、ＶＦＰＢＬ更新ルーチン５６は、呼び出し元から指示されたＦＰＫに基づき、ボリューム４９（ドライブ）からＶＦＰＢＬ４３をＣＰＵ作業領域４５へ読み込む。ＶＦＰＢＬ４３は、ボリューム４９上で複数の不連続領域に分散して格納されている場合、それらすべての領域をまとめてひとつのＶＦＰＢＬ４３として取り扱う。

【0120】

ステップＳ０５０２で、ＶＦＰＢＬ更新ルーチン５６は、ステップＳ０５０１でＣＰＵ作業領域４５に読み込まれたＶＦＰＢＬ４３に基づき、ＦＰＭＱ４６をＣＰＵ作業領域４５に読み込む。

【0121】

ステップＳ０５０３で、ＶＦＰＢＬ更新ルーチン５６は、ＶＦＰＴＤ更新依頼ルーチン６０を呼び出し、各ＩＰＵ５５に対して、ステップＳ０５０１でＣＰＵ作業領域４５上に読み込まれたＶＦＰＢＬ４３のアドレスをＶＦＰＴＤ６３へ追加するよう要求する。

【0122】

図１５は、本実施例に係るＶＦＰＴＤ更新依頼フローを示す。

【0123】

ステップＳ０６０１で、ＶＦＰＴＤ更新依頼ルーチン６０は、ＦＰＴ更新対象データのＦＰＫを計算する。ＦＰＫ計算には、ＦＰＴ検索依頼ルーチン４４と同様の方式を用いるものとする。

【0124】

ステップＳ０６０２で、ＶＦＰＴＤ更新依頼ルーチン６０は、ステップＳ０６０１で計算したＦＰＫを用いて、ＦＰＴ更新依頼コマンドを作成する。

【0125】

ステップＳ０６０３で、ＶＦＰＴＤ更新依頼ルーチン６０は、ＩＰＵ ＩＤカウンターを０でリセットする。

【0126】

ステップＳ０６０４で、ＶＦＰＴＤ更新依頼ルーチン６０は、ＩＰＵ ＩＤカウンターの値がＩＰＵ ＩＤの最大値を上回っているかどうか判定する。

【0127】

ステップＳ０６０４で、ＩＰＵ ＩＤカウンターの値がＩＰＵ ＩＤの最大値を上回っていなかった場合、ステップＳ０６０５で、ＶＦＰＴＤ更新依頼ルーチン６０は、ＩＰＵ ＩＤカウンターの値が指し示すＩＰＵ５５に対して、ＶＦＰＴＤ更新依頼コマンドを送信する。ＶＦＰＴＤ更新依頼コマンドを受けたＩＰＵ５５は、ＩＰＵ作業領域９５内のＶＦＰＴＤ６３内で当該ＦＰＫに対応するエントリに、対象となるＶＦＰＢＬ４３のアドレスを設定する。

【0128】

ステップＳ０６０６で、ＶＦＰＴＤ更新依頼ルーチン６０は、ＩＰＵ ＩＤカウンターの値をインクリメントしてステップＳ０６０４に戻る。

【0129】

ステップＳ０６０４で、ＩＰＵ ＩＤカウンターの値がＩＰＵ ＩＤの最大値を上回っていた場合、ＶＦＰＴＤ更新依頼ルーチン６０は処理を終了する。

【0130】

図１６は、本実施例に係るＦＰＴ更新フローを示す。

【0131】

ステップＳ０７０１で、ＦＰＴ更新ルーチン４８は、ＦＰＴ更新対象データのＦＰＫを計算する。なお、ＦＰＫの計算はＦＰＴ検索ルーチン４２と同様とする。

【0132】

ステップＳ０７０２で、ＦＰＴ更新ルーチン４８は、ＶＦＰＴＤ更新依頼ルーチン６０を呼び出し、ステップＳ０７０１で計算されたＦＰＫに対応するＶＦＰＴＤエントリを無効化するよう各ＩＰＵ５５に要求する。これは、以降のＦＰＭＱ４６ならびにＶＦＰＢＬ４３の更新操作中に、ＩＰＵ５５がこれらのデータ構造を参照し、無効なデータがＩＰＵ５５へ読み出されてしまうのを防ぐための措置である。

【0133】

ステップＳ０７０３で、ＦＰＴ更新ルーチン４８は、ステップＳ０７０１で計算されたＦＰＫをもとにして、ＦＰＭＱ４６を更新する。なお、ＦＰＭＱ４６の更新は、例えばＣＰＵ６４が独自で管理するテーブルを参照するものとし、本稿では詳細を省略する。

【0134】

ステップＳ０７０４で、ＦＰＴ更新ルーチン４８は、ステップＳ０７０１で計算されたＦＰＫをもとにして、ＶＦＰＢＬ４３を更新する。

【0135】

ステップＳ０７０５で、ＦＰＴ更新ルーチン４８は、更新後のＶＦＰＢＬアドレスを用いて、再度ＶＦＰＴＤ更新依頼ルーチン６０を呼び出し、各ＩＰＵ５５が作業領域９５に保持するＶＦＰＴＤ６３に対して、更新後のＶＦＰＢＬアドレスを反映させる。

【0136】

図１７は、本実施例に係るＩＰＵ負荷取得フローを示す。

【0137】

ステップＳ０８０１で、ＩＰＵ負荷取得ルーチン３０は、ＩＰＵ５５のプロセッサ負荷を取得する。

【0138】

ステップＳ０８０２で、ＩＰＵ負荷取得ルーチン３０は、ＩＰＵ５５のメモリ負荷を取得する。

【0139】

ステップＳ０８０３で、ＩＰＵ負荷取得ルーチン３０は、ＩＰＵ５５のＤＭＡ負荷を取得する。

【0140】

ステップＳ０８０４で、ＩＰＵ負荷取得ルーチン３０は、ステップＳ０８０１、ステップＳ０８０２、ステップＳ０８０３で取得した負荷の情報に基づき、ＩＰＵ負荷をＣＰＵ６４に通知するＩＰＵ負荷通知レスポンスを作成する。

【0141】

ステップＳ０８０５で、ＩＰＵ負荷取得ルーチン３０は、ステップＳ０８０４で作成したＩＰＵ負荷通知レスポンスをＣＱ２３に格納し、ＣＰＵ６４に送信する。

【0142】

ステップＳ０８０６で、ＩＰＵ負荷取得ルーチン３０は、一定期間ウェイトし、ステップＳ０８０１に戻る。

【0143】

図１８は、本実施例に係るＦＰＲＤＴ更新フローを示す。

【0144】

ステップＳ０９０１で、ＦＰＲＤＴ更新ルーチン５４は、いずれかのＩＰＵ５５からＩＰＵ負荷通知レスポンスを受信する。このレスポンスには、ＩＰＵ負荷取得ルーチン３０が取得したプロセッサ負荷、メモリ負荷、ＤＭＡ負荷の情報が含まれている。

【0145】

ステップＳ０９０２で、ＦＰＲＤＴ更新ルーチン５４は、ステップＳ０９０１でＩＰＵ５５から受信したレスポンスの情報に基づき、ＦＰＲＤＴ１５を更新する。ＦＰＲＤＴ１５の更新は、図９Ａから９Ｃを参照して説明した通りである。その後、ＦＰＲＤＴ更新ルーチンは、ステップＳ０９０１に戻り、次のレスポンスを待機する。

【0146】

図１９は、本実施例に係るＶＦＰＢＬ解放フローを示す。

【0147】

ステップＳ１００１で、ＶＦＰＢＬ解放ルーチン６２は、ＶＦＰＴＤ更新依頼ルーチン６０を呼び出し、各ＩＰＵ５５に対して、ＦＰＴＤ中で当該ＦＰＫに対応するＶＦＰＢＬ４３への参照を削除し、無効アドレスに置き換えるよう要求する。

【0148】

ステップＳ１００２で、ＶＦＰＢＬ解放ルーチン６２は、ＣＰＵ作業領域４５からＶＦＰＢＬ４３を解放する。

【0149】

ステップＳ１００３で、ＶＦＰＢＬ解放ルーチン６２は、ＣＰＵ作業領域４５からＦＰＭＱ４６を解放する。

【0150】

図２０に、本実施例に係るＶＦＰＴＤ更新フローを示す。

【0151】

ステップＳ１１０１で、ＶＦＰＴＤ更新ルーチン２４は、ＣＰＵ６４からＶＦＰＴＤ更新依頼コマンドを受信する。

【0152】

ステップＳ１１０２で、ＶＦＰＴＤ更新ルーチン２４は、ステップＳ１１０１でＣＰＵ６４から受信したＶＦＰＴＤ更新依頼コマンドに含まれるＦＰＫと、それに対応するＶＦＰＢＬアドレスに基づき、ＩＰＵ作業領域９５に配置されたＶＦＰＴＤ６３を更新する。その後、次のＶＦＰＴＤ更新依頼コマンドを待機するため、ステップＳ１１０１に戻る。

【0153】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0154】

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

【0155】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0156】

５５ Ｉ／Ｏプロセッサ
６４ ＣＰＵ
７６ メインメモリ
７９ ＩＰＵメモリ
８４ ストレージシステム
１０４ ＩＰＵパッケージ
１１４ ＤＭＡ

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】