特許 7512454 ファブリックを介したＮＶＭエクスプレス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】ファブリックを介したＮＶＭエクスプレス

(51)【国際特許分類】

   G06F 13/10 20060101AFI20240701BHJP

   G06F 13/38 20060101ALI20240701BHJP

   G06F 13/28 20060101ALI20240701BHJP

   G06F 3/06 20060101ALI20240701BHJP

   G06F 3/08 20060101ALI20240701BHJP

【ＦＩ】

G06F13/10 340B

G06F13/38 330B

G06F13/28 310E

G06F3/06 301R

G06F3/08 H

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2023020700

(22)【出願日】2023-02-14

(62)【分割の表示】P 2020505813の分割

【原出願日】2018-08-01

(65)【公開番号】P2023062055

(43)【公開日】2023-05-02

【審査請求日】2023-02-21

(31)【優先権主張番号】15/668,314

(32)【優先日】2017-08-03

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】318010018

【氏名又は名称】キオクシア株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】クレイン、ヤーロン

【審査官】田名網 忠雄

(56)【参考文献】

【文献】特開２００２－０８２８３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１４９９２０（ＵＳ，Ａ１）

【文献】特表２０１０－５１２５６８（ＪＰ，Ａ）

【文献】特開２００６－１６４２１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １３／１０－１３／１４

Ｇ０６Ｆ １３／２０－１３／４２

Ｇ０６Ｆ ３／０６－３／０８

(57)【特許請求の範囲】

【請求項1】

複数の第１のソリッドステートディスクと、
前記複数の第１のソリッドステートディスクおよびホストクライアントに通信可能に結合されたネットワークインタフェースアダプタであって、
前記ホストクライアントからデータを取得し、
前記データを前記ホストクライアントから前記複数の第１のソリッドステートディスクに転送する
ように構成されるネットワークインタフェースアダプタと、
前記複数の第１のソリッドステートディスクおよび前記ネットワークインタフェースアダプタに通信可能に結合された不揮発性半導体メモリデバイスであって、
前記ネットワークインタフェースアダプタを介して前記ホストクライアントからデータを受信し、
前記データを一時的に格納し、
前記データを前記複数の第１のソリッドステートディスクの１つに転送する
ように構成される不揮発性半導体メモリデバイスと、
前記不揮発性半導体メモリデバイスおよび前記ネットワークインタフェースアダプタに通信可能に結合されたＣＰＵであって、
前記ネットワークインタフェースアダプタを介して前記ホストクライアントから書き込み要求を受信し、
前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能であるかどうかを判定し、
前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能であるという決定に応じて、前記ネットワークインタフェースアダプタを介した前記ホストクライアントから前記不揮発性半導体メモリデバイスへの前記データの前記転送を行うために、前記ネットワークインタフェースアダプタを始動し、
前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能でないという決定に応じて、前記ネットワークインタフェースアダプタを介して、複数の第２のソリッドステートディスクをそれぞれ含む１つ以上の外部ストレージへ、前記１つ以上の外部ストレージそれぞれが前記データを格納するために利用可能であるか否かを問い合わせるクエリをブロードキャストするために、前記ネットワークインタフェースアダプタを始動し、
前記１つ以上の外部ストレージの内の第１外部ストレージが前記データの格納に利用可能である場合、前記ネットワークインタフェースアダプタを介して前記第１外部ストレージに第２の書き込み要求を送信する
ように構成されるＣＰＵとを備え、
前記第２の書き込み要求は、前記データを前記ホストクライアントから前記第１外部ストレージへ直接転送することを開始するために、前記第１外部ストレージを始動する、ネットワークストレージ装置。

【請求項2】

前記不揮発性半導体メモリデバイスは、
抵抗変化型ランダムアクセスメモリと、
磁気抵抗ランダムアクセスメモリと、
ナノランダムアクセスメモリと、
バッテリバック型ダイナミックランダムアクセスメモリとの内の１つを備える、請求項１に記載のネットワークストレージ装置。

【請求項3】

前記複数の第１のソリッドステートディスクおよび前記ネットワークインタフェースアダプタに通信可能に結合された揮発性半導体メモリデバイスをさらに備え、前記揮発性半導体メモリデバイスは、前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能ではないという決定に応じて、前記ネットワークインタフェースアダプタを介して前記１つ以上の外部ストレージから前記データを受信するように構成され、前記１つ以上の外部ストレージは、１つ以上の第２のネットワークストレージ装置に対応する、請求項１に記載のネットワークストレージ装置。

【請求項4】

前記揮発性半導体メモリデバイスはさらに、前記複数の第１のソリッドステートディスクの１つに前記データを転送するように構成される、請求項３に記載のネットワークストレージ装置。

【請求項5】

前記ＣＰＵはさらに、前記ネットワークインタフェースアダプタを介して前記ホストクライアントにアクノレッジメントステータスを送信するように構成され、前記アクノレッジメントステータスは、前記データが前記不揮発性半導体メモリデバイスまたは前記１つ以上の外部ストレージに格納されたことを示す、請求項１に記載のネットワークストレージ装置。

【請求項6】

前記１つ以上の外部ストレージは、複数の第２のネットワークストレージ装置の内の１つ以上である、請求項１に記載のネットワークストレージ装置。

【請求項7】

前記ＣＰＵはさらに、前記ネットワークインタフェースアダプタを介して前記第１外部ストレージから信号を受信するように構成され、前記信号は、前記データが前記第１外部ストレージに格納されたことを示す、請求項１に記載のネットワークストレージ装置。

【請求項8】

前記ＣＰＵはさらに、前記ネットワークインタフェースアダプタを介して前記ホストクライアントに第２のアクノレッジメントステータスを送信するように構成され、前記第２のアクノレッジメントステータスは、前記データが前記第１外部ストレージに格納されたことを示す、請求項７に記載のネットワークストレージ装置。

【請求項9】

前記ネットワークインタフェースアダプタは、リモートダイレクトメモリアクセス（ＲＤＭＡ）プロトコルに従って機能する、請求項１に記載のネットワークストレージ装置。

【請求項10】

前記ネットワークインタフェースアダプタは、ネットワーク通信ファブリックに接続される、請求項１に記載のネットワークストレージ装置。

【請求項11】

前記データは、０．１μ秒より長く１μ秒より短い期間内に、前記ホストクライアントから前記ネットワークストレージ装置の前記不揮発性半導体メモリデバイスに転送される、請求項１に記載のネットワークストレージ装置。

【請求項12】

前記ネットワークインタフェースアダプタは、前記ＣＰＵから独立して前記不揮発性半導体メモリデバイスにアクセスする、請求項１に記載のネットワークストレージ装置。

【請求項13】

ホストクライアントからネットワークストレージ装置にデータを転送する方法であって、
ホストクライアントから、第１ネットワークインタフェースアダプタを介して対象のネットワークストレージ装置へ第１の書き込み要求を送信することと、
前記対象のネットワークストレージ装置から、前記第１ネットワークインタフェースアダプタおよび第２ネットワークインタフェースアダプタを介して、複数のソリッドステートディスクを含む第２のネットワークストレージ装置に第２の書き込み要求を送信することと、
前記第１の書き込み要求に関連付けられたデータを、前記第２ネットワークインタフェースアダプタを介して前記ホストクライアントから前記第２のネットワークストレージ装置の不揮発性半導体メモリデバイスに直接転送することと、
前記第２のネットワークストレージ装置から、前記第２ネットワークインタフェースアダプタおよび前記第１ネットワークインタフェースアダプタを介して前記対象のネットワークストレージ装置に、前記データが前記第２のネットワークストレージ装置の前記不揮発性半導体メモリデバイスに格納されたことを示す信号を送信することと、
前記対象のネットワークストレージ装置から、前記第１ネットワークインタフェースアダプタを介して前記ホストクライアントに、前記データが格納されたことを示すアクノレッジメントステータスを送信することと、
前記第２のネットワークストレージ装置の前記不揮発性半導体メモリデバイスから、前記第２ネットワークインタフェースアダプタおよび前記第１ネットワークインタフェースアダプタを介して前記対象のネットワークストレージ装置の揮発性半導体メモリデバイスに前記データを転送することと、
前記対象のネットワークストレージ装置の前記揮発性半導体メモリデバイスから、前記対象のネットワークストレージ装置のソリッドステートディスクに前記データを転送することとを含む方法。

【請求項14】

前記複数の第２のソリッドステートディスクの各々は、ＮＶＭｅディスクを備える、請求項１に記載のネットワークストレージ装置。

【請求項15】

前記複数のソリッドステートディスクの各々は、ＮＶＭｅディスクを備える、請求項１３に記載の方法。

【発明の詳細な説明】

【優先権の主張】

【0001】

本出願は、参照によってその内容の全体がここに組み込まれる、“ＮＶＭ Ｅｘｐｒｅｓｓ Ｏｖｅｒ Ｆａｂｒｉｃｓ”と題された、２０１７年８月３日に出願された米国実用新案出願第１５／６６８，３１４号に対する優先権を主張する。

【技術分野】

【0002】

本開示は、不揮発性メモリエクスプレスのストレージ装置、および高性能なストレージネットワークに不揮発性ランダムアクセスメモリを実装するための方法に関する。

【背景技術】

【0003】

ライトコマンドに対する低いレイテンシは、ハイパフォーマンスコンピューティング（ＨＰＣ）において、そして特にストレージネットワークにおいて、重要な特徴である。その重要性の一例は、増大するメモリ内データベース（ＩＭＤＢ）の領域である。ＣＰＵやメモリのような演算リソースの増加は、データベース全体をメモリにロードし、ＣＰＵによってそれを処理することを可能にする。これは、大きなデータセットの高速なメモリ内処理を可能にする。しかし、到来するトランザクションは永続的であるに違いなく、そのため永続性の媒体に書き込まれる必要がある。処理が、そのようなトランザクションのアクノレッジメントまで失速する（ｓｔａｌｌ）とき、それはプロセス全体へのボトルネックになる。

【0004】

高速ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｆａｃｅ Ｅｘｐｒｅｓｓ）インタフェースと、高効率の記憶スタックとを有するＮＶＭｅ（登録商標）（「不揮発性メモリエクスプレス」）デバイスの導入により、永続性の媒体へのアクセス時間が減少した。加えて、リモートダイレクトメモリアクセス（ＲＤＭＡ）ネットワークインタフェースコントローラ（ＮＩＣ）は、非常に速い（１桁μ秒）データ転送を提供するように進化した。ファブリック規格を介したＮＶＭｅ（登録商標）の導入は、ホストクライアントが低レイテンシのネットワークファブリックを介してＮＶＭｅ（登録商標）ディスクにアクセスできる環境を可能にする。各ホストクライアントおよびストレージ装置は、ファブリック内の各要素間での低レイテンシの転送を可能にするＲＤＭＡ ＮＩＣを有する。しかし、高性能なストレージネットワークにおいてＮＶＭｅ（登録商標）デバイスを効率的に管理し、実装することへの長年にわたる要求が未だ存在する。

【発明の概要】

【0005】

本開示は、ソリッドステートディスクと、ソリッドステートディスクおよびホストクライアントに通信可能に結合されたネットワークインタフェースアダプタと、ソリッドステートディスクおよびネットワークインタフェースアダプタに通信可能に結合された不揮発性半導体メモリデバイスと、不揮発性半導体メモリデバイスおよびネットワークインタフェースアダプタに通信可能に結合されたＣＰＵとを備えるネットワークストレージ装置に関する。ネットワークインタフェースアダプタは、ホストクライアントからデータを取得し、ホストクライアントからのデータをソリッドステートディスクに転送することができる。不揮発性半導体メモリデバイスは、ネットワークインタフェースアダプタを介してホストクライアントからのデータを受信し、データを一時的に格納し、ソリッドステートディスクの１つにデータを転送することができる。ＣＰＵは、ネットワークインタフェースアダプタを介してホストクライアントからの書き込み要求を受信し、不揮発性半導体メモリデバイスがデータを格納するために利用可能であるか否かを判定することができる。不揮発性半導体メモリデバイスがデータを格納するために利用可能であると決定する場合には、ＣＰＵは、ネットワークインタフェースアダプタを介したホストクライアントから不揮発性半導体メモリデバイスへのデータの転送を行うために、ネットワークインタフェースアダプタを始動できる。不揮発性半導体メモリデバイスがデータを格納するために利用可能でないと決定する場合には、ＣＰＵは、ネットワークインタフェースアダプタを介して１つ以上の外部ストレージにクエリをブロードキャストするために、ネットワークインタフェースアダプタを始動できる。さらに、ＣＰＵは、ネットワークインタフェースアダプタを介して、データが不揮発性半導体メモリデバイスに格納されたことを示すアクノレッジメントステータスをホストクライアントに送信できる。

【0006】

ある実装によれば、不揮発性半導体メモリデバイスは、抵抗変化型ランダムアクセスメモリ、磁気抵抗ランダムアクセスメモリ、ナノランダムアクセスメモリ、およびバッテリバック型ダイナミックランダムアクセスメモリの内の１つを備え得る。

【0007】

いくつかの実装において、ネットワークストレージ装置は、ソリッドステートディスクおよびネットワークインタフェースアダプタに通信可能に結合された揮発性メモリデバイスを含み得る。揮発性メモリデバイスは、不揮発性半導体メモリデバイスがデータを格納するために利用可能ではないと決定する場合に、ネットワークインタフェースアダプタを介して１つ以上の外部ストレージからデータを受信し得る。１つ以上の外部ストレージは、１つ以上の第２のネットワークストレージ装置に対応し得る。揮発性メモリデバイスは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え得る。

【0008】

他の実装において、揮発性半導体メモリデバイスはデータを一時的に格納し、ソリッドステートディスクの１つにデータを転送し得る。

【0009】

ある実装において、ＣＰＵは、ネットワークインタフェースアダプタを介して１つ以上の外部ストレージの内の第１外部ストレージから、クエリに対する応答を受信し得る。クエリに対する応答は、第１外部ストレージがデータを格納するために利用可能であることを示し得る。ＣＰＵは、ネットワークインタフェースアダプタを介して第１外部ストレージに第２の書き込み要求を送信し得る。１つ以上の外部ストレージは、ストレージネットワーク内の多数のネットワークストレージ装置の内の１つ以上であり得る。

【0010】

１つの実装によれば、第２の書き込み要求は、ホストクライアントから第１外部ストレージへのデータの転送を開始するために第１外部ストレージを始動し得る。

【0011】

いくつかの実装において、ＣＰＵは、ネットワークインタフェースアダプタを介して１つ以上の外部ストレージから信号を受信し得る。信号は、データが１つ以上の外部ストレージに格納されたことを示し得る。

【0012】

他の実装において、ＣＰＵは、ネットワークインタフェースアダプタを介して第２のアクノレッジメントステータスをホストクライアントに送信し得る。第２のアクノレッジメントステータスは、データが１つ以上の外部ストレージに格納されたことを示し得る。

【0013】

いくつかの実装によれば、ネットワークインタフェースアダプタは、リモートダイレクトメモリアクセス（ＲＤＭＡ）プロトコルに従って機能する。ネットワークインタフェースアダプタは、ネットワーク通信ファブリックに接続され得る。１つの実装によれば、ネットワークインタフェースアダプタは、ＣＰＵから独立して不揮発性半導体メモリデバイスにアクセスする。

【0014】

いくつかの実装において、不揮発性半導体メモリデバイスは、ホストクライアントのための予約記憶領域を備え得る。不揮発性半導体メモリデバイスはさらに、ローカル記憶領域およびリモート記憶領域を備え得る。

【0015】

ある実装において、不揮発性半導体メモリデバイスは、予約記憶領域がデータを格納するために利用可能であるかどうかを判定し得る。予約記憶領域がデータを格納するために利用可能であるという決定に応じて、不揮発性半導体メモリデバイスは、予約記憶領域からデータを格納するための空間を割り当て得る。

【0016】

他の実装において、不揮発性半導体メモリデバイスは、予約記憶領域がデータを格納するために利用可能ではないという決定に応じて、ローカル記憶領域がデータを格納するために利用可能であるかどうかを判定し得る。ローカル記憶領域がデータを格納するために利用可能であるという決定に応じて、不揮発性半導体メモリデバイスは、ローカル記憶領域からデータを格納するための空間を割り当て得る。

【0017】

１つの実装によれば、不揮発性半導体メモリデバイスは、リモート記憶領域がデータを格納するために利用可能であるかどうかを判定し得る。リモート記憶領域がデータを格納するために利用可能であるという決定に応じて、不揮発性半導体メモリデバイスは、リモート記憶領域からデータを格納するための空間を割り当て得る。

【0018】

いくつかの実装において、データは、０．１μ秒より長く１μ秒より短い期間内に、ホストクライアントから対象のネットワークストレージ装置の不揮発性半導体メモリデバイスに転送される。

【0019】

本開示の第２の態様は、ホストクライアントからネットワークストレージ装置にデータを転送する方法に関する。方法は、ホストクライアントから、ネットワークインタフェースアダプタを介して対象のネットワークストレージ装置に第１の書き込み要求を送信することを含む。方法は、対象のネットワークストレージ装置から、ネットワークインタフェースアダプタを介して第２のネットワークストレージ装置に第２の書き込み要求を送信することも含む。方法はさらに、ホストクライアントから、ネットワークインタフェースアダプタを介して第２のネットワークストレージ装置の不揮発性半導体メモリデバイスに、第１の書き込み要求に関連付けられたデータを転送することを含む。さらに、方法は、ネットワークインタフェースアダプタを介して第２のネットワークストレージ装置から対象のネットワークストレージ装置に、データが第２のネットワークストレージ装置の不揮発性半導体メモリデバイスに格納されたことを示す信号を送信することを含む。方法は、ネットワークインタフェースアダプタを介して対象のネットワークストレージ装置からホストクライアントに、データが格納されたことを示すアクノレッジメントステータスを送信することも含む。さらに、方法は、ネットワークインタフェースアダプタを介して第２のネットワークストレージ装置の不揮発性半導体メモリデバイスから、対象のネットワークストレージ装置の揮発性半導体メモリデバイスにデータを転送することを含む。方法はさらに、対象のネットワークストレージ装置の揮発性半導体メモリデバイスから、対象のネットワークストレージ装置のソリッドステートディスクにデータを転送することを含む。

【0020】

いくつかの実装によれば、不揮発性半導体メモリデバイスは、抵抗変化型ランダムアクセスメモリ、磁気抵抗ランダムアクセスメモリ、ナノランダムアクセスメモリ、およびバッテリバック型ダイナミックランダムアクセスメモリの内の１つを備え得る。

【0021】

いくつかの実装において、揮発性メモリデバイスは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備え得る。

【0022】

他の実装において、ネットワークインタフェースアダプタは、リモートダイレクトメモリアクセス（ＲＤＭＡ）プロトコルに従って機能する。ネットワークインタフェースアダプタは、ネットワーク通信ファブリックに接続され得る。１つの実装によれば、ネットワークインタフェースアダプタは、ＣＰＵから独立して不揮発性半導体メモリデバイスにアクセスする。

【0023】

いくつかの実装によれば、不揮発性半導体メモリデバイスは、ホストクライアントのための予約記憶領域を備え得る。不揮発性半導体メモリデバイスはさらに、ローカル記憶領域およびリモート記憶領域を備え得る。

【0024】

ある実装において、方法はさらに、予約記憶領域がデータを格納するために利用可能であるかどうかを判定することと、予約記憶領域がデータを格納するために利用可能であるという決定に応じて、予約記憶領域からデータを格納するための空間を割り当てることとを備える。

【0025】

他の実装において、方法は、予約記憶領域がデータを格納するために利用可能ではないという決定に応じて、ローカル記憶領域がデータを格納するために利用可能であるかどうかを判定することと、ローカル記憶領域がデータを格納するために利用可能であるという決定に応じて、ローカル記憶領域からデータを格納するための空間を割り当てることとを備える。

【0026】

いくつかの実装によれば、方法はさらに、リモート記憶領域がデータを格納するために利用可能であるかどうかを判定することと、リモート記憶領域がデータを格納するために利用可能であるという決定に応じて、リモート記憶領域からデータを格納するための空間を割り当てることとを備える。

【0027】

ある実装において、方法はさらに、０．１μ秒より長く１μ秒より短い期間内に、ホストクライアントから対象のネットワークストレージ装置の不揮発性半導体メモリデバイスにデータを転送することを備える。

【0028】

ある実装において、第２のネットワークストレージ装置は、ストレージネットワーク内の多数のネットワークストレージ装置の内の１つであってもよい。

【図面の簡単な説明】

【0029】

上述のおよび他の目的および利点は、全体を通して同様の参照符号が同様の部分を指す添付図面とともに挙げられる、以下の詳細な説明の考察により明らかになる。

【0030】

【図1】図１は本開示の１つ以上の実施形態に従って構成された、不揮発性メモリを有するＮＶＭｅ（登録商標）ストレージ装置の概略図を示す。

【0031】

【図2】図２は本開示の実施形態に係る、不揮発性メモリに対する、ファブリックを介したＮＶＭｅ（登録商標）のライトコマンドに関する方法ステップのフロー図である。

【0032】

【図3】図３は本開示の１つ以上の実施形態に従って構成された、ＮＶＭｅ（登録商標）ストレージ装置および第２のＮＶＭｅ（登録商標）ストレージ装置の概略図を示す。

【0033】

【図4】図４は本開示の実施形態に係る、第２のＮＶＭｅ（登録商標）ストレージ装置に対する、ファブリックを介したＮＶＭｅ（登録商標）のライトコマンドに関する方法ステップのフロー図である。

【0034】

【図5】図５は本開示の１つ以上の実施形態に従って構成された、不揮発性メモリ層およびＮＶＭｅ（登録商標）層を有するＮＶＭｅ（登録商標）ストレージ装置の概略図を示す。

【0035】

【図6】図６は本開示の１つ以上の実施形態に従って構成された、ＮＶＭｅ（登録商標）ストレージ装置内の不揮発性半導体メモリデバイスの概略図を示す。

【0036】

【図7】図７は本開示の実施形態に係る、ファブリックを介したＮＶＭｅ（登録商標）のライトコマンドの間の、空間の割り当てに関する方法ステップのフロー図である。

【発明を実施するための形態】

【0037】

図１は、ファブリック１１２を介して通信するホストクライアント１０２およびストレージ装置１１４を備えるＮＶＭｅ（登録商標）システム１００の概略図を示す。ホストクライアント１０２は、アプリケーション１０４、ＣＰＵ（「中央処理ユニット」）１０６、およびＤＲＡＭ（「ダイナミックランダムアクセスメモリ」）１０８を備えるコンピューティングシステムである。ストレージ装置１１４は、ＣＰＵ１２６、不揮発性メモリ３０８、および複数のＮＶＭｅ（登録商標）ディスク１１６を備えるコンピューティングシステムである。ホストクライアント１０２とストレージ装置１１４とは、ＮＩＣの一種であるＲＤＭＡネットワークアダプタ１１０および１３０を用いてインタフェース接続する。ＤＲＡＭ１０８は、電力が加えられている間のみデータを保持する。ファブリック１１２は、相互接続スイッチと、電気ケーブル、光ファイバ、または無線リンクのようなネットワーク接続とを介して、複数のノードが互いにデータを受け渡すネットワークトポロジである。

【0038】

不揮発性メモリ３０８は、電力がオフにされたときに自身の情報を保持するランダムアクセスメモリである。不揮発性メモリ３０８はバッテリバック型ＤＲＡＭ、または多数の新興技術の１つであり得る。バッテリバック型ＤＲＡＭは、ＤＲＡＭ１０８と類似するが、ＤＲＡＭが電力を失わず、データを保持するように、バッテリによってサポートされる。新興の不揮発性メモリ技術の一例は、誘電性固体材料にわたる抵抗を変化させることによって機能する抵抗変化型ランダムアクセスメモリ（ＲＲＡＭまたはＲｅＲＡＭ）である。新興の不揮発性メモリ技術の別の例は、磁気素子を用いる磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）である。加えて、カーボンナノチューブ技術に基づくナノＲＡＭ（Ｎａｎｏ－ＲＡＭ）のような将来の技術も存在する。不揮発性メモリ３０８は、ＮＶＭｅ（登録商標）ディスク１１６内にあってもよい。

【0039】

ホストクライアント１０２がストレージ装置１１４内の特定のＮＶＭｅ（登録商標）ディスク１１６にデータを書き込むことを所望すると、ホストクライアントのＣＰＵ１０６はライトコマンドをカプセル化し、ＲＤＭＡインタフェース１１０を用いてストレージ装置１１４のＣＰＵ１２６にライトコマンドを送信する。ストレージ装置１１４が受信可能になったらすぐに、データがストレージ装置１１４に送信可能な状態になるように、アプリケーション１０４はホストクライアントのＤＲＡＭ１０８にデータを送る。

【0040】

ストレージ装置１１４がＲＤＭＡインタフェース１３０を用いてライトコマンドを受信した時点で、ストレージ装置１１４のＣＰＵ１２６は、カプセル化されたライトコマンドを解析し、カプセル化を解除し、データ情報を抽出する。そして、ストレージ装置１１４のＣＰＵ１２６は、ＲＤＭＡインタフェース１３０を用いてホストクライアント１０２のＤＲＡＭ１０８からストレージ装置１１４の不揮発性メモリ３０８へのデータのトランザクションを開始する。ＲＤＭＡ１３０のトランザクションの後、データはストレージ装置１１４の不揮発性メモリ３０８に存在する。

【0041】

ストレージ装置１１４の不揮発性メモリ３０８にデータが存在した時点で、不揮発性メモリ３０８は、データが不揮発性メモリ３０８に格納されたことを示すステータスをストレージ装置１１４のＣＰＵ１２６に送信する。そして、ストレージ装置１１４のＣＰＵ１２６、そのステータスをカプセル化し、ＲＤＭＡインタフェース１３０を用いてホストクライアント１０２のＣＰＵ１０６に送信する。ステータスは、指定されたＮＶＭｅ（登録商標）ディスク１１６にデータが格納された旨のアクノレッジメントとして役立つ。

【0042】

ストレージ装置１１４がホストクライアント１０２にアクノレッジメントを送信してから、バックグラウンド処理において、ストレージ装置１１４のＣＰＵ１２６は、ストレージ装置１１４の不揮発性メモリ３０８から、ライトコマンドによって指定されたＮＶＭｅ（登録商標）ディスク１１６へのデータの転送を開始する。

【0043】

ＮＶＭｅ（登録商標）システム１００を用いるライトコマンドの処理２００が、図２に示される。処理２００は、ステップ４０２において、カプセル化されたライトコマンドを送信することで開始する。例えば、ＮＶＭｅ（登録商標）システム１００において、ホストクライアント１０２がストレージ装置１１４内の特定のＮＶＭｅ（登録商標）ディスク１１６にデータを書き込むことを所望すると、ホストクライアントのＣＰＵ１０６は、ライトコマンドをカプセル化し、ＲＤＭＡインタフェース１１０を用いてストレージ装置１１４のＣＰＵ１２６にライトコマンドを送信する。ストレージ装置１１４が受信可能になったらすぐに、データがストレージ装置１１４に送信可能な状態になるように、アプリケーション１０４はホストクライアントのＤＲＡＭ１０８にデータを送る。

【0044】

処理２００は、ステップ４０４において、ホストクライアント１０２からストレージ装置１１４にデータを転送することで継続する。例えば、ＮＶＭｅ（登録商標）システム１００において、ストレージ装置１１４がＲＤＭＡインタフェース１３０を用いてライトコマンドを受信すると、ストレージ装置１１４のＣＰＵ１２６は、カプセル化されたライトコマンドを解析し、カプセル化を解除し、データ情報を抽出する。そして、ストレージ装置のＣＰＵ１２６は、ＲＤＭＡインタフェース１３０を用いて、ホストクライアント１０２のＤＲＡＭ１０８からストレージ装置１１４の不揮発性メモリ３０８へのデータのトランザクションを開始する。ＲＤＭＡ１３０のトランザクションの後、データはストレージ装置１１４の不揮発性メモリ３０８に存在する。

【0045】

処理２００は、ステップ４０６において、ストレージ装置１１４のＣＰＵ１２６からホストクライアント１０２にアクノレッジメントを送信することで継続する。例えば、ＮＶＭｅ（登録商標）システム１００において、データがストレージ装置１１４の不揮発性メモリ３０８に存在した時点で、不揮発性メモリ３０８は、データが不揮発性メモリ３０８に格納されたことを示すステータスをストレージ装置１１４のＣＰＵ１２６に送信する。そして、ストレージ装置１１４のＣＰＵ１２６は、そのステータスをカプセル化し、ＲＤＭＡインタフェース１３０を用いてホストクライアント１０２のＣＰＵ１０６に送信する。ステータスは、指定されたＮＶＭｅ（登録商標）ディスク１１６にデータが格納された旨のアクノレッジメントとして役立つ。

【0046】

処理２００は、ステップ４０８において、不揮発性メモリ３０８からＮＶＭｅ（登録商標）ディスク１１６の１つにデータを転送することで終了する。例えば、ＮＶＭｅ（登録商標）システム１００において、ストレージ装置１１４がホストクライアント１０２にアクノレッジメントを送信してから、バックグラウンド処理において、ストレージ装置１１４のＣＰＵ１２６は、ストレージ装置１１４の不揮発性メモリ３０８から、ライトコマンドによって指定されたＮＶＭｅ（登録商標）ディスク１１６へのデータの転送を開始する。

【0047】

従来技術のシステムにおいて、ストレージ装置１１４は、データをＮＶＭｅ（登録商標）ディスク１１６に転送する前に、ホストクライアント１０２から転送されたデータを格納するためにＤＲＡＭに頼る。ＤＲＡＭは電力が加えられている間だけデータを保持するので、従来技術のシステムは、データが格納された旨のアクノレッジメントをホストクライアント１０２に送信する前に、データがＮＶＭｅ（登録商標）ディスク１１６に転送されるまで待機する必要がある。ＲＤＭＡインタフェース１１０および１３０は高帯域幅および低レイテンシを有するので、従来技術のシステムにおける主な時間消費は、ディスクアクセスにある。

【0048】

処理２００は、レイテンシが、ホストクライアント１０２とストレージ装置１１４との間の転送レイテンシのみになることを可能にする。不揮発性メモリ３０８からＮＶＭｅ（登録商標）ディスク１１６へのデータの転送は、処理２００のレイテンシに影響を及ぼさない。しかし、バッテリバック型ＤＲＡＭのストレージ装置１１４の実装でも、不揮発性メモリ３０８は、ＮＶＭｅ（登録商標）ディスク１１６に比べて相対的に小さい。よって、データを受信することが意図されたストレージ装置１１４が不揮発性メモリ３０８からＮＶＭｅ（登録商標）ディスク１１６にデータを転送する間に、到来するデータを格納するために別のストレージ装置１１４を用いることが必要とされ得る。

【0049】

図３は、ファブリック１１２を介して通信する、ホストクライアント１０２と、対象のストレージ装置５１４と、第２のストレージ装置５２０とを備えるＮＶＭｅ（登録商標）システム３００の概略図を示す。ホストクライアント１０２は、アプリケーション１０４、ＣＰＵ１０６、およびＤＲＡＭ１０８を備えるコンピューティングシステムである。対象のストレージ装置５１４および第２のストレージ装置５２０は、ＣＰＵ１２６、不揮発性メモリ３０８、ＤＲＡＭ５１８、および複数のＮＶＭｅ（登録商標）ディスク１１６を備えるコンピューティングシステムである。ホストクライアント１０２、対象のストレージ装置５１４、および第２のストレージ装置５２０は、ネットワークインタフェースコントローラの一種であるＲＤＭＡ１１０および１３０を用いてインタフェース接続する。ＤＲＡＭ５１８は、ＤＲＡＭ１０８と同様である。

【0050】

ホストクライアント１０２が、対象のストレージ装置５１４内の特定のＮＶＭｅ（登録商標）ディスク１１６にデータを書き込むことを所望すると、ホストクライアントのＣＰＵ１０６は、ライトコマンドをカプセル化し、ＲＤＭＡインタフェース１１０を用いて対象のストレージ装置５１４のＣＰＵ１２６にライトコマンドを送信する。データが送信可能な状態になるように、アプリケーション１０４はホストクライアントのＤＲＡＭ１０８にデータを送る。

【0051】

対象のストレージ装置５１４がＲＤＭＡインタフェース１１０を用いてライトコマンドを受信した時点で、対象のストレージ装置５１４のＣＰＵ１２６は、カプセル化されたライトコマンドを解析し、カプセル化を解除し、データ情報を抽出する。対象のストレージ装置５１４の不揮発性メモリ３０８が、ホストクライアント１０２が転送を所望するデータのための空き空間を有していない場合、対象のストレージ装置のＣＰＵ１２６は、ＲＤＭＡインタフェース１１０を用いて、ライトコマンドを第２のストレージ装置５２０のＣＰＵ１２６へリダイレクトする。

【0052】

第２のストレージ装置５２０のＣＰＵ１２６は、対象のストレージ装置５１４のＣＰＵ１２６からリダイレクトされたライトコマンドを受信すると、コマンドを処理するためのリソースを有しているかどうかを判定する。第２のストレージ装置５２０が、ホストクライアント１０２からのデータを受信するためのリソースを有していない場合、対象のストレージ装置５１４のＣＰＵ１２６が、データを受信できる、別の通信可能に結合されたストレージ装置（図示せず）にコマンドを向けられるように、第２のストレージ装置５２０は対象のストレージ装置５１４のＣＰＵ１２６に通知することになる。

【0053】

第２のストレージ装置５２０が、データを受信するためのリソースを有している場合、第２のストレージ装置５２０のＣＰＵ１２６は、ＲＤＭＡインタフェース１３０を用いて、ホストクライアント１０２のＤＲＡＭ１０８から第２のストレージ装置５２０の不揮発性メモリ３０８へのデータのトランザクションを開始する。ＲＤＭＡ１３０のトランザクションの後、データは第２のストレージ装置５２０の不揮発性メモリ３０８に存在する。

【0054】

データが第２のストレージ装置５２０の不揮発性メモリ３０８に存在した時点で、不揮発性メモリ３０８は、データが第２のストレージ装置５２０の不揮発性メモリ３０８に格納されたことを示すステータスを、対象のストレージ装置５１４のＣＰＵ１２６に送信する。そして、対象のストレージ装置５１４のＣＰＵ１２６は、データが第２のストレージ装置５２０の不揮発性メモリ３０８に格納されたことを示すステータスをカプセル化して、ＲＤＭＡインタフェース１３０を用いてホストクライアント１０２のＣＰＵ１０６に送信する。ステータスは、データが第２のストレージ装置５２０の不揮発性メモリ３０８に格納された旨のアクノレッジメントとして役立つ。

【0055】

バックグラウンド処理において、第２のストレージ装置５２０のＣＰＵ１２６は、第２のストレージ装置５２０の不揮発性メモリ３０８から対象のストレージ装置５１４のＤＲＡＭ５１８へのデータの転送を開始する。データが対象のストレージ装置５１４のＤＲＡＭ５１８に格納された時点で、対象のストレージ装置５１４のＣＰＵ１２６は、対象のストレージ装置５１４のＤＲＡＭ５１８から、ライトコマンドによって指定された対象のストレージ装置のＮＶＭｅ（登録商標）ディスク１１６へのデータの転送を開始する。

【0056】

ＮＶＭｅ（登録商標）システム３００を用いるライトコマンドの処理４００が図４に示される。処理４００は、ステップ６０２において、カプセル化されたライトコマンドをホストクライアント１０２から対象のストレージ装置５１４に送信することで開始する。例えば、ＮＶＭｅ（登録商標）システム３００において、ホストクライアント１０２が、対象のストレージ装置５１４内の特定のＮＶＭｅ（登録商標）ディスク１１６にデータを書き込むことを所望するとき、ホストクライアントのＣＰＵ１０６はライトコマンドをカプセル化し、ＲＤＭＡインタフェース１１０を用いて対象のストレージ装置５１４のＣＰＵ１２６にライトコマンドを送信する。データが送信できる状態になるように、アプリケーション１０４はホストクライアントのＤＲＡＭ１０８にデータを送る。

【0057】

処理４００は、ステップ６０４において、対象のストレージ装置５１４から第２のストレージ装置５２０へ、カプセル化されたライトコマンドを有するクエリをブロードキャストすることで継続する。例えば、ＮＶＭｅ（登録商標）システム３００において、対象のストレージ装置５１４がＲＤＭＡインタフェース１３０を用いてライトコマンドを受信した時点で、対象のストレージ装置５１４のＣＰＵ１２６は、カプセル化されたライトコマンドを解析し、カプセル化を解除し、データ情報を抽出する。対象のストレージ装置５１４の不揮発性メモリ３０８が、ホストクライアント１０２が転送を所望するデータのための空き空間を有していない場合、対象のストレージ装置のＣＰＵ１２６は、ＲＤＭＡインタフェース１３０を用いて、ライトコマンドを第２のストレージ装置５２０のＣＰＵ１２６へリダイレクトする。

【0058】

処理４００は、ステップ６０６において、第２のストレージ装置５２０のリソースの利用の可能性を判定することで継続する。例えば、ＮＶＭｅ（登録商標）システム３００において、第２のストレージ装置５２０のＣＰＵ１２６は、対象のストレージ装置５１４のＣＰＵ１２６からリダイレクトされたライトコマンドを受信すると、そのコマンドを処理するためのリソースを有しているかどうかを判定する。第２のストレージ装置５２０が、ホストクライアント１０２からのデータを受信するためのリソースを有していない場合、対象のストレージ装置５１４のＣＰＵ１２６が、データを受信できる、別の通信可能に結合されたストレージ装置（図示せず）へコマンドを向けられるように、第２のストレージ装置５２０は対象のストレージ装置５１４のＣＰＵ１２６に通知することになる。

【0059】

処理４００は、ステップ６０８において、ホストクライアント１０２のＤＲＡＭ１０８から第２のストレージ装置５２０の不揮発性メモリ３０８にデータを送信することで継続する。例えば、ＮＶＭｅ（登録商標）システム３００において、第２のストレージ装置５２０がデータを受信するためのリソースを有している場合、第２のストレージ装置５２０のＣＰＵ１２６は、ＲＤＭＡインタフェース１３０を用いた、ホストクライアント１０２のＤＲＡＭ１０８から第２のストレージ装置５２０の不揮発性メモリ３０８へのデータのトランザクションを開始する。ＲＤＭＡ１３０のトランザクションの後、データは第２のストレージ装置５２０の不揮発性メモリ３０８に存在する。

【0060】

処理４００は、ステップ６１０において、対象のストレージ装置５１４のＣＰＵ１２６からホストクライアント１０２にアクノレッジメントを送信することで継続する。例えば、ＮＶＭｅ（登録商標）システム３００において、データが第２のストレージ装置５２０の不揮発性メモリ３０８に存在した時点で、不揮発性メモリ３０８は、データが第２のストレージ装置５２０の不揮発性メモリ３０８に格納されたことを示すステータスを、対象のストレージ装置５１４のＣＰＵ１２６に送信する。そして、対象のストレージ装置５１４のＣＰＵ１２６は、データが第２のストレージ装置５２０の不揮発性メモリ３０８に格納されたことを示すステータスをカプセル化し、ＲＤＭＡインタフェース１３０を用いてホストクライアント１０２のＣＰＵ１０６に送信する。ステータスは、データが第２のストレージ装置５２０の不揮発性メモリ３０８に格納された旨のアクノレッジメントとして役立つ。

【0061】

処理４００は、ステップ６１２において、第２のストレージ装置の不揮発性メモリ３０８から対象のストレージ装置５１４のＤＲＡＭ５１８にデータを転送することで継続する。例えば、ＮＶＭｅ（登録商標）システム３００では、バックグラウンド処理において、第２のストレージ装置５２０のＣＰＵ１２６が、第２のストレージ装置５２０の不揮発性メモリ３０８から対象のストレージ装置５１４のＤＲＡＭ５１８へのデータの転送を開始する。

【0062】

処理４００は、ステップ６１４において、対象のストレージ装置５１４のＤＲＡＭ５１８から、対象のストレージ装置５１４のＮＶＭｅ（登録商標）ディスク１１６の１つにデータを転送することで終了する。例えば、ＮＶＭｅ（登録商標）システム３００において、データが対象のストレージ装置５１４のＤＲＡＭ５１８に格納された時点で、対象のストレージ装置５１４のＣＰＵ１２６は、対象のストレージ装置５１４のＤＲＡＭ５１８から、ライトコマンドによって指定された対象のストレージ装置のＮＶＭｅ（登録商標）ディスク１１６へのデータの転送を開始する。

【0063】

図５は、ファブリック１１２を介して通信する、２つのホストクライアント１０２と、対象のストレージ装置５１４と、第２のストレージ装置５２０とを備えるＮＶＭｅ（登録商標）システム５００の概略図を示す。ホストクライアント１０２は、アプリケーション１０４、ＣＰＵ１０６、およびＤＲＡＭ１０８を備えるコンピューティングシステムである。対象のストレージ装置５１４および第２のストレージ装置５２０は、ＣＰＵ１２６、ＤＲＡＭ５１８、および複数のＮＶＭｅ（登録商標）ディスクを備えるコンピューティングシステムである。ホストクライアント１０２と、対象のストレージ装置５１４と、第２のストレージ装置５２０とは、ネットワークインタフェースコントローラの一種であるＲＤＭＡ１１０および１３０を用いてインタフェース接続する。ＮＶＭｅ（登録商標）システム５００は、不揮発性メモリ層７０８およびＮＶＭｅ（登録商標）層７１６を備える。不揮発性メモリ層７０８は、複数の不揮発性メモリデバイス３０８の集合である。ＮＶＭｅ（登録商標）層７１６は、複数のＮＶＭｅ（登録商標）ディスク１１６の集合である。ＮＶＭｅ（登録商標）システム５００は、３つ以上のホストクライアント１０２と、２つ以上の第２のストレージ装置５２０を備えていてもよい。

【0064】

ＮＶＭｅ（登録商標）システム５００は、大規模なストレージの配備においてＮＶＲＡＭの割り当てを可能にし、不揮発性メモリ層７０８を有効にする。ホストクライアント１０２が対象のストレージ装置５１４内の特定のＮＶＭｅ（登録商標）ディスク１１６にデータを書き込むことを所望すると、ホストクライアントのＣＰＵ１０６は、ライトコマンドをカプセル化し、ＲＤＭＡインタフェース１１０を用いて、対象のストレージ装置５１４のＣＰＵ１２６にライトコマンドを送信する。対象のストレージ装置５１４は、ホストクライアント１０２のＤＲＡＭ１０８からデータを転送するために不揮発性メモリ層７０８を利用し、さらに、不揮発性メモリ層７０８からＮＶＭｅ（登録商標）層７１６の特定のＮＶＭｅ（登録商標）ディスクにデータを転送する。

【0065】

例えば、対象のストレージ装置５１４が十分なローカルリソースを有している場合、対象のストレージ装置５１４は、不揮発性メモリ層７０８のローカル部分にデータを格納する。そして、対象のストレージ装置５１４は、アクノレッジメントステータスをホストクライアント１０２に送信する。対象のストレージ装置５１４が十分なローカルリソースを有していない場合、対象のストレージ装置５１４は、ネットワーク内の全ての第２のストレージ装置５２０へクエリをブロードキャストして、データを受信できる第２のストレージ装置５２０が存在するかを問い合わせる。利用可能なリソースを有する第２のストレージ装置５２０の１つは、自身がデータを受信可能であることを示す信号を対象のストレージ装置５１４に送信する。このプロセスは、処理４００によって説明したように継続する。

【0066】

不揮発性メモリ層７０８の貴重で有限なリソースを割り当てるために、適正かつユーザ定義のメカニズムが定義されるべきである。図６は、ＮＶＲＡＭデバイス８０２の概略図を示す。ＮＶＲＡＭ８０２は、不揮発性メモリ層７０８の貴重で有限なリソースを割り当てるためのユーザ定義のメカニズムの一例である。ＮＶＲＡＭ８０２は、管理者によって経験的に予約領域８０４、ローカル領域８１２、およびリモート領域８１４に分割された記憶空間を備える不揮発性半導体メモリデバイスである。ＮＶＲＡＭ８０２は、不揮発性メモリデバイス３０８の一例である。

【0067】

予約領域８０４は、各ホストクライアント１０２のために利用可能な、保証された記憶領域を定める。予約領域８０４は、複数の領域にさらに分割され、各領域が１つのホストクライアント１０２の専用である。ホスト１ ８０６は、第１のホストクライアント１０２専用の記憶領域である。ホスト２ ８０８は、第２のホストクライアント１０２専用の記憶領域である。ホストＮ ８１０は、Ｎ番目のホストクライアント１０２専用の記憶領域である。

【0068】

ローカル領域８１２は、ローカルＮＶＭｅ（登録商標）ディスク１１６への格納のためにＮＶＲＡＭ８０２に送信されるデータに割り当てられた記憶領域である。ローカル領域８１２は、特定のホストクライアント１０２に対応する予約領域８０４が一杯である場合の余剰空間として機能する。例えば、ホストクライアント１０２に対応するホスト１記憶領域８０６が一杯であり、ＮＶＲＡＭ８０２がホストクライアント１０２からデータを受信した場合、新たなデータはローカル領域８１２に格納され得る。

【0069】

リモート領域８１４は、遠隔のＮＶＭｅ（登録商標）ディスク１１６への格納のためにＮＶＲＡＭ８０２に送信されるデータに割り当てられた記憶領域である。リモート領域８１４は、対象のストレージ装置５１４の予約領域８０４が一杯であり、第２のストレージ装置５２０がデータを受信する必要がある場合の余剰空間として機能する。例えば、対象のストレージ装置５１４のＮＶＲＡＭ８０２が一杯である場合、第２のストレージ装置５２０のＮＶＲＡＭ８０２はデータを受信して、リモート記憶領域８１４に格納することができる。

【0070】

ＮＶＲＡＭデバイス８０２においてライトコマンドのために空間を割り当てる処理７００が、図７に示される。処理７００は、ステップ９０２において、ホストクライアント１０２から対象のストレージ装置５１４にカプセル化されたライトコマンドを送信することで開始する。例えば、ホストクライアントのＣＰＵ１０６は、ライトコマンドをカプセル化し、ＲＤＭＡインタフェース１１０を用いて、対象のストレージ装置５１４のＣＰＵ１０６にライトコマンドを送信する。

【0071】

処理７００は、ステップ９０４において、カプセル化されたライトコマンドのコマンド優先権を判定することで継続する。ホストクライアント１０２からのカプセル化されたライトコマンドは、ライトコマンドが、対象のストレージ装置５１４での格納を対象としているか、それとも第２のストレージ装置５２０での格納を対象としているかを指定するコマンド優先権を有していてもよい。コマンド優先権が、第２のストレージ装置５２０にデータを送信することである場合、処理７００はステップ９０６へ続く。コマンド優先権が、対象のストレージ装置５１４にデータを送信することである場合、処理７００はステップ９０８へ続く。

【0072】

ステップ９０６において、対象のストレージ装置５１４は、ライトコマンドを有するクエリを第２のストレージ装置５２０へブロードキャストする。例えば、対象のストレージ装置５１４のＣＰＵ１０６は、ＲＤＭＡインタフェース１１０を用いて、第２のストレージ装置５２０のＣＰＵ１０６にライトコマンドを送信する。対象のストレージ装置５１４のＣＰＵ１０６は、ＲＤＭＡインタフェース１１０を用いて第２のストレージ装置５２０へクエリをブロードキャストするためにＲＤＭＡインタフェース１１０を始動してもよい。ステップ９０６の後、処理７００は、上述したように、処理４００によって説明したように継続する。

【0073】

ステップ９０８において、処理７００は、ホストクライアント１０２専用の利用可能な予約領域８０４が存在するどうかを判定することで継続する。ホストクライアント１０２専用の利用可能な予約領域８０４が存在する場合、処理７００はステップ９１０へ続く。ホストクライアント１０２専用の利用可能な予約領域８０４が存在しない場合、処理７００はステップ９１２へ続く。

【0074】

ステップ９１０において、処理７００は、予約領域８０４からデータ格納のために空間を割り当てることで継続する。例えば、ホストクライアント１０２に対応するホスト１記憶領域８０６が利用可能である場合、ホスト１記憶領域８０６は、ホストクライアント１０２から到来するデータを格納するために用いられ得る。ステップ９１０の後、処理７００は、上述したように、処理２００によって説明したように継続する。

【0075】

ステップ９１２において、処理７００は、利用可能なローカル領域８１２が存在するかどうかを判定することで継続する。利用可能なローカル領域８１２が存在しない場合、処理７００はステップ９０６へ続く。利用可能なローカル領域８１２が存在する場合、処理７００はステップ９１４へ続く。

【0076】

ステップ９１４において、処理７００は、ホストクライアント１０２がローカル領域８１２内の割り当ての限界値に達したかどうかを判定することで継続する。ホストクライアント１０２がローカル領域８１２内の割り当ての限界値に達している場合、処理７００はステップ９０６へ続く。ホストクライアント１０２がローカル領域８１２内の割り当ての限界値に達していない場合、処理７００はステップ９１６へ続く。

【0077】

ステップ９１６において、処理７００は、ライトコマンドの優先度が閾値優先度よりも高いかどうかを判定する。ライトコマンドの優先度が閾値優先度よりも高くない場合、処理７００はステップ９０６へ続く。ライトコマンドの優先度が閾値優先度よりも高い場合、処理７００はステップ９１８へ続く。

【0078】

処理７００は、ステップ９１８において、ローカル領域８１２からデータ格納のために空間を割り当てることで終了する。例えば、ホストクライアント１０２に対応するホスト１記憶領域８０６が一杯であって、ＮＶＲＡＭ８０２がホストクライアント１０２からデータを受信した場合、新たなデータはローカル領域８１２に格納され得る。

【0079】

同様のプロセスが、第２のホストクライアント１０２からのコマンドを受信した場合に発生する。この状況においては、対象のストレージ装置５１４は、利用可能な空間に関してリモート領域８１４を確認する。利用可能な空間がリモート領域８１４に存在する場合、対象のストレージ装置５１４は、リモート領域８１４から、到来するコマンドのために空間を割り当てる。

【0080】

本発明の様々な態様の他の目的、利点、および実施形態は、本発明の分野の当業者に明らかであり、本明細書および添付図面の範囲内である。例えば、限定はされないが、構造的または機能的な要素が本発明と矛盾することなく再編成され得る。同様に、本発明に係る原理は他の例にも適用されてよく、それらは、ここに詳しく記載されない場合でも、本発明の範囲内であるものとする。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］複数のソリッドステートディスクと、
前記複数のソリッドステートディスクおよびホストクライアントに通信可能に結合されたネットワークインタフェースアダプタであって、
前記ホストクライアントからデータを取得し、
前記データを前記ホストクライアントから前記複数のソリッドステートディスクに転送する
ように構成されるネットワークインタフェースアダプタと、
前記複数のソリッドステートディスクおよび前記ネットワークインタフェースアダプタに通信可能に結合された不揮発性半導体メモリデバイスであって、
前記ネットワークインタフェースアダプタを介して前記ホストクライアントからデータを受信し、
前記データを一時的に格納し、
前記データを前記複数のソリッドステートディスクの１つに転送する
ように構成される不揮発性半導体メモリデバイスと、
前記不揮発性半導体メモリデバイスおよび前記ネットワークインタフェースアダプタに通信可能に結合されたＣＰＵであって、
前記ネットワークインタフェースアダプタを介して前記ホストクライアントから書き込み要求を受信し、
前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能であるかどうかを判定し、
前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能であるという決定に応じて、前記ネットワークインタフェースアダプタを介した前記ホストクライアントから前記不揮発性半導体メモリデバイスへの前記データの前記転送を行うために、前記ネットワークインタフェースアダプタを始動し、
前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能でないという決定に応じて、前記ネットワークインタフェースアダプタを介して１つ以上の外部ストレージへクエリをブロードキャストするために、前記ネットワークインタフェースアダプタを始動する
ように構成されるＣＰＵとを備えるネットワークストレージ装置。
［２］前記不揮発性半導体メモリデバイスは、
抵抗変化型ランダムアクセスメモリと、
磁気抵抗ランダムアクセスメモリと、
ナノランダムアクセスメモリと、
バッテリバック型ダイナミックランダムアクセスメモリとの内の１つを備える、［１］に記載のネットワークストレージ装置。
［３］前記複数のソリッドステートディスクおよび前記ネットワークインタフェースアダプタに通信可能に結合された揮発性メモリデバイスをさらに備え、前記揮発性メモリデバイスは、前記不揮発性半導体メモリデバイスが前記データを格納するために利用可能ではないという決定に応じて、前記ネットワークインタフェースアダプタを介して前記１つ以上の外部ストレージからデータを受信するように構成され、前記１つ以上の外部ストレージは、１つ以上の第２のネットワークストレージ装置に対応する、［１］に記載のネットワークストレージ装置。
［４］前記揮発性半導体メモリデバイスはさらに、前記複数のソリッドステートディスクの１つに前記データを転送するように構成される、［３］に記載のネットワークストレージ装置。
［５］前記ＣＰＵはさらに、前記ネットワークインタフェースアダプタを介して前記ホストクライアントにアクノレッジメントステータスを送信するように構成され、前記アクノレッジメントステータスは、前記データが前記不揮発性半導体メモリデバイスまたは前記１つ以上の外部ストレージに格納されたことを示す、［１］に記載のネットワークストレージ装置。
［６］前記ＣＰＵはさらに、
前記ネットワークインタフェースアダプタを介して、前記１つ以上の外部ストレージの内の第１外部ストレージから、前記第１外部ストレージが前記データを格納するために利用可能であることを示す前記クエリに対する応答を受信し、
前記ネットワークインタフェースアダプタを介して前記第１外部ストレージに第２の書き込み要求を送信するように構成される、［１］に記載のネットワークストレージ装置。
［７］前記１つ以上の外部ストレージは、複数の第２のネットワークストレージ装置の内の１つ以上である、［６］に記載のネットワークストレージ装置。
［８］前記第２の書き込み要求は、前記ホストクライアントから前記第１外部ストレージへの前記データの前記転送を開始するために、前記第１外部ストレージを始動する、［６］に記載のネットワークストレージ装置。
［９］前記ＣＰＵはさらに、前記ネットワークインタフェースアダプタを介して前記第１外部ストレージから信号を受信するように構成され、前記信号は、前記データが前記第１外部ストレージに格納されたことを示す、［８］に記載のネットワークストレージ装置。
［１０］前記ＣＰＵはさらに、前記ネットワークインタフェースアダプタを介して前記ホストクライアントに第２のアクノレッジメントステータスを送信するように構成され、前記第２のアクノレッジメントステータスは、前記データが前記第１外部ストレージに格納されたことを示す、［９］に記載のネットワークストレージ装置。
［１１］前記ネットワークインタフェースアダプタは、リモートダイレクトメモリアクセス（ＲＤＭＡ）プロトコルに従って機能する、［１］に記載のネットワークストレージ装置。
［１２］前記ネットワークインタフェースアダプタは、ネットワーク通信ファブリックに接続される、［１］に記載のネットワークストレージ装置。
［１３］前記不揮発性半導体メモリデバイスは、前記ホストクライアントのための予約記憶領域を備える、［１］に記載のネットワークストレージ装置。
［１４］前記不揮発性半導体メモリデバイスはさらに、ローカル記憶領域およびリモート記憶領域を備える、［１３］に記載のネットワークストレージ装置。
［１５］前記不揮発性半導体メモリデバイスはさらに、
前記予約記憶領域が前記データを格納するために利用可能であるかどうかを判定し、
前記予約記憶領域が前記データを格納するために利用可能であるという決定に応じて、前記予約記憶領域から前記データを格納するための空間を割り当てるように構成される、［１４］に記載のネットワークストレージ装置。
［１６］前記不揮発性半導体メモリデバイスはさらに、
前記予約記憶領域が前記データを格納するために利用可能ではないという決定に応じて、前記ローカル記憶領域が前記データを格納するために利用可能であるかどうかを判定し、
前記ローカル記憶領域が前記データを格納するために利用可能であるという決定に応じて、前記ローカル記憶領域から前記データを格納するための空間を割り当てるように構成される、［１５］に記載のネットワークストレージ装置。
［１７］前記不揮発性半導体メモリデバイスはさらに、
前記リモート記憶領域が前記データを格納するために利用可能であるかどうかを判定し、
前記リモート記憶領域が前記データを格納するために利用可能であるという決定に応じて、前記リモート記憶領域から前記データを格納するための空間を割り当てるように構成される、［１４］に記載のネットワークストレージ装置。
［１８］前記データは、０．１μ秒より長く１μ秒より短い期間内に、前記ホストクライアントから前記対象のネットワークストレージ装置の前記不揮発性半導体メモリデバイスに転送される、［１］に記載のネットワークストレージ装置。
［１９］前記ネットワークインタフェースアダプタは、前記ＣＰＵから独立して前記不揮発性半導体メモリデバイスにアクセスする、［１］に記載のネットワークストレージ装置。
［２０］ホストクライアントからネットワークストレージ装置にデータを転送する方法であって、
ホストクライアントから、ネットワークインタフェースアダプタを介して対象のネットワークストレージ装置へ第１の書き込み要求を送信することと、
前記対象のネットワークストレージ装置から、前記ネットワークインタフェースアダプタを介して第２のネットワークストレージ装置に第２の書き込み要求を送信することと、
前記ホストクライアントから、前記ネットワークインタフェースアダプタを介して前記第２のネットワークストレージ装置の不揮発性半導体メモリデバイスに、前記第１の書き込み要求に関連付けられたデータを転送することと、
前記第２のネットワークストレージ装置から、前記ネットワークインタフェースアダプタを介して前記対象のネットワークストレージ装置に、前記データが前記第２のネットワークストレージ装置の前記不揮発性メモリデバイスに格納されたことを示す信号を送信することと、
前記対象のネットワークストレージ装置から、前記ネットワークインタフェースアダプタを介して前記ホストクライアントに、前記データが格納されたことを示すアクノレッジメントステータスを送信することと、
前記第２のネットワークストレージ装置の前記不揮発性半導体メモリデバイスから、前記ネットワークインタフェースアダプタを介して前記対象のネットワークストレージ装置の揮発性半導体メモリデバイスに前記データを転送することと、
前記対象のネットワークストレージ装置の前記揮発性半導体メモリデバイスから、前記対象のネットワークストレージ装置のソリッドステートディスクに前記データを転送することとを含む方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】