(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6830411
(24)【登録日】2021年1月28日
(45)【発行日】2021年2月17日
(54)【発明の名称】多重モードで動作するストレージ装置及びそれを含むシステム
(51)【国際特許分類】
G06F 13/10 20060101AFI20210208BHJP
G06F 3/08 20060101ALI20210208BHJP
【FI】
G06F13/10 340A
G06F3/08 H
【請求項の数】25
【全頁数】17
(21)【出願番号】特願2017-115678(P2017-115678)
(22)【出願日】2017年6月13日
(65)【公開番号】特開2018-18514(P2018-18514A)
(43)【公開日】2018年2月1日
【審査請求日】2020年6月12日
(31)【優先権主張番号】62/366,622
(32)【優先日】2016年7月26日
(33)【優先権主張国】US
(31)【優先権主張番号】62/420,355
(32)【優先日】2016年11月10日
(33)【優先権主張国】US
(31)【優先権主張番号】15/403,088
(32)【優先日】2017年1月10日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
(74)【代理人】
【識別番号】110000051
【氏名又は名称】特許業務法人共生国際特許事務所
(72)【発明者】
【氏名】オラリグ, ソンポン ポール
(72)【発明者】
【氏名】ワーレイ, フレッド
(72)【発明者】
【氏名】ファム, サン
【審査官】
松平 英
(56)【参考文献】
【文献】
特開2010−146525(JP,A)
【文献】
特表2015−532985(JP,A)
【文献】
米国特許出願公開第2017/0168943(US,A1)
【文献】
米国特許出願公開第2017/0068628(US,A1)
【文献】
日経SYSTEMS,図説 業務システム テクノロジー選集,日経BP社,2013年 4月15日,第1版,p.20〜25,ISBN:978-4-8222-7701-7
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/00
3/06−3/08
3/18
13/00−13/14
(57)【特許請求の範囲】
【請求項1】
システムであって、
マザーボード、BMC(Baseboard Management Controller)、ネットワーク信号を伝送するネットワークスイッチ、及びPCIe信号を伝送するPCIeスイッチを含むファブリックスイッチと、
ミッドプレーンと、
複数の装置のポートと、を備え、
前記複数の装置のポートの各々は、前記ミッドプレーンを通じて前記ファブリックスイッチの前記マザーボードにストレージ装置を連結し、前記ミッドプレーンを通じて前記ネットワーク信号及び前記PCIe信号を搬送し、
前記ストレージ装置は、前記システムと前記ストレージ装置との間のファブリック連結を通じて設定されたプロトコルに基づいて多重モードに構成可能であり、
前記ストレージ装置は、NVMe(Non−Volatile Memory express)及びNVMeoF(NVMe over Fabrics)プロトコルの両方を支援し、
前記ストレージ装置は、前記ストレージ装置の装置別情報及びセンサー情報をPCIeレーンを通じて前記ミッドプレーンを経て前記BMCに提供し、
前記装置別情報は、前記ストレージ装置のヘルス状態の情報及びFRU(Field−Replaceable Unit:フィールド交換可能ユニット)情報の中の少なくとも1つを含むことを特徴とするシステム。
【請求項2】
前記ストレージ装置は、前記複数の装置のポートのいずれか1つに前記ストレージ装置を連結するU.2コネクターを有することを特徴とする請求項1に記載のシステム。
【請求項3】
前記ミッドプレーンは、HA(High Availability)モード及びnon−HAモードの両方を支援することを特徴とする請求項1に記載のシステム。
【請求項4】
前記ネットワーク信号は、前記U.2コネクターの未使用ピンを通じて搬送されることを特徴とする請求項2に記載のシステム。
【請求項5】
前記ネットワーク信号は、ディスカバリー(discovery)サービス又は前記ストレージ装置の新たなファームウェアに対するダウンロードサービスを提供することを特徴とする請求項4に記載のシステム。
【請求項6】
前記ストレージ装置は、HAモード又はnon−HAモードで動作することを特徴とする請求項1に記載のシステム。
【請求項7】
NVMeoF(Non−Volatile Memory express over Fabrics)装置であって、
PCIeモジュールと、
ネットワークエンジンと、
ミッドプレーンを通じてスイッチマザーボードに連結し、前記ミッドプレーンを通じてPCIe信号を搬送するコネクターと、を備え、
前記PCIeモジュールは、PCIeバスを通じて前記スイッチマザーボードに前記PCIe信号を伝送し、
前記ネットワークエンジンは、前記コネクターのSAS(Serial Attached SCSI)ピンを通じて前記スイッチマザーボードにネットワーク信号を伝送し、
前記NVMeoF装置は、前記NVMeoF装置の装置別情報及びセンサー情報をPCIeレーンを介して前記ミッドプレーンを経てBMC(Baseboard Management Controller)に提供し、前記装置別情報は、ヘルス状態の情報及びFRU(Field−Replaceable Unit)情報の中の少なくとも1つを含むことを特徴とするNVMeoF装置。
【請求項8】
前記コネクターは、U.2コネクターであることを特徴とする請求項7に記載のNVMeoF装置。
【請求項9】
前記ネットワーク信号は、ディスカバリーサービス又は前記NVMeoF装置の新たなファームウェアに対するダウンロードサービスを提供することを特徴とする請求項7に記載のNVMeoF装置。
【請求項10】
前記スイッチマザーボードは、第1イーサーネットポート及び第2イーサーネットポートを含む2つのスイッチマザーボードを含むことを特徴とする請求項7に記載のNVMeoF装置。
【請求項11】
前記SASピンのS2、S3、S5、及びS6は、前記第1イーサー
ネットポートに対して使用され、
前記SASピンのS9、S10、S12、及びS13は、前記第2イーサーネットポートに対して使用されることを特徴とする請求項10に記載のNVMeoF装置。
【請求項12】
前記NVMeoF装置は、HAモード又はnon−HAモードで動作することを特徴とする請求項7に記載のNVMeoF装置。
【請求項13】
システムであって、
BMC(Baseboard Management Controller)を含むスイッチと、
複数のNVMeoF(Non−Volatile Memory express over Fabrics)装置と、を備え、
前記複数のNVMeoF装置の各々は、コネクターを使用して前記スイッチに連結され、
前記コネクターは、PCIeバスを通じて前記スイッチにPCIe信号を伝送し、ネットワークバスを通じて前記スイッチにネットワーク信号を伝送し、
前記複数のNVMeoF装置の各々は、装置別情報及びセンサー情報を、前記BMCに提供し、
前記装置別情報は、ヘルス状態の情報及びFRU(Field−Replaceable Unit)情報の中の少なくとも1つを含むことを特徴とするシステム。
【請求項14】
前記コネクターは、U.2コネクターであることを特徴とする請求項13に記載のシステム。
【請求項15】
前記PCIe信号は、前記PCIeバスの2つのPCIeレーンを通じて伝送され、
前記ネットワーク信号は、前記PCIeバスの残りの2つのPCIeレーンを通じて伝送されることを特徴とする請求項13に記載のシステム。
【請求項16】
前記ネットワーク信号は、SAS(Serial Attached SCSI)ピンを通じて伝送されることを特徴とする請求項13に記載のシステム。
【請求項17】
前記ネットワーク信号は、ディスカバリーサービス又は前記複数のNVMeoF装置の各々の新しいファームウェアに対するダウンロードサービスを提供することを特徴とする請求項13に記載のシステム。
【請求項18】
前記複数のNVMeoF装置の各々は、HA(High Availability)モード又はnon−HAモードで動作することを特徴とする請求項13に記載のシステム。
【請求項19】
システムであって、
マザーボード、BMC(Baseboard Management Controller)、第1のタイプの信号を伝送する第1のスイッチ及び第2のタイプの信号を伝送する第2のスイッチを含むスイッチ装置と、
ミッドプレーンと、
複数の装置のポートと、を備え、
前記複数の装置の各々は、前記スイッチ装置のマザーボードにストレージ装置を連結し、前記ミッドプレーンを介して前記第1のタイプの信号及び前記第2のタイプの信号を伝送し、
前記ストレージ装置は、前記システムと前記ストレージ装置との間の連結を通じて設定されたプロトコルに基づいて、多重モードに構成可能であり、
前記ストレージ装置が支援する前記プロトコルは、第1のプロトコル及び前記第1のプロトコルとは異なる第2のプロトコルを含むことを特徴とするシステム。
【請求項20】
前記第1のスイッチは、ネットワークスイッチであり、
前記第2のスイッチは、PCIe(Peripheral Component Interconnect express)スイッチであり、
前記ストレージ装置は、前記ストレージ装置の装置別情報及びセンサー情報を前記PCIeスイッチのPCIeレーンを通じて前記ミッドプレーンを経て前記BMCに提供し、
前記装置別情報は、ヘルス状態の情報及びFRU(Field−Replaceable Unit)情報の中の少なくとも1つを含むことを特徴とする請求項19に記載のシステム。
【請求項21】
前記第1のプロトコルは、NVMe(Non−Volatile Memory express)プロトコルであり、
前記第2のプロトコルは、NVMeoF(Non−Volatile Memory express over Fabrics)プロトコルであることを特徴とする請求項19に記載のシステム。
【請求項22】
前記ミッドプレーンは、HA(High Availability)モード及びnon−HAモードの両方を支援することを特徴とする請求項19に記載のシステム。
【請求項23】
前記ストレージ装置は、HAモード又はnon−HAモードで動作することを特徴とする請求項22に記載のシステム。
【請求項24】
前記ストレージ装置は、前記複数の装置のポートのいずれか1つに前記ストレージ装置を連結するU.2コネクタを含むことを特徴とする請求項19に記載のシステム。
【請求項25】
前記第1のタイプの信号は、ディスカバリー(discovery)サービス又は前記ストレージ装置の新しいファームウェアに対するダウンロードサービスを提供することを特徴とする請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子システムに関し、より詳細には、多重モードで動作するストレージ装置及びそれを含むシステムに関する。
【背景技術】
【0002】
NVMe(Non−Volatile Memory express)及びNVMeoF(NVMe over Fabrics)(又は省略してNVMf)は新しく出現した技術である。NVMeは、PCIe(Peripheral Component Interconnect express)バスを通じて不揮発性メモリサブシステム(例えば、SSD(Solid−State Drive))と通信するためのホストソフトウェアに対するレジスターレベルのインターフェイスを定義する標準である。
【0003】
NVMeoFは、広範囲なストレージネットワーキングファブリック(fabrics)(例えば、イーサーネット(Ethernet(登録商標))、ファイバチャンネル(Fibre Channel)、InfiniBand、及び他のネットワークファブリック)を通じてNVMeブロックストレージプロトコルを支援する共通構造を定義する。NVMeoF基盤のシステムに対して、マザーボード上のx86基盤のCPUはイニシエータ(initiator)(例えば、ホストソフトウェア)とターゲット装置(例えば、NVMeoF装置)との間でデータを移動する必要がない。なぜならば、ターゲット装置が自らデータを移動させるためである。ファブリックという用語は、ネットワークノードが多様な相互連結プロトコル、ポート、及びスイッチを通じて互いにデータを通過させるネットワークトポロジーを称する。例えば、イーサーネット(登録商標)装着型SSDはファブリックに直接装着され、この場合、ファブリックはイーサーネット(登録商標)である。
【0004】
NVMeの物理的連結はPCIeバスに基づく。一般的なイーサーネット(登録商標)SSDはPCIeバス上のミッドプレーン(mid−plane)を通じてシステムとインターフェイスするU.2コネクターを含む。4レーン(lane)PCIeバス(PCIe x4)の場合、2つのイーサーネット(登録商標)ポートは、4レーンのPCIe信号の中の2つのレーンを使用し、PCIe x4信号の中の残りの2つのレーンは使用されずに残る。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第2015/0254088号明細書
【特許文献2】米国特許出願公開第2015/0370665号明細書
【特許文献3】米国特許出願公開第2015/0261434号明細書
【特許文献4】米国特許出願公開第2016/0085718号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、多重モードで動作するストレージ装置及びそれを含むシステムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためになされた本発明
によるシステムは、システムであって、マザーボード、BMC(Baseboard Management Controller)、ネットワーク信号を伝送するネットワークスイッチ、及びPCIe信号を伝送するPCIeスイッチを含むファブリックスイッチと、ミッドプレーンと、複数の装置
のポートと、を備え、前記複数の装置
のポートの各々は、前記ミッドプレーンを通じて前記ファブリックスイッチの前記マザーボードにストレージ装置を連結し、前記ミッドプレーンを通じて前記ネットワーク信号及び前記PCIe信号を搬送し、前記ストレージ装置は、前記システムと前記ストレージ装置との間のファブリック連結を通じて設定されたプロトコルに基づいて多重モードに構成可能であ
り、前記ストレージ装置は、NVMe(Non−Volatile Memory express)及びNVMeoF(NVMe over Fabrics)プロトコルの両方を支援し、前記ストレージ装置は、前記ストレージ装置の装置別情報及びセンサー情報をPCIeレーンを通じて前記ミッドプレーンを経て前記BMCに提供し、前記装置別情報は、前記ストレージ装置のヘルス状態の情報及びFRU(Field−Replaceable Unit:フィールド交換可能ユニット)情報の中の少なくとも1つを含むことを特徴とする。
【0008】
上記目的を達成するためになされた本発明によるNVMeoF装置は、NVMeoF(Non−Volatile Memory express over Fabrics)装置であって、PCIeモジュールと、ネットワークエンジンと、ミッドプレーンを通じてスイッチマザーボードに連結し、前記ミッドプレーンを通じてPCIe信号を搬送するコネクターと、を備え、前記PCIeモジュールは、PCIeバスを通じて前記スイッチ
マザーボードに前記PCIe信号を伝送し、前記ネットワークエンジンは、前記コネクターのSAS(Serial Attached SCSI)ピンを通じて前記スイッチマザーボードにネットワーク信号を伝送し、前記NVMeoF装置は、前記NVMeoF装置の装置別情報及びセンサー情報をPCIeレーンを介して前記ミッドプレーンを経てBMC(Baseboard Management Controller)に提供し、前記装置別情報は、ヘルス状態の情報及びFRU(Field−Replaceable Unit)情報の中の少なくとも1つを含むことを特徴とする。
【0009】
また、上記目的を達成するためになされた本発明
によるシステムは、システムであって、
BMC(Baseboard Management Controller)を含むスイッチと、複数のNVMeoF(Non−Volatile Memory express over Fabrics)装置と、を備え、前記複数のNVMeoF装置の各々は、コネクターを使用して前記スイッチに連結され、前記コネクターは、PCIeバスを通じて前記スイッチにPCIe信号を伝送し、ネットワークバスを通じて前記スイッチにネットワーク信号を伝送
し、
前記複数のNVMeoF装置の各々は、装置別情報及びセンサー情報を、前記BMCに提供し、前記装置別情報は、ヘルス状態の情報及びFRU(Field−Replaceable Unit)情報の中の少なくとも1つを含むことを特徴とする。
また、上記目的を達成するためになされた本発明によるシステムは、システムであって、マザーボード、BMC(Baseboard Management Controller)、第1のタイプの信号を伝送する第1のスイッチ及び第2のタイプの信号を伝送する第2のスイッチを含むスイッチ装置と、ミッドプレーンと、複数の装置のポートと、を備え、前記複数の装置の各々は、前記スイッチ装置のマザーボードにストレージ装置を連結し、前記ミッドプレーンを介して前記第1のタイプの信号及び前記第2のタイプの信号を伝送し、前記ストレージ装置は、前記システムと前記ストレージ装置との間の連結を通じて設定されたプロトコルに基づいて、多重モードに構成可能であり、前記ストレージ装置が支援する前記プロトコルは、第1のプロトコル及び前記第1のプロトコルとは異なる第2のプロトコルを含むことを特徴とする。
【発明の効果】
【0010】
本発明によれば、最小限のハードウェアの変更のみでHA(High Availability)モード又はnon−HAモードで動作する多様なタイプのNVMe及びNVMeoF装置を支援するプラットフォームを提供し、多重モードで動作するストレージ装置及びプラットフォームを提供するため、装置の開発及び配布費用を減少させることができ、装置の市場への導入時間を減少させることができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施形態によるNVMeoF装置を例示的に示すブロック図である。
【
図2】本発明の一実施形態によるスイッチマザーボードを例示的に示すブロック図である。
【
図3】本発明の他の実施形態によるNVMeoF装置を例示的に示すブロック図である。
【
図4】本発明の一実施形態によるHAモードで動作するNVMe装置として構成されたNVMeoF装置を例示的に示すブロック図である。
【
図5】本発明の一実施形態による2つのスイッチマザーボードを含むスイッチを例示的に示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【0013】
図面は必ずしも一定の比率で示したものではなく、また一般的に同様の構造や機能の要素は図面に亘って例示的な目的のために同様の参照符号で示す。図面は本明細書で記述する多様な実施形態の説明を容易にするためのものである。図面は本明細書に開示する教示の全ての様相を記述したものではなく、特許請求の範囲の権利範囲を制限しない。
【0014】
本明細書で開示する特徴及び教示の各々はマルチパス(multi−path)及び/又はマルチモード(multi−mode)のNVMeoF装置を支援するためのシステム及び方法を提供するための他の特徴及び教示と共に又は分離されて使用される。追加的な特徴及び教示が分離されるか、或いは結合されて利用される代表的な例は図面を参照して詳細に説明する。詳細な説明は単なる本教示の側面を実施するための技術分野で詳細な知識を有する者を教示するためのものであり、特許請求の範囲を制限しない。従って、詳細な説明の特徴の組合せは広い意味で教示を実施する必要がなくてもよく、代わりに本教示、特に代表的な実施形態を説明するために単に教示する。
【0015】
以下の説明で、説明の目的のみに特定名称を本発明の完全な理解を提供するために説明する。しかし、特定の細部事項は本発明の思想を実施するために必要でないことは当業者に理解される。
【0016】
詳細な説明の幾つかの部分はアルゴリズム及びコンピュータメモリ内のデータビットに対する動作のシンボル表現の側面で提供される。これらのアルゴリズムの説明及び表現は他の分野の当業者に作業の実体を効果的に伝達するために、データ処理分野の当業者によって使用される。アルゴリズムは一般的に所望する結果に至る段階に対する一貫性ある順序である。各段階は物理的量の物理的操作が必要なものである。一般的に必須的ではないが、このような量は格納、伝達、結合、比較、及び異なって操作される電気又は磁気信号の形態を取る。このような信号をビット、値、要素、シンボル、特徴、用語、数等として指称することが主に共通的な使用の理由でしばしば便利である。
【0017】
しかし、これら及び類似な用語の全ては適切な物理量と関連し、単なるこのような量に適用される便利なラベルであることに留意しなければならない。具体的には以下の説明から明確であるように、説明で、このような“処理”、“コンピューティング”、“計算”、“決定”、“表示”等のような用語を使用する論議はコンピュータシステム又はコンピュータレジスター及びメモリ内で物理的(電気的)量として現れるデータをコンピュータシステムメモリ又はレジスター又は他の情報ストレージ、伝送又は表示装置内で物理的量として現れる類似な他のデータに操作及び変形する類似な電子コンピューティング装置の活動及び過程を示すものとして理解される。
【0018】
本明細書で説明するアルゴリズムは本質的に任意の特定コンピュータ又は他の装置に関連するものではない。多様な一般的な目的のシステム、コンピュータサーバー、又は個人用コンピュータは本明細書の教示に従うプログラムと共に使用されるか、或いは要求された方法の各段階を遂行するためのより特殊化された装置を構成することが便利である。このような多様なシステムのために要求される構造を以下の説明で示す。多様なプログラミング言語が本明細書で記載したように発明の教示を具現するために使用される。
【0019】
また、代表的な例に対する多様な特徴及び従属項は、本発明の教示に対する有用な追加的な実施形態を提供するために明示的ではなく、そして列挙されない方式で結合されることもある。また、全ての値の範囲又は独立体のグループの暗示は全ての可能な中間値又は当該発明を制限する目的のみならず、本来の開示目的のための中間独立体を開示することが言及される。また、明示的な基準及び図面に示した構成要素の形状は、本明細書で実施する方式を理解できるように設計されるが、寸法及び実施形態に示した形状に限定されない。
【0020】
本明細書は多様なタイプのファブリック装着型SSD(eSSD)、NVMe、及びNVMeoFプロトコルの全てを支援するシステムを記述する。一部の実施形態で、eSSDはNVMeoFプロトコルを支援するSSDを称する。NVMeoF標準を支援するように構成される場合、本発明のシステムはイーサーネット(Ethernet(登録商標))のみならず、ファイバチャンネル(Fibre Channel)、InfiniBand、及び他のネットワークファブリックを含む多様なファブリックを支援する。説明の簡易化のために、以下の実施形態及び例示はイーサーネット(登録商標)(以下、本明細書では「LAN」で表記する)付着型NVMeoF装置を示す。但し、本発明の範囲を逸脱せずに、他の何らかのタイプのNVMeoF装置も利用される。
【0021】
本発明のシステムはNVMe及びNVMeoF装置の両方と互換されるシングル(single)及びデュアル(dual)パシング(pathing)システムの両方を支援する単一プラットフォーム(platform)及び共通ビルディング(building)ブロックを提供する。一実施形態によると、シングルパシング及びデュアルパシングのNVMe及びNVMeoF装置を支援する共通ビルディングブロックは、ミッドプレーン(mid−plane)、シャーシ(chassis)、ファン組立品(fan assembly)を含む。本発明のシステムは類似な装置及び/又はシャーシを追加的に加えて線形的にスケール(scale)される。また、本発明のシステムは、フル幅(full−width)及びハーフ幅(half−width)のスイッチボード、及びx86マザーボードを含む他のビルディングブロックを含む。但し、本発明はこれに制限されない。
【0022】
ここで開示するファブリック装着型SSD(eSSD)はNVMe及びNVMeoF標準と互換される多重システム内で使用される単一共通装置である。このような意味で、ファブリック装着型SSDはまたマルチモードNVMeoF装置と称される。本発明のシステムは、最小限のハードウェアの変更だけでnon−HA(non−High Availability)モード(例えば、シングルパスI/O(Input/Output))又はHAモード(例えば、マルチパスI/O)で多様なタイプのNVMe及びNVMeoF装置を支援するプラットフォームを提供する。
【0023】
一実施形態によると、マルチモードNVMeoF装置は、既知の場所から製品情報を感知してNVMe及びNVMeoFの中の1つを支援する。例えば、シャーシ内に格納された自己構成(self−configuration)のために使用される製品情報はVPD(Vital Product Data)である。マルチモードNVMeoF装置は、駆動時にシャーシからVPDを取り出し、VPDに基づいてNVMeoF装置を自体が構成する。但し、多重モードNVMeoF装置は、本明細書の範囲を逸脱せずに多様な方法で構成される。例えば、多重モードNVMeoF装置はマルチモードNVMeoF装置が連結されたスイッチのBMCによって発行されたPCIeバスを通じた制御コマンドによって構成される。
【0024】
一実施形態によると、マルチモードNVMeoF装置は、シングルポートNVMeモード、デュアルポートNVMeモード、シングルポートNVMeoFモード、及びデュアルポートNVMeoFモード内で構成される。表1は多重モードNVMeoF装置の構成に従うU.2コネクターの使用例を示す。NVMe装置として構成される場合、マルチモードNVMeoF装置はシングルポートNVMeモード及びデュアルポートNVMeモードの中の1つで構成される。シングルポートNVMeモードで、U.2コネクターの0〜3のPCIeレーン(Lane)はPCIe信号を搬送するために使用される。デュアルポートNVMeモードで、PCIeレーンは2×2レーンに分けられる。0及び1のPCIeレーンは第1ポートのために使用される。2及び3のPCIeレーンは第2ポートのために使用される。NVMeoF装置として構成される場合、マルチモードNVMeoF装置はシングルポートNVMeoFモード及びデュアルポートNVMeoFモードの中の1つで構成される。シングルポートNVMeoFモードで、PCIeレーンは2×2に分けられる。しかし、この場合、0及び1のPCIeレーンのみがPCIe信号を搬送するために使用され、2及び3のPCIeレーンは使用されない。SASポート0の第1対(pair)はLANポート0(第1ポート)のために使用され、SASポート1は使用されない。デュアルポートNVMeoFモードで、PCIeレーンは2×2に分けられ、0及び1のPCIeレーンは第1LANポートのためのコントロールプレーン(control plane)として使用され、2及び3のPCIeレーンは第2LANポートのためのコントロールプレーンとして使用される。SASポート0の第1対はLANポート0(第1ポート)のために使用され、SASポート1はLANポート1(第2ポート)のために使用される。
【0025】
≪U.2コネクターの使用例≫
【表1】
【0026】
製品情報がシャーシに格納されると、U.2コネクター上のPCIeバスの(シングルポートモードで)2つのレーン又は(デュアルポートモードで)4つのレーンはPCIeエンジンによって駆動される。この場合、マルチモードNVMeoF装置はLANエンジンを非活性化し、NVMeプロトコル及び機能は支援されるか又は活性化される。製品情報がNVMeoFシャーシに格納されると、LANポートはマルチモードNVMeoF装置の設計に基づいて2及び3のPCIeレーン又はSAS(Serial Attached SCSI)ピンを使用する。
【0027】
本発明のマルチモードNVMeoF装置は2つの区分されたモード(NVMeモードとNVMeoFモード)で動作する。NVMeモードで、マルチモードNVMeoF装置はNVMe装置として作動する。U.2コネクターのPCIeピンはPCIe x4モジュール111に連結される。PCIeバスはデータ及びコントロール(信号)によって共有される。
【0028】
一実施形態として、NVMeoFモードで、マルチモードNVMeoF装置はシングルパスモード又はデュアルパスモードに構成される。シングルパスモードで、1つのPCIe x2はコントロールプレーンに対して使用されて1つのマザーボードに連結される。デュアルパスモードで、2つのPCIe x2はコントロールプレーンに対して使用されて2つのマザーボードに連結される。
【0029】
他の実施形態として、NVMeoF装置はNVMeoFモードでLANポートに対するSASピンを使用する。non−HA NVMeoFモードで、PCIeバスの2つのレーンはコントロールプレーンを通じて標準仕様(feature)として使用される。デュアル−ポートHAモードで、PCIeバスの4つのレーンは2つのx2レーンに分けられ、各々ポートA及びポートBに対して使用される。既存のPCIeソフトウェア及びドライバーはマルチモードNVMeoF装置に対して変更されずに使用される。
【0030】
マルチモードNVMeoF装置がNVMe及びNVMeoFモードの両方で動作することから、同一の装置がNVMeモード及びNVMeoFモードで使用されるため、装置の開発及び配置の費用を減少させることができる。同様の理由で、マルチモードNVMeoF装置は市場への導入時間を短縮させることができる。マルチモードNVMeoF装置は多様な製品及びシャーシで使用される。PCIeバスの2つのレーンはコントロールプレーンを通じて標準仕様のために予約される。追加的な費用無しに、CPU、BMC(Baseboard Management Controller)、及び他の装置は、シャーシ内のNVMeoF装置の各々と通信するためのコントロールプレーンとしてPCIeバスの2つのレーンを使用することができる。NVMeミッドプレーンは、変形されずに使用され、追加的な新しいピンによるNVMeoF装置上の新しいコネクターを必要としない。
【0031】
図1は、本発明の一実施形態によるNVMeoF装置を例示的に示すブロック図である。NVMeoF装置101は、PCIe x4モジュール111(例えば、PCIe x4 Gen3モジュール)を含み、LAN NIC(Network Interface Card)112、TCP/IPオフロード(offload)エンジン113、RDMAコントローラ115、NVMeoF(NVMf)プロトコルスタック116を含む多様なハードウェア、及びプロトコルスタック(stack)を含む。但し、本発明はこれに制限されない。NVMeoF装置101は、動作モードに基づいてミッドプレーン161を通じてスイッチマザーボード(図示せず)に連結される2つのPCIe x2バス(151、152)及び2つのLANポート(153、154)を支援する。2つのPCIe x2バス(151、152)及び2つのLANポート(153、154)はNVMeoF装置101のU.2コネクター121に連結される。
【0032】
一実施形態によると、NVMeoF装置101はNVMe装置として構成される。NVMeモードで、モードセレクター(mode selector)160はPCIe信号を搬送するために(シングルポートモードで)PCIeバスの4つのレーンの全てを使用するか又は(デュアルポートモードで)4つのレーンの中の2つのレーンのみを使用するようにNVMeoF装置101を構成する。PCIe x4バスはミッドプレーンに連結され、PCIeバスはデータ及びコントロール信号の間で共有される。
【0033】
他の実施形態によると、NVMeoF装置101はNVMeoF装置として構成される。NVMeoFモードで、モードセレクター160はPCIe信号を搬送するためにPCIe x2バス151の2つのレーンを使用するようにNVMeoF装置101を構成する。更に、NVMeoF装置101は2つのLANポート(153、154)を通じてLAN信号を搬送するようにPCIeバスの残りの2つのレーンを構成する。NVMeoFモードで、2つのPCIe x2レーンはPCIe x4モジュール111に直接搬送され、残りの2つのPCIe x2レーンを通じた信号はLANポート(153、154)を経て搬送されてNVMeoF装置101のLAN NIC112に搬送されるようにバッファ122内にバッファリング(buffer)される。NVMeoF装置101の動作モードは外部で設定されるか又は自体により構成される。例えば、NVMeoF装置101は、物理ピン(例えば、スイッチマザーボードのシャーシに存在するピン)を使用するか、或いはスイッチマザーボードのBMC(例えば、
図2のBMC203)からのインバンド(in−band)コマンドによって自分の動作モードを自体が構成する。ここで、LANを通じて検索される管理情報を“インバンド”情報と称し、PCIeバスを通じて検索される管理情報を“アウトオブバンド(out−of−band)”情報と称する。
【0034】
NVMeoF装置101は、U.2コネクターを通じて未使用のPCIe x2バス(151、152)を使用し、PCIeポートを通じて多様な信号をプッシュ(push)して多様なサービスを遂行する。プッシュされる信号の例としては、NVMeoF装置101の状態情報、FRU(Field−ReplaceableUnit)情報、及びセンサー情報を含む。但し、本発明はこれに制限されない。PCIeポートを通じてプッシュされるサービスの例としては、スイッチボードに局部的なCPU又はBMCへのディスカバリー(discovery)サービスとファームウェアアップグレードを遂行する新たなNVMeoF装置ファームウェアに対するダウンロードサービスとを含む。但し、本発明はこれに制限されない。
【0035】
NVMeoF装置101は、スイッチマザーボードとNVMeoF装置101との間に形成されたコントロールプレーンを通じてPCIe x2バス151を経て、一部の装置識別情報をスイッチマザーボードのBMCに直接プッシュする。コントロールプレーンを通じて搬送される装置識別情報の例としては、NVMeoF装置101のディスカバリー情報及びFRU情報を含む。但し、本発明はこれに制限されない。これはNVMeoF装置101の状態を調査するためのBMCの負担を減少させる。装置識別情報は、新たな装置コマンドを使用して、NVMeoF装置101とBMCとの間で通信される。NVMeoF装置101は、PCIe x2バス(151、152)の中の2つのPCIeレーンと共に、HA(High Availability)マルチパスI/Oを支援する。
【0036】
図2は、本発明の一実施形態によるスイッチマザーボードを例示的に示すブロック図である。スイッチマザーボード201はアップリンク(uplink)LANポート211、ダウンリンクLANポート212、ローカルCPU202、BMC203、LANスイッチ204、及びPCIeスイッチ205を含む。多数のeSSDはスイッチマザーボード201に連結される。本実施形態によると、eSSDは動作モードに従ってNVMe装置又はNVMeoF装置として動作するように構成されるNVMeoF装置である。eSSDの各々は、
図1に示したU.2コネクターを通じてスイッチマザーボード201に連結され、所定の高速対応のコネクター、例えばモレックス(Molex)社製のコネクターを通じてスイッチマザーボード201に連結されるように構成される。高速対応のコネクターは、PCIe x2バス213、ダウンリンクLANポート212、及び他の非高速(non−high speed)の制御信号(例えば、SMBus、リセット、クロック等)の全てを総括的に取り扱う。スイッチマザーボード201は、eSSDの各々に多様な信号をプッシュし、ミッドプレーン261を通じてPCIe x2バス213及び/又はダウンリンクLANポート212を経てeSSDの各々で多様なサービスを遂行する。例えば、スイッチマザーボード201は、ダウンリンクLANポート212を通じてeSSDの各々から、eSSDの状態情報、FRU情報、センサー情報を含む装置識別情報を受信する。また、スイッチマザーボード201はLANポート212を通じて多様なサービスを遂行する。多様なサービスはBMC又はローカルホストCPUへのディスカバリーサービスとファームウェアアップグレードを遂行するための新しいeSSDファームウェアに対するダウンロードサービスとを含む。但し、本発明はこれに制限されない。
【0037】
図3は、本発明の他の実施形態によるNVMeoF装置を例示的に示すブロック図である。NVMeoF装置301はPCIe x4モジュール311(例えば、PCIe x4 Gen3モジュール)と多様なハードウェア及びプロトコルスタックを含む。多様なハードウェア及びプロトコルスタックは、LAN NIC312、TCP/IPオフロードエンジン313、RDMAコントローラ315、及びNVMeoFプロトコルスタック316を含む。但し、本発明はこれに制限されない。NVMeoF装置301はミッドプレーン361を通じてスイッチマザーボード(図示せず)に連結される2つのPCIe x2バス(351、352)及び2つのLANポート(353、354)を支援する。2つのPCIe x2バス(351、352)及び2つのLANポート(353、354)はNVMeoF装置301のU.2コネクター321に連結される。
【0038】
本実施形態によると、NVMeoF装置301は、
図1に示したPCIe x2バス(151、152)のPCIeレーンを使用する代わりに、LAN信号のためにU.2コネクター321の未使用のSASピンを使用する。NVMeoF装置301がLANポート(353、354)に対するSASピンを使用するため、NVMeoF装置301は、帯域幅の問題に悩まされずに、マルチパスI/O及び複数のプロトコルを支援することができる。
【0039】
図4は、本発明の一実施形態によるHAモードで動作するNVMe装置として構成されたNVMeoF装置を例示的に示すブロック図である。
図4の実施形態で、NVMeoF装置401はNVMe装置として構成されてマルチパスI/Oを支援する。2つのハーフ幅(half−width)のスイッチは1つの2Uシャーシ内に含まれる2つのスイッチコントローラ(460A、460B)を含む。NVMeoF装置401はミッドプレーン461を通じてスイッチコントローラ(460A、460B)の両方に連結される。スイッチコントローラ460AはPCIeバスの2つのレーン及びLANポートA453を支援し、スイッチコントローラ460BはPCIeバスの残りの2つのレーン及びLANポートB454を支援する。NVMeoF装置401は2つのレーンのPCIe x2バス451及びLANポートA453を通じてスイッチコントローラ460Aに連結される。また、NVMeoF装置401は2つのレーンのPCIeバス452及びLANポートB454を通じてスイッチコントローラ460Bに連結される。
【0040】
図5は、本発明の一実施形態による2つのスイッチマザーボードを含むスイッチを例示的に示すブロック図である。スイッチ500は(HAモードで)デュアルポート構成内のマルチI/Oを支援する2つのスイッチマザーボード(501A、501B)を含む。スイッチマザーボード501AはLANスイッチ504A及びPCIeスイッチ505Aを含み、スイッチマザーボード501BはLANスイッチ504B及びPCIeスイッチ505Bを含む。また、スイッチマザーボード(501A、501B)の各々は他の構成要素及びモジュールを含む。例えば、他の構成要素及びモジュールは、
図2に示したスイッチマザーボード201の例で示したようにローカルCPU、BMC、アップリンクLANポート、ダウンリンクLANポート等を含む。
【0041】
幾つかのeSSDはスイッチの装置ポート内に装着(plugin)される。例えば、eSSDの各々はU.2コネクターを使用してスイッチに連結される。eSSDの各々はスイッチマザーボード(501A、501B)の両方に連結される。本実施形態で、スイッチ500に装着されたeSSDはNVMeoF装置として構成される。NVMeoF装置はPCIeバス及びLANポートを通じてミッドプレーン561を経てスイッチ500との連結を要求する。
【0042】
一実施形態によると、スイッチ500とeSSDとの間のLAN信号は、スイッチマザーボード501Aへの1次LANポート553に対するSASピンS2、S3、S5、S6を使用する。また、LAN信号は、スイッチマザーボード501Bへの2次LANポート554に対するS9、S10、S12、S13を使用する。各U.2コネクターのE25ピンはデュアルポート構成が可能になるように使用される。PCIe信号は各々のスイッチマザーボード(501A、501B)と各々のeSSDとの間でPCIeバス(551、552)を通じて搬送される。eSSDは、物理ピン(例えば、スイッチのシャーシに存在するピン)を使用するか、或いはスイッチマザーボードのBMCからのインバンド(in−band)コマンドによって自体の動作モードを自体が構成する。
【0043】
一実施形態によると、スイッチ500は10GLANを支援し、ミッドプレーン561はHAモード及びnon−HAモードの両方を支援する共通ミッドプレーンである。システム構成に従って、信号無欠性(signal integrity)は共通ミッドプレーン561が2つの構成の両方を支援することを保証するためにテストされる必要がある。信号無欠性が十分ではない場合、システムはHAモードに対する第1ミッドプレーン及びnon−HAモードに対する第2ミッドプレーンを含む2つのミッドプレーンを有する。
【0044】
本発明の一実施形態によると、多重モードで動作するストレージ装置を含むシステムは、マザーボード、BMC(Baseboard Management Controller)、ネットワーク信号を伝送するネットワークスイッチ、及びPCIe信号を伝送するPCIeスイッチを含むファブリックスイッチと、ミッドプレーンと、複数の装置ポートと、を備え、複数の装置ポートの各々は、ミッドプレーンを通じてファブリックスイッチのマザーボードにストレージ装置を連結し、ミッドプレーンを通じてネットワーク信号及びPCIe信号を搬送し、ストレージ装置は、システムとストレージ装置との間のファブリック連結を通じて設定されたプロトコルに基づいて多重モードに構成可能(configurable)である。
【0045】
ストレージ装置は、複数の装置ポートの中の1つにストレージ装置を連結するU.2コネクターを有する。
ストレージ装置は、NVMe及びNVMeoFプロトコルの両方を支援する。
ミッドプレーンは、HAモード及びnon−HAモードの両方支援する。
ネットワーク信号は、U.2コネクターの未使用ピンを通じて搬送される。
ネットワーク信号は、ディスカバリー(discovery)サービス又はストレージ装置の新たなファームウェアに対するダウンロードサービスを提供する。
ネットワーク信号は、ストレージ装置のヘルス状態情報、FRU(Field−Replaceable Unit)情報、及びセンサー情報の中の1つ以上を含む装置識別情報を含み、装置識別情報は、PCIeレーンを介してミッドプレーンを通じてBMCに伝送される。
ストレージ装置は、HAモード又はnon−HAモードで動作する。
【0046】
本発明の一実施形態によると、NVMeoF装置は、PCIeモジュールと、ネットワークエンジンと、ミッドプレーンを通じてスイッチに連結し、ミッドプレーンを通じてPCIe信号を搬送するコネクターと、を備え、PCIeモジュールは、PCIeバスを通じてスイッチにPCIe信号を伝送し、ネットワークエンジンは、コネクターのSAS(Serial Attached SCSI)ピンを通じてスイッチにネットワーク信号を伝送する。
【0047】
コネクターは、U.2コネクターである。
ネットワーク信号は、NVMeoF装置のヘルス状態情報、FRU情報、及びセンサー情報の中の1つ以上を含む装置識別情報を含む。
装置識別情報は、ミッドプレーンを通じてスイッチのBMCに伝送される。
ネットワーク信号は、ディスカバリーサービス又はNVMeoF装置の新たなファームウェアに対するダウンロードサービスを提供する。
スイッチは、第1LANポート及び第2LANポートを含む2つのスイッチマザーボードを含む。
SASピンのS2、S3、S5、及びS6は、第1LANポートに対して使用され、SASピンのS9、S10、S12、及びS13は、第2LANポートに対して使用される。
NVMeoF装置は、HAモード又はnon−HAモードで動作する。
【0048】
本発明の他の実施形態によると、多重モードで動作するストレージ装置を含むシステムは、スイッチと、複数のNVMeoF装置と、を備え、複数のNVMeoF装置の各々は、コネクターを使用してスイッチに連結され、コネクターは、PCIeバスを通じてスイッチにPCIe信号を伝送し、ネットワークバスを通じてスイッチにネットワーク信号を伝送する。
【0049】
コネクターは、U.2コネクターである。
PCIe信号は、PCIeバスの2つのPCIeレーンを通じて伝送され、ネットワーク信号は、PCIeバスの残りの2つのPCIeレーンを通じて伝送される。
ネットワーク信号は、SASピンを通じて伝送される。
ネットワーク信号は、複数のNVMeoF装置の各々のヘルス状態情報、FRU情報、及びセンサー情報の中の1つ以上を含む装置識別情報を含む。
ネットワーク信号は、ディスカバリーサービス又は複数のNVMeoF装置の各々の新たなファームウェアに対するダウンロードサービスを提供する。
複数のNVMeoF装置の各々は、HAモード又はnon−HAモードで動作する。
【0050】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0051】
101、301、401 NVMeoF(NVMf)装置
111、311 PCIe x4モジュール
112、312 LAN NIC
113、313 TCP/IPオフロードエンジン
115、315 RDMAコントローラ
116、316 NVMeoF(NVMf)プロトコルスタック
121、321、421 U.2コネクター
122 バッファ
151、152、213、351、352、451、452 PCIe x2バス
153、353 LANポート1
154、354 LANポート2
160 モードセレクター
161、261、361、461、561 ミッドプレーン
201、501A、501B スイッチマザーボード
202 ローカルCPU
203 BMC
204、504A LANスイッチ
205、504B PCIeスイッチ
211 アップリンクLANポート
212 ダウンリンクLANポート
460A、406B スイッチコントローラ
453 LANポートA
454 LANポートB
500 スイッチ
551、552 PCIeバス
553、554 LANポート