特許 7522204 計算ノードと計算ノードのアレイの中のストレージサーバとの間でのＰＣＩエクスプレスファブリックによる高速ストレージアクセスを提供するネットワークアーキテクチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】計算ノードと計算ノードのアレイの中のストレージサーバとの間でのＰＣＩエクスプレスファブリックによる高速ストレージアクセスを提供するネットワークアーキテクチャ

(51)【国際特許分類】

   G06F 13/28 20060101AFI20240717BHJP

【ＦＩ】

G06F13/28 310A

【請求項の数】 19

(21)【出願番号】P 2022549015

(86)(22)【出願日】2021-02-13

(65)【公表番号】

(43)【公表日】2023-06-12

(86)【国際出願番号】 US2021018061

(87)【国際公開番号】W WO2021163646

(87)【国際公開日】2021-08-19

【審査請求日】2023-02-21

(31)【優先権主張番号】62/977,138

(32)【優先日】2020-02-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100099324

【弁理士】

【氏名又は名称】鈴木 正剛

(72)【発明者】

【氏名】ルーロフ ロダリック コーレンブランデル

【審査官】北村 学

(56)【参考文献】

【文献】国際公開第２０１９／１１２７１０（ＷＯ，Ａ１）

【文献】特開２００８－１５２７８６（ＪＰ，Ａ）

【文献】特開２００６－２７７０３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９１１３３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１０２５１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １３／２８

(57)【特許請求の範囲】

【請求項1】

ネットワークアーキテクチャであって、
複数の計算スレッドを含むストリーミングアレイを有し、各計算スレッドは１つまたは複数の計算ノードを有し、
前記ストリーミングアレイのネットワークストレージを有し、
前記ストリーミングアレイの複数の計算ノードから前記ネットワークストレージへの直接的なアクセスを提供するように構成された前記ストリーミングアレイのＰＣＩｅファブリックを有し、前記ＰＣＩｅファブリックは、１つまたは複数のＰＣＩｅスイッチを有し、各ＰＣＩｅスイッチは対応する計算スレッドの対応する計算ノードに通信可能に結合されて前記ネットワークストレージに通信可能に結合され、
前記ネットワークストレージは、前記ストリーミングアレイの前記複数の計算ノードによって共有され、
イーサネットファブリックと、
前記イーサネットファブリックを介して前記複数の計算ノードからクラスタスイッチへの通信を提供するように構成されたネットワークスイッチと、をさらに有し、
前記イーサネットファブリックは、前記ネットワークスイッチを前記ネットワークストレージ及び前記複数の計算ノードに通信可能に結合する、ネットワークアーキテクチャ。

【請求項2】

前記１つまたは複数のＰＣＩｅスイッチのそれぞれは、前記複数の計算スレッド及び対応する計算ノードのためのデータ及び管理情報をストリーミングするために、対応する計算スレッドの対応する計算ノードからの通信を提供する、請求項１に記載のネットワークアーキテクチャ。

【請求項3】

前記クラスタスイッチは、別のストリーミングアレイの別のネットワークスイッチに通信可能に結合され、
前記クラスタスイッチは、通信ネットワークに通信可能に結合されて、前記ネットワークアーキテクチャの外部にあるネットワーク通信を提供し、
前記クラスタスイッチは、複数のゲームアプリケーションを格納するように構成された分散ストレージに通信可能に結合される、請求項１に記載のネットワークアーキテクチャ。

【請求項4】

１つまたは複数のストリーミングアレイを有し、各ストリーミングアレイは独立して動作可能であり、かつ、対応するネットワークストレージ、対応するＰＣＩｅファブリック、対応するイーサネットファブリック、及び対応するネットワークスイッチを含むラックアセンブリをさらに有する、請求項１に記載のネットワークアーキテクチャ。

【請求項5】

前記ネットワークストレージは、
少なくとも１つのランダムアクセスメモリ（ＲＡＭ）ドライブと、
少なくとも１つの不揮発性メモリエクスプレス（ＮＶＭｅ）ドライブと、を有する、請求項１に記載のネットワークアーキテクチャ。

【請求項6】

各計算ノードは、複数のゲームアプリケーションの１つまたは複数のインスタンスを実行するように構成される、請求項１に記載のネットワークアーキテクチャ。

【請求項7】

ネットワークアーキテクチャであって、
複数の計算スレッドを含むストリーミングアレイを有し、各計算スレッドは１つまたは複数の計算ノードを有し、
前記ストリーミングアレイのネットワークストレージを有し、
前記ストリーミングアレイの複数の計算ノードから前記ネットワークストレージへの直接的なアクセスを提供するように構成された前記ストリーミングアレイのＰＣＩｅファブリックを有し、前記ＰＣＩｅファブリックは、１つまたは複数のＰＣＩｅスイッチを有し、各ＰＣＩｅスイッチは対応する計算スレッドの対応する計算ノードに通信可能に結合されて前記ネットワークストレージに通信可能に結合され、
前記ネットワークストレージは、前記ストリーミングアレイの前記複数の計算ノードによって共有され、
前記複数の計算スレッドのそれぞれが、
対応する計算ノード及び対応するＰＣＩｅスイッチに通信可能に結合されたスレッドレベルのＰＣＩｅスイッチを含み、
前記スレッドレベルのＰＣＩｅスイッチは、前記対応するＰＣＩｅスイッチを介して、前記ＰＣＩｅファブリックにより、前記対応する計算ノードと前記ネットワークストレージとの間の通信を提供するように構成される、ネットワークアーキテクチャ。

【請求項8】

前記複数の計算スレッドのそれぞれが、
対応するスレッドの１つまたは複数のコンポーネントを制御するように構成されたボード管理コントローラ（ＢＭＣ）を含む、請求項１に記載のネットワークアーキテクチャ。

【請求項9】

ネットワークアーキテクチャであって、
複数の計算スレッドを含むストリーミングアレイを有し、各計算スレッドは１つまたは複数の計算ノードを有し、
前記ストリーミングアレイのネットワークストレージを有し、
前記ストリーミングアレイの複数の計算ノードから前記ネットワークストレージへの直接的なアクセスを提供するように構成された前記ストリーミングアレイのＰＣＩｅファブリックを有し、前記ＰＣＩｅファブリックは、１つまたは複数のＰＣＩｅスイッチを有し、各ＰＣＩｅスイッチは対応する計算スレッドの対応する計算ノードに通信可能に結合されて前記ネットワークストレージに通信可能に結合され、
前記ネットワークストレージは、前記ストリーミングアレイの前記複数の計算ノードによって共有され、
前記ネットワークストレージは、ゲームアプリケーションの読み取り専用ゲームコンテンツを格納し、前記複数の計算スレッドの１つまたは複数の計算ノードで前記ゲームアプリケーションを実行する計算インスタンス間で、前記読み取り専用ゲームコンテンツを共有できるようにする、ネットワークアーキテクチャ。

【請求項10】

ネットワークアーキテクチャであって、
クラスタスイッチを有し、
複数のストリーミングアレイを有し、対応するストリーミングアレイが、
複数の計算スレッドを有し、各計算スレッドは１つまたは複数の計算ノードを含み、
ネットワークストレージを有し、
前記対応するストリーミングアレイの複数の計算ノードから前記ネットワークストレージへの直接的なアクセスを提供するように構成されたＰＣＩｅファブリックを有し、前記ＰＣＩｅファブリックは、少なくとも１つのＰＣＩｅスイッチを有し、各ＰＣＩｅスイッチは、対応する計算スレッドの対応する計算ノードに通信可能に結合されて前記ネットワークストレージに通信可能に結合され、前記ネットワークストレージは、前記対応するストリーミングアレイの前記複数の計算ノードによって共有され、
前記複数のストリーミングアレイの計算ノードに結合された複数のネットワークスイッチを有し、各ネットワークスイッチは、前記対応するストリーミングアレイの計算ノードから前記クラスタスイッチへの通信を提供するように構成される、ネットワークアーキテクチャ。

【請求項11】

対応するストリーミングアレイの前記１つまたは複数のＰＣＩｅスイッチのそれぞれは、前記対応する計算スレッド及び対応する計算ノードのためのデータ及び管理情報をストリーミングするために、対応する計算スレッドの対応する計算ノードからの通信を提供する、請求項１０に記載のネットワークアーキテクチャ。

【請求項12】

前記各ストリーミングアレイは、
イーサネットファブリックと、
前記イーサネットファブリックを介して前記複数の計算ノードからクラスタスイッチへの通信を提供するように構成されたネットワークスイッチと、を有し、
前記イーサネットファブリックは、前記ネットワークスイッチを前記ネットワークストレージ及び前記複数の計算ノードに通信可能に結合し、
前記クラスタスイッチは、別のストリーミングアレイの別のネットワークスイッチに通信可能に結合される、請求項１０に記載のネットワークアーキテクチャ。

【請求項13】

１つまたは複数のストリーミングアレイを有し、各ストリーミングアレイは独立して動作可能であり、かつ対応するネットワークストレージ、対応するＰＣＩｅファブリック、対応するイーサネットファブリック、及び対応するネットワークスイッチを含むラックアセンブリをさらに含む、請求項１２に記載のネットワークアーキテクチャ。

【請求項14】

前記クラスタスイッチは、通信ネットワークに通信可能に結合されて、前記ネットワークアーキテクチャの外部にあるネットワーク通信を提供し、
前記クラスタスイッチは、複数のゲームアプリケーションを格納するように構成された分散ストレージに通信可能に結合される、請求項１２に記載のネットワークアーキテクチャ。

【請求項15】

前記ネットワークストレージは、
少なくとも１つのランダムアクセスメモリ（ＲＡＭ）ドライブと、
少なくとも１つの不揮発性メモリエクスプレス（ＮＶＭｅ）ドライブと、を有する、請求項１０に記載のネットワークアーキテクチャ。

【請求項16】

各計算ノードは、複数のゲームアプリケーションの１つまたは複数のインスタンスを実行するように構成される、請求項１０に記載のネットワークアーキテクチャ。

【請求項17】

対応するストリーミングアレイの前記複数の計算スレッドのそれぞれが、
対応する計算ノード及び対応するＰＣＩｅスイッチに通信可能に結合されたスレッドレベルのＰＣＩｅスイッチを有し、
前記スレッドレベルのＰＣＩｅスイッチは、前記対応するＰＣＩｅスイッチを介して、前記ＰＣＩｅファブリックにより、前記対応する計算ノードと前記ネットワークストレージとの間の通信を提供するように構成される、請求項１０に記載のネットワークアーキテクチャ。

【請求項18】

対応するストリーミングアレイの前記複数の計算スレッドのそれぞれが、
対応するスレッドの１つまたは複数のコンポーネントを制御するように構成されたボード管理コントローラ（ＢＭＣ）を有する、請求項１０に記載のネットワークアーキテクチャ。

【請求項19】

対応するストリーミングアレイの前記ネットワークストレージは、前記対応するストリーミングアレイの前記複数の計算スレッドの１つまたは複数の計算ノードでゲームアプリケーションを実行する計算インスタンス間で、前記ゲームアプリケーションの読み取り専用ゲームコンテンツを共有できるように、前記読み取り専用ゲームコンテンツを格納する、請求項１０に記載のネットワークアーキテクチャ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ネットワークストレージに関し、より具体的には、ＰＣＩ－エクスプレスを使用するラックアセンブリのストリーミングアレイの計算スレッドに位置付けられた計算ノードへの高速ネットワークストレージアクセスに関する。

【背景技術】

【0002】

近年、クラウドゲームサーバとネットワークを介して接続されたクライアントとの間でストリーミング形式のオンラインまたはクラウドゲームを可能にするオンラインサービスが継続的に推進されている。ストリーミング形式は、オンデマンドのゲームタイトルの利用可能性、より複雑なゲームが実行できる、マルチプレイヤーゲームのためプレイヤー間でネットワークが築ける、プレイヤー間の資産が共有できる、プレイヤー及び／または観客間のインスタントエクスペリエンスの共有できる、友人がフレンドプレイビデオゲームを見ることが可能、友人がプレイ中のゲームに別の友人を参加させることができる等の理由によって、いっそう人気が高まっている。

【0003】

残念ながら、需要は、ネットワーク接続の機能の限界にまで押し上げられてもいる。例えば、前世代のストリーミングネットワークアーキテクチャは、ギガビットイーサネット通信接続（例えば、毎秒４０ギガビットのイーサネット接続）を使用してネットワークストレージを提供していた。しかし、新世代のストリーミングネットワークアーキテクチャでは、より優れた（より高速な）帯域幅パフォーマンス（ギガバイトの接続など）が必要である。

【0004】

本開示の実施形態は、このような背景の下になされたものである。

【発明の概要】

【0005】

本開示の実施形態は、計算ノードごとの毎秒４ギガバイト（ＧＢ／ｓ）を超えるネットワークストレージ帯域幅（アクセスなど）速度を提供できる、ラックアセンブリ内などのネットワークストレージへの高速アクセスを提供することに関する。

【0006】

本開示の実施形態は、ネットワークアーキテクチャを開示する。ネットワークアーキテクチャは、複数の計算スレッドを含むストリーミングアレイを含み、各計算スレッドは１つまたは複数の計算ノードを含む。ネットワークアーキテクチャは、ストリーミングアレイのネットワークストレージを含む。ネットワークアーキテクチャは、ストリーミングアレイの複数の計算ノードからネットワークストレージへの直接的なアクセスを提供するように構成されたストリーミングアレイのＰＣＩｅファブリックを含む。ＰＣＩｅファブリックは、１つまたは複数のアレイレベルのＰＣＩｅスイッチを含み、各アレイレベルのＰＣＩｅスイッチは、対応する計算スレッドの対応する計算ノードに通信可能に結合され、ネットワークストレージに通信可能に結合される。ネットワークストレージは、ストリーミングアレイの複数の計算ノードによって共有される。

【0007】

本開示の実施形態は、ネットワークアーキテクチャを開示する。ネットワークアーキテクチャは、クラスタスイッチと複数のストリーミングアレイを含む。対応するストリーミングアレイは複数の計算スレッドを含み、各計算スレッドは１つまたは複数の計算ノードを含む。対応するストリーミングアレイには、ネットワークストレージが含まれる。対応するストリーミングアレイには、対応するストリーミングアレイの複数の計算ノードからネットワークストレージへの直接的なアクセスを提供するように構成されたＰＣＩｅファブリックが含まれる。ＰＣＩｅファブリックは、少なくとも１つのアレイレベルのＰＣＩｅスイッチを含み、各アレイレベルのＰＣＩｅスイッチは、対応する計算スレッドの対応する計算ノードに通信可能に結合され、ネットワークストレージに通信可能に結合される。ネットワークストレージは、対応するストリーミングアレイの複数の計算ノードによって共有される。ネットワークアーキテクチャは、複数のストリーミングアレイの計算ノードに結合された複数のネットワークスイッチを含み、各ネットワークスイッチは、対応するストリーミングアレイの計算ノードからクラスタスイッチへの通信を提供するように構成される。

【0008】

本開示の実施形態は、ネットワークアーキテクチャを開示する。ネットワークアーキテクチャには、ネットワークストレージが含まれる。ネットワークアーキテクチャは複数のストリーミングアレイを含み、各ストリーミングアレイは複数の計算スレッドを含み、各計算スレッドは１つまたは複数の計算ノードを含む。ネットワークアーキテクチャは、複数のストリーミングアレイのそれぞれの計算ノードからネットワークストレージへの直接的なアクセスを提供するように構成されたＰＣＩエクスプレス（ＰＣＩｅ）ファブリックを含む。ＰＣＩｅファブリックは、複数のアレイレベルのＰＣＩｅスイッチを含み、各アレイレベルのＰＣＩｅスイッチ は、対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、ストレージサーバに通信可能に結合される。ネットワークストレージは、複数のストリーミングアレイによって共有される。

【0009】

本開示の実施形態は、ネットワークアーキテクチャを開示する。ネットワークアーキテクチャには、ネットワークストレージが含まれる。ネットワークアーキテクチャは、複数の計算スレッドを含み、各ストリーミングアレイは複数の計算スレッドを含み、各計算スレッドは１つまたは複数の計算ノードを含む。ネットワークアーキテクチャは、複数のストリーミングアレイのそれぞれの計算ノードからネットワークストレージへの直接アクセスを提供するように構成されたＰＣＩエクスプレス（ＰＣＩｅ）ファブリックを含む。ＰＣＩｅファブリックは、複数のアレイレベルのＰＣＩｅスイッチを含み、各アレイレベルのＰＣＩｅスイッチは、対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、ストレージサーバに通信可能に結合される。ネットワークアーキテクチャは、計算スレッド及び計算ノード管理情報をストリーミングするために、複数のストリーミングアレイの計算スレッドの計算ノードをネットワークストレージに通信可能に結合するように構成されたイーサネットファブリックを含む。ネットワークストレージは、複数のストリーミングアレイによって共有される。

【0010】

本開示の他の態様は、本開示の原理を例として示す、添付図面を併用して以下の詳細な説明から明らかになるであろう。

【0011】

本開示は、添付図面と併せて、以下の詳細な説明を参照することにより、最も良く理解することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施形態による、１つまたは複数のデータセンターに位置付けられた１つまたは複数の計算ノード間でネットワークを介してゲームを提供するためのゲームクラウドシステムの図である。

【図2A】本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンターにおける複数の計算ノードを含む複数のラックアセンブリの図である。

【図2B】本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンターに複数の計算ノードを含む複数のラックアセンブリの図であり、各ネットワークストレージは計算ノードの対応するアレイによってアクセス可能である。

【図2C】本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンターにおけるラックアセンブリのクラスタの図である。

【図3A】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの図であり、ネットワークストレージは、計算ノードの１つまたは複数のアレイによってアクセス可能である。

【図3B】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられた複数の計算ノードを含むストリーミングアレイの図である。

【図4A】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの図であり、それにおいて各ネットワークストレージは、計算ノードの対応するアレイによってアクセス可能である。

【図4B】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中のＰＣＩｅネットワークを示し、それにおいて各ネットワークストレージは、計算ノードの対応するアレイによってアクセス可能である。

【図4C】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられた複数の計算ノードを含むストリーミングアレイの図であり、各ネットワークストレージは計算ノードの対応するアレイによってアクセス可能である。

【図5A】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられた複数の計算ノードを含む計算スレッドの図であり、ネットワークストレージは計算ノードの１つまたは複数のアレイによってアクセス可能である。

【図5B】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に位置付けられた複数の計算ノードを含む計算スレッドの図であり、各計算ノードは、ネットワークへのアクセス用に構成されるネットワークインターフェースカード（ＮＩＣ）を含む。

【図5C】本開示の一実施形態による、ネットワークにアクセスするために１つ以上の計算ノードによりアクセス可能な少なくとも１つのネットワークインターフェースカード（ＮＩＣ）を含むＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に位置付けられた複数の計算ノードを含む計算スレッドの図であり、各ネットワークストレージが、計算ノードの対応するアレイによってアクセス可能である。

【図6】本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられたスレッドレベルＰＣＩｅスイッチの図である。

【図7A】本開示の一実施形態による、複数の計算ノードとアレイのネットワークストレージとの間のデータフローの図であり、メモリアクセスは、ネットワークストレージのストレージドライブのダイレクトメモリアクセス（ＤＭＡ）エンジンによって駆動される。

【図7B】本開示の一実施形態による、複数の計算ノードとアレイのネットワークストレージとの間のデータフローの図であり、メモリアクセスは、ネットワークストレージのストレージドライブとは別個のＤＭＡエンジンによって駆動される。

【図8】本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスのコンポーネントを示す。

【発明を実施するための形態】

【0013】

以下の詳細な説明は、例示の目的で多くの特定の詳細を含むが、当業者であれば、以下の詳細に対する多くの変形及び変更が本開示の範囲内にあることを理解するであろう。したがって、以下で説明される本開示の態様は、この説明に続く特許請求の範囲への一般性を失うことなく、また限定を課すことなく示される。

【0014】

一般的に言えば、本開示の実施形態は、不揮発性メモリエクスプレス（ＮＶＭｅ：Non-Volatile Memory express）レイテンシでの計算ノード（ラックアセンブリなど）ごとの毎秒４ギガバイト（ＧＢ／ｓ）のネットワークストレージ帯域幅（アクセスなど）を超える提供ができる、ラックアセンブリ内などのネットワークストレージへの高速なアクセスを提供する。

【0015】

上記の様々な実施形態の全般的な理解により、これより様々な図面を参照して実施形態の例の詳細を説明する。

【0016】

本明細書全体を通して、「アプリケーション」または「ゲーム」または「ビデオゲーム」または「ゲームアプリケーション」または「ゲームタイトル」に対する言及は、入力コマンドの実行を通して指示されるいずれかのタイプのインタラクティブアプリケーションを表現することを意味する。例示のみを目的として、インタラクティブアプリケーションは、ゲーミング、文書処理、ビデオ処理、ビデオゲーム処理などのためのアプリケーションを含む。さらに、上で導入されている用語は、相互に交換可能である。

【0017】

図１は、本開示の一実施形態による、１つまたは複数のデータセンターに位置付けられた１つまたは複数の計算ノード間でネットワーク１５０を介してゲームを提供するためのシステム１００の図である。本開示の一実施形態によれば、システムは、１つまたは複数のクラウドゲームサーバ間のネットワークを介してゲームを提供するように構成され、より具体的には、計算ノードから、ラックアセンブリ内などのネットワークストレージに高速アクセスするように構成される。クラウドゲームでは、サーバでビデオゲームを実行して、ゲームでレンダリングされたビデオフレームを生成し、次いでそれをクライアントに送信して表示する。

【0018】

クラウドゲームは、様々な実施形態（例えば、クラウドゲーム環境またはスタンドアロンシステム内）で、物理マシン（例えば、中央処理装置－－ＣＰＵ－－及びグラフィックス処理装置－－ＧＰＵ）、または仮想マシン、または両方の組み合わせを使用して実行できるということも理解される。例えば、仮想マシン（例えば、インスタンス）は、複数のＣＰＵ、メモリモジュール、ＧＰＵ、ネットワークインターフェース、通信コンポーネントなどのハードウェア層の１つまたは複数のコンポーネントを利用するホストハードウェア（例えば、データセンターに位置付けられている）のハイパーバイザーを使用して作成することができる。
これらの物理リソースは、ＣＰＵのラック、ＧＰＵのラック、メモリのラックなどのラックに配置でき、それにおいてラック内の物理リソースには、インスタンスに使用されるコンポーネントの組み立てとアクセスのためのファブリックを促進するトップオブラックスイッチを使用してアクセスできる（インスタンスの仮想化されたコンポーネントを構築するときなど）。通常、ハイパーバイザーは、仮想リソースで構成された複数のインスタンスの複数のゲストオペレーティングシステムを提示できる。すなわち、オペレーティングシステムのそれぞれは、１つまたは複数のハードウェアリソース（例えば、対応するデータセンターに位置付けられている）によってサポートされる仮想化されたリソースの対応するセットで構成され得る。
例えば、各オペレーティングシステムは、仮想ＣＰＵ、複数の仮想ＧＰＵ、仮想メモリ、仮想化された通信コンポーネントなどでサポートされる場合がある。さらに、レイテンシを短縮するようにあるデータセンターから別のデータセンターに転送される場合があるインスタンスの構成。ユーザまたはゲームに対して定義された即時使用は、ユーザのゲームセッションを保存するときに使用できる。即時使用は、ゲームセッション用のビデオフレームの高速レンダリングを最適化するために、本明細書で説明する任意の数の構成を含むことができる。一実施形態では、ゲームまたはユーザに対して定義された即時使用は、構成可能な設定としてデータセンター間で転送することができる。即時使用設定を転送できることにより、ユーザが異なる地理的な位置からゲームをプレイするために接続する場合に、データセンターからデータセンターへのゲームプレイの効率的な移行が可能になる。

【0019】

システム１００は、１つまたは複数のデータセンター（例えば、データセンター１からＮ）を通じて実装されるゲームクラウドシステム１９０を含む。図示のように、ゲームクラウドシステム１９０のインスタンスは、管理機能を提供するデータセンターＮに位置付けることができ、それにおいてゲームクラウドシステム１９０の管理機能は、各データセンターでゲームクラウドシステム１９０の複数のインスタンスを通じて分散させることができる。一部の実施態様では、ゲームクラウドシステム管理機能は、データセンターのいずれかの外部に位置付けられる場合がある。

【0020】

そのゲームクラウドシステム１９０は、クライアントデバイス（例えば、１～Ｎ）のそれぞれを対応するデータセンター内の対応するリソースに割り当てるように構成されたアサイナ１９１を含む。特に、クライアントデバイス１１０がゲームクラウドシステム１９０にログインするとき、クライアントデバイス１１０は、データセンターＮでゲームクラウドシステム１０９のインスタンスと接続されてもよく、データセンターＮはクライアントデバイス１１０に地理的に最も近くてもよい。アサイナ１９１は、診断テストを実行して、クライアントデバイス１１０への利用可能な送信及び受信帯域幅を決定することができる。テストに基づいて、アサイナ１９１は、リソースをクライアントデバイス１１０に非常に特異的に割り当てることができる。例えば、アサイナ１９１は、特定のデータセンターをクライアントデバイス１１０に割り当てることができる。
さらに、アサイナ１９１は、特定の計算スレッド、特定のストリーミングアレイ、特定のラックアセンブリの特定の計算ノードをクライアントデバイス１１０に割り当てることができる。割り当ては、計算ノードで利用可能なアセット（ゲームなど）の知識に基づいて実行され得る。以前は、クライアントデバイスは一般的にデータセンターに割り当てられており、ラックアセンブリにはそれ以上割り当てられていなかった。このようにすると、アサイナ１９１は、計算集約型の特定のゲームアプリケーションの実行を要求しているクライアントデバイスを、計算集約型アプリケーションを実行していない可能性のある計算ノードに割り当てることができる。さらに、クライアントによって要求された計算集約型ゲームアプリケーションの割り当ての負荷管理は、アサイナ１９１で実行され得る。例えば、短期間に要求されている同じ計算集約型ゲームアプリケーションは、特定の計算ノード、計算スレッド及び／またはラックアセンブリの負荷を軽減するために、１つのラックアセンブリまたは異なるラックアセンブリ内の異なる計算ノードに分散される場合がある。

【0021】

いくつかの実施形態では、割り当ては、機械学習に基づいて実行され得る。特に、リソースの需要は、特定のデータセンターとそれに対応するリソースについて予測される場合がある。例えば、データセンターが計算集約型ゲームアプリケーションを実行する多くのクライアントをすぐに処理することが予測できる場合、アサイナ１９１はその知識についてクライアントデバイス１１０を割り当て、そのリソースの全能力を現在利用していない可能性のあるリソースを割り当てることができる。別のケースでは、アサイナ１９１は、データセンターＮでの負荷の増加を見越して、クライアントデバイス１１０を、データセンターＮのゲームクラウドシステム１９０から、データセンター３で利用可能なリソースに切り替えることができる。
さらに、未来のクライアントは、リソースの負荷と需要が、ゲームクラウドシステム全体に、複数のデータセンターに亘り、複数のラックアセンブリに亘り、複数の計算スレッドに亘り、及び／または複数の計算ノードに亘り分散され得るように、分散された方法でリソースに割り当てられることができる。例えば、クライアントデバイス１１０は、データセンターＮ（例えばパス１を介して）及びデータセンター３（例えばパス２を介して）の両方のゲームクラウドシステムからリソースを割り当てられ得る。

【0022】

クライアントデバイス１１０が、対応するストリーミングアレイの対応する計算スレッドの特定の計算ノードに割り当てられると、クライアントデバイス１１０は、ネットワークを介して対応するデータセンターに接続する。すなわち、クライアントデバイス１１０は、データセンター３など、割り当てを実行するデータセンターとは異なるデータセンターと通信し得る。

【0023】

システム１００は、ゲームクラウドシステム１９０を介してゲームを提供し、本開示の一実施形態によれば、ゲームは、ゲームをプレイしている対応するユーザのクライアントデバイス（例えば、シンクライアント）からリモートで実行されている。システム１００は、シングルプレイヤーモードまたはマルチプレイヤーモードのいずれかで、ネットワーク１５０を介して、クラウドゲームネットワークまたはゲームクラウドシステム１９０により、１つまたは複数のゲームをプレイする１人または複数のユーザに、ゲームのコントロールをもたらすことができる。いくつかの実施形態において、クラウドゲームネットワークまたはゲームクラウドシステム１９０は、ホストマシンのハイパーバイザーで実行する複数の仮想マシン（ＶＭ）を含むことができ、１つ以上の仮想マシンは、ホストのハイパーバイザーに利用可能であるハードウェアリソースを利用するゲームプロセッサモジュールを実行するように構成される。ネットワーク１５０は、１つまたは複数の通信技術を含み得る。いくつかの実施形態では、ネットワーク１５０は、高度な無線通信システムを有する第５世代（５Ｇ）ネットワーク技術を含み得る。

【0024】

いくつかの実施形態では、通信は、無線技術を使用して促進され得る。そのような技術には、例えば、５Ｇ無線通信技術が含まれ得る。５Ｇは、セルラーネットワークテクノロジーの第５世代である。５Ｇネットワークはデジタルセルラーネットワークであり、プロバイダーがカバーするサービスエリアはセルと呼ばれる小さな地理的エリアに分割されている。音と画像を表すアナログ信号は、電話でデジタル化され、アナログ－デジタルコンバータによって変換され、ビットのストリームとして送信される。
セル内のすべての５Ｇワイヤレスデバイスは、他のセルで再利用される周波数のプールからトランシーバによって割り当てられた周波数チャネルを介して、セル内のローカルアンテナアレイ及び低電力自動トランシーバ（送信機及び受信機）と電波で通信する。ローカルアンテナは、高帯域幅光ファイバまたは無線バックホール接続によって、電話網及びインターネットに接続される。他のセルネットワークと同様に、あるセルから別のセルに移動するモバイルデバイスは、新しいセルに自動的に転送される。５Ｇネットワークは単なる一例のタイプの通信ネットワークであり、本開示の実施形態は、５Ｇに続く後の世代の有線または無線技術と同様に、前世代の無線または有線通信を利用することができることを理解されたい。

【0025】

図示のように、ゲームクラウドシステム１９０を含むシステム１００は、複数のゲームアプリケーションへのアクセスを提供することができる。特に、クライアントデバイスのそれぞれは、クラウドゲームネットワークからの異なるゲームアプリケーションへのアクセスを要求している可能性がある。例えば、ゲームクラウドシステム１９０は、対応するゲームアプリケーションを実行するために１つ以上のホストで実行される１つ以上の仮想マシンとして構成され得る１つ以上のゲームサーバを提供し得る。例えば、ゲームサーバは、ユーザのゲームアプリケーションのインスタンスをインスタンス化するゲームプロセッサをサポートする仮想マシンを管理し得る。よって、複数の仮想マシンに対応付けられた１つまたは複数のゲームサーバの複数のゲームプロセッサは、複数のユーザのゲームプレイに関連付けられた１つまたは複数のゲームアプリケーションの複数のインスタンスを実行するように構成される。
そのようにして、バックエンドサーバサポートは、複数のゲームアプリケーションのゲームプレイのメディア（例えばビデオ、オーディオなど）のストリーミングを、対応する複数のユーザに提供する。つまり、ゲームクラウドシステム１９０のゲームサーバは、ネットワーク１５０を介して、データ（例えば、対応するゲームプレイのレンダリングされた画像及び／またはフレーム）を対応するクライアントデバイスにストリーミング返信するように構成される。そのようにして、クライアントデバイスによって受信されて転送されたコントローラの入力に応答して、計算の複雑なゲームアプリケーションが、バックエンドサーバで実行し続けることができる。各サーバは、画像及び／またはフレームをレンダリングし、次いでそれらを符号化（例えば圧縮）して、対応するクライアントデバイスにストリーミングして表示することが可能である。

【0026】

一実施形態では、ゲームクラウドシステム１９０のクラウドゲームネットワークは、分散型ゲームサーバシステム及び／またはアーキテクチャである。具体的には、ゲームロジックを実行する分散型ゲームエンジンが、対応するゲームアプリケーションの対応するインスタンスとして構成されている。一般に、分散型ゲームエンジンは、ゲームエンジンの各機能を取り込み、それらの機能を分散させて多数の処理エンティティによって実行する。個々の機能は、さらに１つ以上の処理エンティティに亘って分散させることができる。処理エンティティは、物理ハードウェア、及び／または仮想コンポーネントまたは仮想マシン、及び／または仮想コンテナなど、様々な構成で構成され得、それにおいてコンテナは、仮想化されたオペレーティングシステム上で動作するゲームアプリケーションのインスタンスを仮想化するものであるため、仮想マシンとは異なる。
処理エンティティは、クラウドゲームネットワークまたはゲームクラウドシステム１９０の１つ以上のサーバ（計算ノード）上のサーバ及びその基礎となるハードウェアを利用し、及び／またはそれらに依拠してもよく、サーバは１つ以上のラック上に位置付けられ得る。種々の処理エンティティに対するそれらの機能の実行の協調、割り当て、及び管理は、分散同期層によって行われる。そのようにして、それらの機能の実行が分散同期層によって制御されて、プレイヤーによるコントローラ入力に応答して、ゲームアプリケーション用のメディア（例えばビデオフレーム、オーディオなど）を生成することが可能になる。分散同期層は、重要なゲームエンジンコンポーネント／機能が、より効率的な処理のために分散されて再構築されるように、分散処理エンティティ全体で（例えば、負荷分散を介して）それらの機能を効率的に実行することが可能である。

【0027】

図２Ａは、本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンター２００Ａにおける複数の計算ノードを含む複数のラックアセンブリ２１０の図である。例えば、北米、ヨーロッパ、日本など、世界中に複数のデータセンターが分散し得る。

【0028】

データセンター２００は、複数のラックアセンブリ２２０（例えば、ラックアセンブリ２２０Ａから２２０Ｎ）を含む。ラックアセンブリのそれぞれは、対応するネットワークストレージ及び複数の計算スレッドを含む。例えば、代表的なラックアセンブリ２２０Ｎは、ネットワークストレージ２１１Ａ及び複数の計算スレッド２３０（例えば、スレッド２３０Ａから２３０Ｎ）を含む。他のラックアセンブリは、変更を加えてまたは加えずに同様に構成することができる。特に、計算スレッドのそれぞれは、ハードウェアリソース（例えば、プロセッサ、ＣＰＵ、ＧＰＵなど）を提供する１つまたは複数の計算ノードを含む。例えば、ラックアセンブリ２２０Ｎの複数の計算スレッド２３０における計算スレッド２３０Ｎは、４つの計算ノードを含むように示されているが、ラックアセンブリは１つまたは複数の計算ノードを含み得ることが理解される。各ラックアセンブリは、対応するデータセンターの管理用に構成された管理サーバとの通信を提供するように構成されたクラスタスイッチに結合される。例えば、ラックアセンブリ２２０Ｎはクラスタスイッチ２４０Ｎに結合される。クラスタスイッチは、外部通信ネットワーク（インターネットなど）への通信も提供する。

【0029】

各ラックアセンブリは、ラックアセンブリ内など、対応するネットワークストレージへの高速アクセスを提供する。この高速アクセスは、計算ノードと対応するネットワークストレージ間の直接アクセスを提供するＰＣＩｅファブリック(PCI-Express Fabric)を介して提供される。例えば、ラックアセンブリ２２０Ｎにおいて、高速アクセスは、対応する計算スレッドの特定の計算ノードと対応するネットワークストレージ（例えば、ストレージ２１１Ａ）との間のデータパス２０１を提供するように構成される。特に、ＰＣＩｅファブリックは不揮発性メモリエクスプレス（ＮＶＭｅ）レイテンシでの計算ノード（例えば、ラックアセンブリの）ごとの毎秒４ギガバイト（ＧＢ／ｓ）ネットワークストレージ帯域幅（アクセスなど）を超えて提供できる。また、制御パス２０２は、ネットワークストレージ２１０と計算ノードのそれぞれとの間で制御及び／または管理情報を通信するために構成される。

【0030】

示されるように、データセンター２００の管理サーバ２１０は、アサイナ１９１（図１に示される）と通信して、リソースをクライアントデバイス１１０に割り当てる。特に、管理サーバ２１０は、ゲームクラウドシステム１９０’のインスタンスと連携し、ゲームクラウドシステム１９０の最初のインスタンス（例えば、図１の）と連携して、リソースをクライアントデバイス１１０に割り当てることができる。実施形態では、割り当ては、どのリソースと帯域幅が必要であるかということ、及びそれがデータセンターに存在することを知るなど、アセットの認識に基づいて実行される。したがって、本開示の実施形態は、説明のために、対応するラックアセンブリ２２０Ｂの対応する計算スレッド２３１の特定の計算ノード２３２にクライアントデバイス１１０を割り当てるように構成される。

【0031】

ストリーミングラックアセンブリは、計算ノードの周囲に中心化され、これは、ゲームアプリケーション、ビデオゲームを実行し、及び／または１つまたは複数のクライアントへゲームセッションのオーディオ／ビデオをストリーミングする。さらに、各ラックアセンブリ内で、ネットワークストレージを提供するストレージサーバにゲームコンテンツを格納することができる。ネットワークストレージには、ネットワークファイルシステム（ＮＦＳ:network file system）ベースのネットワークストレージによって多くの計算ノードにサービスを提供するために、大量のストレージと高速ネットワークが装備されている。

【0032】

図２Ｂは、本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンター２００Ｂに複数の計算ノードを含む複数のラックアセンブリ２２１の図であり、各ネットワークストレージは計算ノードの対応するアレイによってアクセス可能である。データセンター２００Ｂはデータセンター２００Ａと類似しており、同様の番号が付けられたコンポーネントは同様の機能を有する。しかし、データセンター２００Ｂは、データセンター２００Ａのラックアセンブリとは異なる構成のラックアセンブリを有し、以下に説明するように、単一のストリーミングアレイの計算ノードによってネットワークストレージがアクセスされる。

【0033】

データセンター２００は、複数のラックアセンブリ２２１（例えば、ラックアセンブリ２２１Ａから２２１Ｎ）を含む。ラックアセンブリのそれぞれは、１つまたは複数のストリーミングアレイを含み、各ストリーミングアレイは、対応するネットワークストレージ及び複数の計算スレッドを含む。例えば、代表的なラックアセンブリ２２１Ｎは、ストリーミングアレイ２２５Ａから２２５Ｎを含む。一実施形態では、ラックアセンブリ２２１Ｎは２つのストリーミングアレイを含み、各ストリーミングアレイはネットワークストレージ及び複数の計算スレッドを含む。例えば、ストリーミングアレイ２２５Ｎは、ネットワークストレージ２１１Ｂ－Ｎにアクセスする複数の計算スレッド２３５を含む。特に、計算スレッドのそれぞれは、ハードウェアリソース（例えば、プロセッサ、ＣＰＵ、ＧＰＵなど）を備える１つまたは複数の計算ノードを含む。例えば、ストリーミングアレイ２２５Ｎの計算スレッド２３５Ｘは４つの計算ノードを含むように示されているが、ラックアセンブリは１つまたは複数の計算ノードを含むことができることが理解される。

【0034】

各ラックアセンブリは、前述のように、対応するデータセンターの管理用に構成された管理サーバとの通信を提供するように構成されたクラスタスイッチに結合される。例えば、ラックアセンブリ２２１Ｎはクラスタスイッチ２４０Ｎに結合される。クラスタスイッチはまた、他のラックアセンブリへの通信（例えば、対応するクラスタスイッチを介して）、及び外部通信ネットワーク（例えば、インターネットなど）への通信を提供する。

【0035】

対応するラックアセンブリの各ストリーミングアレイは、前述のように、対応するネットワークストレージへの高速アクセスを提供する。この高速アクセスは、計算ノードと対応するネットワークストレージ間の直接アクセスを提供するＰＣＩｅファブリックを介して提供される。計算ノードは、ゲームアプリケーションを実行し、ゲームセッションのオーディオ／動画を１つまたは複数のクライアントにストリーミングし得、それにおいて、対応するネットワークストレージ（例えば、ストレージサーバ）が、ゲームアプリケーション、ゲームデータ、及びユーザデータを保持する。例えば、ラックアセンブリ２２１Ｎのストリーミングアレイ２２５Ｎにおいて、高速アクセスは、対応する計算スレッドの特定の計算ノードと対応するネットワークストレージ（例えば、ストレージ２１１Ｂ－Ｎ）との間のデータ及びコントロールパス２０１Ｂを提供するように構成される。また、パス２０１Ｂは、ネットワークストレージ２１１Ｂ－Ｎとストリーミングアレイ２２５Ｎの計算ノードのそれぞれとの間の制御及び／または管理情報を通信するように構成されている。

【0036】

前述のように、データセンター２００Ｂの管理サーバ２１０は、アサイナ１９１と通信して、ゲームクラウドシステム１９０’及び／または１９０をサポートするクライアントデバイス１１０にリソースを割り当てる。実施形態では、割り当ては、どのリソースと帯域幅が必要であるかということ、及びそれがデータセンターに存在していることを知るなど、アセットの認識に基づいて実行される。したがって、本開示の実施形態は、説明のために、ラックアセンブリ２２１Ｂの対応するストリーミングアレイの対応する計算スレッド２３１の特定の計算ノード２３２Ｂに、クライアントデバイス１１０を割り当てるように構成される。

【0037】

図２Ｃは、本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンターにおけるラックアセンブリのクラスタ２５５を含むシステム２００Ｃの図である。クラスタ２５５のラックアセンブリの構成は、設計の選択により、異なる構成が明細書全体に亘って説明され、図２Ａ－２Ｂ、３Ａ、及び４Ａ－４Ｂに示されている。一実施形態では、クラスタ２５５は、５０個のラックアセンブリを含む。他の実施形態では、クラスタ２５５は、設計の選択に応じて、５０を超えるかまたは５０未満のラックアセンブリを含み得る。
説明のみを目的として、ラックアセンブリは９６倍の計算ノードを含むことができ、それにおいてラックアセンブリは、図２Ｂ及び４Ａで説明されているように、ストリーミングアレイにつき４８倍の計算ノードを備える２つのストリーミングアレイを含む（ただし、図２Ａ及び３Ａで説明したものなど、ラックアセンブリの他の構成がサポートされる）。したがって、クラスタ２５５は、４８００個の計算ノードを含むことができる。さらに、各計算ノードが少なくとも１０人のユーザをサポートする場合、クラスタ２５５は少なくとも４８，０００人のユーザをサポートすることができる。

【0038】

クラスタ２５５のラックアセンブリのそれぞれは、クラスタファブリック／スイッチ２６０（例えば、クラスタスイッチを含む）に、チャネルまたはレーンの冗長ペア（例えば、少なくとも毎秒１００ギガビットをサポートするイーサネットレーン）を介して、通信可能に結合される。すなわち、クラスタファブリック２６０は、１つまたは複数のクラスタのラックアセンブリ、分散ストレージ２５０、及び通信ネットワーク２９０の間の通信を提供する。クラスタファブリック／スイッチはまた、管理、ロギング、監視、イベント生成などのデータセンターサポートサービスも提供する。クラスタファブリック／スイッチ２６０は、ルータシステム２７０及び通信ネットワーク２９０（例えば、インターネット）を介して外部通信ネットワークへの通信を提供する。また、クラスタファブリック／スイッチ２６０は、以下でさらに説明する分散ストレージ２５０への通信を提供する（例えば、毎秒１００ギガビットの８チャネル）。

【0039】

分散ストレージ２５０は、ラックアセンブリのクラスタ２５５のそれぞれの計算ノードによってアクセス可能なユーザデータ、ゲームデータ、及びゲームパッケージの集中した記憶を提供する。分散ストレージ２５０は、要求に応じてサーバを追加または削除できるようにスケーラブルであり、ストレージ２５０は再分散及び／またはそれ自体を再構成することができる。さらに、分散ストレージは負荷の分散をもたらすように構成されているため、データは複数のストレージサーバに亘って小さなチャンクで保存される。分散ストレージの管理は、ユーザインターフェースから実行できる。

【0040】

特に、分散ストレージ２５０は、ゲームクラウドシステム１９０用のゲームタイトル（例えば、ゲームアプリケーション）の完全な補足を格納するように構成することができる（例えば、ゲームアプリケーションの完全なカタログを保存するための約２００テラバイト［ＴＢ］のストレージ）。分散ストレージ２５０は、ゲームクラウドシステム１９０のユーザのユーザ及びゲームデータを格納するように構成することもできる。ユーザ及びゲームのデータは、ユーザのセーブデータ、対応するゲームアプリケーションの一時停止／再開データ、ダウンロードデータ、及びその他（画像、写真など）を含み得る。説明のために、各ユーザは各ユーザにつき約５０ギガバイト（ＧＢ）のストレージを必要とする場合がある。一実施形態では、分散ストレージ２５０は、対応するゲームタイトルに関連付けられた一時停止／再開情報（例えば、ゲームタイトルごとに８ギガバイト）を格納する。

【0041】

各ストリーミングアレイ及び／またはストリーミングアレイごとのネットワークストレージは、ユーザがラックアセンブリ内でプレイしているゲームパッケージをキャッシュし、それにおいて１つ以上のストリーミングアレイがラックアセンブリに位置付けられる。保存されたゲームパッケージは、ネットワークストレージのドライブと個々のメモリコンポーネントの負荷を分散するために、異なるストレージドライブに亘りストライピングすることができる。また、異なるドライブを使用して、異なるゲームパッケージの保存を開始することもできる。
例として、安価なディスクの冗長アレイ（ＲＡＩＤ）ストレージ技術を使用して、データを複数のディスクに保存することができる。例えば、人気のあるタイトルは、各ストリーミングアレイ及びすべてのラックアセンブリで利用できるべきである。つまり、各ストリーミングアレイには、ゲームタイトル及び／またはゲームパッケージの完全なカタログのサブセットがある。ユーザが、対応するラックアセンブリにないゲームタイトル（例えば、「キャッシュミス」）を要求すると、ユーザをサポートする計算ノードを備えた対応するラックアセンブリは、ゲームセッションの間に、ゲームタイトルを分散ストレージ２５０（またはデータセンターストレージ）からラックアセンブリに転送するように要求する。
対応するストリーミングアレイのネットワークストレージにどのゲームタイトルを格納するかを決定するのは、機械学習に基づいて実行することができる。例えば、機械学習を使用して、どのゲームが人気があり、どのゲームが特定の時点であまりアクセスされていないか判断できる。このようにして、特定のストリーミングアレイでアクセスされるゲームタイトルについて、ゲームタイトルの負荷を最小限に抑えることができる。

【0042】

図３Ａは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ３００Ａの図であり、ネットワークストレージは、対応するラックアセンブリの１つまたは複数のストリーミングアレイによってアクセスされる。示されるように、図３Ａの図は、ラックアセンブリ３００Ａの高レベルのラック設計を示す。ラックアセンブリ３００Ａは、図２Ａの複数のラックアセンブリ２２０のうちの１つまたは複数を表すことができる。例えば、ラックアセンブリ３００Ａは、ラックアセンブリ２２０Ｎを表すことができる。

【0043】

前述のように、従来のラック設計では、ギガビットイーサネットを使用してネットワークストレージへのアクセスが提供されていた。それは、４０ｇｂ／ｓの帯域幅のアクセスが提供されたネットワークストレージへのアクセスであり、これは、将来のゲームには適していない。特に、本開示の実施形態は、ＮＶＭｅレベルのレイテンシでの計算ノードあたり毎秒約４ギガバイト（ＧＢ／ｓ）の帯域幅を超えるネットワークストレージへのアクセスを提供する。これは、一実施形態では、ＰＣＩエクスプレススイッチング技術及びラック全体のＰＣＩエクスプレスファブリックによって達成される。

【0044】

各ラックアセンブリ３００Ａは、ネットワークストレージ３１０を含む。ゲームコンテンツは、各ラックアセンブリ内のネットワークストレージ３１０に保存される。ネットワークストレージ３１０には、ＮＦＳベースのネットワークストレージによって多くの計算ノードにサービスを提供するために、大量のストレージと高速ネットワークが備えられている。

【0045】

さらに、各ラックアセンブリ３００Ａは、１つまたは複数のストリーミングアレイを含む。ラックアセンブリ３００Ａは４つのアレイを有するものとして示されているが、ラックアセンブリ３００Ａ内に１つまたは複数のストリーミングアレイを含めることができることを理解されたい。より具体的には、各ストリーミングアレイには、ネットワークスイッチ、アレイ管理サーバ（ＡＭＳ）、及び１つまたは複数の計算スレッドが含まれる。例えば、代表的なストリーミングアレイ４には、ネットワークスイッチ３４１、ＡＭＳ３４３、及び１つまたは複数の計算スレッド３４５が含まれる。他のストリーミングアレイ１～３も同様に構成され得る。図３Ａに示されるストリーミングアレイは、例示の目的で、ストリーミングアレイごとに８つの計算スレッドを含むが、ストリーミングアレイは、各計算スレッドが１つまたは複数の計算ノードを含むように、任意の数の計算スレッドを含むことができることが理解される。

【0046】

特に、各ストリーミングアレイは、ＰＣＩｅファブリック（Ｇｅｎ４など）の一部として構成された対応するＰＣＩｅスイッチによってサービスされ、ＰＣＩｅファブリックを介して計算ノードとストレージサーバ間の直接的なアクセスを提供する。例えば、代表的なストリーミングアレイ４は、ＰＣＩｅスイッチ３４７によってサービスされる。ＰＣＩｅファブリック（すなわち、ストリーミングアレイ１～４のそれぞれにサービスを提供するＰＣＩｅスイッチを含む）は、前述のように、ネットワークストレージ３１０に格納されたゲームデータへの高速アクセスを可能にするデータパス３０１（例えば、ラックアセンブリ２２０Ｎのデータパス２０１）を提供する。

【0047】

さらに、各ストリーミングアレイは、制御及び／または管理情報をストリーミングアレイに通信するためなどで、制御パス３０２（例えば、ラックアセンブリ２２０Ｎの制御パス２０２）を提供するイーサネットファブリックで構成される。

【0048】

また、ラックアセンブリ３００Ａは、ラック管理コントローラ（図示せず）によって管理される共有電力で構成される。さらに、ラックアセンブリは、冷却を共有するように構成することもできる（図示せず）。

【0049】

ラックアセンブリ３００Ａは、高速ストレージアクセス（例えば、最大４～５ＧＢ／ｓ）を各計算ノードに提供するべく、要件に合わせて設計されている。ストレージは、ネットワークストレージ３１０によって提供され、それは、ゲームコンテンツをＲＡＭ及びＮＶＭｅドライブに格納する（つまり、従来の単なるディスクの束－－ＪＢＯＤ－－ストレージサーバではない）。一実施形態では、ゲームコンテンツは「読み取り専用」であるため、システム間で共有することができる。個々の計算ノードは、ストリーミングアレイのそれぞれと、ネットワークストレージ３１０との間のＰＣＩｅファブリック（例えば、データパス３０１を提供する）を介して、ネットワークストレージ３１０でゲームコンテンツにアクセスする。

【0050】

特に、ＰＣＩｅファブリック（例えば、Ｇｅｎ４）は、すべての計算ノードがピークパフォーマンス（４－５ＧＢ／ｓ）を同時に必要としているわけではないと想定する場合がある。各スレッドは複数のレーン（例えば、８）のＰＣＩｅレーン（例えば、最大１６ＧＢ／ｓ）を有する。例えば、ストリーミングアレイごとに合計６４レーン（８スレッドの場合）が、対応するＰＣＩｅスイッチに設けられ、マルチレーン（例えば９６レーン）ＰＣＩｅスイッチを有するように構成することができる。しかし、各ＰＣＩｅスイッチは、設計に応じて、対応するアレイ３２レーンのみをネットワークストレージ３１０に設けることができる。

【0051】

さらに、各ラックアセンブリ３００Ａは、アレイ管理サーバ（ＡＭＳ）と対応する計算スレッドとの間で利用可能な第２のＰＣＩｅファブリックを含む。例えば、アレイ４は、ＡＭＳ３４３と１つまたは複数の計算スレッド３４５との間の通信を提供する第２のＰＣＩｅファブリック３４９を含む。このファブリックはパフォーマンスが低く（スレッドごとに１レーンのＰＣＩｅなど）、低速のストレージワークロードやスレッドの管理の目的で使用できる。

【0052】

さらに、各ラックアセンブリ３００Ａは、制御パス３０２のための通信を提供するなど、従来のイーサネットネットワークを含む。例えば、各計算ノードには１×１Ｇｂｐｓのイーサネット（例えば、計算ノードと対応するネットワークスイッチ間の３２個の計算ノード用のイーサネットファブリック３４１で３２×１Ｇｂｐｓ）があり、これは「オーディオ／ビデオのストリーミング」と管理に使用される。ＡＭＳ及びネットワークストレージは、より高速なネットワーキングを有する（例えば、対応するＡＭＳとネットワークスイッチ（例えば、パス３４２）との間で４０Ｇｂｐｓ、ネットワークストレージ３１０と対応するネットワークスイッチ（例えば、パス３４３）との間で１０Ｇｂｐｓ、及び例えばネットワークストレージ及び管理目的のためネットワークストレージ３１０及びクラスタスイッチ３５０（パス３４４）間で１００Ｇｂｐｓ）を有する。

【0053】

ネットワークストレージ３１０（例えば、サーバ）はまた、ラックアセンブリの１つまたは複数のストリーミングアレイのＡＭＳサーバ及び計算ノードへのネットワークストレージアクセスを提供するように構成され得る。ＡＭＳサーバへのネットワークストレージアクセスは、従来のイーサネットネットワーキング（例えば、対応するネットワークスイッチとネットワークストレージ３１０との間の１０Ｇｂｐｓ）を介して処理される。しかし、計算ノードへのネットワークストレージは、カスタムプロトコル及びカスタムストレージソリューションによって（すなわち、データパス３０１を介して）ＰＣＩエクスプレスで行われる。このカスタムストレージソリューションの背景は、ＰＣＩｅスイッチングを利用する計算ノードのハードウェア及びソフトウェア設計にある。

【0054】

一実施形態では、各計算ノードは、「コマンドバッファ」ベースのプロトコルを使用して、ある場所からデータを要求することができる。ネットワークストレージ３１０は、データを位置付けることが期待される。特に、計算ノードはダイレクトメモリアクセス（ＤＭＡ）エンジンを使用して、「読み取り動作」中に独自のメモリに移動する。ネットワークストレージ３１０に格納されたデータは、ＲＡＭ及びＮＶＭｅに格納される。ネットワークストレージ３１０のソフトウェアは、ＮＶＭｅからデータを取得する必要がないように、可能な場合はデータがＲＡＭにキャッシュされることを確実にする。多くの計算ノードが同じコンテンツにアクセスすることが予想されるため、キャッシングが可能である。

【0055】

図３Ｂは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージ３１０への高速アクセスを提供するように構成されたラックアセンブリ（図示せず）の中に位置付けられた複数の計算ノードを含むストリーミングアレイ３５１の図である。１人または複数のユーザにコンテンツをストリーミングするように構成されたラックアセンブリは、ネットワークストレージ３１０にアクセスする、図３Ａのストリーミングアレイ１～４などの「ストリーミングアレイ」に分割される。特に、ストリーミングアレイは、前述の通り、ネットワークスイッチ、アレイ管理サーバ（ＡＭＳ）、及び複数の計算スレッド（例えば、アレイごとに１つまたは複数の計算スレッド、１つまたは複数の計算ノードを保持する各計算スレッド）からなるラックアセンブリ（例えば、図３Ａのラックアセンブリ３００Ａ）のセクションである。複数のストリーミングアレイ３５１がラックアセンブリ（例えば、ラックアセンブリ３００Ａ）内に構成され、ネットワークストレージ３１０を共有するが、それ以外は独立して動作する。

【0056】

図示のように、アレイ管理サーバ（ＡＭＳ）３４３は、対応するストリーミングアレイ３５１内のサーバであり、ストリーミングアレイ内のすべての動作を管理する責任を負う。大まかに２つのクラスの動作を処理している。最初に、ＡＭＳ３４３は「構成作業」を管理し、これは、各計算スレッド（例えば、スレッド１～８）が正常に機能していることを確認することである。これには、スレッドへの電力供給、ソフトウェアが最新であることの確認、ネットワークの構成、ＰＣＩｅスイッチの構成などが含まれる。ＡＭＳ３４３の第２の動作クラスは、クラウドゲームセッションの管理である。これには、対応する計算ノードでのクラウドゲームセッションを設定すること、１つまたは複数の計算ノードへのネットワーク／インターネットアクセスを提供すること、ストレージアクセスを提供すること、及びクラウドゲームセッションを監視することが含まれる。

【0057】

したがって、ＡＭＳ３４３は、対応するストリーミングアレイ３５１内の計算ノード及び計算スレッドを管理するように構成され、各計算スレッドは１つまたは複数の計算ノードを含む。例えば、ＡＭＳ３４３は、汎用入出力（ＧＰＩＯ）を電力インターポーザに使用して計算ノードへの電力供給を可能にする。一実施形態では、ＡＭＳ３４３は、シリアルデータ（例えば、電源オン／オフ、診断、及びロギング情報）を送達する汎用非同期式送受信（ＵＡＲＴ）信号を使用して、計算ノードを制御及び監視するように構成される。ＡＭＳ３４３は、計算ノードでファームウェアの更新を実行するように構成されている。ＡＭＳ３４３は、計算スレッド及び対応するＰＣＩｅスイッチ３４７の構成を実行するように構成されている。

【0058】

ストリーミングアレイ３５１は、前述のように、計算ノードにＰＣＩエクスプレスを介してストレージを提供するように構成される。例えば、ＰＣＩｅファブリックは、計算スレッド上の計算ノードとＰＣＩｅスイッチ３４７の間のデータパス３５２を提供する）。実施形態において、計算ノードごとの読み取り／書き込みストレージアクセスは、最大５００メガバイト／秒（ＭＢ／ｓ）で提供される。さらに、１つの実施態様では、計算ノードごとのストレージあたり１～２ギガバイト（ＧＢ）があるが、他のサイズのストレージもサポートされている。

【0059】

図３Ｂに示すように、ＡＭＳ３４３の主な機能は、各計算スレッドへのＰＣＩエクスプレスファブリック接続である。例えば、計算スレッドの計算ノードとＡＭＳ３４３の間の通信を提供するＰＣＩｅファブリック３５２が示されている。一実施形態では、ＰＣＩエクスプレスファブリック接続は、「パッシブＰＣＩエクスプレスアダプタ」を使用して実施される。なぜなら、各計算スレッドは、ＰＣＩエクスプレスＧｅｎ４スイッチで構成することができ、ＡＭＳと計算スレッドとの間の距離は短くすべきであるからである。

【0060】

さらに、各ストリーミングアレイ３５１は、前述のように、計算ノードへのネットワーク／インターネットアクセスを提供する。例えば、ネットワークアクセス（例えば、ネットワークスイッチ３４１を介して、またイーサネットなどのパス－図示せず－を介して）は計算ノードごとに１００メガビット／秒（ｍｂ／ｓ）で提供される。

【0061】

一実施形態では、ＡＭＳ３４３は、ランダムアクセスメモリ（ＲＡＭ）を備えた中央処理装置（ＣＰＵ）で構成されてもよい。ＰＣＩｅファブリック用の入出力（Ｉ／Ｏ）があってもよい。イーサネット用のネットワーク接続がある場合がある）。

【0062】

ＡＭＳ３４３は、一実施形態では、ストレージ（例えば、２×２テラバイトのＮＶＭｅ）で構成され得る。さらに、パッシブＰＣＩｅファブリックアダプターの使用など、各計算スレッドへのＰＣＩｅファブリック接続が存在する場合がある。また、電力（例えば、１２ボルト）を提供するバスバーもある。

【0063】

図４Ａは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ４００Ａの図であり、それにおいて各ネットワークストレージは、対応するラックアセンブリの計算ノードの対応するストリーミングアレイによってアクセス可能である。示されるように、図４Ａの図は、ラックアセンブリ４００Ａの高レベルのラック設計を示す。ラックアセンブリ４００Ａは、図２Ｂの複数のラックアセンブリ２２１のうちの１つまたは複数を表すことができる。例えば、ラックアセンブリ４００Ａは、ラックアセンブリ２２１Ｎを表すことができる。

【0064】

図４Ａに示すように、ラックアセンブリ４００Ａは、ストリーミングアレイ１及びストリーミングアレイ２の２つのストリーミングアレイを含むが、ラックアセンブリ４００Ａは、１つまたは複数のストリーミングアレイを含み得ることが理解される。より具体的には、各ストリーミングアレイは、ネットワークストレージ４１１及び複数の計算スレッド４１２を含む。各ストリーミングアレイは独立して動作可能であり、対応するネットワークストレージ、対応するＰＣＩｅファブリック、対応するイーサネットファブリック、及び対応するネットワークスイッチを含む。

【0065】

ラックアセンブリ４００Ａは、高速ストレージアクセス（例えば、最大４～５ＧＢ／ｓ）を各計算ノードに提供するべく、要件に合わせて設計されている。ストレージは、対応するストリーミングアレイのネットワークストレージ４１１によって提供され、それは、ゲームコンテンツをＲＡＭ及びＮＶＭｅドライブに格納する（つまり、従来の単なるディスクの束－－ＪＢＯＤ－－ストレージサーバではない）。一実施形態では、ゲームコンテンツは「読み取り専用」であるため、ストリーミングアレイの中のシステム間で共有することができる。個々の計算ノードは、以下でさらに説明するように、ストリーミングアレイのそれぞれとネットワークストレージ４１１の間のＰＣＩｅファブリック（例えば、データ及び制御パス４０１を提供する）を介して、ネットワークストレージ４１１でゲームコンテンツにアクセスする。

【0066】

また、ラックアセンブリ３００Ａは、ラック管理コントローラ（図示せず）によって管理される共有電力で構成される。さらに、ラックアセンブリは、冷却を共有するように構成することもできる（図示せず）。

【0067】

例えば、ストリーミングアレイ１及び２のそれぞれは、複数の計算スレッドに位置付けられた複数の計算ノード４１２を含み、各計算スレッドは、１つまたは複数の計算ノードを含む。さらに、各計算ノードは、複数のゲームアプリケーションの１つまたは複数のインスタンスを実行するように構成される。説明のために、各ストリーミングアレイは１２個の計算スレッドで構成され得（つまり、選択可能な数のスレッドを含むように構成可能）、各計算スレッドは１つまたは複数の計算ノードを含む。一実施態様では、各計算スレッドは４つの計算ノードを含み、各ストリーミングアレイは４８の計算ノードを含む（すなわち、計算スレッド当たり４つの計算ノードで１２の計算スレッド）。

【0068】

各ストリーミングアレイ１番及び２番は、ネットワークストレージ４１１またはストレージサーバを含む。例えば、ユーザデータ及びゲームデータ及びゲームパッケージは、ネットワークストレージ４１１に格納され、計算ノードによる高速ネットワーキングを介して（例えば、ＮＦＳベースのネットワークストレージを介して）アクセスされ得る。対応するストリーミングアレイの各ネットワークストレージ４１１は、そのストリーミングアレイの計算ノードによって共有される。特に、個々のネットワークストレージ４１１のそれぞれは、不揮発性メモリを含むことができ、１つまたは複数の不揮発性メモリは、不揮発性メモリエクスプレス（ＮＶＭｅ）ドライブとして構成される。ＮＶＭｅドライブは、ＰＣＩエクスプレス（ＰＣＩｅ）インターフェースを使用してメモリへのアクセスを提供する（つまり、シリアルアドバンステクノロジーアタッチメント－ＳＡＴＡ－－コントローラの代わりに）。例えば、各ネットワークストレージには２７テラバイト（ＴＢ）のＮＶＭｅストレージが含まれる。ＮＶＭｅドライブは、ダブルデータレート４（ＤＤＲ４）同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）テクノロジを実装するストレージよりも経済的なゲームパッケージストレージ（ストリーミングアレイのキャッシュストレージなど）を提供する。

【0069】

本開示の実施形態は、ＮＶＭｅレベルのレイテンシでの計算ノードあたり毎秒約４ギガバイト（ＧＢ／ｓ）の帯域幅を超えるネットワークストレージへの高速のアクセスを提供する。これは、一実施形態において、ＰＣＩエクスプレススイッチング技術及びＰＣＩエクスプレスＧｅｎ４（第４世代）などのラック全体のＰＣＩエクスプレスファブリックによって達成される。

【0070】

特に、各ストリーミングアレイは、複数の計算ノード４１２から対応するネットワークストレージ４１１への直接的なアクセスを提供するように構成された対応するＰＣＩｅファブリック４２５（例えば、Ｇｅｎ４）を含み得る。ＰＣＩｅファブリック４２５は、１つまたは複数のアレイレベルのＰＣＩｅスイッチ４０７を含み、各アレイレベルのＰＣＩｅスイッチは、対応する計算スレッドの対応する計算ノードに通信可能に結合され、ネットワークストレージ４１１に通信可能に結合される。図４Ａに示すように、４８個の計算ノードにサービスを提供する３つのアレイレベルのＰＣＩｅスイッチ（４０７ａ、４０７ｂ、及び４０７ｃ）があり、１つまたは複数のアレイレベルのＰＣＩｅスイッチのそれぞれが、データをストリーミングするために、対応する計算スレッドの対応する計算ノードからの通信、及び複数の計算スレッドと対応する計算ノードの管理情報を提供する。

【0071】

説明のために、各アレイレベルのＰＣＩｅスイッチは５２レーンをサポートし、各アレイレベルのＰＣＩｅスイッチは４つの計算スレッド間で共有される。各計算スレッドが４つの計算ノードで構成されている場合、４つの計算スレッドの各グループは、データパス４２６（３×３２レーンを含む）で示されているように、３２レーンを介して、対応するアレイレベルのＰＣＩｅスイッチにアクセスできる。すなわち、各スレッドは、ＰＣＩｅの複数レーン（例えば、８レーン）を有する（例えば、毎秒最大１６ギガバイト）。
例えば、ストリーミングアレイごとに合計３×３２レーンが、対応するＰＣＩｅスイッチ４０７に設けられ、それはマルチレーン（例えば５２レーン）のＰＣＩｅスイッチを有するように構成することができる。しかし、各ＰＣＩｅスイッチは、設計に応じて、ネットワークストレージ４１１に１６レーンしか提供しない場合がある。特に、３つのアレイレベルのＰＣＩｅスイッチ（４０７ａ、４０７ｂ、及び４０７ｃ）は、４８レーン（例えば、３×１６）を含むデータ及び制御パス４２４を介してネットワークストレージ４１１にアクセスし、ネットワークストレージ４１１にアクセスするためのレーンは、１つの計算ノードあたり約１レーン（例えば、４８の計算ノードには４８レーン）である。データ及び制御パス４２４は、前述のように、ネットワークストレージ４１１に格納されたゲームデータへの高速アクセスを可能にする。

【0072】

一実施形態では、ネットワークストレージ４１１は、制御を伝達するためなど、アレイレベル及びスレッドレベルの管理機能（すなわち、図３ＡのＡＭＳ機能のマージ）、及び／またはストリーミングアレイに対する管理情報を含む。

【0073】

さらに、ラックアセンブリ４００Ａは、計算スレッド、ネットワークストレージ、及びネットワークスイッチ間の通信（例えば、制御及びデータ転送）を提供するイーサネットファブリック４０２で構成される。例えば、イーサネットファブリック４０２は、ストリーミングアレイ１と対応するネットワークスイッチ４１０との間の通信をサポートする。特に、イーサネットファブリック４０２は、ネットワークスイッチ４１０を、パス４２２（例えば、毎秒１００ギガビット）を介して、対応するストリーミングアレイのネットワークストレージ４１１に通信可能に結合する。さらに、イーサネットファブリック４０２は、ネットワークスイッチ４１０を、ファブリック４２１を介して、対応するストリーミングアレイの複数の計算ノード４１２に通信可能に結合する。例えば、各計算ノードは、１×１Ｇｂｐｓのイーサネット（例えば、計算ノードと対応するネットワークスイッチ４１０間の４８の計算ノード用のイーサネットファブリック４２１で４８×１Ｇｂｐｓ）を有し、これは「オーディオ／ビデオのストリーミング」に使用される（例えば、放送及び／またはビデオストリーミングサービスへのストリーミング）。

【0074】

さらに、ネットワークスイッチ４１０のそれぞれは、パス４２３を介してクラスタファブリックへのアクセスを提供するクラスタスイッチ４５０に通信可能に結合される（例えば、毎秒２×１００ギガビットの冗長アップストリーム）。一実施形態では、クラスタスイッチ４５０は、別のストリーミングアレイの別のネットワークスイッチに通信可能に結合されて、同じラックアセンブリのストリーミングアレイ間または異なるラックアセンブリ間の通信を提供する。別の実施形態では、クラスタスイッチ４５０は、通信ネットワーク（例えば、インターネット）に通信可能に結合され、ネットワークアーキテクチャ（例えば、ストリーミングアレイ、ラックアセンブリ、及びネットワークストレージ）の外部にあるネットワーク通信を提供する。さらに別の実施形態では、クラスタスイッチ４５０は、複数のゲームアプリケーション（例えば、ゲームクラウドシステム用のゲームタイトルパッケージの完全な補完）を格納するように構成された分散ストレージ（例えば、図２Ｃのストレージ２５０）に通信可能に結合される。

【0075】

一実施形態では、各計算ノードは、「コマンドバッファ」ベースのプロトコルを使用して、ある場所からデータを要求することができる。対応するストリーミングアレイのネットワークストレージ４１１は、データを位置付けることが期待される。特に、計算ノードはダイレクトメモリアクセス（ＤＭＡ）エンジンを使用して、「読み取り動作」中に独自のメモリに移動する。ネットワークストレージ４１１に格納されたデータは、ＲＡＭ及びＮＶＭｅに格納される。ネットワークストレージ４１１のソフトウェアは、ＮＶＭｅからデータを取得する必要がないように、可能な場合はデータがＲＡＭにキャッシュされることを確実にする。多くの計算ノードが同じコンテンツにアクセスすることが予想されるため、キャッシングが可能である。ＤＭＡエンジンを使用するネットワークストレージの構成のより詳細な説明は、図７Ａ～７Ｂで提供される。

【0076】

図４Ｂは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成された、対応するラックアセンブリのストリーミングアレイの中で使用されるＰＣＩｅファブリック及び／またはネットワークを含むネットワークストレージ用のストレージサーバ構成４００Ｂを示し、各ネットワークストレージは、計算ノードの対応するアレイによってアクセス可能である。具体的には、図４Ｂは、図４Ａで導入されたＰＣＩｅファブリック（例えば、ファブリック４２５、４２６など）の高レベルの設計を提供する。例えば、計算ノードとネットワークストレージ４１１との間でデュアルレベルスイッチングファブリックが使用される。

【0077】

ネットワークストレージまたはストレージサーバ構成４００Ｂは、ＣＰＵ４６０（例えば、１×１６コアＣＰＵ）、ＲＡＭ４６５用の８チャネルのＤＤＲ４（例えば、ＤＤＲ４コントローラ４６１によって制御されるものとして）、及びＰＣＩｅインターフェース４７０またはルートコンプレックスを含む。

【0078】

ＰＣＩｅインターフェース４７０から、ＰＣＩｅスイッチングファブリックへの４８レーン、ネットワークストレージ４１１への６４レーン、計算ノードへのネットワーク／インターネットアクセス（例えば、毎秒１００ギガビット）を提供するネットワークインターフェースカード（ＮＩＣ：Network Interface Card）４７５への８レーン（例えば、毎秒１００ギガビット）、及びオペレーティングシステム（ＯＳ）を実行するために必要なメモリ用であるオペレーティングシステム（ＯＳ）ＮＶＭｅドライブ４８０Ａ及び４８０Ｂへの８レーンを含む、様々なコンポーネントへのＰＣＩｅの１２８レーンがある。

【0079】

特に、ネットワークストレージ４１１には、１６個のＮＶＭｅドライブにアクセスするための６４レーン（例えば、ドライブ当たり４レーン）がある。一実施態様では、ネットワークストレージ４１１のアーキテクチャは、１４個のアクティブなＮＶＭｅドライブと、冗長性のための２つのオプションのドライブ（例えば、故障の場合にＮＶＭｅドライブを交換する）を含む。他の実施形態は、設計及び技術に応じて、１４を超えるＮＶＭｅドライブまたは１４未満のＮＶＭｅドライブをサポートする。

【0080】

示されるように、ストリーミングアレイは、複数の計算ノード４１２を含む。計算スレッド４１３は、４つの計算ノードを含むことができ、４つの計算スレッドのグループ（各計算スレッドは４レーンを使用する）は、１６レーンを介して、３６レーンで構成された対応するサブアレイレベルのＰＣＩｅスイッチにアクセスすることができる。例えば、計算スレッド４１３は、１６レーンを介してサブアレイレベルのＰＣＩｅスイッチ４３０Ａにアクセスする。そのため、ストリーミングアレイの４８個の計算ノードを含む１２個の計算スレッドをサポートする１２個のサブアレイレベルのＰＣＩｅスイッチ４３０Ａ、４３０Ｂ、４３０Ｃ、４３０Ｄ、…、及び４３０Ｌ（それぞれ３６レーンで構成）がある。さらに、サブアレイレベルのＰＣＩｅスイッチ４３０Ａ～４３０Ｎは、３つのアレイレベルのＰＣＩｅスイッチ４０７ａ、４０７ｂ、及び４０７ｃに通信可能に結合される。
特に、４つのサブアレイレベルのＰＣＩｅスイッチのグループ（それぞれが３６レーンとして構成）が通信可能に接続され、及び／または対応するアレイレベルのＰＣＩｅスイッチ（例えば、５２レーン）を共有し、各サブアレイレベルのＰＣＩｅスイッチは８レーンを介してアレイレベルのＰＣＩｅスイッチと通信する。例えば、サブアレイレベルのＰＣＩｅスイッチ４３０Ａ、４３０Ｂ、４３０Ｃ、及び４３Ｄを含むグループは、アレイレベルのＰＣＩｅスイッチ４０７ａにアクセスする。アレイレベルのＰＣＩｅスイッチ４０７ａ、４０７ｂ、及び４０７ｃのそれぞれは、１６レーンを介してＰＣＩｅインターフェース４７０またはルートコンプレックスに通信可能に結合され、３つのアレイレベルのＰＣＩｅスイッチ４０７ａ、４０７ｂ、及び４０７ｃが４８レーンにわたりＰＣＩｅインターフェース４７０に通信可能に結合され、計算ノードごとにネットワークストレージ４１１にアクセスするためのレーンが約１つある（例えば、４８の計算ノードに対して４８レーン。

【0081】

図４Ｃは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられた複数の計算ノードを含むストリーミングアレイ４００Ｃの図であり、各ネットワークストレージは計算ノードの対応するアレイによってアクセス可能である。例えば、ストリーミングアレイ４００Ｃは、ラックアセンブリ４００Ａのストリーミングアレイ１またはストリーミングアレイ２であり得る。特に、ストリーミングアレイ４００Ｃは、前述のように、複数の計算スレッド（例えば、アレイごとに１つまたは複数の計算スレッド、各計算スレッドが１つまたは複数の計算ノードを保持する）、ネットワークストレージ４１１、及びＰＣＩｅファブリックを含む。ラックアセンブリ（例えば、ラックアセンブリ４００Ａ）は、１つまたは複数のストリーミングアレイを含むことができるが、ネットワークストレージは、対応するストリーミングアレイの計算ノードによって１対１の関係で使用される。

【0082】

一実施形態では、ネットワークストレージ４１１は、ストリーミングアレイ４００Ｃ内のすべての動作を管理する責任を負う。すなわち、ネットワークストレージ４１１は、図３ＡのラックアセンブリのＡＭＳの機能を組み込んでいる。大まかに２つのクラスの動作を処理している。第１のクラスの動作には、「構成作業」が含まれる。これは、各計算スレッド（例えば、スレッド１～１２）が正常に機能していることを確認することである。これには、スレッドへの電力供給、ソフトウェアが最新であることの確認、ネットワークの構成、ＰＣＩｅスイッチの構成などが含まれる。第２の動作クラスは、クラウドゲームセッションの管理である。これには、対応する計算ノードでのクラウドゲームセッションを設定すること、１つまたは複数の計算ノードへのネットワーク／インターネットアクセスを提供すること、ストレージアクセスを提供すること、及びクラウドゲームセッションを監視することが、含まれる。
したがって、ネットワークストレージ４１１は、対応するストリーミングアレイ４１１の計算ノード及び計算スレッドを管理するように構成され、各計算スレッドは１つまたは複数の計算ノードを含む。例えば、管理には、電力インターポーザに電力供給すべく汎用入出力（ＧＰＩＯ）を使用して計算ノードへの電力供給を有効にすることが含まれる。一実施形態では、計算ノードの制御と監視は、シリアルデータ（例えば、電源のオン／オフ、診断、及びロギング情報）を送達する汎用非同期式送受信（ＵＡＲＴ）信号を使用して、実行され得る。また、ネットワークストレージ４１１は、計算ノードでファームウェアの更新を実行し、計算スレッド及び対応するＰＣＩｅスイッチ３４７の構成を実行するように構成されている。

【0083】

ストリーミングアレイ４００Ｃは、前述のように、計算ノードにＰＣＩエクスプレスを介してストレージを提供するように構成される。例えば、ＰＣＩｅファブリック４２３は、計算スレッドの計算ノードとアレイレベルのＰＣＩｅスイッチ４０７ａ、４０７ｂ、及び４０７ｃとの間のデータパスを提供する。一実施形態では、ＰＣＩエクスプレスファブリック接続は、「パッシブＰＣＩエクスプレスアダプタ」を使用して実施される。なぜなら、各計算スレッドは、ＰＣＩエクスプレスＧｅｎ４スイッチで構成することができ、サブアレイレベルとアレイレベルのＰＣＩｅスイッチと計算スレッドとの間の距離は短くすべきであるからである。さらに、各アレイレベルのＰＣＩｅスイッチは、フォームデータと制御パス４２４を組み合わせた１６レーンを提供する。実施形態において、計算ノードごとの読み取り／書き込みストレージアクセスは、最大５００メガバイト／秒（ＭＢ／ｓ）で提供される。さらに、１つの実施態様では、計算ノードごとのストレージあたり１～２ギガバイト（ＧＢ）があるが、他のサイズのストレージもサポートされる。

【0084】

図５Ａは、本開示の一実施形態による、ＰＣＩｅ（例えば、Ｇｅｎ４－第４世代）通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられた複数の計算ノード（例えば、ノード１～４）を含む計算スレッド５００Ａの図である。図５Ａは、複数の計算ノード（例えば、ノード１～４）及び計算ノードの動作をサポートするための補助ハードウェアを示す。計算スレッドは、以前に図２Ａ～２Ｃ、３Ａ、及び４Ａ～４Ｂで導入されたストリーミングアレイ及び／またはラックアセンブリのいずれかの中に実装できる。

【0085】

各計算スレッド５００Ａは、１つまたは複数の計算ノードを含む。図５Ａは、４つの計算ノード（例えば、ノード１～４）を含む計算スレッドを示すが、１つまたは複数の計算ノードを含む計算スレッドには、任意の数の計算ノードを設けることができることが理解される。計算スレッド５００Ａは、（例えば、計算ノードを介して）計算リソースを提供するハードウェアプラットフォーム（例えば、回路基板）を提供することができる。各計算スレッドには、１つまたは複数の計算ノード（ノード１～４など）が含まれる。ラックアセンブリ内に位置付けられた各計算ノードは、本開示の一実施形態に従って、ＰＣＩｅ通信（例えば、Ｇｅｎ４）を使用して計算ノードにネットワークストレージ（図示せず）への高速アクセスを提供するように構成される。計算ノードには複数のＩ／Ｏインターフェースが含まれる。例えば、計算ノードには、Ｍ．２ポートと、ＰＣＩｅ Ｇｅｎ４（双方向）用の複数のレーンが含まれる場合がある。

【0086】

ＰＣＩｅ（例えば、Ｇｅｎ４）インターフェース（例えば、４レーン）を使用して、追加のデバイスでシステムを拡張できる。特に、ＰＣＩｅインターフェースは、高速ストレージ用のＰＣＩエクスプレススイッチ５２０Ａを含むＰＣＩｅファブリックに接続するために使用される。さらに、計算ノードは、パッチパネル５１０Ａを介したイーサネット接続（例えば、ギガビットイーサネット）を含む。また、計算ノードには、シリアルデータの送信及び／または受信用に構成された１つ以上の汎用非同期式送受信機（ＵＡＲＴ）接続が含まれる。例えば、１つまたは複数のＵＡＲＴポートが存在する場合があり、これらは管理目的で使用される（例えば、計算ノードをボード管理コントローラ（ＢＭＣ:Board Management Controller）／ＵＡＲＴ／ＧＰＩＯコントローラ５５０）に接続するなど）。ポートは、「電源オン」、「電源オフ」、及び診断などのリモート制御動作に使用できる。別のＵＡＲＴポートは、シリアルコンソール機能を提供する。

【0087】

図示のように、計算スレッド５００Ａは、アレイレベルのＰＣＩｅファブリックに８つのＰＣＩｅレーンを提供するＰＣＩｅスイッチボード５２０Ａを含む。また、計算スレッド５００Ａは、前述のように、計算ノード（例えば、ノード１～４）とラックレベルネットワークスイッチ（図示せず）との間のイーサネットケーブルを接続するように構成されたイーサネットパッチパネル５１０Ａを含む。計算スレッド５００Ａは、管理パネル５３０Ａを含む。例えば、管理パネル５３０Ａは、ＬＥＤやボタンなどのステータスを与えることができる。

【0088】

計算スレッド５００Ａは、１つまたは複数のバスバー接続を介して計算スレッドに電力を供給するように構成された電力インターポーザボード５４０Ａを含む。ラック管理バスは、スレッド管理制御信号を提供するように構成することができる。各計算ノードはまた、バスバー接続を介して電力インターポーザ５４０Ａに接続された電力入力コネクタ（例えば、設計された電力消費のための１２ボルト）を含む。

【0089】

図５Ｂは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に位置付けられた複数の計算ノードを含む計算スレッド５００Ｂの図であり、各計算ノードは、ネットワークへのアクセス用に構成されるネットワークインターフェースカード（ＮＩＣ）を含む。ラックアセンブリは、ＰＣＩｅ（Ｇｅｎ４－第４世代など）通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されている。計算スレッド５００Ｂは、図２Ａ～２Ｃ、３Ａ、及び４Ａ～４Ｂで導入されたストリーミングアレイ及び／またはラックアセンブリのいずれかの中に実装できる。計算スレッド５００Ｂは計算スレッド５００Ａに似ているが、変更が加えられている。

【0090】

各計算スレッドは、４つの計算ノード（例えば、ノード１０４などの１つまたは複数の計算ノードを含む。計算スレッド５００Ａは、（例えば、計算ノードを介して計算リソースを提供するハードウェアプラットフォーム（例えば、回路基板）を提供することができる。ラックアセンブリ内に位置付けられた各計算ノードは、本開示の一実施形態に従って、ＰＣＩｅ通信（例えば、Ｇｅｎ４）を使用して計算ノードにネットワークストレージ（図示せず）への高速アクセスを提供するように構成される。計算ノードには複数のＩ／Ｏインターフェースが含まれる。例えば、計算ノードには、Ｍ．２ポートと、ＰＣＩｅ Ｇｅｎ４（双方向）用の複数のレーンが含まれる場合がある。計算ノードは、管理目的で構成された１つまたは複数のＵＡＲＴポートなど、シリアルデータを送受信するように構成された１つまたは複数のＵＡＲＴ接続を含むことができる（例えば、計算ノードをＢＭＣ５４５に接続する）。ポートは、「電源オン」、「電源オフ」、及び診断などのリモート制御動作に使用できる。別のＵＡＲＴポートは、シリアルコンソール機能を提供する。

【0091】

特に、計算スレッド５００Ｂはイーサネットパッチパネル５１０Ｂを含み、それは、イーサネット通信（例えば、ギガビットイーサネット）を計算ノードに提供するように構成され、前に説明したように、例えば、計算ノード（例えば、ノード１～４のそれぞれに位置付けられたＮＩＣ、ただし図示せず）とラックレベルのネットワークスイッチ（図示せず）の間をイーサネットケーブルで接続することによる。

【0092】

計算スレッド５００Ｂは、アレイレベルのＰＣＩｅファブリックに８つのＰＣＩｅレーンを提供するＰＣＩｅスイッチ５２０Ｂを含むスレッドスイッチ５２５Ｂと、高速ストレージ用のネットワークストレージ（例えば、少なくとも毎秒１６ギガバイトの双方向データ転送）とを含む。特に、ＰＣＩｅスイッチ５２０Ｂは、３６レーンで構成することができ、そのうち３３レーンが使用される（例えば、計算ノード当たり４レーン）。計算ノードへのＰＣＩｅ（例えば、Ｇｅｎ４）インターフェース（例えば、４レーン）を使用して、追加のデバイスでシステムを拡張できる。

【0093】

さらに、ＰＣＩｅスイッチ５２０Ｂの１つのレーンは、ボード管理制御用のボード管理コントローラ（ＢＭＣ）５４４との通信用に予約されている（例えば、ＰＣＩｅファブリックへの毎秒１ギガビット）。例えば、ＢＭＣ５４４によって提供されるボード管理には、計算ノードの制御、監視、及び管理が含まれ、各計算ノードのシリアルデータ（例えば、電源のオン／オフ、診断、及びロギング情報）を送達する汎用非同期式送受信（ＵＡＲＴ）信号を使用して、実行される。さらに、ＢＭＣ５４４は、電磁エネルギーを制御するための電磁適合性（ＥＭＣ）制御を提供し、ＵＡＲＴ信号を使用して遅延をデバッグするように構成することができる。ＢＭＣ５４４は、電力インターポーザ５４０Ｂへの汎用入出力（ＧＰＩＯ）を使用して計算ノードへの電力制御／送達を可能にするように構成することができる。ＢＭＣ５４４は管理パネル５３０Ｂに制御ステータス発光ダイオード（ＬＥＤ）を提供するように構成され得、それはＬＥＤ及びボタンを使用してステータスを与えるようにさらに構成される。ＢＭＣ５４４は、温度と電圧を監視するように構成されている。また、ＢＭＣ５４４は、冷却用に構成されたファン５６０Ｂを管理するように構成されている。ＢＭＣ５４４は、ボード管理用のイーサネット接続を管理するようにも構成されている。

【0094】

電源インターポーザボード５４０Ｂは、１つまたは複数のバスバー接続を介して計算スレッドに電力（例えば、１２ボルトまたは４８ボルトの直流－ＤＣ）を供給するように構成される。各計算ノードはまた、バスバー接続を介して電力インターポーザ５４０Ｂに接続された電力入力コネクタ（例えば、設計された電力消費のための１２または４８ボルト）を含む。

【0095】

図５Ｃは、本開示の一実施形態による、ネットワークにアクセスするために１つ以上の計算ノードによりアクセス可能な少なくとも１つのネットワークインターフェースカード（ＮＩＣ）を含むＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に位置付けられた複数の計算ノードを含む計算スレッド５００Ｃの図であり、各ネットワークストレージが、計算ノードの対応するアレイによってアクセス可能である。ラックアセンブリは、ＰＣＩｅ（Ｇｅｎ４－第４世代など）通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されている。計算スレッド５００Ｂは、図２Ａ～２Ｃ、３Ａ、及び４Ａ～４Ｂで導入されたストリーミングアレイ及び／またはラックアセンブリのいずれかの中に実装できる。計算スレッド５００Ｂは計算スレッド５００Ａに似ているが、変更が加えられている。

【0096】

計算スレッド５００Ｃは、図５Ｂの計算スレッド５００Ｂと同様に構成され、同様の番号のコンポーネントを同様の機能を提供する。しかし、計算スレッド５００Ｃは、前述のように（例えば、ネットワークスイッチを介して）、イーサネットを介してイーサネットファブリックに接続するネットワークを提供するように構成されたイーサネットＮＩＣ５７０の追加も少なくとも含む。特に、ＮＩＣ５７０は、アレイレベルのＰＣＩｅスイッチに通信可能に結合され、これにより、各計算ノードがＰＣＩスイッチにアクセスできるようになる。ＮＩＣ５７０は、計算スレッド５００Ｃの各計算ノード（例えば、１～４）によって提供されるＮＩＣ接続（例えば、毎秒１ギガビット）よりも高速であり得る代替的な高速のデータ転送（例えば、毎秒１０ギガビット、２５Ｇｂｐｓ、さらには１００Ｇｂｐｓ）を提供する。

【0097】

イーサネットＮＩＣ５７０は、単一のＮＩＣコンポーネントとして、またはマルチホストＮＩＣとして構成することができる。マルチホストアダプタにより、複数のシステム（計算ノードなど）間での物理的な共有が可能になる。別の実施形態では、計算ノードごとに１つのＮＩＣを提供する４つの個別のイーサネットアダプタまたはＮＩＣが存在し得る。

【0098】

図６は、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの中に位置付けられたスレッドレベルＰＣＩｅスイッチ６００の図である。

【0099】

スレッドＰＣＩｅスイッチ６００は、２つの役割を有する対応する計算スレッド内の回路基板として構成することができる。第１に、一実施形態では、スレッドレベルのＰＣＩｅスイッチ６００は、個々の計算ノード（例えば、４つの計算ノード）を、「不透明ブリッジ」（ＮＴＢ）により、ＰＣＩｅ（例えば、Ｇｅｎ４）バス６２０を介してＡＭＳ及び対応するネットワークストレージに接続する「ファブリックの役割」を有する。第２に、スレッドレベルのＰＣＩｅスイッチ６００は、ＵＡＲＴ及びＧＰＩＯ信号がスレッドの管理のために設けられる「管理の役割」がある。

【0100】

特に、ＰＣＩｅ（Ｇｅｎ４など）接続は、外部ケーブルコネクタ、内部ケーブルコネクタ、及びＰＣＩｅエッジコネクタによって設けられる。例えば、８レーンのＰＣＩｅ（例えば、Ｇｅｎ４）外部ケーブル接続６２０を使用して、計算スレッドをストレージワークロード用のネットワークストレージに接続することができる。第２のＰＣＩｅファブリックへの第２の外部ＰＣＩｅ（例えば、Ｇｅｎ４）接続６２５は、ＡＭＳに接続する。例えば、第２のＰＣＩｅ接続には１つのレーンが含まれる場合がある。これは、主に管理機能に使用され、補助ストレージ機能を備えているためである。

【0101】

さらに、内部ＰＣＩｅ（例えば、Ｇｅｎ４）ケーブルコネクタ６１０を使用して、ケーブルを使用してスレッドＰＣＩｅスイッチ５２０を、対応するＭ．２インターフェースを介して計算ノードのそれぞれに接続することができる。他の接続手段が実装されてもよい。例えば、Ｍ．２接続インターフェースを使用する代わりに、他のコネクタ及び／またはＯＣｕＬｉｎｋ、Ｓｌｉｍｌｉｎｅ ＳＡＳなどのコネクタインターフェースを使用できる。

【0102】

ＵＡＲＴ及びＧＰＩＯコントローラ５５０の形態の管理インターフェースは、ＡＭＳ（図示せず）によって使用され、個々の計算ノードと通信し、電力を管理する。ＡＭＳは、計算ノードごとに複数（例えば２つ）のＵＡＲＴインターフェースを使用して、管理目的（例えば、電源のオン／オフ診断、ロギングなど）に使用する。ＧＰＩＯ機能は、接続６３０を介して電力インターポーザボードを介して各計算ノードへの電力供給を管理するために使用される。これは、前述のように、接続６３０を介して管理パネル（例えば、ＬＥＤ及びボタン用）にも接続する。

【0103】

スレッドレベルＰＣＩｅスイッチ６００は、ＰＣＩｅ（例えば、Ｇｅｎ４）スイッチ５２０を含み得る。また、複数（例えば、４つ）の非透過（ＮＴ）ブリッジングインターフェースを含めることができる。さらに、複数（例えば、４つ）のＤＭＡ（ダイレクトメモリアクセス）エンジンを含めることができる。

【0104】

さらに、ＵＡＲＴ／ＧＰＩＯコントローラ５５０が構成され、ＰＣＩｅスイッチへのＰＣＩｅインターフェース、複数（例えば、８個）のＵＡＲＴチャネル６４０、及び電力インターポーザ及び管理パネルへの複数（８個）のＧＰＩＯ接続を含む。

【0105】

さらに、ネットワークストレージアクセス用のＰＣＩｅファブリックへのコネクタがある。例えば、一実施態様では、ＰＣＩｅファブリックからネットワークストレージへの８レーンの外部ＰＣＩｅコネクタ６２０が設けられる。

【0106】

前述のように、ＡＭＳへのアクセスを提供する第２のＰＣＩｅファブリックへの１レーンの外部ＰＣＩｅコネクタ６２５も、スレッドレベルのＰＣＩｅスイッチボード６００内に設けられる。１つ以上のＰＣＩｅエッジコネクタも設けられ得る。

【0107】

さらに、計算ノードへの４つのマルチレーン（例えば、４レーン）の内部ＰＣＩｅ接続６１０が設けられ得る。例えば、各計算ノードには４つのレーンがある。

【0108】

電力インターポーザまでＧＰＩＯコネクタ６３０が含まれていてもよい。例えば、計算ノードごとに１つずつ、合計４つの信号が必要である。

【0109】

管理パネルへの４つの二重／ペアのＵＡＲＴコネクタがあり得る。例えば、各計算ノードには、１つの実施態様で２つのＵＡＲＴインターフェースがある。他の実施態様では、各計算ノードが２つ未満のＵＡＲＴインターフェース、または２つを超えるＵＡＲＴインターフェースを有する場合がある。

【0110】

接続６３０を介してスレッドに電力を供給する電力インターポーザを含めることができる。本開示の一実施形態によれば、計算スレッドは、ＰＣＩｅ通信を使用して計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に位置付けられた複数の計算ノードを含むことができる。一実施形態では、電力インターポーザは、ラックの１２Ｖバスバーから計算スレッドに電力を供給する。
他の実施形態では、４８ボルトなどの他の電圧がラックコンポーネントに電力を供給するために使用される。例えば、より高い電圧（例えば４８ボルト）を電力効率の目的で使用してもよい。特定の電圧（例えば、１２ボルト）を必要とするコンポーネントの場合、電力インターポーザを使用して電力を変換することができる。例えば、電力インターポーザは、４８ボルト（または何らかの他の電圧）を１２ボルトに下げて変換するための変換ロジック（例えば、ＤＣ－ＤＣコンバータ）を含むことができる。これは、計算ノードといずれかの補助ハードウェアに電力を供給するために使用される。計算ノードへの電力供給は、スレッドＰＣＩｅスイッチによるＧＰＩＯによって制御できる。各計算ノードには、電力を有効化／無効化する専用の信号が存在し得る。

【0111】

また、電力インターポーザボードを監視するために、ラック管理制御インターフェースが、ラック管理コントローラ（ＲＭＣ）に提供される。これにより、電圧、電流、温度などの診断情報が提供される。ラック管理制御インターフェースには電圧及び／または電流情報、及び温度が含まれ得る。

【0112】

電源ステータス情報は、ＧＰＩＯ信号を使用して管理パネルに配信される。これには、各計算ノードの電力ステータスならびに電力インターポーザの１２Ｖステータスが含まれる。さらに、バス（例えば、１２ボルト）バーインターフェースが提供される。

【0113】

例えば、電源バスの電源が入っているときに計算スレッドの追加及び／または除去するためのホットプラグサポートがある場合がある。例えば、電力は１２ボルトまたはその他のレベルで供給され得る。補助コンポーネントへの電圧はより低い場合があり（例えば、６ボルト未満）、これは電力バスの１２ボルトから生成することができる。

【0114】

管理パネルは計算スレッドの前面に位置付けられたボード／パネルを含む場合があり、ＬＥＤでスレッドのステータスを示す。各計算ノードには、制御ステータス情報を提供する２つのＬＥＤがあり得る。第１のものは、ソフトウェア制御可能なＧＰＩＯ信号を使用して、スレッドＰＣＩｅスイッチから電力を供給される。第２のＬＥＤは電力インターポーザボードからのもので、電力のステータス（電圧レベルなど）を示す。電力インターポーザボードからのグローバルな電源ステータスは、スレッドの全体的な電源のステータスを示す。

【0115】

図７Ａは、本開示の一実施形態による、計算ノード７１０とストリーミングアレイのネットワークストレージ４１１との間のデータフローの図であり、メモリアクセスは、ネットワークストレージのストレージドライブのダイレクトメモリアクセス（ＤＭＡ）エンジンによって駆動される。特に、図７Ａに示されるデータフロー（例えば、ゲームデータフロー）は、各ＮＶＭｅドライブに位置付けられたＤＭＡエンジンがどのように計算ノードにデータを転送するかを示している。
例えば、図７Ａのデータフローは、図２Ａ～２Ｂ、３Ａ～３Ｂ、及び４Ａ～４Ｃで以前に紹介されたストリーミングアレイにおけるデータフローを表すことができる。各ストリーミングアレイ及び／またはストリーミングアレイごとのネットワークストレージは、ユーザがラックアセンブリ内でプレイしているゲームパッケージをキャッシュする。例えば、人気のタイトルはすべてのラックで利用できる。ユーザが、対応するラックアセンブリにないゲームタイトル（例えば、「キャッシュミス」）を要求すると、ラックアセンブリは、セッションの間に、ゲームタイトルを分散ストレージ（またはデータセンターストレージ）からラックアセンブリに転送するように要求する。

【0116】

前述のように、ゲームパッケージは、ネットワークストレージ４１１で複数のＮＶＭｅドライブに亘ってストライピングされ、負荷の分散とホットスポット（つまり、ドライブの過度の使用）の防止が行われる。特に、ネットワークストレージ４１１の管理は、すべてのＮＶＭｅドライブに亘って異なるデータストレージ方法（例えば、ＲＡＩＤストライピング）を実装することができる。例えば、前述のように、連続して保存されるゲームタイトルは、負荷分散のために異なるＮＶＭｅドライブで開始され得る。機械学習を実装して、ゲームタイトルの現在及び予測される需要に基づいて、特定の期間にどのゲームタイトルを保持すべきで、どれを削除するかを決定することができる。さらに、ネットワークストレージ４１１のソフトウェアは、ＮＶＭｅからデータを取得する必要がないように、可能な場合はデータがＲＡＭにキャッシュされることを確実にする。多くの計算ノードが同じコンテンツにアクセスすることが予想されるため、キャッシングが可能である。

【0117】

特に、ステップ１で、計算ノード７１０は、ＰＣＩｅスイッチ４０７を介してネットワークストレージ４１１からデータを要求する。ネットワークストレージ４１１は、ＮＶＭｅドライブ（例えば、ドライブ７４０Ａ～７４０Ｎ）からのデータ検索を処理するように構成される。具体的には、ステップ２で、ネットワークストレージ４１１のストレージドライバ７２０（例えば、ＲＡＩＤドライバ）が要求を受信し、計算ノード７１０からのデータ要求を処理して、データが格納されている１つのＮＶＭｅドライブまたは複数のＮＶＭｅドライブを位置付ける。説明の目的で、データは、データの要求のためにＮＶＭｅドライブ７４０Ａに位置付けられ得るが、データは複数のドライブに亘ってストライピングされ得る（例えば、ゲームアプリケーションのゲームパッケージ用）。
ＮＶＭｅドライブは共有できない（ＳＲ－ＩＯＶを除く）ため、ネットワークストレージ４１１は各ジョブまたは要求の提出／完了キューを管理するように構成されている。図示のように、ストレージドライバ７２０は、対応するオフセット、サイズ、及び宛先アドレスと共に、適切なＮＶＭｅドライブ（複数可）のデータ検索のためのコマンドをキューに入れる。宛先アドレスは、計算ノードのＮＴＢ（不透明ブリッジ）マップＲＡＭを含む、ネットワークストレージのメモリマップ内の任意のアドレスにすることができる。例えば、データに対する要求は、ＮＶＭｅドライブ７３０Ａのためにキューに入れることができる。
対応するＮＶＭｅドライブ（複数可）がデータにアクセスした後、その１つまたは複数のドライブは、完了キューに書き戻し、要求が処理されたことを示す（例えば、システムは、読み取りまたは書き込み動作が対応するＮＶＭｅドライブ（複数可）において完了したことを示す更新をもたらす割り込みを受け取る）。このようにして、要求している計算ノード７１０は、データの検索について通知を受けることができる。ステップ３で、対応するＮＶＭｅドライブ（複数可）（例えば、ＮＶＭｅドライブ７３０Ａ）のＤＭＡエンジン７４０Ａは、データを、ＰＣＩｅスイッチ４０７を介して計算ノード７１０のメモリに直接転送する。図示のように、ＮＶＭｅドライブの各々は、対応するＤＭＡエンジンを有する（例えば、ＮＶＭｅドライブ７３０ＮはＤＭＡエンジン７４０Ｎを有する）。
例えば、要求されたデータは、計算ノード７１０のＲＡＭ７１１（例えば、ＭＰ４ ＲＡＭ）に格納され得る。例えば、計算ノードは、ＮＶＭｅドライブのＤＭＡエンジンを使用して、読み取り動作などの間、データを計算ノードのメモリに格納する。このようにして、データはＮＶＭｅドライブから各計算ノードに直接転送される。

【0118】

図７Ｂは、本開示の一実施形態による、複数の計算ノードとアレイのネットワークストレージとの間のデータフローの図であり、メモリアクセスは、ネットワークストレージのストレージドライブとは別個のＤＭＡエンジンによって駆動される。特に、図７Ｂに示されるデータフロー（例えば、ゲームデータフロー）は、ＰＣＩｅスイッチ４０７に位置付けられたＤＭＡエンジン７４１がネットワークストレージ４１１から対応するストリーミングアレイの計算ノードにデータを転送する方法を示す。
例えば、図７Ｂのデータフローは、図２Ａ～２Ｂ、３Ａ～３Ｂ、及び４Ａ～４Ｃで以前に紹介されたストリーミングアレイにおけるデータフローを表すことができる。各ストリーミングアレイ及び／またはストリーミングアレイごとのネットワークストレージは、ユーザがラックアセンブリ内でプレイしているゲームパッケージをキャッシュする。例えば、人気のタイトルはすべてのラックで利用できる。ユーザが、対応するラックアセンブリにないゲームタイトル（例えば、「キャッシュミス」）を要求すると、ラックアセンブリは、セッションの間に、ゲームタイトルを分散ストレージ（またはデータセンターストレージ）からラックアセンブリに転送するように要求する。

【0119】

前述のように、ゲームパッケージは、ネットワークストレージ４１１で複数のＮＶＭｅドライブに亘ってストライピングされ、前述のように負荷の分散とホットスポット（つまり、ドライブの過度の使用）の防止が行われる。特に、ネットワークストレージ４１１の管理は、すべてのＮＶＭｅドライブに亘って異なるデータストレージ方法（例えば、ＲＡＩＤストライピング）を実装することができる。

【0120】

図７Ｂに示されるように、ＤＭＡエンジン７４１は、ＮＴＢを含むＰＣＩｅスイッチ４０７に位置付けられ、対応するＮＶＭｅドライブ（複数可）は、データをネットワークストレージ４１１のＲＡＭ７６０に転送し、ネットワークストレージ４１１は、次いでデータをＲＡＭ７６０から計算ノードに転送する。特に、ステップ１で、計算ノード７１０は、ＰＣＩｅスイッチ４０７を介してネットワークストレージ４１１からデータを要求する。ネットワークストレージ４１１は、ＮＶＭｅドライブ（例えば、ドライブ７４０Ａ～７４０Ｎ）からのデータ検索を処理するように構成される。具体的には、ステップ２で、ネットワークストレージ４１１のストレージドライバ７２０（例えば、ＲＡＩＤドライバ）が要求を受信し、計算ノード７１０からのデータの要求を処理して、データが格納されているＮＶＭｅドライブまたは複数のドライブを位置付ける。説明の目的で、データは、データの要求のためにＮＶＭｅドライブ７４０Ａに位置付けられ得るが、データは複数のドライブにわたってストライピングされ得る（例えば、ゲームアプリケーションのゲームパッケージ用）。
ＮＶＭｅドライブは共有できない（ＳＲ－ＩＯＶを除く）ため、ネットワークストレージ４１１は各ジョブまたはリクエストの提出／完了キューを管理するように構成されている。図示のように、ストレージドライバ７２０は、対応するオフセット、サイズ、及び宛先アドレスと共に、適切なＮＶＭｅドライブ（複数可）のデータ検索のためのコマンドをキューに入れる。宛先アドレスは、計算ノードのＮＴＢ（不透明ブリッジ）マップＲＡＭを含む、ネットワークストレージのメモリマップ内の任意のアドレスにすることができる。例えば、データに対する要求は、ＮＶＭｅドライブ７３０Ａのためにキューに入れることができる。対応するＮＶＭｅドライブ（複数可）がデータにアクセスした後、その１つまたは複数のドライブは、完了キューに書き戻し、要求が処理されたことを示す（例えば、システム３は、読み取りまたは書き込み動作が対応するＮＶＭｅドライブ（複数可）において完了したことを示す更新をもたらす割り込みを受け取る）。このようにして、要求している計算ノード７１０は、データの検索について通知を受けることができる。

【0121】

ステップ３で、ＮＶＭｅドライブ７３０Ａは、宛先アドレスとしてネットワークストレージ４１１のＲＡＭ７６０を使用する。データは最初にＲＡＭ７６０に格納されるため、需要の高いデータをキャッシュすることができる。例えば、ゲームタイトルがキャッシュされる場合があり、複数のユーザがそのゲームのプレイを要求している。例として、キャッシングにより、６４キビバイト（ｋｉＢ）要求のＮＶＭｅドライブから最適な１２８ｋｉＢの要求のサイズでの読み取りが可能になる。ＮＶＭｅドライブ７３０Ａからネットワークストレージ４１１のＲＡＭ７６０へのデータの転送が完了すると、ステップ４で、ネットワークストレージ４１１は、データを要求する計算ノード７１０のＲＡＭ７１１（例えば、ＭＰ４）へのＤＭＡ転送をスケジュールする。ステップ５で、ＤＭＡエンジン７４１はＲＡＭ７６０からデータを取得する。ステップ６で、ＰＣＩｅスイッチ４０７のＤＭＡエンジン７４１は、ＰＣＩｅスイッチ４０７を介して計算ノード７１０のメモリにデータを戻す。例えば、要求されたデータは、計算ノード７１０のＲＡＭ７１１（例えば、ＭＰ４ ＲＡＭ）に格納され得る。

【0122】

図８は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス８００のコンポーネントを示す。例えば、図８は、本開示の実施形態による、ラックアセンブリ内などの対応するストリーミングアレイの中で構成された、対応する計算スレッドの計算ノードに至るネットワークストレージへの高速アクセスを提供するのに適した例示的なハードウェアシステムを示す。このブロック図は、各々が本発明の実施形態を実施するために適した、パーソナルコンピュータ、サーバコンピュータ、ゲームコンソール、モバイルデバイス、または他のデジタルデバイスを組み込むことができる、またはそれらであり得るデバイス８００を示す。デバイス８００は、ソフトウェアアプリケーション及び任意選択的にオペレーティングシステムを動作させる中央処理装置（ＣＰＵ）８０２を含む。ＣＰＵ８０２は、１つまたは複数の同種または異種の処理コアで構成され得る。

【0123】

様々な実施形態によれば、ＣＰＵ８０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態は、ゲーム実行中のグラフィック処理のために構成されたアプリケーションの、媒体及び双方向エンターテインメントアプリケーションなどのきわめて並列かつ計算集約的なアプリケーションに特に適合されたマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用し、実装することができる。

【0124】

メモリ８０４は、ＣＰＵ８０２及びＧＰＵ８１６が使用するアプリケーション及びデータを記憶する。ストレージ８０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、かつ、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含み得る。
ユーザ入力デバイス８０８は、１人または複数のユーザからのユーザ入力をデバイス８００に伝達し、その例は、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルもしくはビデオレコーダ／カメラ、及び／またはマイクロフォンを含み得る。ネットワークインターフェース８０９は、デバイス８００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、かつ、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークを介する有線または無線通信を含み得る。
オーディオプロセッサ８１２は、ＣＰＵ８０２、メモリ８０４、及び／またはストレージ８０６によって提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合されている。ＣＰＵ８０２、ＧＰＵ８１６を含むグラフィックサブシステム、メモリ８０４、データストレージ８０６、ユーザ入力デバイス８０８、ネットワークインターフェース８０９、及びオーディオプロセッサ８１２を含むデバイス８００のコンポーネントは、１つ以上のデータバス８２２を介して接続されている。

【0125】

グラフィックサブシステム８１４がさらに、データバス８２２及びデバイス８００のコンポーネントと接続されている。グラフィックサブシステム８１４は、少なくとも１つのグラフィック処理ユニット（ＧＰＵ）８１６及びグラフィックメモリ８１８を含む。グラフィックメモリ８１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えば、フレームバッファ）を含む。グラフィックメモリ８１８は、ＧＰＵ８１６と同じデバイスに統合する、ＧＰＵ８１６に別個のデバイスとして接続する、かつ／またはメモリ８０４内に実装することができる。画素データは、ＣＰＵ８０２から直接グラフィックメモリ８１８へ提供することができる。
他の形態では、ＣＰＵ８０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ８１６に提供し、ＧＰＵ８１６は、そこから、１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ８０４及び／またはグラフィックメモリ８１８に格納することができる。実施形態において、ＧＰＵ８１６は、シーンの形状、照明、陰影、質感、動き、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ８１６はさらに、シェーダプログラムを実行可能な１つまたは複数のプログラム可能実行ユニットを含み得る。

【0126】

グラフィックサブシステム８１４は、ディスプレイデバイス８１０に表示されるように、または投影システム（図示せず）によって投影されるように、グラフィックメモリ８１８から画像用の画素データを定期的に出力する。ディスプレイデバイス８１０は、デバイス８００からの信号に応じて視覚情報を表示可能である任意のデバイスであり得、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス８００は、ディスプレイデバイス８１０に、例えばアナログ信号またはデジタル信号を提供することができる。

【0127】

他の実施形態では、グラフィックサブシステム８１４は、対応するＣＰＵ上で実行されている単一のアプリケーションのためにグラフィック処理を実行するために組み合わされる複数のＧＰＵデバイスを含む。例えば、複数のＧＰＵは、画像フレームのオブジェクトをレンダリングする前に、インターリーブされる可能性のある画面領域に対してジオメトリを事前にテストすることにより、アプリケーションのジオメトリの複数のＧＰＵレンダリングを実行できる。
他の例では、複数のＧＰＵは、フレームのレンダリングの他の形式を実行でき、この場合、ＧＰＵ１は最初のフレームをレンダリングし、ＧＰＵ２は２番目のフレームを連続したフレーム期間でレンダリングし、最後のＧＰＵに到達すると、最初のＧＰＵが次のビデオフレームをレンダリングする（例えば、ＧＰＵが２つしかない場合、ＧＰＵ１は３番目のフレームをレンダリングする）。つまり、フレームをレンダリングするときにＧＰＵが回転する。レンダリング動作は重複する可能性があり、それにおいて、ＧＰＵ１が最初のフレームのレンダリングを終了する前にＧＰＵ２が２番目のフレームのレンダリングを開始できる。
他の形態では、複数のＧＰＵデバイスに、レンダリング及び／またはグラフィックスパイプラインで異なるシェーダー動作を割り当てることができる。マスターＧＰＵがメインのレンダリングと合成を実行している。例えば、３つのＧＰＵを含むグループでは、マスターＧＰＵ１がメインレンダリング（例えば、最初のシェーダー動作）を実行し、スレーブＧＰＵ２とスレーブＧＰＵ３からの出力の合成を実行でき、スレーブＧＰＵ２は２番目のシェーダー（例えば、川などの流体エフェクト）動作を実行でき、スレーブＧＰＵ３は３番目のシェーダー（例えば、粒子の煙）動作を実行でき、マスターＧＰＵ１は、ＧＰＵ１、ＧＰＵ２、及びＧＰＵ３のそれぞれからの結果を合成する。
このようにして、様々なＧＰＵを割り当てて、様々なシェーダー動作（フラグを振る、風、煙の発生、火など）を実行してビデオフレームをレンダリングできる。さらに別の実施形態では、３つのＧＰＵのそれぞれを、ビデオフレームに対応するシーンの異なるオブジェクト及び／または部分に割り当てることができる。上記の実施形態及び実施態様では、これらの動作は、同じフレーム期間で（同時に並行して）、または異なるフレーム期間で（順次並列に）実行することができる。

【0128】

したがって、本開示は、ラックアセンブリ内などの、対応するストリーミングアレイ内に構成された対応する計算スレッドの計算ノードに至るネットワークストレージへの高速アクセスを提供するように構成される方法及びシステムについて説明する。

【0129】

本明細書で定められる様々な実施形態が、本明細書に開示する様々な特徴を使用し、特定の実施態様に結合され得る、または組み込まれ得ることを理解されたい。したがって、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施態様を規定することが可能な様々な実施態様に制限を加えるものではない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。

【0130】

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能な消費者向け電気製品、ミニコンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

【0131】

上記の実施形態を念頭に置いて、本開示の実施形態がコンピュータシステムに格納されたデータを含む様々なコンピュータ実装の動作を使用し得ることを理解されたい。これらの動作は、物理量の物理的操作を必要とする動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。開示の実施形態はまた、これら動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築することができる。または、装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータであってもよい。詳細には、本明細書の教示にしたがって書かれたコンピュータプログラムと共に様々な汎用マシンを使用することができる。または、必要な動作を実行するためにさらに特化した装置を構築するほうがより好都合な場合もある。

【0132】

本開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み出され得るデータを格納できる任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスを含む。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。

【0133】

方法の動作を特定の順序で記載したが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他のハウスキーピング動作が実行されてよく、または動作がわずかに異なる時間に起こるように調整されてよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてよいことを、理解すべきである。

【0134】

前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてよい。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図6】

【図7A】

【図7B】

【図8】