特許 7486492 スケーラブル対話型ビデオシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-09

(45)【発行日】2024-05-17

(54)【発明の名称】スケーラブル対話型ビデオシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240510BHJP

   A63F 13/30 20140101ALI20240510BHJP

   A63F 13/42 20140101ALI20240510BHJP

   A63F 13/52 20140101ALI20240510BHJP

   G06T 19/00 20110101ALI20240510BHJP

【ＦＩ】

G06F3/01 510

A63F13/30

A63F13/42

A63F13/52

G06T19/00 300A

【請求項の数】 40

(21)【出願番号】P 2021535914

(86)(22)【出願日】2019-12-19

(65)【公表番号】

(43)【公表日】2022-02-28

(86)【国際出願番号】 US2019067632

(87)【国際公開番号】W WO2020132340

(87)【国際公開日】2020-06-25

【審査請求日】2022-12-13

(31)【優先権主張番号】62/783,544

(32)【優先日】2018-12-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/268,129

(32)【優先日】2019-02-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511077292

【氏名又は名称】ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】イエ ウェイ チェン

(72)【発明者】

【氏名】コサイル トラヴィス ジョン

【審査官】槙 俊秋

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２８８１３３（ＵＳ，Ａ１）

【文献】米国特許第９５９７５８７（ＵＳ，Ｂ２）

【文献】米国特許第７８３７５４３（ＵＳ，Ｂ２）

【文献】米国特許出願公開第２００８／００４５３４２（ＵＳ，Ａ１）

【文献】米国特許第９１３５６３５（ＵＳ，Ｂ２）

【文献】米国特許第９１３６８７８（ＵＳ，Ｂ２）

【文献】米国特許第９１７８５３５（ＵＳ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／３０

Ａ６３Ｆ １３／４２

Ａ６３Ｆ １３／５２

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

対話型ビデオシステムの分散制御システムであって、
複数のノードを相互接続するスイッチ型ファブリックネットワークを備え、
前記スイッチ型ファブリックネットワークが、
前記対話型ビデオシステムの参加者の走査データを収集するように構成されたセンシングユニットを含む、前記複数のノードの入力ノードと、
前記複数のノードの処理ノードの第１セットであって、前記処理ノードの第１セットは、前記参加者の走査データに少なくとも一部基づいて、前記参加者の仮想表現を生成するよう構成され、前記入力ノードは、前記スイッチ型ファブリックネットワークの第１スイッチを介して前記処理ノードの第１セットに通信可能に結合される、前記複数のノードの処理ノードの第１セットと、
前記複数のノードの出力ノードであって、前記出力ノードは、仮想環境における前記参加者の仮想表現を提示するように構成された出力デバイスを含み、前記出力ノードは、前記スイッチ型ファブリックネットワークの第２スイッチを介して前記入力ノードに通信可能に結合される、前記複数のノードの出力ノードと、
を含む、対話型ビデオシステムの分散制御システム。

【請求項2】

前記スイッチ型ファブリックネットワークは、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）接続性を用いて実装される、
請求項１に記載の分散制御システム。

【請求項3】

前記スイッチ型ファブリックネットワークは、前記複数のノードの処理ノードの第２セットを含み、前記処理ノードの第２セットは、前記参加者の走査データに少なくとも一部基づいて、前記参加者の１又は２以上のインゲーム効果を決定するよう構成される、
請求項１に記載の分散制御システム。

【請求項4】

前記出力ノードは、前記処理ノードの第２セットによって決定された前記１又は２以上のインゲーム効果に少なくとも一部基づいて、前記仮想環境を更新するよう構成される、
請求項３に記載の分散制御システム。

【請求項5】

前記処理ノードの第１セットは第１シャーシ内に配置され、前記処理ノードの第２セットは、前記第１シャーシとは別個の第２シャーシ内に配置される、
請求項３に記載の分散制御システム。

【請求項6】

前記処理ノードの第１セットは、中央処理ユニット（ＣＰＵ）、テンソル処理ユニット（ＴＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、ベクトル処理ユニット（ＶＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はこれらの組み合わせを含む、
請求項１に記載の分散制御システム。

【請求項7】

前記処理ノードの第１セットは、リモート直接メモリアクセス（ＲＤＭＡ）を介して前記入力ノードにアクセスするよう構成される、
請求項１に記載の分散制御システム。

【請求項8】

前記走査データは、参加者モデル、インゲーム参加者動作データ、参加者識別、又はこれらの組み合わせを含む、
請求項１に記載の分散制御システム。

【請求項9】

前記センシングユニットは、深度カメラ、光検出及び測距（ＬＩＤＡＲ）デバイス、又はこれらの組み合わせを含み、前記出力デバイスは、前記仮想環境を前記参加者に表示するように構成されたディスプレイデバイスを含む、
請求項１に記載の分散制御システム。

【請求項10】

前記センシングユニットは、前記参加者の外側表面を測定することによって前記参加者の走査データを収集するように構成され、前記出力デバイスは、前記仮想環境における仮想表現を表示することにより前記参加者の仮想表現を提示するように構成される、請求項１に記載の分散制御システム。

【請求項11】

対話型ビデオシステムを作動する方法であって、
前記対話型ビデオシステムの分散制御システムのスイッチ型ファブリックネットワークにおける複数のノードの入力ノードにて、前記対話型ビデオシステムの参加者の走査データを収集するステップと、
前記スイッチ型ファブリックネットワークの第１スイッチを介して前記入力ノードに通信可能に結合される前記複数のノードの処理ノードの第１セットにて、前記参加者の走査データに少なくとも一部基づいて、前記参加者の仮想表現を生成するステップと、
前記スイッチ型ファブリックネットワークの第２スイッチを介して前記入力ノードに通信可能に結合される前記複数のノードの出力ノードを用いて、仮想環境における前記参加者の仮想表現を提示するステップと、
前記複数のノードの処理ノードの第２セットにて、前記参加者の走査データに少なくとも一部基づいて、インゲーム効果のセットを決定するステップと、
前記出力ノードを用いて、前記インゲーム効果のセットに少なくとも一部基づいて、前記仮想環境を更新するステップと、
を含む、方法。

【請求項12】

前記参加者の走査データに少なくとも一部基づいて、前記インゲーム効果のセットを決定するステップが、
前記処理ノードの第２セットの第１処理ノードにて、前記参加者の走査データに少なくとも一部基づいて、前記参加者のインゲーム動作を識別するステップと、
前記処理ノードの第２セットの第２処理ノードにて、前記インゲーム動作に対応するインゲーム効果を決定するステップと、
前記処理ノードの第２セットの第３処理ノードにて、前記インゲーム効果に対応するオーディオ効果を決定するステップと、
前記処理ノードの第２セットの第４処理ノードにて、前記インゲーム効果に対応する視覚効果を決定するステップと、
前記処理ノードの第２セットの第５処理ノードにて、前記インゲーム効果に対応する物理的効果を決定するステップと、
を含む、請求項１１に記載の方法。

【請求項13】

前記入力ノードにて、前記参加者の追加の走査データを収集するステップと、
前記複数のノードの処理ノードの第３セットにて、前記追加の走査データを前記走査データに集約して、前記参加者の集約された走査データを生成するステップと、
前記出力ノードで、前記参加者の集約された走査データに少なくとも一部基づいて、前記参加者の仮想表現を生成するステップと、
を含む、請求項１１に記載の方法。

【請求項14】

前記処理ノードの第１セットにて、前記複数のノードのデータベースノードから前記参加者の追加の走査データを受信するステップと、
前記処理ノードの第１セットにて、前記参加者の走査データ及び前記追加の走査データに少なくとも一部基づいて、前記参加者の仮想表現を生成するステップと、
を含む、請求項１１に記載の方法。

【請求項15】

複数のノードを相互接続するスイッチ型ファブリックネットワークを含む分散制御システムを備えた対話型ビデオシステムであって、
前記複数のノードが、
前記対話型ビデオシステムの参加者の走査データを収集するように構成されたセンシングユニットを含む入力ノードと、
前記スイッチ型ファブリックネットワークを介して前記入力ノードに通信可能に結合された処理ノードのセットと、
を含み、
前記処理ノードのセットは、
前記参加者の走査データに少なくとも一部基づいて、前記参加者の仮想表現を生成し、
前記参加者の１又は２以上のインゲーム動作を含む前記参加者の走査データに基づいて、インゲーム効果のセットを決定する、
ように構成され、
前記複数のノードが更に、
前記スイッチ型ファブリックネットワークを介して前記入力ノード及び前記処理ノードのセットに通信可能に結合された出力ノードを含み、
前記出力ノードは、
仮想環境における前記参加者の仮想表現を提示し、
前記インゲーム効果のセットに少なくとも一部基づいて、前記仮想環境を更新する、
ように構成された出力デバイスのセットを含む、
対話型ビデオシステム。

【請求項16】

前記インゲーム効果のセットは、前記仮想環境における、視覚効果、物理的効果、オーディオ効果、又はこれらの組み合わせを含む、
請求項１５に記載の対話型ビデオシステム。

【請求項17】

前記入力ノードは、インタフェースパネルを含み、前記インタフェースパネルは、前記参加者からの１又は２以上のインゲーム動作に対応する入力を受信するように構成された複数の入力デバイスを含む、
請求項１５に記載の対話型ビデオシステム。

【請求項18】

前記入力ノードは、無線周波数（ＲＦ）センサを含み、前記走査データは、前記無線周波数センサにて収集された、前記参加者のアイデンティティ、位置、又はこれらの組み合わせを指示するデータを含む、
請求項１５に記載の対話型ビデオシステム。

【請求項19】

前記処理ノードのセットは、前記スイッチ型ファブリックネットワークの第１スイッチを介して前記入力ノードに通信可能に結合され、前記出力ノードは、第２スイッチを介して前記入力ノードに通信可能に結合され且つ前記スイッチ型ファブリックネットワークの第３スイッチを介して前記処理ノードのセットに通信可能に結合される、
請求項１５に記載の対話型ビデオシステム。

【請求項20】

前記複数のノードは、前記対話型ビデオシステムの複数の参加者の各々のそれぞれの走査データを収集するように構成された追加のセンシングユニットを含む追加の入力ノードを含む、
請求項１５に記載の対話型ビデオシステム。

【請求項21】

対話型ビデオシステムであって、
複数のノードを相互接続する複数のスイッチを含むスイッチ型ファブリックネットワークを備え、
前記複数のノードが、
前記対話型ビデオシステムの参加エリアにおける参加者の走査データを収集するように構成されたセンシングユニットを含む少なくとも１つの入力ノードと、
前記参加者の前記走査データに少なくとも一部基づいて前記参加者のインゲーム動作を識別し、前記インゲーム動作に対応するインゲーム効果を決定するように構成された少なくとも１つの人工知能（ＡＩ）処理ノードと、
前記インゲーム効果に対応するオーディオ効果を決定するように構成された少なくとも１つのオーディオ処理ノードと、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記オーディオ効果を提示するように構成されたオーディオ出力デバイスを含む少なくとも１つのオーディオ出力ノードと、
を含み、前記複数のノードの各ノードは、前記スイッチ型ファブリックネットワークの前記複数のスイッチのうちの少なくとも２つのスイッチに結合される、対話型ビデオシステム。

【請求項22】

前記複数のノードは、
前記参加者の前記走査データに少なくとも一部基づいて前記参加者の仮想表現を生成するように構成された少なくとも１つの視覚処理ノードと、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記仮想表現を提示するように構成された視覚出力デバイスを含む少なくとも１つの視覚出力ノードと、
を含む、請求項２１に記載の対話型ビデオシステム。

【請求項23】

前記少なくとも１つの視覚処理ノードは、前記インゲーム効果に対応する視覚効果を決定するように構成され、前記少なくとも１つの視覚出力ノードは、前記視覚効果に基づいて前記視覚出力デバイス上での前記参加者の前記仮想表現の前記提示をアップデートするように構成される、
請求項２２に記載の対話型ビデオシステム。

【請求項24】

前記複数のノードは、
前記インゲーム効果に対応する物理的効果を決定するように構成された少なくとも１つの物理的効果処理ノードと、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記物理的効果を提示するように構成された物理的効果出力デバイスを含む少なくとも１つの物理的効果出力ノードと、
を含む、請求項２１に記載の対話型ビデオシステム。

【請求項25】

前記少なくとも１つの物理的効果処理ノードは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含む、
請求項２４に記載の対話型ビデオシステム。

【請求項26】

前記複数のノードは、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者の前記走査データのそれぞれの部分を収集するように構成されたそれぞれのセンシングユニットを各々が含む複数の入力ノードと、
前記複数の入力ノードの各それぞれのセンシングユニットによって収集された前記走査データの前記それぞれの部分を集約するように構成された入力フュージョン処理ノードと、
を含み、前記入力フュージョン処理ノードは、特定用途向け集積回路（ＡＳＩＣ）を含む、請求項２１に記載の対話型ビデオシステム。

【請求項27】

前記複数のノードは、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記オーディオ効果のそれぞれの部分を提示するように構成されたそれぞれのオーディオ出力デバイスを各々が含む複数のオーディオ出力ノードと、
前記複数のオーディオ出力ノードの各々の前記それぞれのオーディオ出力デバイスによって提示される前記オーディオ効果の前記それぞれの部分を決定するように構成された出力フュージョン処理ノードと、
を含む、請求項２１に記載の対話型ビデオシステム。

【請求項28】

前記少なくとも１つのＡＩ処理ノードは第１シャーシ内に配置され、前記少なくとも１つのオーディオ処理ノードは、前記第１シャーシとは別個の第２シャーシ内に配置される、
請求項２１に記載の対話型ビデオシステム。

【請求項29】

前記少なくとも１つのＡＩ処理ノードは、テンソル処理ユニット（ＴＰＵ）、第１ベクトル処理ユニット（ＶＰＵ）、又はこれらの組み合わせを含み、前記少なくとも１つのオーディオ処理ノードは、前記第１ベクトル処理ユニットとは別個の第２ベクトル処理ユニットを含む、
請求項２１に記載の対話型ビデオシステム。

【請求項30】

前記少なくとも１つのＡＩ処理ノードは、リモート直接メモリアクセス（ＲＤＭＡ）を介して前記少なくとも１つの入力ノードにアクセスするよう構成される、
請求項２１に記載の対話型ビデオシステム。

【請求項31】

前記スイッチ型ファブリックネットワークは、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）接続性を用いて実装される、
請求項２１に記載の対話型ビデオシステム。

【請求項32】

複数のノードを含むスイッチ型ファブリックネットワークを有する対話型ビデオシステムを作動する方法であって、
前記複数のノードのうちの少なくとも１つの入力ノードを介して、前記対話型ビデオシステムの参加エリアにおける参加者の走査データを収集するステップと、
前記複数のノードのうちの少なくとも１つの人工知能（ＡＩ）処理ノードを介して、前記参加者の前記走査データに少なくとも一部基づいて前記参加者のインゲーム動作を識別するステップと、
前記少なくとも１つのＡＩ処理ノードを介して、前記インゲーム動作に対応するインゲーム効果を決定するステップと、
前記複数のノードのうちの少なくとも１つのオーディオ処理ノードを介して、前記インゲーム効果に対応するオーディオ効果を決定するステップと、
前記複数のノードのうちの少なくとも１つのオーディオ出力ノードのオーディオ出力デバイスを介して、前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記オーディオ効果を提示するステップと、
前記複数のノードのうちの少なくとも１つの物理的効果処理ノードを介して、前記インゲーム効果に対応する物理的効果を決定するステップと、
前記複数のノードのうちの少なくとも１つの物理的効果出力ノードの物理的効果出力デバイスを介して、前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記物理的効果を提示するステップと、
を含む、方法。

【請求項33】

前記複数のノードの各ノードは、前記スイッチ型ファブリックネットワークの複数のスイッチのうちの少なくとも２つのスイッチに結合される、
請求項３２に記載の方法。

【請求項34】

前記複数のノードのうちの少なくとも１つの視覚処理ノードを介して、前記参加者の前記走査データに少なくとも一部基づいて前記参加者の仮想表現を生成するステップと、
前記複数のノードのうちの少なくとも１つの視覚出力ノードの視覚出力デバイスを介して、前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記仮想表現を提示するステップと、
を含む、請求項３２に記載の方法。

【請求項35】

前記少なくとも１つの視覚出力ノードを介して、前記インゲーム効果に対応する視覚効果を決定するステップと、
前記視覚出力ノードの前記視覚出力デバイスを介して、前記視覚効果に基づいて前記参加者の前記仮想表現をアップデートするステップと、
を含む、請求項３４に記載の方法。

【請求項36】

対話型ビデオシステムであって、
複数のノードを有するスイッチ型ファブリックネットワークを備え、
前記複数のノードが、
前記対話型ビデオシステムの参加エリアにおける参加者の走査データを収集するように構成されたセンシングユニットを含む少なくとも１つの入力ノードと、
前記参加者の前記走査データに少なくとも一部基づいて前記参加者のインゲーム動作を識別し、前記インゲーム動作に対応するインゲーム効果を決定するように構成された少なくとも１つの人工知能（ＡＩ）処理ノードと、
前記参加者の前記走査データに少なくとも一部基づいて前記参加者の仮想表現を生成し、前記インゲーム効果に対応する視覚効果を決定するように構成された少なくとも１つの視覚処理ノードと、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記仮想表現を提示し、前記視覚効果に基づいて前記仮想表現の前記提示をアップデートするように構成された視覚出力デバイスを含む少なくとも１つの視覚出力ノードと、
前記インゲーム効果に対応するオーディオ効果を決定するように構成された少なくとも１つのオーディオ処理ノードと、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記オーディオ効果を提示するように構成されたオーディオ出力デバイスを含む少なくとも１つのオーディオ出力ノードと、
を含む、対話型ビデオシステム。

【請求項37】

前記複数のノードの各ノードは、前記スイッチ型ファブリックネットワークの複数のスイッチのうちの少なくとも２つのスイッチに結合される、請求項３６に記載の対話型ビデオシステム。

【請求項38】

前記複数のノードは、
前記インゲーム効果に対応する物理的効果を決定するように構成された少なくとも１つの物理的効果処理ノードと、
前記対話型ビデオシステムの前記参加エリアにおける前記参加者に前記物理的効果を提示するように構成された物理的効果出力デバイスを含む少なくとも１つの物理的効果出力ノードと、
を含む、請求項３６に記載の対話型ビデオシステム。

【請求項39】

前記少なくとも１つの入力ノードは、無線周波数（ＲＦ）センサを含み、前記走査データは、前記無線周波数センサにて収集された、前記参加者のアイデンティティ、位置、又はこれらの組み合わせを指示するデータを含む、
請求項３６に記載の対話型ビデオシステム。

【請求項40】

前記少なくとも１つの入力ノードは、前記対話型ビデオシステムの前記参加エリア内の複数の参加者の各々のそれぞれの走査データを収集するように構成された複数のセンシングユニットを有する複数の入力ノードを含む、
請求項３６に記載の対話型ビデオシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、全体が全ての目的のために引用により本明細書に組み入られる、「スケーラブル対話型ビデオシステム及び方法」という名称の２０１８年１２月２１日に出願された米国仮出願第６２／７８３，５４４号明細書に対する優先権及びその利益を主張するものである。

【背景技術】

【0002】

本開示は、一般的にはビデオシステムに関し、より具体的には、同時マルチプレーヤゲームプレイを可能にする対話型ビデオゲームシステムに関する。

【0003】

ビデオゲームシステムは、一般的には、事前に定義された目標又は目的を達成するために参加者（例えば、プレーヤ）が仮想環境におけるキャラクタを制御するのを可能にする。従来のビデオゲームシステムは、一般的には、参加者がゲームの仮想環境内でキャラクタを制御するのを可能にするために、ジョイスティック、ゲームコントローラ、キーボードなどのマニュアル入力デバイスに頼る。加えて、特定の最新のビデオゲームシステムは、参加者の動きを追跡でき、この動きに基づいて参加者がビデオゲームキャラクタを制御するのを可能にするカメラを含むことができる。しかしながら、これらのシステムは一般的には、レイテンシー及び／又はデータスループットによる問題を抱えている。例えば、これらのシステムは、制限されたデータ収集及び／又は処理を促進することがあり、ビデオゲームによって提供される経験（例えば、グラフィクス及び／又は効果）を制限する可能性がある。加えて、ビデオゲームを制御することに伴う処理時間は、参加者から受信される入力と結果の出力の間の遅延をもたらすことがある。更に、複数参加者ビデオゲームシステムでは、レイテンシーの潜在性が、参加者の数と共に劇的に増加する。従って、滑らかで参加者対話に反応するリアルタイムの対話型経験を提供するためにこれらのシステムを用いることは煩わしいことがある。

【先行技術文献】

【特許文献】

【0004】

【文献】米国仮出願第６２／７８３，５４４号明細書

【発明の概要】

【課題を解決するための手段】

【0005】

最初に請求項に記載された本発明の対象の範囲内にある特定の実施形態について以下で要約する。これらの実施形態は、本開示の範囲を限定することを意図するものではなく、むしろ、特定の開示される実施形態の簡潔な要約を提供することを意図するものとする。実際に、本開示は、以下に記載される実施形態と類似した又は異なるとすることができる様々な形態を包含することができる。

【0006】

本実施形態は、対話型ビデオシステムの分散制御システムに関する。分散制御システムは、複数のノードを相互接続するスイッチ型ファブリックネットワークを含む。スイッチ型ファブリックネットワークは、センシングユニットを含む入力ノードを含む。センシングユニットは、対話型ビデオシステムの参加者の走査データを収集するために実装される。加えて、スイッチ型ファブリックネットワークは、処理ノードのセットを含む。処理ノードのセットは、参加者の走査データに少なくとも一部基づいて、参加者の仮想表現を生成するよう実装された。処理ノードのセットは、スイッチ型ファブリックネットワークの第１スイッチを介して入力ノードに通信可能に結合される。更に、スイッチ型ファブリックネットワークは出力ノードを含む。出力ノードは、仮想環境における参加者に仮想表現を提示するよう実装された出力デバイスを含む。出力ノードは、スイッチ型ファブリックネットワークの第２スイッチを介して入力ノードに通信可能に結合される。

【0007】

本実施形態はまた、対話型ビデオシステムを作動する方法に関する。本方法は、対話型ビデオシステムの分散制御システムのスイッチ型ファブリックネットワークにおける複数のノードの入力ノードにて、対話型ビデオシステムの参加者の走査データを収集するステップを含む。本方法はまた、複数のノードの処理ノードの第１セットにて、参加者の走査データに少なくとも一部基づいて、参加者の仮想表現を生成するステップを含む。処理ノードの第１セットは、スイッチ型ファブリックネットワークの第１スイッチを介して入力ノードに通信可能に結合される。更に、本方法は、複数のノードの出力ノードを用いて、仮想環境における参加者の仮想表現を提示するステップを含む。出力ノードは、スイッチ型ファブリックネットワークの第２スイッチを介して入力ノードに通信可能に結合される。本方法は更に、処理ノードの第２セットにて、参加者の走査データに少なくとも一部基づいて、インゲーム効果のセットを決定するステップを含む。加えて、本方法は、出力ノードを用いて、インゲーム効果に少なくとも一部基づいて、仮想環境をアップデートするステップを含む。

【0008】

本実施形態はまた、複数のノードを相互接続するスイッチ型ファブリックネットワークを含む、分散制御システムを含む対話型ビデオシステムに関する。複数のノードは、センシングユニットを含む入力ノードを含む。センシングユニットは、参加者の走査データを収集するよう実装された。複数のノードは更に、処理ノードのセットを含む。処理ノードのセットは、スイッチ型ファブリックネットワークを介して入力ノードに通信可能に結合される。処理ノードのセットは、参加者の走査データに少なくとも一部基づいて、参加者の仮想表現を生成するよう実装された。処理ノードのセットは更に、参加者の走査データに基づいてインゲーム効果のセットを決定するよう実装された。走査データは、参加者の１又は２以上のインゲーム動作を含むことができる。複数のノードは付加的に出力ノードを含む。出力ノードは、スイッチ型ファブリックネットワークを介して入力ノードに通信可能に結合される。更に、出力ノードは、スイッチ型ファブリックネットワークを介して処理ノードのセットに通信可能に結合され、出力ノードは出力デバイスのセットを含む。出力デバイスのセットは、仮想環境における参加者の仮想表現を提示するよう実装された。出力デバイスのセットはまた、インゲーム効果に少なくとも一部基づいて、仮想環境の提示をアップデートするよう実装された。

【0009】

本開示のこれらの及び他の特徴、態様、及び利点は、同じ参照符号が図面全体を通して同じ要素を表す添付図面を参照しながら、以下の詳細な説明を読むと更に理解されるであろう。

【図面の簡単な説明】

【0010】

【図1】本手法による、参加エリアにおいて動作を実行することによって複数の参加者がそれぞれの仮想表現を制御するのを可能にする対話型ビデオシステムの実施形態を示す概略図である。

【図2】本手法による、スイッチ型ファブリックネットワークを示すブロック図である。

【図3】本手法による、対話型ビデオシステムを作動する処理の実施形態を示す流れ図である。

【図4】本手法による、図３の流れ図に指示された特定の動作が実行される処理の実施形態を示す流れ図である。

【発明を実施するための形態】

【0011】

本明細書で用いる「走査データ」は、参加エリアにおける参加者の眼に見える外側表面を感知（例えば、測定、画像化、測距）することによって収集された２次元（２Ｄ）又は３次元（３Ｄ）データを指す。詳細には、本明細書で用いる「体積走査データ」は、ポイントクラウドデータなどの３Ｄ走査データを指し、画像データなどの「２Ｄ走査データ」と対比させることができる。

【0012】

本明細書で用いる「参加者モデル」は、参加者の外側表面を一般的に描写する参加者の走査データから生成される２Ｄ又は２Ｄモデルでありテクスチャデータを含むことができる。詳細には、本明細書で用いる「体積参加者モデル」又は「体積モデル」は、参加者の体積走査データから生成される３Ｄ参加者モデルを指し、参加者の２Ｄ走査データから生成される「２Ｄ参加者モデル」と対比させることができる。

【0013】

本明細書で用いる「シャドーモデル」は、直接的に又は参加者モデルを用いて、参加者の走査データから生成される参加者のテクスチャのない体積モデルを指す。従って、ディスプレイデバイスなどの２Ｄ表面に提示された場合、参加者のシャドーモデルは、背後から照明された時の参加者の影又はシルエットと実質的に同様の形状を有する。

【0014】

本明細書で用いる「骨格モデル」は、参加エリア内の参加者の位置及び姿勢を描写するために、参加者の特定の身体部分及び／又は重心の予測される部位及び位置を定める、参加者の走査データから生成される３Ｄモデルを指す。従って、骨格モデルは、仮想環境における及び／又は参加エリアにおける事象をトリガするための参加エリアにおける参加者の動き及び動作を決定するために用いられる。

【0015】

本実施形態は、表示された仮想環境（例えば、提示エリア）における参加者の仮想表現を制御するために物理的環境（例えば、参加エリア）で複数の（例えば、１から１２人の）参加者（例えば、プレーヤ）が動作を実行するのを可能にする対話型ビデオシステム（例えば、ビデオゲームシステム）に関する。開示される対話型ビデオシステムは、参加者の各々を走査できる及び／又は参加者の各々の手順内（例えばインゲーム）動作を取り込むことができる体積センサ（例えば、深度カメラ及び／又は光検知及び測距（ＬＩＤＡＲ）デバイス）などの１又は２以上のセンシングユニットを含む。この対話型ビデオシステムはまた、ディスプレイデバイス、オーディオデバイス、物理的効果デバイスなどの幾つかの出力デバイス、及び／又は仮想環境を提示できる及び／又は１又は２以上の手順内効果を生成することができる同様のものを含むことができる。更に、この対話型ビデオシステムは、幾つかのノード（例えば、入力ノード、処理ノード、データベースノード、出力ノード）を有する分散制御システムを含む。この分散制御システムは、対話型ビデオシステムにおける様々なセンサ及び入力デバイスから受信された入力データに一部基づいて出力デバイスを制御するよう実施することができる。従って、この対話型ビデオシステムは、参加者の動作及びこれに対応する手順内効果に基づいて参加者の仮想表現及び仮想環境を継続的にアップデートする。本明細書で開示する本実施形態の例は、ビデオゲームの文脈で記述している。しかしながら、本実施形態がゲームアクティビティ以外のアクティビティに適用でき且つ組み入れることができることを理解されたい。更に、ビデオゲームという語はビデオ技術を利用する多数の娯楽アクティビティを広義に含む点に留意されたい。

【0016】

更にまた、滑らかで且つ参加者対話に反応するリアルタイムの対話型経験を作成するために、この対話型ビデオシステムはスイッチ型ファブリックネットワークを含むことができる。このスイッチ型ファブリックネットワークは、低レイテンシーの高帯域幅通信を促進できるスイッチと相互接続のセットによって互いに通信可能に結合された幾つかのノードを含むことができる。加えて、このスイッチ型ファブリックネットワークはリモート直接メモリアクセス（ＲＤＭＡ）を支援することができる。スイッチ型ファブリックネットワークのノードは、センサ及び入力デバイス、出力デバイス、処理ノード、及び／又はデータベースノードを含むことができる。例えば、対話型ビデオシステムにおけるセンサ及び／又は追加の入力デバイスは、スイッチ型ファブリックネットワークの１又は２以上の入力ノードとして実施することができ、出力デバイスは、スイッチ型ファブリックネットワークの１又は２以上の出力ノードとして実施することができる。特定の処理ノードは、特定の機能を実行するために最適化することができるベクトル処理ユニット（ＶＰＵ）及び／又はテンソル処理ユニット（ＴＰＵ）などの専用プロセッサを含むことができる。従って、特定の処理ノードは、そのそれぞれの能力に基づいて、視覚（例えば、グラフィクス）処理、オーディオ処理、人工知能（ＡＩ）計算、物理計算などの対話型ビデオシステムに伴う特定の処理タスクの実行に専用とすることができる。更に、このスイッチ型ファブリックネットワークは、幾つかの適切な処理ノードの間でこれらの処理タスクを分割することができる。更にまた、スイッチ型ファブリックネットワークは、リモート直接メモリアクセス（ＲＤＭＡ）を促進することができる。従って、ＲＤＭＡを用いて、内部コンピュータバスのレイテンシーを有する処理タスクを実行するために物理的に別の処理ノード間でデータを転送して、ノードがシームレスに他のノードから情報を読み取り他のノードに情報を書き込むことができるようにし、事実上、これはスイッチ型ファブリックネットワークにおける全てのノードの大きな組み合わせメモリスペースであると考えることができる。従って、スイッチ型ファブリックネットワークは、対話型ビデオシステムで用いられるデータを効率的に処理及び更新することができる。更に、この対話型ビデオネットワークは、追加の処理ノード、入力ノードとして効率的にスケールすることができる、及び／又は多大なレイテンシーのペナルティを招くことなくスイッチ型ファブリックネットワークに出力を追加することができる。

【0017】

前述を念頭に置いて、図１は、複数の参加者１２（例えば、参加者１２Ａ及び１２Ｂ）が参加エリア１６で動作を実行することによってそれぞれの仮想表現１４（例えば、仮想表現１４Ａ及び１４Ｂ）を制御するのを可能にする対話型ビデオシステム１０（例えば、ビデオゲームシステム）の実施形態の概略図である。簡潔にするために、この説明は、対話型ビデオシステム１０を用いる２人の参加者１２に向けられ、他の実施形態では、対話型ビデオシステム１０が２より多い（例えば、６、８、１０、１２、又はこれ以上の）参加者１２を支援できる点に注目できる。

【0018】

対話型ビデオシステム１０の参加エリア１６は、幅（ｘ軸１８に対応する）、高さ（ｙ軸２０に対応する）、及び深度（ｚ軸２２に対応する）を有することができ、システム１０は、一般的には、ｘ軸１８、ｙ軸２０、及び／又はｚ軸２２に沿った参加者１２の各々の動きをモニタする。対話型ビデオシステム１０は、参加エリア１６内で動く（例えば、ｘ軸１８に沿って走る、ｙ軸２０に沿ってジャンプする、ｚ軸２２に沿って走る）参加者１２に応答して仮想環境３２におけるｘ軸２６、ｙ軸２８、及び／又はｚ軸３５に沿った提示エリア２５のディスプレイデバイス２４上に提示される仮想表現１４の位置をアップデートする。

【0019】

図１に示す対話型ビデオシステム１０の実施形態は、参加エリア１６内及び／又は周りに配置される幾つかのセンシングユニット３８を含む。詳細には、このセンシングユニット３８は、参加エリア１６の周囲の周りに対称的に分散させて示すことができる。特定の実施形態では、参加エリア１６を画像化するためにセンシングユニット３８の少なくとも一部分を参加エリア１６の上に位置付けることができ（例えば、天井から又は上昇したプラットフォーム又はスタンド上に吊るすことができる）下向きの角度に向けることができる。他の実施形態では、参加エリア１６を画像化するためにセンシングユニット３８の少なくとも一部分を参加エリア１６の床近くに位置付け且つ上向きの角度に向けることができる。特定の実施形態では、対話型ビデオシステム１０は、参加エリア１６における各参加者（例えば、参加者１２Ａ及び１２Ｂ）につき少なくとも２つのセンシングユニット３８を含むことができる。従って、センシングユニット３８は、潜在的な参加者のオクルージョンを低減又は無くすために参加エリア１６の周りの見晴らしの利くポイントのかなりの部分を画像化するよう適切に位置付けられる。

【0020】

図示した実施形態では、各センシングユニット３８が、それぞれの体積センサ４０を含み、これは、赤外線（ＩＲ）深度カメラ、ＬＩＤＡＲデバイス、又は別の適切な測距及び／又は画像化デバイスとすることができる。例えば、特定の実施形態では、センシングユニット３８の体積センサ４０の全てが、ＩＲ深度カメラ又はＬＩＤＡＲデバイスの何れかであり、他の実施形態では、ＩＲ深度カメラ及びＬＩＤＡＲカメラ双方の混合が存在する。参加者１２の各々を体積的に走査するためにＩＲ深度カメラとＬＩＤＡＲカメラの両方を使用できることが現在認知されており、収集された走査データ（例えば、体積走査データ）を用いて、以下に論じるように参加者の様々なモデルを生成することができる。例えば、特定の実施形態では、ＩＲ深度カメラを用いて骨格モデルを生成するためのデータを収集することができ、ＬＩＤＡＲデバイスによって収集されたデータを用いて、参加者１２の体積及び／又はシャドーモデルを生成することができる。ポイントクラウドデータを収集するＬＩＤＡＲデバイスが、一般的には最良の精度及び解像度によって、深度カメラより大きなエリアを走査及びマッピングできることも認知されている。従って、特定の実施形態では、少なくとも１つのセンシングユニット３８が、ＬＩＤＡＲデバイスである対応する体積センサ４０を含み、対話型ビデオシステム１０の精度又は解像度を拡張する及び／又は対話型ビデオシステム１０のセンシングユニット３８の総数を低減する。

【0021】

加えて、特定の実施形態では、他のセンサデバイスを参加エリア１６内に及び周りに含めることができる。例えば、無線周波数（ＲＦ）センサ４５を、参加エリア１６の近くに（例えば、上、下、隣に）配置することができる。図示したＲＦセンサ４５は、参加者１２の各々によって装着される無線周波数識別（ＲＦＩＤ）タグを有するブレスレット又はヘッドバンドなどのウェアラブルデバイス４７からの固有識別ＲＦ信号を受信する。これに応答して、ＲＦセンサ４５は、以下に詳しく説明するように、参加エリア１６における参加者１２のアイデンティティ及び相対的位置に関する信号を提供する。

【0022】

加えて、図１に示した対話型ビデオシステム１０は、仮想環境３２の一部として参加エリア１６における参加者１２によって観察及び経験される提示エリア２５の刺激の出力（例えば、オーディオ信号、ビデオ信号、光、物理的効果）を制御する。従って、提示エリア２５は、幾つかのオーディオデバイス５０及び／又はディスプレイデバイス２４を含むことができる。ディスプレイデバイス２４は、プロジェクタ及び画面、フラット画面ディスプレイデバイス、又は参加エリア１６における参加者１２に仮想環境３２の適切なビューを提供するよう配列及び設計されたフラット画面ディスプレイデバイスのアレイなどの何れかの適切なディスプレイデバイスとすることができる。特定の実施形態では、オーディオデバイス５０を参加エリア１６の周りのアレイに配列して、ゲームプレイ中の参加者の没入感を増加させることができる。

【0023】

更に、１つの実施形態では、対話型ビデオシステム１０は、拡張参加者対話を可能にできるインタフェースパネル７４を含むことができる。図１に示すように、インタフェースパネル７４は、ゲームプレイ中に参加者１２からの入力を受信するよう設計された幾つかの入力デバイス７６（例えば、クランク、ホイール、ボタン、スライダ、ブロック）を含む。図示したインタフェースパネル７４はまた、ゲームプレイ中に参加者１２にオーディオ、視覚、及び／又は物理的刺激を提供するよう設計される幾つかの出力デバイス７８（例えば、オーディオ出力デバイス、視覚出力デバイス、物理的刺激デバイス）を含む。例えば、出力デバイス７８は、スピーカ、警笛、サイレンなどのオーディオデバイスを含むことができる。出力デバイス７８はまた、インタフェースパネル７４のライト又はディスプレイデバイスなどの視覚デバイスを含むことができる。特定の実施形態では、インタフェースパネル７４の出力デバイス７８は、暖気又は冷気又はミストのバーストを提供する圧縮エアラインに結合された電気的制御の開放弁などの物理的効果デバイスを含む。

【0024】

更に図示するように、対話型ビデオシステム１０は分散制御システム８２を含む。分散制御システム８２は、一般的には様々な前述の入力デバイスからの入力情報を受信し受信した入力情報に一部基づいて適切な出力を決定する。例えば、分散制御システム８２は、体積センサ４０の各々によって収集された走査データ、入力デバイス７６からの参加者入力、参加エリア１６の参加者１２のアイデンティティ及び相対的位置に関するＲＦセンサ４５によって提供される信号などを受信することができる。分散制御システム８２は、「参加者データ」として本明細書でまとめて記述されるこのデータを組み合わせて、ゲームプレイ中の参加エリア１６における参加者１２のアイデンティティ、位置、及び／又は動作を決定することができる。更にまた、分散制御システム８２は、オーディオデバイス５０、ディスプレイデバイス２４、出力デバイス７８などを制御する命令（例えば、制御信号）を決定し、提示エリア２５を介して観察及び経験する参加者１２のための様々な刺激を生成することができる。一部の実施形態では、分散制御システム８２は、収集された参加者データに一部基づいて、オーディオデバイス５０、ディスプレイデバイス２４、出力デバイス７８などを制御する命令を決定することができる。

【0025】

収集された参加者データを処理するステップ及び／又は提示エリア２５で様々な刺激を生成する命令を決定するステップは、プロセッサに集中させることができることが現在認知されている。更にまた、対話型ビデオシステム１０のレイテンシーは、滑らかであり且つ参加者の対話に反応するリアルタイム対話型経験を提供するための対話型ビデオシステム１０の能力を制限する可能性がある。従って、特定の実施形態では、ネットワークによって通信可能に結合された幾つかのプロセッサを利用することによってワークロードを分割し、収集された参加者データを処理することが有利であるとすることができる。従って、図示した実施形態では、分散制御システム８２は、ＩＮＦＩＮＩＢＡＮＤ（登録商標）ネットワークなどのスイッチ型ファブリックネットワーク９０を介して通信可能に互いに結合された幾つかの処理ノード８４及びデータベースノード８６（例えば、データリポジトリ）を含む。以下に詳しく説明するように、処理ノード８４はメモリ１０２及び／又はプロセッサ１０４を含むことができる。更に図示するように、対話型ビデオシステム１０の入力デバイスの各々（例えば、体積センサ４０、ＲＦセンサ４５、入力デバイス７６）及び出力デバイス（例えば、オーディオデバイス５０、ディスプレイデバイス２４、出力デバイス７８）は、スイッチ型ファブリックネットワーク９０に通信可能に結合される。従って、以下に詳しく説明するように、分散制御システム８２は、スイッチ型ファブリックネットワーク９０を介して対話型ビデオシステム１０の１又は２以上のデバイスにデータを送信し且つデータを受信することができる。

【0026】

例証を助けるために、幾つかの離散的ノード９６を含むスイッチ型ファブリックネットワーク９０の実施形態を図２に示す。スイッチ型ファブリックネットワーク９０を用いて、重大な遅延又はレイテンシーをもたらすことなく、互いから物理的に別個とすることができる離散的ノード９６の何れの適切な数の間でも対話型ビデオシステム１０のデータ処理を分散させることができる。すなわち、例えば対話型ビデオシステム１０は、刺激を出力する及び／又は仮想環境３２における仮想表現１４の滑らかな且つ反応する動きを参加者１２にリアルタイムで又はほぼリアルタイムで提供することができる。図示のように、分散制御システム８２の処理ノード８４及び対話型ビデオシステム１０のデバイス（例えば、センシングユニット３８、ＲＦセンサ４５、入力デバイス７６、オーディオデバイス５０、ディスプレイデバイス２４、出力デバイス７８など）の各々は、スイッチ型ファブリックネットワーク９０の異なるノード９６を表すことができる。入力デバイス（例えば、体積センサ４０、ＲＦセンサ４５、入力デバイス７６）は入力ノード９７によって表され、出力デバイス（例えば、オーディオデバイス５０、ディスプレイデバイス２４、出力デバイス７８）は出力ノード９８によって表される。しかしながら、他の実施形態では異なる方式で各入力及び／又は出力デバイスをスイッチ型ファブリックネットワーク９０に結合できることが理解できる。換言すると、本明細書で説明する実施形態は、例証のためであり制限ではないものとする。

【0027】

ノード９６を互いに通信可能に結合するために、スイッチ型ファブリックネットワーク９０は、幾つかのスイッチ９２（例えば、スイッチングデバイス）を含む。図示したスイッチ型ファブリックネットワーク９０はまた、有線及び／又はワイヤレス接続を表すことができる幾つかの相互接続９４を含む。１つの実施形態では、相互接続は、銅ケーブル、光ケーブル、バックプレーンコネクタなどを含むことができる。スイッチ９２は、スイッチ型ファブリックネットワーク９０内で分散制御システム８２及び対話型ビデオシステム１０のデバイス（例えば、センシングユニット３８、ＲＦセンサ４５、入力デバイス７６、オーディオデバイス５０、ディスプレイデバイス２４、出力デバイス７８など）を互いに結合するために、相互接続９４と組み合わせて実施することができる。例えば、１つの実施形態では、スイッチ９２を、体積センサ４０などの第１デバイスから、処理ノード８４などの第２デバイスにパケット（例えば、データパケット及び／又はメッセージ）をルーティングするよう実装されたハードウェアデバイスとすることができる。更にまた、相互接続９４及びスイッチ９２を用いて、スイッチ型ファブリックネットワーク９０のレイテンシーを１マイクロ秒（μｓ）より短いか又は等しいとすることができる。スイッチ型ファブリックネットワーク９０はまた、高帯域幅接続性を促進することができる。従って、データの高容量（例えば、スループット）は、低レイテンシーを有するデバイス間でリレーすることができ、対話型ビデオシステム１０に伴うリアルタイムのデータ収集及び処理を促進することができる。

【0028】

スイッチ型ファブリックネットワーク９０はまた、ノード９６間及び／又はノード９６内の読取り及び書込み作動の両方のためにリモート直接メモリアクセス（ＲＤＭＡ）を促進することができる。従って、スイッチ型ファブリックネットワーク９０の何れかの適切なノード９６からデバイスのメモリ１０２にデータを直接書き込むことができる。例えば、第１ノード９６（例えば、処理ノード８４）は、第２ノード９６（例えば、出力ノード９８の１つ）のメモリ１０２に直接アクセスして、高レベル要求（例えば、アプリケーション層又は提示層）又はこれに関連付けられる追加のオーバヘッドを伴うことなく、低レベル要求（例えば、ネットワーク層又はトランスポート層）を用いてデータを読み取るか又はアップデートすることができる。更に、事例によっては、第１ノード９６でコンピュータ計算することができる結果を、第２ノード９６などの従属ノード９６のメモリに直接書き込むことができる。この結果、スイッチ型ファブリックネットワーク９０及び対話型ビデオシステム１０のレイテンシーを（例えば、５マイクロ秒（μｓ）未満、３μｓ未満、１μｓ未満、０．５μｓ未満まで）最小化することができる。更にまた、スイッチ型ファブリックネットワーク９０のノード９６を、追加のレイテンシーを招くことなく互いから物理的に別個（例えば、別に）することができる。従って、一部の実施形態では、処理ノード８４の各々を別のシャーシ１０８に収容することができる。例えば、第１シャーシ１０８ＡがＡＩ処理ノード８４Ａを含むことができ、第２シャーシ１０８Ｂが視覚処理ノード８４Ｂを含むことができ、第３シャーシ１０８Ｃがデータベースノード８６を含むことができる。更に、シャーシ１０８（例えば、１０８Ａ、１０８Ｂ、１０８Ｃ）を互いからリモートにすることができる。例えば、第１シャーシ１０８Ａを参加エリア１６及び／又は提示エリア２５に近接して配置することができ、第２シャーシ１０８Ｂを参加エリア１６及び／又は提示エリア２５からリモートにあるオフサイト位置に配置することができる。加えて又は代替えとして、幾つかの処理ノード８４、入力ノード９７、及び／又は出力ノード９８を単一のシャーシ１０８に、又は共通位置（例えば、対話型ビデオシステム１０の制御エリア）に配置される別個のシャーシに収容することができる。

【0029】

処理ノード８４及び／又は処理ノード８４のクラスタ（例えば、グループ）は、特定の処理タスクに対処するよう実施することができる。従って、上述のように、特定の図示した処理ノード８４はメモリ１０２及び／又はプロセッサ１０４を含むことができる。詳細には、一部の実施形態において、プロセッサを、中央処理ユニット（ＣＰＵ）１０４Ａ、及び／又は、処理タスクを実行するよう最適化された、テンソル処理ユニット（ＴＰＵ）１０４Ｂ、グラフィクス処理ユニット（ＧＰＵ）１０４Ｃ、ベクトル処理ユニット（ＶＰＵ）１０４Ｄ、特定用途向け集積回路（ＡＳＩＣ）１０４Ｅ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）１０４Ｆなどの専用プロセッサとして実施することができる。

【0030】

従って、入力ノード９７で収集された参加者データなどの情報を、この情報を用いて特定のタスクを実行するよう実装された処理ノード８４のセットに選択的にルーティングすることができる。例えば、ＴＰＵ１０４Ｂ及び／又はＶＰＵ１０４Ｄを含むことができる人工知能（ＡＩ）処理ノード８４Ａは、ＲＤＭＡを介して入力ノード９７の１つの情報にアクセス（例えば、読み取る）ことによって入力ノード９７で収集された参加者データを決定することができる。一部の実施形態では、例えば、ＡＩ処理ノード８４Ａは、収集された参加者データ及び推論コンピューテーションのセットに一部基づいて、参加者モデルを構成する、参加者１２によって実行される将来の動作を予測する、参加者１２に提示する対戦相手を決定することなどができる。更にまた、以下に説明するように、ＡＩ処理ノード８４Ａは収集された参加者データに基づいて参加者のインゲーム動作を識別することができ且つインゲーム動作に対応する１又は２以上のインゲーム効果を決定することができる。更に、ＧＰＵ１０４Ｃを含むことができる視覚処理ノード８４Ｂは、収集された参加者データ及び／又はインゲーム効果に一部基づいてディスプレイデバイス２４に仮想環境３２における参加者の各々の仮想表現１４を提示及び／又はアップデートさせる出力信号を決定することができる。更にまた、オーディオ処理ノード８４Ｃは、収集された参加者データ及び／又はインゲーム効果に一部基づいてオーディオデバイス５０に特定のオーディオ刺激を生成させる出力信号を決定することができる。加えて、物理的効果処理ノード８４Ｄは、収集された参加者データ及び／又はインゲーム効果に一部基づいて、空気のバーストを提供するような１又は２以上の物理的効果を出力デバイス７８に生成させる出力信号を決定することができる。

【0031】

更に、一部の実施形態では、スイッチ型ファブリックネットワーク９０は、多種多様なソースからデータを集約するよう実装された処理ノード８４を表すことができるフュージョン処理ノード８４Ｅを含むことができる。例えば、一部の実施形態では、フュージョン処理ノード８４Ｅは、参加者の位置を決定するためにセンシングユニット３８及びＲＦセンサ４５からの収集された参加者データを集約することができる。更にまた、一部の実施形態では、フュージョン処理ノード８４Ｅは、複数のオーディオ及び／又は視覚信号などの出力データが１又は２以上の出力デバイスによって生成される出力ノード９８にルーティングされる前に、複数のオーディオ及び／又は視覚信号などの出力データを集約することができる。従って、一部の実施形態では、他の処理ノード８４はフュージョン処理ノード８４Ｅから参加者データを受信することができる及び／又はフュージョン処理ノード８４Ｅを介して出力ノード９８にデータを出力することができる。

【0032】

ノード９６を互いから物理的にリモートにすることができ、且つ開示されるスイッチ型ファブリックネットワーク９０がレイテンシーを軽減し高データスループットを支援するので、対話型ビデオシステム１０を容易にスケーリングすることができる。例えば、一部の実施形態では、追加の参加者１２によって生じる可能性のある追加の参加者データに対応するために、処理を追加の処理ノード８４にオフロードすることができる。詳細には、追加の処理ノード８４をスイッチ型ファブリックネットワーク９０に追加して追加の参加者データに対応することができる。更にまた、上述のように、処理ノード８４の何れかを参加エリア１６及び／又は提示エリア２５からリモートに位置付けることができる。従って、別の位置が追加の処理ノードを収容できる場合、追加の処理ノードの追加は、参加エリア１６及び／又は提示エリア２５の資源（例えば、エリア及び／又は体積）によって制限されることはない。

【0033】

更に図示のように、スイッチ型ファブリックネットワーク９０は冗長相互接続９４を含むことができる。例えば、特定のノード９６を複数のスイッチ９２（例えば、スイッチ９２Ａ、９２Ｂ、及び／又は９２Ｃ）に通信可能に結合することができる。加えて又は代替えとして、スイッチ９２Ａを複数の他のスイッチ９２（例えば、スイッチ９２Ａ、９２Ｂ、又は９２Ｃ）に通信可能に結合することができる。従って、スイッチ間及び／又はノード９６間でデータをルーティングするための複数の異なる経路を形成することができる。これを受けて、第１のルーティング経路が利用できない時に代替えのルーティング経路を利用できる場合、スイッチ型ファブリックネットワーク９０は不達メッセージ（例えば、データパケット）を低減及び／又は無くすことができる。

【0034】

更にまた、スイッチ型ファブリックネットワーク９０の例示的トポロジー（例えばレイアウト）を本明細書に図示及び記述しているが、スイッチ型ファブリックネットワーク９０を何れの適切なトポロジーによっても実施できることが理解できる。従って、一部の実施形態では、追加の又は少ないノード９６をスイッチ型ファブリックネットワーク９０に含めることができる。例えば、上述のように、特定のデータロードを促進するために、スイッチ型ファブリックネットワーク９０を何れかの適切な数の処理ノード８４などの追加のノード９６のセットを用いてスケールすることができる。従って、一部の実施形態では、スイッチ型ファブリックネットワーク９０は高容量の視覚及び／又はグラフィックデータを処理するために何れの適切な数の視覚処理ノード８４Ｂも含むことができる。スイッチ型ファブリックネットワーク９０は、高容量のオーディオ情報を処理するために何れの適切な数のオーディオ処理ノード８４Ｃも含むことができ、スイッチ型ファブリックネットワーク９０は、何れの適切な量の物理的効果データなども処理するために何れの適切な数の物理的効果処理ノード８４Ｄも含むことができる。加えて又は代替えとして、スイッチ型ファブリックネットワーク９０の相互接続性を修正することができる。例えば、追加の又は少ない相互接続９４及び／又はスイッチ９２をスイッチ型ファブリックネットワーク９０に含めてノード９６間でデータをルーティングすることができる。更に、スイッチ型ファブリックネットワーク９０は本明細書ではＩＮＦＩＮＩＢＡＮＤ（登録商標）ネットワークとして記述されているが、スイッチ型ファブリックネットワーク９０を何れの適切なスイッチ型ファブリックネットワークプロトコルに従っても実施することができる。例えば、一部の実施形態では、スイッチ型ファブリックネットワーク９０は、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）又は別の適切な高速内部通信規格を用いて実施することができる。従って、本明細書で説明する実施形態は例証であり制限ではないことを意図する。

【0035】

対話型ビデオシステム１０を作動する処理１１０の例を、本技術に従って図３に示し図１及び／又は２の要素に関して以下に論じる。他の実施形態では、本開示に従って、図示した処理１１０の特定のステップを異なる順序で実行する、複数回繰り返す、又は互いにスキップできることを理解できる。更に、図３に示した処理１１０は、スイッチ型ファブリックネットワーク９０のノード９６によって実行することができる。詳細には、処理１１０を、スイッチ型ファブリックネットワーク９０の入力ノード９７、出力ノード９８、及び／又は処理ノード８４の適切な組み合わせによって実行することができる。

【0036】

処理１１０の図示した実施形態は入力ノード９７で参加者データを収集するステップ（ブロック１１２）から始まる。特定の実施形態では、参加者１２を、参加エリア１６の周りに位置付けられたセンシングユニット３８によって走査又は画像化することができる。加えて又は代替えとして、参加者データを収集するステップは、ＲＦセンサ４５のＲＦ信号を決定するステップを伴うことができる。例えば、一部の実施形態では、ＲＦセンサが、参加者１２の各々によって身に着けられた無線周波数識別（ＲＦＩＤ）タグを有するブレスレット又はヘッドバンドなどのウェアラブルデバイス４７からの固有に識別するＲＦ信号を決定することができる。これに応答して、ＲＦセンサ４５は、参加者データに取り込むことができる参加エリア１６の参加者１２のアイデンティティ及び相対的位置に関する信号を提供することができる。

【0037】

例示的処理１１０を続けて、次に、１又は２以上の処理ノード８４が、入力ノードにて収集された参加者データに少なくとも一部基づいて、、各参加者の対応する仮想表現を生成する（ブロック１１４）。例えば、特定の実施形態では、分散制御システム８２が、入力ノード９７のセンシングユニット３８から収集された走査データをスイッチ型ファブリックネットワーク９０を介して処理ノード８４にルーティングすることができる。処理ノード８４は基礎として受信された走査データを用いて参加者の仮想表現を生成することができる。特定の実施形態では、仮想表現１４は、収集された参加者データに一部基づいて入力ノード（例えば、体積センサ４０）によって及び／又は処理ノード８４で生成できる対応する参加者のシャドーモデルにほぼ類似の形状又は外形を有することができることが理解される。形状に加えて、仮想表現１４は、表現された参加者のプロパティに対応するよう修正できる他のプロパティを有することができる。例えば、参加者に、他のゲームシステムにおける参加者のパフォーマンス、ギフトショップでの参加者の購入、ロイヤリティプログラムの参加者のメンバーシップなどを反映する様々なプロパティ（例えば、アイテム、ステータス、スコア、統計値）を関連付けることができる。従って、仮想表現のプロパティ（例えば、サイズ、カラー、テクスチャ、アニメーション、仮想アイテムの存在）を、対応する参加者に関連付けられる様々なプロパティに応じて設定することができ、更にゲームプレイ中の参加者のプロパティへの変更に基づいて修正することができる。例えば、一部の実施形態では、処理ノード８４は、ＲＦセンサ４５によって提供される信号などの収集された参加者データに一部基づいて特定の参加者に関するデータベースノード８６からの上述のプロパティなどの追加の参加者データを要求する及び／又は受信することができる。処理ノード８４は次に、データベースノード８６によって提供される追加の参加者データに一部基づいて参加者の仮想表現を生成することができる。

【0038】

特定の実施形態では、分散制御システム８２は、処理ノード８４の何れかの適切な組み合わせを用いて参加者の仮想表現を生成することができる。例えば、上述のように、フュージョン処理ノード８４Ｅが、ＲＦセンサ４５及びセンシングユニット３８などの１又は２以上の入力デバイスから収集された参加者データを集約することができる。集約された収集参加者データに一部基づいて、視覚処理ノード８４Ｂが適切な信号を決定して出力ノード９８（例えば、ディスプレイデバイス２４）の１又は２以上を介して仮想表現を表示することができる。更にまた、データベースノード８６、ＡＩ処理ノード８４Ａ、及び／又は何れかの追加の処理ノード８４を用いて、仮想表現を生成する及び／又は仮想表現を生成するために視覚処理ノード８４Ｂによって用いられる追加の情報を提供することができる。これを受けて、上述のように、対話型ビデオシステム１０を実施することに伴う処理タスクを、特定の処理タスクを実行するよう特化する及び／又は最適化することができる１又は２以上の処理ノード８４の間で分散することができる。

【0039】

図示した処理１１０は、対話型ビデオシステム１０が出力ノード９８を用いて参加者の各々の対応する仮想表現１４を出力するステップ（例えば、提示するステップ）（ブロック１１６）に続く。例えば、一部の実施形態では、分散制御システム８２が１又は２以上の処理ノード８４からの仮想表現１４をスイッチ型ファブリックネットワーク９０を介して１又は２以上の出力ノード９８にルーティングすることができ、出力ノード９８がディスプレイデバイス２４上に仮想環境３２における受信した仮想表現を表示することができる。仮想表現の提示に加えて、特定の実施形態では、ブロック１１８の動作はまた、１又は２以上の出力ノード９８を用いて、ウェルカムメッセージ又はオリエンテーション／インストラクション情報などの他の導入提示をゲームプレイが始まる前の提示エリア２５で参加者１２に提示するステップを含むことができる。

【0040】

ゲームプレイが開始した状態で、ブロック１１４で生成されブロック１１６で提示された仮想表現１４は、互いに及び／又は仮想環境３２における仮想オブジェクトと対話することができる。ゲームプレイ中に、１又は２以上の処理ノード８４は、一般的には収集された参加者データに基づいて参加エリア１６における参加者１２の各々のインゲーム動作を決定する（ブロック１１８）。例えば、インゲーム動作は、仮想環境３２内の仮想表現１４のジャンプ、走り、スライド、又はそうでなければ移動を含むことができる。インゲーム動作はまた、仮想環境３２における仮想オブジェクトなどのアイテムとの対話（例えば、アイテムの移動、アイテムの取得、アイテムの紛失、アイテムの消費）を含むことができる。加えて又は代替えとして、参加者１２は、インゲーム動作を生成するために、参加エリア１６に含める及び／又はギフトショップで購入することができる物理的なプロップ（例えば、ボール、おもちゃ、クライミング構造など）を動かす、投げる、及び／又は昇ることができる。インゲーム動作はまた、目標を完成するステップ、別の参加者を倒すステップ、ラウンドに勝利するステップ、又は他の類似のインゲーム動作を含むことができる。従って、収集された参加者データは、参加エリア１６内に配置される参加者１２の動作に関するデータを含むことができる。すなわち、例えば、参加者データを収集するステップ（ブロック１１２）は、参加者１２のインゲーム動作を取り込むために他のデバイス（例えば、ＲＦセンサ４５、入力デバイス７６）からデータを収集するステップを付加的に伴うことができる。従って、一部の実施形態では、入力ノード９７は、ゲームプレイ中の参加者データの取り込みを継続することができる。

【0041】

加えて、１又は２以上の処理ノード８４は、これらのインゲーム動作に対応するインゲーム効果を決定することができる。例えば、ＡＩ処理ノード８４Ａは、参加者１２のインゲーム動作によってトリガされる及び／又は関連付けられる特定のゲーム規則に対応するインゲーム効果を決定することができる。更にまた、一部の実施形態では、インゲーム効果を決定する場合に伴われる特定の計算を、追加のＡＩ処理ノード８４Ａなどの追加の処理ノード８４にオフロードすることができる。更にまた、特定の実施形態では、分散制御システム８２が、参加者のインゲーム動作に一部基づいて提示エリア２５内の仮想環境３２のパラメータを設定又は修正するために適切な信号を決定することができる。例えば、以下に詳しく説明するように、この修正は、家のライトの輝度及び／又はカラーを調節するステップ、ゲーム音楽又はゲームサウンド効果を再生するステップ、参加エリアの温度を調節するステップ、参加エリアでの物理的効果を起動するステップなどを含むことができる。

【0042】

分散制御システム８２は一般的には、出力ノード９８を用いて、参加エリア１６の参加者１２のインゲーム動作及びブロック１１８で決定された対応するインゲーム効果に基づいて参加者１２の対応する仮想表現１４及び／又は仮想環境３２をアップデートする（ブロック１２０）。例えば、分散制御システム８２は、ＲＤＭＡを用いて、第２ノード（例えば、視覚処理ノード８４Ｂ、オーディオ処理ノード８４Ｃ、物理的効果処理ノード８４Ｄ、ＡＩ処理ノード８４Ａなど）のメモリに格納されたデータに基づいて第１ノード（例えば、１又は２以上の出力ノード９８）のメモリに格納されたデータを直接アップデートすることができる。出力ノード９８は次に、適切な制御信号を関連付けられる出力デバイス（例えば、オーディオデバイス５０、ディスプレイデバイス２４，出力デバイス７８）に供給して、受信した信号に基づいて仮想環境３２をアップデートする（例えば、提示エリア２５の提示をアップデートする）ことができる。矢印１２２によって示されるように、処理１１０に含まれる１又は２以上のステップ（例えば、ブロック１１８及び／又はブロック１２０）を、ゲームプレイが完了するまで、例えば、ゲームプレイのラウンドに勝利した参加者１２の１人により又は割り当てられたゲームプレイ時間の満了により繰り返すことができる。

【0043】

図４は、本手法による、図３のブロック１１８に対応する参加者１２の各々のインゲーム動作に対応するインゲーム効果を決定する処理１４０の例示的実施形態である。処理１４０を図１及び２の要素に関して以下に説明する。更に、他の実施形態では、図示した処理１４０の特定のステップを、本開示に従って、異なる順序で実行でき、複数回繰り返すことができるか、又は互いにスキップできることが理解できる。一般的には、処理１４０は、参加者のインゲーム動作を識別するステップ、これらの識別したインゲーム動作に基づいてインゲーム効果を決定するステップ、及び決定されたインゲーム効果に基づいて参加エリアにおける仮想環境の表現をアップデートするステップを含む。更にまた、図４に示した処理１４０を本明細書では分散制御システム８２の特定のノード（例えば、１又は２以上の処理ノード８４）によって実行されるものとして記述しているが、処理１４０は、分散制御システム８２のノード９６の何れの適切な組み合わせによっても実行することができる。

【0044】

図示した処理１４０は、収集された参加者データに少なくとも一部基づいて、各参加者１２の対応する仮想表現１４の１又は２以上のインゲーム動作を識別する（ブロック１４２）分散制御システム８２の処理ノード８４の１又は２以上（例えば、ＡＩ処理ノード８４Ａ）によって開始する。例えば、インゲーム動作は、仮想環境３２内の仮想表現１４のジャンプ、ラン、スライド、又はそうでなければ移動を含むことができる。従って、処理ノード８４の１又は２以上は、参加者１２のインゲーム動作を取り込むよう実装される入力ノード９７から（例えば、センシングユニット３８、ＲＦセンサ４５、入力デバイス７６などから）受信されたデータに一部基づいてインゲーム動作を識別することができる。

【0045】

次に、図示した処理１４０は、処理ノード８４の１又は２以上（例えば、ＡＩ処理ノード８４Ａ）が参加者１２の各々の識別されたインゲーム動作に応答してトリガされる１又は２以上のインゲーム効果を決定するステップ（ブロック１４４）に続く。例えば、決定されたインゲーム動作が参加者の動きである時、次にインゲーム効果は、仮想環境内の対応する仮想表現の位置の対応する変化とすることができる。決定されたインゲーム動作がジャンプである時、インゲーム効果は、図１に示すようにｙ軸２０に沿った仮想表現の移動を含むことができる。決定されたインゲーム動作が特定のパワーアップアイテムを起動することである時、次にインゲーム効果は、参加者１２に関連付けられるステータス（例えば、健康ステータス、パワーステータス）を修正するステップを含むことができる。参加者１２Ａに関連付けられる決定されたインゲーム動作が、参加エリア１６内の泡の剣などの物理的プロップの使用である時、インゲーム効果は、仮想の剣などの物理的プロップに対応する仮想表現を含むよう仮想環境３２内の参加者１２Ａの仮想表現をアップデートするステップを含むことができる。加えて、特定のケースでは、仮想表現１４の動きは、参加者１２の実際の動きに対して強調又は増補することができる。例えば、仮想表現の外観を修正することに関して上述したように、参加者の仮想表現の動きは、ゲームプレイ中に獲得されたアイテム、他のゲームプレイセッション中に獲得されたアイテム、ギフトショップで購入されたアイテムなどを含む、参加者に関連付けられるプロパティに基づいて参加者の実際の動きに対して一時的に又は永続的に強調することができる（例えば、高く飛ぶ、遠くに飛ぶことができる）。加えて、インゲーム効果は、１又は２以上のサウンド及び／又は物理的効果を含むことができる。

【0046】

図４に示した実施形態を続けると、分散制御システム８２は、ブロック１４４で決定されたインゲーム効果に少なくとも一部基づいて、、提示エリア２５における１又は２以上のサウンド（ブロック１４６）、視覚効果（ブロック１４８）、及び／又は１又は２以上の物理的効果（ブロック１５０）に対応する適切な信号を決定することができる。例えば、インゲーム効果が仮想スイミングプールに突っ込む参加者の特定の仮想表現であると決定される時、オーディオ処理ノード８４Ｃは、出力ノード９８の１又は２以上に関連付けられるオーディオデバイス（例えば、オーディオデバイス５０）に適切なスプラッシュサウンドを生成させるのに適した信号を決定することができる。更に、視覚処理ノード８４Ｂは、参加者のアップデートされた視覚表現などの視覚効果を決定して、出力ノード９８の１又は２以上に（例えば、ディスプレイデバイス２４に）提示することができる。一部の実施形態では、視覚処理ノード８４Ｂは、隣接するか又は互いから物理的にリモートとすることができる幾つかのＧＰＵ１０４Ｃを利用して、視覚効果を決定することができる。更にまた、物理的効果処理ノード８４Ｄは、出力ノード９８及び関連付けられる出力デバイス７８に一吹きのミストを生成させる適切な信号を決定することができる。加えて、サウンド及び／又は物理的効果は、例えば、パワーアップの取得、パワーアップの紛失、ポイントの獲得、又は環境の特定のタイプの移動を含む何れの数のインゲーム効果にも応じて生成することができる。

【0047】

本方法の技術的な効果は、複数の参加者（例えば、２又は３以上、４又は５以上）が参加エリア近くの提示エリアのディスプレイデバイスに提示される仮想環境における対応する仮想表現を制御するために物理的参加エリアにおける動作を実行するのを可能にする対話型ビデオシステムを含む。詳細には、本発明のシステムは、滑らかで且つ参加者の対話に反応するリアルタイム対話型経験を作成することができ、且つ本発明のシステムは、多数の参加者、データ処理の高スループットなどを促進するよう効率的にスケールすることができる。これを行うために、開示するシステムは、スイッチ型ファブリックネットワークで実装される分散制御システムを含む。このスイッチ型ファブリックネットワークは、入力ノード（例えば、入力デバイス）、出力ノード（例えば、出力デバイス）、及び処理ノード（例えば、コンピュータデバイス）などの幾つかのノードを相互接続する。更に、スイッチ型ファブリックネットワークは、低レイテンシー、高帯域幅通信、並びにノード間のリモート直接メモリアクセス（ＲＤＭＡ）を促進することができる。低レイテンシー通信の結果として、且つ処理ノードが特定のコンピュータタスクを実行するよう最適化された専用プロセッサを含むことができるので、本発明のシステムを制御することに伴う作動を、幾つかの処理ノード及び／又は高速処理のための専用プロセッサ全体に渡って分散することができる。更にまた、スイッチ型ファブリックネットワークが物理的に別個の位置（例えば、別のシャーシ）の処理ノードに対応することができるので、追加の処理ノードをシステムからオン又はオフサイトのネットワークに効率的に追加することができ、本発明のシステムのスケーラビリティを増大する。

【0048】

本開示の特定の特徴のみを本明細書に図示し説明したが、多くの修正及び変更が当業者に見出されるであろう。従って、添付の特許請求の範囲は、本開示の真の趣旨に属するような修正及び変更の全てを包含するように意図されると理解すべきである。本明細書で提示され特許請求された技術は、本発明の技術分野を明らかに改善する有形物及び実際的な性質の具体例に参照及び適用され、このため、抽象的、無形又は純粋に理論上のものではない。更に、本明細書に添付されたあらゆる請求項が、「ある機能を実行する手段」又は「ある機能を実行するステップ」として指定された１又は２以上の要素を包含する場合には、このような要素は、米国特許法第１１２条（ｆ）に基づいて解釈されることを意図している。しかしながら、他の何れかの様態で指定された要素を含む何れかの請求項については、このような要素は、米国特許法第１１２条（ｆ）に基づいて解釈されないものとする。

【符号の説明】

【0049】

１０ 対話型ビデオシステム
１２Ａ 参加者
１２Ｂ 参加者
１４Ａ 仮想表現
１４Ｂ 仮想表現
１６ 参加エリア
１８ ｘ軸
２０ ｙ軸
２２ ｚ軸
２４ ディスプレイデバイス
２５ 提示エリア
２６ ｘ軸
２８ ｙ軸
３２ 仮想環境
３５ ｚ軸
３８ センシングユニット
４０ 体積センサ
４５ ＲＦセンサ
４７ ウェアラブルデバイス
５０ オーディオデバイス
７４ インタフェースパネル
７６ 入力デバイス
７８ 出力デバイス
８２ 分散制御システム
８４ 処理ノード
８６ データベースノード
９０ スイッチ型ファブリックネットワーク
１０２ メモリ
１０４ プロセッサ

【図1】

【図2】

【図3】

【図4】