特許 7462069 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240328BHJP

   A63F 13/25 20140101ALI20240328BHJP

   A63F 13/52 20140101ALI20240328BHJP

   A63F 13/213 20140101ALI20240328BHJP

   A63F 13/428 20140101ALI20240328BHJP

   G06F 3/01 20060101ALI20240328BHJP

【ＦＩ】

G06T19/00 600

A63F13/25

A63F13/52

A63F13/213

A63F13/428

G06F3/01 510

【請求項の数】 20

(21)【出願番号】P 2022562530

(86)(22)【出願日】2021-05-11

(65)【公表番号】

(43)【公表日】2023-05-31

(86)【国際出願番号】 US2021031725

(87)【国際公開番号】W WO2021231390

(87)【国際公開日】2021-11-18

【審査請求日】2022-10-13

(31)【優先権主張番号】16/871,819

(32)【優先日】2020-05-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ブラック、グレン

(72)【発明者】

【氏名】テイラー、マイケル

【審査官】佐野 潤一

(56)【参考文献】

【文献】国際公開第２０１７／０６８８２４（ＷＯ，Ａ１）

【文献】特開２０１９－１７９０８０（ＪＰ，Ａ）

【文献】特開２０１８－１１３６８３（ＪＰ，Ａ）

【文献】特開２０１８－１５６３３９（ＪＰ，Ａ）

【文献】特開２０１８－０９７２８０（ＪＰ，Ａ）

【文献】国際公開第２０１８／１９３５０９（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１６２８２５（ＷＯ，Ａ１）

【文献】特開２００７－０４２０７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ａ６３Ｆ １３／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ２１／００

(57)【特許請求の範囲】

【請求項1】

命令でプログラムされた少なくとも１つのプロセッサ、
を含む装置であって、
前記命令は、前記少なくとも１つのプロセッサによって、
ユーザによって識別される空間内の少なくとも１つの位置であって、前記ユーザによって装着される頭部搭載型装置から離れた前記少なくとも１つの位置を識別することであって、前記空間内の位置は、カメラと同じ位置に配置されない、識別することと、
それぞれの複数のカメラによって生成された前記空間の複数のビデオにアクセスして、前記空間内の位置のバンテージポイントから前記空間の合成ビデオを生成することであって、前記複数のカメラは、前記頭部搭載型装置に搭載される、生成することと、
前記合成ビデオを少なくとも１つの頭部搭載型装置に表示することと、
を実行可能である、前記装置。

【請求項2】

前記頭部搭載型装置は、拡張現実ヘッドマウントディスプレイ（ＨＭＤ）を含む、請求項１に記載の装置。

【請求項3】

前記頭部搭載型装置は、拡張現実メガネを含む、請求項１に記載の装置。

【請求項4】

前記バンテージポイントは、仮想カメラの位置及び向きを含む、請求項１に記載の装置。

【請求項5】

前記命令は、レーザからの光を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項１に記載の装置。

【請求項6】

前記命令は、前記頭部搭載型装置の着用者のジェスチャを撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項１に記載の装置。

【請求項7】

前記命令は、前記頭部搭載型装置の着用者の眼を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項１に記載の装置。

【請求項8】

前記命令は、ビデオ撮像を必要とする空間内の領域のインジケーションを前記頭部搭載型装置に提示することを実行可能である、請求項１に記載の装置。

【請求項9】

前記命令は、
前記ユーザの位置及び動きを識別することと、
前記合成ビデオに、空間内の前記ユーザの前記位置で描かれた前記ユーザを表すアバターであって、前記ユーザの前記動きに従って動く前記アバターを含ませることと、
を実行可能である、請求項１に記載の装置。

【請求項10】

前記命令は、音声信号に少なくとも部分的に基づいて前記空間内の位置を識別することを実行可能である、請求項１に記載の装置。

【請求項11】

少なくとも１つのそれぞれのカメラを各々が含む、少なくとも第一及び第二ヘッドマウントデバイス（ＨＭＤ）と、
命令によってプログラムされた少なくとも１つのプロセッサと、
を含むアセンブリであって、
前記命令は、前記プロセッサを、
カメラが位置付けられていない空間内の少なくとも１つの位置を識別し、
前記ＨＭＤの前記カメラからの画像を使用して、前記空間内の前記位置のバンテージポイントからのビデオを生成し、
前記ＨＭＤのうちの少なくとも１つに前記ビデオを提示する、
ように構成する、前記アセンブリ。

【請求項12】

前記バンテージポイントは、仮想カメラの位置及び向きを含む、請求項１１に記載のアセンブリ。

【請求項13】

前記命令は、レーザからの光を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項１１に記載のアセンブリ。

【請求項14】

前記命令は、前記ＨＭＤのうちの１つの着用者のジェスチャを撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項１１に記載のアセンブリ。

【請求項15】

前記命令は、前記ＨＭＤのうちの１つの着用者の眼を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項１１に記載のアセンブリ。

【請求項16】

前記命令は、ビデオ撮像を必要とする空間内の領域のインジケーションを前記ＨＭＤの少なくとも１つに提示することを実行可能である、請求項１１に記載のアセンブリ。

【請求項17】

それぞれのカメラによって撮られた空間の複数のビデオから合成ビデオを生成することであって、前記合成ビデオは、前記それぞれのカメラのそれぞれの位置から離れたバンテージポイントから、ユーザによる前記バンテージポイントの識別に基づいて生成される、生成することと、
前記ユーザが装着した頭部搭載型装置に前記合成ビデオを提示することであって、前記頭部搭載型装置は、前記バンテージポイントから離れている、提示することと、
を含む、方法。

【請求項18】

前記カメラは、それぞれの頭部搭載型装置に搭載される、請求項１７に記載の方法。

【請求項19】

レーザからの光を撮像することに少なくとも部分的に基づいて前記バンテージポイントを識別することを含む、請求項１７に記載の方法。

【請求項20】

前記ユーザを撮像することに少なくとも部分的に基づいて前記バンテージポイントを識別することを含む、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、必然的にコンピュータ技術に根ざしており、具体的な技術的改善を生じさせる技術的に発明性のある、通常にはない解決策に関連する。

【背景技術】

【0002】

本明細書で理解されるように、拡張現実（ＡＲ）コンピュータシミュレーション、例えばＡＲビデオゲームのプレイヤは、ユーザがＡＲ環境中を進むにつれてユーザ自身が選択することができるバンテージポイントから自分自身を見たいと思うかもしれない。

【発明の概要】

【0003】

メッシュネットワーキングを使用して、拡張現実（ＡＲ）ヘッドセットなどの複数のカメラソースからのビデオを結合することができる。カメラが配置されている空間の集約されたビデオが生成されることができると、その空間内の任意のポイントで仮想カメラがシミュレートされ、仮想カメラの位置及び向きから空間の合成ビデオが生成されることができることで、ユーザが仮想カメラのバンテージポイントから自分自身及びその他の人を観察することができる。合成ビデオは、様々なカメラソースによって撮られた実世界ビデオから合成される。複数のビデオフレームから合成ビデオを生成する非限定的な例は、参照により本明細書に援用されている、ＵＳＰＰ２０１７０２２１２１８及び２０１７０１１１６５２に記載されている。

【0004】

ユーザは、レーザポインタ、アイトラッキングなどのジェスチャ（向き）による任意の適切なＡＲ／ＶＲインジケーション技法を使用して、ユーザがビデオを見たいバンテージポイントからの仮想カメラの位置及び向きを識別することができる。仮想カメラの焦点及び視野（ＦＯＶ）もまた、例えばジェスチャを使用して、調整されることができる。

【0005】

したがって、実世界空間は、多視点を同時に使用してマッピングされることができる。本出願の譲受人またはその関連会社によって所有され、参照により本明細書に援用され、「Ｍｕｌｔｉｐｏｉｎｔ ＳＬＡＭ ｃａｐｔｕｒｅ」と題されたＵＳＰＮ１０，５４９，１８６は、複数のカメラから実世界マップを構築するための技法の一例を提供する。

【0006】

実世界の合成ビデオは、仮想現実（ＶＲ）オブジェクトで拡張されることができる。複数の視点を使用して実世界マップを更新し、視点間の補間を使用して特徴空間内のギャップを埋めることができる。チームメイトの意図を推測するために、機械学習が使用される場合がある。カメラは、仮想移動オブジェクト（車、ドローンなど）に取り付けられ得、仮想ドリーは、映画制作に使用されることができる。仮想空間内のポイントを指定して、その間でカメラビューをパンすることができる。撮像された空間内のシャドウイング領域をハイライトして、ユーザにそこに移動して実世界シャドウ領域を撮影するように促すことができる。移動の速いオブジェクトを自動的に選択して、それらのようなオブジェクト上のカメラを訓練することができる。オープンループの実世界空間とクローズドループ空間（室内）との両方が企図され、仮想カメラは、人々の行動が予測されている、どこかに「配置」されることができる。自己画像の場合、ＧＰＳ及びモーションセンサが使用されることができるため、ユーザのアバターは、仮想カメラのバンテージポイントから見えるであろう空間に配置されることができる。

【0007】

したがって、装置は、命令でプログラムされた少なくとも１つのプロセッサを含み、これらの命令は、プロセッサによって、仮想カメラのために空間内の少なくとも１つの位置を識別することを実行可能である。これらの命令は、それぞれの複数のカメラによって生成された空間の複数のビデオにアクセスして、仮想カメラのバンテージポイントから空間の合成ビデオを生成することを実行可能である。また、命令は、合成ビデオを少なくとも１つの頭部搭載型装置に表示することを実行可能である。

【0008】

頭部搭載型装置は、拡張現実ヘッドマウントディスプレイ（ＨＭＤ）を含んでもよく、または拡張現実メガネを含んでもよい。

【0009】

非限定的な例では、複数のカメラのうちの第一カメラは、頭部搭載型装置にある。必要に応じて、複数のカメラをそれぞれの頭部搭載型装置に搭載することができる。いくつかの実装では、仮想カメラのバンテージポイントは、仮想カメラの位置及び向きの両方を含む。

【0010】

例示的な実施形態では、命令は、レーザからの光を撮像することに少なくとも部分的に基づいて、仮想カメラの空間内の位置を識別することを実行可能であり得る。他の例では、命令は、頭部搭載型装置の着用者のジェスチャを撮像することに少なくとも部分的に基づいて、仮想カメラの空間内の位置を識別することを実行可能であり得る。さらに他の例では、命令は、頭部搭載型装置の着用者の眼を撮像することに少なくとも部分的に基づいて仮想カメラの空間内の位置を識別することを実行可能であり得る。必要に応じて、命令は、ビデオ撮像を必要とする空間内の領域のインジケーションを頭部搭載型装置に提示することを実行可能であり得る。

【0011】

別の態様では、アセンブリは、少なくとも１つのそれぞれのカメラを各含む、少なくとも第一及び第二ヘッドマウントデバイス（ＨＭＤ）を含む。また、アセンブリは、命令でプログラムされた少なくとも１つのプロセッサを含み、これらの命令は、仮想カメラのために空間内の少なくとも１つの位置を識別し、ＨＭＤのカメラからの画像を使用して、仮想カメラのその位置のバンテージポイントからビデオを生成するようにプロセッサを構成することを実行可能である。命令は、ＨＭＤのうちの少なくとも１つにビデオを提示することを実行可能である。

【0012】

別の態様では、方法は、それぞれの実世界カメラによって撮られた空間の複数のビデオにアクセスすることを含む。また、方法は、ユーザによるバンテージポイントの識別に基づいて、実世界カメラのそれぞれの位置から離れたバンテージポイントから、複数のビデオからの合成ビデオを生成することを含む。この方法は、ユーザが装着した頭部搭載型装置に合成ビデオを提示することを含む。

【0013】

本願の詳細は、その構造及び動作の両方について、同様の参照符号が同様の部分を指す添付図を参照して最も良く理解できる。

【図面の簡単な説明】

【0014】

【図1】本原理と一致した例示的なシステムのブロック図である。

【図2】ＡＲ環境の一例を示す。

【図3】本原理と一致した例示的なロジックを例示的なフローチャート形式で示す。

【図4】メガネとして構成された代替の頭部搭載用具を示す。

【図5】仮想カメラのバンテージポイントを選択するための第一技法を示す。

【図6】仮想カメラのバンテージポイントを選択するための第二技法を示す。

【図7】仮想カメラのバンテージポイントを選択するための第三技法を示す。

【図8】ユーザが指定した位置でカメラが撮ったかのような例示的なＡＲ合成ビデオのスクリーンショットを示す。

【図9】本原理と一致したスクリーンショットを示す。

【図10】本原理と一致した代替のロジックの例を示す。

【発明を実施するための形態】

【0015】

本開示は、概して、限定ではないが、コンピュータゲームネットワーク等の家電製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータを交換し得るように、ネットワークを通じて接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機またはＭｉｃｒｏｓｏｆｔ（登録商標）もしくはＮｉｎｔｅｎｄｏ（登録商標）もしくは他の製造者によって作成されたゲーム機、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加の例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔ（登録商標）のオペレーティングシステム、もしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ（登録商標）もしくはＧｏｏｇｌｅ（登録商標）によって製造されたオペレーティングシステムを使用し得る。これらの動作環境を使用して、Ｍｉｃｒｏｓｏｆｔ（登録商標）もしくはＧｏｏｇｌｅ（登録商標）もしくはＭｏｚｉｌｌａ（登録商標）によって作成されたブラウザ、または下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる他のブラウザプログラム等の１つ以上の閲覧プログラムを実行し得る。また、１つ以上のコンピュータゲームプログラムを実行するために、本原理による動作環境が用いられ得る。

【0016】

サーバ及び／またはゲートウェイは、インターネット等のネットワークを介してデータの受信及び送信を行うようにサーバを構成する命令を実行する１つ以上のプロセッサを含み得る。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを介して接続することができる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機、パーソナルコンピュータ等によってインスタンス化され得る。

【0017】

クライアントとサーバとの間でネットワークを介して情報を交換することができる。この目的のために及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバは、ネットワークメンバーにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成し得る。

【0018】

本明細書で使用される場合、命令は、システムにおいて情報を処理するためにコンピュータにより実施されるステップを指す。命令は、ソフトウェア、ファームウェアまたはハードウェアに実装されることができ、システムのコンポーネントによって行われるあらゆるタイプのプログラムされたステップを含むことができる。

【0019】

プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、ならびにレジスタ及びシフトレジスタによってロジックを実行できる汎用シングルチッププロセッサまたは汎用マルチチッププロセッサであり得る。

【0020】

本明細書のフローチャート及びユーザインタフェースによって説明されるソフトウェアモジュールは、様々なサブルーチン、プロシージャなどを含むことができる。本開示を限定することなく、特定のモジュールによって実行されると述べられたロジックは、他のソフトウェアモジュールに再配布されること、及び／または単一モジュールに合わせて結合されること、及び／または共有可能なライブラリで利用可能にされることができる。

【0021】

本明細書で説明される本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装されてもよく、よって、例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性の観点から示される。

【0022】

さらに、上で示唆されたものについて、以下で説明される論理ブロック、モジュール、及び回路は、本明細書で説明される機能を実行するよう設計された、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくは特定用途向け集積回路（ＡＳＩＣ）、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、またはそれらのいずれかの組み合わせ等の他のプログラマブル論理デバイスにより実装または実行され得る。プロセッサは、コンピューティングデバイスのコントローラもしくはステートマシン、または組み合わせによって実装され得る。

【0023】

以下で説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定ではないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋等の適切な言語において記述することができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージもしくは着脱可能サムドライブ等を含む他の磁気記憶装置等のコンピュータ可読記憶媒体に記憶することができ、またはそれらを通して伝送することができる。接続は、コンピュータ可読媒体を確立し得る。このような接続は、例として、光ファイバ、同軸ワイヤ、デジタル加入者回線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含み得る。そのような接続は、赤外線及び無線機を含む無線通信接続を含んでもよい。

【0024】

ある実施形態に含まれるコンポーネントを、他の実施形態において任意の適切な組み合わせで使用することができる。例えば、本明細書で説明される、及び／または図に描かれる様々なコンポーネントのいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。

【0025】

「Ａ、Ｂ、及びＣの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａを単独で、Ｂを単独で、Ｃを単独で、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ、及びＣを一緒に有するシステム等を含む。

【0026】

ここで具体的に図１を参照すると、システム１０の一例が示されており、これは、本原理による、前述されており、さらに後述されている例示的なデバイスのうちの１つ以上を含み得る。システム１０に含まれる例示的なデバイスの第一デバイスは、ＴＶチューナを備えたインターネット対応ＴＶ（同等に、ＴＶを制御するセットトップボックス）などであるがこれに限定されない、オーディオビデオデバイス（ＡＶＤ）１２などの家庭用電化製品（ＣＥ）のデバイスである。しかし、ＡＶＤ１２は、代わりに、電気器具または家庭用品、例えば、コンピュータ制御でインターネット対応の冷蔵庫、洗濯機、または乾燥機であってよい。あるいは、ＡＶＤ１２はまた、コンピュータ制御型インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えば、コンピュータ制御型インターネット対応時計、コンピュータ制御型インターネット対応ブレスレット、他のコンピュータ制御型インターネット対応デバイス等のウェアラブルコンピュータ制御デバイス、コンピュータ制御型インターネット対応ミュージックプレーヤ、コンピュータ制御型インターネット対応ヘッドフォン、インプラント可能な皮膚用デバイス等のコンピュータ制御型インターネット対応のインプラント可能なデバイス等であってよい。いずれにしても、ＡＶＤ１２は、本原理を実施する（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行し、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ように構成されることを理解されたい。

【0027】

したがって、このような原理を実施するために、ＡＶＤ１２は、図１に示すコンポーネントの一部または全てによって確立され得る。例えば、ＡＶＤ１２は、高解像度フラットスクリーンまたは「４Ｋ」以上の超高解像度フラットスクリーンによって実装してもよく、ユーザ入力信号をディスプレイ上のタッチを介して受け取るためのタッチ対応であってもよい、１つ以上のディスプレイ１４を含むことが可能である。ＡＶＤ１２は、本原理に従ってオーディオを出力するための１つ以上のスピーカ１６と、例えば、可聴コマンドをＡＶＤ１２に入力して、ＡＶＤ１２を制御するための、例えば、オーディオ受信機／マイクロフォン等の少なくとも１つの追加の入力デバイス１８とを備え得る。例示的なＡＶＤ１２は、また、１つまたは複数のプロセッサ２４の制御下でインターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を介して通信するための１つまたは複数のネットワークインタフェース２０を含み得る。グラフィックスプロセッサ２４Ａを含んでいてもよい。したがって、インタフェース２０は、Ｗｉ－Ｆｉ（登録商標）送受信器であり得るが、これに限定されず、Ｗｉ－Ｆｉ（登録商標）送受信器は、非限定的にメッシュネットワーク送受信器などの無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば、画像を提示するようにディスプレイ１４を制御することや、ディスプレイ１４から入力を受信すること等の本明細書に説明されるＡＶＤ１２の他の要素を含むＡＶＤ１２が本原理を実施するように制御することが理解されよう。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線モデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ（登録商標）送受信機などの他の適切なインタフェースであってもよい。

【0028】

上記に加えて、ＡＤＶ１２はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するための高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通してＡＤＶ１２からユーザにオーディオを提供するためにＡＤＶ１２にヘッドフォンを接続するためのヘッドフォンポート等の１つまたは複数の入力ポート２６を含み得る。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルソースまたは衛星ソース２６ａに、有線または無線を介して接続され得る。したがって、ソース２６ａは、例えば、別個のもしくは統合されたセットトップボックス、または衛星受信器であり得る。あるいは、ソース２６ａは、以下でさらに説明されている、チャネル割り当て目的でユーザがお気に入りとみなし得るコンテンツを含むゲームコンソールまたはディスクプレーヤであってもよい。ソース２６ａは、ゲームコンソールとして実装されるとき、ＣＥデバイス４４に関連して以下で説明されるコンポーネントの一部または全てを含んでもよい。

【0029】

ＡＶＤ１２はさらに、一時的信号でない、ディスクベースまたはソリッドステート記憶装置等の１つ以上のコンピュータメモリ２８を含んでもよく、これらは、いくつかの場合にはスタンドアロンデバイスとして、またはパーソナルビデオレコーディングデバイス（ＰＶＲ）としてＡＶＤのシャーシで具体化され、またはＡＶプログラムを再生するために、ＡＶＤのシャーシの内部もしくは外部のいずれかでビデオディスクプレーヤとして具体化され、または着脱可能メモリ媒体として具体化される。また、いくつかの実施形態では、ＡＶＤ１２は、限定するものではないが、例えば、少なくとも１つのサテライト基地局もしくは携帯電話基地局から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはＡＶＤ１２がプロセッサ２４と併せて配置される高度を判定するように構成される、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置受信機または場所受信機を含み得る。しかし、例えば全３次元において、例えば、ＡＶＤ１２の場所を判定するために、本原理に従って、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。

【0030】

ＡＶＤ１２の説明を続けると、ある実施形態では、ＡＶＤ１２は、１つまたは複数のカメラ３２を備えてよく、１つまたは複数のカメラ３２は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／またはＡＶＤ１２に統合され、本原理に従って写真／画像及び／またはビデオを収集するようプロセッサ２４によって制御可能なカメラであってよい。ＡＶＤ１２にはまた、ブルートゥース（登録商標）及び／または近距離無線通信（ＮＦＣ）技術をそれぞれ使用した他のデバイスとの通信のためのブルートゥース（登録商標）送受信機３４及び他のＮＦＣ素子３６が含まれ得る。例示的なＮＦＣ素子は、無線周波数識別（ＲＦＩＤ）素子であってよい。

【0031】

さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。ＡＶＤ１２は、プロセッサ２４への入力をもたらすＯＴＡ（無線経由）ＴＶ放送を受信するための無線経由ＴＶ放送ポート３８を含み得る。上述したものに加え、ＡＶＤ１２は、赤外線（ＩＲ）送信機及び／またはＩＲ受信機及び／または赤外線データアソシエーション（ＩＲＤＡ）デバイスなどのＩＲ送受信機４２も備えてよいことに留意されよう。ＡＶＤ１２に給電するためのバッテリ（図示せず）が備えられてよい。

【0032】

さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つまたは複数の他のＣＥデバイスタイプを含んでもよい。一例では、第一ＣＥデバイス４４は、コンピュータゲームのオーディオ及びビデオを、ＡＤＶ１２に直接送信されるコマンドを介して、及び／または以下に説明されるサーバを通してＡＤＶ１２に送信するために使用され得、一方、第二ＣＥデバイス４６は、第一ＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第二ＣＥデバイス４６は、図示されるようにプレイヤ４７が装着するＶＲヘッドセットとして構成され得る。示される実施例では、２つのＣＥデバイス４４、４６だけが示されており、より少ない数またはより多い数のデバイスが使用され得ることが理解される。

【0033】

示される例では、本原理を示すために、３つ全てのデバイス１２、４４、４６は、例えば家庭のエンターテインメントネットワークのメンバーであるか、または少なくとも、住宅等の場所において相互に近接して存在していると想定される。しかし、本原理は、他に明確に主張されない限り、破線４８によって示される特定の場所に限定されない。

【0034】

例示的な非限定的な第一ＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコントローラ（「コンソール」とも称される）のいずれか１つによって確立されてもよく、したがって、以下で説明される１つ以上のコンポーネントを有してもよい。第一ＣＥデバイス４４は、例えば、ＡＶ再生コマンド及び一時停止コマンドをＡＶＤ１２に発行するためのリモート制御（ＲＣ）であってもよく、またはタブレットコンピュータ、有線もしくは無線リンクを介してＡＶＤ１２と通信するゲームコントローラ、パーソナルコンピュータ、無線電話等のより高性能のデバイスであってもよい。

【0035】

したがって、第一ＣＥデバイス４４は１つ以上のディスプレイ５０を含み得、１つ以上のディスプレイ５０はディスプレイのタッチによりユーザ入力信号を受信するためのタッチ式であり得る。第一ＣＥデバイス４４は、本原理に従って音声を出力するための１つまたは複数のスピーカ５２と、例えば、デバイス４４を制御するために可聴コマンドを第一ＣＥデバイス４４に入力するための、例えば、音声受信機／マイクロフォン等の少なくとも１つの追加の入力デバイス５４とを備えてよい。例示の第一ＣＥデバイス４４はまた、１つ以上のＣＥデバイスプロセッサ５８の制御下で、ネットワーク２２を介して通信するための１つ以上のネットワークインタフェース５６を含み得る。グラフィックスプロセッサ５８Ａを含んでいてもよい。したがって、インタフェース５６は、Ｗｉ－Ｆｉ（登録商標）送受信器であり得るが、これに限定されず、Ｗｉ－Ｆｉ（登録商標）送受信器は、メッシュネットワークインタフェースを含む無線コンピュータネットワークインタフェースの例である。プロセッサ５８は、例えば、ディスプレイ５０を、画像を提示するように制御することや、そこから入力を受信すること等の本明細書に説明される第一ＣＥデバイス４４の他の要素を含む、本原理を実施するように第一ＣＥデバイス４４を制御することが理解されよう。さらに、ネットワークインタフェース５６は、例えば、有線もしくは無線モデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ（登録商標）送受信機などの他の適切なインタフェースであってもよい。

【0036】

上記に加えて、第一ＣＥデバイス４４はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するためのＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通して第一ＣＥデバイス４４からユーザにオーディオを提供するために第一ＣＥデバイス４４にヘッドフォンを接続するためのヘッドフォンポート等の１つまたは複数の入力ポート６０を含み得る。第一ＣＥデバイス４４はさらに、ディスクベースストレージまたはソリッドステートストレージなどの１つ以上の有形コンピュータ可読記憶媒体６２を含み得る。また、ある実施形態では、第一ＣＥデバイス４４は、限定ではないが、携帯電話及び／またはＧＰＳ受信機及び／または高度計６４など、位置または場所の受信機を備えることができ、位置または場所の受信機は、例えば、三角測量を使用して、少なくとも１つの衛星タワー及び／または携帯電話タワーから地理的位置情報を受信し、その情報をＣＥデバイスプロセッサ５８に提供し、及び／または第一ＣＥデバイス４４がＣＥデバイスプロセッサ５８と共に配置される高度を判定するように構成される。しかしながら、本原理に従って、例えば、全ての３つの次元において第一ＣＥデバイス４４の位置を判定するために、携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の他の適切な位置受信機が使用されてもよいことを理解されたい。

【0037】

第一ＣＥデバイス４４の説明を続けると、ある実施形態では、第一ＣＥデバイス４４は、１つまたは複数のカメラ６６を備えてよく、１つまたは複数のカメラ６６は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／または第一ＣＥデバイス４４に統合され、本原理に従って写真／画像及び／またはビデオを収集するようにＣＥデバイスプロセッサ５８によって制御可能であるカメラであってよい。また、第一ＣＥデバイス４４は、ブルートゥース（登録商標）送受信器６８と他の近距離無線通信（ＮＦＣ）素子７０とを含み得、これらは、ブルートゥース（登録商標）及び／またはＮＦＣ技術をそれぞれ使用して、他のデバイスと通信する。例示的なＮＦＣ素子は、無線周波数識別（ＲＦＩＤ）素子であってもよい。

【0038】

さらにまた、第一ＣＥデバイス４４は、ＣＥデバイスのプロセッサ５８に入力を提供する１つ以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ等のモーションセンサ、または磁気センサ、赤外線（ＩＲ）センサ、光センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。第一ＣＥデバイス４４は、例えば１つ以上の気候センサ７４（例えば、気圧計、湿度センサ、ウィンドセンサ、光センサ、温度センサなど）及び／またはＣＥデバイスのプロセッサ５８に入力を提供する１つ以上のバイオメトリックセンサ７６のようなさらに他のセンサを含んでもよい。前述に加えて、いくつかの実施形態では、第一ＣＥデバイス４４はまた、赤外線データ協会（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信器及び／またはＩＲ受信器及び／またはＩＲ送受信器７８を含み得ることに留意されたい。第一ＣＥデバイス４４に給電するためのバッテリ（図示せず）が備えられてよい。ＣＥデバイス４４は、上記の通信モード及び関連コンポーネントのいずれかを介してＡＶＤ１２と通信し得る。

【0039】

第二ＣＥデバイス４６は、ＣＥデバイス４４について示したコンポーネントの一部または全部を含むことができる。ＣＥデバイスの１つまたは両方のいずれかは、１つ以上のバッテリによって供電され得る。

【0040】

ここで、上記言及された少なくとも１つのサーバ８０を参照すると、サーバは、少なくとも１つのサーバプロセッサ８２、ディスクベースまたはソリッドステート記憶装置等の少なくとも１つの有形コンピュータ可読記憶媒体８４、及びサーバプロセッサ８２の制御の下、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を促進し得る少なくとも１つのネットワークインタフェース８６を含む。ネットワークインタフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ－Ｆｉ（登録商標）送受信機、または、例えば、無線テレフォニ送受信機等の他の適切なインタフェースであり得ることに留意されたい。

【0041】

したがって、いくつかの実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であってもよく、システム１０のデバイスが、例えばネットワークゲームアプリケーションについての例示的な実施形態においてサーバ８０を介して「クラウド」環境にアクセスできるような「クラウド」機能を含み、この「クラウド」機能を実行することができる。または、サーバ８０は、１つ以上のゲーム機、または図１に示される他のデバイスと同じ部屋もしくはその近くにある他のコンピュータによって実装され得る。

【0042】

本明細書における方法は、当業者によって認識されるように、プロセッサ、適切に構成された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、またはいずれかの他の便利な方式によって実行されるソフトウェア命令として実装されてもよい。採用される場合、ソフトウェア命令は、ＣＤ ＲＯＭまたはフラッシュドライブ等の非一時的デバイスにおいて具体化されてもよい。代わりに、ソフトウェアコード命令は、無線機もしくは光信号等の一時的な配列において、またはインターネットを通じたダウンロードを介して具体化され得る。

【0043】

ここで図２を参照すると、複数のユーザ２００が、図４を参照して以下でさらに説明される、コンピュータゲームの拡張現実（ＡＲ）ヘッドマウントデバイス（ＨＭＤ）またはメガネ型装置などであるがこれらに限定されないそれぞれの頭部搭載型装置（ＨＭＡ）を各装着することができることが示されている。各ＨＭＡ２０２は１つ以上のカメラを含み、これら１つ以上のカメラは、ユーザ２００が存在する空間を撮像することができ、ユーザの眼を撮像することもできる。通常、ビデオ形式の画像は、無線リンクを介してシンセサイザコンピュータ２０４に送信される。シンセサイザコンピュータ２０４は、いくつかの実施形態では、サーバもしくは他のコンピュータによって実装されてもよく、またはＨＭＡ２０２の一方もしくは両方に統合されてもよい。無線リンクは、ブルートゥース（登録商標）またはＷｉ－Ｆｉ（登録商標）リンクのうちのいずれか１つ以上であってもよいが、これらに限定されない。

【0044】

図３は、図２に示されるシンセサイザコンピュータ２０４または本明細書に記載の他のコンピュータによって実装され得る全体的なロジックを示す。ブロック３００で開始すると、図２のＨＭＡ２０２のそれぞれは、ユーザ２００が位置する空間のそれぞれのビデオを生成する。集約された空間マップは、ブロック３００で受信したビデオを使用して、ブロック３０２で作成され得る。上記で参照された米国特許は、ブロック３０２でのステップの１つの例示的な技法を示す。

【0045】

ブロック３０４に移ると、必要に応じて、集約された空間マップ内の任意の「シャドウ」領域は、本明細書でより詳細に説明されるようにハイライトされることができる。換言すれば、その空間の領域に対するビデオ画像が存在しない場合、これらの領域は、１人以上のユーザ２００に注目されることができるため、ユーザはシャドウイング領域に移動してそれらを撮像することができる。

【0046】

ブロック３０６に進むと、ユーザが空間のビデオを観察することを望んでいるバンテージポイントから空間内の仮想カメラの位置、及び必要に応じて向きのユーザインジケーションが受信される。仮想カメラの位置及び向きは、ＨＭＡ２０２の位置から離れている。ブロック３０８では、仮想カメラの指示された位置（及び必要に応じて向き）に基づいて、ブロック３０２で作成された空間マップからビデオを合成することによって、ビデオシーンが作成される。そのような合成のための例示的な技法は、実世界カメラからの２つのフレーム間の補間を含み得、上記で参照された米国特許公報に記載された技法を実装することができる。次に、ブロック３０６で識別された位置及び必要に応じて向きに配置された仮想カメラのバンテージポイントからの合成ビデオは、図２に示されるＨＭＡのうちの１つ以上などのディスプレイに表示される。

【0047】

図４は、左及び右のテンプレート４０４と結合する左及び右のイヤーループ４０２を有するメガネとして構成された代替のＨＭＡ４００を示し、これらはブリッジ４０６によってフロントエンドで連結される。左及び右のＡＲディスプレイは、ブリッジ４０６に取り付けられることができ、カメラ４１０は装置４００に取り付けられることができる。

【0048】

図５～７は、合成ビデオが生成されるバンテージポイントから仮想カメラの位置及び向きを識別することができる非限定的な技法の例を示す。図５では、ユーザ５００は、レーザポインタ５０２を操作して空間内の位置５０４を照射し、仮想カメラの所望の位置を指示する。位置５０４は、例えば、赤外線（ＩＲ）カメラを使用して撮像され得、シンセサイザ２０４に入力され得る。

【0049】

図６では、ユーザ６００は、自分の指６０２を所望の位置に向ける、または所望の位置を指示すると理解される別のジェスチャを行う。ジェスチャは、本明細書に記載のカメラのいずれかによって撮像され得、シンセサイザコンピュータ２０４に入力され得る。シンセサイザコンピュータ２０４は、ユーザの指から空間内の最も近い表面までの見通し線を計算し得、所望の仮想カメラ位置を、この表面と見通し線との交点として識別することができる。ユーザ６００は、指６０２または手を回して、または別の向きタイプのジェスチャを行って、仮想カメラの向きを、例えば上から下に向けるか、下から上に向けるかを指示することができる。

【0050】

図７は、ユーザ７００の画像を使用して、ユーザの眼７０２を追跡して、仮想カメラの位置を決定し、前の段落で説明された見通し線を確認することができることを示す。仮想カメラの向きは、矢印７０６によって示されるように動く手７０４のジェスチャを使用して指示され得る。

【0051】

音声認識を使用して、カメラの位置及び向きを識別することもできる。例えば、ユーザが「向かいの建物の上から自分の姿を見たい」と言えば、それに応じて仮想カメラの位置及び向きが識別される。

【0052】

図８は、合成ビデオを示し、この合成ビデオは、第一及び第二ユーザ８０６、８０８のＨＭＡからのビデオを使用して、建物８０４の上にある仮想カメラの位置８０２のバンテージポイントから、本明細書で開示されるディスプレイのいずれかなどのビデオディスプレイ８００に提示され得、その識別は、示されるように指示され得る。示される例では、ユーザ８０６、８０８は、通りであるとシミュレートされる物理空間の領域８１０を歩いており、この通りに沿って、建物８０４及び銀行８１２などの他の建物が現れるようにシミュレートされている。建物８０４、８１２は物理的なものと、飛行機などの高速移動オブジェクト８１４であってもよく、またはビデオオブジェクトのうちの１つ以上は物理空間のビデオ上にスーパーインポーズされた仮想オブジェクトであってもよい。このようにして、仮想カメラの位置８０２を定義したユーザ８０６は、建物８０４の上から見えるように自分自身を見ることができる。

【0053】

図９は、画像またはアバター９０２が提示され得るユーザを識別するために、本明細書で説明されるディスプレイのいずれかによって実装され得るディスプレイ９００を示す。プロンプト９０４は、物理空間の領域９０６が撮像されておらず、空間マップを完成させるために撮像が必要であることを示すことができるので、ユーザは領域９０６に向けて移動し、ユーザのＨＭＡ上のカメラで領域９０６を撮像することができる。

【0054】

図１０は、マッピングされた空間内に１人のユーザしか存在しない場合を示す。そのような状況では、ユーザの外部画像を利用できない可能性があるが、それにもかかわらずユーザが仮想カメラのバンテージポイントから自分自身を見たいと思う可能性があることが理解されよう。したがって、ブロック１０００では、例えばユーザのＨＭＡ上の位置受信器及びＩＭＵから、ユーザの位置及び動きを示す入力が受信される。次にブロック１００２では、所望のバンテージポイントからのビデオは、空間内のユーザの位置に描かれたユーザを表し、ユーザの動きに従って動くアバターと共に、本明細書に記載の原理に従って生成される。

【0055】

特定の技術及び機械が本明細書に示され、詳細に説明されているが、本発明に含まれる主題は、特許請求の範囲によってのみ限定されることが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】