特表 2024-531113 アイトラッキングによるモーションブラー補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】アイトラッキングによるモーションブラー補正

(51)【国際特許分類】

   G06T 5/77 20240101AFI20240822BHJP

   G06F 3/01 20060101ALI20240822BHJP

   G06F 3/0481 20220101ALI20240822BHJP

   G06T 7/20 20170101ALI20240822BHJP

   H04N 23/60 20230101ALI20240822BHJP

【ＦＩ】

G06T5/77

G06F3/01 510

G06F3/0481

G06T7/20 300Z

H04N23/60 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506718

(86)(22)【出願日】2022-07-04

(85)【翻訳文提出日】2024-02-02

(86)【国際出願番号】 US2022073407

(87)【国際公開番号】W WO2023015085

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】17/392,983

(32)【優先日】2021-08-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】オスマン、スティーヴン

(72)【発明者】

【氏名】アリマツ、カズユキ

【テーマコード（参考）】

5B057

5C122

5E555

5L096

【Ｆターム（参考）】

5B057CC03

5B057CE04

5C122DA03

5C122DA13

5C122EA65

5C122FH11

5C122FH12

5C122FH14

5C122FH22

5C122FK09

5C122FK24

5C122FK41

5C122GA01

5C122HA13

5C122HA35

5C122HA75

5C122HB01

5C122HB05

5E555AA27

5E555AA64

5E555BA38

5E555BB38

5E555BC08

5E555BE17

5E555CA42

5E555CA44

5E555CB19

5E555CB65

5E555CC05

5E555DA08

5E555DB53

5E555DC36

5E555DC63

5E555DC84

5E555DD06

5E555EA11

5E555EA14

5E555EA22

5E555FA00

5L096DA02

5L096FA67

5L096FA69

5L096HA02

(57)【要約】

【解決手段】ユーザーの視線がディスプレイ（２００）上の移動しているオブジェクト（２０２）を追うとき、ユーザーの目（４０２）と、必要に応じて頭部（４００）が追跡される。移動しているオブジェクトのモーションブラーは、アイ／ヘッドトラッキングに連動（４０８）される。フレーム内の他のオブジェクトのモーションブラーも、アイ/ヘッドトラッキングに連動させてもよい。
【選択図】図１

【特許請求の範囲】

【請求項1】

一過性の信号ではなく、
ディスプレイを見ているユーザーのゲイズトラッキングを実行し、
前記ゲイズトラッキングに従って、前記ディスプレイ上に提示された少なくとも１つのオブジェクトの少なくとも１つのモーションブラー機能を実装する、少なくとも１つのプロセッサによって実行可能な命令を含む、少なくとも１つのコンピュータ媒体を備えるシステム。

【請求項2】

前記ディスプレイと、前記命令を実行する前記少なくとも１つのプロセッサとを備える、請求項１に記載のシステム。

【請求項3】

前記ゲイズトラッキングは、ヘッドトラッキングを含む、請求項１に記載のシステム。

【請求項4】

前記ゲイズトラッキングは、アイトラッキングを含む、請求項１に記載のシステム。

【請求項5】

前記ゲイズトラッキングは、アイトラッキングを含む、請求項３に記載のシステム。

【請求項6】

前記命令は、
前記オブジェクトを、前記ディスプレイを横切って移動しているとして識別し、
前記ゲイズトラッキングを、前記オブジェクトを追っているとして識別し、
前記オブジェクトが前記ディスプレイを横切って移動していると識別され、前記ゲイズトラッキングが前記オブジェクトを追っていると識別されたことに呼応して、前記オブジェクトのモーションブラーがないとして前記モーションブラー機能を実装するように実行可能である、請求項１に記載のシステム。

【請求項7】

前記命令は、
前記オブジェクトを、前記ディスプレイを横切って移動しているとして識別し、
前記ゲイズトラッキングを、前記オブジェクトを追っていないと識別し、
前記オブジェクトが前記ディスプレイを横切って移動していると識別され、前記ゲイズトラッキングが前記オブジェクトを追っていないと識別されたことに呼応して、前記オブジェクトのモーションブラーであるとして前記モーションブラー機能を実装するように実行可能である、請求項１に記載のシステム。

【請求項8】

前記オブジェクトの前記モーションブラーは、前記オブジェクトの運動ベクトルと前記ゲイズトラッキングの運動ベクトルの差に比例する、請求項７に記載のシステム。

【請求項9】

前記命令は、
前記オブジェクトを、前記ディスプレイを横切って移動しているとして識別し、
前記ゲイズトラッキングを、前記ディスプレイに対して移動しているとして識別し、
前記オブジェクトが前記ディスプレイを横切って移動していないと識別され、前記ゲイズトラッキングが前記ディスプレイに対して移動していると識別されたことに呼応して、前記オブジェクトのモーションブラーであるとして前記モーションブラー機能を実装するために実行可能である、請求項１に記載のシステム。

【請求項10】

前記命令は、
前記オブジェクトを含む前記ディスプレイの第１の領域において第１の輝度と第１の露光を確立し、
前記オブジェクトを含まない前記ディスプレイの第２の領域において第２の輝度および／または第２の露光を確立することによって、前記モーションブラー機能を少なくとも部分的に実装するために実行可能である、請求項１に記載のシステム。

【請求項11】

ディスプレイ上に提示されたオブジェクトの第１のモーションブラーを、前記オブジェクトが移動するにつれ、ユーザーの視線が前記オブジェクトを追っていることに応じて、実装することと、
前記オブジェクトの第２のモーションブラーを、前記オブジェクトが移動するにつれ、前記ユーザーの視線が前記オブジェクトを追っていないことに応じて、実装することと、を含む方法。

【請求項12】

前記第１のモーションブラーは前記第２のモーションブラーより小さい、請求項１１に記載の方法。

【請求項13】

前記オブジェクトは第１のオブジェクトであり、前記方法は、
前記ユーザーの視線が前記ディスプレイに対して移動していることに呼応して前記ディスプレイ上に提示される第２のオブジェクトのモーションブラーを実装することを含む、請求項１１に記載の方法。

【請求項14】

少なくとも１つのディスプレイと、
前記ディスプレイの視聴者に関連付けられた第１の運動ベクトルを識別し、
前記ディスプレイ上に提示されたオブジェクトに関連付けられた第２の運動ベクトルを識別し、
前記第１と第２の運動ベクトルに基づいて前記オブジェクトのモーションブラーを実装する命令で構成された少なくとも１つのプロセッサと
を備える装置。

【請求項15】

前記プロセッサが、
前記オブジェクトを、前記ディスプレイを横切って移動しているとして識別し、
ゲイズトラッキングを、前記第１の運動ベクトルに少なくとも部分的に基づいて前記オブジェクトを追っているとして識別し、
前記オブジェクトが前記ディスプレイを横切って移動していると識別され、前記ゲイズトラッキングが前記オブジェクトを追っていると識別されたことに呼応して、前記オブジェクトの最小限のモーションブラーを実装する命令で構成されている、請求項１４に記載の装置。

【請求項16】

前記プロセッサが、
前記オブジェクトを、前記ディスプレイを横切って移動しているとして識別し、
ゲイズトラッキングを、前記第１の運動ベクトルに少なくとも部分的に基づいて前記オブジェクトを追っていないものとして識別し、
前記オブジェクトが前記ディスプレイを横切って移動していると識別され、前記ゲイズトラッキングが前記オブジェクトを追っていないと識別されたことに呼応して、前記オブジェクトの最小限のモーションブラーより大きいモーションブラーを実装する命令で構成されている、請求項１４に記載の装置。

【請求項17】

前記オブジェクトの前記モーションブラーは、前記第１と第２の運動ベクトルの差に比例する、請求項１６に記載の装置。

【請求項18】

前記プロセッサが、
前記オブジェクトを、前記ディスプレイを横切って移動していないとして識別し、
ゲイズトラッキングを、前記第１の運動ベクトルに少なくとも部分的に基づいて前記ディスプレイに対して移動しているとして識別し、
前記オブジェクトが前記ディスプレイを横切って移動していないと識別され、前記ゲイズトラッキングが前記オブジェクトに対して移動していると識別されたことに呼応して、前記オブジェクトのモーションブラーを実装する命令で構成されている、請求項１４に記載の装置。

【請求項19】

前記プロセッサが、
前記オブジェクトを含む前記ディスプレイの第１の領域において第１の輝度と第１の露光を確立し、
前記オブジェクトを含まない前記ディスプレイの第２の領域において第２の輝度および／または第２の露光を確立することによって、モーションブラーを少なくとも部分的に実施する命令で構成されている、請求項１４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、概して、アイトラッキングによるモーションブラー補正に関する。

【背景技術】

【0002】

モーションブラーは通常、シーンを横切るオブジェクトの動きによって計算される。具体的には、左から右に高速で移動しているオブジェクトの場合、ゲームのレンダラーは、画面を横切る動きに「縞を付ける」ことを選択することができる。

【0003】

モーションブラーを実現するために、カメラの動きだけを考慮してフルスクリーンで放射状のブラーを作成してもよいし、ソフトウェアシェーダをプログラミングして速度バッファを作成し、オブジェクトにモーションブラー効果を与えるために動きの強さをマークすることで、より選択的なオブジェクトごとのモーションブラーを使用してもよい。モーションブラー効果により、オブジェクトが「縞模様」に見える。

【発明の概要】

【0004】

本明細書で理解されるように、現在のモーションブラー技術は、プレーヤー／視聴者の目の動き（時には頭の動き）を考慮していない。つまり、移動しているオブジェクトは、視聴者がそのオブジェクトを凝視（ゲイズ(gaze)）して追っているにもかかわらず、モーションブラーを施して表現されることがあり、その場合、実世界では、そのオブジェクトは動きによってぼけているようには見えないであろう。

【0005】

従って、システムは、一過性の信号ではない、少なくとも１つのコンピュータ媒体であって、ディスプレイを見ているユーザーのゲイズトラッキングを実行し、ゲイズトラッキングに従ってディスプレイ上に提示された少なくとも１つのオブジェクトの少なくとも１つのモーションブラー機能を実装する、少なくとも１つのプロセッサが実行可能な命令である少なくとも１つのコンピュータ媒体を含む。

【0006】

一部の例では、ゲイズトラッキングは、ヘッドトラッキング、アイトラッキング、ユーザーのボディモーショントラッキングの１つ以上を含む。別の言い方をすれば、視聴者の目、頭、仮想の身体の動き（車内や電車内に座っているなど）を考慮した、全体的なモーションアカウンティングを実装することができる。

【0007】

一部の実施形態では、命令は、オブジェクトがディスプレイを横切って移動していると識別し、ゲイズトラッキングがオブジェクトを追っていると識別し、オブジェクトがディスプレイを横切って移動していると識別し、かつ、ゲイズトラッキングがオブジェクトを追っていると識別することに呼応して、オブジェクトのモーションブラーがないとしてモーションブラー機能を実装させるように実行可能であってもよい。

【0008】

例示の実施形態では、命令は、オブジェクトがディスプレイを横切って移動していると識別し、ゲイズトラッキングがオブジェクトを追っていないと識別し、オブジェクトがディスプレイを横切って移動していると識別し、かつ、ゲイズトラッキングがオブジェクトを追っていないと識別することに呼応して、オブジェクトのモーションブラーであるとしてモーションブラー機能を実装させるように実行可能である。このような例では、オブジェクトのモーションブラーは、オブジェクトの運動ベクトルとゲイズトラッキングの運動ベクトルの差に比例し得る。

【0009】

一部の実装態様では、命令は、オブジェクトがディスプレイを横切って移動していると識別し、ゲイズトラッキングをディスプレイに対して移動していると識別し、オブジェクトがディスプレイを横切って移動していないと識別し、かつ、ゲイズトラッキングがディスプレイに対して移動していると識別することに呼応して、オブジェクトのモーションブラーであるとしてモーションブラー機能を実装させるために実行可能であってもよい。

【0010】

オブジェクトを含むディスプレイの第１の領域において第１の輝度および第１の露光を確立し、オブジェクトを含まないディスプレイの第２の領域において第２の輝度および／または第２の露光を確立することによって、モーションブラー機能が少なくとも部分的に実装されるハードウェア実装を提供してもよい。

【0011】

別の態様では、方法は、オブジェクトが移動するにつれてオブジェクトを追うユーザーの視線に従って、ディスプレイ上に提示されたオブジェクトの第１のモーションブラーを実装することと、オブジェクトが移動してもオブジェクトを追わないユーザーの視線に従って、第１のオブジェクトの第２のモーションブラーを実装することとを含む。

【0012】

別の態様では、装置は、少なくとも１つのディスプレイと、ディスプレイの視聴者に関連付けられた第１の運動ベクトルを識別し、ディスプレイ上に提示されたオブジェクトに関連付けられた第２の運動ベクトルを識別し、第１および第２の運動ベクトルに基づいてオブジェクトのモーションブラーを実装する命令を有するように構成された少なくとも１つのプロセッサとを含む。

【0013】

本出願の詳細は、その構造および動作の両方に関して、添付図面を参照することにより最もよく理解することができ、その中で同じ参照番号は同じ部品を示す。

【図面の簡単な説明】

【0014】

【図1】本原理に従った実施例を含むシステムの一例のブロック図である。

【図2】ディスプレイ上に提示された固定オブジェクトに注視点（ＰＯＧ）を維持する視聴者を模式的に示すスクリーンショットである。

【図3】ＰＯＧがディスプレイ上に提示された移動しているオブジェクトを追う視聴者を模式的に示すスクリーンショットである。

【図4】本原理に沿ったロジックの一例をフローチャート形式で示す。

【図5】ＨＭＤのコンポーネントを概略的に示すヘッドマウントディスプレイ（ＨＭＤ）の一例を示す図である。

【図6】ハードウェアシステムの実装の一例を示す。

【図7】図６に沿ったロジックの一例をフローチャート形式で示す。

【発明を実施するための形態】

【0015】

本開示は、一般に、コンピュータゲームネットワークに限定されないコンシューマエレクトロニクス（ＣＥ）機器ネットワークの特徴を含むコンピュータエコシステムに関する。本明細書におけるシステムは、クライアントコンポーネントとサーバーコンポーネントの間でデータが交換できるように、ネットワーク経由で接続できるサーバーコンポーネントとクライアントコンポーネントを含んでいてもよい。クライアントコンポーネントには、ソニーＰｌａｙＳｔａｔｉｏｎ（商標登録）などのゲーム機、マイクロソフト社や任天堂などのメーカー製ゲーム機、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（スマートテレビ、インターネット対応テレビなど）、ラップトップやタブレットコンピュータなどのポータブルコンピュータ、スマートフォンなどのモバイルデバイスを含む１つ以上のコンピューティングデバイス、および後述する追加の例を含んでいてもよい。これらのクライアントデバイスは、さまざまな動作環境で動作し得る。例えば、クライアントコンピュータの中には、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、マイクロソフト社のオペレーティングシステム、Ｕｎｉｘ（登録商標）オペレーティングシステム、アップル社やグーグルのオペレーティングシステムを採用しているものもある。これらの動作環境は、マイクロソフトやグーグル、モジラ製のブラウザーや、後述するインターネットサーバーがホストするウェブサイトにアクセスできるその他のブラウザープログラムなど、１つ以上のブラウジングプログラムを実行するために使用することができる。また、本原理による動作環境は、１つ以上のコンピュータゲームプログラムを実行するために使用することができる。

【0016】

サーバーおよび／またはゲートウェイは、インターネットなどのネットワーク経由でデータを受信および送信するようにサーバーを構成する命令を実行する１つ以上のプロセッサを含んでいてもよい。あるいは、クライアントとサーバーをローカルイントラネットや仮想プライベートネットワークで接続することもできる。サーバーまたはコントローラは、ソニーＰｌａｙＳｔａｔｉｏｎ（商標登録）などのゲーム機、パーソナルコンピュータなどによってインスタンス化され得る。

【0017】

情報は、クライアントとサーバーの間でネットワークを経由して交換されてもよい。この目的とセキュリティのために、サーバー、および／またはクライアントは、ファイアウォール、ロードバランサー、一時ストレージ、プロキシ、その他の信頼性とセキュリティのためのネットワークインフラを含んでいてもよい。１つ以上のサーバーが、オンラインソーシャルウェブサイトのような安全なコミュニティをネットワークメンバーに提供する方法を実装する装置を形成することができる。

【0018】

プロセッサは、アドレスライン、データライン、コントロールライン、レジスタ、シフトレジスタなどの各種ラインによってロジックを実行できるシングルチップまたはマルチチップのプロセッサでよい。

【0019】

ある実施形態に含まれるコンポーネントは、他の実施形態でも適切な組み合わせで使用できる。例えば、本明細書に記載および／または図面に示された種々のコンポーネントはいずれも、他の実施形態から統合、代替、または除外することができる。

【0020】

「Ａ、Ｂ、Ｃの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、Ｃの少なくとも１つを有するシステム」、「Ａ、Ｂ、Ｃの少なくとも１つを有するシステム」）には、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢ、ＡとＣ、ＢとＣ、および／またはＡ、Ｂ、Ｃを有するシステムが含まれる。

【0021】

ここで具体的に図１を参照すると、システム１０の一例が示されており、このシステム１０は、上述の例示のデバイスの１つ以上を含んでいてもよく、本原理に従って以下にさらに説明する。システム１０に含まれる例示のデバイスの第１は、ＴＶチューナーを備えたインターネット対応ＴＶ（等価的に、ＴＶを制御するセットトップボックス）などのオーディオビデオデバイス（ＡＶＤ）１２などのコンシューマエレクトロニクス（ＣＥ）デバイスである。ＡＶＤ１２は、代わりに、コンピュータ制御のインターネット対応（「スマート」）電話機、タブレットコンピュータ、ノートブックコンピュータ、ＨＭＤ、装着型コンピュータデバイス、コンピュータ制御のインターネット対応音楽プレーヤー、コンピュータ制御のインターネット対応ヘッドフォン、埋め込み型皮膚デバイスのようなコンピュータ制御のインターネット対応埋め込み型デバイスなどであってもよい。いずれにせよ、ＡＶＤ１２は、本原理を実施する（例えば、本原理を実施するために他のＣＥデバイスと通信し、本明細書で説明するロジックを実行し、本明細書で説明する他の機能および／または動作を実行する）ように構成されていることを理解されたい。

【0022】

したがって、このような原理を実現するために、ＡＶＤ１２は図１に示したコンポーネントの一部または全部によって確立することができる。例えば、ＡＶＤ１２は、高精細または超高精細「４Ｋ」またはそれ以上のフラットスクリーンによって実装でき、ディスプレイ上のタッチを介してユーザー入力信号を受信するためにタッチ対応でよい１つ以上のディスプレイ１４を含んでいてもよい。ＡＶＤ１２は、本原理に従って音声を出力するための１つ以上のスピーカー１６と、ＡＶＤ１２を制御するためにＡＶＤ１２に可聴コマンドを入力するための音声受信機／マイクロフォンなどの少なくとも１つの追加入力装置１８と、を含んでいてもよい。例示のＡＶＤ１２はまた、１つ以上のプロセッサ２４の制御下で、インターネット、ＷＡＮ、ＬＡＮなどの少なくとも１つのネットワーク２２を経由して通信するための１つ以上のネットワークインターフェース２０を含んでいてもよい。したがって、インターフェース２０は、限定されるものではないが、無線コンピュータネットワークインターフェースの一例であるＷｉーＦｉトランシーバ、例えばメッシュネットワークトランシーバなどであってもよい。プロセッサ２４は、ディスプレイ１４を制御して画像を提示したり、そこから入力を受け取ったりするなど、本明細書で説明するＡＶＤ１２の他の要素を含め、本原理を実行するためにＡＶＤ１２を制御することを理解されたい。さらに、ネットワークインターフェース２０は、有線または無線のモデムまたはルータ、あるいは無線電話トランシーバ、前述のＷｉーＦｉトランシーバなどの他の適切なインターフェースであってもよいことに留意されたい。

【0023】

上記に加えて、ＡＶＤ１２は、他のＣＥデバイスに物理的に接続するための高品位マルチメディアインターフェース（ＨＤＭＩ（登録商標））ポートやＵＳＢポートなどの１つ以上の入力ポートおよび／または出力ポート２６、および／またはヘッドフォンをＡＶＤ１２に接続して、ＡＶＤ１２からのヘッドフォンを介して音声をユーザーに提供するためのヘッドフォンポートを含んでいてもよい。例えば、入力ポート２６は、有線または無線で、オーディオビデオコンテンツのケーブルまたは衛星ソース２６ａに接続することができる。したがって、ソース２６ａは、別個または統合されたセットトップボックス、あるいは衛星受信機であってもよい。あるいは、ソース２６ａは、コンテンツを含むゲーム機やディスクプレーヤーであってもよい。ゲーム機として実装される場合のソース２６ａは、ＣＥデバイス４８に関連して以下に説明するコンポーネントの一部または全部を含んでいてもよい。

【0024】

ＡＶＤ１２は、一過性の信号ではないディスクベースまたはソリッドステートストレージなどの１つ以上のコンピュータメモリ２８をさらに含むことができ、場合によっては、スタンドアロンデバイスとして、またはＡＶプログラムを再生するためのＡＶＤのシャーシの内部または外部のいずれかのパーソナルビデオレコーディングデバイス（ＰＶＲ）またはビデオディスクプレーヤーとして、またはリムーバブルメモリメディアまたは後述のサーバーとして、ＡＶＤのシャーシに具現化される。また、一部の実施形態では、ＡＶＤ１２は、衛星または携帯電話基地局から地理的位置情報を受信し、その情報をプロセッサ２４に提供し、および／またはプロセッサ２４と連動してＡＶＤ１２が配設される高度を決定するように構成される、携帯電話受信機、ＧＰＳ受信機および／または高度計３０などの位置または所在地受信機を含むことができるが、これらに限定されない。コンポーネント３０はまた、ＡＶＤ１２の配置および向きを３次元で決定するために、典型的には加速度計、ジャイロスコープ、および磁気計の組み合わせを含む慣性測定ユニット（ＩＭＵ）によって、またはイベントベースのセンサによって実装されてもよい。

【0025】

ＡＶＤ１２の説明を続けると、一部の実施形態では、ＡＶＤ１２は、赤外線カメラ、ウェブカムなどのデジタルカメラ、イベントベースのセンサ、および／またはＡＶＤ１２に統合され、プロセッサ２４によって制御可能で、本原理に従って写真／画像および／または映像を収集することができるカメラなど、１つ以上のカメラ３２を含んでいてもよい。また、ＡＶＤ１２には、それぞれブルートゥース（登録商標）および／またはＮＦＣ技術をそれぞれ使用する他の装置と通信するためのブルートゥース（登録商標）トランシーバ３４および他の近距離無線通信（ＮＦＣ）素子３６が含まれる場合がある。ＮＦＣ素子の一例としては、無線周波数識別（ＲＦＩＤ）素子でもよい。

【0026】

さらに、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３８（例えば、加速度計、ジャイロスコープ、サイクロメータ、または磁気センサなどのモーションセンサ、赤外線（ＩＲ）センサ、光学センサ、速度および／またはケイデンスセンサ、イベントベースのセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを感知するためのもの））を含んでいてもよい。ＡＶＤ１２は、プロセッサ２４に入力を提供するＯＴＡテレビ放送を受信するためのＯＴＡテレビ放送ポート４０を含んでいてもよい。上記に加えて、ＡＶＤ１２はまた、ＩＲデータ関連付け（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信機および／またはＩＲ受信機および／またはＩＲトランシーバ４２を含んでもよいことに留意されたい。バッテリ（図示せず）を設けて、ＡＶＤ１２に電力を供給してもよく、また、バッテリを充電するための電力および／またはＡＶＤ１２に電力を供給するための電力に運動エネルギーを変換する運動エネルギーハーベスタであってもよい。グラフィックスプロセシングユニット（ＧＰＵ）４４とフィールドプログラマブルゲートアレイ４６を含んでいてもよい。装置を保持または接触している人が感知できる触覚信号を生成するために、１つ以上の触覚生成器４７を設けてもよい。

【0027】

引き続き図１を参照するが、ＡＶＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含んでいてもよい。一例では、第１のＣＥデバイス４８は、ＡＶＤ１２に直接送信されるコマンドを介して、および／または後述のサーバーを介して、コンピュータゲームの音声および映像をＡＶＤ１２に送信するために使用できるコンピュータゲーム機であってもよく、一方、第２のＣＥデバイス５０は、第１のＣＥデバイス４８と同様のコンポーネントを含んでいてもよい。図示の例では、第２のＣＥデバイス５０は、プレーヤーが操作するコンピュータゲームコントローラ、またはプレーヤーが装着するヘッドマウントディスプレイ（ＨＭＤ）として構成してもよい。図示の例では、ＣＥデバイスは２つしか示されていないが、これより少ない数または多い数のデバイスを使用してもよいことを理解されたい。本明細書における装置は、ＡＶＤ１２について示したコンポーネントの一部または全部を実装することができる。以下の図に示されるコンポーネントのいずれもが、ＡＶＤ１２の場合に示されるコンポーネントの一部または全部を組み込むことができる。

【0028】

ここで、前述の少なくとも１つのサーバー５２を参照すると、少なくとも１つのサーバプロセッサ５４と、ディスクベースまたはソリッドステートストレージなどの少なくとも１つの有形コンピュータ可読記憶媒体５６と、サーバプロセッサ５４の制御下で、ネットワーク２２を経由して図１の他の装置との通信を可能にし、実際に本原理に従ってサーバーとクライアント装置との間の通信を容易にすることができる少なくとも１つのネットワークインターフェース５８とを含む。尚、ネットワークインターフェース５８は、例えば、有線または無線のモデムまたはルータ、ＷｉーＦｉトランシーバ、あるいは無線電話トランシーバなどの他の適切なインターフェースであってもよい。

【0029】

したがって、一部の実施形態では、サーバー５２は、インターネットサーバーまたはサーバー「ファーム」全体であってもよく、例えばネットワークゲームアプリケーションのための例示的な実施形態において、システム１０のデバイスがサーバー５２を介して「クラウド」環境にアクセスすることができるような「クラウド」機能を含んでいてもよく、かつ実行してもよい。あるいは、サーバー５２は、図１に示した他の装置と同じ部屋またはその近くにある１つ以上のゲーム機または他のコンピュータに実装してもよい。

【0030】

以下の図に示すコンポーネントは、図１に示されるコンポーネントの一部または全部を含んでいてもよい。

【0031】

図２は、アニメーション化された移動しているオブジェクト２０２（図示の例では飛行機）を提示するディスプレイ２００を示す図であり、運動ベクトル２０４によって示されるように左へ移動している。視聴者２０６は、ディスプレイ２００上の静止しているオブジェクト２１０（この場合は木）を注視点（ＰＯＧ２０８）として見ている。図２の例では、ＰＯＧは静止しているオブジェクト２１０に安定して固定されており、移動しているオブジェクト２０２に追従していないため、ＰＯＧ２０８は、移動しているオブジェクト２０２の進行方向、すなわちｘ次元において運動ベクトルはゼロである。したがって、線２１２で示されるモーションブラーが、後述する原理に沿って移動しているオブジェクト２０２に適用されている。線２１２の長さは、移動しているオブジェクト２０２の運動ベクトル２１２とＰＯＧ２０８の運動ベクトルの大きさの差に比例し得る。線２１２が移動しているオブジェクト２０２から離れて延びる方向は、ＰＯＧ２０８の所在地に向かう方向であり得る。

【0032】

ここで、ＰＯＧ２０８が、視聴者運動ベクトル３００によって示されるように、移動しているオブジェクト２０２を追っている図３の場合を考える。この場合、視聴者が移動しているオブジェクトを正確に追跡している、つまり、視聴者の運動ベクトル３００とオブジェクトの運動ベクトル２０４の大きさの差がゼロであると仮定する。その結果、移動しているオブジェクト２０２には最小限の（この場合はゼロの）モーションブラーが適用される。一方、視聴者のＰＯＧ２０８が静止しているオブジェクト２１０から離れて移動しているため、必要に応じて、静止しているオブジェクト２１０にモーションブラー３０２を適用することができる。線３０２の長さは、静止しているオブジェクト２１０（ゼロである）の運動ベクトル３００とＰＯＧ２０８の運動ベクトルの大きさの差に比例し得る。線３０２が静止しているオブジェクト２１０から離れて延びる方向は、ＰＯＧ２０８の所在地に向かう方向であり得る。

【0033】

ここで図４を参照する。まずブロック４００で、ヘッドトラッキングおよび／またはボディトラッキング（例えば、視聴者が移動しているプラットフォーム上にいる場合）を受信することができ、ブロック４０２でアイトラッキングを受信することができる。したがって、所望であれば、視聴者の注視点（ＰＯＧ）の運動ベクトルは、ブロック４０４において、体の動き、頭の動き、および目の動きに起因する運動ベクトルの合計であると決定してもよいが、一部の実施形態では（例えば、ディスプレイがＨＭＤであり、視聴者の目がＨＭＤ上の内部カメラによって追跡される場合）、視聴者のＰＯＧおよびディスプレイに対するそれの任意の動きを決定するには、アイトラッキングのみを使用すればよい。様々な運動ベクトルをＰＯＧの運動ベクトルに結合することは、ベクトル代数を使って行うことができる。

【0034】

ブロック４０６に進むと、視聴者が見ているディスプレイ上のオブジェクト（複数可）の運動ベクトル（複数可）が識別される。これは、コンピュータシミュレーションのレンダリングに付随するオブジェクトのメタデータにアクセスすることで行うことができる。

【0035】

次に、ブロック４０８は、オブジェクトの運動ベクトルとＰＯＧの運動ベクトルとの間の差に基づいて、モーションブラーが適用される（または適用されない）ことを示す。例えば、運動ベクトルが、視聴者が移動しているオブジェクトを追っていることを示す場合、その移動しているオブジェクトにはモーションブラーが適用されないことがあり、一方、所望であれば、静止しているオブジェクトに対して移動する視聴者のＰＯＧに基づいて、ディスプレイ上で動いていないオブジェクトにモーションブラーが適用され得る。一方、視聴者が空間の一点を見つめていて、移動しているオブジェクトを追っていない場合、移動しているオブジェクトにモーションブラーが適用され得る。

【0036】

モーションブラーは、ＰＯＧの方向または動きと、表示オブジェクトの運動ベクトルと視聴者のＰＯＧとの差の両方に合わせて、図２および図３に示すようにエッジをぼかす／モーションラインを表現することによって、ソフトウェアを介して達成することができる。場合によっては、ブラーが暗黙のうちに起こることもある（例えば、視聴者がＶＲ ＨＭＤを横切って目を急速に動かしている場合、視聴者の視覚では画像がぼやけることがある）。場合によっては、目が追跡しているシーンの部分のモーションブラーを減少させるか、または全くなくすことにより、フォーカスを実現することができる。

【0037】

図５は、位置センサ５０２、頭の動きを感知するためのモーションセンサ５０４、目を追跡するためのカメラ５０６、およびＨＭＤのセンサからコンピュータシミュレーションコンソールやサーバーなどのモーションブラーコンピュータ５１０に信号を送信するためのトランシーバ５０８を含む、ＣＥデバイス４８用の図１に示したコンポーネントのいずれかまたはすべてを使用して実装することができるＶＲ ＨＭＤ５００のようなものを示している。

【0038】

図６および図７は、本明細書における任意のディスプレイのようなディスプレイ６００が、オブジェクト６０４が提示されるディスプレイの小さな部分６０２のみについて輝度を増加させる能力を有するハードウェア支援の実施形態を示す。輝度制御回路６０６および露光制御回路６０８を、部分６０２などのディスプレイ６００の部分の露光および輝度を選択的に変更するために設けてもよい。例えば、輝度を上げたり、露光時間を短くしたりして、モーションブラーを減らすことができる。例えば、ＶＲ ＨＭＤの場合、画像を短時間露光した後、ディスプレイが黒くなる第２の期間を設けることで、画面を「ストロボ」させてブラーを抑えることができる。ディスプレイは、画面全体にわたって露光時間を変えることができ、画面のごく一部にのみ電力と熱を分配することで、高い露光を実現できるが、その期間は非常に短い。具体的な例として、あるディスプレイは、２０％の時間、５０％の輝度で画像を表示する（残りの時間は０％の輝度で表示する）。ディスプレイが１００％の輝度を１０％の時間しか使用しない場合は、同じ数の光子が送られるかもしれない。図２と図３の移動しているオブジェクト（飛行機）の場合は、飛行機の輝度を上げ、露光時間を短くしてブラーを抑えることができる（図３）が、一方、眼球運動によってブラーが生じることが望ましい領域については、図２と逆のことをする、つまり、長時間の露光のために輝度を下げる。

【0039】

ブラーは１つの軸に沿って加えたり取り除いたりすることができる。ディスプレイに対する目の相対的な動きｖｓ他の軸に沿ったその他すべて（頭、身体など）による動き。

【0040】

ハードウェアの場合は、フレームバッファだけでなく、ブラー／パーシステンスマスクも追加することができる。このマスクは、ピクセルごと／領域ごとのマスクで、画像をどれだけ持続させるかをハードウェアに通知する。フレームバッファだけでなく、速度場も渡すことができる。非同期再投影が、ＨＭＤの近くで起きる場合がある、つまり、ＨＭＤは低遅延トラッキングを実行し、それをレンダリングする直前に視野をワープさせることがあるので、視聴者は、ヘッドトラッキングおよび／またはアイトラッキングを組み合わせたのと同等のブラーで、超低遅延再投影を実現できる。ＨＭＤはまた、アイトラッキングで似たような動作をすることができ得、目の動きを渡された速度場と組み合わせることで、目からピクセルの動きの最新のスナップショットを作成し、ＨＭＤ上で実行されるソフトウェアフィルターを通して、または動的にピクセルの露光を調整して、ブラーを調整するかどうかを決定する。

【0041】

本明細書では、特定の実施形態を示し、詳細に説明するが、本発明によって包含される主題は、特許請求の範囲によってのみ限定されることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】