特許 7050980 サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-31

(45)【発行日】2022-04-08

(54)【発明の名称】サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法

(51)【国際特許分類】

   G06T 15/00 20110101AFI20220401BHJP

   A61B 3/113 20060101ALI20220401BHJP

   A61B 5/11 20060101ALI20220401BHJP

   A61B 5/16 20060101ALI20220401BHJP

   G06F 3/01 20060101ALI20220401BHJP

   G09G 5/00 20060101ALI20220401BHJP

【ＦＩ】

G06T15/00 501

A61B3/113

A61B5/11

A61B5/16 400

G06F3/01 510

G09G5/00 550C

【請求項の数】 33

(21)【出願番号】P 2021036186

(22)【出願日】2021-03-08

(62)【分割の表示】P 2019151193の分割

【原出願日】2016-08-25

(65)【公開番号】P2021119456

(43)【公開日】2021-08-12

【審査請求日】2021-03-08

(31)【優先権主張番号】14/845,862

(32)【優先日】2015-09-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】マリンソン、ドミニク ソウル

【審査官】板垣 有紀

(56)【参考文献】

【文献】米国特許出願公開第２０１０／００５６２７４（ＵＳ，Ａ１）

【文献】特開２０１５－１５２９３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３６１９７１（ＵＳ，Ａ１）

【文献】特表２０１４－５１６５９５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１４１８９５（ＵＳ，Ａ１）

【文献】特表２０１５－５２０５８１（ＪＰ，Ａ）

【文献】特開２００５－０２０７２９（ＪＰ，Ａ）

【文献】特開２０１０－２５７２２４（ＪＰ，Ａ）

【文献】国際公開第２００９／１４２００８（ＷＯ，Ａ１）

【文献】川上 隼斗 他，サッケード追尾可能な視線計測カメラの開発とそれを用いるインタラクションの可能性，情報処理学会インタラクション２０１４，日本，一般社団法人情報処理学会，2014年02月20日，pp.49～56

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００

Ａ６１Ｂ ３／１１３

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ５／１６

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

コンピュータシミュレートシーンを見ているユーザの目におけるサッカードを検出することと、
前記サッカードの前記検出の確実性のレベルを判定することと、
前記サッカードの持続期間の少なくとも一部において前記コンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することとを含み、前記コンピューティングリソースが前記確実性のレベルにもとづいて削減される、方法。

【請求項2】

前記サッカードが、光学センサ、光学流量センサ、筋電計測法（ＥＭＧ）センサ、位置感知デバイス及びドップラー効果センサうちの１つまたは複数を利用して検出される、請求項１に記載の方法。

【請求項3】

前記サッカードの持続期間を予測することをさらに含む、請求項１に記載の方法。

【請求項4】

前記サッカードの持続期間を予測することが、ヒトの目におけるサッカードの持続期間に関連する統計的データと、前記サッカードの発現を検出するのに使用された測定値の大きさのうちの少なくとも一方に基づいている、請求項３に記載の方法。

【請求項5】

前記サッカードの終わりを検出することと、
少なくとも前記サッカードの検出された終わりに基づいて前記サッカードの持続期間を計算することとをさらに含む、請求項３に記載の方法。

【請求項6】

前記サッカードの計算された持続期間と、前記サッカードの予測された持続期間を比較することと、
前記比較の結果を利用して、前記サッカードの持続期間を予測するのに使用されるモデルを調整することとをさらに含む、請求項５に記載の方法。

【請求項7】

前記コンピューティングリソースを削減することが、前記コンピュータシミュレートシーンの１つまたは複数のフレームを飛ばすことと、前記コンピュータシミュレートシーンの１つまたは複数のフレームを繰り返すことと、前記コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング詳細を低下させることと、前記コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング解像度を低下させることと、前記コンピュータシミュレートシーンをレンダリングするための可変のフレームレートを調整することのうちの１つまたは複数を含む、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記コンピュータシミュレートシーンを見ているユーザの目におけるサッカードを検出することが、前記目のサッカード運動が始まる前に前記サッカードの発現を検出することを含む、請求項１～６のいずれか一項に記載の方法。

【請求項9】

前記確実性のレベルに基づいて削減するコンピューティングリソースの量を判定することをさらに含む、請求項１～６のいずれか一項に記載の方法。

【請求項10】

前記確実性のレベルに基づいて前記コンピュータシミュレートシーンのフレームのレンダリングのために使用される前記コンピューティングリソースを削減する２つ以上の方法から選択することをさらに含む、請求項１～６のいずれか一項に記載の方法。

【請求項11】

前記コンピュータシミュレートシーンをレンダリングするための低頻度の更新計算を行うように前記コンピューティングリソースを再割り当てすることをさらに含む、請求項１～６のいずれか一項に記載の方法。

【請求項12】

前記サッカードが終わる前に、前記ユーザの視線の固定地点が前記サッカードの終わりにおいて前記コンピュータシミュレートシーン内のどこに位置するかを予測することと、
予測された前記固定地点を前記コンピュータシミュレートシーンの他の部分よりも詳細にレンダリングすることとを含む、請求項１～６のいずれか一項に記載の方法。

【請求項13】

前記コンピュータシミュレートシーンを見ている前記ユーザに対して個別化された眼球運動モデルを較正することをさらに含み、前記サッカードを検出することは、前記個別化された眼球運動モデルに基づいている、請求項１～６のいずれか一項に記載の方法。

【請求項14】

眼球運動センサと、
コンピュータシミュレートシーンをユーザに表示するための表示装置と、
前記眼球運動センサ及び前記表示装置に通信可能に結合されたプロセッサとを備え、
前記プロセッサが、
コンピュータシミュレートシーンを見ているユーザの目におけるサッカードを検出することと、
前記サッカードの前記検出の確実性のレベルを判定することと、
前記サッカードの持続期間の少なくとも一部において前記コンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することとを含むステップとを実行するように構成され、前記コンピューティングリソースが前記確実性のレベルにもとづいて削減される、システム。

【請求項15】

前記眼球運動センサが、光学センサ、光学流量センサ、筋電計測法（ＥＭＧ）センサ、位置感知デバイス及びドップラー効果センサうちの１つまたは複数を備える、請求項１４に記載のシステム。

【請求項16】

前記プロセッサが、前記サッカードの持続期間を予測することを含むステップを実行するようにさらに構成される、請求項１４に記載のシステム。

【請求項17】

前記サッカードの前記持続期間が、ヒトの目におけるサッカードの持続期間に関連する統計的データと、前記サッカードの発現を検出するのに使用された測定値の大きさのうちの少なくとも一方に基づいて予測される、請求項１６に記載のシステム。

【請求項18】

前記プロセッサが、
前記サッカードの終わりを検出することと、
少なくとも前記サッカードの検出された終わりに基づいて前記サッカードの持続期間を計算することとを含むステップを実行するようにさらに構成される、請求項１６に記載のシステム。

【請求項19】

前記プロセッサが、
前記サッカードの計算された持続期間と、前記サッカードの予測された持続期間を比較することと、
前記比較の結果を利用して、前記サッカードの持続期間を予測するのに使用されるモデルを調整することとを含むステップを実行するようにさらに構成される、請求項１８に記載のシステム。

【請求項20】

前記コンピューティングリソースが、前記コンピュータシミュレートシーンの１つまたは複数のフレームを飛ばすことと、前記コンピュータシミュレートシーンの１つまたは複数のフレームを繰り返すことと、前記コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング詳細を低下させることと、前記コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング解像度を低下させることと、前記コンピュータシミュレートシーンをレンダリングするための可変のフレームレートを調整することのうちの１つまたは複数によって削減される、請求項１４～１９のいずれか一項に記載のシステム。

【請求項21】

前記コンピュータシミュレートシーンを見ているユーザの目におけるサッカードを検出することが、前記目のサッカード運動が始まる前に前記サッカードの発現を検出することを含む、請求項１４～１９のいずれか一項に記載のシステム。

【請求項22】

前記プロセッサが、前記確実性のレベルに基づいて削減するコンピューティングリソースの量を判定することを含むステップを実行するようにさらに構成される、請求項１４～１９のいずれか一項に記載のシステム。

【請求項23】

前記プロセッサが、前記確実性のレベルに基づいて前記コンピュータシミュレートシーンのフレームのレンダリングのために使用される前記コンピューティングリソースを削減する２つ以上の方法から選択することとを含むステップを実行するようにさらに構成される、請求項１４～１９のいずれか一項に記載のシステム。

【請求項24】

前記プロセッサが、前記コンピュータシミュレートシーンをレンダリングするための低頻度の更新計算を行うように前記コンピューティングリソースを再割り当てすることを含むステップを実行するようにさらに構成される、請求項１４～１９のいずれか一項に記載のシステム。

【請求項25】

前記プロセッサが、
前記サッカードが終わる前に、前記ユーザの視線の固定地点が前記サッカードの終わりにおいて前記コンピュータシミュレートシーン内のどこに位置するかを予測することと、
予測された前記固定地点を前記コンピュータシミュレートシーンの他の部分よりも詳細にレンダリングすることとを含むステップを実行するようにさらに構成される、請求項１４～１９のいずれか一項に記載のシステム。

【請求項26】

前記プロセッサが、前記コンピュータシミュレートシーンを見ている前記ユーザに対して個別化された眼球運動モデルを較正することとを含むステップを実行するようにさらに構成され、前記サッカードを検出することは、前記個別化された眼球運動モデルに基づいている、請求項１４～１９のいずれか一項に記載のシステム。

【請求項27】

プロセッサベースのシステムに、
コンピュータシミュレートシーンを見ているユーザの目におけるサッカードを検出することと、
前記サッカードの前記検出の確実性のレベルを判定することと、
前記サッカードの持続期間の少なくとも一部において前記コンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することとを含むステップを実行させるように構成され、前記コンピューティングリソースが前記確実性のレベルにもとづいて削減される、１つまたは複数のコンピュータプログラムを記憶する非一時的コンピュータ可読ストレージ媒体。

【請求項28】

前記サッカードが、光学センサ、光学流量センサ、筋電計測法（ＥＭＧ）センサ、位置感知デバイス及びドップラー効果センサうちの１つまたは複数を利用して検出される、請求項２７に記載の非一時的コンピュータ可読ストレージ媒体。

【請求項29】

前記コンピューティングリソースを削減することが、前記コンピュータシミュレートシーンの１つまたは複数のフレームを飛ばすことと、前記コンピュータシミュレートシーンの１つまたは複数のフレームを繰り返すことと、前記コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング詳細を低下させることと、前記コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング解像度を低下させることと、前記コンピュータシミュレートシーンをレンダリングするための可変のフレームレートを調整することのうちの１つまたは複数を含む、請求項２７に記載の非一時的コンピュータ可読ストレージ媒体。

【請求項30】

前記１つまたは複数のコンピュータプログラムが、前記プロセッサベースのシステムに、
前記サッカードの持続期間を予測することを含むステップを実行させるようにさらに構成される、請求項２７～２９のいずれか一項に記載の非一時的コンピュータ可読ストレージ媒体。

【請求項31】

前記コンピュータシミュレートシーンを見ているユーザの目におけるサッカードを検出することが、前記目のサッカード運動が始まる前に前記サッカードの発現を検出することを含む、請求項２７～２９のいずれか一項に記載の非一時的コンピュータ可読ストレージ媒体。

【請求項32】

前記１つまたは複数のコンピュータプログラムが、前記プロセッサベースのシステムに、
前記コンピュータシミュレートシーンをレンダリングするための低頻度の更新計算を行うように前記コンピューティングリソースを再割り当てすることを含むステップを実行させるようにさらに構成される、請求項２７～２９のいずれか一項に記載の非一時的コンピュータ可読ストレージ媒体。

【請求項33】

前記１つまたは複数のコンピュータプログラムが、前記プロセッサベースのシステムに、
前記コンピュータシミュレートシーンを見ている前記ユーザに対して個別化された眼球運動モデルを較正することを含むステップを実行させるようにさらに構成され、前記サッカードを検出することは、前記個別化された眼球運動モデルに基づいている、請求項２７～２９のいずれか一項に記載の非一時的コンピュータ可読ストレージ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１５年９月４日に出願され、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＹＮＡＭＩＣ ＧＲＡＰＨＩＣＳ ＲＥＮＤＥＲＩＮＧ ＢＡＳＥＤ ＯＮ ＳＡＣＣＡＤＥ ＤＥＴＥＣＴＩＯＮ」と題する米国特許出願第１４/８４５，８６２号の継続出願であり、そこからの利益を主張しており、その全内容及び開示はこれにより、その全体が参照により本明細書に十分に組み込まれている。

【0002】

［発明の分野］
本発明は一般にコンピュータ生成された画像に関し、より具体的には、コンピュータ生成されたグラフィックスのリアルタイムのレンダリングに関する。

【背景技術】

【0003】

コンピュータ描画されたグラフィックスは、種々のユーザインターフェース及び媒体をユーザに提示するのに利用される。コンピュータグラフィックスのリアルタイムのレンダリングは、リアルタイムのユーザ入力及びソフトウェア状態の変化に応じてグラフィカルコンテンツをレンダリングすることを可能にする。

【発明の概要】

【課題を解決するための手段】

【0004】

一実施形態は、コンピュータシミュレートシーンをユーザに表示するためにレンダリングすること、コンピュータシミュレートシーンを見ているユーザの眼球運動においてサッカードマスキングを生じさせるサッカードの発現を検出することと、このサッカードの持続期間の少なくとも一部においてコンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することとを含む方法を提供する。

【0005】

別の実施形態は、眼球運動センサと、コンピュータシミュレートシーンをユーザに表示するための表示装置と、眼球運動センサ及び表示装置に通信可能に結合されたプロセッサとを提供する。プロセッサは、表示装置上に表示するためにコンピュータシミュレートシーンをレンダリングし、コンピュータシミュレートシーンを見ているユーザの眼球運動においてサッカードマスキングを生じさせるサッカードの発現を検出し、このサッカードの持続期間の少なくとも一部においてコンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減するように構成される。

【0006】

別の実施形態は、プロセッサベースのシステムに、コンピュータシミュレートシーンをユーザに表示するためにレンダリングすること、コンピュータシミュレートシーンを見ているユーザの眼球運動においてサッカードマスキングを生じさせるサッカードの発現を検出することと、このサッカードの持続期間の少なくとも一部においてコンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することとを含むステップを実行させるように構成された１つまたは複数のコンピュータプログラムを記憶する非一時的なコンピューティング可読記憶媒体を提供する。

【0007】

本発明の実施形態の原理が利用される例示の実施形態を記載する以下の詳細な説明及び添付の図面を参照することによって、本発明の種々の実施形態の特徴及び利点の最適な理解が得られるであろう。

【0008】

本発明の上記の及び他の態様、特徴及び利点は、以下の図面と併せて提示される、以下のより詳細なその説明からより明白になるであろう。

【図面の簡単な説明】

【0009】

【図1】本発明の一部の実施形態によるサッカード検出に基づいた動的なグラフィックスレンダリングのためのシステムを例示するブロック図である。

【図2】本発明の一部の実施形態によるサッカード検出に基づいた動的なグラフィックスレンダリングのための方法を例示するフロー図である。

【図3】本発明の一部の実施形態によるサッカード検出によるコンピューティングリソースの削減の図である。

【図4】本発明の一部の実施形態による較正プロセスを例示するブロック図である。

【図5A】本発明の一部の実施形態によるヘッドマウントデバイスの図である。

【図5B】本発明の一部の実施形態によるヘッドマウントデバイスの図である。

【発明を実施するための形態】

【0010】

人の視覚系は、１つの注視位置から別の位置への素早い動きであるサッカードと呼ばれる眼球運動を有する。サッカード中、脳は、それが視神経から受け取る信号を遮断（マスク）する。このマスキング作用は一般に、サッカードマスキングと呼ばれる。サッカードが終わり、目が安定した新たな固定位置に到達するとすぐに、視神経を経由して脳に送られた画像がこのとき使用されてサッカード中の知覚的なギャップを「埋める」。例えば空間的な更新作業及びサッカード前後の視覚統合などの他の知覚作用もまた、ヒトの脳がサッカード事象の前後にどのように画像を認識するかに影響を与える。空間的更新作業は、視覚的刺激をもはや見ることができないサッカード中及びサッカード後も、サッカード以前に見られた視覚的刺激がなおも脳によって認識される作用を指す。サッカード前後の視覚統合は、脳が、サッカードの前後の２つ以上の固定地点から視覚情報を統合する作用を指す。

【0011】

サッカードマスキング時間は、数ミリ秒数だけ（例えばおおよそ３０ｍｓなど）サッカードの眼球運動の前に始まる場合がある。眼球運動自体は、サッカードの規模に応じて少なくともおおよそ５０～７５ｍｓ間継続することができる。眼球運動が停止した後、さらにおおよそ３０ｍｓの脳の信号のマスキング作用が発生してよい。

【0012】

コンピュータ描画仮想現実（ＶＲ）シーンでは、リアルタイムの画像のレンダリングは、多くの中央処理装置（ＣＰＵ）及びグラフィックス処理ユニット（ＧＰＵ）の電力を取りこみ、優れたＶＲ知覚を提供するために画像が頻繁に生成される（一般に少なくとも６０Ｈｚ）。したがってＶＲに関するレンダリングは、極めて多くの電力を消費することがある。

【0013】

サッカード中、サッカードマスキングが原因で新たな画像（フレーム）がユーザによって知覚されない場合がある。サッカードマスキングの時間は一部のケースでは大抵１００ｍｓから２００ｍｓ前後であり得る。サッカードマスキング時間が生じていることを知ったシステムは、コンピューティングリソース及び電力消費を節約するために画像のフレームのレンダリングを回避することができる。例えば６０Ｈｚのレンダリング及び１００ｍｓのサッカード時間では、サッカード中におおよそ６つのフレームを飛ばすことができる、またはより少ないコンピューティングリソースによってレンダリングすることができる。多くのＶＲシステムでは、より高いフレームレート、例えば９０Ｈｚまたは１２０Ｈｚなどが利用される。そのようなシステムでは、典型的なサッカード時間においてより多くのフレームを節約することができる。このような技術の適用の全体の電力の節約は、サッカードマスキング時間によって取り込まれる全体のＶＲビューイングタイムのパーセンテージに関連し得る。

【0014】

電力の節約に加えて、一部の実施形態では、「節約された」処理時間を使用して、例えば複雑な照明計算など、低頻度の更新データをレンダリングすることができる。典型的には３Ｄにおけるシーン照明は、比較的ゆっくりと変化し、そのため待ち時間に関してより大きな許容値を持って計算することができる。サッカードは任意の特定の割合で生じることは保証されないため、この技術は、サッカードに達する統計的な可能性が存在する長期の（数秒）計算に適している。この技術は、中心窩レンダリング及び視線追跡と併せて使用される場合もある。

【0015】

サッカードを検出するための種々の技術を以下で考察する。例えばサッカードは、位置感知検出器（ＰＳＤ）またはドップラー効果センサなどの高速センサを利用して光学式に検出することができる。一部の実施形態では、サッカードの発現は、目の筋肉に近い皮膚上の筋電計測法の（ＥＭＧ）筋肉信号を測定することによって検出される場合もある。

【0016】

より詳細な説明が以下に提供される。最初に図１を参照すると、本発明の一部の実施形態によって本明細書に示され記載される方法及び技術のいずれかを行う、実施する及び／または実行するのに使用され得るサッカード検出に基づいて画像をレンダリングするためのシステムが示されている。サッカード検出システム１００は、プロセッサ１０１と、メモリ１０２と、ディスプレイ１３０と、センサ１１０とを含む。サッカード検出システム１００は、ヘッドマウントディスプレイ（「ＨＭＤ」）装置、拡張現実デバイス、仮想現実デバイス、ウエアラブルデバイス、携帯型ユーザデバイス、スマートフォン、パーソナルコンピュータ、テレビ、タブレットコンピュータ、ゲームコンソールなどのうちの１つまたは複数を含む、またはその中に含まれる場合がある。一般にサッカード検出システム１００は、少なくとも１つのセンサを有する任意のプロセッサベースのデバイスを含んでよい。

【0017】

メモリ１０２は、揮発性及び／または不揮発性コンピュータ可読メモリデバイスのうちの１つまたは複数を含んでよい。いくつかの実施形態において、メモリ１０２は、プロセッサ１０１に、サッカードの出現を自動的に検出し、サッカードの持続期間の少なくとも一部においてコンピュータシミュレートシーンのフレームをレンダリングするのに使用されるコンピューティングリソースを削減するようにさせるコンピュータ実行可能コードを記憶している。コンピュータ可読命令は、プロセッサに、センサ１１０からの情報に基づいてサッカードを検出するように命令することができる。メモリ１０２はさらに、検出された眼球運動が、サッカードマスキングを生じさせるサッカードを構成するかどうかを判定する、及び／または検出されたサッカードの持続期間を予測するのに使用される眼球運動モデルを記憶することができる。眼球運動モデルは、本明細書に記載される較正のプロセスうちの１つまたは複数を通して個々のユーザに対して較正されるパラメータを含むことができる。いくつかの実施形態において、メモリ１０２はさらに、プロセッサ１０１に、対話式の音声及びビデオコンテンツをユーザに提供するようにさせるコンピュータ実行可能コードを記憶している。例えば対話式ビデオコンテンツは、仮想現実または拡張現実コンテンツであってよい。ビデオコンテンツは、リアルタイムにレンダリングされたコンピュータ生成画像を含んでよい。いくつかの実施形態において、コンピュータ実行可能コードは、プロセッサ１０１に、以下で図２及び図４を参照して本明細書に記載される１つまたは複数のステップを実行するようにさせる。いくつかの実施形態において、メモリ１０２は、ローカル、リモート及びクラウドベースストレージのうちの１つまたは複数によって少なくとも部分的に実装されてよい。

【0018】

センサ１１０は、カメラ、光学センサ、赤外線センサ、ＥＭＧセンサ、光学反射板センサ、距離センサ、光学流量センサ、ドップラーセンサ、マイクロフォンなどのうちの１つまたは複数を備えることができる。一般に、センサ１１０は、眼球運動の方向、加速及び速度の変化など素早い眼球運動を検出するように構成される。眼球運動は、取り込んだ画像のフレーム及び／またはユーザの頭部に対する一連の検出された視線位置に基づいて追跡されてよい。例えばセンサ１１０は、目の瞳の一連の画像を取り込むことができ、各々の注視位置は、取り込まれたフレームの中の瞳の中心の位置に基づいて判定されてよい。

【0019】

ＥＭＧセンサは、筋肉細胞によって生成される電位を検出するセンサである。目の眼窩または眼窩周囲の領域に、またはその近傍に配置されたＥＭＧは、眼球運動を制御する筋肉（例えば直筋、内直筋、下直筋、上直筋、下頭斜筋など）によって生成される電位に基づいて眼球運動の振幅及び／または方向を測定することができる。いくつかの実施形態において、ＥＭＧセンサは、センサが測定するように構成された筋肉を覆っているユーザの皮膚の上に直接配置される場合もある。いくつかの実施形態において、ＥＭＧはユーザの皮膚に接触していない。いくつかの実施形態において、ＥＭＧは、目のサッカード運動が始まる前に筋肉信号に基づいてサッカードの発現を検出する場合もある。

【0020】

光学反射板センサは、眼球から反射される光の変化を検出することによって眼球運動を検出するセンサであってよい。例えば光学反射板センサは、光学トラックボールデバイスと同じ方法で機能することができる。距離センサは、ドップラーセンサ、受動光学センサ、赤外線センサ、ラダーなど、物理的な接触なしですぐ近くの物体の存在を検出するように構成された任意のセンサであってよい。ヒトの眼球は完全な球体ではないため、ユーザの頭蓋骨から固定された距離のところのセンサと、センサの直接の視線内にある眼球の一部との間の近さは眼球運動に伴って変化する。例えば目の角膜は、強膜に対して盛り上がっており、よってより短い検出範囲は、角膜がセンサの直接の視線内にあることを示すことができる。マイクロフォンは、眼球運動によって生成される音声信号を検出するのに使用されてよい。例えば、眼球運動によって生成される音の振幅は、眼球運動の振幅と一致し得る。指向性の眼球運動は、そのそれぞれの音プロファイルに基づいて検出される場合もある。

【0021】

ディスプレイ１３０は、ディスプレイスクリーン、プロジェクションデバイス、拡張現実表示デバイス、仮想現実表示デバイス、ＨＭＤなどのうちの１つまたは複数であってよい、またはそのうちの１つまたは複数を備える場合がある。一般にディスプレイ１３０は、プロセッサ１０１からユーザにコンピュータ生成グラフィックスを示すように構成されている。ディスプレイ１３０はサッカード検出システム１００の一部であるように示されているが、一部の実施形態では、ディスプレイ１３０はサッカード検出システム１００とは別に実装される場合もある。例えばプロセッサは、生成されたグラフィックスを外部の表示デバイスに出力して、ユーザに表示する場合もある。サッカード検出システム１００は、ユーザが、ディスプレイ１３０によって示されるコンピュータ生成グラフィックス及び／または実世界のシーンを見ているとき、ユーザの眼球運動を監視することができる。

【0022】

いくつかの実施形態において、サッカード検出システム１００はさらに、プロセッサ１０１と一体化された、またはそれとは別個である場合もあるグラフィックス処理ユニット（ＧＰＵ）を含む。ＧＰＵは、ユーザに表示するためのグラフィックスを生成する際のレンダリング計算の少なくとも一部を行うことができる。一般に、コンピューティングリソースは、ＣＰＵ処理リソースもしくはＧＰＵ処理リソースのいずれか、またはＣＰＵ処理リソースとＧＰＵ処理リソースの両方を指す場合がある。

【0023】

いくつかの実施形態において、サッカード検出システム１００はさらに、センサ１１０をユーザの眼球運動を感知するのに適した位置に保持する、支持する及び／または設置する物理的な構造体を含む。例えば一部の実施形態では、物理的構造体は、ユーザの目のわずかに前方にカメラを保持する、またはユーザの目の外側の角に直接、またはそれに近接してＥＭＧセンサを保持することができる。一部の実施形態によるそのような物理的構造体の例が以下で図５Ａ～図５Ｂに提供される。いくつかの実施形態において、片方の目だけが監視されるが、他の実施形態では、システムは両方の目をセンサのセットを用いて監視する。いくつかの実施形態において、センサのうちの１つまたは複数は、複数のセンサ及び／またはセンサタイプを有する。

【0024】

いくつかの実施形態において、ユーザの視線は、センサ１１０または第２のセンサ（図示せず）によって追跡されてよい。例えばシステムは、センサ１１０を利用してＶＲまたはＡＲシステムへの入力としてユーザの視線の位置を追跡することができ、またサッカード検出のために視線追跡データを利用することもできる。いくつかの実施形態において、ユーザの視線は、カメラ及び／またはＥＭＧセンサによって追跡されてよく、サッカード検出は、ＥＭＧセンサのみに基づいている、または視線追跡に使用されない別のセンサに基づいている。システムはさらに、サッカードの終わりを検出するためのセンサを含む場合がある。一例として、サッカードの終わりを検出するためのセンサは、センサ１１０、視線を追跡するのに使用されるセンサ、及び／または別個のセンサであってよい、またはそれらを有する場合がある。

【0025】

いくつかの実施形態において、サッカード検出システム１００は、例えばスピーカ、音声出力ポート、キイ、タッチパッド、タッチスクリーン、マイクロフォン、ジャイロスコープ、無線トランシーバなどのその他の入／出力デバイスを含む場合がある。いくつかの実施形態において、本明細書に記載される１つまたは複数の方法及び機能は、リモートデバイスによって実施され、有線または無線データ通信を介してサッカード検出システム１００に伝達されてよい。いくつかの実施形態において、プロセッサ１０１は、追跡した眼球運動と、リモートソースから受信したデータを使用して、ディスプレイ１３０上でユーザに表示するためのコンテンツを決定するように構成される。例えばプロセッサ１０１は、ディスプレイ１３０に、ローカルまたは外部コンテンツをユーザの追跡した眼球運動に基づいて拡張現実または仮想現実方式で表示させることができる。プロセッサ１０１はさらに、検出したサッカードに基づいてコンテンツのフレームをレンダリングするのに使用されるコンピューティングリソースが削減されるかどうか、ならびにどのくらい削減されるかを判断することができる。

【0026】

いくつかの実施形態において、図１に示される各々の構成要素は、例えばヘッドマウントデバイス（ＨＭＤ）またはウエアラブルデバイスなどの携帯型の筐体に囲まれる及び／または携帯型筐体に取り付けられる。いくつかの実施形態において、図１に示される１つまたは複数の構成要素は別々に実装され、有線または無線接続を介してシステムと通信することができる。例えばセンサ１１０は、コンピュータモニタまたはテレビジョンセットの近くに配置されたセンサであってよく、図１に示されるメモリ１０２及びプロセッサ１０１は、パーソナルコンピュータシステム、ゲームコンソールまたはエンタテインメントシステムと一緒に実装される場合もある。

【0027】

図２を参照すると、サッカード検出に基づいて画像をレンダリングするための方法２００の一例が例示されている。いくつかの実施形態において、方法２００のステップは、１つまたは複数のサーバデバイス、ユーザデバイスまたはサーバデバイスとユーザデバイスの組み合わせによって実行されてよい。一般に方法２００のステップは、１つまたは複数のプロセッサベースのデバイス、例えばサッカード検出システム１００のプロセッサ１０１及び／または他の制御回路などによって実行されてよい。

【0028】

方法２１０において、システムは、ユーザに表示するためにコンピュータシミュレートシーンをレンダリングする。いくつかの実施形態において、コンピュータシミュレートシーンは、ユーザ入力及び／またはプログラム状態に基づいてリアルタイムにレンダリングされる。いくつかの実施形態において、コンピュータシミュレートシーンは、例えば６０Ｈｚ、９０Ｈｚ、１２０Ｈｚなどの一定のフレームレートでレンダリングされる。一部の実施形態では、コンピュータシミュレートシーンは、可変のフレームレートでレンダリングされる。コンピュータシミュレートシーンは、ＶＲシーン、ＡＲシーン、３Ｄシーン、２Ｄシーンなどのうちの１つまたは複数を含むことができる。コンピュータシミュレートシーンのレンダリングは、２Ｄオブジェクト、３Ｄオブジェクト、バックグラウンド、影、照明効果、ユーザインターフェース要素などのレンダリングを含んでよい。いくつかの実施形態において、コンピュータシミュレートシーンは、対話型映画、ビデオゲーム、シミュレータソフトウェアなどの一部であってよい。

【0029】

ステップ２２０において、システムは、サッカードマスキングを生じさせるサッカードの発現を検出する。サッカードは一般に、視線の固定の２つの局面の間での目の素早い運動を指す。サッカードは、例えば眼球トレモア、眼球ドリフト、及び円滑性追跡眼球運動などの他の種類の眼球運動とは区別される。十分な規模のサッカードは、脳の知覚にサッカードマスキングを生じさせる。システムは、サッカードマスキングを生じさせるサッカードを、小さな不随意眼球運動であるマイクロサッカードから区別することができる。サッカードは、眼球運動の方向、速度及び加速のうちの１つまたは複数における急な変化を検知することによって検出することができる。いくつかの実施形態において、ＥＭＧセンサを使用して、サッカードの発現に関連する筋肉信号を監視することができる。例えばサッカードは、眼球運動を制御する１つまたは複数の筋肉によって生成される電位におけるスパイクを検知することによって検出されてよい。いくつかの実施形態において、サッカードは、所定の閾値を超える眼球運動の加速が検知されたときに検出される。いくつかの実施形態において、サッカードの検出は、眼球運動モデルに基づく場合がある。例えばサッカード検出に使用される眼球運動の加速の閾値は、ユーザの人口統計学に基づく場合がある、または本明細書に記載される１つまたは複数の較正方法を利用して個々のユーザに対して較正される場合もある。一般に、サッカード検出の任意の既知の方法が、本開示の精神から逸脱することなく利用されてよい。

【0030】

いくつかの実施形態において、サッカードの持続期間が、ステップ２２０の後に予測される。いくつかの実施形態において、サッカードの持続期間は、眼球運動モデルと、サッカードの発現を検出するのに使用された測定値の大きさのうちの少なくとも一方に基づいて予測されてよい。眼球運動モデルは、ヒトの目におけるサッカードの持続期間に関連する統計的データに基づくことができる、及び／または個々のユーザに対して較正される場合もある。ヒトの目におけるサッカードの持続期間に関連する統計的データは、大半の人の典型的なサッカード持続期間に関する情報を提供する一般集団の調査に基づくことができる。いくつかの実施形態において、サッカードの持続期間は、発現時のサッカードの規模に基づいて予測される。サッカードの持続期間は、発現時の眼球運動の加速の大きさに概ね相関する場合がある。したがってシステムは、サッカードの持続期間を予測するために、発現時の加速に関連するデータを測定することができる。いくつかの実施形態において、ＥＭＧセンサは、眼球運動を制御する筋肉によって生成される電位を測定し、サッカードの持続期間の予測は、測定された電位の値に基づくことができる。いくつかの実施形態において、サッカードを検出するために画像センサによって取り込まれた少なくとも２つの画像から眼球運動の速度が計算されてよい。サッカードの継続期間は、サッカードの発現直後の眼球運動の速度に基づいて予測されてよい。いくつかの実施形態において、システムは、サッカード中のピーク眼球運動速度及び／または眼球運動の減速を監視し、検出したピーク眼球運動速度及び／または眼球運動の減速に基づいてサッカードの終わりを予測する。

【0031】

ステップ２３０において、システムは、サッカードの持続期間の少なくとも一部においてコンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減する。いくつかの実施形態において、システムは、コンピュータシミュレートシーンの１つまたは複数のフレームを飛ばす、コンピュータシミュレートシーンの１つまたは複数のフレームを繰り返す、コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング詳細を低下させる、コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング解像度を低下させる、及び／またはコンピュータシミュレートシーンをレンダリングするための可変のフレームレートを調整することによって、フレームをレンダリングするために使用されるコンピューティングリソースを削減することができる。いくつかの実施形態において、システムは、削減時間の直前に生成されたフレームを繰り返すことで削減時間中にフレームに対して計算を行うことを回避する。例えば可変フレームレートＧＰＵを含むシステムなどの可変フレームレートのレンダリングを伴うシステムでは、システムは、サッカードマスキング期間の終わりまでレンダリングを中止する、または削減時間中は、より低いフレームレートでレンダリングすることができる。いくつかの実施形態において、システムは、テクスチャマップにおける詳細を削減する、３Ｄモデルのポリゴン数を削減する、及び影、反射及び表面下散乱などの照明効果を低下させることによってレンダリング詳細を低下させる。いくつかの実施形態において、削減時間におけるフレームは、グループオブピクチャ（ＧＯＰ）ビデオエンコーディングにおける再投影技術に似た技術によって生成されてよい。二方向投影の場合、そのフレームに先行する、及びその後に続くＢフレーム基準画像は、基準となる２フレームに対して動きが補償された差分情報を包含する。

【0032】

一般に削減時間中、システムは、要求するシステムのＣＰＵ及び／またはＧＰＵによる計算がより少なくなるような方法でコンピュータシミュレートシーンをレンダリングする。サッカードマスキング、空間的な更新作業及び／またはサッカード前後の知覚、フレーム及び／または要因が原因で、フレームの詳細が観察者に知覚されずに削除される場合がある。

【0033】

いくつかの実施形態において、フレームをレンダリングするために使用されるコンピューティングリソースの削減は、サッカードの予測される持続期間の少なくとも一部にわたって継続する。例えば６０Ｈｚのレンダリングの場合、サッカードが１００ｍｓ継続すると予測された場合、削減は、１～６フレーム継続してよい。いくつかの実施形態において、システムは、フレームが通常通りレンダリングされる、検出されたサッカード持続期間の始め及び／または終わりに「セーフ」ゾーンを残すように構成される場合がある。いくつかの実施形態において、システムは、サッカードマスキングが目のサッカード運動が終わった後もしばらくの間持続する効果を考慮し、削減時間がサッカード眼球運動の予期した持続期間を超えることを可能にする場合がある。いくつかの実施形態において、システムは、サッカードの持続期間を予測せず、削減時間は、全ての検出されたサッカードに関してデフォルトの最初の長さに設定される場合もある。例えば典型的に少なくとも１００ｍｓの持続期間に相当する発現規模を有するサッカードがステップ２２０において検出された場合のみ、システムが各々の検出されたサッカードに関する持続期間を予測せずに、削減時間は全ての検出されたサッカードに関して９０ｍｓに設定されてよい。

【0034】

一部の実施形態では、ステップ２２０において、システムはまた、サッカードの発現の検出の確実性のレベルを判定する。確実性のレベルは、測定した信号の鮮明度及び／または眼球運動の方向、加速及び速度のうちの１つまたは複数における変化の大きさに基づく場合がある。いくつかの実施形態において、システムは、確実性のレベルに基づいて削減するコンピューティングリソースの量を判定する。削減するコンピューティングリソースの量は、どのくらいのフレームを飛ばすか、どのくらいのフレームを繰り返すか、レンダリング詳細、レンダリング解像度、レンダリングフレームレートなどをどのくらい低下させるかに基づいてよい。例えば高い確実性のレベルの場合、レンダリング解像度は、元のレンダリング解像度の１／４まで低下される場合があり、低い確実性のレベルの場合、レンダリング解像度は、元のレンダリング解像度の１／２まで低下される場合がある。いくつかの実施形態において、システムは、確実性のレベルに基づいてコンピュータシミュレートシーンのフレームのレンダリングのためのコンピューティングリソースを削減する２つ以上の方法から選択する。例えば高い確実性のレベルの場合、システムはフレームを飛ばすまたは繰り返してよく、低い確実性のレベルの場合、システムは、レンダリングされたフレームの詳細を低下させてよい。

【0035】

いくつかの実施形態において、削減の量及びその方法は、サッカード時間の中でのフレームの一時的な場所に対応してよい。例えばより少量の削減は、サッカード時間の真ん中でのフレームと比較して、サッカード時間の始まり及び終わりにより近いフレームに対して行われてよい。

【0036】

いくつかの実施形態において、システムはさらに、コンピュータシミュレートシーンをレンダリングするための低頻度の更新計算を行うように、ステップ２３０において節約されたコンピューティングリソースを再割り当てするように構成される。例えばシステムは、コンピューティングリソースを再割り当てすることで、コンピュータシミュレートシーンに関する複雑な照明計算を行うことができる。いくつかの実施形態において、自由になったコンピューティングリソースは、他の用途及びシステムプロセスによって使用することができる。

【0037】

各々の個々の生理機能は変化するため、いくつかの実施形態では、図２に示されるプロセスの前に、システムは、ユーザに関して個別化された眼球運動モデルを生成または構成するために較正シーケンスを経由するようにユーザを導くことができる。例えばシステムは、ユーザに、特定の角度付きの位置から別の位置に自分の目を移動させるように命令することができる。システムはその後、センサによって得られた測定値を、予期した眼球運動と比較して、そのユーザに関する眼球運動モデルを構成することができる。眼球運動モデルはその後、サッカードマスキングを生じさせるサッカードを検出する、及び／またはサッカードの持続期間を予測するのに使用されてよい。

【0038】

いくつかの実施形態において、較正シーケンスを実行するのに加えて、またはその代わりに、ステップ２２０の後に、システムは、較正の目的でサッカード時間の終わりを検出することができる。サッカード時間の終わりは、アイトラッキング法によって検出されてよく、例えば固視、眼球トレモア、眼球ドリフト及び円滑性追跡眼球運動などの他のタイプの眼球の運動状態に相当する眼球運動の速度またはパターンへの復帰に相当し得る。サッカード時間の終わりは、ステップ２２０においてサッカードの発現を検出するのに使用されたものと同一のまたはそれとは異なるセンサによって検出されてよい。測定されたサッカード時間の持続期間は、サッカードの持続期間を予測するのに使用された眼球運動モデルを較正するために、予測したサッカードの持続期間と比較されてもよい。較正プロセスのより詳細な説明は、以下で図４を参照して本明細書で提供される。

【0039】

いくつかの実施形態において、図２におけるサッカード検出は、中心窩レンダリングと併せて使用されてよい。中心窩レンダリングは、画像の解像度または詳細の総数が固定地点に応じて画像全体にわたって変化する技術である。サッカードが検出された場合、システムは、サッカードの持続期間中は固定地点を全く想定せず、レンダリングされた画像における画像解像度または詳細の総数を画像全体にわたって基準値まで低下させることができる。

【0040】

図３を参照すると、本発明の一部の実施形態によるサッカード検出によるコンピューティングリソースの削減の実例が示されている。図３では、目の速度または加速は、例えば図１におけるセンサ１１０などのセンサによって追跡されてよい。目の速度または加速が閾値を超えた場合、システムは、サッカードの発現３１０を検出することができる。いくつかの実施形態において、この発現は、目の速度または加速が増大する前の筋肉信号に基づいて検出されてよい。いくつかの実施形態において、サッカードの発現は、サッカード運動が実際に始まった直後に検出されてよい。

【0041】

いくつかの実施形態において、システムはまた、サッカードの発現時の測定値に基づいてサッカード３１２の持続期間を予測する。いくつかの実施形態において、予測は、サッカードの発現３１０における加速の大きさに基づくことができる。サッカードマスキングを生じさせる特定の規模のサッカードが検出された場合、システムは、コンピュータシミュレートシーンの１つまたは複数のフレームを飛ばす、コンピュータシミュレートシーンの１つまたは複数のフレームを繰り返す、コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング詳細を低下させる、コンピュータシミュレートシーンの１つまたは複数のフレームのレンダリング解像度を低下させる、及び／またはコンピュータシミュレートシーンの１つまたは複数のフレームの可変のフレームレートを調整することによって、フレームをレンダリングするのに使用されるコンピューティングリソースを削減することができる。図３に示されるようにコンピュータシミュレートシーンのフレームをレンダリングするのに使用されるコンピューティングリソースは、予測されるサッカードの持続期間の一部において低下する。コンピューティングリソースラインは全体として、画像をレンダリングするためのＣＰＵ及び／またはＧＰＵに対する負荷を表している。例えばコンピューティングリソースラインは、ＣＰＵ／ＧＰＵによるミリ秒当たり行われる計算の数を表す場合がある。システムは、サッカード時間の予測される終わりの直前に通常の基準に戻るようにレンダリング方法を復帰させる。サッカード時間の予測される終わりは、サッカード運動の予測される終わりまたはサッカードマスキング知覚作用の予測される終わりに相当してよく、これはサッカード運動が終わった後しばらくの間持続する可能性がある。

【0042】

図３は、概念のみの例示として提供されている。図３は、実際のサッカード検出またはコンピューティングリソース削減とは一致せず、必ずしも一定の基準ではない。

【0043】

サッカード時間におけるコンピューティングリソースの削減は、レンダリングデバイスの全体の電力消費を削減することができる。電池を利用する携帯機器の場合、電力消費の削減は、充電までの間の電池寿命を延ばすようにすることができる。コンピューティングリソースはまた、コンピュータシミュレートシーンをレンダリングするための高レイテンシの更新など他の利用に割り当てられてもよい。コンピューティングリソースはまた、デバイス上で稼働中の他のアプリケーション及び／またはオペレーティングシステムプロセスによる使用のために解放される場合もある。

【0044】

図４を参照すると、フィードバック較正によるサッカード持続期間予測の一例が例示されている。センサ４２０は、眼球運動の方向、速度及び加速のうちの１つまたは複数を測定し、この測定値をサッカード検出モジュール４２２に提供するように構成されている。センサ４２０は、図１に示されるセンサ１１０であってよい、及び／またはカメラ、光学センサ、光学画像センサ、赤外線センサ、光学流量センサ、ＥＭＧセンサ、位置感知デバイス、ドップラー効果センサなどのうちの１つまたは複数を備える場合もある。

【0045】

サッカード検出モジュール４２２は、センサ４２０からのデータを分析して、サッカードマスキングを生じさせるサッカードが生じているか、またはもうすぐ生じようとしているかを判断する。いくつかの実施形態において、サッカード検出モジュール４２２は、その判断を、眼球運動モデル４５０または別のモデルに基づくことができる。例えば眼球運動モデルは、サッカードマスキングを生じさせるサッカードの発現を示す眼球運動の加速の大きさの閾値を含んでよい。ＥＭＧセンサを有する実施形態に関して、この閾値は筋肉信号電圧に相当し得る。

【0046】

サッカードの発現が検出された後、サッカード持続期間予測モジュール４２５が、サッカードの持続期間を予測する。いくつかの実施形態において、サッカード持続期間予測モジュール４２５は、その予測を、サッカードの発現時の眼球運動の大きさと、サッカードの検出されたピーク加速または速度のうちの１つまたは複数に基づく。サッカード持続期間予測モジュール４２５はさらに、その予測を眼球運動モデル４５０に基づく。眼球運動モデル４５０は、検出されたサッカードの規模をサッカード持続期間に対応させてもよい。眼球運動モデル４５０は最初は、ヒトの目におけるサッカードの持続期間に関連する統計的データに基づいてよく、個々のユーザに対して較正されてよい。

【0047】

またサッカードの発現が検出された後、サッカード持続期間測定モジュール４３０が、サッカード時間の終わりを監視し、サッカードの持続期間を計算する。サッカード時間の終わりは、アイトラッキング法によって検出されてよく、固定、眼球トレモア、眼球ドリフト及び円滑性追跡眼球運動などの他のタイプの眼球の運動状態に相当する眼球運動の速度またはパターンの復帰に相当し得る。サッカード時間の終わりは、センサ４２０によって、及び／または１つまたは複数の他のセンサによって検出されてよい。較正モジュール４４０は、サッカード持続期間予測モジュール４２５から予測されたサッカード持続期間と、サッカード持続期間測定モジュール４３０からの測定されたサッカード持続期間を比較して予測の精度を判定する。較正モジュール４４０は、この比較に基づいて眼球運動モデル４５０を更新することができる。例えばサッカード持続期間予測モジュール４２５が、サッカードの持続期間を短く見積もる傾向がある場合、較正モジュール４４０は、より長いサッカード持続期間を有するサッカードの発現時の測定値に対応するように、眼球運動モデル４５０を更新することができる。

【0048】

眼球運動モデルは、いくつかの実施形態において、図４におけるサッカード持続期間予測モジュール４２５によって使用されるように示されているが、サッカード検出モジュール４２２もまた、同一のまたは異なる眼球運動モデル４５０を利用する。いくつかの実施形態において、較正モジュール４４０は、その較正を、複数のサッカード持続期間の予測に基づく場合があり、特定の傾向が観察された場合のみ眼球運動モデル４５０を更新する。

【0049】

図５Ａを参照すると、本明細書に開示される技術が履行され得る拡張現実タイプのＨＭＤの実例が示されている。ＨＭＤデバイス５００は、センサ５１３及び５１５を着用者の眼球運動を監視するのに適した位置に保持するフレーム５１０を含む。２つのセンサが図５Ａに示されているが、本明細書に記載される技術は、第１のセンサ５１３または第２のセンサ５１５のみを有するＨＭＤによって履行される場合もある。

【0050】

いくつかの実施形態において、ＨＭＤデバイス５００は、２つのセンサを含んでおり、一方のセンサは、サッカードの発現を検出するのに使用され、もう一方のセンサはサッカードの持続期間を測定するのに使用される。いくつかの実施形態では、一つのセンサが、サッカードの発現と、サッカードの終わりの両方を検出するのに使用される。いくつかの実施形態において、ＨＭＤはサッカードの終わりを検出するためのセンサを含まない。ＨＭＤデバイス５００はまた、拡張現実シーンをユーザに提供するように構成された表示装置（図示せず）も含んでいる。第１のセンサ５１３は、ユーザの目の画像を捕らえるように位置決めされた光学センサであってよい。第２のセンサ５１５は、図５Ａに示されるようにユーザのこめかみ領域に接触している、またはそこに近接しているＥＭＧセンサであってよい。ＥＭＧセンサは、例えばユーザの目の下、目の内側の角の近くなど他の位置に配置される場合もある。いくつかの実施形態において、２つ以上のＥＭＧセンサが異なる領域に配置される場合もある。第２のセンサ５１５は、低解像度の画像センサ、高フレームレートの画像センサ、光学反射板センサ、距離センサ及びマイクロフォンなど他のタイプのセンサを備えることができる。第２のセンサが画像または光学センサである実施形態では、第２のセンサ５１５は、第１のセンサ５１３の近くに配置されてよい。図５Ａにおけるセンサの配置は、単なる一例として提供されている。一般に、センサの配置は、本開示の精神から逸脱することなく、センサのタイプ及びユーザの生理機能に基づいて様々に構成されてよい。

【0051】

図５Ｂを参照すると、本明細書に開示される技術が履行され得る仮想現実型ＨＭＤデバイスの実例が示されている。ＨＭＤデバイス５２０は、ユーザの視野を囲んでいる。本明細書に記載されるセンサ（複数可）は、ＨＭＤのユーザに面する側に配置されてよい。例えば画像センサは、ＨＭＤデバイス５２０の内側の表示スクリーンのすぐ上に位置決めされてよく、ＥＭＧセンサは、ユーザの眼窩または眼窩周囲領域にもたれかかるようにしてＨＭＤデバイス５２０の一部に位置決めされてよい。

【0052】

図５Ａ～図５Ｂの両方において、検出されたサッカードは、ユーザに表示するためにコンピュータ生成グラフィックスをどのようにレンダリングするかを決定するためにＨＭＤデバイス５００及び５２０によって利用されてよい。サッカードが検出された場合、ＨＭＤデバイス５００及び５２０のプロセッサは、コンピュータシミュレートシーンのフレームをレンダリングするのに使用されるコンピューティングリソースを削減することができる。決定され推定された注視位置はまた、この先の注視位置を予測するのに使用されてよく、これによりコンピュータが、中心窩レンダリングを促進するために、次のフレームが表示される際のユーザの固定位置を特定することを可能にする。

【0053】

いくつかの実施形態において、上に記載した実施形態、方法、手法及び／または技術のうちの１つまたは複数は、プロセッサベースの装置またはシステムによって実行可能な１つまたは複数のコンピュータプログラムまたはソフトウェアアプリケーションにおいて実施されてよい。一例として、そのようなプロセッサベースの装置またはシステムは、コンピュータ、エンタテインメントシステム、ゲームコンソール、ワークステーション、グラフィックスワークステーション、サーバ、クライアント、携帯機器、パッド状デバイスなどを備えることができる。そのようなコンピュータプログラム（複数可）は、上に記載した方法及び／または技術の種々のステップ及び／または特徴を実行するために使用されてよい。すなわちコンピュータプログラム（複数可）は、プロセッサベースの装置またはシステムに、上に記載した機能を実行し達成するようにさせる、またはそのように構成するように適合されてよい。例えばそのようなコンピュータプログラム（複数可）は、上に記載した方法、ステップ、技術または特徴の任意の実施形態を実施するために使用されてよい。別の例として、そのようなコンピュータプログラム（複数可）は、上に記載した実施形態、方法、手法及び／または技術のうちの任意の１つまたは複数を利用する任意のタイプのツールまたは同様のユーティリティを実装するのに使用されてよい。いくつかの実施形態において、プログラムコードマクロ、モジュール、ループ、サブルーチン、コールなどが、コンピュータプログラム（複数可）において、またはそれなしで、上に記載した方法及び／または技術の種々のステップ及び／または特徴を実行するために使用されてよい。いくつかの実施形態において、コンピュータプログラム（複数可）は、本明細書に記載されるコンピュータ可読ストレージまたは１つの記録媒体もしくは複数の記録媒体のうちのいずれかなど、コンピュータ可読ストレージまたは１つの記録媒体もしくは複数の記録媒体に記憶される、またはそこに組み入れられてよい。

【0054】

したがっていくつかの実施形態において、本発明は、コンピュータへの入力のためにコンピュータプログラムを組み入れるための媒体と、本明細書に記載される実施形態、方法、手法及び／または技術のうちの任意の１つまたは複数に包含されるステップのうちの任意の１つまたは複数を含むステップをコンピュータに実施させる、または実行させるためにこの媒体に組み入れられたコンピュータプログラムとを備えるコンピュータプログラム製品を提供する。例えばいくつかの実施形態において、本発明は、プロセッサベースの装置またはシステムに、ユーザに表示するためにコンピュータシミュレートシーンをレンダリングすることと、コンピュータシミュレートシーンを見ているユーザの眼球運動にサッカードマスキングを生じさせるサッカードの発現を検出することと、サッカードの持続期間の少なくとも一部においてコンピュータシミュレートシーンのフレームをレンダリングするために使用されるコンピューティングリソースを削減することとを含むステップを実行させるように適合されたまたはそのように構成された１つまたは複数のコンピュータプログラムを記憶する１つまたは複数の非一時的コンピュータ可読ストレージ媒体を提供する。

【0055】

本明細書に開示される発明を特有の実施形態及びその用途を利用して説明してきたが、特許請求の範囲に記載される本発明の範囲から逸脱せずに、当業者によって多くの修正及び変更をそれに対して行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】