特開 2024-129011 眼追跡データのフィルタリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129011

(43)【公開日】2024-09-26

(54)【発明の名称】眼追跡データのフィルタリング

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240918BHJP

   G09G 5/38 20060101ALI20240918BHJP

   G06T 7/20 20170101ALI20240918BHJP

   A61B 3/113 20060101ALI20240918BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 510A

G09G5/38

G06T7/20 300Z

A61B3/113

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024083479

(22)【出願日】2024-05-22

(62)【分割の表示】P 2022104808の分割

【原出願日】2022-06-29

(31)【優先権主張番号】63/216,855

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】ウィルソン， ジェイコブ

(72)【発明者】

【氏名】イブリ， トビアス

(72)【発明者】

【氏名】ウィーベル， サビネ

(72)【発明者】

【氏名】プツッコティル ラジャゴパル， ハリプラサド

(72)【発明者】

【氏名】ガペル， アンドレア

(72)【発明者】

【氏名】ショラプア， リテッシュ ガンガドハー

(57)【要約】      （修正有）

【課題】改善された眼追跡技法用の眼追跡データを生成及び管理する。
【解決手段】眼追跡は、ユーザの前方に位置するレンズに対するユーザの初期瞳孔位置を決定し、レンズに対する更新された瞳孔位置へのレンズに対する瞳孔位置の変化を検出し、更新された瞳孔位置が、レンズと関連付けられた境界ボックスの外側にあると判定することによって実行される。更新された瞳孔位置は、レンズと関連付けられた境界ボックスの内側の代替瞳孔位置を有する代替瞳孔位置であり、更新された瞳孔位置は、眼追跡機能に利用される。眼追跡はまた、視線方向と関連付けられた第１の画素が可視領域の外側にあると判定することと、可視領域の内側で代替画素を識別することと、代替画素に基づいて更新された視線角を決定することと、更新された視線角を使用して眼追跡を実行することと、によって実行される。
【選択図】図２

【特許請求の範囲】

【請求項1】

方法であって、
ユーザの前方に位置するレンズに対する前記ユーザの初期瞳孔位置を決定することと、
前記レンズに対する更新された瞳孔位置への前記レンズに対する瞳孔位置の変化を検出することと、
前記更新された瞳孔位置が、前記レンズと関連付けられた境界ボックスの外側にあると判定することと、
前記更新された瞳孔位置を、前記レンズと関連付けられた前記境界ボックスの内側の代替瞳孔位置で置き換えることと、
前記更新された瞳孔位置を眼追跡機能に利用することと、
を含む、方法。

【請求項2】

前記初期瞳孔場所は、前記ユーザに提示される第１のフレームと関連付けられ、前記方法が、
前記更新された瞳孔位置に基づいて、前記ユーザに第２のフレームを提示すること
を更に含む、請求項１に記載の方法。

【請求項3】

前記第２のフレームが、前記更新された瞳孔位置に従って歪められている、請求項２に記載の方法。

【請求項4】

前記更新された瞳孔位置を代替瞳孔位置で置き換えることは、前記初期瞳孔位置から前記代替瞳孔位置までイージング関数を適用することによって決定される、請求項２に記載の方法。

【請求項5】

前記イージング関数は、時間ベースのイージング関数を含み、前記代替瞳孔場所は、前記第２のフレームを含む一連のフレームをわたって到達される、請求項４に記載の方法。

【請求項6】

前記境界ボックスは、前記レンズの較正情報に従って決定される、請求項１に記載の方法。

【請求項7】

前記境界ボックスは、前記レンズの所定の領域に従って決定される、請求項１に記載の方法。

【請求項8】

非一時的コンピュータ可読媒体であって、
ユーザの前方に位置するレンズに対する前記ユーザの初期瞳孔位置を決定し、
前記レンズに対する更新された瞳孔位置への前記レンズに対する瞳孔位置の変化を検出し、
前記更新された瞳孔位置が、前記レンズと関連付けられた境界ボックスの外側にあると判定し、
前記更新された瞳孔位置を、前記境界ボックスの内側に位置する代替瞳孔位置で置き換え、
前記更新された瞳孔位置を眼追跡機能に利用する、
ために、１つ以上のプロセッサによって実行可能なコンピュータ可読コードを含む、非一時的コンピュータ可読媒体。

【請求項9】

前記初期瞳孔場所は、前記ユーザに提示される第１のフレームと関連付けられ、
前記更新された瞳孔位置に基づいて、前記ユーザに第２のフレームを提示するためのコンピュータ可読コードを更に含む、
請求項８に記載の非一時的コンピュータ可読媒体。

【請求項10】

前記第２のフレームが、前記更新された瞳孔位置に従って歪められている、請求項９に記載の非一時的コンピュータ可読媒体。

【請求項11】

前記更新された瞳孔位置を代替瞳孔位置で置き換える前記コンピュータ可読コードは、前記初期瞳孔位置から前記代替瞳孔位置までイージング関数を適用することによって決定される、請求項９に記載の非一時的コンピュータ可読媒体。

【請求項12】

前記イージング関数は、時間ベースのイージング関数を含み、前記代替瞳孔場所が、前記第２のフレームを含む一連のフレームをわたって到達される、請求項１１に記載の非一時的コンピュータ可読媒体。

【請求項13】

前記境界ボックスは、前記レンズの較正情報に従って決定される、請求項８に記載の非一時的コンピュータ可読媒体。

【請求項14】

前記境界ボックスは、前記レンズの所定の領域に従って決定される、請求項８に記載の非一時的コンピュータ可読媒体。

【請求項15】

システムであって、
１つ以上のプロセッサと、
１つ以上のコンピュータ可読媒体であって、
ユーザの前方に位置するレンズに対する前記ユーザの初期瞳孔位置を決定し、
前記レンズに対する更新された瞳孔位置への前記レンズに対する瞳孔位置の変化を検出し、
前記更新された瞳孔位置が、前記レンズと関連付けられた境界ボックスの外側にあると判定し、
前記更新された瞳孔位置を、前記レンズと関連付けられた前記境界ボックスの内側の代替瞳孔位置で置き換え、
前記更新された瞳孔位置を眼追跡機能に利用する、
ために、前記１つ以上のプロセッサによって実行可能なコンピュータ可読コードを含む、１つ以上のコンピュータ可読媒体と、
を備える、システム。

【請求項16】

前記初期瞳孔場所は、前記ユーザに提示される第１のフレームと関連付けられ、
前記更新された瞳孔位置に基づいて、前記ユーザに第２のフレームを提示するためのコンピュータ可読コードを更に含む、
請求項１５に記載のシステム。

【請求項17】

前記第２のフレームが、前記更新された瞳孔位置に従って歪められている、請求項１６に記載のシステム。

【請求項18】

前記更新された瞳孔位置を代替瞳孔位置で置き換える前記コンピュータ可読コードが、前記初期瞳孔位置から前記代替瞳孔位置までイージング関数を適用することによって決定される、請求項１６に記載のシステム。

【請求項19】

前記イージング関数は、時間ベースのイージング関数を含み、前記代替瞳孔場所は、前記第２のフレームを含む一連のフレームをわたって到達される、請求項１８に記載のシステム。

【請求項20】

前記境界ボックスは、前記レンズの較正情報に従って決定される、請求項１５に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

本開示は、概して、画像処理に関する。より具体的には、限定としてではなく、本開示は、改善された眼追跡技法用の眼追跡データを生成及び管理するための技術及びシステムに関する。

【0002】

眼追跡は、視線検出、姿勢推定、顔の分析及び認識などの多くの分野で利用される技法である。眼追跡はしばしば、これらの動作の基礎を形成し、人の注視点の場所を特定すること、又は人の注視点の動きを記録することを電子的に行うプロセスとして考えられ得る。実際には、眼追跡は、瞳孔場所及び視線方向の場所を特定し、追跡することによって提供される。しかしながら、眼を追跡するために使用されるセンサにはシフト又はジッタがしばしば生じるため、眼追跡データがいつも完全に較正されているとは限らない。したがって、眼追跡データは、ジッタが生じている、又は無効であり得る。よって、眼追跡データを管理するための改善された技法が必要である。

【図面の簡単な説明】

【0003】

【図1A】眼追跡及び瞳孔場所を実行するためのセットアップの例示的な図を示す。

【図1B】眼追跡及び瞳孔場所を実行するためのセットアップの例示的な図を示す。

【0004】

【図2】１つ以上の実施形態に係る、眼追跡技法用の瞳孔位置情報を管理するための技法のフローチャートを示す。

【0005】

【図3】１つ以上の実施形態に係る、眼追跡用の瞳孔位置を絞り込むための技法のフローチャートを示す。

【0006】

【図4A】１つ以上の実施形態に係る、可視領域に対する視線方向の例示的な図を示す。

【図4B】１つ以上の実施形態に係る、可視領域に対する視線方向の例示的な図を示す。

【0007】

【図5A】１つ以上の実施形態に係る、眼追跡技法用の視線角を絞り込むための技法のフローチャートを示す。

【図5B】１つ以上の実施形態に係る、眼追跡技法用の視線角を絞り込むための技法のフローチャートを示す。

【0008】

【図6】１つ以上の実施形態に係る、代替画素を識別して視線角を絞り込むための技法のフローチャートを示す。

【0009】

【図7】１つ以上の実施形態に係る、多機能電子デバイスをブロック図の形式で示す。

【0010】

【図8】１つ以上の実施形態に係る、コンピュータシステムをブロック図の形式で示す。

【発明を実施するための形態】

【0011】

本開示は、眼追跡技法における強化された性能のために、眼追跡データを絞り込み、平滑化するためのシステム、方法、及びコンピュータ可読媒体に関する。

【0012】

１つ以上の実施形態では、瞳孔位置は、所定の領域の内側にクランプされる。瞳孔を監視するためのレンズは、既知の較正済み領域である所定の領域を有し得るが、レンズの他の領域は、それほど較正されていない場合がある。したがって、瞳孔場所は、較正済み領域の内側に維持されるべきである。１つ以上の実施形態では、眼の前方に位置するレンズに対する初期瞳孔場所が、決定される。レンズに対する更新された瞳孔位置へのレンズに対する瞳孔位置の変化が、検出され得る。例えば、更新された瞳孔場所が、較正済み領域と関連付けられた、決定された境界ボックスの外側にある場合、境界ボックスの内側で代替瞳孔場所が選択される。次いで、更新された瞳孔場所は、眼追跡技法に使用される。いくつかの実施形態では、ジッタを回避するために、眼追跡システムは、例えば、時間ベースのイージング関数に基づいて、瞳孔場所が元の瞳孔場所から代替瞳孔場所へと移行するように、一連のフレームにわたって瞳孔場所を変更することができる。

【0013】

１つ以上の実施形態では、視線方向は、眼追跡技法で使用するために絞り込まれ得る。特に、視線方向は、ユーザが可視領域に向かって注視するように絞り込まれる。第１の画素は、可視領域の外側の視線方向と関連付けられていると判定され得る。代替画素は、可視領域の内側で識別される。代替画素は、視野の中心から第１の画素までのベクトルに沿って選択され得る。視線角は、代替画素の場所に基づいて決定され、視線角を使用して眼追跡機能が実行される。

【0014】

本開示の目的上、「視線原点」という用語は、視線が決定される眼の中心を指す。

【0015】

本開示の目的上、「瞳孔位置」という用語は、瞳孔が位置する眼の表面上の位置を指す。

【0016】

本開示の目的上、「視線方向」という用語は、視線原点から発生し、瞳孔位置を通過する視線の方向を指す。

【0017】

以下の記載では、説明を目的として、開示された概念に対する理解を深めるために、多くの具体的な詳細を説明している。この記載の一部として、本開示の図面のうちのいくつかは、開示される概念の新規態様が不明瞭になるのを回避するために、構造及びデバイスをブロック図の形式で表す。また、明確性のために、本明細書において、実際の実装形態の全ての特徴が説明されているわけではない。更に、この記載の一部として、本開示の図面のうちのいくつかは、フローチャートの形式で提供され得る。任意の特定のフローチャート内のボックスは、特定の順序で提示され得る。しかしながら、いずれのフローチャートの特定のシーケンスも一実施形態を例示するために使用されるものに過ぎないことを理解されたい。他の実施形態では、フローチャートに示す様々な構成要素のいずれも、削除され得、あるいは、図示されている動作のシーケンスは、異なる順番で、又は同時に実行され得る。加えて、他の実施形態は、フローチャートの一部として示されていない追加のステップを含み得る。更に、本開示に使用する言語は、主に、読み易さ及び説明の目的で選択されたもので、発明の主題を限定又は制限するために選択されたものではなく、このような本発明の主題を判断するためには特許請求の範囲に頼る必要がある。本開示において、「一実施形態」又は「１つの実施形態」を言及することは、実施形態に関して説明する特定の特徴、構造又は特性が開示された主題の少なくとも一実施形態に含まれていることを意味し、そして「一実施形態」又は「１つの実施形態」を何度も言及することは、必ずしもそれらの全てが同じ実施形態を言及していると理解してはならない。

【0018】

（ソフトウェア及び／又はハードウェアの開発プロジェクトのような）実際の実装形態の開発では、開発者の特定の目標（例えば、システム及びビジネス関連の制約の遵守）を達成するために多数の判断をしなければならず、かつ、これらの目標は、実装形態ごとに変動し得ることを理解されたい。また、そのような開発努力は、複雑で時間がかかることがあるが、それにもかかわらず、本開示の利益を有するグラフィックスモデリングシステムの設計及び実装形態に従事する当業者にとっては日常的な仕事に過ぎないことも理解されたい。

【0019】

図１Ａを参照すると、眼１００の例示的な図が示されている。本開示の目的上、眼１００は、３Ｄ空間における眼の中心を指す視線原点１０５を含む。眼１００は、また、瞳孔位置１１０を含む。瞳孔位置１１０は、瞳孔が位置する眼１００の表面上の位置を指す。１つ以上の実施形態では、瞳孔位置１１０は、眼の表面上の瞳孔の中心場所を指し得る。視線原点１０５及び瞳孔位置１１０は、視線方向１１５を決定するために使用され得る。視線方向１１５は、視線原点１０５から発生し、瞳孔位置１１０を通過する視線の方向を指し得る。１つ以上の実施形態では、視線方向１１５は、視線原点１０５から発生し、瞳孔位置１１０を通過するベクトルとして定義され得る。

【0020】

図１Ｂを参照すると、眼追跡が実行されている眼１００の例示的な図が示されている。この眼追跡は、レンズ１２０を含むデバイス１２５によって実行され得る。眼１００がレンズ１２０を通してオブジェクトを見ているとき、システムの較正に基づき、瞳孔データのうちの一部のみが有効である。瞳孔位置１１０は、システムの較正に影響を及ぼし得る。例えば、ハードウェアの制約により、レンズ１２０の一部分しか較正されないことが生じ得るが、瞳孔位置１１０は、依然として非較正部分に到達し得る。したがって、瞳孔境界１３０は、瞳孔データが有効であると判定されるレンズ１２０の一部分を画定し得る。いくつかの実施形態では、瞳孔境界１３０とレンズ１２０との交差部分は、レンズ上の境界ボックスを識別し得る。

【0021】

図２は、１つ以上の実施形態に係る、眼追跡技法用の瞳孔位置情報を管理するための技法のフローチャートを示す。具体的には、図２は、レンズの境界ボックスの内側に瞳孔位置をクランプするための技法を示す。有効な瞳孔データを提供するように決定されたレンズの一部分に瞳孔位置をクランプすることにより、システムは、境界ボックスの内側よりも画像が歪んで見える原因となる、レンズの非較正部分からのデータを外挿し、境界ボックスの内側よりも画像が歪んで見えるようなることを回避することができる。例えば、ディスプレイデバイスが眼の前方にある間に移動する又はシフトされる場合、瞳孔位置は頻繁にシフトし得、これにより、画面上でのジッタの提示が引き起こされる。図２に示す様々なプロセスは、特定の順序で図示されているが、説明される様々なプロセスは、異なる順序で実行され得ることを理解されたい。更に、様々なプロセスの全てを実行する必要があるとは限らない。

【0022】

フローチャート２００は、ユーザの前方に位置するレンズに対するユーザの初期瞳孔位置を決定する、２０５で開始する。例えば、レンズは、初期瞳孔位置が決定されるユーザの眼の前方に位置し得る。フローチャート２００は、レンズに対する瞳孔位置の変化を検出する、２１０に続く。結果として、レンズに対する更新された瞳孔位置が決定される。

【0023】

ブロック２１５において、更新された瞳孔位置を、レンズと関連付けられた境界ボックスと比較する。上述のように、境界ボックスは、有効な瞳孔データを提供するように決定されるレンズの一部分を指し得る。境界ボックスは、例えば、図１Ｂに関して上述したように、有効な瞳孔境界とレンズとの交差部分によって決定され得る。

【0024】

フローチャートは、更新された瞳孔場所が境界ボックスの外側にあるかどうかに関する判定が行われる、２２０に続く。２２０において、更新された瞳孔場所が境界ボックスの外側にないと判定された場合、フローチャートは、２２５に進み、この更新された瞳孔場所を、そのままで眼追跡機能に利用する。

【0025】

２２０に戻って、瞳孔場所が境界ボックスの外側にあると判定された場合、フローチャートは、ブロック２３０に続く。ブロック２３０において、境界ボックスの内側で代替瞳孔位置を識別する。代替瞳孔位置は、いくつかの方法で決定され得る。例えば、境界ボックスの内側の最も近い瞳孔位置を使用することができる。一例として、境界ボックスの境界上の場所を使用することができる。次いで、このフローチャートは、代替瞳孔場所を眼追跡機能に使用する、ブロック２３５で完結する。具体的には、いくつかの実施形態では、代替瞳孔場所は、図１Ｂに関して上述したように、画面上に画像を提示するためのワーピング関数を計算するために使用される。

【0026】

いくつかの実施形態では、代替瞳孔位置を利用することにより、眼が移動するにつれてデータのジャンプが生じ得る。例えば、データのジャンプは、歪みのジャンプにつながる可能性がある。いくつかの実施形態では、歪みのジャンプは、瞳孔位置にイージング関数を適用することによって回避され得る。図３は、１つ以上の実施形態に係る、上記の図２のブロック２３０に記載されているように、眼追跡用の瞳孔位置を絞り込むための技法のフローチャートを示す。図３に示す様々なプロセスは、特定の順序で図示されているが、説明されるプロセスは、異なる順序で実行され得ることを理解されたい。更に、様々なプロセスの全てを実行する必要があるとは限らない。

【0027】

フローチャート３００は、境界ボックスの内側で代替瞳孔位置を識別される、３０５で開始する。１つ以上の実施形態によれば、代替瞳孔位置は、境界ボックスの内側の、実際の瞳孔位置から最も近い場所に基づいて選択され得る。いくつかの実施形態では、代替瞳孔位置は、境界ボックスの境界上の場所として選択され得る。

【0028】

このフローチャートは、実際の瞳孔位置及び代替瞳孔位置に基づいて、イージング関数を瞳孔位置に適用する、ブロック３１０に続く。いくつかの実施形態では、イージング関数は、時間ベースの関数であり得る。したがって、ブロック３１５において、実際の瞳孔場所を単に代替瞳孔場所で置き換えるのではなく、イージング関数に基づいて、中間瞳孔位置のセットを決定し得る。１つ以上の実施形態によれば、イージング関数は、線形関数、３次イージング関数などであり得る。したがって、中間瞳孔位置のこのセットは、ユーザの瞳孔位置を代替瞳孔位置へとイージングし得る。

【0029】

フローチャート３００は、中間瞳孔位置のセットを一連のフレームにわたって適用する、ブロック３２０に続く。例えば、中間瞳孔位置のセットは、中間瞳孔位置が適用されるフレームの数に対応し得る所定の数の中間瞳孔位置を含み得る。代わりに、いくつかの実施形態では、いくつかの中間瞳孔位置は、実際の瞳孔位置と代替瞳孔位置との差分によって駆動され得る。例えば、実際の瞳孔位置と代替瞳孔位置との間の線形差分が小さい場合、より少ないフレームが必要とされ、したがって、代替画素場所に到達するのに必要とされ得る中間値はより少なくてもよい。対照的に、実際の瞳孔位置と代替瞳孔位置との間の線形差分が大きい場合、より多くのフレームが必要とされ、したがって、ユーザをより効果的にイージングするために、代替画素位置に到達するのに必要とされ得る中間値はより多くなる。中間瞳孔位置のセットは、ユーザに提示される後続の一連のフレームが、一連のフレームにわたる中間瞳孔位置の進行を利用し得るように適用される。

【0030】

フローチャート３００は、代替瞳孔位置を次のフレームで使用する、ブロック３２５で完結する。すなわち、実際の瞳孔位置ではなく代替瞳孔位置に基づいてレンダリングされる一連のフレームにわたって、中間瞳孔位置のセットを利用した後である。いくつかの実施形態では、次いで、代替瞳孔位置を使用して、新しい瞳孔位置が検出され、その時点で図２に記載するプロセスが再び始まるまで、ユーザに表示するためのコンテンツをレンダリングすることができる。

【0031】

いくつかの実施形態によれば、例えば、ユーザの視線に基づいて、他の問題が発生し得る。例えば、ディスプレイは、有効な画素情報を含む領域と関連付けられた領域を有し得る。したがって、視線方向を絞り込んで、ユーザが有効な可視領域の内側の画素を注視することを確実にすることができる。図４Ａを参照すると、画面４２５などの画面の簡略ブロック図が示されている。画面２４５は、タブレット又は携帯電話などのモバイルデバイス、あるいはヘッドマウントディスプレイデバイスなど、ユーザの前方に位置する任意の種類のディスプレイであり得る。ディスプレイの一部分は、視認可能であり、それによって可視領域と呼ばれ得る。いくつかの実施形態では、可視領域は、レンズ４３０を通して視認可能な画面の一部分である。したがって、レンズは、ディスプレイの全ての部分を「見る」ことができるわけではない。加えて、レンズ４３０を通して視認可能な画面４２５の全てが、有効なデータを含み得るわけではない。例えば、レンズ４３０の外側部分は、較正が困難であり得る、さもなければ較正されないことがあり得る。したがって、画面４２５は、有効な画素データを含むように決定される可視領域４３５を含み得る。加えて又は代わりに、視認可能である領域の決定は、ハードウェアによって視認可能なもの、眼追跡システムの技術仕様、又はソフトウェアによって定義された領域に基づき得る。

【0032】

図４Ｂを参照すると、この図は、眼からの画面の例示的なビューを示す。いくつかの実施形態によれば、可視領域３４５は、有効な画素データを提供するように決定された画面の一部分に基づいて、可視マスクによって定義され得る。したがって、ユーザの視線が可視領域４３５の外側に向けられている場合、代替視線場所が利用され得る。図示されているように、ユーザの視線４６０は、可視領域４３５の外側ではあるが、画面４４０の内側に向けられている。画面４４０は、タブレット、携帯電話、ウェアラブルデバイスなどの、ユーザの前方に位置するモバイルデバイスの画面であり得る。有効なデータを提供するために、代替視線場所を可視領域の内側から選択することができる。代替画素は、例えば、可視領域４３５の内側の最も近接した画素に基づいて選択され得る。いくつかの実施形態では、代替画素は、視野の中心４５０を識別することによって選択され得る。視野の中心４５０は、画面に対する眼の場所に基づき得る。視野の中心４５０は、画面に対するユーザの眼の中心の場所に基づき得る。いくつかの実施形態では、視線ターゲット４６０の代替画素４５５は、代替画素４５５が可視領域の内側にあるように選択され得る。代替画素は、視野の中心４５０から発生し、視線４６０のターゲット場所に向かうベクトル４７０に沿って決定され得る。１つ以上の実施形態によれば、代替画素４５５は、次いで、眼追跡技法に使用され得る。更に、いくつかの実施形態では、眼追跡技法はまた、代替画素４５５に基づいて決定され得る視線角に依拠し得る。

【0033】

図５Ａは、１つ以上の実施形態に係る、眼追跡技法用の視線情報を管理するための技法のフローチャートを示す。具体的には、図５Ａは、有効な画素データを利用するために、ユーザの視線方向を再計算するための技法を示す。明確にするために、図３の説明を、上述したような図１及び図４に関して説明する。図５に示す様々なプロセスは、特定の順序で図示されているが、説明されるプロセスは、異なる順序で実行され得ることを理解されたい。更に、様々なプロセスの全てを実行する必要があるとは限らない。

【0034】

フローチャート５００は、画素場所を、視線方向と関連付けられているものとして検出する、ブロック５０５で開始する。例えば、画素場所は、ユーザの視線のターゲット場所と関連付けられ得る。この画素場所は、ユーザの眼１００の前方に位置する画面に対して決定され得る。ブロック５１０において、検出された画素場所が可視領域の外側にあるかどうかに関する判定を行う。図４Ｂに関して上述したように、可視領域４３５は、有効な画素データを含む画面４２５のサブセットであり得る。有効な画素データは、画面４２５が視認可能であるレンズ４３０のサブセットに基づき得る。

【0035】

ブロック５１０において、画素場所が可視領域の外側にないと判定された場合、フローチャート５００はブロック５１５に続く。ブロック５１５において、検出された画素場所に基づいて視線角の値を決定する。視線角は、決定された画素場所に応じたユーザの眼と画面との間の角度を表し得る。このフローチャートは、次のフレームを処理するために、決定された視線角及び画素場所を利用する、ブロック５２０で完結する。

【0036】

フローチャート５００のブロック５１０に戻って、検出された画素場所が可視領域の外側にあると判定された場合、フローチャート５００は、ブロック５２５に続く。ブロック５２５において、可視領域の内側で代替画素場所を決定する。１つ以上の実施形態では、代替画素は、例えば、可視領域の内側の、検出された画素に最も近い画素として選択され得る。更に、いくつかの実施形態では、代替画素場所は、図６に関して下記詳細に説明するように、視野の中心点に基づいて選択され得る。

【0037】

フローチャート５００は、代替画素の場所に基づいて視線角を決定する、ブロック５３０に続く。視線角は、決定された代替画素場所に応じたユーザの眼と画面との間の角度を表し得る。このフローチャートは、次のフレームを処理するために、決定された視線角及び代替画素場所を利用する、ブロック５３５で完結する。

【0038】

いくつかの実施形態によれば、眼追跡データは、クライアント及びコンポジタによる二相プロセスでフレームをレンダリングするために使用され得る。いくつかの実施形態では、眼追跡データはクライアントとコンポジタとの間で渡すことができ、及び／又は過去の眼追跡データを使用して、視覚的品質を改善し、かつ／若しくはハードウェアの制約を満たすことができる。特に、クライアントとコンポジタとの間の整合性は、両者の間で少なくともいくつかの眼追跡パラメータを共有することによって改善され得る。図５Ｂは、１つ以上の実施形態に係る、眼追跡データを管理するための技法のフローチャートを示す。具体的には、図５Ｂは、クライアントとコンポジタとの間で眼追跡データを共有するための技法を示す。明確にするために、図３の説明を、上述したような図１及び図４に関して説明する。図５Ｂに示す様々なプロセスは、特定の順序で図示されているが、説明されるプロセスは、異なる順序で実行され得ることを理解されたい。更に、様々なプロセスの全てを実行する必要があるとは限らない。フローチャートは、クライアントがフレームを処理し、眼追跡パラメータを取得する、ブロック５５５で開始する。いくつかの実施形態では、クライアントは、コンポジタによる表示のためにフレームをレンダリングする。いくつかの実施形態によれば、クライアントは、フレームをレンダリングするときに、視線角などの特定の眼追跡パラメータを決定する。ブロック５６０に示すように、任意選択のステップにおいて、クライアントは、過去のコンポジタ眼追跡パラメータに基づいて、フレームを処理する。すなわち、コンポジタは、将来のフレームを処理するために、現在の視線角及び／又は直近に提示されたフレームからの可視領域に関連するデータを、クライアントに渡す。次いで、ブロック５６５において、クライアントは、フレームをレンダリングする。コンポジタによってクライアントに渡された可視領域を利用することにより、クライアントは、可視領域の外側の画素をレンダリングすることを回避することができ、したがって、性能を改善することができる。コンポジタによって渡された視線角を利用することにより、クライアントは、フレームをユーザの視線へとより適切にレンダリングし、それによって画質を改善することができる。

【0039】

フローチャート５５０は、コンポジタが、レンダリングされたフレームを提示し、そのプロセスにおいて、コンポジタ眼追跡パラメータを取得する、５７０に続く。特に、コンポジタは、上記の図５Ａに関して説明したステップを実行することができる。例えば、コンポジタは、可視領域に基づいて、視線角の値及び画素場所又は代替画素場所を取得することができる。１つ以上の実施形態によれば、視線角が取得される視線は、別個の視線追跡装置からのものである。この視線角、画素場所、及び可視領域は、個別に又はいくつかの組み合わせのいずれかで、コンポジタ眼追跡パラメータと見なすことができる。いくつかの実施形態によれば、コンポジタは、様々な眼追跡パラメータを使用して、視線角及び可視領域に従ってフレームを生成する。

【0040】

いくつかの実施形態によれば、コンポジタは、任意選択的に、コンポジタによって提示されているクライアントレンダリングフレームからの過去のクライアントデータに基づいて、現在のフレームを処理することができる。したがって、ブロック５７５において、コンポジタは、任意選択的に、過去のコンポジタ眼追跡パラメータに基づいて、現在のフレームを処理する。すなわち、視線角及び／又は可視領域などの眼追跡データは、１つのフレームから別のフレームへと利用することができる。いくつかの実施形態では、こうすることにより、連続するフレームを処理する際の待ち時間を低減することができる。

【0041】

任意選択的に、ブロック５８０に示すように、いくつかの実施形態では、コンポジタは、過去のクライアント眼追跡パラメータに基づいて、現在のフレームを処理する。すなわち、いくつかの実施形態では、クライアントは、追加のフレームを処理するために、前のフレームのレンダリング中に使用されたデータをコンポジタに渡すことができる。例えば、レンダリング中に使用された視線角は、レンダリングされたフレームと共にクライアントに送信され得る。したがって、代替画素場所及び視線角は、図４Ｂ及び図５Ａに関して上述したように、共有データに依存して、より効率的に決定される、及び／又は待ち時間が改善される。

【0042】

フローチャートは、ブロック５８５に続く。処理すべき追加のフレームがある場合、フローチャートはブロック５５５に戻り、クライアントは、任意選択的に、コンポジタから渡された眼追跡パラメータに基づいて、追加のフレームを処理しなくなるまで、追加のフレームを処理する。

【0043】

図６は、１つ以上の実施形態に係る、更新された画素場所を選択するためのフローチャートを示す。特に、フローチャート６００は、いくつかの実施形態に係る、代替画素場所を決定するための例示的な技法を示す。明確にするために、図６の説明を、上述したような図１及び図４に関して説明する。図６に示す様々なプロセスは、特定の順序で図示されているが、説明されるプロセスは、異なる順序で実行され得ることを理解されたい。更に、様々なプロセスの全てを実行する必要があるとは限らない。

【0044】

フローチャート６００は、可視領域の内側で、視野の中心と関連付けられた画素を識別する、ステップ６０５で開始する。視野の中心は、眼の前方に位置する画面上の画素であり得、眼の中心から発生し、画面の表面に垂直に延在するベクトルに基づいて決定され得る。したがって、視野の中心は、画面の中心に位置決めされ得る、又はオフセットされ得る、あるいは、画面と眼との間にあるレンズの中心と関連付けられた画素に位置決められ得る、又はオフセットされ得る。

【0045】

フローチャート６００は、視野の中心と関連付けられた画素及び視線方向と関連付けられた画素からベクトルを決定する、６１０に続く。視線方向と関連付けられた画素は、フローチャート５００のブロック５０５に関して上述したように決定され得る。フローチャート６００は、代替画素が、決定されたベクトルに沿った画素のセットから、かつ、可視領域の内側で、代替画素を選択する、ブロック６１５で完結する。

【0046】

いくつかの実施形態によれば、システムセットアップは、両方の眼を追跡するように構成され得る。一方の眼について有効なデータを利用可能でない場合、システムは、その眼の視線を、もう一方の眼を使用して無効なデータを用いて予測するように構成され得る。例えば、視線データは、各眼について取得され得る。視線データのセットのうちの１つが無効なデータを含むと判定された場合、予測モデルを、視線データセットの他のセットに適用して、欠落した視線データを予測することができる。例えば、ハードウェアフィードバック又はソフトウェアフィードバックに基づいて、両眼間のデータ整合性についてレビューに基づいて、想定される動き内のしきい動きに基づいて、視線データのセットは、無効であると判定され得る。いくつかの実施形態では、視線方向は、提示されているコンテンツに基づいて決定され得る。例えば、オブジェクトがユーザに提示され、一方の眼がオブジェクトのすぐ外側を見ていると判定される、又はオブジェクトのしきい距離内を見ていると判定された場合、視線は、物体に「クランプ」され得る。同様に、シーン深度を使用して、ユーザがどこを見ているかを判定し、両方の眼が同じ深度で何かを見ていることを確実にすることができる。いくつかの実施形態では、眼モデル及び瞳孔径を使用して、眼が見ている深度を決定することができる。

【0047】

図７を参照すると、本開示の１つ以上の実施形態に係る、電子デバイス７００が提示されている。電子デバイス７００は、携帯電話、タブレットコンピュータ、パーソナルデジタルアシスタント、携帯型音楽／ビデオプレーヤ、ウェアラブルデバイス、基地局、ラップトップコンピュータ、デスクトップコンピュータ、ネットワークデバイス、又は任意の他の電子デバイスなどの多機能デバイスの一部であり得る。電子デバイス７００は、一般に、例えば、ＸＲアプリケーションのコンテキストにおいて、眼追跡のために使用される。電子デバイス７００の様々な構成要素は、デバイス内に異なって分散し得る、又は追加のクライアントデバイス、ネットワークデバイスなどの追加のデバイスにわたって分散し得ることを理解されたい。

【0048】

電子デバイス７００は、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）などのプロセッサ７１０を含み得る。プロセッサ７１０は、例えば、モバイルデバイスに見られるようなシステムオンチップでもよく、１つ以上の専用グラフィック処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）を含んでもよい。更に、プロセッサ７１０は、同じタイプ又は異なるタイプの複数のプロセッサを含み得る。電子デバイス７００はまた、メモリ７２０を含み得る。メモリ７２０は、プロセッサ７１０と連携してデバイス機能を実行するために使用され得る、１つ以上の異なるタイプのメモリを含み得る。例えば、メモリ７２０は、キャッシュ、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、又はコンピュータ可読コードを記憶することができる任意の種類の一時的コンピュータ可読記憶媒体又は非一時的コンピュータ可読記憶媒体を含み得る。メモリ７２０は、眼追跡モジュール７２２並びに他のアプリケーション７２４を含む、プロセッサ７１０による実行のための様々なプログラミングモジュールを記憶し得る。電子デバイス７００はまた、記憶装置７３０を含み得る。記憶装置７３０は、例えば、（固定、フロッピー、及び取り外し可能な）磁気ディスク及びテープ、ＣＤ－ＲＯＭ及びデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ、ＤＶＤ）などの光学式の媒体、並びに電気的プログラム可能なリードオンリーメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）及び電気的消去可能プログラム可能なリードオンリーメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）などの半導体メモリデバイスを含む、１つ以上の非一時的コンピュータ可読媒体を含み得る。記憶装置ス７３０は、例えば、眼追跡技法を実行するために使用されるデータ、又は眼追跡技術が利用されるユーザに情報を提示するためのデータを含み得る。

【0049】

電子デバイス７００はまた、シーンの深度を決定できる１つ以上のカメラ７１２、又は深度センサなどの他のセンサを含み得る。１つ以上の実施形態では、１つ以上のカメラ７１２の各々は、従来のＲＧＢカメラ又は深度カメラであり得る。更に、カメラ７１２は、シーンの深度情報を決定できる画像をキャプチャする、ステレオカメラ又は他のマルチカメラシステム、飛行時間カメラシステムなどを含み得る。いくつかの実施形態では、１つ以上のカメラ７１２は、眼追跡に使用されるカメラであり得る。電子デバイス７００は、ユーザがＸＲ環境と対話することを可能にし得る。多種多様の電子システムが存在することによって、人が様々なＸＲ環境を感知し、かつ／又はＣＧＲ環境と対話できるようになる。例としては、ヘッドマウント可能なシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ、ＨＵＤ）、統合ディスプレイ能力を有する車両ウィンドシールド、統合ディスプレイ能力を有する窓、（例えば、コンタクトレンズと同様に）人の目に配置するように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、ウェアラブルコントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウント可能なシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。代わりに、ヘッドマウント可能なシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受け入れるように構成されていてもよい。ヘッドマウント可能なシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境の音声をキャプチャするための１つ以上のマイクロフォンが組み込まれてもよい。ヘッドマウント可能なシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。いくつかの実装形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。

【0050】

次に図８を参照すると、一実施形態に係る、例示的な多機能電子デバイス８００の簡略機能ブロック図が示されている。電子デバイスの各々は、多機能電子デバイスであってもよく、又は本明細書に記載される多機能電子デバイスの説明される構成要素のうちのいくつか又は全てを有してもよい。多機能電子デバイス８００は、プロセッサ８０５、ディスプレイ８１０、ユーザインタフェース８１５、グラフィックハードウェア８２０、デバイスセンサ８２５（例えば、近接センサ／環境光センサ、加速度計、及び／又はジャイロスコープ）、マイクロフォン８３０、オーディオコーデック（単数又は複数）８３５、スピーカ（単数又は複数）８４０、通信回路８４５、デジタル画像キャプチャ回路８５０（例えば、カメラシステムを含む）、ビデオコーデック（単数又は複数）８５５（例えば、デジタル画像キャプチャユニットをサポートしている）、メモリ８６０、記憶デバイス８６５、及び通信バス８７０を含み得る。多機能電子デバイス８００は、例えば、デジタルカメラ、又はパーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、パーソナル音楽プレーヤ、携帯電話、若しくはタブレットコンピュータなどのパーソナル電子デバイスでもよい。

【0051】

プロセッサ８０５は、デバイス８００によって実行される多数の機能の動作（例えば、本明細書に開示されるような画像の生成及び／又は処理など）を遂行又は制御するのに必要な命令を実行することができる。プロセッサ８０５は、例えば、ディスプレイ８１０を駆動し、ユーザインタフェース８１５からユーザ入力を受信することができる。ユーザインタフェース８１５は、ユーザがデバイス８００と対話することを可能にし得る。例えば、ユーザインタフェース８１５は、ボタン、キーパッド、ダイヤル、クリックホイール、キーボード、ディスプレイスクリーン、及び／又はタッチスクリーンなどの種々の形態をとることができる。プロセッサ８０５はまた、例えば、モバイルデバイスに見られるようなシステムオンチップでもよく、専用のグラフィック処理ユニット（ＧＰＵ）を含み得る。プロセッサ８０５は、縮小命令セットコンピュータ（ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ ｃｏｍｐｕｔｅｒ、ＲＩＳＣ）若しくは複合命令セットコンピュータ（ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ ｃｏｍｐｕｔｅｒ、ＣＩＳＣ）のアーキテクチャ、又は任意の他の好適なアーキテクチャに基づくことができ、１つ以上の処理コアを含み得る。グラフィックハードウェア８２０は、グラフィックを処理するための、及び／又はプロセッサ８０５によるグラフィック情報の処理を支援するための専用の計算ハードウェアであり得る。一実施形態では、グラフィックハードウェア８２０は、プログラム可能なＧＰＵを含み得る。

【0052】

画像キャプチャ回路８５０は、２つの（又はそれより多くの）レンズアセンブリ８８０Ａ及び８８０Ｂを含んでもよく、各レンズアセンブリは別個の焦点距離を有してもよい。例えば、レンズアセンブリ８８０Ａは、レンズアセンブリが８８０Ｂよりも短い焦点距離を有し得る。各レンズアセンブリは、別個の関連付けられたセンサ素子８９０Ａ又は８９０Ｂを有してもよい。代わりに、２つ以上のレンズアセンブリは、共通のセンサ素子を共有してもよい。画像キャプチャ回路８５０は、静止画像及び／又はビデオ画像をキャプチャすることができる。画像キャプチャ回路８５０からの出力は、少なくとも部分的に、ビデオコーデック（単数又は複数）８５５及び／若しくはプロセッサ８０５及び／若しくはグラフィックハードウェア８２０、並びに／又は回路８５０内に組み込まれた専用の画像処理ユニット若しくはパイプラインによって処理され得る。キャプチャされた画像は、メモリ８６０及び／又は記憶装置８６５に記憶され得る。

【0053】

センサ及びカメラ回路８５０は、静止画像及びビデオ画像をキャプチャすることができ、それらは本開示に従って、少なくとも一部分は、ビデオコーデック（単数又は複数）８５５及び／若しくはプロセッサ８０５及び／若しくはグラフィックハードウェア８２０、並びに／又は回路８５０内に組み込まれた専用の画像処理ユニットによって処理され得る。そのようにキャプチャされた画像は、メモリ８６０及び／又は記憶装置８６５に記憶され得る。メモリ８６０は、デバイスの機能を実行するためにプロセッサ８０５及びグラフィックハードウェア８２０により使用される１つ以上の異なるタイプの媒体を含み得る。例えば、メモリ８６０は、メモリキャッシュ、ＲＯＭ、及び／又はＲＡＭを含み得る。記憶装置８６５は、メディア（例えば、オーディオファイル、画像ファイル、及びビデオファイル）、コンピュータプログラム命令又はソフトウェア、プリファレンス情報、デバイスプロファイル情報、並びに他の適切なデータを記憶することができる。記憶装置８６５には、例えば、（固定、フロッピー、及び取り外し可能な）磁気ディスク及びテープ、ＣＤ－ＲＯＭ及びデジタルビデオディスク（ＤＶＤ）などの光学式の媒体、並びに電気的プログラム可能なリードオンリーメモリ（ＥＰＲＯＭ）及び電気的消去可能プログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）などの半導体メモリデバイスを含む、１つ以上の非一時的コンピュータ可読記憶装置を含み得る。メモリ８６０及び記憶装置８６５は、１つ以上のモジュールへと編成され、かつ、任意の所望のコンピュータプログラミング言語で書かれたコンピュータプログラム命令又はコードを有形に保持するために使用することができる。例えば、プロセッサ８０５によって実行されると、そのようなコンピュータプログラムコードは、本明細書に記載の方法のうちの１つ以上を実行することができる。

【0054】

物理的環境とは、人々が電子デバイスの助けなしに、感知及び／又は対話することができる物理的世界を指す。物理的環境は、物理的表面又は物理的オブジェクトなどの物理的特徴を含み得る。例えば、物理的環境は、物理的な木、物理的な建物、及び物理的な人物を含む物理的な公園に対応する。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。これと対照的に、拡張現実（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ、ＸＲ）環境は、人々が電子デバイスを介して感知及び／又は対話する、全体的又は部分的にシミュレートされた環境を指す。例えば、ＸＲ環境は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）コンテンツ、複合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ、ＭＲ）コンテンツ、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）コンテンツなどを含み得る。ＸＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＸＲ環境内でシミュレートされる１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則に従ってふるまうように調節される。一例として、ＸＲシステムは、人物の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様にして、その人物に提示されるグラフィックコンテンツ及び音場を調節することができる。別の例として、ＸＲシステムは、ＸＲ環境（例えば、携帯電話、タブレット、ラップトップなど）を提示する電子デバイスの動きを検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様にして、その人物に提示されるグラフィックコンテンツ及び音場を調節することができる。いくつかの状況では（例えば、アクセシビリティの理由から）、ＸＲシステムは、身体運動の表現（例えば、音声コマンド）に応答して、ＸＲ環境内のグラフィックコンテンツの特性（単数又は複数）を調節することができる。

【0055】

以上の説明は、例示的なものに過ぎず、限定的なものでないことを理解されたい。資料は、特許請求されるような開示されている主題を当業者が製造及び使用可能にするように、特定の実施形態の内容において提示されており、それらの実施形態の変形は当業者にとって容易に明らかとなるであろう（例えば、開示されている実施形態のいくつかは、互いに組み合わせて使用されてもよい）。したがって、図２～図３及び図５～図６に示すステップ又はアクションの特定の構成、又は図１、図４及び図７～図８に示す要素の構成は、開示されている主題の範囲を限定するものとして解釈されるべきではない。したがって、本発明の範囲は、添付の特許請求の範囲を参照にし、そして、そのような特許請求の範囲に対して与えられる均等物の全範囲も併せて判断されなければならない。付属の特許請求の範囲において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ ｗｈｉｃｈ」という用語は、それぞれ、「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」という用語に相当する平易な英語として使用されている。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-06-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
視線方向に関連する第１の画素が可視領域の外側にあると判定することと、
前記第１の画素のための、前記可視領域の内側にある代替画素を識別することと、
前記代替画素の場所に基づいて、視線角の値を判定することと、
前記更新された視線角を用いて眼追跡機能を実行することと、
を備える、方法。

【請求項2】

請求項１に記載の方法であって、前記代替画素を識別することは更に、前記第１の画素に最も近い前記可視領域の内側にある画素として前記代替画素を識別することを含む、
方法。

【請求項3】

請求項１に記載の方法であって、前記代替画素を識別することは更に、元の視線方向の割合を維持することを含む、
方法。

【請求項4】

請求項３に記載の方法であって、前記元の視線方向の割合を維持することは更に、
前記可視領域の視野の中心に関連する画素を識別することと、
前記視野の前記中心に関連する前記画素から前記第１の画素へのベクトルを判定することと、
前記判定されたベクトルに沿い、かつ前記可視領域の内側にある画素から、前記代替画素を選択することと、
を含む、方法。

【請求項5】

請求項１に記載の方法であって、前記可視領域は、環境の視認可能なエリアによって決定されるマスクに関連する、
方法。

【請求項6】

請求項５に記載の方法であって、前記視認可能なエリアは、ハードウェア仕様に基づく、又はソフトウェアによって規定される、所定の領域である、
方法。

【請求項7】

コンピュータ可読コードを含む非一時的コンピュータ可読媒体であって、前記コンピュータ可読コードは、
視線方向に関連する第１の画素が可視領域の外側にあると判定することと、
前記第１の画素のための、前記可視領域の内側にある代替画素を識別することと、
前記代替画素の場所に基づいて、視線角の値を判定することと、
前記更新された視線角を用いて眼追跡機能を実行することと、
を行うように１以上のプロセッサによって実行可能である、非一時的コンピュータ可読媒体。

【請求項8】

請求項７に記載の非一時的コンピュータ可読媒体であって、前記代替画素を識別する前記コンピュータ可読コードは更に、前記第１の画素に最も近い前記可視領域の内側にある画素として前記代替画素を識別するコンピュータ可読コードを含む、
非一時的コンピュータ可読媒体。

【請求項9】

請求項７に記載の非一時的コンピュータ可読媒体であって、前記代替画素を識別する前記コンピュータ可読コードは更に、元の視線方向の割合を維持するコンピュータ可読コードを含む、
非一時的コンピュータ可読媒体。

【請求項10】

請求項９に記載の非一時的コンピュータ可読媒体であって、前記元の視線方向の割合を維持する前記コンピュータ可読コードは更に、
前記可視領域の視野の中心に関連する画素を識別することと、
前記視野の前記中心に関連する前記画素から前記第１の画素へのベクトルを判定することと、
前記判定されたベクトルに沿い、かつ前記可視領域の内側にある画素から、前記代替画素を選択することと、
を行うコンピュータ可読コードを含む、非一時的コンピュータ可読媒体。

【請求項11】

請求項７に記載の非一時的コンピュータ可読媒体であって、前記可視領域は、環境の視認可能なエリアによって決定されるマスクに関連する、
非一時的コンピュータ可読媒体。

【請求項12】

請求項１１に記載の非一時的コンピュータ可読媒体であって、前記視認可能なエリアは、ハードウェア仕様に基づく、又はソフトウェアによって規定される、所定の領域である、
非一時的コンピュータ可読媒体。

【請求項13】

システムであって、
１以上のプロセッサと、
コンピュータ可読コードを含む１以上のコンピュータ可読媒体であって、前記コンピュータ可読コードは、
視線方向に関連する第１の画素が可視領域の外側にあると判定することと、
前記第１の画素のための、前記可視領域の内側にある代替画素を識別することと、
前記代替画素の場所に基づいて、視線角の値を判定することと、
前記更新された視線角を用いて眼追跡機能を実行することと、
を行うように前記１以上のプロセッサによって実行可能である、１以上のコンピュータ可読媒体と、
を備える、システム。

【請求項14】

請求項１３に記載のシステムであって、前記代替画素を識別する前記コンピュータ可読コードは更に、前記第１の画素に最も近い前記可視領域の内側にある画素として前記代替画素を識別するコンピュータ可読コードを含む、
システム。

【請求項15】

請求項１３に記載のシステムであって、前記代替画素を識別する前記コンピュータ可読コードは更に、元の視線方向の割合を維持するコンピュータ可読コードを含む、
システム。

【請求項16】

請求項１５に記載のシステムであって、前記元の視線方向の割合を維持する前記コンピュータ可読コードは更に、
前記可視領域の視野の中心に関連する画素を識別することと、
前記視野の前記中心に関連する前記画素から前記第１の画素へのベクトルを判定することと、
前記判定されたベクトルに沿い、かつ前記可視領域の内側にある画素から、前記代替画素を選択することと、
を行うコンピュータ可読コードを含む、システム。

【請求項17】

請求項１３に記載のシステムであって、前記可視領域は、環境の視認可能なエリアによって決定されるマスクに関連する、
システム。

【請求項18】

請求項１７に記載のシステムであって、前記視認可能なエリアは、ハードウェア仕様に基づく、又はソフトウェアによって規定される、所定の領域である、
システム。

【外国語明細書】