知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-23
(54)【発明の名称】アイトラッキングに部分的に基づいたレンダリング強化
(51)【国際特許分類】
G06F 3/01 20060101AFI20221216BHJP
G06F 3/0481 20220101ALI20221216BHJP
G06F 3/0346 20130101ALI20221216BHJP
G06F 3/038 20130101ALI20221216BHJP
G09G 5/00 20060101ALI20221216BHJP
G09G 5/02 20060101ALI20221216BHJP
G09G 5/10 20060101ALI20221216BHJP
A61B 5/11 20060101ALI20221216BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
G06F3/0346 423
G06F3/038 310A
G09G5/00 550C
G09G5/00 520V
G09G5/02 B
G09G5/10 B
G09G5/00 510A
A61B5/11
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022525148
(86)(22)【出願日】2020-11-03
(85)【翻訳文提出日】2022-06-27
(86)【国際出願番号】 US2020058692
(87)【国際公開番号】W WO2021091889
(87)【国際公開日】2021-05-14
(31)【優先権主張番号】16/675,171
(32)【優先日】2019-11-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】595168543
【氏名又は名称】マイクロン テクノロジー，インク．
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】ユダノフ ドミトリー
(72)【発明者】
【氏名】ブラッドショウ サムエル イー．
【テーマコード（参考）】
4C038
5B087
5C182
5E555
【Ｆターム（参考）】
4C038VA04
4C038VB04
4C038VC05
5B087BC05
5B087BC06
5B087BC32
5C182AA02
5C182AA03
5C182AA04
5C182AA22
5C182AA23
5C182AB01
5C182AB02
5C182AB08
5C182AB14
5C182AB33
5C182AB37
5C182AC03
5C182AC46
5C182BA01
5C182BA14
5C182BA35
5C182BA55
5C182BA56
5C182BA66
5C182BA71
5C182BA75
5C182BC22
5C182BC25
5C182BC26
5C182BC41
5C182CA01
5C182CA02
5C182CA21
5C182CB11
5C182CB13
5C182CB44
5C182CB47
5C182CC24
5C182CC25
5C182CC26
5C182CC27
5C182DA42
5C182DA44
5C182DA65
5C182DA66
5E555AA26
5E555BA02
5E555BA05
5E555BA06
5E555BA15
5E555BA20
5E555BA23
5E555BA38
5E555BB02
5E555BB05
5E555BB06
5E555BB15
5E555BB20
5E555BB23
5E555BB38
5E555BC08
5E555CA42
5E555CB65
5E555CC05
5E555DA31
5E555DC32
5E555DC35
5E555DC36
5E555DC63
5E555DC77
5E555DC84
5E555EA11
5E555FA00
(57)【要約】
コンピューティングデバイスと、グラフィカルユーザーインターフェース（ＧＵＩ）を提供できるディスプレイを有するユーザーインターフェースなどのユーザーインターフェースとを有する装置。装置はまた、カメラ、及びコンピューティングデバイス内のプロセッサを含む。カメラは、コンピューティングデバイス及び／またはユーザーインターフェースに接続することができ、カメラは、ユーザーの瞳孔の場所及び／または眼球運動を取り込むように構成することができる。プロセッサは、取り込まれた瞳孔の場所に基づいて、ユーザーインターフェースに対するユーザーの視覚的焦点を特定する、及び／または取り込まれた眼球運動に基づいて、ユーザーの眼球運動のタイプ（サッカードなど）を特定するように構成することができる。プロセッサはまた、特定された視覚的焦点及び／または特定された眼球運動のタイプに少なくとも部分的に基づいて、ユーザーインターフェースのパラメータを制御するように構成することができる。
【特許請求の範囲】
【請求項1】
装置であって、コンピューティングデバイスと、
ディスプレイであって、前記コンピューティングデバイスに接続され、グラフィカルユーザーインターフェース（ＧＵＩ）を提供するように構成された前記ディスプレイと、
前記コンピューティングデバイス、前記ディスプレイ、またはそれらの組み合わせの少なくとも１つに接続されたカメラであって、ユーザーの瞳孔の場所を取り込むように構成された前記カメラと、
前記コンピューティングデバイス内のプロセッサであって、
前記取り込まれた瞳孔の場所に基づいて、前記ＧＵＩに対する前記ユーザーの視覚的焦点を特定し、
前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイ、前記ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御する
ように構成された前記プロセッサと
を備える、前記装置。
【請求項2】
前記プロセッサが、前記ＧＵＩに対する前記ユーザーの少なくとも１つの瞳孔の視野角及び距離に少なくとも部分的に基づいて、前記ユーザーの前記視覚的焦点を特定するように構成される、請求項１に記載の装置。
【請求項3】
前記プロセッサが、前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイの出力のスキューまたは角度を制御するように構成される、請求項２に記載の装置。
【請求項4】
前記プロセッサが、前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイの画面解像度の分布を制御するように構成される、請求項２に記載の装置。
【請求項5】
前記プロセッサが、前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイの画面着色の分布を制御するように構成される、請求項２に記載の装置。
【請求項6】
前記プロセッサが、前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイの画面明度の分布を制御するように構成される、請求項２に記載の装置。
【請求項7】
前記プロセッサが、前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイの画面陰影の分布を制御するように構成される、請求項２に記載の装置。
【請求項8】
前記プロセッサが、前記ユーザーの前記特定された視覚的焦点に少なくとも部分的に基づいて、前記ディスプレイの画面コントラストの分布を制御するように構成される、請求項２に記載の装置。
【請求項9】
前記カメラが、前記ユーザーの眼球運動を取り込むように構成され、
前記プロセッサが、
前記ユーザーの前記取り込まれた眼球運動に基づいて、サッカードを特定し、
前記特定されたサッカードに少なくとも部分的に基づいて、前記ディスプレイ、前記ＧＵＩ、またはそれらの組み合わせの前記１つまたは複数のパラメータをさらに制御する
ように構成される、請求項１に記載の装置。
【請求項10】
前記プロセッサが、前記特定されたサッカードに従ってある焦点から別の焦点への前記ユーザーの眼球運動を近似し、
前記特定された近似眼球運動に少なくとも部分的に基づいて、前記ディスプレイ、前記ＧＵＩ、またはそれらの組み合わせの前記１つまたは複数のパラメータをさらに制御する
ように構成される、請求項９に記載の装置。
【請求項11】
前記プロセッサが、前記特定されたサッカードに少なくとも部分的に基づいて、前記ディスプレイの出力のスキューまたは角度をさらに変更するように構成される、請求項９に記載の装置。
【請求項12】
前記プロセッサが、前記特定されたサッカードに少なくとも部分的に基づいて、前記ディスプレイの画面解像度をさらに不均一に分布させるように構成される、請求項９に記載の装置。
【請求項13】
前記プロセッサが、前記特定されたサッカードに少なくとも部分的に基づいて、前記ディスプレイの着色をさらに不均一に分布させるように構成する、請求項９に記載の装置。
【請求項14】
前記プロセッサが、前記特定されたサッカードに少なくとも部分的に基づいて、前記ディスプレイの明度または陰影のどちらかをさらに不均一に分布させるように構成される、請求項９に記載の装置。
【請求項15】
前記プロセッサが、前記特定されたサッカードに少なくとも部分的に基づいて、前記ディスプレイのコントラストをさらに不均一に分布させるように構成される、請求項９に記載の装置。
【請求項16】
ウェアラブル構造を備え、前記ウェアラブル構造が、前記コンピューティングデバイス、前記ディスプレイ、前記カメラ、またはそれらの組み合わせの少なくとも１つを備えるか、またはそれに接続される、請求項１に記載の装置。
【請求項17】
前記ウェアラブル構造が、前記ユーザーの頭部に、首の周りに、または手首もしくは前腕の周りに着用するように構成される、請求項１６に記載の装置。
【請求項18】
前記ウェアラブル構造が、キャップ、リストバンド、ネックストラップ、ネックレス、またはコンタクトレンズのいずれかを備える、請求項１７に記載の装置。
【請求項19】
装置であって、グラフィカルユーザーインターフェース（ＧＵＩ）を提供するように構成されたディスプレイを備えたコンピューティングデバイスと、
ユーザーの瞳孔の場所及び眼球運動を取り込むように構成された、前記コンピューティングデバイス内の、または前記コンピューティングデバイスに取り付けられカメラと、
前記コンピューティングデバイス内のプロセッサであって、
画面に対する前記ユーザーの少なくとも１つの瞳孔の視野角及び距離に基づいて、前記ディスプレイの前記画面に対する前記ユーザーの視覚的焦点を特定し、
前記ユーザーの前記取り込まれた眼球運動に基づいて、サッカードを特定し、
前記特定されたサッカード、前記特定された視覚的焦点、またはそれらの組み合わせに基づいて、前記ディスプレイ、前記ＧＵＩ、またはそれらの組み合わせの前記１つまたは複数のパラメータを制御する
ように構成された前記プロセッサと
を備える、前記装置。
【請求項20】
装置であって、グラフィカルユーザーインターフェース（ＧＵＩ）を提供するように構成されたディスプレイを備えたコンピューティングデバイスと、
ユーザーの瞳孔の場所及び眼球運動を取り込むように構成された、前記コンピューティングデバイス内の、または前記コンピューティングデバイスに取り付けられカメラと、
前記コンピューティングデバイス内のプロセッサであって、
前記取り込まれた瞳孔の場所に基づいて、前記ディスプレイの画面に対する前記ユーザーの視覚的焦点を特定し、
前記ユーザーの前記取り込まれた眼球運動に基づいて、眼球運動のタイプを特定し、
前記特定された眼球運動のタイプ、前記特定された視覚的焦点、またはそれらの組み合わせに基づいて、前記ディスプレイ、前記ＧＵＩ、またはそれらの組み合わせの前記１つまたは複数のパラメータを制御する
ように構成された前記プロセッサと
を備える、前記装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、２０１９年１１月５日に出願され、「ＲＥＮＤＥＲＩＮＧ ＥＮＨＡＮＣＥＭＥＮＴ ＢＡＳＥＤ ＩＮ ＰＡＲＴ ＯＮ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題され、その開示全体が参照により本明細書に組み込まれる米国特許出願第１６／６７５，１７１号の優先権を主張する。
本出願は、２０１９年１１月５日に出願され、「ＲＥＮＤＥＲＩＮＧ ＥＮＨＡＮＣＥＭＥＮＴ ＢＡＳＥＤ ＩＮ ＰＡＲＴ ＯＮ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題され、その開示全体が参照により本明細書に組み込まれる米国特許出願第１６／６７５，１７１号の優先権を主張する。
【0002】
本明細書に開示される少なくともいくつかの実施形態は、アイトラッキングに部分的に基づくユーザーインターフェースの制御に関する。例えば、本明細書に開示される少なくともいくつかの実施形態は、アイトラッキングに部分的に基づくグラフィカルユーザーインターフェースのレンダリング強化に関する。
【背景技術】
【0003】
ジェスチャ認識、及びジェスチャ認識に基づくコンピュータのソフトウェアとハードウェアの制御が目立つようになってきた。ジェスチャは通常、人の顔または手から発生する。ジェスチャ認識の利点は、ユーザーがジェスチャを使用して、物理的にコンピューティングデバイスに触れることなくコンピューティングデバイスを制御する、またはコンピューティングデバイスとインタラクトすることができることである。カメラ及びコンピュータビジョンアルゴリズムを使用したアプローチなど、豊富な手法が存在する。
【0004】
また、タッチレスユーザーインターフェースがより普及し、そのようなインターフェースはジェスチャ認識に依存している可能性がある。タッチレスユーザーインターフェースは、キーボード、マウス、タッチスクリーンなどに触れることによるユーザー入力なしで、体部位の動き、ジェスチャ、及び／または声に依存するインターフェースである。マルチメディアアプリケーション、ゲーム、スマートスピーカ、スマートフォン、タブレット、ラップトップ、及びモノのインターネット（ＩｏＴ）など、タッチレスユーザーインターフェースを利用するいくつかのアプリケーション及びデバイスがある。
【0005】
高性能カメラ装置及びより簡略なカメラ構成は、コンピュータビジョンアルゴリズムを介したジェスチャ認識のための入力として使用するための体部位の動きまたは場所を取り込むために使用することができる。高性能カメラ装置は、深度認識カメラ及びステレオカメラを含む場合がある。深度認識カメラは、カメラを通して見ているものの深度マップを生成することができ、このデータを使用して、動いている体部位の三次元（３Ｄ）表現を近似することができる。ステレオカメラはまた、動いている体部位の３Ｄ表現を近似する際に使用することができる。また、動いている体部位の二次元（２Ｄ）表現を取り込むためなどに、より簡略な単一カメラ装置を使用することができる。より高性能のソフトウェアベースのジェスチャ認識が開発され、２Ｄデジタルカメラでさえ、ジェスチャのロバストな検出用に画像を取り込むために使用することができる。
【0006】
ますます普及しているジェスチャ認識のタイプは、目のジェスチャ認識である。目のジェスチャ認識は、アイトラッキングを通じて実装することができる。アイトラッキングは、（人が見ている）注視点または頭部に対する目の動きを測定することを含むことができる。眼球の運動または場所の画像を取り込むためのカメラを使用できるアイトラッカーは、眼球の位置及び眼球の運動または場所を測定するためのデバイスである。アイトラッカーは、目の生理学、ならびに心理学における及びマーケティングにおける機能に関する研究に使用することができる。また、アイトラッカーは、一般に、人間とコンピュータのインタラクションのための入力デバイスとして使用することができる。近年、アイトラッキング技術の高度化とアクセシビリティの向上により、商業部門での関心が生まれている。また、アイトラッキングの応用例は、インターネット、自動車情報システム、及びマルチメディアへのハンズフリーアクセスを使用するための人間とコンピュータのインタラクションを含む。
【0007】
眼球の運動または場所を測定するための多くの方法がある。１つの一般的な方法は、目の位置または向きを抽出する静止画像またはビデオ画像を使用することである。そして、画像解析から生じるデータは、特定の視覚パターンの証拠を提供するために統計的に分析し、グラフを使ってレンダリングすることができる。固視、サッカード、瞳孔拡張、瞬き、及び様々な他の目の挙動を特定することによって、人間とコンピュータのインタラクションを実装できる。そして、研究者は、そのようなパターンを調べることによって媒体または製品の有効性を判断することができる。
【0008】
本開示は、以下に示す詳細な説明及び本開示の様々な実施形態の添付図面から、より十分に理解される。
【図面の簡単な説明】
【0009】
【図1】本開示のいくつかの実施形態による、アイトラッキングに部分的に基づいてユーザーインターフェースの制御（レンダリング強化など）を実装するように構成された例示的なコンピューティングデバイスを示す。
【図2】本開示のいくつかの実施形態による、それぞれが、アイトラッキングに部分的に基づいてユーザーインターフェースの制御（レンダリング強化など）を実装するように構成された例示的なネットワーク化されたシステムを示す。
【図3】本開示のいくつかの実施形態による、それぞれが、アイトラッキングに部分的に基づいてユーザーインターフェースの制御（レンダリング強化など）を実装するように構成された例示的なネットワーク化されたシステムを示す。
【発明を実施するための形態】
【0010】
本明細書に開示される少なくともいくつかの実施形態は、アイトラッキングに部分的に基づく、グラフィカルユーザーインターフェース（ＧＵＩ）のレンダリング強化などのユーザーインターフェースの制御に関する。より具体的には、本明細書に開示される少なくともいくつかの実施形態は、アイトラッキングに部分的に基づくディスプレイ及び／またはＧＵＩの１つまたは複数のパラメータの制御に関する。また、本明細書に開示されるいくつかの実施形態は、一般に、アイトラッキングに部分的に基づく１つまたは複数のユーザーインターフェースの１つまたは複数のパラメータの制御に関することを理解されたい。例えば、本明細書に開示されるいくつかの実施形態は、聴覚ユーザーインターフェースまたは触覚ユーザーインターフェースのパラメータの制御に関する。聴覚ユーザーインターフェースのパラメータは、音量、再生速度などを含むことができる。触覚ユーザーインターフェースのパラメータは、振動のパターン、振動の強さ、出力温度、出力臭覚などを含むことができる。本明細書に説明されている実施形態は、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡（バランス）、及び味覚ＵＩ（味）を含む、任意のタイプのユーザーインターフェース（ＵＩ）のパラメータを制御することを含むことができる。
【0011】
少なくともいくつかの実施形態は、コンピューティングデバイスと、ＧＵＩを提供できるディスプレイを有するユーザーインターフェースなどのユーザーインターフェースとを有する装置を対象とする。装置はまた、カメラ、及びコンピューティングデバイス内のプロセッサを含む。カメラは、コンピューティングデバイス、ユーザーインターフェース、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの瞳孔の場所及び／または眼球運動を取り込むように構成することができる。そして、プロセッサは、取り込まれた瞳孔の場所に基づいて、ユーザーインターフェースに対するユーザーの視覚的焦点を特定するように構成することができる。プロセッサはまた、ユーザーの取り込まれた眼球運動に基づいて、ユーザーの眼球運動のタイプ（サッカードなど）を特定するように構成することができる。プロセッサはまた、ユーザーの特定された視覚的焦点及び／または特定された眼球運動のタイプに少なくとも部分的に基づいて、ユーザーインターフェースの１つまたは複数のパラメータを制御するように構成することができる。
【0012】
少なくともいくつかの実施形態は、ユーザーの目を追跡して、ユーザーインターフェースの画面に対するユーザーの視覚的焦点を決定するために使用されるカメラを対象とする。画面は、ユーザーの視覚的焦点に対して一定の角度及び／または距離で配置することができる。角度及び／または距離は、ユーザーが空間内でデバイスを移動させるにつれて変化する可能性がある。カメラに接続されたコンピューティングデバイスがユーザーの目の場所を見つけて角度及び／または距離を決定すると、デバイスは、ユーザーがいつサッカードするのか、及び目がいつある画面点から別の画面点に移動するのかを判定することができる。また、他の眼球運動は、カメラによって取り込むことができ、デバイスが使用して、ユーザーサッカードまたは他のタイプの眼球運動を決定することができる。
【0013】
視野角及び距離を使用するとき、デバイスはユーザーインターフェースの画面をレンダリングして、ユーザーエクスペリエンスを向上させるために、画像またはビデオを最適にレンダリングし、提示することができる。例えば、デバイスは画面出力を歪める、及び／または画面に対するユーザーの目の視野角及び距離に対応するために、画面解像度、着色、陰影、明度、コントラストなどを不均一に分布させることができる。さらに、デバイスはフィルターを適用できる。そして、デバイスは、触覚ＵＩ、視覚ＵＩ、聴覚ＵＩ、嗅覚ＵＩ、平衡ＵＩ、及び／または味覚ＵＩの要素を調整するなど、ユーザーインターフェースの他のユーザーインターフェース要素を調整することができる。さらに、いくつかの実施形態では、ディスプレイの１つまたは複数のパラメータの制御は、外乱がある場合に、ユーザーのために映像の質の不変性を最大限にして画像またはビデオをレンダリングすることを含むことができる。不変性は、目と画面の間の視覚的なつながりを弱くするまたは破壊させる振盪、振動、雑音、及び他のことなどのあらゆる外乱に対する不変性を含むことができる。また、例えば、デバイスの画面出力は、画面出力を画面に対する任意の外乱に関して安定させることによって、目と画面の間の視覚的なつながりを適合させ、補強することによって外部の外乱に対して不変となることができる。このようにして、ユーザーは、乱されていないまたはあまり乱されていないコンテンツを一貫してかつ継続的に受信することができる。例えば、これは、ユーザーの目に対して座標系で画面出力を少なくとも部分的に一定に保つことによって行うことができる。これは特に、バイザが画面を提供するキャップとバイザの実施形態に有用である場合がある。キャップとバイザは、着用時（特に、ユーザーが何らかの形の運動またはスポーツに参加しているときに）振動し、移動することが予想される。
【0014】
一般に、少なくともいくつかの実施形態は、眼球の運動、場所、及び／または向きを取り込み、そのようなものを解釈して、アプリケーションまたはコンピューティングデバイス（モバイルデバイスまたはＩｏＴデバイスなど）のユーザーインターフェースの動作を制御することを対象とする。
【0015】
いくつかの実施形態では、装置は、コンピューティングデバイス、ディスプレイ、カメラ、及びコンピューティングデバイス内にあるプロセッサを含むことができる。ディスプレイは、コンピューティングデバイスに接続することができ、ディスプレイは、ＧＵＩを提供するように構成することができる。カメラは、コンピューティングデバイス、ディスプレイ、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの瞳孔の場所を取り込むように構成することができる。コンピューティングデバイス内のプロセッサは、取り込まれた瞳孔の場所に基づいて、ＧＵＩに対するユーザーの視覚的焦点を特定するように構成することができる。プロセッサはまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。
【0016】
プロセッサは、ＧＵＩに対するユーザーの少なくとも１つの瞳孔の視野角及び距離に少なくとも部分的に基づいて、ユーザーの視覚的焦点を特定するように構成することができる。そのような実施形態では、プロセッサはまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの出力のスキューまたは角度を制御するように構成することができる。また、プロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面解像度の分布を制御するように構成することができる。また、プロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面着色の分布を制御するように構成することができる。また、プロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面明度の分布を制御するように構成することができる。また、プロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面陰影の分布を制御するように構成することができる。また、プロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面コントラストの分布を制御するように構成することができる。
【0017】
また、カメラは、ユーザーの眼球運動を取り込むように構成することができ、プロセッサは、ユーザーの取り込まれた眼球運動に基づいてサッカードを特定すると共に、特定されたサッカードに少なくとも部分的に基づいてディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータをさらに制御するように構成することができる。そのような実施形態では、プロセッサは、特定されたサッカードに従って、ある焦点から別の焦点へのユーザーの眼球運動を近似するように構成することができる。そして、プロセッサは、特定された近似眼球運動に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータをさらに制御するように構成することができる。また、プロセッサは、特定されたサッカードに少なくとも部分的に基づいて、ディスプレイの出力のスキューまたは角度をさらに変更するように構成することができる。また、プロセッサは、特定されたサッカードに少なくとも部分的に基づいて、ディスプレイの画面解像度をさらに不均一に分布させるように構成することができる。また、プロセッサは、特定されたサッカードに少なくとも部分的に基づいて、ディスプレイの着色をさらに不均一に分布させるように構成することができる。また、プロセッサは、特定されたサッカードに少なくとも部分的に基づいて、ディスプレイの明度または陰影のどちらかをさらに不均一に分布させるように構成することができる。また、プロセッサは、特定されたサッカードに少なくとも部分的に基づいて、ディスプレイのコントラストさらに不均一に分布させるように構成することができる。
【0018】
装置はまた、ウェアラブル構造を含むことができる。ウェアラブル構造は、コンピューティングデバイス、ディスプレイ、カメラ、またはそれらの組み合わせの少なくとも１つを含むか、またはそれに接続することができる。ウェアラブル構造は、ユーザーの頭部に、首の周りに、または手首もしくは前腕の周りに着用するように構成することができる。ウェアラブル構造は、キャップ、リストバンド、ネックストラップ、ネックレス、またはコンタクトレンズのいずれかを含むことができる。また、装置がウェアラブル構造以外の他の構造を含むことができることを理解されたい。例えば、装置は、アプライアンス（ディスプレイを備えたスマートアプライアンスなど）またはテレビセット（拡張ＬＣＤまたはＯＬＥＤ ＴＶなど）を含むか、またはその一部である場合がある。また、４Ｋ ＴＶまたは画面解像度がより高いＴＶは、レンダリング強化から恩恵を受けることができる。また、ゲーム用のハイエンドデバイスを提供するＧＰＵベンダは、レンダリング強化から恩恵を受けることができる。
【0019】
いくつかの実施形態では、装置は、ＧＵＩを提供するように構成されたディスプレイを備えたコンピューティングデバイス、ユーザーの瞳孔の場所及び眼球運動を取り込むように構成されたコンピューティングデバイスの中のまたはそれに取り付けられたカメラ、ならびにコンピューティングデバイス内のプロセッサを含むことができる。そのような例では、プロセッサは、画面に対するユーザーの少なくとも１つの瞳孔の視野角及び距離に基づいて、ディスプレイの画面に対するユーザーの視覚的焦点を特定するように構成することができる。また、そのような例では、プロセッサは、ユーザーの取り込まれた眼球運動に基づいてサッカードを特定するように構成することができる。プロセッサはまた、特定されたサッカード、特定された視覚的焦点、またはそれらの組み合わせに基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。
【0020】
いくつかの実施形態では、装置は、ＧＵＩを提供するように構成されたディスプレイを備えたコンピューティングデバイス、ユーザーの瞳孔の場所及び眼球運動を取り込むように構成されたコンピューティングデバイスの中のまたはそれに取り付けられたカメラ、ならびにコンピューティングデバイス内のプロセッサを含むことができる。プロセッサは、取り込まれた瞳孔の場所に基づいて、ディスプレイの画面に対するユーザーの視覚的焦点を特定するように構成することができる。プロセッサはまた、ユーザーの取り込まれた眼球運動に基づいてサッカードを特定し、特定されたサッカード、特定された視覚的焦点、またはそれらの組み合わせに基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。
【0021】
いくつかの実施形態では、カメラはウェアラブルデバイスまたはウェアラブル構造（例えば、スマートウォッチまたは帽子の一部であるヘッドマウントデバイス）と一体化することができる。そして、そのような例により、ユーザーは、ユーザーインターフェースなどの特定のオブジェクトから目の焦点を遠ざけることによって、ユーザーインターフェースの１つまたは複数のパラメータを制御する（例えば、ディスプレイの調光もしくはターンオフを制御する、またはユーザーインターフェースの音声出力もしくは触覚出力を制御する）ことができる。また、例えば、ユーザーは、ディスプレイ内の一点を見ることができ、ユーザーが瞬きするまたは別の目のジェスチャをすると、ディスプレイ内のＧＵＩによって点にズームインするもしくは焦点を合わせることができる。または、例えば、ユーザーが瞬きをするまたは別の目のジェスチャをした後の点での情報に関して、ユーザーにより多くの音声情報を提供することができる。そして、これらは、本明細書に開示される眼球運動トラッキングを介した人間とコンピュータのインタラクションの多くの例のほんの一部である。また、ウェアラブルデバイスは、ユーザーのタブレットまたはスマートフォンまたはＩｏＴデバイスとインタラクトすることができる。いくつかの実施形態では、カメラ、コンピューティングデバイス、及びディスプレイ、または他のタイプのユーザーインターフェースを別々にし、ローカル無線ネットワークまたは広域ネットワークなどの通信ネットワーク、またはＢｌｕｅｔｏｏｔｈなどのローカルからデバイスへのネットワークを介して接続することができる。
【0022】
少なくともいくつかの実施形態は、ユーザーの眼球運動（例えば、サッカード、滑らかな追跡運動、輻輳運動、前庭動眼運動、眼球注意、角度、視点など）を取り込むために使用されるカメラを含むことができる。眼球運動は、プロセッサに接続されたユーザーインターフェースの動作を制御するためにプロセッサ（ＣＰＵなど）による目のジェスチャとして解釈することができる。例えば、表示画面または投影画面でのコンテンツのレンダリングは、目のジェスチャによって制御することができる。
【0023】
カメラは、ヘッドマウント可能なユーザーインターフェース（ヘッドマウント可能なディスプレイなど）の中に統合することができる。ユーザーインターフェースは、ユーザーの目と耳に、音声付きの３Ｄバーチャルリアリティコンテンツ、または可視（例えば、グラフィック）コンテンツ、触覚コンテンツ、及び／または可聴コンテンツを含めた拡張現実コンテンツなどコンテンツを配信することができる。例えば、ユーザーは、提供されている関心のある点から目の焦点を遠ざけることによって、ディスプレイの調光もしくはターンオフ、またはコンテンツの提示を制御し得る。例えば、ユーザーの目が遠くを見ているまたは他のどこかを見ているとき、デバイスは、調光する、音量を下げる、触覚フィードバックもしくはハプティックフィードバックを除外する、または電源をオフにして電力を節約することができる。例えば、ユーザーは点を見てよく、次にユーザーが瞬きをするまたは別の目のジェスチャをすると点にズームインすることができる。
【0024】
ユーザーインターフェース及びカメラは、例えば時計またはキャップ（または帽子）に含めることができる。キャップまたは時計は、ユーザーの目を監視することができ、スマートフォンもしくは別のタイプのデバイスと通信することができる小型の埋め込みカメラを含むことができる。キャップを使う場合、キャップは、キャップのバイザに埋め込まれた可撓画面を有する場合もあれば、バイザから上下に移動できる透明な画面を有する場合もある。そのような例は、コンピューティングデバイス、ユーザーインターフェース、カメラ、及びウェアラブル構造の組み合わせの多くの実施形態及び実施態様のほんの一部である。
【0025】
本明細書に開示されるいくつかの実施形態では、装置は、ウェアラブル構造、コンピューティングデバイス、ユーザーインターフェース、及びカメラを有することができる。ウェアラブル構造は、ユーザーが着用するように構成することができ、コンピューティングデバイス、ユーザーインターフェース、カメラ、またはそれらの組み合わせの少なくとも１つに接続することができる。ウェアラブル構造は、帽子、キャップ、リストバンド、ネックストラップ、ネックレス、コンタクトレンズ、眼鏡、または別のタイプのアイウェアであるか、それらを含むか、またはそれらの一部である場合がある。いくつかの実施形態では、ウェアラブル構造は、キャップであるか、それを含むか、またはその一部である場合があり、キャップはバイザを有することができ、ディスプレイはバイザ付きのキャップの一部である場合がある。
【0026】
多くの例は、ディスプレイまたはＧＵＩの制御を参照しているが、多くの異なるタイプのユーザーインターフェースを制御するための多くの異なる方法を含む本明細書に説明される実施形態を実装する多くの方法がある。
【0027】
いくつかの実施形態は、キャップを有する装置であるか、またはそれを含む場合があり、キャップはバイザを有することができる。ディスプレイは、バイザの底面から下方に向くように配置することもできれば、バイザの底面から下方に及び上方に動くようにバイザ内に配置することもできる。コンピューティングデバイスはキャップに取り付けることができる。そして、カメラは、コンピューティングデバイス内にある、またはそれに接続され、カメラがユーザーの顔に向いているとき、または目がカメラの検出範囲内にあるときにユーザーの眼球運動を取り込むように構成することができる。コンピューティングデバイス内のプロセッサは、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサはまた、特定された１つまたは複数の目のジェスチャに基づいて、コンピューティングデバイスに無線で接続された第２のコンピューティングデバイスのディスプレイまたはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。また、プロセッサは、特定された１つまたは複数の目のジェスチャに基づいてコンピューティングデバイスのディスプレイまたはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。
【0028】
多くの実施形態のいくつかの別の例は、リストバンドを有する装置を含むことができる。コンピューティングデバイスはディスプレイを含むことができる。そして、コンピューティングデバイスはリストバンドに取り付けることができる。ディスプレイは、ＧＵＩを提供するように構成することができる。コンピューティングデバイス内のカメラは、ディスプレイがユーザーの顔に向いているときにユーザーの眼球運動を取り込むように構成することができる。コンピューティングデバイス内のプロセッサは、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定し、特定された１つまたは複数の目のジェスチャに基づいて、ディスプレイまたはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。
【0029】
図１は、プロセッサ、メモリ（例えば、プロセッサ及びメモリ１０４を参照）、ユーザーインターフェース１０６、及びカメラ１０８を含む例示的なコンピューティングデバイス１０２を示す。コンピューティングデバイス１０２は、本開示のいくつかの実施形態による、アイトラッキングに部分的に基づいてユーザーインターフェースの制御（ＧＵＩレンダリング強化など）を実装するように構成することができる。示されるように、コンピューティングデバイス１０２は、プロセッサ及びメモリ１０４、ユーザーインターフェース１０６、ならびにカメラ１０８を含む。プロセッサ及びメモリ１０４、ユーザーインターフェース１０６、及びカメラ１０８は、コンピューティングデバイス１０２内でバス１１０を介して通信可能に結合される。
【0030】
図１には示されていないが、コンピューティングデバイス１０２は、ユーザーが着用するように構成されたウェアラブル構造であるか、その一部であるか、またはそれを含む場合がある（例えば、図３に示されるウェアラブル構造３０２を参照）。コンピューティングデバイス１０２を含む装置はまた、ウェアラブル構造を含むことができる。ウェアラブル構造は、コンピューティングデバイス１０２、プロセッサ及びメモリ１０４、ユーザーインターフェース１０６（ディスプレイであるか、またはそれを含むことができる）、カメラ１０８、またはそれらの組み合わせの少なくとも１つを含むか、またはそれに接続することができる。ウェアラブル構造は、ユーザーの頭部に、首の周りに、または手首もしくは前腕の周りに着用するように構成することができる。ウェアラブル構造は、キャップ、リストバンド、ネックストラップ、ネックレス、またはコンタクトレンズのいずれかを含むことができる。
【0031】
ユーザーインターフェース１０６は、視覚ユーザーインターフェース（ＧＵＩなど）、触覚ユーザーインターフェース、聴覚ユーザーインターフェース、任意の他のタイプのユーザーインターフェース、またはそれらの任意の組み合わせを提供するように構成することができる。例えば、ユーザーインターフェース１０６は、プロセッサ及びメモリ１０４、カメラ１０８、またはそれらの組み合わせの少なくとも１つに接続されたディスプレイであるか、またはそれを含む場合があり、ディスプレイはＧＵＩを提供するように構成することができる。また、ユーザーインターフェース１０６は、プロジェクタ、スピーカなどの１つまたは複数の音声出力デバイス、及び／または振動デバイスなどの１つまたは複数の触覚出力デバイスであるか、またはそれらを含む場合がある。そして、そのようなコンポーネントは、プロセッサ及びメモリ１０４、カメラ１０８、またはそれらの組み合わせの少なくとも１つに接続することができる。また、本明細書に説明される実施形態は、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡ＵＩ（バランス）、及び味覚ＵＩ（味）を含む任意のタイプの１つまたは複数のユーザーインターフェースを含むことができる。本明細書に説明される実施形態はまた、ニューロンが人体の内部または外部で電極と結線され、インターフェースが無線でまたは有線の方法で外部デバイスに接続される、神経インターフェースまたは脳コンピュータのインターフェースを含むことができる。
【0032】
カメラ１０８は、プロセッサ及びメモリ１０４、ユーザーインターフェース１０６、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの瞳孔の場所及び／またはユーザーの眼球運動を取り込むように構成することができる。カメラ１０８はまた、目の他の部分の場所を取り込むように構成することができる。いくつかの例では、ユーザーインターフェースがディスプレイであるか、またはそれを含む実施形態で、カメラは、コンピューティングデバイス及び／またはディスプレイ内にあるか、またはそれらに接続される場合があり、ディスプレイがユーザーの顔に向いているとき、または目がカメラの検出範囲内にあるときにユーザーの瞳孔の場所及び／またはユーザーの眼球運動を取り込むように構成することができる。
【0033】
カメラ１０８は、高性能カメラ装置またはより簡略なカメラ構成であるか、それを含むか、またはその一部である場合がある。そして、カメラ１０８は、視覚的焦点の特定、眼球運動のタイプの特定、及び／または１つまたは複数のコンピュータビジョンアルゴリズムを介したジェスチャ認識のための入力として使用するために眼球運動を取り込むことができる。高性能カメラ装置は、１つまたは複数の深度認識カメラ及び２つ以上のステレオカメラを含むことができる。深度認識カメラは、カメラを通して見ているものの深度マップを生成することができ、このデータを使用して、ユーザーの目または顔の動いている部分の３Ｄ表現を近似することができる。ステレオカメラはまた、目または顔の動いている部分の３Ｄ表現を近似する際に使用することができる。また、単一のデジタルカメラなどのより簡略な単一のカメラ装置は、ユーザーの目または顔の動いている部分の２Ｄ表現を取り込むために使用することができる。
【0034】
いくつかの実施形態では、カメラ１０８は、眼球の運動、場所、及び／または向きを取り込むように構成することができ、プロセッサ及びメモリ１０４のプロセッサは、取り込まれた眼球の運動、場所、及び／または向きを解釈してユーザーインターフェース１０６の動作を制御するために、プロセッサ及びメモリ１０４のメモリに格納された命令を実行するように構成することができる。コンピューティングデバイス１０２は、そのような実施形態では、モバイルデバイス、ＩｏＴデバイス、または図１に示されるようなカメラ、ユーザーインターフェース、ならびにプロセッサ及びメモリを含むことができる任意の他のタイプのデバイスであるか、それらの一部であるか、またはそれらを含む場合がある。
【0035】
いくつかの実施形態では、装置は、コンピューティングデバイス１０２、ディスプレイ（ユーザーインターフェース１０６の一部である）、カメラ１０８、及びコンピューティングデバイス内にあるプロセッサ（例えば、プロセッサ及びメモリ１０４を参照）を含むことができる。ディスプレイは、いくつかの場合コンピューティングデバイス１０２に接続される場合があるか、またはコンピューティングデバイスの一部である場合があるか、またはいくつかの例ではコンピューティングデバイスを含む場合さえある。そして、ディスプレイはＧＵＩを提供するように構成することができる。カメラ１０８は、コンピューティングデバイス１０２、ディスプレイ、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの瞳孔の場所を取り込むように構成することができる。
【0036】
コンピューティングデバイス１０２内のプロセッサ及びメモリ１０４のプロセッサは、カメラ１０８によって取り込まれた取り込み済みの瞳孔の場所に基づいて、ＧＵＩに対するユーザーの視覚的焦点を特定するように構成することができる。プロセッサは、プロセッサ及びメモリ１０４のメモリに格納された命令に含まれる視覚的焦点モジュール１１２を実行するように構成することができる。視覚的焦点モジュール１１２の実行により、プロセッサに、カメラによって取り込まれた取り込み済みの瞳孔の場所に基づいて、ＧＵＩに対するユーザーの視覚的焦点を特定させることができる。
【0037】
プロセッサ及びメモリ１０４のプロセッサは、ＧＵＩに対するユーザーの少なくとも１つの瞳孔の視野角及び距離に少なくとも部分的に基づいて、ユーザーの視覚的焦点を特定するように構成することができる。ＧＵＩに対するユーザーの少なくとも１つの瞳孔の視野角及び距離は、カメラ１０８によって取り込むことができる。プロセッサは、ＧＵＩに対するユーザーの少なくとも１つの瞳孔の視野角及び距離に少なくとも部分的に基づいて、プロセッサにユーザーの視覚的焦点を特定させるために視覚的焦点モジュール１１２を実行するように構成することができる。また、そのような実施形態では、プロセッサはまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの出力のスキューまたは角度を制御するように構成することができる。
【0038】
プロセッサ及びメモリ１０４のプロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。プロセッサは、プロセッサ及びメモリ１０４のメモリに格納された命令に含まれるレンダリング強化モジュール１１４を実行するように構成することができる。レンダリング強化モジュール１１４の実行により、プロセッサに、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御させることができる。いくつかの実施形態では、本明細書に説明されるレンダリング強化は、制御及びユーザーエクスペリエンスの向上のために、オペレーティングシステム及び／またはアプリケーションによって使用される場合がある。例えば、ゲームアプリケーションは、独自の追加のレンダリング強化から恩恵を受けることができる。
【0039】
また、プロセッサ及びメモリ１０４のプロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面解像度の分布を制御するように構成することができる。プロセッサは、プロセッサに、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面解像度の分布を制御させるために、レンダリング強化モジュール１１４を実行するように構成することができる。いくつかの実施形態では、プロセッサは、ユーザーの目が画面内で見ている地点でより細かな解像度をレンダリングし、画面の他の領域に向かう滑らかな勾配を提供することができる。そのような例では、目が画面上でその視点を移動させると、分布の中心も視点とともに移動し、視覚の優れた経験を提供する。そのような分布は、人間の視覚器官に自然に適合する。これの利点は、視覚的な経験が向上するだけではなく、勾配に従ってプロセッサのレンダリングは少なくなるため、電力とリソースの使用量が削減されることである。また、プロセッサ及びメモリ１０４のプロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面着色の分布を制御するように構成することができる。プロセッサは、プロセッサに、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面着色の分布を制御させるために、レンダリング強化モジュール１１４を実行するように構成することができる。また、プロセッサ及びメモリ１０４のプロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面明度の分布を制御するように構成することができる。プロセッサは、プロセッサに、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面明度の分布を制御させるために、レンダリング強化モジュール１１４を実行するように構成することができる。また、プロセッサ及びメモリ１０４のプロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面陰影の分布を制御するように構成することができる。プロセッサは、プロセッサに、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面陰影の分布を制御させるために、レンダリング強化モジュール１１４を実行するように構成することができる。また、プロセッサ及びメモリ１０４のプロセッサは、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面コントラストの分布を制御するように構成することができる。プロセッサは、プロセッサに、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイの画面コントラストの分布を制御させるために、レンダリング強化モジュール１１４を実行するように構成することができる。
【0040】
いくつかの実施形態では、カメラ１０８は、ユーザーの眼球運動を取り込むように構成することができ、プロセッサ及びメモリ１０４のプロセッサは、ユーザーの取り込まれた眼球運動に基づいて眼球運動のタイプ（例えば、サッカード）を特定すると共に、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータをさらに制御するように構成することができる。プロセッサは、プロセッサ及びメモリ１０４のメモリに格納された命令に含まれる眼球運動モジュール１１６を実行するように構成することができる。眼球運動モジュール１１６の実行により、プロセッサに、ユーザーの取り込まれた眼球運動に基づいて、眼球運動のタイプ（例えば、サッカード）を特定させることができる。そして、プロセッサは、プロセッサに、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御させるために、レンダリング強化モジュール１１４を実行させるように構成することができる。
【0041】
そのような実施形態では、プロセッサ及びメモリ１０４のプロセッサは、特定された眼球運動のタイプ（例えば、特定されたサッカード）に従って、ある焦点から別の焦点へのユーザーの眼球運動を近似するように構成することができる。また、プロセッサは、プロセッサに、特定された眼球運動のタイプに従って、ある焦点から別の焦点へのユーザーの眼球運動を近似させるために、眼球運動モジュール１１６を実行するように構成することができる。そして、プロセッサは、特定された近似眼球運動に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。プロセッサはまた、プロセッサに、特定された近似眼球運動に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータをさらに制御させるために、レンダリング強化モジュール１１４を実行するように構成することができる。いくつかの実施形態では、近似した軌跡の眼球運動の間に、レンダリング強化モジュール１１４は、目に気が付かれないように画面解像度を下げることができ、この結果、処理リソースとメモリリソースの使用量が少なくなり、モバイルウェアラブルデバイスのための電力が節約される。そのような眼球運動が完了すると、レンダリング強化モジュール１１４は解像度を回復する。
【0042】
また、プロセッサ及びメモリ１０４のプロセッサは、特定された眼球運動のタイプ（例えば、特定されたサッカード）に少なくとも部分的に基づいて、ディスプレイの出力のスキューまたは角度をさらに変更するように構成することができる。プロセッサは、プロセッサに、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイの出力のスキューまたは角度を変更させるために、レンダリング強化モジュール１１４を実行するように構成することができる。プロセッサは、プロセッサに、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイの画面解像度をさらに不均一に分布させるために、レンダリング強化モジュール１１４を実行するように構成することができる。また、プロセッサは、プロセッサに、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイの着色をさらに不均一に分布させるために、レンダリング強化モジュール１１４を実行するように構成することができる。また、プロセッサは、プロセッサに、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイの明度または陰影のどちらかをさらに不均一に分布させるために、レンダリング強化モジュール１１４を実行するように構成することができる。また、プロセッサは、プロセッサに、特定された眼球運動のタイプに少なくとも部分的に基づいて、ディスプレイのコントラストをさらに不均一に分布させるために、レンダリング強化モジュール１１４を実行するように構成することができる。
【0043】
一般に、本明細書に説明される視覚的焦点または眼球運動の特定することの例、及び本明細書に説明される特定された視覚的焦点または特定された眼球運動に従った、ユーザーインターフェースの１つまたは複数のパラメータのその後の制御の例は、デバイスのオペレーティングシステム、別のソフトウェアアプリケーション、及び／またはファームウェア、ならびにフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などのプログラマブルロジックを介して実装することができる。いくつかの実施形態では、視覚的焦点モジュール１１２、レンダリング強化モジュール１１４、及び眼球運動モジュール１１６はそれぞれ、コンピューティングデバイス１０２のオペレーティングシステム、コンピューティングデバイスで実行可能な別のソフトウェアアプリケーション、及び／またはコンピューティングデバイス内のファームウェアを介して実装することができる。
【0044】
一般に、本明細書で説明されるウェアラブル構造はそれぞれ、複数のウェアラブル構造と見なすことができる。本明細書で説明されるコンピューティングデバイスはそれぞれ、複数のコンピューティングデバイスと見なすことができる。本明細書で説明されるユーザーインターフェースはそれぞれ、複数のユーザーインターフェースと見なすことができ、本明細書で説明されるカメラはそれぞれ、複数のカメラと見なすことができる。そのようなコンポーネントは、特定された視覚的焦点及び／または特定された眼球運動を介してなど、アイトラッキングを介して制御可能なエコシステムの一部である場合がある。
【0045】
また、一般に、本明細書に説明されるコンピューティングデバイス及び装置の部分は、無線でまたは有線もしくは他のタイプの通信結合を介して互いに接続することができる。
【0046】
図２及び図３は、本開示のいくつかの実施形態による、それぞれが、アイトラッキングに部分的に基づいてユーザーインターフェースの制御（ＧＵＩレンダリング強化など）を実装するように構成された例示的なネットワーク化されたシステム２００及び３００を示す。ネットワーク化されたシステム２００と３００の両方は、１つまたは複数の通信ネットワークを介してネットワーク化されている。本明細書で説明される通信ネットワークは、少なくとも、Ｂｌｕｅｔｏｏｔｈなどのローカルからデバイスへのネットワーク、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、４Ｇもしくは５Ｇなどのモバイルワイヤレスネットワーク、エクストラネット、インターネット、及び／またはそれらの任意の組み合わせを含むことができる。ネットワーク化されたシステム２００及び３００はそれぞれ、ピアツーピアネットワーク、クライアントサーバネットワーク、クラウドコンピューティング環境などの一部である場合がある。また、本明細書に説明される装置、コンピューティングデバイス、ウェアラブル構造、カメラ、及び／またはユーザーインターフェースのいずれも、ある種のコンピュータシステムを含むことができる。そして、そのようなコンピュータシステムは、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット内の他のデバイスへのネットワークインターフェースを含むことができる（例えば、ネットワーク（複数可）２１０及び３１５を参照）。コンピュータシステムはまた、クライアントサーバネットワーク環境内のサーバまたはクライアントマシンの機能で、ピアツーピア（または分散）ネットワーク環境内のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境内のサーバまたはクライアントマシンとして動作することができる。
【0047】
また、図２及び図３の図示されているコンポーネントの少なくともいくつかは、機能的に及び／または構造的に図１の図示されているコンポーネントに類似している場合があり、図１の図示されているコンポーネントの少なくともいくつかは、機能的に及び／または構造的に図２及び図３の図示されているコンポーネントに類似している場合がある。例えば、大部分の場合、コンピューティングデバイス２０２及び３０４はそれぞれ、コンピューティングデバイス１０２と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。ユーザーインターフェース２０６及び他のコンポーネント３１６のユーザーインターフェースは、ユーザーインターフェース１０６と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。カメラ２０４及び他のコンポーネント３１６のカメラはそれぞれ、カメラ１０８と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。コントローラ３０８は、プロセッサ及びメモリ１０４のプロセッサと類似した特徴及び／または機能を有する場合がある。バス３０６は、バス１１０と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。そして、ネットワークインターフェース３１２は、ネットワークインターフェース２０８ａ、２０８ｂ、及び２０８ｃと類似した特徴及び／または機能を有する場合があり、逆もまた同様である。
【0048】
図２に示されるように、ネットワーク化されたシステム２００は、コンピューティングデバイス２０２、カメラ２０４、及びユーザーインターフェース２０６を含む。ネットワーク化されたシステム２００はまた、プロセッサ及びメモリ１０４（コンピューティングデバイス２０２の一部である）を含む。コンピューティングデバイス２０２のバスは図２に示されていないが、バスは、少なくともデバイス２０２内のプロセッサ及びメモリ１０４をネットワークインターフェース２０８ａに接続する。また、コンピューティングデバイス２０２、カメラ２０４、及びユーザーインターフェース２０６は、ウェアラブル構造の中に示されていないか、またはそれに取り付けられていないが、コンポーネントのそれぞれ１つまたはそれらの組み合わせは、ウェアラブル構造の一部であるか、またはそれに取り付けられる場合があることを理解されたい。本明細書に説明されるウェアラブル構造は、ユーザーが着用するように構成することができる。ウェアラブル構造は、帽子、キャップ、リストバンド、ネックストラップ、ネックレス、指輪などの他のタイプの宝飾品類、コンタクトレンズ、眼鏡、別のタイプのアイウェア、シャツ、ズボン、ベルト、靴、スカート、ドレス、またはジャケットなどの任意のタイプの衣類、ならびに、指輪、ピアス、付け爪と付け睫毛、入れ墨、化粧などであるか、それらを含むか、またはそれらの一部である場合がある。いくつかの実施形態では、ウェアラブル構造は、人体の一部であるか、または人体に埋め込まれ、神経系と接続され、すべての種類のユーザーエクスペリエンスを提供することができる。
【0049】
ネットワークインターフェース２０８ａ（コンピューティングデバイス２０２に含まれる）は、１つまたは複数のコンピュータネットワーク２１０及びネットワークインターフェース２０８ｂと２０８ｃをそれぞれ介して、カメラ２０４及びユーザーインターフェース２０６にコンピューティングデバイスを接続する。ネットワークインターフェース２０８ｂ（カメラ２０４に含まれる）は、ネットワーク（複数可）２１０及びネットワークインターフェース２０８ａと２０８ｃをそれぞれ介して、コンピューティングデバイス２０２及びユーザーインターフェース２０６にカメラを接続する。ネットワークインターフェース２０８ｃ（ユーザーインターフェース２０６に含まれる）は、ネットワーク（複数可）２１０及びネットワークインターフェース２０８ａと２０８ｂをそれぞれ介して、コンピューティングデバイス２０２及びカメラ２０４にユーザーインターフェースを接続する。
【0050】
ユーザーインターフェース２０６は、ＧＵＩ、触覚ユーザーインターフェース、聴覚ユーザーインターフェース、またはそれらの任意の組み合わせを提供するように構成することができる。例えば、ユーザーインターフェース２０６は、ネットワーク（複数可）２１０を介して、ウェアラブル構造（図示せず）、コンピューティングデバイス２０２、カメラ２０４、またはそれらの組み合わせの少なくとも１つに接続されたディスプレイであるか、またはそれを含む場合があり、ディスプレイは、ＧＵＩを提供するように構成することができる。また、本明細書に説明される実施形態は、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡ＵＩ（バランス）、及び味覚ＵＩ（味）を含む任意のタイプの１つまたは複数のユーザーインターフェースを含むことができる。
【0051】
カメラ２０４は、ネットワーク（複数可）２１０を介してウェアラブル構造（図示せず）、コンピューティングデバイス２０２、ユーザーインターフェース２０６、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの眼球運動及び／またはユーザーの瞳孔の場所を取り込むように構成することができる。カメラ２０４はまた、目の他の部分の場所を取り込むように構成することができる。ユーザーの眼球運動の取り込みに関して、カメラ２０４（及び図１に示されるカメラ１０８）は、サッカード、滑らかな追跡運動、輻輳運動、前庭動眼運動、眼球注意、角度、視点などを取り込むように構成することができる。
【0052】
コンピューティングデバイス２０２内のプロセッサ及びメモリ１０４のプロセッサは、図２に示されるように、カメラ２０４によって取り込まれた取り込み済みの瞳孔の場所に基づいて、ＧＵＩに対するユーザーの視覚的焦点を特定するように構成することができる。プロセッサはまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。プロセッサはまた、カメラ２０４によって取り込まれた、取り込み済みの眼球運動から１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサはまた、特定された１つまたは複数の目のジェスチャ及び／またはユーザーの特定された視覚的焦点に基づいて、ユーザーインターフェース２０６の１つまたは複数のパラメータを制御するように構成することができる。例えば、プロセッサはまた、特定された１つまたは複数の目のジェスチャ及び／または特定された視覚的焦点に基づいて、ユーザーインターフェース２０６のディスプレイ、またはユーザーインターフェースのＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。また、本明細書に説明される実施形態は、特定された１つまたは複数の目のジェスチャに基づいて、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡ＵＩ（バランス）、及び味覚ＵＩ（味）を含む任意のタイプのユーザーインターフェース（ＵＩ）のパラメータを制御するプロセッサを含むことができる。
【0053】
図３は、本開示のいくつかの実施形態による、複数のウェアラブル構造及びコンピューティングデバイス（例えば、ウェアラブル構造３０２及び３３０、ならびにコンピューティングデバイス３０４、３２０、及び３４０を参照）の複数のユーザーインターフェースのためのアイトラッキングに部分的に基づいて、ユーザーインターフェース制御（レンダリング強化など）を実装できる例示的なネットワーク化されたシステム３００を示している。
【0054】
ウェアラブル構造３０２及び本明細書に説明される他のウェアラブル構造は、帽子、キャップ、リストバンド、ネックストラップ、ネックレス、コンタクトレンズ、眼鏡、または別のタイプのアイウェアであるか、それらを含むか、またはそれらの一部である場合がある。例えば、ウェアラブル構造は、バイザ付きのキャップを含む場合があり、ユーザーインターフェースは、バイザ付きのキャップの一部である場合がある。そのような例では、ユーザーインターフェースは、バイザの一部であるディスプレイを含むことができる。そして、キャップ内のユーザーインターフェースは、スピーカなどの音声出力またはマイクなどの音声入力を含むことができる。ディスプレイは、バイザの底面から下方に向くように配置することもできれば、バイザがユーザーに対して前方を向いている状態でキャップを着用したときに、ユーザーの目の前に表示されるように、バイザの底面から下方に及び上方に動くようにバイザ内に配置することもできる。スピーカは、バイザがユーザーの前にある状態でキャップが前方を向いているときに、ユーザーの耳に近接するキャップ内に配置することができる。マイクが含まれるときは、マイクはキャプ内のどこにあってもよい。
【0055】
また、例えば、ウェアラブル構造３０２は、ユーザーがアイウェアを着用しているときに、アイウェアのレンズを介して提供されるコンテンツなどのコンテンツをユーザーに提供することができるアイウェア（眼鏡またはコンタクトレンズなど）であるか、またはそれを含む場合がある。コンテンツは、無線でアイウェアに通信し、アイウェア内の１つまたは複数のアンテナによって受信することができる。アイウェアがコンタクトレンズを含む例では、コンタクトレンズはそれぞれ、ユーザーがコンテンツを認知するために、コンタクトレンズ内に表示されるコンテンツを含めた通信を受信できる極小アンテナを含むことができる。アイウェアが眼鏡を含む例では、眼鏡のフレームに小型スピーカ及びマイクを含めることができる。また、触覚出力のために、小型振動デバイスを眼鏡に含めることができる。コンテンツを伝達する別の方法は、導波路入力にビデオ光ストリームを投影し、ナノ導波路を使用してアイウェアの内側でそれを分散させることにより、光導波路を介することである。
【0056】
実施形態で使用することができる多くのタイプのウェアラブル構造がある。例えば、コンピューティングデバイス３０４のコンポーネントのいずれか１つを、帽子またはキャップの代わりにヘアピースまたはヘアアクセサリの中に組み込むことができるであろう。言い換えれば、ウェアラブル構造３０２は、ヘアピースまたはヘアアクセサリであるか、またはそれを含む場合がある。また、ウェアラブル構造３０２は、リストバンド、ネックストラップ、ネックレス、または任意のタイプの宝飾品類を含むか、またはそれらである場合がある。ウェアラブル構造３０２はまた、シャツ、ズボン、ベルト、靴、スカート、ドレス、またはジャケットなどの任意のタイプの衣類を含むか、またはそれらである場合がある。
【0057】
図３はまた、コンピューティングデバイス３０４のいくつかのコンポーネントを示している。コンピューティングデバイス３０４はまた、コンピューティングデバイス１０２及び２０２について本明細書に説明されるコンポーネントに類似したコンポーネントを含むことができる。そして、図３はまた、コンピューティングデバイス３０４を含む例示的なウェアラブル構造３０２を示している。示されるように、複数のウェアラブル構造及びコンピューティングデバイス（例えば、ウェアラブル構造３０２及び３３０、ならびにコンピューティングデバイス３０４、３２０、及び３４０を参照）は、１つまたは複数の通信ネットワーク３１５を通して互いと通信することができる。
【0058】
ウェアラブル構造３０２に含まれるコンピューティングデバイス３０４は、図１に示されるコンピューティングデバイス１０２、または本明細書に説明されるコンピューティングデバイスに類似するまたはいくぶん類似する任意のタイプのコンピューティングデバイス内のコンポーネントであるか、またはそれを含むか、もしくはその一部である場合がある。コンピューティングデバイス３０４は、例えば、スマートフォン、タブレットコンピュータ、ＩｏＴデバイス、スマートテレビ、眼鏡もしくは他のスマート家庭用電化製品、車載情報システム、ウェアラブルスマートデバイス、ゲーム機、ＰＣ、デジタルカメラ、またはそれらの任意の組み合わせなど、モバイルデバイスであるか、またはそれを含むか、またはそれの一部である場合がある。示されるように、コンピューティングデバイス３０４は、少なくとも、Ｂｌｕｅｔｏｏｔｈなどのローカルからデバイスへのネットワーク、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、４Ｇもしくは５Ｇなどのモバイルワイヤレスネットワーク、エクストラネット、インターネット、及び／またはそれらの任意の組み合わせを含む通信ネットワーク（複数可）３１５に接続することができる。
【0059】
本明細書に説明されるコンピューティングデバイスまたはモバイルデバイス（コンピューティングデバイス１０２、２０２、及び３０４など）のそれぞれは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、または任意のマシンであって、そのマシンによって講じられる処置を指定する命令のセットを（連続してまたは別の方法で）実行できるマシンであるか、またはそれらに置き換えられる場合がある。
【0060】
また、図３に示されるコンピューティングデバイス３０４、及びそれぞれ図１と図２に示されるコンピューティングデバイス１０２と２０２について単一のマシンが示されているが、用語「マシン」はまた、本明細書で説明される方法または操作のうちの任意の１つまたは複数を実行するために、個々にまたは共同で命令の１つのセット（または複数のセット）を実行するマシンの任意の集まりを含むと解釈されるものとする。そして、図示されたコンピューティングデバイスまたはモバイルデバイスのそれぞれは、それぞれ、少なくともバス及び／またはマザーボード、１つまたは複数のコントローラ（１つまたは複数のＣＰＵなど）、一時データストレージを含むことができるメインメモリ、少なくとも１つのタイプのネットワークインターフェース、永続的なデータストレージを含むことができるストレージシステム、及び／またはそれらの任意の組み合わせを含むことができる。いくつかのマルチデバイス実施形態では、あるデバイスは本明細書に説明される方法のいくつかの部分を完了し、次に、別のデバイスが本明細書に説明される方法の他のステップを続行することができるように、ネットワークを介して別のデバイスに完了の結果を送信することができる。
【0061】
図３は、本開示のいくつかの実施形態による、例示的なコンピューティングデバイス３０４の例示的な部分を示す。示されるように、コンピューティングデバイス３０４はネットワーク（複数可）３１５に通信可能に結合することができる。コンピューティングデバイス３０４は、少なくともバス３０６、コントローラ３０８（ＣＰＵなど）、メモリ３１０、ネットワークインターフェース３１２、データストレージシステム３１４、及び他のコンポーネント３１６（ＧＰＳコンポーネント、様々なタイプのユーザーインターフェースコンポーネントなどのＩ／Ｏコンポーネント、及びセンサとカメラなどのモバイルデバイスまたはコンピューティングデバイスに見られる任意のタイプのコンポーネントである場合がある）を含む。他のコンポーネント３１６は、１つまたは複数のユーザーインターフェース（例えば、ＧＵＩ、聴覚ユーザーインターフェース、触覚ユーザーインターフェースなど）、ディスプレイ、異なるタイプのセンサ、触覚入出力デバイス、音声入出力デバイス、及び／または視覚入出力デバイス、追加のアプリケーション特有のメモリ、１つまたは複数の追加のコントローラ（例えば、ＧＰＵ）、またはそれらの任意の組み合わせを含むことができる。バス３０６は、コントローラ３０８、メモリ３１０、ネットワークインターフェース３１２、データストレージシステム３１４、及び他のコンポーネント３１６を通信可能に結合する。コンピューティングデバイス３０４は、少なくともコントローラ３０８、メモリ３１０（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（例えばシンクロナスＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）など）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、クロスポイントメモリ、クロスバーメモリなど）、及びデータストレージシステム３１４を含むコンピュータシステムを含んでおり、これらはバス３０６（多重バスを含むことができる）を介して互いと通信する。
【0062】
別の言い方をすると、図３は、本開示の実施形態が動作することができるコンピュータシステムを有する例示的なコンピューティングデバイス３０４のブロック図である。いくつかの実施形態では、コンピュータシステムは、実行時に、本明細書で説明する方法のいずれか１つ以上をマシンに行わせるための命令のセットを含むことができる。そのような実施形態では、マシンを、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット（例えば、ネットワーク（複数可）３１５）内の他のマシンに接続する（例えば、ネットワークインターフェース３１２を介してネットワーク接続する）ことができる。マシンは、クライアントサーバネットワーク環境内のサーバまたはクライアントマシンの機能で、ピアツーピア（または分散）ネットワーク環境内のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境内のサーバまたはクライアントマシンとして動作することができる。
【0063】
コントローラ３０８は、マイクロプロセッサ、中央処理装置などの、１つまたは複数の汎用処理装置を表す。より詳細には、処理装置は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、単一命令複数データ（ＳＩＭＤ）、複数命令複数データ（ＭＩＭＤ）、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサとすることができる。コントローラ３０８はまた、ＡＳＩＣなどの１つまたは複数の特殊用途処理装置、ＦＰＧＡなどのプログラマブルロジック、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサなどとすることができる。コントローラ３０８は、本明細書で説明する動作及びステップを行うための命令を実行するように構成されている。コントローラ３０８は、１つまたは複数の通信ネットワーク（ネットワーク（複数可）３１５など）を介して通信するために、ネットワークインターフェース３１２などのネットワークインターフェースデバイスをさらに含むことができる。
【0064】
データストレージシステム３１４は、本明細書で説明される方法または機能のうちのいずれか１つまたは複数を具現化する１つまたは複数の命令セットまたはソフトウェアが格納されたマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。ストレージシステム３１４は、それが、ストレージシステムに常駐する命令を少なくとも部分的に実行することができるなど、計算機能を有することができる。命令はまた、コンピュータシステムがそれを実行する間に、メモリ３１０内及び／またはコントローラ３０８内に完全にまたは少なくとも部分的に常駐することができ、メモリ３１０及びコントローラ３０８はまたマシン可読記憶媒体を構成する。メモリ３１０は、デバイス３０４のメインメモリであるか、またはそれを含む場合がある。メモリ３１０は、それが、メモリに常駐する命令を少なくとも部分的に実行することができるなど、計算機能を有することができる。
【0065】
メモリ、コントローラ、及びデータ記憶装置部分を、実施形態例においてそれぞれ単一部分であると示しているが、各部分は、命令を格納してその対応する動作を行うことができる単一部分または複数部分を含むと解釈すべきである。「マシン可読記憶媒体」という用語はまた、マシンによって実行するための命令のセットを格納またはエンコードすることが可能であり、マシンに本開示の方法論のうちの任意の１つ以上を実行させる任意の媒体を含むと解釈されるべきである。したがって、用語「マシン可読記憶媒体」は、ソリッドステートメモリ、光学媒体、及び磁気媒体を含むが、これらに限定されないと解釈されるものとする。
【0066】
図４及び図５は、本開示のいくつかの実施形態に従って、それぞれが、図１に示されるコンピューティングデバイス１０２の態様、図２に示されるネットワーク化されたシステム２００の態様、または図３に示されるネットワーク化されたシステム３００の態様によって実行できる、それぞれ例示的な方法４００及び５００を有する流れ図を示す。
【0067】
図４では、方法４００は、ＧＵＩを提供するステップ４０２から開始する（例えば、ユーザーインターフェース１０６及び２０６、ならびに他のコンポーネント３１６を参照）。ステップ４０２は、ＧＵＩ、及び聴覚ユーザーインターフェース、触覚ユーザーインターフェース、任意の他のタイプのＵＩ、またはそれらの組み合わせを提供することを含むことができる。ＧＵＩは、プロセッサ及び／またはディスプレイ及び／または投影画面などのユーザー入出力コンポーネントを含む場合がある、及び／またはそれらによって提供される場合がある。他のユーザーインターフェース要素は、プロセッサ、及び／またはディスプレイ及び／または投影画面、スピーカなどの音声出力デバイス、及び／または振動デバイスなどの触覚出力デバイスなどのユーザー入出力コンポーネントを含む場合がある、及び／またはそれらによって提供される場合がある。ＧＵＩ及び／または他のユーザーインターフェース要素はまた、ウェアラブル構造（例えば、ウェアラブル構造３０２を参照）によって提供されるか、それに接続するか、またはその一部である場合がある。
【0068】
ステップ４０４で、方法４００は、カメラ（例えば、カメラ１０８及び２０４、ならびに他のコンポーネント３１６を参照）によって、ユーザーの瞳孔の場所を取り込むことを続ける。ステップ４０４で、方法はまた、カメラによって、目の他の部分の場所を取り込むことを続けることができる。カメラは、ウェアラブル構造（例えば、ウェアラブル構造３０２を参照）に接続するか、またはその一部である場合がある。瞳孔の場所の取り込みは、ＧＵＩ及び／または他のユーザーインターフェース要素の１つまたは複数に対する場合がある。このステップ及び本明細書に説明される他の関連するプロセスでは、瞳孔の場所の取り込みは、虹彩または瞳孔サイズ、目の輝き、目の血管、目からの光の反射などの目の他の態様を取り込むことに置き換えるか、またはそれらで強化することができることを理解されたい。取り込まれた眼のそのような他の態様は、視覚的焦点及び／またはそれに向ける注意の量を特定する際に有用である場合がある。このステップ及び本明細書に説明される他の関連するプロセスでは、瞳孔の場所の取り込みは、視覚的焦点及び焦点に対するユーザーの関心と関連付けられ得るユーザーの顔の他の態様を取り込むことに置き換えるか、またはそれらで強化することができることを理解されたい。
【0069】
ステップ４０６で、方法４００は、プロセッサ（例えば、プロセッサ及びメモリ１０４ならびにコントローラ３０８を参照）によって、ＧＵＩに対するユーザーの視覚的焦点を特定することを続ける。代わりに、ステップ４０６で、方法４００は、プロセッサ（例えば、プロセッサ及びメモリ１０４ならびにコントローラ３０８を参照）によって、ＧＵＩ、ディスプレイ、及び／または別のユーザーインターフェースに対するユーザーの視覚的焦点を特定することを続けることができる。ステップ４０６はまた、プロセッサによって、ＧＵＩ、ディスプレイ、及び／または別のユーザーインターフェースに対するユーザーの少なくとも１つの瞳孔の視野角及び距離に少なくとも部分的に基づいて、ユーザーの視覚的焦点を特定することを含むことができる。
【0070】
ステップ４０８で、方法４００は、プロセッサによって、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩの１つまたは複数のパラメータを制御することを続ける。代わりに、ステップ４０８で、方法４００は、プロセッサによって、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、別のユーザーインターフェース、またはそれらの組み合わせの１つまたは複数のパラメータを制御することを続けることができる。
【0071】
ステップ４０８はまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩ及び／またはディスプレイの出力のスキューまたは角度を制御することを含むことができる。ステップ４０８はまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩ及び／またはディスプレイの画面解像度の分布を制御することを含むことができる。ステップ４０８はまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面着色の分布を制御することを含むことができる。ステップ４０８はまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面明度の分布を制御することを含むことができる。ステップ４０８はまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面陰影の分布を制御することを含むことができる。ステップ４０８はまた、ユーザーの特定された視覚的焦点に少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面コントラストの分布を制御することを含むことができる。
【0072】
また、プロセッサは、ウェアラブル構造（例えば、ウェアラブル構造３０２を参照）に接続するか、またはその一部である場合がある。
【0073】
ステップ４１０で、方法４００は、ＧＵＩ、カメラ、プロセッサ、またはそれらの組み合わせの少なくとも１つが止まるなど、特定の動作が発生するまでステップ４０４～４０８を繰り返す。
【0074】
いくつかの実施形態では、ステップ４０４～４０８が、各ステップが、入力データを監視し、操作を実行し、以後のステップにデータを出力することによって独立して実行できるなど、連続プロセスとして実施できることを理解されたい。代わりに、ステップ４０４～４０８は、各ステップが、それがトリガし、特定の出力を生じさせると考えられるイベントでトリガすることができるなど、離散イベントプロセスとして実施することができる。図４が、図１～図３に部分的に提示されるものよりも複雑なコンピュータシステムのおそらくより大きい方法の中の最小の方法を表すことも理解されたい。したがって、図４に示されるステップは、より複雑なシステムの大きい方法と関連付けられた他のステップからフィードインし、他のステップにフィードアウトする他のステップとインターリーブすることができる。
【0075】
図５では、方法５００は、ＧＵＩを提供するステップ５０２から開始する（例えば、ユーザーインターフェース１０６及び２０６、ならびに他のコンポーネント３１６を参照）。ステップ５０２は、ＧＵＩ、及び聴覚ユーザーインターフェース、触覚ユーザーインターフェース、任意の他のタイプのＵＩ、またはそれらの組み合わせを提供することを含むことができる。ＧＵＩは、プロセッサ、及び／またはディスプレイ及び／または投影画面などのユーザー入出力コンポーネントを含む場合がある、及び／またはそれらによって提供される場合がある。他のユーザーインターフェース要素は、プロセッサ、及び／またはディスプレイ、投影画面、ユーザーの網膜への投影、スピーカなどの音声出力デバイス、及び／または振動デバイスなどの触覚出力デバイスなどのユーザー入出力コンポーネントを含む場合がある、及び／またはそれらによって提供される場合がある。ＧＵＩ及び／または他のユーザーインターフェース要素はまた、ウェアラブル構造（例えば、ウェアラブル構造３０２を参照）によって提供されるか、それに接続するか、またはその一部である場合がある。
【0076】
ステップ５０４で、方法５００は、カメラ（例えば、カメラ１０８及び２０４、ならびに他のコンポーネント３１６を参照）によって、ユーザーの瞳孔の場所を取り込むことを続ける。ステップ５０４で、方法はまた、カメラによって、目の他の部分の場所を取り込むことを続けることができる。カメラは、ウェアラブル構造（例えば、ウェアラブル構造３０２を参照）に接続するか、またはその一部である場合がある。瞳孔の場所の取り込みは、ＧＵＩ及び／または他のユーザーインターフェース要素の１つまたは複数に対する場合がある。このステップ及び本明細書に説明される他の関連するプロセスでは、瞳孔の場所の取り込みは、虹彩または瞳孔サイズ、目の輝き、目の血管、目からの光の反射などの目の他の態様を取り込むことに置き換えるか、またはそれらで強化することができることを理解されたい。取り込まれた眼のそのような他の態様は、視覚的焦点及び／またはそれに向ける注意の量を特定する際に有用である場合がある。このステップ及び本明細書に説明される他の関連するプロセスでは、瞳孔の場所の取り込みは、視覚的焦点及び焦点に対するユーザーの関心と関連付けられ得るユーザーの顔の他の態様を取り込むことに置き換えるか、またはそれらで強化することができることを理解されたい。
【0077】
ステップ５０５で、方法５００は、カメラによってユーザーの眼球運動を取り込むことを続ける。眼球運動は、眉毛の動き、まぶたの動き、目のサッカード、目の滑らかな追跡運動、両目の輻輳運動、または任意の他のタイプの眼球運動、またはそれらの組み合わせの少なくとも１つを含むことができる。
【0078】
ステップ５０６で、方法５００は、プロセッサ（例えば、プロセッサ及びメモリ１０４ならびにコントローラ３０８を参照）によって、ＧＵＩに対するユーザーの視覚的焦点を特定することを続ける。代わりに、ステップ５０６で、方法５００は、プロセッサによって、ＧＵＩ、ディスプレイ、及び／または別のユーザーインターフェースに対するユーザーの視覚的焦点を特定することを続けることができる。ステップ５０６はまた、プロセッサによって、ＧＵＩ、ディスプレイ、及び／または別のユーザーインターフェースに対するユーザーの少なくとも１つの瞳孔の視野角及び距離に少なくとも部分的に基づいて、ユーザーの視覚的焦点を特定することを含むことができる。
【0079】
ステップ５０７で、方法５００は、プロセッサによって、ユーザーの眼球運動のタイプを特定することを続ける。ユーザーの眼球運動のタイプは、取り込まれた眼球運動からの１つまたは複数の目のジェスチャである場合がある。ステップ５０７は、眉毛の動き、まぶたの動き、またはそれらの組み合わせの少なくとも１つから少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。ステップ５０７は、ユーザーの目の取り込まれたサッカードから少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。ステップ５０７は、ユーザーの目の取り込まれた滑らかな追跡運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。ステップ５０７は、ユーザーの両目の取り込まれた輻輳運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。言い換えれば、ステップ５０７は、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定することを含むことができ、これは、眉毛の動き、まぶたの動き、目のサッカード、目の滑らかな追跡運動、両目の輻輳運動、または任意の他のタイプの眼球運動、またはそれらの組み合わせから少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。
【0080】
ステップ５０８で、方法５００は、プロセッサによって、ユーザーの特定された視覚的焦点、及びユーザーの特定された眼球運動のタイプ（例えば、ユーザーの特定された１つまたは複数のジェスチャ）に少なくとも部分的に基づいて、ＧＵＩの１つまたは複数のパラメータを制御することを続ける。代わりに、ステップ５０８で、方法５００は、プロセッサによって、ユーザーの特定された視覚的焦点、及びユーザーの特定された眼球運動のタイプ（例えば、ユーザーの特定された１つまたは複数のジェスチャ）に少なくとも部分的に基づいて、ディスプレイ、ＧＵＩ、別のユーザーインターフェース、またはそれらの組み合わせの１つまたは複数のパラメータを制御することを続けることができる。
【0081】
ステップ５０８はまた、ユーザーの特定された視覚的焦点及びユーザーの特定された眼球運動のタイプに少なくとも部分的に基づいて、ＧＵＩ及び／またはディスプレイの出力のスキューまたは角度を制御することを含むことができる。ステップ５０８はまた、ユーザーの特定された視覚的焦点及びユーザーの特定された眼球運動のタイプに少なくとも部分的に基づいて、ＧＵＩ及び／またはディスプレイの画面解像度の分布を制御することを含むことができる。ステップ５０８はまた、ユーザーの特定された視覚的焦点及びユーザーの特定された眼球運動のタイプに少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面着色の分布を制御することを含むことができる。ステップ５０８はまた、ユーザーの特定された視覚的焦点及びユーザーの特定された眼球運動のタイプに少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面明度の分布を制御することを含むことができる。ステップ５０８はまた、ユーザーの特定された視覚的焦点及びユーザーの特定された眼球運動のタイプに少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面陰影の分布を制御することを含むことができる。ステップ５０８はまた、ユーザーの特定された視覚的焦点及びユーザーの特定された眼球運動のタイプに少なくとも部分的に基づいて、ＧＵＩまたはディスプレイの画面コントラストの分布を制御することを含むことができる。
【0082】
また、ステップ５０８は、プロセッサによって、特定された１つまたは複数の目のジェスチャに基づいて、ＧＵＩの１つまたは複数のパラメータを制御することを含むことができる。ＧＵＩがディスプレイを含むか、その一部であるか、またはディスプレイである場合、ステップ５０８は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部で明度を上げるまたは下げることを含むことができる。また、ステップ５０８は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部でコントラスト、解像度、またはその組み合わせの少なくとも１つを上げるまたは下げることを含むことができる。また、ステップ５０８は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部をアクティブ化または非アクティブ化することを含むことができる。ステップ５０８はまた、ユーザーの目がディスプレイから逸れているときに、ディスプレイの少なくとも一部を調光することを含むことができる。ステップ５０８はまた、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにディスプレイをオフにすることを含むことができる。所定の時間量は、ユーザーによって少なくとも部分的に選択可能であってよい。また、ステップ５０８は、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにコンピューティングデバイスを少なくとも部分的に省電力モードにすることを含むことができる。省電力モードの選択に関連する所定の時間量及び省電力の程度は、ユーザーによって選択可能であってよい。
【0083】
また、プロセッサは、ウェアラブル構造（例えば、ウェアラブル構造３０２を参照）に接続するか、またはその一部である場合がある。
【0084】
ステップ５１０で、方法５００は、ＧＵＩ、カメラ、プロセッサ、またはそれらの組み合わせの少なくとも１つが止まるなど、特定の動作が発生するまでステップ５０４～５０８を繰り返す。
【0085】
いくつかの実施形態では、ステップ５０４～５０８が、各ステップが、入力データを監視し、操作を実行し、以後のステップにデータを出力することによって独立して実行できるなど、連続プロセスとして実施できることを理解されたい。代わりに、ステップ５０４～５０８は、各ステップが、それがトリガし、特定の出力を生じさせると考えられるイベントでトリガすることができるなど、離散イベントプロセスとして実施することができる。図５が、図１～図３に部分的に提示されるものよりも複雑なコンピュータシステムのおそらくより大きい方法の中の最小の方法を表すことも理解されたい。したがって、図５に示されるステップは、より複雑なシステムの大きい方法と関連付けられた他のステップからフィードインし、他のステップにフィードアウトする他のステップとインターリーブすることができる。例えば、ゲーム機またはＧＰＵカードなどのゲームシステムがＰＣ、モニタ、及びジョイスティックなどと結合された場合、上記方法は、グラフィックレンダリングパイプラインの一部となる場合があり、本明細書に説明される強化を、ゲーム経験、レンダリングされるキャラクタとテクスチャの強化、ゲームの制御などに適用することができる。
【0086】
先行する詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットに対する操作の記号表現の観点から提示されている。このようなアルゴリズムの説明及び表現は、その働きの趣旨を当業者に最も効果的に伝えるためにデータ処理技術において当業者が用いる方法である。アルゴリズムはここでは（及び全般的に）、望ましい結果に至る自己矛盾のない動作順序であると考えられる。動作は、物理量の物理的な操作を必要とするものである。通常、必ずしもではないが、これらの量は格納し、組み合わせ、比較し、及び他の方法で操作することができる電気または磁気信号という形を取る。主に共通使用の理由により、これらの信号をビット、値、要素、シンボル、文字、用語、数などと言うことが、時によって好都合であることが分かっている。
【0087】
しかし、これら及び同様の用語はすべて、適切な物理量に対応付けられるべきであり、これらの量に適用される好都合な標示にすぎないことをしっかりと認識しておくべきである。本開示は、コンピュータシステムのレジスタ及びメモリ内で物理的（電子的）量として表されるデータを操作し、コンピュータシステムメモリまたはレジスタまたは他のそのような情報ストレージシステム内で物理量として同様に表される他のデータに変換する、コンピュータシステムまたは類似する電子コンピューティングデバイスの動作及びプロセスを指すことができる。
【0088】
本開示は、本明細書における動作を実行するための装置にも関する。この装置は、使用目的に対して特別に構成することもできるし、またはコンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを含むこともできる。このようなコンピュータプログラムは、任意のタイプのディスク、例えば、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光カード、またはそれぞれがコンピュータシステムバスに結合される電子命令の格納に適した任意のタイプの媒体などのコンピュータ可読記憶媒体に格納することができる。
【0089】
本明細書で示したアルゴリズム及びディスプレイは、何らかの特定のコンピュータまたは他の装置に本来的に関係していない。様々な汎用システムを、本明細書での教示に従ってプログラムと用いることもできるし、または本方法を行うためにより専用の装置を構築することが好都合であることが分かる可能性もある。種々のこれらのシステムの構造は、以下の説明で述べるように現れる。加えて、本開示は何らかの特定のプログラミング言語に関して説明されていない。本明細書で説明したような本開示の教示を実施するために、種々のプログラミング言語を使用できることを理解されたい。
【0090】
本開示を、本開示によるプロセスを行うようにコンピュータシステム（または他の電子装置）をプログラミングするために用いることができる命令が格納されたマシン可読媒体を含むことができる、コンピュータプログラム製品またはソフトウェアとして示すことができる。マシン可読媒体は、マシン（例えば、コンピュータ）によって可読の形で情報を格納するための任意のメカニズムを含む。いくつかの実施形態では、マシン可読（例えば、コンピュータ可読）媒体は、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリコンポーネントなどのマシン（例えば、コンピュータ）可読記憶媒体を含む。
【0091】
前述の明細書では、本開示の実施形態は、その特定の例示的な実施形態を参照して説明されてきた。以下の特許請求の範囲に記載される本開示のより広範の趣旨及び範囲から逸脱することなく、様々な修正を本明細書に加えることができることは明らかである。したがって、明細書及び図面は限定的な意味ではなく例示的な意味で考慮されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】