特表 2022-553581 眼球運動に部分的に基づいたユーザーインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-23

(54)【発明の名称】眼球運動に部分的に基づいたユーザーインターフェース

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221216BHJP

   G09G 5/10 20060101ALI20221216BHJP

   G09G 5/00 20060101ALI20221216BHJP

   G09G 5/36 20060101ALI20221216BHJP

   G06F 3/0484 20220101ALI20221216BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

G09G5/10 B

G09G5/00 510A

G09G5/00 550C

G09G5/00 520V

G09G5/36 520P

G09G5/36 520B

G09G5/00 530D

G09G5/00 550B

G09G5/36 530Y

G09G5/00 555D

G06F3/0484

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022525147

(86)(22)【出願日】2020-11-03

(85)【翻訳文提出日】2022-06-27

(86)【国際出願番号】 US2020058690

(87)【国際公開番号】W WO2021091888

(87)【国際公開日】2021-05-14

(31)【優先権主張番号】16/675,168

(32)【優先日】2019-11-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】595168543

【氏名又は名称】マイクロン テクノロジー，インク．

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】ユダノフ ドミトリー

(72)【発明者】

【氏名】ブラッドショウ サムエル イー．

【テーマコード（参考）】

5C182

5E555

【Ｆターム（参考）】

5C182AA02

5C182AA03

5C182AA22

5C182AA23

5C182AA31

5C182AB01

5C182AB02

5C182AB08

5C182AB14

5C182AB33

5C182AB37

5C182AC03

5C182AC46

5C182BA01

5C182BA14

5C182BA35

5C182BA55

5C182BA56

5C182BA66

5C182BA71

5C182BA75

5C182BC22

5C182BC25

5C182BC26

5C182BC41

5C182CA01

5C182CA02

5C182CA21

5C182CB13

5C182CB44

5C182CB47

5C182CC27

5C182DA42

5C182DA44

5C182DA65

5C182DA66

5E555AA01

5E555AA75

5E555BA08

5E555BB18

5E555BB38

5E555BC02

5E555BC08

5E555CA42

5E555CB32

5E555CB65

5E555CB66

5E555CC01

5E555DB03

5E555DC11

5E555DC36

5E555FA00

(57)【要約】

ウェアラブル構造、コンピューティングデバイス、ディスプレイ、及びカメラを有する装置。ウェアラブル構造は、ユーザーによって着用され、コンピューティングデバイス、ディスプレイ、及び／またはカメラに接続される。コンピューティングデバイスは、ウェアラブル構造、ディスプレイ、及び／またはカメラに接続することができる。ディスプレイは、ウェアラブル構造、コンピューティングデバイス、及び／またはカメラに接続することができる。ディスプレイは、グラフィカルユーザーインターフェース（ＧＵＩ）を提供するためである。カメラは、コンピューティングデバイス、ウェアラブル構造、及び／またはディスプレイに接続することができる。カメラは、ユーザーの眼球運動を取り込むためである。コンピューティングデバイス内のプロセッサは、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定するためである。プロセッサは、取り込まれた眼のジェスチャに基づいて、ディスプレイ及び／またはＧＵＩの１つまたは複数のパラメータを制御するためである。

【特許請求の範囲】

【請求項1】

装置であって、
ユーザーが着用するように構成されたウェアラブル構造と、
コンピューティングデバイスであって、前記ウェアラブル構造に接続された前記コンピューティングデバイスと、
ディスプレイであって、前記ウェアラブル構造、前記コンピューティングデバイス、またはそれらの組み合わせの少なくとも１つに接続され、グラフィカルユーザーインターフェース（ＧＵＩ）を提供するように構成された前記ディスプレイと、
前記コンピューティングデバイス、前記ウェアラブル構造、前記ディスプレイ、またはそれらの組み合わせの少なくとも１つに接続されたカメラであって、前記ユーザーの眼球運動を取り込むように構成された前記カメラと、
前記コンピューティングデバイス内のプロセッサであって、
前記取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定し、
前記特定された１つまたは複数の目のジェスチャに基づいて、前記ディスプレイ、前記ＧＵＩ、またはそれらの組み合わせの少なくとも１つの１つまたは複数のパラメータを制御する
ように構成された前記プロセッサと
を備える、前記装置。

【請求項2】

前記プロセッサが、眉毛の動き、まぶたの動き、またはそれらの組み合わせの少なくとも１つから少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成される、請求項１に記載の装置。

【請求項3】

前記プロセッサが、前記ユーザーの前記目の取り込まれたサッカードから少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成される、請求項１に記載の装置。

【請求項4】

前記プロセッサが、前記ユーザーの前記目の取り込まれた滑らかな追跡運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成される、請求項１に記載の装置。

【請求項5】

前記プロセッサが、前記ユーザーの両目の取り込まれた輻輳運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成される、請求項１に記載の装置。

【請求項6】

前記プロセッサが、前記特定された１つまたは複数の目のジェスチャに従って、前記ディスプレイの少なくとも一部で明度を上げるまたは下げるように構成される、請求項１に記載の装置。

【請求項7】

前記プロセッサが、前記特定された１つまたは複数の目のジェスチャに従って、前記ディスプレイの少なくとも一部でコントラスト、解像度、またはその組み合わせの少なくとも１つを上げるまたは下げるように構成される、請求項１に記載の装置。

【請求項8】

前記プロセッサが、前記特定された１つまたは複数の目のジェスチャに従って、前記ディスプレイの少なくとも一部をアクティブ化または非アクティブ化するように構成される、請求項１に記載の装置。

【請求項9】

前記プロセッサが、前記ユーザーの目が前記ディスプレイから逸れているときに、前記ディスプレイの少なくとも一部を調光するように構成される、請求項１に記載の装置。

【請求項10】

前記プロセッサが、前記ユーザーの前記目が所定の時間量を超えて前記ディスプレイから逸れているときに前記ディスプレイをオフにするように構成される、請求項９に記載の装置。

【請求項11】

前記所定の時間量が前記ユーザーによって少なくとも部分的に選択可能である、請求項１０に記載の装置。

【請求項12】

前記プロセッサが、前記ユーザーの前記目が、所定の時間量を超えて前記ディスプレイから逸れているときに前記ディスプレイをオフにするように構成され、前記所定の時間量が前記ユーザーによって選択可能である、請求項１に記載の装置。

【請求項13】

前記プロセッサが、前記ユーザーの目が所定の時間量を超えて前記ディスプレイから逸れているときに前記コンピューティングデバイスを省電力モードにするように構成され、前記所定の時間量が前記ユーザーによって選択可能である、請求項１に記載の装置。

【請求項14】

前記ウェアラブル構造が、バイザ付きのキャップを含み、前記ディスプレイが前記キャップの一部である、請求項１に記載の装置。

【請求項15】

前記ウェアラブル構造がリストバンドを含む、請求項１に記載の装置。

【請求項16】

前記ウェアラブル構造が、ネックストラップまたはネックレスを含む、請求項１に記載の装置。

【請求項17】

装置であって、
ユーザーによって着用可能なバイザ付きのキャップと、
前記バイザの底面から下方に向くように配置されるか、または前記バイザの前記底面から下方に及び上方に動くように前記バイザ内に配置されるディスプレイと、
前記キャップに取り付けられたコンピューティングデバイスと、
前記コンピューティングデバイス内にあるか、または前記コンピューティングデバイスに接続されたカメラであって、前記カメラが前記ユーザーの顔に向いているときに前記ユーザーの眼球運動を取り込むように構成された前記カメラと、
前記コンピューティングデバイス内にあり、前記取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定するように構成されたプロセッサと
を備える、前記装置。

【請求項18】

前記プロセッサが、前記特定された１つまたは複数の目のジェスチャに基づいて、前記コンピューティングデバイスに無線で接続された第２のコンピューティングデバイスのディスプレイまたはグラフィカルユーザーインターフェースの１つまたは複数のパラメータを制御するように構成される、請求項１７に記載の装置。

【請求項19】

前記プロセッサが、前記特定された１つまたは複数の目のジェスチャに基づいて、前記コンピューティングデバイスのディスプレイまたはグラフィカルユーザーインターフェースの１つまたは複数のパラメータを制御するように構成される、請求項１７に記載の装置。

【請求項20】

装置であって、
リストバンドと、
ディスプレイ付きのコンピューティングデバイスであって、前記コンピューティングデバイスが前記リストバンドに取り付けられ、前記ディスプレイがグラフィカルユーザーインターフェース（ＧＵＩ）を提供するように構成される、前記コンピューティングデバイスと、
前記コンピューティングデバイス内のカメラであって、前記ディスプレイが前記ユーザーの顔に向いているときに前記ユーザーの眼球運動を取り込むように構成された前記カメラと、
前記コンピューティングデバイス内のプロセッサであって、
前記取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定し、
前記特定された１つまたは複数の目のジェスチャに基づいて、前記ディスプレイまたは前記ＧＵＩの１つまたは複数のパラメータを制御する
ように構成された前記プロセッサと
を備える、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０１９年１１月５日に出願され、「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＢＡＳＥＤ ＩＮ ＰＡＲＴ ＯＮ ＥＹＥ ＭＯＶＥＭＥＮＴ」と題され、その開示全体が参照により本明細書に組み込まれる米国特許出願第１６／６７５，１６８号の優先権を主張する。

【0002】

本明細書に開示される少なくともいくつかの実施形態は、眼球運動または目のジェスチャに部分的に基づくユーザーインターフェースの制御に関する。

【背景技術】

【0003】

ジェスチャ認識、及びジェスチャ認識に基づくコンピュータのソフトウェアとハードウェアの制御が目立つようになってきた。ジェスチャは通常、人の顔または手から発生する。ジェスチャ認識の利点は、ユーザーがジェスチャを使用して、物理的にコンピューティングデバイスに触れることなくコンピューティングデバイスを制御する、またはコンピューティングデバイスとインタラクトすることができることである。カメラ及びコンピュータビジョンアルゴリズムを使用したアプローチなど、豊富な手法が存在する。

【0004】

また、タッチレスユーザーインターフェースがより普及し、そのようなインターフェースはジェスチャ認識に依存している可能性がある。タッチレスユーザーインターフェースは、キーボード、マウス、タッチスクリーンなどに触れることによるユーザー入力なしで、体部位の動き、ジェスチャ、及び／または声に依存するインターフェースである。マルチメディアアプリケーション、ゲーム、スマートスピーカ、スマートフォン、タブレット、ラップトップ、及びモノのインターネット（ＩｏＴ）など、タッチレスユーザーインターフェースを利用するいくつかのアプリケーション及びデバイスがある。

【0005】

高性能カメラ装置及びより簡略なカメラ構成は、コンピュータビジョンアルゴリズムを介したジェスチャ認識のための入力として使用するための体部位の動きを取り込むために使用することができる。高性能カメラ装置は、深度認識カメラ及びステレオカメラを含む場合がある。深度認識カメラは、カメラを通して見ているものの深度マップを生成することができ、このデータを使用して、動いている体部位の三次元（３Ｄ）表現を近似することができる。ステレオカメラはまた、動いている体部位の３Ｄ表現を近似する際に使用することができる。また、動いている体部位の二次元（２Ｄ）表現を取り込むためなどに、より簡略な単一カメラ装置を使用することができる。より高性能のソフトウェアベースのジェスチャ認識が開発され、２Ｄデジタルカメラでさえ、ジェスチャのロバストな検出用に画像を取り込むために使用することができる。

【0006】

ますます普及しているジェスチャ認識のタイプは、目のジェスチャ認識である。目のジェスチャ認識は、アイトラッキングを通じて実装することができる。アイトラッキングは、（人が見ている）注視点または頭部に対する目の動きを測定することを含むことができる。眼球の運動の画像を取り込むためのカメラを使用できるアイトラッカーは、眼球の位置及び眼球運動を測定するためのデバイスである。アイトラッカーは、目の生理学、ならびに心理学における及びマーケティングにおける機能に関する研究に使用することができる。また、アイトラッカーは、一般に、人間とコンピュータのインタラクションのための入力デバイスとして使用することができる。近年、アイトラッキング技術の高度化とアクセシビリティの向上により、商業部門での関心が生まれている。また、アイトラッキングの応用例は、インターネット、自動車情報システム、及びマルチメディアへのハンズフリーアクセスを使用するための人間とコンピュータのインタラクションを含む。

【0007】

眼球運動を測定するための多くの方法がある。１つの一般的な方法は、目の位置または向きを抽出するビデオ画像を使用することである。そして、画像解析から生じるデータは、特定の視覚パターンの証拠を提供するために統計的に分析し、グラフを使ってレンダリングすることができる。固視、サッカード、瞳孔拡張、瞬き、及び様々な他の目の挙動を特定することによって、人間とコンピュータのインタラクションを実装できる。そして、研究者は、そのようなパターンを調べることによって媒体または製品の有効性を判断することができる。

【0008】

本開示は、以下に示す詳細な説明及び本開示の様々な実施形態の添付図面から、より十分に理解される。

【図面の簡単な説明】

【0009】

【図1】本開示のいくつかの実施形態による、眼球運動に部分的に基づいてユーザーインターフェースの制御を実装するように構成されたウェアラブル構造、コンピューティングデバイス、ユーザーインターフェース、及びカメラを含む例示的な装置を示す。

【図2】本開示のいくつかの実施形態による、それぞれが、眼球運動に部分的に基づいてユーザーインターフェースの制御を実装するように構成された例示的なネットワーク化されたシステムを示す。

【図3】本開示のいくつかの実施形態による、それぞれが、眼球運動に部分的に基づいてユーザーインターフェースの制御を実装するように構成された例示的なネットワーク化されたシステムを示す。

【図4】本開示のいくつかの実施形態に従って、図１に示される装置の態様、図２に示されるネットワーク化されたシステムの態様、または図３に示されるネットワーク化されたシステムの態様によって実行できる例示的な動作の流れ図を示す。

【発明を実施するための形態】

【0010】

本明細書に開示される少なくともいくつかの実施形態は、眼球運動またはジェスチャに部分的に基づく、ユーザーインターフェースの制御に関する。より具体的には、本明細書に開示される少なくともいくつかの実施形態は、取り込まれ、特定された１つまたは複数の目のジェスチャに基づくディスプレイまたはＧＵＩの１つまたは複数のパラメータの制御に関する。また、本明細書に開示されるいくつかの実施形態は、一般に、１つまたは複数のユーザーインターフェースの１つまたは複数のパラメータの制御に関することを理解されたい。例えば、本明細書に開示されるいくつかの実施形態は、聴覚ユーザーインターフェースまたは触覚ユーザーインターフェースのパラメータの制御に関する。聴覚ユーザーインターフェースのパラメータは、音量、再生速度などを含むことができる。触覚ユーザーインターフェースのパラメータは、振動のパターン、振動の強さ、出力温度、出力臭覚などを含むことができる。本明細書に説明されている実施形態は、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡（バランス）、及び味覚ＵＩ（味）を含む、任意のタイプのユーザーインターフェース（ＵＩ）のパラメータを制御することを含むことができる。

【0011】

少なくともいくつかの実施形態は、眼球運動を取り込み、運動を解釈して、アプリケーションまたはコンピューティングデバイス（モバイルデバイスまたはＩｏＴデバイスなど）のユーザーインターフェースの動作を制御することを対象とする。例えば、カメラはウェアラブルデバイスまたはウェアラブル構造（例えば、スマートウォッチまたは帽子の一部であるヘッドマウントデバイス）と一体化することができる。そして、そのような例により、ユーザーは、ユーザーインターフェースなどの特定のオブジェクトから目の焦点を遠ざけることによって、ユーザーインターフェースの１つまたは複数のパラメータを制御する（例えば、ディスプレイの調光もしくはターンオフを制御する、またはユーザーインターフェースの音声出力もしくは触覚出力を制御する）ことができる。また、例えば、ユーザーは、ディスプレイ内の一点を見ることができ、ユーザーが瞬きするまたは別の目のジェスチャをすると、ディスプレイ内のＧＵＩによって点にズームインするもしくは焦点を合わせることができる。または、例えば、ユーザーが瞬きをするまたは別の目のジェスチャをした後の点での情報に関して、ユーザーにより多くの音声情報を提供することができる。そして、これらは、本明細書に開示される眼球運動トラッキングを介した人間とコンピュータのインタラクションの多くの例のほんの一部である。

【0012】

また、ウェアラブルデバイスは、ユーザーのタブレットまたはスマートフォンまたはＩｏＴデバイスとインタラクトすることができる。いくつかの実施形態では、カメラ、コンピューティングデバイス、及びディスプレイ、または他のタイプのユーザーインターフェースを別々にし、ローカル無線ネットワークまたは広域ネットワークなどの通信ネットワーク、またはＢｌｕｅｔｏｏｔｈなどのローカルからデバイスへのネットワークを介して接続することができる。

【0013】

少なくともいくつかの実施形態は、ユーザーの眼球運動（例えば、サッカード、滑らかな追跡運動、輻輳運動、前庭動眼運動、眼球注意、角度、視点など）を取り込むために使用されるカメラを含むことができる。眼球運動は、プロセッサに接続されたユーザーインターフェースの動作を制御するためにプロセッサ（ＣＰＵなど）による目のジェスチャとして解釈することができる。例えば、表示画面または投影画面でのコンテンツのレンダリングは、目のジェスチャによって制御することができる。

【0014】

カメラは、ヘッドマウント可能なユーザーインターフェース（ヘッドマウント可能なディスプレイなど）の中に統合することができる。ユーザーインターフェースは、ユーザーの目と耳に、音声付きの３Ｄバーチャルリアリティコンテンツ、または可視（例えば、グラフィック）コンテンツ、触覚コンテンツ、及び／または可聴コンテンツを含めた拡張現実コンテンツなどコンテンツを配信することができる。例えば、ユーザーは、提供されている関心のある点から目の焦点を遠ざけることによって、ディスプレイの調光もしくはターンオフ、またはコンテンツの提示を制御し得る。例えば、ユーザーの目が遠くを見ているまたは他のどこかを見ているとき、デバイスは、調光する、音量を下げる、触覚フィードバックもしくはハプティックフィードバックを除外する、または電源をオフにして電力を節約することができる。例えば、ユーザーは点を見てよく、次にユーザーが瞬きをするまたは別の目のジェスチャをすると点にズームインすることができる。

【0015】

ユーザーインターフェース及びカメラは、例えば時計またはキャップ（または帽子）に含めることができる。キャップまたは時計は、ユーザーの目を監視することができ、スマートフォンもしくは別のタイプのデバイスと通信することができる小型の埋め込みカメラを含むことができる。キャップを使う場合、キャップは、キャップのバイザに埋め込まれた可撓画面を有する場合もあれば、バイザから上下に移動できる透明な画面を有する場合もある。そのような例は、コンピューティングデバイス、ユーザーインターフェース、カメラ、及びウェアラブル構造の組み合わせの多くの実施形態及び実施態様のほんの一部である。

【0016】

本明細書に開示されるいくつかの実施形態では、装置は、ウェアラブル構造、コンピューティングデバイス、ユーザーインターフェース（ディスプレイ、音声入力／出力、及び／または触覚入力／出力を含むユーザーインターフェースなど）、及びカメラを有することができる。ウェアラブル構造は、ユーザーが着用するように構成され、コンピューティングデバイス、ユーザーインターフェース、カメラ、またはそれらの組み合わせの少なくとも１つに接続することができる。ウェアラブル構造は、帽子、キャップ、リストバンド、ネックストラップ、ネックレス、コンタクトレンズ、眼鏡、または別のタイプのアイウェアであるか、それらを含むか、またはそれらの一部である場合がある。いくつかの実施形態では、ウェアラブル構造は、キャップであるか、それを含むか、またはその一部である場合があり、キャップはバイザを有することができ、ディスプレイはバイザ付きのキャップの一部である場合がある。また、装置がウェアラブル構造以外の他の構造を含むことができることを理解されたい。例えば、装置は、アプライアンス（ディスプレイを備えたスマートアプライアンスなど）またはテレビセット（拡張ＬＣＤまたはＯＬＥＤ ＴＶなど）を含むか、またはその一部である場合がある。また、４Ｋ ＴＶまたは画面解像度がより高いＴＶは、レンダリング強化から恩恵を受けることができる。また、ゲーム用のハイエンドデバイスを提供するＧＰＵベンダは、レンダリング強化から恩恵を受けることができる。

【0017】

コンピューティングデバイスは、ウェアラブル構造、ユーザーインターフェース、カメラ、またはそれらの組み合わせの少なくとも１つに接続することができる。ユーザーインターフェースは、ウェアラブル構造、コンピューティングデバイス、カメラ、またはそれらの組み合わせの少なくとも１つに接続することができる。ユーザーインターフェースはディスプレイであり得、ディスプレイは、一種の視覚ユーザーインターフェースまたは視覚ユーザーインターフェースを参照する別の方法である、グラフィカルユーザーインターフェース（ＧＵＩ）を提供するように構成することができる。カメラは、コンピューティングデバイス、ウェアラブル構造、ユーザーインターフェース、またはそれらの組み合わせの少なくとも１つに接続することができる。カメラは、ユーザーの眼球運動を取り込むように構成される。

【0018】

コンピューティングデバイス内のプロセッサは、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定するように構成される。そして、プロセッサは、特定された１つまたは複数の目のジェスチャに基づいて、ユーザーインターフェース、ＧＵＩ、またはそれらの組み合わせの少なくとも１つの、１つまたは複数のパラメータを制御するように構成することができる。

【0019】

いくつかの実施形態では、プロセッサは、眉毛の動き、まぶたの動き、またはそれらの組み合わせの少なくとも１つから少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成される。また、プロセッサは、ユーザーの目の取り込まれたサッカードから少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。また、プロセッサは、ユーザーの目の取り込まれた滑らかな追跡運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。また、プロセッサは、ユーザーの両目の取り込まれた輻輳運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。

【0020】

ユーザーインターフェースがディスプレイを含む実施形態などのいくつかの実施形態では、プロセッサは、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部で明度を上げるまたは下げるように構成することができる。また、プロセッサは、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部でコントラスト、解像度、またはその組み合わせの少なくとも１つを上げるまたは下げるように構成することができる。また、プロセッサは、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部をアクティブ化または非アクティブ化するように構成することができる。いくつかの実施形態では、プロセッサは、ユーザーの目がディスプレイから逸れているときに、ディスプレイの少なくとも一部を調光するように構成される。そのような実施形態および他の実施形態では、プロセッサは、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにディスプレイをオフにするように構成することができる。また、所定の時間量は、ユーザーによって少なくとも部分的に選択可能であってよい。

【0021】

いくつかの実施形態では、プロセッサは、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにコンピューティングデバイスを省電力モードにするように構成され、所定の時間量は、ユーザーによって選択可能であるか、またはトレーニング及び経時的なユーザーの活動と習慣の監視に基づいてデバイスによって特定される。

【0022】

多くの例は、ディスプレイまたはＧＵＩの制御を参照しているが、多くの異なるタイプのユーザーインターフェースを制御するための多くの異なる方法を含む本明細書に説明される実施形態を実装する多くの方法がある。

【0023】

いくつかの実施形態は、キャップ、ディスプレイ、コンピューティングデバイス、及びカメラを有する装置であるか、またはそれらを含む場合がある。キャップはバイザを有することができ、キャップは、ユーザーによって着用可能であってよい。ディスプレイは、バイザの底面から下方に向くように配置することもできれば、バイザの底面から下方に及び上方に動くようにバイザ内に配置することもできる。コンピューティングデバイスはキャップに取り付けることができる。そして、カメラは、コンピューティングデバイス内にある、またはそれに接続され、カメラがユーザーの顔に向いているとき、または目がカメラの検出範囲内にあるときにユーザーの眼球運動を取り込むように構成することができる。コンピューティングデバイス内のプロセッサは、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサはまた、特定された１つまたは複数の目のジェスチャに基づいて、コンピューティングデバイスに無線で接続された第２のコンピューティングデバイスのディスプレイまたはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。また、プロセッサは、特定された１つまたは複数の目のジェスチャに基づいてコンピューティングデバイスのディスプレイまたはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。

【0024】

多くの実施形態のいくつかの別の例は、リストバンド、ディスプレイ、コンピューティングデバイス、及びカメラを有する装置を含むことができる。コンピューティングデバイスはディスプレイを含むことができる。そして、コンピューティングデバイスはリストバンドに取り付けることができる。ディスプレイは、ＧＵＩを提供するように構成することができる。コンピューティングデバイス内のカメラは、ディスプレイがユーザーの顔に向いているときに、または目がカメラの検出範囲内にあるときに、ユーザーの眼球運動を取り込むように構成することができる。コンピューティングデバイス内のプロセッサは、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定し、特定された１つまたは複数の目のジェスチャに基づいて、ディスプレイまたはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。

【0025】

図１は、本開示のいくつかの実施形態による、眼球運動に部分的に基づいてユーザーインターフェースの制御を実装するように構成された、ウェアラブル構造１０２、コンピューティングデバイス１０４、ユーザーインターフェース１０６、及びカメラ１０８を含む例示的な装置１００を示す。

【0026】

示されるように、ウェアラブル構造１０２は、コンピューティングデバイス１０４、ユーザーインターフェース１０６、及びカメラ１０８を含む。コンピューティングデバイス１０４、ユーザーインターフェース１０６、及びカメラ１０８は、バス１１２を介して通信可能に結合される。ウェアラブル構造１０２は、ユーザーが着用するように構成することができる。

【0027】

ウェアラブル構造１０２は、帽子、キャップ、リストバンド、ネックストラップ、ネックレス、コンタクトレンズ、眼鏡、または別のタイプのアイウェアであるか、それらを含むか、またはそれらの一部である場合がある。例えば、ウェアラブル構造は、バイザ付きのキャップを含む場合があり、ユーザーインターフェースは、バイザ付きのキャップの一部である場合がある。そのような例では、ユーザーインターフェースは、バイザの一部であるディスプレイを含むことができる。そして、キャップ内のユーザーインターフェースは、スピーカなどの音声出力またはマイクなどの音声入力を含むことができる。ディスプレイは、バイザの底面から下方に向くように配置することもできれば、バイザがユーザーに対して前方を向いている状態でキャップを着用したときに、ユーザーの目の前に表示されるように、バイザの底面から下方に及び上方に動くようにバイザ内に配置することもできる。スピーカは、バイザがユーザーの前にある状態でキャップが前方を向いているときに、ユーザーの耳に近接するキャップ内に配置することができる。マイクが含まれるときは、マイクはキャプ内のどこにあってもよい。

【0028】

また、例えば、ウェアラブル構造１０２は、ユーザーがアイウェアを着用しているときに、アイウェアのレンズを介して提供されるコンテンツなどのコンテンツをユーザーに提供することができるアイウェア（眼鏡またはコンタクトレンズなど）であるか、またはそれを含む場合がある。コンテンツは、無線でアイウェアに通信し、アイウェア内の１つまたは複数のアンテナによって受信することができる。アイウェアがコンタクトレンズを含む例では、コンタクトレンズはそれぞれ、ユーザーがコンテンツを認知するために、コンタクトレンズ内に表示されるコンテンツを含めた通信を受信できる極小アンテナを含むことができる。アイウェアが眼鏡を含む例では、眼鏡のフレームに小型スピーカ及びマイクを含めることができる。また、触覚出力のために、小型振動デバイスを眼鏡に含めることができる。コンテンツを伝達する別の方法は、導波路入力にビデオ光ストリームを投影し、ナノ導波路を使用してアイウェアの内側でそれを分散させることにより、光導波路を介することである。

【0029】

実施形態で使用することができる多くのタイプのウェアラブル構造がある。例えば、装置１００のコンポーネントのいずれか１つを、帽子またはキャップの代わりにヘアピースまたはヘアアクセサリの中に組み込むことができるであろう。言い換えれば、ウェアラブル構造１０２は、ヘアピースまたはヘアアクセサリであるか、またはそれを含む場合がある。また、ウェアラブル構造１０２は、リストバンド、ネックストラップ、ネックレス、または任意のタイプの宝飾品類を含むか、またはそれらである場合がある。ウェアラブル構造１０２はまた、シャツ、ズボン、ベルト、靴、スカート、ドレス、またはジャケットなどの任意のタイプの衣類を含むか、またはそれらである場合がある。

【0030】

ユーザーインターフェース１０６は、視覚ユーザーインターフェース（ＧＵＩなど）、触覚ユーザーインターフェース、聴覚ユーザーインターフェース、任意の他のタイプのユーザーインターフェース、またはそれらの任意の組み合わせを提供するように構成することができる。例えば、ユーザーインターフェース１０６は、ウェアラブル構造１０２、コンピューティングデバイス１０４、カメラ１０８、またはそれらの組み合わせの少なくとも１つに接続されたディスプレイであるか、またはそれを含む場合があり、ディスプレイはＧＵＩを提供するように構成することができる。また、ユーザーインターフェース１０６は、プロジェクタ、スピーカなどの１つまたは複数の音声出力デバイス、及び／または振動デバイスなどの１つまたは複数の触覚出力デバイスであるか、またはそれらを含む場合がある。そして、そのようなコンポーネントは、ウェアラブル構造１０２、コンピューティングデバイス１０４、カメラ１０８、またはそれらの組み合わせの少なくとも１つに接続することができる。

【0031】

また、本明細書に説明される実施形態は、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡ＵＩ（バランス）、及び味覚ＵＩ（味）を含む任意のタイプの１つまたは複数のユーザーインターフェースを含むことができる。本明細書に説明される実施形態はまた、ニューロンが人体の内部または外部で電極と結線され、インターフェースが無線でまたは有線の方法で外部デバイスに接続される、神経インターフェースまたは脳コンピュータのインターフェースを含むことができる。

【0032】

カメラ１０８は、コンピューティングデバイス１０４、ウェアラブル構造１０２、ユーザーインターフェース１０６、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの眼球運動を取り込むように構成することができる。例えば、ユーザーインターフェースがディスプレイであるか、またはそれを含む実施形態では、カメラは、コンピューティングデバイス及び／またはウェアラブル構造及び／またはディスプレイ内にあるか、またはそれらに接続される場合があり、ディスプレイがユーザーの顔に向いているとき、または目がカメラの検出範囲内にあるときにユーザーの眼球運動を取り込むように構成することができる。

【0033】

カメラ１０８は、高性能カメラ装置またはより簡略なカメラ構成であるか、それを含むか、またはその一部である場合がある。そして、カメラ１０８は、１つまたは複数のコンピュータビジョンアルゴリズムを介したジェスチャ認識のための入力として使用するために眼球運動を取り込むことができる。高性能カメラ装置は、１つまたは複数の深度認識カメラ及び２つ以上のステレオカメラを含むことができる。深度認識カメラは、カメラを通して見ているものの深度マップを生成することができ、このデータを使用して、ユーザーの目または顔の動いている部分の３Ｄ表現を近似することができる。ステレオカメラはまた、目または顔の動いている部分の３Ｄ表現を近似する際に使用することができる。また、単一のデジタルカメラなどのより簡略な単一のカメラ装置は、ユーザーの目または顔の動いている部分の２Ｄ表現を取り込むために使用することができる。

【0034】

コンピューティングデバイス１０４内のプロセッサ１１０は、カメラ１０８によって取り込まれた取り込み済みの眼球運動から１つまたは複数の目のジェスチャを特定するように構成することができる。例えば、プロセッサ１１０は、眉毛の動き、まぶたの動き、またはそれらの組み合わせの少なくとも１つから少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。また、プロセッサ１１０は、ユーザーの目の取り込まれたサッカードから少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサはまた、ユーザーの目の取り込まれた滑らかな追跡運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサ１１０はまた、ユーザーの両目の取り込まれた輻輳運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定するように構成することができる。

【0035】

プロセッサ１１０はまた、特定された１つまたは複数の目のジェスチャに基づいて、ユーザーインターフェース１０６の１つまたは複数のパラメータを制御するように構成することができる。例えば、プロセッサ１１０はまた、特定された１つまたは複数の目のジェスチャに基づいて、ユーザーインターフェース１０６のディスプレイ、またはユーザーインターフェースのＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。そのような例では、プロセッサ１１０は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部で明度を上げるまたは下げるように構成することができる。また、プロセッサ１１０は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部でコントラスト、解像度、またはその組み合わせの少なくとも１つを上げるまたは下げるように構成することができる。また、プロセッサ１１０は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部のカラースキームを変更または維持するように構成することができる。

【0036】

また、プロセッサは、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部をアクティブ化または非アクティブ化するように構成することができる。プロセッサ１１０はまた、ユーザーの目がディスプレイから逸れているときに、ディスプレイの少なくとも一部を調光するように構成することができる。プロセッサ１１０はまた、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにディスプレイをオフにするように構成することができる。所定の時間量は、ユーザーによって少なくとも部分的に選択可能であるか、またはプロセッサによって選択される場合がある。例えば、プロセッサ１１０は、ディスプレイを制御するための要因として、ユーザーの目がディスプレイから逸れた後の時間量を決定することができる。例えば、プロセッサ１１０は、ディスプレイをオフにするための要因として、ユーザーの目がディスプレイから逸れた後の時間量を決定することができる。

【0037】

いくつかの実施形態では、プロセッサ１１０は、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにコンピューティングデバイスを省電力モードにするように構成することができる。そのような実施形態では、所定の時間量は、ユーザーまたはプロセッサ１１０によって選択可能であってよい。

【0038】

いくつかの実施形態では、例えば、装置１００のウェアラブル構造１０２は、ユーザーによって着用可能なバイザ付きのキャップを含むことができる。ユーザーインターフェース１０６はディスプレイである場合があり、ディスプレイは、バイザの底面から下方に向くように配置することもできれば、バイザの底面から下方に及び上方に動くようにバイザ内に配置することもできる。コンピューティングデバイス１０４は、キャップに取り付けることができ、カメラ１０８は、コンピューティングデバイスの中に埋め込むまたはそれに取り付け、カメラがユーザーの顔に向いているときにユーザーの眼球運動を取り込むように構成することができる。プロセッサ１１０はコンピューティングデバイス１０４内にあり得、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサ１１０はまた、特定された１つまたは複数の目のジェスチャに基づいて、コンピューティングデバイス１０４のディスプレイ及び／またディスプレイのＧＵＩ、またはコンピューティングデバイス１０４に無線で接続された第２のコンピューティングデバイスのディスプレイ及び／またはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。

【0039】

いくつかの実施形態では、例えば、装置１００のウェアラブル構造１０２は、リストバンド（スマートウォッチのリストバンドなど）を含むことができる。コンピューティングデバイス１０４はまた、ユーザーインターフェースがディスプレイであるまたはそれを含むときなど、ユーザーインターフェース１０６を含むことができる。コンピューティングデバイス１０４は、ウェアラブル構造１０２がディスプレイを有するスマートウォッチとなることができるように、リストバンドに取り付けることができ、ディスプレイを含むことができる。ディスプレイは、ＧＵＩを提供するように構成することができる。カメラ１０８も、コンピューティングデバイスに埋め込むか、またはその一部とすることができる。カメラ１０８は、リストバンドがユーザーによって着用されている間または着用されていない間、ディスプレイがユーザーの顔に向いているときにユーザーの眼球運動を取り込むように構成することができる。プロセッサ１１０はまた、コンピューティングデバイス１０４内にあり、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定し、特定された１つまたは複数の目のジェスチャに基づいて、ディスプレイ及び／またはＧＵＩの１つまたは複数のパラメータを制御するように構成することができる。

【0040】

一般に、本明細書に説明される１つまたは複数の目のジェスチャの特定することの例、及び本明細書に説明される特定されたジェスチャに従った、ユーザーインターフェースの１つまたは複数のパラメータのその後の制御の例は、デバイスのオペレーティングシステム、別のソフトウェアアプリケーション、及び／またはファームウェア、ならびにフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などのプログラマブルロジックを介して実装することができる。

【0041】

一般に、本明細書で説明されるウェアラブル構造はそれぞれ、複数のウェアラブル構造と見なすことができる。本明細書で説明されるコンピューティングデバイスはそれぞれ、複数のコンピューティングデバイスと見なすことができる。本明細書で説明されるユーザーインターフェースはそれぞれ、複数のユーザーインターフェースと見なすことができ、本明細書で説明されるカメラはそれぞれ、複数のカメラと見なすことができる。そのようなコンポーネントは、目のジェスチャを介して制御可能なエコシステムの一部である場合がある。

【0042】

また、一般に、本明細書に説明される装置の部分は、無線でまたは有線もしくは他のタイプの通信結合を介して互いに接続することができる。

【0043】

図２及び図３は、本開示のいくつかの実施形態による、それぞれが、眼球運動に部分的に基づいてユーザーインターフェースの制御を実装するように構成された例示的なネットワーク化されたシステム２００及び３００を示す。ネットワーク化されたシステム２００と３００の両方は、１つまたは複数の通信ネットワークを介してネットワーク化されている。本明細書で説明される通信ネットワークは、少なくとも、Ｂｌｕｅｔｏｏｔｈなどのローカルからデバイスへのネットワーク、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、４Ｇもしくは５Ｇなどのモバイルワイヤレスネットワーク、エクストラネット、インターネット、及び／またはそれらの任意の組み合わせを含むことができる。ネットワーク化されたシステム２００及び３００はそれぞれ、ピアツーピアネットワーク、クライアントサーバネットワーク、クラウドコンピューティング環境などの一部である場合がある。また、本明細書に説明される装置、コンピューティングデバイス、ウェアラブル構造、カメラ、及び／またはユーザーインターフェースのいずれも、ある種のコンピュータシステムを含むことができる。そして、そのようなコンピュータシステムは、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット内の他のデバイスへのネットワークインターフェースを含むことができる（例えば、ネットワーク（複数可）２１４及び３１５を参照）。コンピュータシステムはまた、クライアントサーバネットワーク環境内のサーバまたはクライアントマシンの機能で、ピアツーピア（または分散）ネットワーク環境内のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境内のサーバまたはクライアントマシンとして動作することができる。

【0044】

また、図２及び図３の図示されているコンポーネントの少なくともいくつかは、機能的に及び／または構造的に図１の図示されているコンポーネントに類似している場合があり、図１の図示されているコンポーネントの少なくともいくつかは、機能的に及び／または構造的に図２及び図３の図示されているコンポーネントに類似している場合がある。例えば、ウェアラブル構造２０２及び３０２はそれぞれ、ウェアラブル構造１０２と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。コンピューティングデバイス２０４及び３０４はそれぞれ、コンピューティングデバイス１０４と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。ユーザーインターフェース２０６及び他のコンポーネント３１６のユーザーインターフェースは、ユーザーインターフェース１０６と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。カメラ２０８及び他のコンポーネント３１６のカメラはそれぞれ、カメラ１０８と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。コントローラ３０８は、プロセッサ１１０と類似した特徴及び／または機能を有する場合がある。バス２１２及び３０６はそれぞれ、バス１１２と類似した特徴及び／または機能を有する場合があり、逆もまた同様である。そして、ネットワークインターフェース３１２は、ネットワークインターフェース２１０ａ、２１０ｂ、及び２１０ｃと類似した特徴及び／または機能を有する場合があり、逆もまた同様である。

【0045】

図２に示されるように、システム２００は、ウェアラブル構造２０２、コンピューティングデバイス２０４、ユーザーインターフェース２０６、及びカメラ２０８を含む。システム２００はまた、プロセッサ１１０（コンピューティングデバイス２０４の一部である）及びバス２１２を含む。バス２１２はウェアラブル構造２０２内にあり、バスは、カメラ２０８をネットワークインターフェース２１０ａに接続する。カメラ２０８とネットワークインターフェース２１０ａは両方とも、ウェアラブル構造２０２内にある。

【0046】

ウェアラブル構造２０２は、図２でカメラ２０８とともに示されているが、他の実施形態では、ウェアラブル構造がコンピューティングデバイスしか有していない場合があることを理解されたい。そして、他の実施形態では、ウェアラブル構造は、ユーザーインターフェースしかを有していない場合がある。そして、いくつかの実施形態では、ウェアラブル構造は、カメラ、コンピューティングデバイス、及びユーザーインターフェースのなんらかの組み合わせを有し得る（例えば、カメラ、コンピューティングデバイス、及びユーザーインターフェースを有するウェアラブル構造１０２を参照）。

【0047】

ネットワークインターフェース２１０ａ（ウェアラブル構造２０２に含まれる）は、１つまたは複数のコンピュータネットワーク２１４及びネットワークインターフェース２１０ｂと２１０ｃをそれぞれ介して、ウェアラブル構造をコンピューティングデバイス２０４及びユーザーインターフェース２０６に接続する。

【0048】

ネットワークインターフェース２１０ｂ（コンピューティングデバイス２０４に含まれる）は、ネットワーク（複数可）２１４及びネットワークインターフェース２１０ａと２１０ｃをそれぞれ介して、コンピューティングデバイスをウェアラブル構造２０２（カメラ２０８を含む）及びユーザーインターフェース２０６に接続する。

【0049】

ネットワークインターフェース２１０ｃ（ユーザーインターフェース２０６に含まれる）は、ネットワーク（複数可）２１４及びネットワークインターフェース２１０ａと２１０ｂをそれぞれ介して、ユーザーインターフェースをウェアラブル構造２０２（カメラ２０８を含む）及びコンピューティングデバイス２０４に接続する。

【0050】

ウェアラブル構造２０２は、ユーザーが着用するように構成することができる。ウェアラブル構造２０２は、帽子、キャップ、リストバンド、ネックストラップ、ネックレス、指輪などの他のタイプの宝飾品類、コンタクトレンズ、眼鏡、別のタイプのアイウェア、シャツ、ズボン、ベルト、靴、スカート、ドレス、またはジャケットなどの任意のタイプの衣類、ならびに、指輪、ピアス、付け爪と付け睫毛、入れ墨、化粧などであるか、それらを含むか、またはそれらの一部である場合がある。いくつかの実施形態では、ウェアラブル構造は、人体の一部であるか、または人体に埋め込まれ、神経系と接続され、すべての種類のユーザーエクスペリエンスを提供することができる。

【0051】

ユーザーインターフェース２０６は、ＧＵＩ、触覚ユーザーインターフェース、聴覚ユーザーインターフェース、またはそれらの任意の組み合わせを提供するように構成することができる。例えば、ユーザーインターフェース２０６は、ネットワーク（複数可）２１４を介して、ウェアラブル構造２０２、コンピューティングデバイス２０４、カメラ２０８、またはそれらの組み合わせの少なくとも１つに接続されたディスプレイであるか、またはそれを含む場合があり、ディスプレイは、ＧＵＩを提供するように構成することができる。また、本明細書に説明される実施形態は、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡ＵＩ（バランス）、及び味覚ＵＩ（味）を含む任意のタイプの１つまたは複数のユーザーインターフェースを含むことができる。

【0052】

カメラ２０８は、ネットワーク（複数可）２１４を介して、コンピューティングデバイス２０４、ウェアラブル構造２０２、ユーザーインターフェース２０６、またはそれらの組み合わせの少なくとも１つに接続することができ、カメラは、ユーザーの眼球運動を取り込むように構成することができる。例えば、カメラは、サッカード、滑らかな追跡運動、輻輳運動、前庭動眼運動、眼球注意、角度、視点などを取り込むように構成することができる。

【0053】

コンピューティングデバイス２０４内のプロセッサ１１０は、図２に示されるように、カメラ２０８によって取り込まれた取り込み済みの眼球運動から１つまたは複数の目のジェスチャを特定するように構成することができる。プロセッサ１１０はまた、特定された１つまたは複数の目のジェスチャに基づいて、ユーザーインターフェース２０６の１つまたは複数のパラメータを制御するように構成することができる。例えば、プロセッサ１１０はまた、特定された１つまたは複数の目のジェスチャに基づいて、ユーザーインターフェース２０６のディスプレイ、またはユーザーインターフェースのＧＵＩ、またはそれらの組み合わせの１つまたは複数のパラメータを制御するように構成することができる。また、本明細書に説明される実施形態は、特定された１つまたは複数の目のジェスチャに基づいて、触覚ＵＩ（接触）、視覚ＵＩ（視野）、聴覚ＵＩ（音）、嗅覚ＵＩ（匂い）、平衡ＵＩ（バランス）、及び味覚ＵＩ（味）を含む任意のタイプのユーザーインターフェース（ＵＩ）のパラメータを制御するプロセッサ１１０を含むことができる。さらに、いくつかの実施形態では、ディスプレイの１つまたは複数のパラメータの制御は、外乱がある場合に、ユーザーのために映像の質の不変性を最大限にして画像またはビデオをレンダリングすることを含むことができる。不変性は、目と画面の間の視覚的なつながりを弱くするまたは破壊させる振盪、振動、雑音、及び他のことなどのあらゆる外乱に対する不変性を含むことができる。また、例えば、デバイスの画面出力は、画面出力を画面に対する任意の外乱に関して安定させることによって、目と画面の間の視覚的なつながりを適合させ、補強することによって外部の外乱に対して不変となることができる。このようにして、ユーザーは、乱されていないまたはあまり乱されていないコンテンツを一貫してかつ継続的に受信することができる。例えば、これは、ユーザーの目に対して座標系で画面出力を少なくとも部分的に一定に保つことによって行うことができる。これは特に、バイザが画面を提供するキャップとバイザの実施形態に有用である場合がある。キャップとバイザは、着用時（特に、ユーザーが何らかの形の運動またはスポーツに参加しているときに）振動し、移動することが予想される。

【0054】

図３は、本開示のいくつかの実施形態による、複数のウェアラブル構造及びコンピューティングデバイス（例えば、ウェアラブル構造３０２及び３３０、ならびにコンピューティングデバイス３０４、３２０、及び３４０を参照）の複数のユーザーインターフェースのための眼球運動に部分的に基づいて、ユーザーインターフェース制御を実装できる例示的なシステム３００を示している。図３はまた、コンピューティングデバイス３０４のいくつかのコンポーネントを示している。コンピューティングデバイス３０４はまた、コンピューティングデバイス１０４及び２０４について本明細書に説明されるコンポーネントに類似したコンポーネントを含むことができる。そして、図３はまた、コンピューティングデバイス３０４を含む例示的なウェアラブル構造３０２を示している。ウェアラブル構造３０２及び３３０はまた、ウェアラブル構造１０２及び２０２について本明細書に説明されるコンポーネントに類似したコンポーネントを含むことができる。示されるように、複数のウェアラブル構造及びコンピューティングデバイス（例えば、ウェアラブル構造３０２及び３３０、ならびにコンピューティングデバイス３０４、３２０、及び３４０を参照）は、１つまたは複数の通信ネットワーク３１５を通して互いと通信することができる。

【0055】

ウェアラブル構造３０２に含まれるコンピューティングデバイス３０４は、図１に示されるウェアラブル構造１０２、または本明細書に説明されるコンピューティングデバイスに類似するまたはいくぶん類似する任意のタイプのコンピューティングデバイス内のコンポーネントであるか、またはそれを含むか、もしくはその一部である場合がある。コンピューティングデバイス３０４は、例えば、スマートフォン、タブレットコンピュータ、ＩｏＴデバイス、スマートテレビ、眼鏡もしくは他のスマート家庭用電化製品、車載情報システム、ウェアラブルスマートデバイス、ゲーム機、ＰＣ、デジタルカメラ、またはそれらの任意の組み合わせなど、モバイルデバイスであるか、またはそれを含むか、またはそれの一部である場合がある。示されるように、コンピューティングデバイス３０４は、少なくとも、Ｂｌｕｅｔｏｏｔｈなどのローカルからデバイスへのネットワーク、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、４Ｇもしくは５Ｇなどのモバイルワイヤレスネットワーク、エクストラネット、インターネット、及び／またはそれらの任意の組み合わせを含む通信ネットワーク（複数可）３１５に接続することができる。

【0056】

本明細書に説明されるコンピューティングデバイスまたはモバイルデバイス（コンピューティングデバイス１０４、２０４、及び３０４など）のそれぞれは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、または任意のマシンであって、そのマシンによって講じられる処置を指定する命令のセットを（連続してまたは別の方法で）実行できるマシンであるか、またはそれらに置き換えられる場合がある。

【0057】

また、図３に示されるコンピューティングデバイス３０４、及びそれぞれ図１と図２に示されるコンピューティングデバイス１０４と２０４について単一のマシンが示されているが、用語「マシン」はまた、本明細書で説明される方法または操作のうちの任意の１つまたは複数を実行するために、個々にまたは共同で命令の１つのセット（または複数のセット）を実行するマシンの任意の集まりを含むと解釈されるものとする。そして、図示されたコンピューティングデバイスまたはモバイルデバイスのそれぞれは、それぞれ、少なくともバス及び／またはマザーボード、１つまたは複数のコントローラ（１つまたは複数のＣＰＵなど）、一時データストレージを含むことができるメインメモリ、少なくとも１つのタイプのネットワークインターフェース、永続的なデータストレージを含むことができるストレージシステム、及び／またはそれらの任意の組み合わせを含むことができる。いくつかのマルチデバイス実施形態では、あるデバイスは本明細書に説明される方法のいくつかの部分を完了し、次に、別のデバイスが本明細書に説明される方法の他のステップを続行することができるように、ネットワークを介して別のデバイスに完了の結果を送信することができる。

【0058】

図３は、本開示のいくつかの実施形態による、例示的なコンピューティングデバイス３０４の例示的な部分を示す。示されるように、コンピューティングデバイス３０４はネットワーク（複数可）３１５に通信可能に結合することができる。コンピューティングデバイス３０４は、少なくともバス３０６、コントローラ３０８（ＣＰＵなど）、メモリ３１０、ネットワークインターフェース３１２、データストレージシステム３１４、及び他のコンポーネント３１６（ＧＰＳコンポーネント、様々なタイプのユーザーインターフェースコンポーネントなどのＩ／Ｏコンポーネント、及びセンサとカメラなどのモバイルデバイスまたはコンピューティングデバイスに見られる任意のタイプのコンポーネントである場合がある）を含む。他のコンポーネント３１６は、１つまたは複数のユーザーインターフェース（例えば、ＧＵＩ、聴覚ユーザーインターフェース、触覚ユーザーインターフェースなど）、ディスプレイ、異なるタイプのセンサ、触覚入出力デバイス、音声入出力デバイス、及び／または視覚入出力デバイス、追加のアプリケーション特有のメモリ、１つまたは複数の追加のコントローラ（例えば、ＧＰＵ）、またはそれらの任意の組み合わせを含むことができる。バス３０６は、コントローラ３０８、メモリ３１０、ネットワークインターフェース３１２、データストレージシステム３１４、及び他のコンポーネント３１６を通信可能に結合する。コンピューティングデバイス３０４は、少なくともコントローラ３０８、メモリ３１０（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（例えばシンクロナスＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）など）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、クロスポイントメモリ、クロスバーメモリなど）、及びデータストレージシステム３１４を含むコンピュータシステムを含んでおり、これらはバス３０６（多重バスを含むことができる）を介して互いと通信する。

【0059】

別の言い方をすると、図３は、本開示の実施形態が動作することができるコンピュータシステムを有する例示的なコンピューティングデバイス３０４のブロック図である。いくつかの実施形態では、コンピュータシステムは、実行時に、本明細書で説明する方法のいずれか１つ以上をマシンに行わせるための命令のセットを含むことができる。そのような実施形態では、マシンを、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット（例えば、ネットワーク（複数可）３１５）内の他のマシンに接続する（例えば、ネットワークインターフェース３１２を介してネットワーク接続する）ことができる。マシンは、クライアントサーバネットワーク環境内のサーバまたはクライアントマシンの機能で、ピアツーピア（または分散）ネットワーク環境内のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境内のサーバまたはクライアントマシンとして動作することができる。

【0060】

コントローラ３０８は、マイクロプロセッサ、中央処理装置などの、１つまたは複数の汎用処理装置を表す。より詳細には、処理装置は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、単一命令複数データ（ＳＩＭＤ）、複数命令複数データ（ＭＩＭＤ）、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサとすることができる。コントローラ３０８はまた、ＡＳＩＣなどの１つまたは複数の特殊用途処理装置、ＦＰＧＡなどのプログラマブルロジック、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサなどとすることができる。コントローラ３０８は、本明細書で説明する動作及びステップを行うための命令を実行するように構成されている。コントローラ３０８は、１つまたは複数の通信ネットワーク（ネットワーク（複数可）３１５など）を介して通信するために、ネットワークインターフェース３１２などのネットワークインターフェースデバイスをさらに含むことができる。

【0061】

データストレージシステム３１４は、本明細書で説明される方法または機能のうちのいずれか１つまたは複数を具現化する１つまたは複数の命令セットまたはソフトウェアが格納されたマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。データストレージシステム３１４は、それが、データストレージシステムに常駐する命令を少なくとも部分的に実行することができるなど、実行機能を有することができる。命令はまた、コンピュータシステムがそれを実行する間に、メモリ３１０内及び／またはコントローラ３０８内に完全にまたは少なくとも部分的に常駐することができ、メモリ３１０及びコントローラ３０８はまたマシン可読記憶媒体を構成する。メモリ３１０は、デバイス３０４のメインメモリであるか、またはそれを含む場合がある。メモリ３１０は、それが、メモリに常駐する命令を少なくとも部分的に実行することができるなど、実行機能を有することができる。

【0062】

メモリ、コントローラ、及びデータ記憶装置部分を、実施形態例においてそれぞれ単一部分であると示しているが、各部分は、命令を格納してその対応する動作を行うことができる単一部分または複数部分を含むと解釈すべきである。「マシン可読記憶媒体」という用語はまた、マシンによって実行するための命令のセットを格納またはエンコードすることが可能であり、マシンに本開示の方法論のうちの任意の１つ以上を実行させる任意の媒体を含むと解釈されるべきである。したがって、用語「マシン可読記憶媒体」は、ソリッドステートメモリ、光学媒体、及び磁気媒体を含むが、これらに限定されないと解釈されるものとする。

【0063】

図４は、本開示のいくつかの実施形態に従って、図１に示される装置１００の態様、図２に示されるネットワーク化されたシステム２００の態様、または図３に示されるネットワーク化されたシステム３００の態様によって実行できる方法４００の例示的な動作の流れ図を示す。

【0064】

図４では、方法４００は、ユーザーインターフェースを提供するステップ４０２から開始する（例えば、ユーザーインターフェース１０６及び２０６、ならびに他のコンポーネント３１６を参照）。ステップ４０２は、ＧＵＩ、聴覚ユーザーインターフェース、触覚ユーザーインターフェース、任意の他のタイプのＵＩ、またはそれらの組み合わせを提供することを含むことができる。ユーザーインターフェースは、プロセッサ、及び／またはディスプレイ、投影画面、スピーカなどの音声出力デバイス、及び／または振動デバイスなどの触覚出力デバイスなどのユーザー入出力コンポーネントを含む場合がある、及び／またはそれらによって提供される場合がある。ユーザーインターフェースはまた、ウェアラブル構造（例えば、ウェアラブル構造１０２、２０２、及び３０２を参照）によって提供されるか、それに接続するか、またはその一部である場合がある。

【0065】

ステップ４０４で、方法４００は、カメラ（例えば、カメラ１０８及び２０８、ならびに他のコンポーネント３１６を参照）によって、ユーザーの眼球運動を取り込むことを続ける。眼球運動は、眉毛の動き、まぶたの動き、目のサッカード、目の滑らかな追跡運動、両目の輻輳運動、または任意の他のタイプの眼球運動、またはそれらの組み合わせの少なくとも１つを含むことができる。カメラは、ウェアラブル構造（例えば、ウェアラブル構造１０２、２０２、及び３０２を参照）に接続するか、またはその一部である場合がある。

【0066】

ステップ４０６で、方法４００は、プロセッサ（例えば、プロセッサ１１０及びコントローラ３０８を参照）によって、取り込まれた眼球運動からの１つまたは複数の眼球ジェスチャを特定することを続ける。ステップ４０６は、眉毛の動き、まぶたの動き、またはそれらの組み合わせの少なくとも１つから少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。ステップ４０６は、ユーザーの目の取り込まれたサッカードから少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。ステップ４０６は、ユーザーの目の取り込まれた滑らかな追跡運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。ステップ４０６は、ユーザーの両目の取り込まれた輻輳運動から少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。言い換えれば、ステップ４０６は、取り込まれた眼球運動から１つまたは複数の目のジェスチャを特定することを含むことができ、これは、眉毛の動き、まぶたの動き、目のサッカード、目の滑らかな追跡運動、両目の輻輳運動、または任意の他のタイプの眼球運動、またはそれらの組み合わせから少なくとも部分的に１つまたは複数の目のジェスチャを特定することを含むことができる。

【0067】

また、ステップ４０８で、方法４００は、プロセッサによって、特定された１つまたは複数の目のジェスチャに基づいて、ユーザーインターフェースの１つまたは複数のパラメータを制御することを続ける。ユーザーインターフェースがディスプレイを含む場合、ステップ４０８は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部で明度を上げるまたは下げることを含むことができる。また、ステップ４０８は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部でコントラスト、解像度、またはその組み合わせの少なくとも１つを上げるまたは下げることを含むことができる。また、ステップ４０８は、特定された１つまたは複数の目のジェスチャに従って、ディスプレイの少なくとも一部をアクティブ化または非アクティブ化することを含むことができる。ステップ４０８はまた、ユーザーの目がディスプレイから逸れているときに、ディスプレイの少なくとも一部を調光することを含むことができる。ステップ４０８はまた、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにディスプレイをオフにすることを含むことができる。所定の時間量は、ユーザーによって少なくとも部分的に選択可能であってよい。また、ステップ４０８は、ユーザーの目が所定の時間量を超えてディスプレイから逸れているときにコンピューティングデバイスを少なくとも部分的に省電力モードにすることを含むことができる。省電力モードの選択に関連する所定の時間量及び省電力の程度は、ユーザーによって選択可能であってよい。

【0068】

また、プロセッサは、ウェアラブル構造（例えば、ウェアラブル構造１０２、２０２、及び３０２を参照）に接続するか、またはその一部である場合がある。

【0069】

ステップ４１０で、方法４００は、ユーザーインターフェース、カメラ、プロセッサ、またはそれらの組み合わせの少なくとも１つが止まるなど、特定の動作が発生するまでステップ４０４～４０８を繰り返す。

【0070】

いくつかの実施形態では、ステップ４０４～４０８が、各ステップが、入力データを監視し、操作を実行し、以後のステップにデータを出力することによって独立して実行できるなど、連続プロセスとして実施できることを理解されたい。また、ステップ４０４～４０８は、各ステップが、それがトリガし、特定の出力を生じさせると考えられるイベントでトリガすることができるなど、離散イベントプロセスとして実施することができる。図４が、図１～図３に部分的に提示されるものよりも複雑なコンピュータシステムのおそらくより大きい方法の中の最小の方法を表すことも理解されたい。したがって、図４に示されるステップは、より複雑なシステムの大きい方法と関連付けられた他のステップからフィードインし、他のステップにフィードアウトする他のステップと組み合わせることができる。

【0071】

先行する詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットに対する操作の記号表現の観点から提示されている。このようなアルゴリズムの説明及び表現は、その働きの趣旨を当業者に最も効果的に伝えるためにデータ処理技術において当業者が用いる方法である。アルゴリズムはここでは、及び全般的に、望ましい結果に至る自己矛盾のない動作順序であると考えられる。動作は、物理量の物理的な操作を必要とするものである。通常、必ずしもではないが、これらの量は格納し、組み合わせ、比較し、及び他の方法で操作することができる電気または磁気信号という形を取る。主に共通使用の理由により、これらの信号をビット、値、要素、シンボル、文字、用語、数などと称することが、時によって好都合であることが分かっている。

【0072】

しかし、これら及び同様の用語はすべて、適切な物理量に対応付けられるべきであり、これらの量に適用される好都合な標示にすぎないことを認識しておくべきである。本開示は、コンピュータシステムのレジスタ及びメモリ内で物理的（電子的）量として表されるデータを操作し、コンピュータシステムメモリまたはレジスタまたは他のそのような情報ストレージシステム内で物理量として同様に表される他のデータに変換する、コンピュータシステムまたは類似する電子コンピューティングデバイスの動作及びプロセスを指すことができる。

【0073】

本開示は、本明細書における動作を実行するための装置にも関する。この装置は、使用目的に対して特別に構成することもできるし、またはコンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを含むこともできる。このようなコンピュータプログラムは、任意のタイプのディスク、例えば、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光カード、またはそれぞれがコンピュータシステムバスに結合される電子命令の格納に適した任意のタイプの媒体などのコンピュータ可読記憶媒体に格納することができる。

【0074】

本明細書で示したアルゴリズム及びディスプレイは、何らかの特定のコンピュータまたは他の装置に本来的に関係していない。様々な汎用システムを、本明細書での教示に従ってプログラムと用いることもできるし、または本方法を行うためにより専用の装置を構築することが好都合であることが分かる可能性もある。種々のこれらのシステムの構造は、以下の説明で述べるように現れる。加えて、本開示は何らかの特定のプログラミング言語に関して説明されていない。本明細書で説明したような本開示の教示を実施するために、種々のプログラミング言語を使用できることを理解されたい。

【0075】

本開示を、本開示によるプロセスを行うようにコンピュータシステム（または他の電子装置）をプログラミングするために用いることができる命令が格納されたマシン可読媒体を含むことができる、コンピュータプログラム製品またはソフトウェアとして示すことができる。マシン可読媒体は、マシン（例えば、コンピュータ）によって可読の形で情報を格納するための任意のメカニズムを含む。いくつかの実施形態では、マシン可読（例えば、コンピュータ可読）媒体は、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリコンポーネントなどのマシン（例えば、コンピュータ）可読記憶媒体を含む。

【0076】

前述の明細書では、本開示の実施形態は、その特定の例示的な実施形態を参照して説明されてきた。以下の特許請求の範囲に記載される本開示のより広範の趣旨及び範囲から逸脱することなく、様々な修正を本明細書に加えることができることは明らかである。したがって、明細書及び図面は限定的な意味ではなく例示的な意味で考慮されるべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】