特許 7149300 ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-28

(45)【発行日】2022-10-06

(54)【発明の名称】ユーザインターフェースデバイスの表現を用いたニューラルネットワークの訓練

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220929BHJP

   G06F 3/048 20220101ALI20220929BHJP

   G06N 3/08 20060101ALI20220929BHJP

【ＦＩ】

G06F3/01 510

G06F3/048

G06N3/08

【請求項の数】 19

(21)【出願番号】P 2019571300

(86)(22)【出願日】2018-05-31

(65)【公表番号】

(43)【公表日】2020-09-24

(86)【国際出願番号】 US2018035467

(87)【国際公開番号】W WO2019022849

(87)【国際公開日】2019-01-31

【審査請求日】2021-05-28

(31)【優先権主張番号】62/537,311

(32)【優先日】2017-07-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ケーラー， エイドリアン

(72)【発明者】

【氏名】ブラドスキー， ゲイリー

(72)【発明者】

【氏名】バドリナラヤナン， ヴィジャイ

【審査官】酒井 優一

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０３２８０２１（ＵＳ，Ａ１）

【文献】特表２０１６－５０９２９２（ＪＰ，Ａ）

【文献】特開２０１４－１５７５１５（ＪＰ，Ａ）

【文献】特開２０１６－１６２３７２（ＪＰ，Ａ）

【文献】国際公開第２０１３／１４５２２３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

ウェアラブルディスプレイシステムであって、
画像捕捉デバイスであって、前記画像捕捉デバイスは、ポインタを備える画像を捕捉するように構成される、画像捕捉デバイスと、
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、
前記画像と、
前記画像上の画像場所における前記画像と関連付けられる仮想ユーザインターフェース（ＵＩ）デバイスと、
ＵＩイベントを決定するためのニューラルネットワークであって、前記ニューラルネットワークは、
訓練用仮想ＵＩデバイスと関連付けられる訓練画像であって、前記訓練画像は、前記訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、
前記訓練画像内の前記訓練用仮想ＵＩデバイスおよび前記訓練用ポインタに対する訓練用ＵＩイベントと
を使用して訓練される、ニューラルネットワークと
を記憶するように構成される、非一過性コンピュータ可読記憶媒体と、
ディスプレイであって、前記ディスプレイは、前記画像が前記画像捕捉デバイスによって捕捉されると、前記仮想ＵＩデバイスを表示場所に表示するように構成され、前記画像場所は、前記表示場所に関連する、ディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記画像捕捉デバイス、前記ディスプレイ、および前記非一過性コンピュータ可読記憶媒体と通信し、前記プロセッサは、実行可能命令によって、
前記画像を前記画像捕捉デバイスから受信することと、
前記仮想ＵＩデバイスの表現を前記画像場所における前記画像上にレンダリングすることと、
前記ニューラルネットワークを使用して、前記画像内の前記ポインタおよび前記画像と関連付けられた前記仮想ＵＩデバイスに対するＵＩイベントを決定することと、
前記ＵＩイベントに基づいて、仮想コンテンツを生成することと、
前記ディスプレイに、前記仮想コンテンツを前記ウェアラブルディスプレイシステムの装着者に提示させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。

【請求項2】

前記仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、請求項１に記載のウェアラブルディスプレイシステム。

【請求項3】

前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、請求項２に記載のウェアラブルディスプレイシステム。

【請求項4】

前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、請求項２に記載のウェアラブルディスプレイシステム。

【請求項5】

前記閾値距離は、０である、請求項４に記載のウェアラブルディスプレイシステム。

【請求項6】

前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
請求項２に記載のウェアラブルディスプレイシステム。

【請求項7】

前記第１の色は、黒色であり、前記第２の色は、白色である、請求項６に記載のウェアラブルディスプレイシステム。

【請求項8】

前記第２の形状は、部分的に透明である、請求項６に記載のウェアラブルディスプレイシステム。

【請求項9】

前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
請求項８に記載のウェアラブルディスプレイシステム。

【請求項10】

前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
請求項９に記載のウェアラブルディスプレイシステム。

【請求項11】

前記第２の形状は、前記第１の形状内にある、請求項６に記載のウェアラブルディスプレイシステム。

【請求項12】

前記複数の形状のうちの第３の形状は、第３の色と関連付けられ、
前記第１の形状は、前記第１の形状に隣接する、請求項６に記載のウェアラブルディスプレイシステム。

【請求項13】

第３の色は、白色である、請求項１２に記載のウェアラブルディスプレイシステム。

【請求項14】

第１の形状は、前記第３の形状内にある、請求項１２に記載のウェアラブルディスプレイシステム。

【請求項15】

前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、請求項１に記載のウェアラブルディスプレイシステム。

【請求項16】

前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、請求項１５に記載のウェアラブルディスプレイシステム。

【請求項17】

前記仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせから成る群から選択される、請求項１に記載のウェアラブルディスプレイシステム。

【請求項18】

前記ポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、請求項１に記載のウェアラブルディスプレイシステム。

【請求項19】

前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
請求項１８に記載のウェアラブルディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、その内容が参照することによってその全体として本明細書に組み込まれる、２０１７年７月２６日に出願され、「ＴＲＡＩＮＩＮＧ Ａ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＷＩＴＨ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮＳ ＯＦ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＤＥＶＩＣＥＳ」と題された、米国仮出願第６２／５３７，３１１号の優先権の利益を主張する。

【0002】

本開示は、仮想現実および拡張現実結像および可視化システムに関し、特に、ユーザインターフェースイベントを決定するために、機械学習モデル（例えば、ニューラルネットワーク）を訓練および使用するためのユーザインターフェースデバイスの表現に関する。

【背景技術】

【0003】

深層ニューラルネットワーク（ＤＮＮ）は、算出機械学習モデルである。ＤＮＮは、人工ニューラルネットワーク（ＮＮ）の一種に属する。ＮＮを用いることで、算出グラフが、構成され、これは、生物学的ニューラルネットワークの特徴を模倣するものである。生物学的ニューラルネットワークは、算出に顕著な特徴を含み、そうでなければ他の方法を通して捕捉することが困難であり得る、生物学系の能力の多くに関与する。いくつかの実装では、そのようなネットワークは、接続が一方向性である、シーケンシャル層化構造の中に配列される。例えば、特定の層の人工ニューロンの出力は、後続層の人工ニューロンの入力に接続されることができる。ＤＮＮは、多数の層（例えば、数十、数百、またはそれを上回る層）を伴う、ＮＮであることができる。

【0004】

異なるＮＮは、異なる視点において相互に異なる。例えば、異なるＮＮのトポロジまたはアーキテクチャ（例えば、層の数および層が相互接続される方法）および加重は、異なり得る。ＮＮの加重は、生物学系内のニューラル接続のシナプス強度に近似的に類似し得る。加重は、１つの層から別の層に伝搬される効果の強度に影響を及ぼす。人工ニューロン（またはＮＮのノード）の出力は、その入力の加重和の非線形関数であることができる。ＮＮの加重は、これらの総和内に現れる、加重であることができる。

【発明の概要】

【課題を解決するための手段】

【0005】

一側面では、ウェアラブルディスプレイシステムが、開示される。本ウェアラブルディスプレイシステムは、ポインタを備える画像を捕捉するように構成される画像捕捉デバイスと、非一過性コンピュータ可読記憶媒体であって、該非一過性コンピュータ可読記憶媒体は、画像と、画像上の画像場所における画像と関連付けられる仮想ユーザインターフェース（ＵＩ）デバイスと、訓練用仮想ＵＩデバイスと関連付けられた訓練画像であって、訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、訓練画像内の訓練用仮想ＵＩデバイスおよび訓練用ポインタに対する訓練用ＵＩイベントとを使用して、訓練されたＵＩイベントを決定するためのニューラルネットワークとを記憶するように構成される、非一過性コンピュータ可読記憶媒体と、画像が画像捕捉デバイスによって捕捉されると、仮想ＵＩデバイスを表示場所に表示するように構成されるディスプレイであって、画像場所は、表示場所に関連する、ディスプレイと、画像捕捉デバイス、ディスプレイ、および非一過性コンピュータ可読記憶媒体と通信するハードウェアプロセッサであって、実行可能命令によって、画像を画像捕捉デバイスから受信することと、仮想ＵＩデバイスの表現を画像場所における画像上にレンダリングすることと、ニューラルネットワークを使用して、画像内のポインタに対するＵＩイベントおよび画像と関連付けられた仮想ＵＩデバイスを決定することとを行うようにプログラムされる、プロセッサとを備える。

【0006】

別の側面では、ユーザインターフェースイベントを決定するためのニューラルネットワークを訓練するためのシステムが、開示される。本システムは、実行可能命令を記憶するコンピュータ可読メモリと、１つ以上のプロセッサであって、該１つ以上のプロセッサは、実行可能命令によって、少なくとも、複数の画像を受信することであって、複数の画像のうちの画像は、複数のポインタのうちのポインタを備え、画像は、画像上の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスと関連付けられ、画像は、画像内の仮想ＵＩデバイスおよびポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ことと、仮想ＵＩデバイスの表現を画像場所における画像上にレンダリングし、訓練画像を生成することと、入力データおよび対応する標的出力データを備える、訓練セットを生成することであって、入力データは、訓練画像を備え、対応する標的出力データは、ＵＩイベントを備える、ことと、訓練セットを使用して、仮想ＵＩデバイスおよびポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練することとを行うようにプログラムされる、１つ以上のプロセッサとを備える。

【0007】

さらに別の側面では、ユーザインターフェースイベントを決定するためにニューラルネットワークを訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、複数の画像を受信するステップであって、複数の画像のうちの第１の画像は、複数のポインタのうちのポインタの第１の表現を備え、第１の画像は、第１の画像内の第１の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスの第１の表現と関連付けられ、第１の画像は、第１の画像内の仮想ＵＩデバイスおよびポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ステップと、仮想ＵＩデバイスの第１の表現を第１の画像場所における第１の画像上にレンダリングし、第１の訓練画像を生成するステップと、入力データおよび対応する標的出力データを備える、訓練セットを生成するステップであって、入力データは、第１の訓練画像を備え、対応する標的出力データは、ＵＩイベントを備える、ステップと、訓練セットを使用して、仮想ＵＩデバイスおよびポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練するステップとを含む。

【0008】

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本開示の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ウェアラブルディスプレイシステムであって、
画像捕捉デバイスであって、前記画像捕捉デバイスは、ポインタを備える画像を捕捉するように構成される、画像捕捉デバイスと、
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、
前記画像と、
前記画像上の画像場所における前記画像と関連付けられる仮想ユーザインターフェース（ＵＩ）デバイスと、
ＵＩイベントを決定するためのニューラルネットワークであって、前記ＵＩイベントは、
訓練用仮想ＵＩデバイスと関連付けられる訓練画像であって、前記訓練画像は、前記訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、
前記訓練画像内の前記訓練用仮想ＵＩデバイスおよび前記訓練用ポインタに対する訓練用ＵＩイベントと
を使用して訓練される、ニューラルネットワークと
を記憶するように構成される、非一過性コンピュータ可読記憶媒体と、
ディスプレイであって、前記ディスプレイは、前記画像が前記画像捕捉デバイスによって捕捉されると、前記仮想ＵＩデバイスを表示場所に表示するように構成され、前記画像場所は、前記表示場所に関連する、ディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記画像捕捉デバイス、前記ディスプレイ、および前記非一過性コンピュータ可読記憶媒体と通信し、前記プロセッサは、実行可能命令によって、
前記画像を前記画像捕捉デバイスから受信することと、
前記仮想ＵＩデバイスの表現を前記画像場所における前記画像上にレンダリングすることと、
前記ニューラルネットワークを使用して、前記画像内の前記ポインタに対するＵＩイベントおよび前記画像と関連付けられた仮想ＵＩデバイスを決定することと、
前記ＵＩイベントに基づいて、仮想コンテンツを生成することと、
前記ディスプレイに、前記仮想コンテンツを前記ウェアラブルディスプレイシステムの装着者に提示させることと
を行うようにプログラムされる、ハードウェアプロセッサプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目２）
前記仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、項目１に記載のウェアラブルディスプレイシステム。
（項目３）
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、項目２に記載のウェアラブルディスプレイシステム。
（項目４）
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、項目２に記載のウェアラブルディスプレイシステム。
（項目５）
前記閾値距離は、０である、項目４に記載のウェアラブルディスプレイシステム。
（項目６）
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
項目２に記載のウェアラブルディスプレイシステム。
（項目７）
前記第１の色は、黒色であり、前記第２の色は、白色である、項目６に記載のウェアラブルディスプレイシステム。
（項目８）
前記第２の形状は、部分的に透明である、項目６に記載のウェアラブルディスプレイシステム。
（項目９）
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
項目８に記載のウェアラブルディスプレイシステム。
（項目１０）
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
項目９に記載のウェアラブルディスプレイシステム。
（項目１１）
前記第２の形状は、前記第１の形状内にある、項目６に記載のウェアラブルディスプレイシステム。
（項目１２）
前記複数の形状のうちの第３の形状は、第３の色と関連付けられ、
前記第１の形状は、前記第１の形状に隣接する、項目６に記載のウェアラブルディスプレイシステム。
（項目１３）
第３の色は、白色である、項目１２に記載のウェアラブルディスプレイシステム。
（項目１４）
第１の形状は、前記第３の形状内にある、項目１２に記載のウェアラブルディスプレイシステム。
（項目１５）
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、項目１に記載のウェアラブルディスプレイシステム。
（項目１６）
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目１５に記載のウェアラブルディスプレイシステム。
（項目１７）
前記仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせから成る群から選択される、項目１に記載のウェアラブルディスプレイシステム。
（項目１８）
前記ＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、項目１に記載のウェアラブルディスプレイシステム。
（項目１９）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
項目１８に記載のウェアラブルディスプレイシステム。
（項目２０）
ユーザインターフェースイベントを決定するためのニューラルネットワークを訓練するためのシステムであって、前記システムは、
実行可能命令を記憶するコンピュータ可読メモリと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、
複数の画像を受信することであって、
前記複数の画像のうちの画像は、複数のポインタのうちのポインタを備え、
前記画像は、前記画像上の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスと関連付けられ、
前記画像は、前記画像内の前記仮想ＵＩデバイスおよび前記ポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ことと、
前記仮想ＵＩデバイスの表現を前記画像場所における前記画像上にレンダリングし、訓練画像を生成することと、
入力データおよび対応する標的出力データを備える訓練セットを生成することであって、
前記入力データは、前記訓練画像を備え、
前記対応する標的出力データは、前記ＵＩイベントを備える、ことと、
前記訓練セットを使用して、前記仮想ＵＩデバイスおよび前記ポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練することと
を行うようにプログラムされる、１つ以上のプロセッサと
を備える、システム。
（項目２１）
前記仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、項目２０に記載のシステム。
（項目２２）
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、項目２１に記載のシステム。
（項目２３）
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、項目２１に記載のシステム。
（項目２４）
前記閾値距離は、０である、項目２３に記載のシステム。
（項目２５）
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
項目２１に記載のシステム。
（項目２６）
前記第１の色は、黒色であり、前記第２の色は、白色である、項目２５に記載のシステム。
（項目２７）
前記第２の形状は、部分的に透明である、項目２５に記載のシステム。
（項目２８）
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
項目２７に記載のシステム。
（項目２９）
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
項目２８に記載のシステム。
（項目３０）
前記第２の形状は、前記第１の形状内にある、項目２５に記載のシステム。
（項目３１）
前記複数の形状のうちの第３の形状は、第３の色を有し、前記第１の形状は、前記第１の形状に隣接する、項目２５に記載のシステム。
（項目３２）
第３の色は、白色である、項目３１に記載のシステム。
（項目３３）
第１の形状は、前記第３の形状内にある、項目３１に記載のシステム。
（項目３４）
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、項目２０に記載のシステム。
（項目３５）
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目３４に記載のシステム。
（項目３６）
前記複数の仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、項目２０に記載のシステム。
（項目３７）
前記複数のＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、項目２０に記載のシステム。
（項目３８）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
項目３７に記載のシステム。
（項目３９）
ユーザインターフェースイベントを決定するためにニューラルネットワークを訓練するための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
複数の画像を受信するステップであって、
前記複数の画像のうちの第１の画像は、複数のポインタのうちのポインタの第１の表現を備え、
前記第１の画像は、前記第１の画像内の第１の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスの第１の表現と関連付けられ、
前記第１の画像は、前記第１の画像内の前記仮想ＵＩデバイスおよび前記ポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ステップと、
前記仮想ＵＩデバイスの第１の表現を前記第１の画像場所における前記第１の画像上にレンダリングし、第１の訓練画像を生成するステップと、
入力データおよび対応する標的出力データを備える訓練セットを生成するステップであって、
前記入力データは、前記第１の訓練画像を備え、
前記対応する標的出力データは、前記ＵＩイベントを備える、ステップと、
前記訓練セットを使用して、前記仮想ＵＩデバイスおよび前記ポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練するステップと
を含む、方法。
（項目４０）
前記複数の画像のうちの第２の画像は、前記ポインタの第２の表現を備え、
前記第２の画像は、前記第２の画像内の第２の画像場所における前記仮想ＵＩデバイスの第２の表現と関連付けられ、
前記第２の画像は、前記ＵＩイベントと関連付けられる、
項目３９に記載の方法。
（項目４１）
前記第１の画像および前記第２の画像は、ステレオスコピック対を形成する、項目４０に記載の方法。
（項目４２）
前記第１の画像および前記第２の画像は、画像のマルチスコピックセットの画像である、項目４０に記載の方法。
（項目４３）
前記仮想ＵＩデバイスの第２の表現を前記第２の画像場所における前記第２の画像上にレンダリングし、第２の訓練画像を生成するステップをさらに含み、
前記入力データは、前記第２の訓練画像を備える、項目４０に記載の方法。
（項目４４）
前記仮想ＵＩデバイスの前記第１の表現は、複数の高コントラストの形状を備える、項目３９に記載の方法。
（項目４５）
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、項目４４に記載の方法。
（項目４６）
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、項目４４に記載の方法。
（項目４７）
前記閾値距離は、０である、項目４６に記載の方法。
（項目４８）
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
項目４４に記載の方法。
（項目４９）
前記第１の色は、黒色であり、前記第２の色は、白色である、項目４８に記載の方法。
（項目５０）
前記第２の形状は、部分的に透明である、項目４８に記載の方法。
（項目５１）
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
項目５０に記載の方法。
（項目５２）
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
項目５１に記載の方法。
（項目５３）
前記第２の形状は、前記第１の形状内にある、項目５１に記載の方法。
（項目５４）
前記同心形状の第３の形状は、第３の色を有し、前記第１の形状は、前記第１の形状に隣接する、項目５１に記載の方法。
（項目５５）
第３の色は、白色である、項目５４に記載の方法。
（項目５６）
第１の形状は、前記第３の形状内にある、項目５４に記載の方法。
（項目５７）
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、項目３９に記載の方法。
（項目５８）
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目５７に記載の方法。
（項目５９）
前記複数の仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、項目３９に記載の方法。
（項目６０）
前記複数のＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、項目３９に記載の方法。
（項目６１）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
項目６０に記載の方法。

【図面の簡単な説明】

【0009】

【図1】図１は、拡張現実デバイスのユーザによって知覚される、物理的環境の実施例を図示する。

【0010】

【図2】図２は、拡張現実デバイスのユーザによって知覚される、物理的環境および仮想遠隔制御装置を含む、拡張環境の実施例を図示する。

【0011】

【図3】図３は、拡張現実デバイスの結像デバイスによって捕捉される、ユーザによって知覚される物理的環境に対応する画像上にレンダリングされた仮想遠隔制御装置のボタンの表現の実施例を図示する。

【0012】

【図4A】図４Ａおよび４Ｂは、画像上にレンダリングされたボタンの表現を伴う、拡張現実デバイスの２つの結像デバイスによって捕捉された画像の例示的ステレオスコピック対を図示する。

【図4B】図４Ａおよび４Ｂは、画像上にレンダリングされたボタンの表現を伴う、拡張現実デバイスの２つの結像デバイスによって捕捉された画像の例示的ステレオスコピック対を図示する。

【0013】

【図5A】図５Ａ－５Ｄは、ユーザインターフェースデバイスの例示的表現を図示する。

【図5B】図５Ａ－５Ｄは、ユーザインターフェースデバイスの例示的表現を図示する。

【図5C】図５Ａ－５Ｄは、ユーザインターフェースデバイスの例示的表現を図示する。

【図5D】図５Ａ－５Ｄは、ユーザインターフェースデバイスの例示的表現を図示する。

【0014】

【図6】図６は、ユーザインターフェースデバイスの表現を使用して、ユーザインターフェースイベントを決定するためのニューラルネットワークを訓練する、例証的方法のフロー図を示す。

【0015】

【図7】図７は、ユーザインターフェースデバイスの表現を使用してユーザインターフェースイベントを決定するために、ニューラルネットワークを使用する、例証的方法のフロー図を示す。

【0016】

【図8】図８は、一実施形態による、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う拡張現実シナリオの例証を描写する。

【0017】

【図9】図９は、一実施形態による、ウェアラブルディスプレイシステムの実施例を図示する。

【0018】

【図10】図１０は、一実施形態による、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。

【0019】

【図11】図１１は、一実施形態による、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

【0020】

【図12】図１２は、一実施形態による、導波管によって出力され得る、例示的出射ビームを示す。

【0021】

【図13】図１３は、一実施形態による、ディスプレイシステムを示す、概略図である。

【発明を実施するための形態】

【0022】

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。

【0023】

概要
仮想ユーザインターフェース（ＵＩ）デバイスは、ウィンドウ、アイコン、メニュー、ポインタ（ＷＩＭＰ）ＵＩデバイスのスタイルまたは実装に基づくことができる。そのような仮想ＵＩデバイススタイルまたは実装は、本明細書では、仮想ＵＩデバイスの単純実装と称される。いくつかの実施形態では、ＷＩＭＰ ＵＩイベントを検出するプロセスは、２つのプロセスに分離され、第１のプロセスは、ポインタ（例えば、指、指先、またはスタイラス）の場所の算出であって、第２のプロセスは、ポインタと仮想ＵＩデバイスの相互作用の決定である。

【0024】

１つの課題は、２つの異なるオブジェクト、すなわち、ポインタおよび仮想ＵＩデバイスが、位置特定される必要があることである。従来の２Ｄグラフィカルユーザインターフェース（ＧＵＩ）上では、ＵＩデバイスの場所は、ＧＵＩポインタデバイス（例えば、マウスポインタ）によって使用される同一座標内に生成されるため、把握されている。拡張現実デバイス（ＡＲＤ、例えば、図９を参照して説明されるウェアラブルディスプレイシステム９００等）では、ＵＩデバイス自体が、世界座標系内の特定の場所に現れるように生成され得る。ＡＲＤの姿勢およびＡＲＤの較正に起因する誤差が、導入され得る。いくつかの実装では、仮想ＵＩデバイスは、（例えば、ＡＲＤの座標フレームに対する）ＡＲＤ座標系内にレンダリングされ得る。ＡＲＤ座標系では、ＡＲＤディスプレイの較正は、ポインタの場所を決定するためのポインタの画像を捕捉するために使用される１つ以上の外向きに向いたカメラの較正と明確に異なり得る。いずれの座標系でも、２つの数（例えば、仮想ＵＩデバイスの場所およびポインタの場所）が、減算される必要があり得、ゼロまたはゼロ交差が、検出されなければならない。本プロセスにおける雑音は、そのような分析を非常に困難にし得る。深層ニューラルネットワーク（ＤＮＮ）が、それ以上こだわらずに、ポインタを位置特定するために使用される場合でも、課題が残る。本明細書に開示されるのは、直接、ＤＮＮを使用して、そのような相互作用または交差（本明細書では、ＵＩイベントと称される）を決定するためのシステムおよび方法である。いくつかの実施形態では、ポインタおよび仮想ＵＩデバイスの場所もまた、考慮され得る。いくつかの実施形態では、焦点が、ポインタと仮想ＵＩデバイスとの間の相互作用または交差を決定するために使用されてもよい。ポインタ先端およびＵＩデバイスは、相互作用およびＵＩイベントが生じるために、同一焦点状態にある必要があり得る。

【0025】

ＮＮを訓練するプロセスは、ネットワークに入力データおよび対応する標的出力データの両方を提示するステップを伴う。例示的入力および標的出力の両方を含む、本データは、訓練セットと称され得る。訓練プロセスを通して、ネットワークの加重は、ネットワークの出力が、訓練セットからの特定の入力データを前提として、その特定の入力データに対応する標的出力に合致するようになる（例えば、可能な限り、近似的に）ように、漸次的または反復的に適合され得る。

【0026】

ＮＮを訓練するための訓練セットを構築することは、課題を提示し得る。訓練セットの構築は、ＮＮを訓練するため、したがって、ＮＮの正常動作のために重要であり得る。いくつかの実施形態では、ネットワークのために必要とされるデータの量は、数十、数百～数千、数百万、またはそれを上回る正しい挙動例等、非常に膨大であり得る。ネットワークは、訓練セットを使用して学習し、その学習を正しく一般化し、入力（例えば、オリジナル訓練セット内に存在し得ない、新規入力）に関する適切な出力を予測することができる。本明細書に開示されるのは、仮想ＵＩデバイスおよびポインタと関連付けられたユーザインターフェース（ＵＩ）イベント（例えば、スタイラスによる仮想ボタンのアクティブ化）を決定するためのＮＮを訓練するために、訓練データを生成するためのシステムおよび方法である。そのようなシステムの実施例は、ジェスチャ認識システムであることができる。

【0027】

頭部搭載可能拡張現実ディスプレイ（ＡＲＤ）、複合現実ディスプレイ（ＭＲＤ）、または仮想現実ディスプレイ（ＶＲＤ）等のディスプレイは、仮想ＵＩデバイスおよびポインタに対するＵＩイベントを決定するために、そのような訓練されたＮＮを実装することができる。本明細書に説明されるある実施例は、ＡＲＤを参照するが、これは、例証のためのものであって、限定ではない。他の実施例では、ＭＲＤまたはＶＲＤが、ＡＲＤの代わりに使用されることができる。ユーザは、ポインタ（例えば、指、指先、またはスタイラス）を使用して、仮想ＵＩデバイス（例えば、ボタン）の作動またはアクティブ化等のＵＩイベントを生じさせ、ＡＲＤまたはユーザの環境内のデバイスと相互作用することができる。ＡＲＤは、ＮＮを使用して、仮想ＵＩデバイスのそのようなアクティブ化または仮想ＵＩデバイスおよびポインタに対するＵＩイベントを決定することができる。ＮＮは、画像上にレンダリングされたＵＩデバイスの表現を伴う画像を使用して、訓練されることができる。

【0028】

ＮＮを訓練するためのＵＩデバイスの表現およびＡＲＤによってユーザに表示されるＵＩデバイスの表現は、スタイルが異なり得る。例えば、ＡＲＤによってユーザに表示されるＵＩデバイスの表現は、定型化されたボタン等の定型化されたＵＩデバイスであることができる。ＮＮを訓練するために画像上にレンダリングされたＵＩデバイスの表現は、高コントラストの同心形状（または類似または同一重心を伴う形状）を含むことができる。いくつかの実装では、ＵＩデバイスのそのような表現は、有利には、ＮＮを訓練するために使用される画像上にレンダリングされると、類似ＵＩデバイスが類似表現を有するように、標準化されることができる。ＮＮを訓練するための標準化されたＵＩデバイスの表現は、ＵＩデバイスの標準表現と称され得る。例えば、異なるタイプのボタンは、ＮＮを訓練するために使用される画像上にレンダリングされると、類似表現を有することができる。ＵＩデバイスの表現は、捕捉された画像（例えば、モノスコピック画像、画像のステレオスコピック対、または画像のマルチスコピックセット）上にレンダリングされることができる。ＡＲＤは、ユーザがＮＮを使用して仮想ＵＩデバイスと相互作用する間、ＡＲＤの外向きに向いたカメラを使用して、捕捉されたポインタの画像を処理することによって、ＵＩイベントが生じたことを決定することができる。ＵＩデバイスの標準表現は、ＮＮが、画像を処理し、ＵＩイベントを決定することに先立って、ユーザによって知覚されるような捕捉された画像上にレンダリングされることができる。いくつかの実装では、標準化された表現は、同一、類似、または異なるタスク（例えば、指を用いたタッチまたは指示等の異なるタイプのＵＩイベントを識別する）のための複数のＮＮを訓練するために標準化されることができる。
（例示的ユーザ環境）

【0029】

図１は、ＡＲＤのユーザによって知覚されるような物理的環境の実施例を図示する。例示的環境１００ａは、ユーザの自宅の居間を含む。環境１００ａは、テレビ（ＴＶ）１０４、物理的遠隔制御装置１０８（時として、単に、遠隔装置と称される）、ＴＶスタンド１１２、および窓１１６等の物理的オブジェクトを有する。ユーザが、ＡＲＤを装着している間、ユーザは、物理的オブジェクトを知覚し、物理的オブジェクトと相互作用することができる。例えば、ユーザは、ＡＲＤを装着している間、ＴＶ１０４を鑑賞し得る。ユーザは、物理的遠隔装置１０８を使用して、ＴＶ１０４を制御することができる。例えば、ユーザは、物理的遠隔装置１０８を制御して、ＴＶ１０４をオン／オフにする、またはＴＶ１０４のチャンネルまたは音量を変更することができる。ユーザはまた、仮想遠隔装置を使用して、ＴＶ１０４と相互作用することができる。仮想遠隔装置は、物理的遠隔装置１０８の機能に基づいて生成されてもよい。例えば、仮想遠隔装置は、物理的遠隔装置１０８の機能の一部または全部をエミュレートしてもよい（同様に、付加的または代替機能性を提供してもよい）。

【0030】

一実装では、仮想遠隔制御装置の仕様は、図９に示される遠隔データリポジトリ９３２等のデータ記憶装置内に記憶されることができる。仕様は、仮想遠隔装置をレンダリングする方法（例えば、レイアウト、ボタン、および他の制御等を規定する）、遠隔装置をエミュレートするために必要とされる通信チャンネル（例えば、ＩＲＤＡ仕様から）、そのチャネル上にエミュレートされるべき実際のコード（例えば、「チャンネル２」の選択と関連付けられた正確なＩＲパルスシーケンス等）等に関する命令を含むことができる。

【0031】

ユーザは、仮想遠隔装置をアクティブ化することができる。アクティブ化に応じて、ＡＲＤは、仮想遠隔装置をユーザの視野（ＦＯＶ）内にレンダリングすることができる。仮想遠隔装置は、物理的遠隔装置等の標的オブジェクトの機能をエミュレートすることができる。ユーザは、例えば、マウスをクリックする、タッチパッド上でタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざすまたはタッチする、キーボードまたはゲームコントローラ（例えば、５方向Ｄ－パッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって向ける、遠隔制御装置上のボタンを押下する、ユーザ入力デバイスとの他の相互作用等、ユーザ入力デバイスを作動させることによって、仮想遠隔装置をアクティブ化することができる。ユーザはまた、頭部、眼、または身体姿勢を使用して、例えば、ある時間周期にわたって、標的オブジェクトを注視する、またはそれに眼を向けること等によって、仮想遠隔装置をアクティブ化することができる。

【0032】

いくつかの実装では、仮想遠隔装置をアクティブ化するために、ユーザは、仮想遠隔装置と関連付けられた標的デバイスの選択を示すことができる。例えば、ユーザは、対応する仮想遠隔装置をアクティブ化するために、物理的遠隔装置の選択を示すことができる。図１に示されるように、ユーザが、物理的遠隔装置１０８の機能に基づく、仮想遠隔装置と相互作用することを所望する場合、ユーザは、タッチする、指を向ける、例えば、ピンチによってオブジェクトを視覚的に包囲する、または他の手のジェスチャを使用して等、手のジェスチャによって、物理的遠隔装置１０８を示してもよい。実施例として、ユーザは、ある長時間周期にわたって、物理的遠隔装置１０８の方向を指示してもよい。別の実施例として、ユーザは、物理的遠隔装置１０８を握持するための手のジェスチャを行うことによって、物理的遠隔装置１０８と関連付けられた仮想遠隔装置を選択してもよい。ユーザはまた、ユーザ入力デバイス（例えば、図１１に示されるユーザ入力デバイス１１０４）を使用して、物理的遠隔装置１０８を示してもよい。例えば、ユーザは、スタイラスを使用して、物理的遠隔装置を指示してもよい。ユーザはまた、仮想遠隔制御装置の親デバイスを選択することによって、仮想遠隔装置を選択することができる。ユーザは、そのような選択のために、手のジェスチャを使用して、ユーザ入力デバイスを作動させることができる。ユーザは、ＡＲＤを介して、環境１００ａを知覚することができる。ユーザは、ＴＶ１０４に対するピンチジェスチャを有する、その左腕１２０ａを知覚することができる。ＡＲＤは、本ピンチジェスチャをコマンドとして認識し、ＴＶ１０４と関連付けられた仮想遠隔装置をユーザにレンダリングおよび提示してもよい。別の実施例として、ユーザが、ＴＶ１０４を制御するための仮想遠隔装置を選択することを所望する場合、ユーザは、身体姿勢（ＴＶ１０４の握持またはＴＶ１０４の指示等）を使用して、ＴＶ１０４の選択を示すことができる。
（例示的拡張環境）

【0033】

ディスプレイであることに加え、ＡＲＤ（またはＭＲＤまたはＶＲＤ）は、入力デバイスでもあることができる。そのようなデバイスのための非限定的例示的入力モードは、ジェスチャ（例えば、手のジェスチャ）、またはポインタ、スタイラス、または他の物理的オブジェクトを利用する運動を含む。手のジェスチャは、手をある方向に向ける等のユーザの手の運動を伴うことができる。運動は、タッチ、押下、解放、上／下または左／右への摺動、軌道に沿った移動、または３Ｄ空間内の他のタイプの移動を含むことができる。いくつかの実装では、仮想ボタンまたはスライダ等の仮想ユーザインターフェース（ＵＩ）デバイスは、ユーザによって知覚される仮想環境内に現れることができる。これらのＵＩデバイスは、２次元（２Ｄ）または３次元（３Ｄ）ウィンドウ、アイコン、メニュー、ポインタ（ＷＩＭＰ）ＵＩデバイス（例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ^ＴＭ、またはＡｎｄｒｏｉｄ^ＴＭオペレーティングシステム内に現れるもの）に類似することができる。これらのＵＩデバイスの実施例は、仮想ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを含む。

【0034】

図２は、物理的環境と、拡張現実デバイスのユーザによって知覚される、仮想遠隔制御装置とを含む、拡張環境２００の実施例を図示する。仮想遠隔装置は、機能の一部または全部または物理的遠隔装置のレイアウトの少なくとも一部をミラーリングすることができる。これは、物理的遠隔装置の機能性またはレイアウトに慣れているユーザが、仮想遠隔制御装置を動作させることをより容易にし得る。ユーザによる仮想遠隔装置の選択に応じて、ＡＲＤは、視覚的にユーザの近傍に現れるように、仮想遠隔装置をレンダリングすることができる。例えば、図２に示されるように、ＡＲＤは、ユーザが仮想遠隔装置１２４と便宜的に相互作用し得るように、ユーザの手の届く範囲内（例えば、腕の長さ内）の３次元（３Ｄ）内の特定の場所に現れるように、制御パネル１２８を含む、仮想遠隔装置１２４をレンダリングすることができる。いくつかの実施形態では、ユーザがその環境内で動き回るにつれて、仮想遠隔は、故に、ユーザとともに移動し得る。例えば、ＡＲＤは、ユーザの環境内のユーザの現在の位置にかかわらず、仮想遠隔装置１２４をユーザからある距離に提示することができる。

【0035】

ＡＲＤは、ユーザの物理的環境上に重畳されるように、仮想遠隔装置１２４をレンダリングすることができる。例えば、ＡＲＤは、壁の正面にあるように、仮想遠隔装置１２４をレンダリングしてもよい。仮想遠隔装置１２４は、ユーザが、ユーザの物理的環境の一部をオクルードする仮想遠隔装置を知覚し得、仮想遠隔装置が環境の一部の正面にあるように現れるように、不透明レンダリングを有することができる。いくつかの実装では、仮想遠隔装置１２４は、ユーザに仮想遠隔装置を通して見え得るように、少なくとも部分的に透明であるようにレンダリングされてもよい。例えば、図２に示されるように、ユーザには、ユーザが窓および壁の正面にあるように仮想遠隔装置１２４を知覚し得る場合でも、窓枠および壁が見え得る。仮想遠隔装置（例えば、ユーザによってアクティブ化または作動され得るボタン等の仮想ＵＩデバイス）の一部は、仮想遠隔装置１２４が背景環境をあまりオクルードしないように、他の部分（例えば、身体またはフレーム）ほど透明ではないようにレンダリングされてもよい。

【0036】

ユーザはまた、仮想遠隔装置１２４のレンダリング場所、サイズ、または配向を移動させることができる。例えば、ユーザは、ユーザのより近く（またはより遠く）、上向きに／下向き、左／右等に、仮想遠隔装置１２４を移動させることができる。ユーザはまた、仮想遠隔装置１２４のレンダリング場所をユーザからある距離または（例えば、３次元内でユーザに現れるような）ユーザの環境内のある場所にあるように固定することができる。

【0037】

ユーザは、ポインタ（例えば、指、指先、またはスタイラス）を使用することによって、仮想遠隔装置１２４の仮想ＵＩデバイス（例えば、ボタン）の作動またはアクティブ化等のＵＩイベントを生じさせ、ＡＲＤまたはユーザの環境内のデバイス（例えば、ＴＶ１０４）と相互作用することができる。ＡＲＤは、ＮＮを使用して、仮想ＵＩデバイスのそのようなアクティブ化または仮想ＵＩデバイスおよびポインタに対するＵＩイベントを決定することができる。ＮＮは、下記にさらに詳細に説明される、ＡＲＤによってユーザに示されるＵＩデバイスの表現と異なり得る、ＵＩデバイスの表現を伴う画像を使用して、訓練されることができる。ＮＮを訓練するための１つ以上の画像上にレンダリングするためのＵＩデバイスの表現は、高コントラストの同心形状（または類似または同一重心を伴う形状）を含むことができる。ＵＩデバイスのそのような表現は、捕捉された画像（例えば、モノスコピック画像、画像のステレオスコピック対、または画像のマルチスコピックセット）上にレンダリングされることができる。ＡＲＤは、ＮＮを使用して、ユーザが仮想ＵＩデバイスと相互作用する間、ＡＲＤの外向きに向いたカメラを使用して捕捉されたポインタの画像を処理することによって、ＵＩイベントが生じたことを決定することができる。ＵＩデバイスの標準表現は、ＮＮが、画像を処理し、ＵＩイベントを決定することに先立って、ユーザによって知覚されるような捕捉された画像上にレンダリングされることができる。

【0038】

ＮＮを訓練するためのＵＩデバイスの表現は、いくつかの実装では、有利には、ＮＮを訓練するために使用される画像上にレンダリングされるとき、類似ＵＩデバイスが類似表現を有するように、標準化されることができる。例えば、いくつかの実装では、ＵＩデバイスの標準表現は、特定のタイプの任意のタイプのＵＩデバイスのために使用される、描写可能かつレンダリング可能な表現可視化である。ＮＮによって使用される標準表現は、ＡＲＤによってユーザに可視にされる表現と同一であってもよいが、そうである必要はない。特定のタイプのデバイスは、デバイスタイプ（例えば、テレビ遠隔制御装置、または製造業者別テレビ遠隔制御装置、または製造業者およびテレビクラス（例えば、ＬＣＤディスプレイ、ＬＥＤディスプレイ、対角線サイズ、価格等）別テレビ遠隔制御装置）の産業規格または他の論理グループ化または分類学に従って、配列されることができる。他の場合では、標準表現は、押下可能ボタンのための標準表現、スライダバーのための標準表現、タッチスクリーンのための標準表現等の機能性を参照してもよい。ＮＮを訓練するためのＵＩデバイスの標準化された表現は、ＵＩデバイスの標準表現と称され得る。例えば、異なるタイプのボタンは、ＮＮを訓練するために使用される画像上にレンダリングされるとき、類似表現を有することができる。いくつかの実装では、標準化された表現は、同一タスク、類似タスク（例えば、ボタンの押下または押下されたボタンの解放）、または異なるタスク（例えば、指を用いたタッチまたは指向等の異なるタイプのＵＩイベントを識別する）に関して複数のＮＮを訓練するために標準化されることができる。

【0039】

図２では、ユーザは、ＡＲＤを使用して、環境２００を知覚することができる。環境２００は、ＴＶ１０４、ＴＶ１０４を制御するための物理的遠隔装置１０８、ＴＶスタンド１１２、および窓１１６等の物理的オブジェクトを含むことができる。環境２００はまた、仮想遠隔装置１２４を含むことができる。仮想遠隔装置１２４は、物理的遠隔装置１０８の機能をエミュレートし、ＴＶ１０４を制御することができる。例えば、仮想遠隔装置１２４のボタン１３２ａ等の仮想ＵＩデバイスのレイアウトおよび機能は、物理的遠隔装置１０４の物理的ボタンと実質的に同一であってもよい。

【0040】

仮想遠隔装置１２４は、仮想キーボード、仮想ボタン、仮想スイッチ、トグル、またはスライダ、仮想タッチ表面、またはその任意のコンポーネント（例えば、キーボードのキー）等の仮想ＵＩデバイスを含んでもよい。これらの仮想ＵＩデバイスは、仮想遠隔装置１２４の制御パネル１２８の一部であってもよい。仮想遠隔装置１２４と相互作用するために、ユーザは、仮想ＵＩデバイスに対するＵＩイベント（例えば、アクティブ化または非アクティブ化）を開始することができる。例えば、ユーザは、タッチする、押下する、解放する、上／下または左／右に摺動させる、軌道に沿って移動させる、または３Ｄ空間内の他のタイプの移動によって、仮想ＵＩデバイス１３２ａと相互作用することができる。

【0041】

仮想遠隔装置１２４の仮想ボタン等の仮想ＵＩデバイスの作動またはアクティブ化に応じて、ＡＲＤは、物理的遠隔装置１０８であるかのように、ＴＶ１０４と通信してもよい。実施例として、図２では、ユーザは、ポインタ（例えば、右手１２０ｂの指またはスタイラス）を使用して、仮想ＵＩデバイス１３２ａをアクティブ化することができる。ＡＲＤは、外向きに向いた結像システムを使用して、ポインタの場所を結像することができる。下記にさらに説明されるように、ポインタの場所に基づいて、ＡＲＤは、仮想ＵＩデバイスおよびポインタに対するＵＩイベント（アクティブ化等）を算出することができる。図２に描写される実施例では、ＡＲＤは、ユーザの右人差し指がボタン１３２ａをアクティブ化することを決定することができる。手のジェスチャを使用して仮想ボタンをアクティブ化することに加え、ユーザはまた、スタイラス、ポインタ、ワンド、またはトーテム等のユーザ入力デバイスを使用して、仮想ボタンをアクティブ化することができる。

【0042】

いったんＡＲＤが、ユーザが仮想遠隔装置１２４の仮想ＵＩデバイスをアクティブ化したことを検出すると、ＡＲＤは、故に、ＩＲエミッタ等の信号生成器を介して、信号を対応するデバイス（例えば、ＴＶ１０４）に送信し、デバイスに、ユーザによる仮想ＵＩデバイスに基づくアクションを実施するように命令することができる。例えば、ユーザは、仮想遠隔装置１２４上の仮想ボタン１３２ａをタッチすることができる。本ボタン１３２ａが、ＴＶ１０４の音量を増加させることと関連付けられる場合、ＡＲＤは、故に、信号（ＡＲＤ上のＩＲエミッタによって生成されるＩＲ信号等）を生成し、信号をＴＶ１０４（ＩＲ検出器を有し得る）に通信し、それによって、ＴＶ１０４にその音量を増加させることができる。ＡＲＤによって生成された信号は、対応する物理的遠隔制御装置によって生成されるであろうものと同一信号であることができる。

【0043】

信号が照準線信号（ＴＶのＩＲ検出器に指向されなければならない、ＩＲ信号等）である場合、ＡＲＤ上のエミッタは、デバイスに向かって指向される必要があり得る（物理的遠隔制御装置がその関連付けられたデバイスに向けられなければならないように）。有利には、ＡＲＤは、要求されるコマンド（例えば、ＴＶ１０４の音量を増加させる、またはチャネルを変更するため）が生じたかどうかを決定するように構成されてもよい（例えば、それぞれ、ＡＲＤ上のマイクロホンを使用して、音強度の増加を決定する、または外向きに向いたカメラを使用して、ＴＶ１０４のディスプレイが変化したことを決定することによって）。コマンドの効果が、制御されているデバイスによって生産されなかった場合、ＡＲＤは、ＡＲＤのエミッタが制御されているデバイスに向かって指向されるように、ユーザに、ユーザの姿勢を変化させるように命令してもよい。例えば、ＡＲＤは、ユーザの頭部を制御されているデバイスに向かって向けるように、視覚的グラフィック（または可聴命令）を生成してもよい。いくつかの実装では、ＡＲＤとデバイスとの間の通信は、妨害されない照準線を要求しなくてもよく（例えば、無線ＲＦ信号または超音波音響信号が使用されるとき）、前述の機能性は、随意であってもよい。

【0044】

ユーザが、仮想遠隔装置１０４とのやりとりを終えると、ユーザは、手のジェスチャを使用して、仮想遠隔装置１２４の表示を消失させてもよい。実施例として、ユーザがＴＶ番組を鑑賞している間、ユーザは、仮想遠隔装置をこれ以上必要ではないことを決定し得る。その結果、ユーザは、その手を振り、仮想遠隔装置１２４とのやりとりを終えたことを示してもよい。ユーザはまた、仮想遠隔装置１２４上の仮想ＵＩデバイス（例えば、電源ボタン１３６ａ）を押下し、仮想遠隔装置１２４を閉じてもよい。ＡＲＤは、それに応答して、仮想遠隔装置１２４の表示を中止する、または実質的に殆ど視覚的に知覚可能ではない（例えば、増加された透明度を伴う）ように、仮想遠隔装置１２４を表示してもよく、これは、ユーザが後に仮想遠隔装置１２４を選択することを補助し得る。

【0045】

ある実装では、ＡＲＤは、自動的に、またはユーザコマンドに応答して、一時的に、仮想遠隔装置１２４をユーザのＦＯＶから隠す、または仮想遠隔装置をユーザのＦＯＶ外またはユーザのＦＯＶの縁に移動させてもよい。例えば、ＡＲＤはまた、閾値条件が満たされる場合、仮想遠隔装置１２４を自動的に隠してもよい。ＡＲＤは、仮想遠隔装置１２４のボタン等の仮想ＵＩデバイスのいずれも、閾値時間周期（１０秒、１分、２分等）にわたってアクティブではなかったことを検出することができる。ＡＲＤは、仮想遠隔装置１２４の透明度を増加させること等によって、仮想遠隔装置１２４を徐々にフェードアウトさせることができる。例えば、仮想遠隔装置１２４は、フェードアウトプロセスの一部として、不透明から透明に変化してもよい。ＡＲＤはまた、仮想遠隔装置１２４の可視性を減少させることによって、仮想遠隔装置１２４をフェードアウトさせることができる。例えば、ＡＲＤは、仮想遠隔装置１２４のサイズを徐々に低減させる、または仮想遠隔装置１２４の色を暗色から明色に変化させることができる。

【0046】

本明細書のいくつかの実施例は、仮想遠隔制御装置を使用して（例えば、仮想遠隔制御装置のボタン等の１つ以上の仮想ＵＩデバイスをアクティブ化して）、物理的デバイス（例えば、物理的テレビ）を制御するコンテキストで説明されるが、これは、例証のみのためのものであって、限定することを意図するものではない。仮想遠隔制御装置または仮想ＵＩデバイスの実施形態は、加えて、または代替として、仮想デバイスを制御するためにも使用されることができる。例えば、ＡＲＤのユーザは、仮想遠隔制御装置を使用して、ＡＲＤによってレンダリングされ、ユーザに表示される、仮想テレビを制御することができる。
（ＵＩデバイスの表現の例示的レンダリング）

【0047】

本明細書に開示されるのは、例示的入力および標的出力を含む、訓練セットを生成し、訓練セットを使用して、ニューラルネットワーク（ＮＮ）を訓練し、訓練されたＮＮを使用するためのシステムおよび方法である。ＮＮのトポロジは、Ａｌｅｘ－Ｎｅｔまたはその派性物等の任意の機能トポロジであることができる。ＮＮのトポロジは、再帰ネットワークを含むことができ、これは、時間的コンテキストをカテゴリ分類に提供するために使用され得る。

【0048】

ＮＮは、カテゴリ別である、入力データセットを使用して、訓練されることができる。例えば、異なるＵＩイベント（例えば、仮想ＵＩデバイスが、アクティブ化される、またはアクティブ化されない）は、入力データセット内の異なるカテゴリ値に対応し得る。いくつかの実施形態では、入力データセットは、いくつかの定量的値を含むことができる。ＮＮは、異なるカテゴリ値に対応する、２つ以上の状態、例えば仮想ＵＩデバイスがアクティブ化されている状態および仮想ＵＩデバイスがアクティブ化されていない状態等を認識するように訓練されることができる。例えば、仮想ＵＩデバイスが、ボタンである場合、ＮＮは、状態、すなわち、「押下されている」および「押下されていない」を認識するように訓練されることができる。「タッチ」等の他の状態も、可能性として考えられ得る。

【0049】

例示的入力および標的出力は、それら上にレンダリングされた仮想ＵＩデバイスの表現を伴う、画像を含むことができる。画像上にレンダリングされたＵＩデバイスの表現は、ユーザに可視の表現ではなく、むしろ、特定のタイプのＵＩデバイスのために使用され得る、描写可能かつレンダリング可能な可視化であってもよい。例えば、全てのボタンタイプのＵＩデバイスは、いくつかの実装では、白色一色の円板として表され得る。

【0050】

いくつかの実施形態では、訓練されたＮＮは、カメラ画像を使用して、ＵＩイベントが生じたかどうかを決定することができる。カメラは、ポインタ（例えば、指またはスタイラス）が見えるように設置されることができ、捕捉された画像は、ＮＮに入力として与えられることができる。ＮＮの出力は、ＵＩイベントが生じたかどうかに関する決定と、該当する場合、生じた特定のＵＩイベントとを含むことができる。

【0051】

いくつかの実施形態では、ＵＩデバイスは、ＮＮを訓練するためのその表現において、訓練時および動作時の両方で、ＮＮに入力される全ての画像上にレンダリングされることができる。「～上にレンダリングされる」とは、ＵＩデバイスが、その表現において、画像を捕捉するために使用されるカメラの場所から視認される（かつ単独で、または組み合わせて、カメラおよびその関連付けられたレンズの測定された固有のパラメータに適切な視錐台を伴う（固有のパラメータは、例えば、カメラの焦点距離、主点オフセット、および軸歪を含むことができる））場合、その仮想場所にあるであろうように、精密に現れるようにレンダリングされることを指し得る。

【0052】

このように、画像は、ポインタおよび仮想ＵＩデバイスの表現の両方を含有する、拡張画像である。ＮＮが、訓練されると、提示される全ての画像は、それぞれ上にレンダリングされた１つ以上の仮想ＵＩデバイスのそのような表現を有することができる。各そのような画像は、その状態（例えば、「ボタンが押下される」）と関連付けられることができる。ＵＩデバイスが、画像上にレンダリングされ得るが、仮想ＵＩデバイスが、アクティブ化され得ない（例えば、「ボタンが押下されない」）、ネガティブな実施例も同様に、訓練プロセスの間、ＤＮＮのために提供されることができる。

【0053】

図２は、物理的環境と、拡張現実デバイスのユーザによって知覚される、仮想遠隔制御装置とを含む、拡張環境２００の実施例を図示する。遠隔制御装置１２４と、仮想ＵＩイベント（例えば、ボタン１３２ａ）とを含む、ユーザインターフェースが、任意の適切なグラフィカル形態において、ユーザに視覚的に提示されることができる。ＤＮＮは、ユーザによって知覚され、カメラ（図１１における外向きに向いた結像システム１１５４等）によって捕捉される、ユーザの環境の画像の修正バージョンを与えられることができる。例えば、修正された画像は、ユーザに実際に示されるバージョン（図３）ではない、ＵＩデバイスのための標準化された表現等の注釈が付けられた仮想ＵＩデバイスを含むことができる。図３は、拡張現実デバイスの結像デバイスによって捕捉されたユーザによって知覚される物理的環境に対応する画像上にレンダリングされる、仮想遠隔制御装置のボタンの表現の実施例を図示する。

【0054】

いくつかの実施形態では、ボタンまたはＵＩデバイスの表現は、表現がポインタ（図３）の「上部」（例えば、画像の視点から）に現れ得るように、オクルージョンを伴わずにレンダリングされることができる。例えば、ボタン１３２ａの表現１３２ｂは、ユーザの指先がオクルードされている、図３に示される。ボタン１３２ａの表現１３２ｂは、ユーザの指先の「上部」に現れる。ＮＮは、有利には、ＮＮが、オクルージョンを伴って、または伴わずにレンダリングされた表現を伴う画像を使用して訓練されたかどうかにかかわらず、オクルージョンを伴って、または伴わずにレンダリングされた表現を伴う画像内のＵＩイベントを決定することができる。ＵＩデバイスの表現の実施例は、図５Ａ－５Ｄを参照して下記に説明される。

【0055】

いくつかの実施形態では、ポインタおよび仮想ＵＩデバイスの場所もまた、考慮され得る。いくつかの実施形態では、焦点が、ポインタと仮想ＵＩデバイスとの間の相互作用または交差を決定するために使用されてもよい。ポインタ先端およびＵＩデバイスは、相互作用およびＵＩイベントが生じるために、同一焦点状態にある必要があり得る。

【0056】

いくつかの実施形態では、複数の仮想ＵＩデバイスが、ユーザに同時に提示されてもよい。例えば、図２に示されるように、ユーザは、ボタン１３２ａ、１３６ａ等の遠隔制御装置１２４の複数の仮想ＵＩデバイスを知覚することができる。その上にレンダリングされた表現を伴う画像は、複数のボタンの表現（例えば、図３に示されるように、ボタン１３２ａ、１３６ａの表現１３２ｂ、１３６ｂ）を含むことができる。ＵＩイベントに関わる特定の仮想ＵＩデバイスが、決定されることができる。例えば、訓練セットを生成するとき、ＵＩイベントに関わる仮想ＵＩデバイスが、画像が捕捉された後、遡及的に決定されることができる。仮想ＵＩデバイスに対するポインタの位置特定に基づく方法が、要求される精度が低くあり得るため、本遡及的決定のために使用されることができる。

【0057】

いくつかの実施形態では、訓練セットは、対のステレオスコピック画像を含むことができる。例えば、ＡＲＤの前向きに向いた結像システムは、ステレオスコピック画像を捕捉するために、２つ以上の結像デバイス（例えば、カメラ）を含むことができる。図４Ａおよび４Ｂは、ボタンの表現が画像上にレンダリングされている、拡張現実デバイスの２つの結像デバイスによって捕捉された画像の例示的ステレオスコピック対４００ａ、４００ｂを図示する。例えば、ボタン１３２ａ、１３６ａの表現１３２ｂ１、１３６ｂ１が、画像４００ａに示され、ボタン１３２ａ、１３６ａの対応する表現１３２ｂ２、１３６ｂ２が、画像４００ｂに示される。対の画像４００ａ、４００ｂ内のボタン１３２ａの表現１３２ｂ１、１３２ｂ２は、ユーザの指先の「上部」に現れる。図４Ａ－４Ｂでは、画像４００ａ、４００ｂ内の左手１２０ａとＴＶ１０４の場所間の可視差違によって見られるように、左手１２０ａが、右手１２０ｂよりユーザに近く、テレビ１０４および背景（例えば、壁）は、右手１２０ｂからより遠くにある。右手１２０ｂおよびＵＩデバイスおよびその表現（例えば、ボタン１３２ａ、１３６ａおよびその対応する表現１３２ｂ１、１３２ｂ２、１３６ｂ１、１３６ｂ２）は、同一深度にあるため、右手１２０ｂおよびＵＩデバイスとその表現との間の相対的相違点は、存在しない。いくつかの実装では、モノスコピック画像のセットが、ＮＮを訓練し、ＮＮを使用して、ＵＩイベントを決定する際に使用されることができる。例えば、ＡＲＤの前向きに向いた結像システムは、マルチスコピック画像を捕捉するために、複数の結像デバイス（例えば、カメラ）を含むことができる。その場合、そのようなＮＮは、有利には、より優れた結果を有することが予期され得る。
（ＵＩデバイスの例示的表現）

【0058】

図５Ａ－５Ｄは、ユーザインターフェース（ＵＩ）デバイスの例示的表現を図示する。ＵＩデバイスの明確に異なる画像を促進するために、ＮＮを訓練するためのＵＩデバイスの表現は、高コントラストの同心形状（または類似または同一重心を伴う形状）を含むことができる。図５Ａは、指先５１６ａによるオクルージョンを伴わずに指先５１６ａ上にレンダリングされる３つの同心リング５０４ａ－５１２ａを伴う、ボタンの表現５００ａを示す。表現５００ａは、黒色リング５０８ａの外側の白色リング５０４ａと、黒色リング５０８ａ内の白色リング５１２ａとを伴う、黒色リング５０８ａを含むことができる。図５Ａ（および図５Ｂ－５Ｄ）における白色リング５０４ａおよび５１２ａに隣接して示される点線は、ボタン５００ａの表現の一部ではない。点線は、レンダリングされている表現５００ａを囲繞する、外向きに向いた結像システムによって捕捉された画像の部分から白色リングの輪郭を描くために図５Ａに示される。

【0059】

図５Ｂは、指先５１６ｂによるオクルージョンを伴わずに指先５１６ｂ上にレンダリングされる２つの同心リング５０４ｂ－５０８ｂを伴う、ボタンの表現５００ｂを示す。表現５００ｂは、黒色リング５０８ｂの外側の白色リング５０４ｂを伴い、黒色リング５０８ｂ内の白色リングを伴わない、黒色リング５０８ｂを含むことができる。図５Ｃは、指先５１６ｃによるオクルージョンを伴わずに指先５１６ｃ上にレンダリングされる２つのリング５０４ｃ－５０８ｃおよび円形５１２ｃを伴う、ボタンの表現５００ｃを示す。表現５００ｃは、黒色リング５０８ｃの外側の白色リング５０４ｃと、黒色リング５０８ｃ内の白色円形とを伴う、黒色リング５０８ｃを含むことができる。

【0060】

図５Ｄは、指先５１６ｄによるオクルージョンを伴わずに指先５１６ｄ上にアルファブレンディングとともにレンダリングされた３つの同心リング５０４ｄ－５１２ｄを伴う、ボタンの表現５００ｄを示す。表現５００ｄは、リングが黒色リングからの距離が増加するにつれてますます透明になる（例えば、アルファ透明度値がゼロに接近する）ようなアルファブレンディングとともにレンダリングされる、黒色リング５０８ｄの外側の白色リング５０４ｄと、黒色リング５０８ａ内の白色リング５１２ｄとを伴う、黒色リング５０８ｄを含むことができる。白色リング５の上部に示される４つの点線は、ボタン５００ｄの表現の一部ではない。これらの点線は、異なる透明度値を伴う白色リング５１２ｄの領域の輪郭を描くために図５Ｄに示される。いくつかの実施形態では、白色リング５１２ｄの４つの領域は、異なる透明度値を伴う４つの同心リング５１２ｄ１－５１２ｄ４と見なされ得る。

【0061】

いくつかの実装では、ＮＮを訓練するための画像上への表現レンダリングは、ポインタによるオクルージョンを考慮する場合とそうではない場合がある。例えば、ポインタの画像は、構造化された光投影、飛行時間カメラ、またはそれらの組み合わせのいずれかを用いて、ステレオスコピカルに捕捉されることができる。これらの画像から、被写界深度が、任意の画像と関連付けられることができる。本被写界深度は、訓練および入力データの両方をレンダリングするとき、オクルージョンをＵＩデバイスの表現に提供するために使用されることができる。
（例示的機械学習モデルおよびＮＮ）

【0062】

いくつかの実施形態では、機械学習モデルは、分類モデルを備える。分類モデルは、教師あり分類モデル、半教師あり分類モデル、教師なし分類モデル、またはそれらの組み合わせを備えることができる。機械学習モデルは、ニューラルネットワーク、線形回帰モデル、ロジスティック回帰モデル、決定ツリー、サポートベクトルマシン、単純ベイズネットワーク、ｋ－最近傍（ＫＮＮ）モデル、ｋ－平均モデル、ランダムフォレストモデル、または任意のそれらの組み合わせを備えることができる。機械学習モデルは、関連付けルール学習モデル、誘導論理プログラミングモデル、強化学習モデル、特徴学習モデル、類似性学習モデル、疎密辞書学習モデル、遺伝的アルゴリズムモデル、ルールベースの機械学習モデル、学習分類子システムモデル、または任意のそれらの組み合わせを備えることができる。

【0063】

深層ニューラルネットワーク（ＤＮＮ）等のニューラルネットワーク（ＮＮ）の層は、線形または非線形変換をその入力に適用し、その出力を生成することができる。深層ニューラルネットワーク層は、正規化層、畳み込み層、ソフトサイン層、正規化線形層、連結層、プーリング層、再帰層、インセプション様層、または任意のそれらの組み合わせであることができる。正規化層は、例えば、Ｌ２正規化を用いて、その入力の明度を正規化し、その出力を生成することができる。正規化層は、例えば、相互に対して一度に複数の画像の明度を正規化し、複数の正規化された画像をその出力として生成することができる。明度を正規化するための非限定的例示的方法は、ローカルコントラスト正規化（ＬＣＮ）またはローカル応答正規化（ＬＲＮ）を含む。ローカルコントラスト正規化は、平均値ゼロおよび分散１（または他の値の平均値および分散）を有するようにピクセル毎に画像のローカル領域を正規化することによって、画像のコントラストを非線形に正規化することができる。ローカル応答正規化は、平均値ゼロおよび分散１（または他の値の平均値および分散）を有するように、画像をローカル入力領域にわたって正規化することができる。正規化層は、訓練プロセスを加速させ得る。

【0064】

畳み込み層は、その入力を畳み込み、その出力を生成する、カーネルのセットに適用されることができる。ソフトサイン層は、ソフトサイン関数をその入力に適用することができる。ソフトサイン関数（ｓｏｆｔｓｉｇｎ（ｘ））は、例えば、（ｘ／（１＋｜ｘ｜））であることができる。ソフトサイン層は、要素毎誤対応の影響を無視し得る。正規化線形層は、正規化線形層単位（ＲｅＬＵ）またはパラメータ化された正規化線形層単位（ＰＲｅＬＵ）であることができる。ＲｅＬＵ層は、ＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＲｅＬＵ関数ＲｅＬＵ（ｘ）は、例えば、ｍａｘ（０，ｘ）であることができる。ＰＲｅＬＵ層は、ＰＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＰＲｅＬＵ関数ＰＲｅＬＵ（ｘ）は、例えば、ｘ≧０の場合はｘおよびｘ＜０の場合はａｘであることができ、ａは、正の数である。連結層は、その入力を連結し、その出力を生成することができる。例えば、連結層は、４つの５×５画像を連結し、１つの２０×２０画像を生成することができる。プーリング層は、その入力をダウンサンプリングし、その出力を生成する、プーリング関数を適用することができる。例えば、プーリング層は、２０×２０画像を１０×１０画像にダウンサンプリングすることができる。プーリング関数の非限定的実施例は、最大プーリング、平均プーリング、または最小プーリングを含む。

【0065】

時間点ｔでは、再帰層は、隠蔽された状態ｓ（ｔ）を算出することができ、再帰接続は、時間ｔにおける隠蔽された状態ｓ（ｔ）を再帰層に後続時間点ｔ＋１における入力として提供することができる。再帰層は、時間ｔにおける隠蔽された状態ｓ（ｔ）に基づいて、時間ｔ＋１においてその出力を算出することができる。例えば、再帰層は、ソフトサイン関数を時間ｔにおいて隠蔽された状態ｓ（ｔ）に適用し、時間ｔ＋１におけるその出力を算出することができる。時間ｔ＋１における再帰層の隠蔽された状態は、その入力として、時間ｔにおける再帰層の隠蔽された状態ｓ（ｔ）を有する。再帰層は、例えば、ＲｅＬＵ関数をその入力に適用することによって、隠蔽された状態ｓ（ｔ＋１）を算出することができる。インセプション様層は、正規化層、畳み込み層、ソフトサイン層、ＲｅＬＵ層およびＰＲｅＬＵ層等の正規化線形層、連結層、プーリング層、または任意のそれらの組み合わせのうちの１つ以上のものを含むことができる。

【0066】

ＮＮ内の層の数は、異なる実装では異なり得る。例えば、ＤＮＮ内の層の数は、５０、１００、２００、またはそれを上回り得る。深層ニューラルネットワーク層の入力タイプは、異なる実装では異なり得る。例えば、層は、いくつかの層の出力をその入力として受信することができる。層の入力は、５つの層の出力を含むことができる。別の実施例として、層の入力は、ＮＮの層の１％を含むことができる。層の出力は、いくつかの層の入力であることができる。例えば、層の出力は、５つの層の入力として使用されることができる。別の実施例として、層の出力は、ＮＮの層の１％の入力として使用されることができる。

【0067】

層の入力サイズまたは出力サイズは、非常に大きくあることができる。層の入力サイズまたは出力サイズは、ｎ×ｍであることができ、ｎは、入力または出力の幅を示し、ｍは、高さを示す。例えば、ｎまたはｍは、１１、２１、３１、またはそれを上回ることができる。層の入力または出力のチャネルサイズは、異なる実装では異なり得る。例えば、層の入力または出力のチャネルサイズは、４、１６、３２、６４、１２８、またはそれを上回ることができる。層のカーネルサイズは、異なる実装では異なり得る。例えば、カーネルサイズは、ｎ×ｍであることができ、ｎは、カーネルの幅を示し、ｍは、高さを示す。例えば、ｎまたはｍは、５、７、９、またはそれを上回ることができる。層のストライドサイズは、異なる実装では異なり得る。例えば、深層ニューラルネットワーク層のストライドサイズは、３、５、７、またはそれを上回ることができる。

【0068】

いくつかの実施形態では、ＮＮは、ＮＮの出力をともに算出する、複数のＮＮを指し得る。複数のＮＮの異なるＮＮは、異なるタスクに関して訓練されることができる。例えば、複数のＮＮの異なるＮＮは、類似タイプの仮想ＵＩデバイスおよびポインタに対する異なるＵＩイベント（例えば、タッチまたは指向等の仮想ＵＩデバイスの異なるタイプのアクティブ化）の発生を決定するために訓練されることができる。別の実施例として、複数のＮＮの異なるＮＮは、類似タイプの仮想ＵＩデバイスおよび異なるポインタ（例えば、スタイラスまたは指先）に対する類似ＵＩイベントの発生を決定するために訓練されることができる。さらなる実施例として、複数のＮＮの異なるＮＮは、異なるタイプの仮想ＵＩデバイス（例えば、ボタンまたはスライダ）およびポインタに対する類似ＵＩイベントの発生を決定するために訓練されることができる。プロセッサ（例えば、図９におけるローカルデータ処理モジュール９２４のプロセッサ）は、複数のＮＮのＮＮの出力を算出し、ＮＮの出力を決定することができる。例えば、複数のＮＮのＮＮの出力は、尤度スコアを含むことができる。プロセッサは、複数のＮＮの異なるＮＮの出力の尤度スコアに基づいて、複数のＮＮを含む、ＮＮの出力を決定することができる。
（例示的ニューラルネットワーク訓練方法）

【0069】

図６は、ユーザインターフェースデバイスの表現を使用してユーザインターフェースイベントを決定するための機械学習モデル（例えば、ニューラルネットワーク）訓練の例証的方法６００のフロー図を示す。ブロック６０４では、ポインタの画像が、受信されることができる。画像は、画像内の画像場所における仮想ユーザインターフェース（ＵＩ）デバイス（例えば、仮想ボタン）と関連付けられることができる。画像は、ＵＩデバイスおよびポインタに対するＵＩイベント（例えば、ボタンが押下されている）と関連付けられることができる。

【0070】

ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちの状態に対応することができる。複数の状態は、タッチ、押下、解放、上／下または左／右への摺動、軌道に沿った移動、または他のタイプの移動等の仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える。ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせであることができる。ＵＩポインタは、ポインタ、ペン、鉛筆、マーカ、ハイライター、ユーザの指、またはそれらの組み合わせ等、ユーザと関連付けられたオブジェクトまたはユーザの一部であることができる。

【0071】

ブロック６０８では、仮想ＵＩデバイスの表現は、その画像場所における画像上にレンダリングされ、訓練画像を生成することができる。仮想ＵＩデバイスの本表現は、ユーザに示されるＵＩデバイスの表現（例えば、定型化されたボタン）と異なり得る。ある場合には、表現は、本明細書に説明されるように、標準表現である。画像上にレンダリングされる仮想ＵＩデバイスの表現は、複数の高コントラストの形状を含むことができる。いくつかの実施形態では、複数の高コントラストの形状は、複数の高コントラストの同心形状を含む。代替として、または加えて、複数の形状のうちの形状の重心は、相互の閾値距離内にあることができる。閾値距離は、複数の形状のうちの形状のサイズの０、１、２、５、１０、またはそれを上回るピクセルまたはパーセンテージ（例えば、０％、０．１％、１％、２％、またはそれを上回る）に基づくことができる。

【0072】

いくつかの実施形態では、複数の形状は、相互に隣接する、第１の形状および第２の形状を含むことができる。例えば、第１の形状は、第２の形状の内外にあることができる。複数の形状のうちの第１の形状は、第１の色（例えば、黒色または暗色）と関連付けられることができる。複数の形状のうちの第２の形状は、第２の色（例えば、白色または明色）と関連付けられることができる。第２の形状は、部分的に透明であることができる。例えば、第２の形状は、第１の領域と、第２の領域とを含むことができる。第２の形状の第２の領域は、第２の形状の第１の領域からより離れていることができる。第２の形状の第１の領域は、第１の透明度値（例えば、アルファ透明度値）と関連付けられることができる。第２の形状の第２の領域は、第２の透明度値と関連付けられる。第２の透明度値は、第１の透明度値より小さくあることができる。例えば、第１の領域からより離れた第２の領域は、より大きい透明度値を有することができ、より透明である。複数の高コントラストの形状は、第３の色（例えば、白色または明色）を伴う、第３の形状を含むことができる。第１の形状は、第１の形状に隣接することができる。例えば、第３の形状は、第１の形状の内外にあることができる。

【0073】

ブロック６１２では、入力データと、対応する標的出力データとを含む、訓練セットが、生成されることができる。入力データは、訓練画像を含むことができる。標的出力データは、ＵＩイベントを含むことができる。いくつかの実施形態では、訓練セットは、対のステレオスコピック画像またはマルチスコピック画像のセットを含むことができる。例えば、仮想ＵＩデバイスの第１の表現は、一対のステレオスコピック画像の第１の画像上にレンダリングされることができる。仮想ＵＩデバイスの第２の表現は、対のステレオスコピック画像の第２の画像上にレンダリングされることができる。２つの表現は、異なる、同一である、または異なるサイズを有することができる。

【0074】

ブロック６１６では、ニューラルネットワーク（ＮＮ）が、ＵＩイベントを決定するために、訓練セットを使用して訓練されることができる。訓練セットは、ＮＮを訓練するためのＵＩデバイスの表現を伴う、モノスコピック画像、対のステレオスコピック画像、またはマルチスコピック画像のセットを含むことができる。ＮＮを訓練するプロセスは、ネットワークに、訓練セットの入力データおよび対応する標的出力データの両方を提示するステップを伴う。訓練プロセスを通して、ネットワークの加重は、ネットワークの出力が、訓練セットからの特定の入力データを前提として、その特定の入力データに対応する標的出力に合致するようになる（例えば、可能な限り、近似的に）ように、漸次的または反復的に適合されることができる。
（ユーザインターフェースイベント決定の例示的方法）

【0075】

図７は、ユーザインターフェースデバイスの表現を使用してユーザインターフェースイベントを決定するために、機械学習モデル（例えば、ニューラルネットワーク）を使用する、例証的方法のフロー図を示す。頭部搭載可能またはウェアラブルＡＲＤまたはディスプレイシステム等のユーザデバイスが、方法７００を実装することができる。ブロック７０４では、ＡＲＤは、訓練画像を含む訓練セットを使用して訓練されたニューラルネットワーク（ＮＮ）を受信することができる。訓練画像は、ポインタと、仮想ＵＩデバイスの表現とを含むことができる。訓練画像は、仮想ＵＩデバイスおよびポインタに対するＵＩイベントと関連付けられることができる。例えば、ＮＮは、方法６００を使用して訓練されたＮＮであることができる。

【0076】

ブロック７０８では、ＡＲＤは、ポインタの画像を受信することができる。画像は、画像場所における仮想ＵＩデバイスと関連付けられる。例えば、画像は、仮想デバイスがＡＲＤによってユーザに表示されると、ＡＲＤの前向きに向いた結像システムによって捕捉されることができる。ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせであることができる。ＵＩポインタは、ポインタ、ペン、鉛筆、マーカ、ハイライター、ユーザの指、またはそれらの組み合わせ等、ユーザと関連付けられたオブジェクトまたはユーザの一部であることができる。

【0077】

ブロック７１２では、ＡＲＤは、仮想ＵＩデバイスの表現を仮想ＵＩデバイスと関連付けられた画像場所における画像上にレンダリングすることができる。方法６００を参照して詳細に説明されるように、仮想ＵＩデバイスの表現は、その画像場所における画像上にレンダリングされ、訓練画像を生成することができる。仮想ＵＩデバイスの表現は、複数の高コントラストの形状を含むことができる。いくつかの実施形態では、複数の高コントラストの形状は、複数の高コントラストの同心形状を含む。代替として、または加えて、複数の形状のうちの形状の重心は、相互の閾値距離内にあることができる。いくつかの実施形態では、複数の形状は、異なる色（例えば、黒色、暗色、白色、または明色）の隣接する形状を含むことができる。ブロック７１２においてＡＲＤによってレンダリングされた仮想ＵＩデバイスの表現は、訓練画像を生成するためにブロック６０８においてレンダリングされたＵＩデバイスの表現と類似または同一であることができる。

【0078】

ブロック７１６では、ＡＲＤは、ＮＮを使用して、画像内のポインタに対するＵＩイベントと、画像と関連付けられた仮想ＵＩデバイスとを決定することができる。ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちの状態に対応することができる。複数の状態は、タッチ、押下、解放、上／下または左／右への摺動、軌道に沿った移動、または他のタイプの移動等、仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える。随意に、ＡＲＤは、ＵＩイベント決定に基づいて、仮想コンテンツ、仮想画像情報、またはその修正バージョンを生成し、そのディスプレイを介して、仮想コンテンツをＡＲＤの装着者に提供させることができる。加えて、または代替として、ＡＲＤは、ＵＩイベントに基づいて、アクションを実施することができる。例えば、ＡＲＤは、図１を参照して説明されるＴＶ１０４をオンにさせることができる。ＵＩイベントに基づいて、仮想コンテンツを生成する、またはアクションを実施するステップの説明は、２０１７年１２月１日に出願され、「ＶＩＲＴＵＡＬ ＵＳＥＲ ＩＮＰＵＴ ＣＯＮＴＲＯＬＳ ＩＮ Ａ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＥＮＶＩＲＯＮＭＥＮＴ」と題された米国特許出願第１５／８２９，２４９号（その内容は、参照することによってその全体として本明細書に組み込まれる）に提供される。
（例示的拡張現実シナリオ）

【0079】

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが現実であるように見える、またはそのように知覚され得る様式において、ユーザに提示される。仮想現実「ＶＲ」シナリオは、典型的には、他の実際の実世界視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う、拡張現実「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてデジタルまたは仮想画像情報の提示を伴う、または複合現実「ＭＲ」シナリオは、典型的には、実および仮想世界の融合を伴い、新しい環境を生成し、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する。結論からいうと、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲの生成は、困難である。本明細書に開示される、システムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

【0080】

図８は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。図８は、拡張現実場面８００を描写し、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム８２０を特徴とする、実世界公園状設定８１０が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム８２０上に立っているロボット像８３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ８４０（例えば、マルハナバチ）とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

【0081】

３次元（３Ｄ）ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

【0082】

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、深度の真実味のある知覚を提供する。ＶＲ、ＡＲ、およびＭＲ体験を生成または向上させるために、ディスプレイシステムは、バイオメトリック情報を使用して、それらの体験を向上させることができる。
（例示的ウェアラブルディスプレイシステム）

【0083】

図９は、ＶＲ、ＡＲ、またはＭＲ体験をディスプレイシステム装着者または視認者９０４に提示するために使用され得る、ウェアラブルディスプレイシステム９００の実施例を図示する。ウェアラブルディスプレイシステム９００は、本明細書に説明される用途または実施例のいずれかを実施するようにプログラムされてもよい。ディスプレイシステム９００は、ディスプレイ９０８と、ディスプレイ９０８の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ９０８は、ディスプレイシステムユーザ、装着者、または視認者９０４によって装着可能であって、ディスプレイ９０８を装着者９０４の眼の正面に位置付けるように構成される、フレーム９１２に結合されてもよい。ディスプレイ９０８は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ９１６が、フレーム９１２に結合され、ユーザの外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。ディスプレイ９０８は、有線導線または無線コネクティビティ等によって、フレーム９１２に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ９０４に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール９２４に動作可能に結合される９２０。

【0084】

フレーム９１２は、フレーム９１２に取り付けられ、または搭載され、装着者の眼の画像を得る、１つ以上のカメラを有することができる。一実施形態では、カメラは、眼が直接結像され得るように、装着者の眼の正面においてフレーム９１２に搭載されてもよい。他の実施形態では、カメラは、フレーム９１２のステムに沿って（例えば、装着者の耳の近傍に）搭載されることができる。そのような実施形態では、ディスプレイ９０８は、光を装着者の眼からカメラに向かって反射させる、材料でコーティングされてもよい。光は、虹彩特徴が赤外線画像内で顕著であるため、赤外線光であってもよい。

【0085】

ローカル処理およびデータモジュール９２４は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等の非一過性デジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）センサ（例えば、フレーム９１２に動作可能に結合される、または別様にユーザ９０４に取り付けられ得る）、例えば、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープから捕捉されるデータ、および／または（ｂ）可能性として、処理または読出後にディスプレイ９０８への通過のために、遠隔処理モジュール９２８および／または遠隔データリポジトリ９３２を使用して入手および／または処理されるデータを含んでもよい。ローカル処理およびデータモジュール９２４は、これらの遠隔モジュール９２８、９３２が、ローカル処理およびデータモジュール９２４へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク９３６および／または９４０によって、遠隔処理モジュール９２８および／または遠隔データリポジトリ９３２に動作可能に結合されてもよい。画像補足デバイスは、眼画像処理プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。加えて、遠隔処理モジュール９２８および遠隔データリポジトリ９３２は、相互に動作可能に結合されてもよい。

【0086】

いくつかの実施形態では、遠隔処理モジュール９２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール９２４および／または遠隔データリポジトリ９３２内でローカルに記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ９３２は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール９２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

【0087】

いくつかの実装では、ローカル処理およびデータモジュール９２４および／または遠隔処理モジュール９２８は、本明細書に説明されるシステムおよび方法の実施形態を行うようにプログラムされる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ）を捕捉することができる。ビデオは、処理モジュール９２４、９２８の一方または両方によって、分析されることができる。ある場合には、虹彩コード生成の少なくともいくつかを遠隔処理モジュール（例えば、「クラウド」内の）にオフロードすることは、計算の効率または速度を改良し得る。本明細書に開示されるシステムおよび方法のパラメータは、データモジュール９２４および／または９２８内に記憶されることができる。

【0088】

分析の結果は、付加的動作または処理のために、処理モジュール９２４、９２８の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、認識、またはジェスチャ、オブジェクト、姿勢等の分類が、ウェアラブルディスプレイシステム９００によって使用されてもよい。例えば、ウェアラブルディスプレイシステム９００は、装着者９０４の手の捕捉されたビデオを分析し、装着者の手によるジェスチャ（例えば、実または仮想オブジェクトの取上、賛成または反対の信号伝達（例えば、「親指を上に向ける」または「親指を下に向ける」）等）、およびウェアラブルディスプレイシステムを認識してもよい。

【0089】

いくつかの実施形態では、ローカル処理モジュール９２４、遠隔処理モジュール９２８、およびクラウド上のシステムは、本明細書に開示される方法の一部または全部を実施することができる。例えば、遠隔処理モジュール９２８またはクラウド上のシステムは、図６を参照して上記に説明される方法６００を実施し、仮想ユーザインターフェース（ＵＩ）デバイス（例えば、ボタン）の表現をポインタ（例えば、スタイラス）の画像上にレンダリングし、仮想ＵＩデバイスの表現を伴う画像を使用して、ＵＩイベントを決定するためのニューラルネットワーク（ＮＮ）を訓練することができる。別の実施例として、ローカル処理モジュール９２４は、図７を参照して上記に説明される方法７００を実施することができる。ローカル処理モジュール９２４は、ＮＮを遠隔処理モジュール９２８またはクラウド上のシステムから受信することができる。ローカル処理モジュール９２４は、ＮＮを使用して、画像内のポインタに対するＵＩイベントと、画像と関連付けられた仮想ＵＩデバイスとを決定することができる。

【0090】

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）移動と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動移動（例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的なまたは快適なシミュレーションを形成し得る。

【0091】

図１０は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図１０を参照すると、ｚ－軸上の眼１００２および１００４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼１００２および１００４によって遠近調節される。眼１００２および１００４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面１００６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼１００２および１００４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼１００２および１００４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（例示的導波管スタックアセンブリ）

【0092】

図１１は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム１１００は、複数の導波管１１２０、１１２２、１１２４、１１２６、１１２８を使用して、３次元知覚を眼１１１０または脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ１１０５を含む。いくつかの実施形態では、ディスプレイシステム１１００は、図９のシステム９００に対応してもよく、図１１は、そのシステム９００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ１１０５は、図９のディスプレイ９０８の中に統合されてもよい。

【0093】

図１１を継続して参照すると、導波管アセンブリ１１０５はまた、複数の特徴１１３０、１１３２、１１３４、１１３６を導波管の間に含んでもよい。いくつかの実施形態では、特徴１１３０、１１３２、１１３４、１１３６は、レンズであってもよい。いくつかの実施形態では、特徴１１３０、１１３２、１１３４、１１３６は、レンズではなくてもよい。むしろ、それらは、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。

【0094】

導波管１１２０、１１２２、１１２４、１１２６、１１２８および／または複数のレンズ１１３０、１１３２、１１３４、１１３６は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス１１４０、１１４２、１１４４、１１４６、１１４８は、それぞれが眼１１１０に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成され得る、導波管１１２０、１１２２、１１２４、１１２６、１１２８の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス１１４０、１１４２、１１４４、１１４６、１１４８の出力表面から出射し、導波管１１２０、１１２２、１１２４、１１２６、１１２８の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼１１１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

【0095】

いくつかの実施形態では、画像投入デバイス１１４０、１１４２、１１４４、１１４６、１１４２はそれぞれ、それぞれの対応する導波管１１２０、１１２２、１１２４、１１２６、１１２８の中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス１１４０、１１４２、１１４４、１１４６、１１４８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス１１４０、１１４２、１１４４、１１４６、１１４８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。

【0096】

コントローラ１１５０が、スタックされた導波管アセンブリ１１０５および画像投入デバイス１１４０、１１４２、１１４４、１１４６、１１４８の動作を制御する。いくつかの実施形態では、コントローラ１１５０は、導波管１１２０、１１２２、１１２４、１１２６、１１２８への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ１１５０は、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ１１５０は、いくつかの実施形態では、処理モジュール９２４および／または９２８（図９に図示される）の一部であってもよい。いくつかの実施形態では、コントローラは、内向きに向いた結像システム１１５２（例えば、デジタルカメラ）、外向きに向いた結像システム１１５４（例えば、デジタルカメラ）、および／またはユーザ入力デバイス１１６と通信してもよい。内向きに向いた結像システム１１５２（例えば、デジタルカメラ）は、眼１１１０の画像を捕捉し、例えば、眼１１１０の瞳孔のサイズおよび／または配向を決定するために使用されることができる。外向きに向いた結像システム１１５４は、世界１１５８の一部を結像するために使用されることができる。ユーザは、ユーザ入力デバイス１１５６を介して、コマンドをコントローラ１１５０に入力し、ディスプレイシステム１１００と相互作用することができる。

【0097】

導波管１１２０、１１２２、１１２４、１１２６、１１２８は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管１１２０、１１２２、１１２４、１１２６、１１２８はそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管１１２０、１１２２、１１２４、１１２６、１１２８はそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼１１１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８を含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（１１６０、１１６２、１１６４、１１６６、１１６８）は、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管１１２０、１１２２、１１２４、１１２６、１１２８の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、上部主要表面および／または底部主要表面に配置されてもよく、および／または導波管１１２０、１１２２、１１２４、１１２６、１１２８の容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、透明基板に取り付けられ、導波管１１２０、１１２２、１１２４、１１２６、１１２８を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管１１２０、１１２２、１１２４、１１２６、１１２８は、モノリシック材料部品であってもよく、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、その材料部品の表面上および／または内部に形成されてもよい。

【0098】

図１１を継続して参照すると、本明細書に議論されるように、各導波管１１２０、１１２２、１１２４、１１２６、１１２８は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管１１２０は、そのような導波管１１２０の中に投入されるにつれて、コリメートされた光を眼１１１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管１１２２は、眼１１１０に到達し得る前に、第１のレンズ１１３０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ１１３０は、眼／脳が、その次の上方導波管１１２２から生じる光を光学無限遠から眼１１１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管１１２４は、眼１１１０に到達する前に、その出力光を第１のレンズ１１３０および第２のレンズ１１３２の両方を通して通過させる。第１および第２のレンズ１１３０および１１３２の組み合わせられた屈折力は、眼／脳が、第３の導波管１１２４から生じる光を次の上方の導波管１１２２からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

【0099】

他の導波管層（例えば、導波管１１２６、１１２８）およびレンズ（例えば、レンズ１１３４、１１３６）も同様に構成され、スタック内の最高導波管１１２８は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ１１０５の他側の世界１１５８から生じる光を視認／解釈するとき、レンズ１１３０、１１３２、１１３４、１１３６のスタックを補償するために、補償レンズ層１１３８が、スタックの上部に配置され、下方のレンズスタック１１３０、１１３２、１１３４、１１３６の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管１１２０、１１２２、１１２４、１１２６、１１２８の光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８およびレンズ１１３０、１１３２、１１３４、１１３６の集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

【0100】

図１１を継続して参照すると、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、光を具体的角度で出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明されている。いくつかの実施形態では、特徴１１３０、１１３２、１１３４、１１３６、１１３８は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、クラッディング層および／または空隙を形成するための構造）。

【0101】

いくつかの実施形態では、光抽出光学要素１１６０、１１６２、１１６４、１１６６、１１６８は、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼１１１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼１１１０に向かって非常に均一なパターンの出射放出となる。

【0102】

いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。

【0103】

いくつかの実施形態では、深度平面および／または被写界深度の数および分散は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、内向きに向いた結像システム１１５２（例えば、デジタルカメラ）が、眼１１１０の画像を捕捉し、眼１１１０の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。いくつかの実施形態では、内向きに向いた結像システム１１５２は、フレーム９１２（図９に図示されるように）に取り付けられてもよく、内向きに向いた結像システム１１５２からの画像情報を処理し、例えば、ユーザ９０４の瞳孔直径または眼の配向を決定し得る、処理モジュール９２４および／または９２８と電気通信してもよい。

【0104】

いくつかの実施形態では、内向きに向いた結像システム１１５２（例えば、デジタルカメラ）は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに向いた結像システム１１５２は、眼１１１０の画像を捕捉し、眼１１１０の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム１１５２は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）の画像を得るために使用されることができる。内向きに向いた結像システム１１５２によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム１１００によって使用され得る、ユーザの眼姿勢および／または気分を決定するために分析されてもよい。ディスプレイシステム１１００はまた、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、ステムトラックと相互作用する、および／またはオーディオコンテンツを提示するために使用されてもよい。

【0105】

いくつかの実施形態では、１つのカメラが、眼毎に利用され、各眼の瞳孔サイズおよび／または配向を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に利用され、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼１１１０のみの瞳孔直径および／または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、視認者９０４の両眼に対して類似すると仮定される。

【0106】

例えば、被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

【0107】

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ１１５０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

【0108】

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

【0109】

ディスプレイシステム１１００は、世界１１５８の一部を結像する、外向きに向いた結像システム１１５４（例えば、デジタルカメラ）を含むことができる。世界１１５８の本部分は、視野（ＦＯＶ）と称され得、結像システム１１５４は、時として、ＦＯＶカメラとも称される。視認者９０４による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ディスプレイシステム１１００を囲繞する４πステラジアンの立体角を含んでもよい。ディスプレイシステム１１００のいくつかの実装では、ＦＯＲは、ユーザ９０４が、ユーザを囲繞するオブジェクトを見るためにその頭部および眼を移動させ得るため、ディスプレイシステム１１００のユーザ９０４の周囲の立体角の実質的に全てを含んでもよい（ユーザの正面、背面、上方、下方、または側面）。外向きに向いた結像システム１１５４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界１１５８内のオブジェクトを検出する等のために、使用されることができる。

【0110】

オブジェクト認識または検出は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム１１５４（図１１を参照して説明される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、ジェスチャ検出または認識、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。ローカル処理およびデータモジュール９２４および／または遠隔処理モジュール９２８および遠隔データリポジトリ９３２は、画像をクローリングし、コンピュータビジョンアルゴリズムを画像上で実施する、オブジェクト認識装置とともにプログラムされることができる。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

【0111】

オブジェクト認識または検出は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＡＲＤ（例えば、ローカル処理およびデータモジュール９２４および／または遠隔処理モジュール９２８および遠隔データリポジトリ９３２）によって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶することができる。基本モデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。

【0112】

ディスプレイシステム１１００は、ユーザが、コマンドをコントローラ１１５０に入力し、ディスプレイシステム４００と相互作用し得る、ユーザ入力デバイス１１５６を含むことができる。例えば、ユーザ入力デバイス１１５６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をディスプレイシステム１１００に提供してもよい（例えば、ユーザ入力をディスプレイシステム１１００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス１１５６は、ディスプレイシステム１１００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス１１５６は、ディスプレイシステム１１００と有線または無線通信することができる。

【0113】

図１２は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ１１０５内の他の導波管も同様に機能し得、導波管アセンブリ１１０５は、複数の導波管を含むことを理解されたい。光１２０５が、導波管１１２０の入力縁１２１０において導波管１１２０の中に投入され、全内部反射（ＴＩＲ）によって導波管１１２０内を伝搬する。光１２０５が回折光学要素（ＤＯＥ）１１６０に衝突する点において、光の一部が、出射ビーム１２１５として導波管から出射する。出射ビーム１２１５は、略平行として図示されるが、それらはまた、導波管１１２０と関連付けられた深度平面に応じて、ある角度で眼１１１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、眼１１１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、眼１１１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼１１１０に近い距離からの光として脳によって解釈されるであろう。

【0114】

図１３は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、ディスプレイシステム１１００の別の実施例を示す。ディスプレイシステム１１００は、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。ディスプレイシステム１１００は、１つ以上の一次平面導波管１３０４（１つのみが図１３に示される）と、一次導波管１３０４の少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ１３０８とを含むことができる。平面導波管１３０４は、図１１を参照して議論される導波管１１２０、１１２２、１１２４、１１２６、１１２８に類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図１３の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管１３１２と、分散平面導波管１３１２と関連付けられた少なくとも１つのＤＯＥ１３１６（二重破線によって図示される）とを含んでもよい。分散平面導波管１３１２は、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管１３０４と類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ１３１６は、少なくともいくつかの点において、ＤＯＥ１３０８と類似または同じであってもよい。例えば、分散平面導波管１３１２および／またはＤＯＥ１３１６は、それぞれ、一次平面導波管１３０４および／またはＤＯＥ１３０８と同一材料から成ってもよい。図１３に示される光学システムは、図９に示されるウェアラブルディスプレイシステム９００の中に統合されることができる。

【0115】

中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管１３０４の中に光学的に結合される。一次平面導波管１３０４は、好ましくは、第１の軸に直交する、第２の軸（例えば、図１３の図では、水平またはＸ－軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管１３０４は、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出経路を拡張させる。例えば、分散平面導波管１３１０は、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させる、一次平面導波管１３０４にその光を通過させることができる。

【0116】

ディスプレイシステム１１００は、単一モード光ファイバ１３２４の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）１３２０を含んでもよい。光ファイバ１３２４の遠位端は、圧電材料の中空管１３２８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー１３３２として、管１３２８から突出する。圧電管１３２８は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管１３２８の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管１３２８のコア、中心、内側周縁、または内径に位置する。

【0117】

例えば、ワイヤ１３４０を介して電気的に結合される、駆動電子機１３３６は、対向する対の電極を駆動し、圧電管１３２８を独立して２つの軸において屈曲させる。光ファイバ１３２４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ１３２４の直径、長さ、および材料性質に依存し得る。圧電管１３２８をファイバカンチレバー１３３２の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー１３３２は、振動させられ、大偏向を通して掃引し得る。

【0118】

２つの軸において共振振動を刺激することによって、ファイバカンチレバー１３３２の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源１３２０の強度をファイバカンチレバー１３３２の走査と同期して変調させることによって、ファイバカンチレバー１３３２から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

【0119】

光学結合器サブシステムのコンポーネント１３４４は、走査ファイバカンチレバー１３３２から発せられる光をコリメートする。コリメートされた光は、鏡面表面１３４８によって、少なくとも１つの回折光学要素（ＤＯＥ）１３１６を含有する、狭分散平面導波管１３１２の中に反射される。コリメートされた光は、全内部反射によって分散平面導波管１３１１に沿って（図１３の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ１３１６と繰り返し交差する。ＤＯＥ１３１６は、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ１３１６との交差部の各点においてより大きい一次平面導波管１３０４の縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管１３１２の長さを辿ってそのオリジナル軌道上で継続させる。

【0120】

ＤＯＥ１３１６との交差部の各点において、付加的光が、一次導波管１３１２の入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管１３１２内のＤＯＥ１３１６によって垂直に拡張される。分散平面導波管１３１２から外部結合された本垂直に拡張された光は、一次平面導波管１３０４の縁に進入する。

【0121】

一次導波管１３０４に進入する光は、ＴＩＲを介して、一次導波管１３０４に沿って（図１３の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ１３０８と交差するにつれて、ＴＩＲを介して、一次導波管１３０４の時間長の少なくとも一部に沿って水平に伝搬する。ＤＯＥ１３０８は、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ１３０８は、有利には、ビームの光の一部のみが、ＤＯＥ１３０８の各交差部において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、導波管１３０４を通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

【0122】

伝搬する光とＤＯＥ１３０８との間の交差部の各点において、光の一部は、一次導波管１３０４の隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管１３０４の面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ１３０８の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。

【0123】

故に、これらの異なる経路は、異なる角度におけるＤＯＥ１３０８の多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管１３０４の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（付加的側面）
（訓練されたニューラルネットワークを使用して、ＵＩイベントを決定する、ウェアラブルディスプレイシステムの実施例）

【0124】

第１の側面では、ウェアラブルディスプレイシステムが、開示される。本ウェアラブルディスプレイシステムは、ポインタを備える画像を捕捉するように構成される、画像捕捉デバイスと、非一過性コンピュータ可読記憶媒体であって、該非一過性コンピュータ可読記憶媒体は、画像と、画像上の画像場所における画像と関連付けられる、仮想ユーザインターフェース（ＵＩ）デバイスと、訓練用仮想ＵＩデバイスと関連付けられた訓練画像であって、訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、訓練画像内の訓練用仮想ＵＩデバイスおよび訓練用ポインタに対する訓練用ＵＩイベントとを使用して、訓練されたＵＩイベントを決定するためのニューラルネットワークとを記憶するように構成される、非一過性コンピュータ可読記憶媒体と、画像が画像捕捉デバイスによって捕捉されると、仮想ＵＩデバイスを表示場所に表示するように構成される、ディスプレイであって、画像場所は、表示場所に関連する、ディスプレイと、画像捕捉デバイス、ディスプレイ、および非一過性コンピュータ可読記憶媒体と通信する、ハードウェアプロセッサであって、実行可能命令によって、画像を画像捕捉デバイスから受信することと、仮想ＵＩデバイスの表現を画像場所における画像上にレンダリングすることと、ニューラルネットワークを使用して、画像内のポインタに対するＵＩイベントおよび画像と関連付けられた仮想ＵＩデバイスを決定することとを行うようにプログラムされる、プロセッサとを備える。プロセッサは、ＵＩイベントに基づいて、仮想コンテンツを生成し、ディスプレイに、仮想コンテンツをウェアラブルディスプレイシステムの装着者に提示させる。

【0125】

第２の側面では、プロセッサはさらに、ＵＩイベントに基づいて、仮想コンテンツ（または仮想画像情報）を生成し、ディスプレイに、仮想コンテンツをウェアラブルディスプレイシステムの装着者に提供させるようにプログラムされる、側面１に記載のウェアラブルディスプレイシステム。

【0126】

第３の側面では、プロセッサはさらに、ＵＩイベントに基づいて、アクションを実施する（例えば、ＴＶ、車等の別のデバイスのアクティブ化、または電話、モバイルデバイス、ＡＲＤ等の別のデバイスと接続する）ようにプログラムされる、側面１－２のいずれか１項に記載のウェアラブルディスプレイシステム。

【0127】

第４の側面では、仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、側面１－３のいずれか１項に記載のウェアラブルディスプレイシステム。

【0128】

第５の側面では、複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、側面４に記載のウェアラブルディスプレイシステム。

【0129】

第６の側面では、複数の形状のうちの形状の重心は、相互の閾値距離内にある、側面４－５のいずれか１項に記載のウェアラブルディスプレイシステム。

【0130】

第７の側面では、閾値距離は、０である、側面６に記載のウェアラブルディスプレイシステム。

【0131】

第８の側面では、複数の形状のうちの第１の形状は、第１の色と関連付けられ、複数の形状のうちの第２の形状は、第２の色と関連付けられ、第１の形状は、第２の形状に隣接する、側面４－７のいずれか１項に記載のウェアラブルディスプレイシステム。

【0132】

第９の側面では、第１の色は、黒色であって、第２の色は、白色である、側面８に記載のウェアラブルディスプレイシステム。

【0133】

第１０の側面では、第２の形状は、部分的に透明である、側面８－９のいずれか１項に記載のウェアラブルディスプレイシステム。

【0134】

第１１の側面では、第２の形状の第１の領域は、第１の透明度値と関連付けられ、第２の形状の第２の領域は、第２の透明度値と関連付けられる、側面１０に記載のウェアラブルディスプレイシステム。

【0135】

第１２の側面では、第２の形状の第２の領域はさらに、第２の形状の第１の領域から離れており、第２の透明度値は、第１の透明度値より小さい、側面１１に記載のウェアラブルディスプレイシステム。

【0136】

第１３の側面では、第２の形状は、第１の形状内にある、側面８－１２のいずれか１項に記載のウェアラブルディスプレイシステム。

【0137】

第１４の側面では、複数の形状のうちの第３の形状は、第３の色と関連付けられ、第１の形状は、第１の形状に隣接する、側面８－１３のいずれか１項に記載のウェアラブルディスプレイシステム。

【0138】

第１５の側面では、第３の色は、白色である、側面１４に記載のウェアラブルディスプレイシステム。

【0139】

第１６の側面では、第１の形状は、第３の形状内にある、側面１４－１５のいずれか１項に記載のウェアラブルディスプレイシステム。

【0140】

第１７の側面では、ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちの状態に対応する、側面１－１６のいずれか１項に記載のウェアラブルディスプレイシステム。

【0141】

第１８の側面では、複数の状態は、仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、側面１７に記載のウェアラブルディスプレイシステム。

【0142】

第１９の側面では、仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせから成る群から選択される、側面１－１８のいずれか１項に記載のウェアラブルディスプレイシステム。

【0143】

第２０の側面では、ＵＩポインタは、ユーザまたはユーザの一部と関連付けられたオブジェクトを備える、側面１－１９のいずれか１項に記載のウェアラブルディスプレイシステム。

【0144】

第２１の側面では、ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、ユーザの一部は、ユーザの指を備える、側面２０に記載のウェアラブルディスプレイシステム。
（機械学習モデル（例えば、ニューラルネットワーク）を訓練するための訓練データを生成するためのコンピュータシステムの実施例）

【0145】

第２２の側面では、ユーザインターフェースイベントを決定するためのニューラルネットワークを訓練するためのシステムが、開示される。本システムは、実行可能命令を記憶するコンピュータ可読メモリと、１つ以上のプロセッサであって、該１つ以上のプロセッサは、実行可能命令によって、少なくとも、複数の画像を受信することであって、複数の画像のうちの画像は、複数のポインタのうちのポインタを備え、画像は、画像上の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスと関連付けられ、画像は、画像内の仮想ＵＩデバイスおよびポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ことと、仮想ＵＩデバイスの表現を画像場所における画像上にレンダリングし、訓練画像を生成することと、入力データおよび対応する標的出力データを備える、訓練セットを生成することであって、入力データは、訓練画像を備え、対応する標的出力データは、ＵＩイベントを備える、こととを行うようにプログラムされる、１つ以上のプロセッサとを備える。

【0146】

第２３の側面では、１つ以上のプロセッサはさらに、訓練セットを使用して、仮想ＵＩデバイスおよびポインタと関連付けられたＵＩイベントを決定するための機械学習モデル（例えば、ニューラルネットワーク）を訓練するようにプログラムされる、側面２２に記載のシステム。

【0147】

第２４の側面では、仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、側面２２－２３のいずれか１項に記載のシステム。

【0148】

第２５の側面では、複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、側面２４に記載のシステム。

【0149】

第２６の側面では、複数の形状のうちの形状の重心は、相互の閾値距離内にある、側面２４－２５のいずれか１項に記載のシステム。

【0150】

第２７の側面では、閾値距離は、０である、側面２６に記載のシステム。

【0151】

第２８の側面では、複数の形状のうちの第１の形状は、第１の色と関連付けられ、複数の形状のうちの第２の形状は、第２の色と関連付けられ、第１の形状は、第２の形状に隣接する、側面２４－２７のいずれか１項に記載のシステム。

【0152】

第２９の側面では、第１の色は、黒色であって、第２の色は、白色である、側面２８に記載のシステム。

【0153】

第３０の側面では、第２の形状は、部分的に透明である、側面２８－２９のいずれか１項に記載のシステム。

【0154】

第３１の側面では、第２の形状の第１の領域は、第１の透明度値と関連付けられ、第２の形状の第２の領域は、第２の透明度値と関連付けられる、側面３０に記載のシステム。

【0155】

第３２の側面では、第２の形状の第２の領域はさらに、第２の形状の第１の領域から離れており、第２の透明度値は、第１の透明度値より小さい、側面３１に記載のシステム。

【0156】

第３３の側面では、第２の形状は、第１の形状内にある、側面２８－３２のいずれか１項に記載のシステム。

【0157】

第３４の側面では、複数の形状のうちの第３の形状は、第３の色を有し、第１の形状は、第１の形状に隣接する、側面２８－３３のいずれか１項に記載のシステム。

【0158】

第３５の側面では、第３の色は、白色である、側面３４に記載のシステム。

【0159】

第３６の側面では、第１の形状は、第３の形状内にある、側面３４－３５のいずれか１項に記載のシステム。

【0160】

第３７の側面では、ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちの状態に対応する、側面２２－３６のいずれか１項に記載のシステム。

【0161】

第３８の側面では、複数の状態は、仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、側面３７に記載のシステム。

【0162】

第３９の側面では、複数の仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、側面２２－３８のいずれか１項に記載のシステム。

【0163】

第４０の側面では、複数のＵＩポインタは、ユーザまたはユーザの一部と関連付けられたオブジェクトを備える、側面２２－３９のいずれか１項に記載のシステム。

【0164】

第４１の側面では、ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、ユーザの一部は、ユーザの指を備える、側面４０に記載のシステム。
（訓練されたニューラルネットワークを使用して、ＵＩイベントを決定する方法の実施例）

【0165】

第４２の側面では、ニューラルネットワークを使用して、ＵＩイベントを決定するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、訓練用仮想ＵＩデバイスと関連付けられた訓練画像であって、訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、訓練画像内の訓練用仮想ＵＩデバイスおよび訓練用ポインタに対する訓練用ＵＩイベントとを使用して訓練される、ＵＩイベントを決定するためのニューラルネットワークにアクセスするステップと、ポインタを備える画像を受信するステップであって、仮想ユーザインターフェース（ＵＩ）デバイスは、画像上の画像場所における画像と関連付けられ、仮想ＵＩデバイスは、画像が捕捉される（例えば、ＡＲＤの画像捕捉デバイスによって捕捉される）と、表示場所（例えば、ＡＲＤディスプレイ上の表示場所）に表示され、画像場所は、表示場所に関連する、ステップと、画像を画像捕捉デバイスから受信するステップと、仮想ＵＩデバイスの表現を画像場所における画像上にレンダリングするステップと、ニューラルネットワークを使用して、画像内のポインタに対するＵＩイベントおよび画像と関連付けられた仮想ＵＩデバイスを決定するステップとを含む。

【0166】

第４３の側面では、ＵＩイベントに基づいて、仮想コンテンツ（または仮想画像情報）を生成するステップと、随意に、仮想コンテンツを表示させるステップとをさらに含む、側面４２に記載の方法。

【0167】

第４４の側面では、ＵＩイベントに基づいて、アクションを実施する（例えば、ＴＶ、車等の別のデバイスのアクティブ化、または電話、モバイルデバイス、ＡＲＤ等の別のデバイスと接続する）ステップをさらに含む、側面４２－４３のいずれか１項に記載の方法。

【0168】

第４５の側面では、仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、側面４２－４４のいずれか１項に記載の方法。

【0169】

第４６の側面では、複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、側面４５に記載の方法。

【0170】

第４７の側面では、複数の形状のうちの形状の重心は、相互の閾値距離内にある、側面４５－４６のいずれか１項に記載の方法。

【0171】

第４８の側面では、閾値距離は、０である、側面４７に記載の方法。

【0172】

第４９の側面では、複数の形状のうちの第１の形状は、第１の色と関連付けられ、複数の形状のうちの第２の形状は、第２の色と関連付けられ、第１の形状は、第２の形状に隣接する、側面４５－４８のいずれか１項に記載の方法。

【0173】

第５０の側面では、第１の色は、黒色であって、第２の色は、白色である、側面４９に記載の方法。

【0174】

第５１の側面では、第２の形状は、部分的に透明である、側面４９－５０のいずれか１項に記載の方法。

【0175】

第５２の側面では、第２の形状の第１の領域は、第１の透明度値と関連付けられ、第２の形状の第２の領域は、第２の透明度値と関連付けられる、側面５１に記載の方法。

【0176】

第５３の側面では、第２の形状の第２の領域はさらに、第２の形状の第１の領域から離れており、第２の透明度値は、第１の透明度値より小さい、側面５２に記載の方法。

【0177】

第５４の側面では、第２の形状は、第１の形状内にある、側面４９－５３のいずれか１項に記載の方法。

【0178】

第５５の側面では、複数の形状のうちの第３の形状は、第３の色と関連付けられ、第１の形状は、第１の形状に隣接する、側面４９－５４のいずれか１項に記載の方法。

【0179】

第５６の側面では、第３の色は、白色である、側面５５に記載の方法。

【0180】

第５７の側面では、第１の形状は、第３の形状内にある、側面５５－５６のいずれか１項に記載の方法。

【0181】

第５８の側面では、ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちの状態に対応する、側面４２－５７のいずれか１項に記載の方法。

【0182】

第５９の側面では、複数の状態は、仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、側面５８に記載の方法。

【0183】

第６０の側面では、仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせから成る群から選択される、側面４２－５９のいずれか１項に記載の方法。

【0184】

第６１の側面では、ＵＩポインタは、ユーザまたはユーザの一部と関連付けられたオブジェクトを備える、側面４２－６０のいずれか１項に記載の方法。

【0185】

第６２の側面では、ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、ユーザの一部は、ユーザの指を備える、側面６１に記載の方法。
（機械学習モデル（例えば、ニューラルネットワーク）を訓練するための方法の実施例）

【0186】

第６３の側面では、ユーザインターフェースイベントを決定するためにニューラルネットワークを訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、複数の画像を受信するステップであって、複数の画像のうちの第１の画像は、複数のポインタのうちのポインタの第１の表現を備え、第１の画像は、第１の画像内の第１の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスの第１の表現と関連付けられ、第１の画像は、第１の画像内の仮想ＵＩデバイスおよびポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ステップと、仮想ＵＩデバイスの第１の表現を第１の画像場所における第１の画像上にレンダリングし、第１の訓練画像を生成するステップと、入力データおよび対応する標的出力データを備える、訓練セットを生成するステップであって、入力データは、第１の訓練画像を備え、対応する標的出力データは、ＵＩイベントを備える、ステップと、訓練セットを使用して、仮想ＵＩデバイスおよびポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練するステップとを含む。

【0187】

第６４の側面では、複数の画像のうちの第２の画像は、ポインタの第２の表現を備え、第２の画像は、第２の画像内の第２の画像場所における仮想ＵＩデバイスの第２の表現と関連付けられ、第２の画像は、ＵＩイベントと関連付けられる、側面６３に記載の方法。

【0188】

第６５の側面では、第１の画像および第２の画像は、ステレオスコピック対を形成する、側面６４に記載の方法。

【0189】

第６６の側面では、第１の画像および第２の画像は、画像のマルチスコピックセットの画像である、側面６４に記載の方法。

【0190】

第６７の側面では、仮想ＵＩデバイスの第２の表現を第２の画像場所における第２の画像上にレンダリングし、第２の訓練画像を生成するステップをさらに含み、入力データは、第２の訓練画像を備える、側面６４－６６のいずれか１項に記載の方法。

【0191】

第６８の側面では、仮想ＵＩデバイスの第１の表現は、複数の高コントラストの形状を備える、側面６３－６７のいずれか１項に記載の方法。

【0192】

第６９の側面では、複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、側面６８に記載の方法。

【0193】

第７０の側面では、複数の形状のうちの形状の重心は、相互の閾値距離内にある、側面６８－６９のいずれか１項に記載の方法。

【0194】

第７１の側面では、閾値距離は、０である、側面７０に記載の方法。

【0195】

第７２の側面では、複数の形状のうちの第１の形状は、第１の色と関連付けられ、複数の形状のうちの第２の形状は、第２の色と関連付けられ、第１の形状は、第２の形状に隣接する、側面６８－７１のいずれか１項に記載の方法。

【0196】

第７３の側面では、第１の色は、黒色であって、第２の色は、白色である、側面７２に記載の方法。

【0197】

第７４の側面では、第２の形状は、部分的に透明である、側面７２－７３のいずれか１項に記載の方法。

【0198】

第７５の側面では、第２の形状の第１の領域は、第１の透明度値と関連付けられ、第２の形状の第２の領域は、第２の透明度値と関連付けられる、側面７４に記載の方法。

【0199】

第７６の側面では、第２の形状の第２の領域はさらに、第２の形状の第１の領域から離れており、第２の透明度値は、第１の透明度値より小さい、側面７５に記載の方法。

【0200】

第７７の側面では、第２の形状は、第１の形状内にある、側面７５－７６のいずれか１項に記載の方法。

【0201】

第７８の側面では、同心形状の第３の形状は、第３の色を有し、第１の形状は、第１の形状に隣接する、側面７５－７７のいずれか１項に記載の方法。

【0202】

第７９の側面では、第３の色は、白色である、側面７８に記載の方法。

【0203】

第８０の側面では、第１の形状は、第３の形状内にある、側面７８－７９のいずれか１項に記載の方法。

【0204】

第８１の側面では、ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちの状態に対応する、側面６３－８０のいずれか１項に記載の方法。

【0205】

第８２の側面では、複数の状態は、仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、側面８１に記載の方法。

【0206】

第８３の側面では、複数の仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、側面６３－８２のいずれか１項に記載の方法。

【0207】

第８４の側面では、複数のＵＩポインタは、ユーザまたはユーザの一部と関連付けられたオブジェクトを備える、側面６３－８３のいずれか１項に記載の方法。

【0208】

第８５の側面では、ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、ユーザの一部は、ユーザの指を備える、側面８４に記載の方法。
（付加的考慮点）

【0209】

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

【0210】

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。加えて、ニューラルネットワークを訓練および実行することは、算出上困難であり得る。ある場合には、ニューラルネットワークは、１つ以上のグラフィック処理ユニット（ＧＰＵ）によって実行される。

【0211】

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

【0212】

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

【0213】

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

【0214】

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。本明細書に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

【0215】

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

【0216】

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

【0217】

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

【0218】

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】