(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-23
(45)【発行日】2024-09-02
(54)【発明の名称】反射を利用する拡張現実システムおよび方法
(51)【国際特許分類】
G06F 3/04845 20220101AFI20240826BHJP
G06T 19/00 20110101ALI20240826BHJP
G06F 3/01 20060101ALI20240826BHJP
【ＦＩ】
G06F3/04845
G06T19/00 600
G06F3/01 510
【請求項の数】
21
(21)【出願番号】P 2023047777
(22)【出願日】2023-03-24
(62)【分割の表示】P 2021157537の分割
【原出願日】2017-01-19
(65)【公開番号】P2023082053
(43)【公開日】2023-06-13
【審査請求日】2023-03-24
(31)【優先権主張番号】62/445,630
(32)【優先日】2017-01-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/409,430
(32)【優先日】2017-01-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/440,336
(32)【優先日】2016-12-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/366,533
(32)【優先日】2016-07-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/343,583
(32)【優先日】2016-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/315,456
(32)【優先日】2016-03-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/343,636
(32)【優先日】2016-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/280,519
(32)【優先日】2016-01-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/294,147
(32)【優先日】2016-02-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】クリストファー エム． ハリセス
(72)【発明者】
【氏名】ニコル エリザベス サメック
(72)【発明者】
【氏名】ナスターシャ ユー． ロバイナ
(72)【発明者】
【氏名】マーク ベーレンロッド
(72)【発明者】
【氏名】アダム カール ライト
(72)【発明者】
【氏名】エイドリアン ケーラー
【審査官】槙 俊秋
(56)【参考文献】
【文献】特開２０１３－２５１８１３（ＪＰ，Ａ）
【文献】特開２０１１－１２８２２０（ＪＰ，Ａ）
【文献】特開２０１６－１６６７９０（ＪＰ，Ａ）
【文献】特開２０１１－０４１８７２（ＪＰ，Ａ）
【文献】特開２０１５－２０４０３３（ＪＰ，Ａ）
【文献】特表２０１３－５２１５７６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１２３９９１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０３４６４９５（ＵＳ，Ａ１）
【文献】米国特許第０８７４３０５１（ＵＳ，Ｂ１）
【文献】国際公開第２０１５／０６６３０８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０４８４５
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
拡張現実テレプレゼンスセッションにおいて画像を共有するための拡張現実システムを動作させる方法であって、前記拡張現実システムは、コンピュータプロセッサと第１の発呼者に関連付けられた第１の拡張現実デバイスとを備え、前記第１の拡張現実デバイスは、前記第１の拡張現実デバイスの正面の領域を撮像するように構成されている第１の外向きカメラを備え、前記方法は、前記コンピュータプロセッサが、前記第１の拡張現実デバイスと第２の発呼者に関連付けられた第２の拡張現実デバイスとの間の双方向通信を確立することと、
前記コンピュータプロセッサが、前記第１の拡張現実デバイスの正面の領域内の反射表面の存在を検出することであって、前記反射表面の存在を検出することは、
前記コンピュータプロセッサが、前記第１の拡張現実デバイスの周囲の環境のマップを維持することであって、前記マップは、前記環境内の複数のオブジェクトに対応する複数の主要点を含む、ことと、
前記コンピュータプロセッサが、前記複数の主要点の間の地理的な関係を決定することと、
前記コンピュータプロセッサが、前記複数の主要点の間の前記地理的な関係と前記第１の外向きカメラによって捕捉された複数の画像内の複数のオブジェクトの間の地理的な関係とを合致させることと
を含む、ことと、
前記コンピュータプロセッサが、前記第１の外向きカメラを用いて、前記反射表面から反射された前記第１の発呼者の第１の画像を捕捉することと、
前記コンピュータプロセッサが、前記第１の発呼者の前記第１の画像の少なくとも一部を前記第２の拡張現実デバイスに伝送することと
を含む、方法。
【請求項2】
前記方法は、前記第１の拡張現実デバイスが、前記第２の発呼者の第２の画像を受信することと、
前記第１の拡張現実デバイスが、前記第２の発呼者の前記第２の画像の少なくとも一部を表示することと
をさらに含む、請求項１に記載の方法。
【請求項3】
前記第１の拡張現実デバイスが、前記第２の発呼者の前記第２の画像の少なくとも一部を表示することは、前記第１の拡張現実デバイスが、前記第２の画像が前記反射表面内の前記第１の発呼者の前記第１の画像を隠すように前記第２の画像を表示することを含む、請求項２に記載の方法。
【請求項4】
前記方法は、前記第１の拡張現実デバイスが、前記第１の発呼者の前記第１の画像を処理することをさらに含む、請求項１に記載の方法。
【請求項5】
前記コンピュータプロセッサが、前記第１の発呼者の前記第１の画像を前記第２の拡張現実デバイスに伝送することは、前記コンピュータプロセッサが、前記第１の発呼者の前記第１の画像をサーバコンピュータシステムに伝送することと、
前記サーバコンピュータシステムが、前記第１の発呼者の前記第１の画像を処理することと、
前記サーバコンピュータシステムが、前記第１の発呼者の前記第１の画像を前記第２の拡張現実デバイスに伝送することと
を含む、請求項１に記載の方法。
【請求項6】
前記方法は、前記コンピュータプロセッサが、仮想コンテンツを前記第１の発呼者の前記第１の画像に適用することと、
前記コンピュータプロセッサが、前記第１の発呼者の前記第１の画像の一部をクロッピングすることと、
前記コンピュータプロセッサが、背景を前記第１の発呼者の前記第１の画像に適用することと、
前記コンピュータプロセッサが、前記第１の発呼者の前記第１の画像をサイズ調整することと、
前記コンピュータプロセッサが、前記第１の拡張現実デバイスによって捕捉されていない前記第１の発呼者の身体の領域を識別し、前記識別された領域を前記第１の発呼者の前記第１の画像に追加することと
のうちの少なくとも１つを行うことによって、前記第１の拡張現実デバイスが、前記第１の発呼者の前記第１の画像を処理することをさらに含む、請求項４に記載の方法。
【請求項7】
前記方法は、前記コンピュータプロセッサが、前記第１の発呼者の顔を隠す前記第１の拡張現実デバイスの画像を含む前記第１の発呼者の前記第１の画像の領域を識別することと、前記コンピュータプロセッサが、前記識別された領域内の前記第１の発呼者の顔の隠されていない部分の画像と置換することにより、前記第１の発呼者の顔の隠されていない画像を提供することとによって、前記第１の拡張現実デバイスが、前記第１の発呼者の前記第１の画像を処理することをさらに含む、請求項４に記載の方法。
【請求項8】
前記第１の拡張現実デバイスは、前記第１の発呼者の眼を撮像するように構成されている眼追跡カメラを備え、前記コンピュータプロセッサが、前記第１の発呼者の顔の隠されていない部分の画像と置換することは、前記コンピュータプロセッサが、前記第１の発呼者の眼の画像を前記識別された領域内に挿入することを含む、請求項７に記載の方法。
【請求項9】
前記仮想コンテンツは、配合効果、フェザリング効果、グロー効果、または、特殊特徴効果を含む、請求項６に記載の方法。
【請求項10】
前記背景は、ゲーム、映画、書籍、美術、音楽、既存の物理的要素、または、仮想オブジェクトに関連付けられた要素を含有する、請求項６に記載の方法。
【請求項11】
第１の発呼者と第２の発呼者との間の電話会議を行うための拡張現実システムであって、前記拡張現実システムは、前記第１の発呼者に関連付けられた第１の拡張現実デバイスであって、前記第１の拡張現実デバイスの正面の領域を撮像するように構成されている第１の外向きカメラを備える第１の拡張現実デバイスと、
ネットワークと通信するように構成されているコンピュータプロセッサと
を備え、
前記コンピュータプロセッサは、
前記第１の拡張現実デバイスと前記第２の発呼者に関連付けられた第２の拡張現実デバイスとの間の双方向通信を確立することと、
前記第１の拡張現実デバイスの正面の領域内の反射表面の存在を検出することであって、前記反射表面の存在を検出することは、
前記第１の拡張現実デバイスの周囲の環境のマップを維持することであって、前記マップは、前記環境内の複数のオブジェクトに対応する複数の主要点を含む、ことと、
前記複数の主要点の間の地理的な関係を決定することと、
前記複数の主要点の間の前記地理的な関係と前記第１の外向きカメラによって捕捉された複数の画像内の複数のオブジェクトの間の地理的な関係とを合致させることと
を含む動作によって行われる、ことと、
前記第１の外向きカメラを用いて、前記反射表面から反射された前記第１の発呼者の第１の画像を検出することと、
前記第１の発呼者の前記第１の画像の少なくとも一部を前記第２の拡張現実デバイスに伝送することと、
前記第１の拡張現実デバイスが、前記第２の発呼者の第２の画像を受信することと、
前記第１の拡張現実デバイスが、前記第２の発呼者の前記第２の画像の少なくとも一部を表示することと
を行うようにプログラムされている、拡張現実システム。
【請求項12】
前記コンピュータプロセッサは、前記第２の発呼者の前記第２の画像が前記反射表面内の前記第１の発呼者の前記第１の画像を隠すように、前記第１の拡張現実デバイスが前記第２の発呼者の前記第２の画像の少なくとも一部を表示するようにさらにプログラムされている、請求項１１に記載に拡張現実システム。
【請求項13】
前記コンピュータプロセッサは、前記第１の拡張現実デバイスが前記第１の発呼者の前記第１の画像を処理することにより、仮想コンテンツを前記第１の発呼者の第１の画像に適用することと、
前記第１の発呼者の前記第１の画像の一部をクロッピングすることと、
背景を前記第１の発呼者の前記第１の画像に適用することと、
前記第１の発呼者の前記第１の画像をサイズ調整することと、
前記第１の拡張現実デバイスによって捕捉されていない前記第１の発呼者の身体の領域を識別し、前記識別された領域を前記第１の発呼者の前記第１の画像に追加することと
のうちの少なくとも１つを行うようにさらにプログラムされている、請求項１１に記載に拡張現実システム。
【請求項14】
前記コンピュータプロセッサは、前記第１の拡張現実デバイスが、前記第１の発呼者の前記第１の画像を処理することにより、前記第１の発呼者の顔を隠す前記第１の拡張現実デバイスの画像を含む前記第１の発呼者の前記第１の画像の領域を識別することと、前記識別された領域内の前記第１の発呼者の顔の隠されていない部分の画像と置換することにより、前記第１の発呼者の顔の隠されていない画像を提供することとを行うようにさらにプログラムされている、請求項１１に記載に拡張現実システム。
【請求項15】
前記第１の拡張現実デバイスは、前記第１の発呼者の眼を撮像するように構成されている眼追跡カメラを備え、前記第１の発呼者の顔の隠されていない部分の画像と置換することは、前記第１の発呼者の眼の画像を識別された領域内に挿入することを含む、請求項１１に記載に拡張現実システム。
【請求項16】
前記双方向通信接続を確立することは、前記反射表面の存在の検出に応答して行われる、請求項１１に記載に拡張現実システム。
【請求項17】
電話会議を行うための拡張現実システムであって、前記拡張現実システムは、第１の発呼者に関連付けられた第１の拡張現実デバイスおよび第２の発呼者に関連付けられた第２の拡張現実デバイスと通信するように構成されているコンピュータシステムであって、前記第１の拡張現実デバイスは、第１の外向きカメラを備え、前記コンピュータシステムは、
ネットワークインターフェースと、
非一過性のデータ記憶装置と、
前記ネットワークインターフェースおよび前記非一過性のデータ記憶装置と通信するように構成されているハードウェアプロセッサと
を備え
前記ハードウェアプロセッサは、
前記第１の拡張現実デバイスの正面の反射表面の存在を検出することであって、前記反射表面の存在を検出することは、
前記第１の拡張現実デバイスの周囲の環境のマップを維持することであって、前記マップは、前記環境内の複数のオブジェクトに対応する複数の主要点を含む、ことと、
前記複数の主要点の間の地理的な関係を決定することと、
前記複数の主要点の間の前記地理的な関係と前記第１の外向きカメラによって捕捉された複数の画像内の複数のオブジェクトの間の地理的な関係とを合致させることと
を含む動作によって行われる、ことと、
第１のメッセージを前記第１の拡張現実デバイスから受信することであって、前記第１のメッセージは、前記第２の拡張現実デバイスと双方向通信を確立するための要求を備える、ことと、
前記第１の拡張現実デバイスと前記第２の拡張現実デバイスの間の双方向通信を確立することと、
第２のメッセージを前記第１の拡張現実デバイスから受信することであって、前記第２のメッセージは、前記第１の拡張現実デバイスの正面内の反射表面から前記第１の拡張現実デバイスによって捕捉された前記第１の発呼者の第１の画像を備える、ことと、
前記第２のメッセージを前記第２の拡張現実デバイスに伝送することと、
第３のメッセージを前記第２の拡張現実デバイスから受信することであって、前記第３のメッセージは、前記第２の拡張現実デバイスの正面の反射表面から前記第２の拡張現実デバイスによって捕捉された前記第２の発呼者の第２の画像を備える、ことと、
前記第３のメッセージを前記第１の拡張現実デバイスに伝送することと
を行うようにプログラムされている、拡張現実システム。
【請求項18】
前記第１の拡張現実デバイスまたは前記第２の拡張現実デバイスのうちの少なくとも１つは、複数の深度平面において画像を提示するように構成されているライトフィールドディスプレイを備える、請求項１７に記載に拡張現実システム。
【請求項19】
前記第２の発呼者の前記第２の画像は、複数のパッチを備え、前記第２の画像は、前記第２の拡張現実デバイスによって隠されていない前記第２の発呼者の顔の一部を備える、請求項１７に記載に拡張現実システム。
【請求項20】
前記ハードウェアプロセッサは、前記第２の拡張現実デバイスによって隠されている前記第２の発呼者の眼領域のパッチを受信するようにさらにプログラムされており、前記第２の発呼者の前記第２の画像を生成するために、前記ハードウェアプロセッサは、前記第２の拡張現実デバイスによって隠されていない前記第２の発呼者の顔の部分および前記第２の拡張現実デバイスによって隠されている前記眼領域のパッチに基づいて、前記第２の発呼者の前記第２の画像を合成するようにプログラムされている、請求項１９に記載に拡張現実システム。
【請求項21】
前記ハードウェアプロセッサは、前記第２の発呼者の眼領域の移動のインジケーションを受信することと、
前記第２の発呼者の顔モデルにアクセスすることと、
前記眼領域の移動および前記顔モデルに基づいて、前記第２の発呼者の前記第２の画像を更新することと
を行うようにさらにプログラムされている、請求項１７に記載に拡張現実システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、米国仮出願第６２／２９４，１４７号，出願日２０１６年２月１１日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ
ＵＴＩＬＩＺＩＮＧ ＶＩＥＷＥＲ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／３６６，５３３号，出願日２０１６年７月２５日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／４４０，３３６号，出願日２０１６年１２月２９日、発明の名称 “ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／４４５，６３０号，出願日２０１７年１月１２日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／２８０，５１９号，出願日２０１６年１月１９日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＴＥＬＥＰＲＥＳＥＮＣＥ”；米国仮出願第６２／３４３，５８３号，出願日２０１６年５月３１日、発明の名称 “ＭＩＲＲＯＲ ＤＥＴＥＣＴＩＯＮ ＵＳＩＮＧ ＩＭＡＧＥ－ＢＡＳＥＤ ＣＵＥＳ”；米国仮出願第６２／３１５，４５６号，出願日２０１６年３月３０日、発明の名称 “ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＷＯＲＬＤ ＭＡＰＳ ＩＮ ＴＨＥ ＰＲＥＳＥＮＣＥ ＯＦ ＲＥＦＬＥＣＴＩＶＥ ＳＵＲＦＡＣＥＳ”；米国仮出願第６２／３４３，６３６号，出願日２０１６年５月３１日、発明の名称 “ＭＩＲＲＯＲ ＤＥＴＥＣＴＩＯＮ ＵＳＩＮＧ ＳＥＮＳＯＲ－ＢＡＳＥＤ ＣＵＥＳ”；および米国出願第１５／４０９，４３０号，出願日２０１７年１月１８日、発明の名称 “ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”の優先権を主張するものである。上記出願の開示は、その全体が参照により本明細書中に援用される。
本願は、米国仮出願第６２／２９４，１４７号，出願日２０１６年２月１１日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ
ＵＴＩＬＩＺＩＮＧ ＶＩＥＷＥＲ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／３６６，５３３号，出願日２０１６年７月２５日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／４４０，３３６号，出願日２０１６年１２月２９日、発明の名称 “ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／４４５，６３０号，出願日２０１７年１月１２日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”；米国仮出願第６２／２８０，５１９号，出願日２０１６年１月１９日、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＴＥＬＥＰＲＥＳＥＮＣＥ”；米国仮出願第６２／３４３，５８３号，出願日２０１６年５月３１日、発明の名称 “ＭＩＲＲＯＲ ＤＥＴＥＣＴＩＯＮ ＵＳＩＮＧ ＩＭＡＧＥ－ＢＡＳＥＤ ＣＵＥＳ”；米国仮出願第６２／３１５，４５６号，出願日２０１６年３月３０日、発明の名称 “ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＷＯＲＬＤ ＭＡＰＳ ＩＮ ＴＨＥ ＰＲＥＳＥＮＣＥ ＯＦ ＲＥＦＬＥＣＴＩＶＥ ＳＵＲＦＡＣＥＳ”；米国仮出願第６２／３４３，６３６号，出願日２０１６年５月３１日、発明の名称 “ＭＩＲＲＯＲ ＤＥＴＥＣＴＩＯＮ ＵＳＩＮＧ ＳＥＮＳＯＲ－ＢＡＳＥＤ ＣＵＥＳ”；および米国出願第１５／４０９，４３０号，出願日２０１７年１月１８日、発明の名称 “ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＵＴＩＬＩＺＩＮＧ ＲＥＦＬＥＣＴＩＯＮＳ”の優先権を主張するものである。上記出願の開示は、その全体が参照により本明細書中に援用される。
【0002】
また、本願は、以下の特許出願および出願公開の各々の全体を参照により援用する：米国出願第１４／５５５，５８５号、出願日２０１４年１１月２７日；米国出願第１４／６９０，４０１号、出願日２０１５年４月１８日；米国出願第１４／２１２，９６１号、出願日２０１４年３月１４日；米国出願第１４／３３１，２１８号、出願日２０１４年７月１４日；および米国出願公開第２０１５／０２３５４３５号、公開日２０１５年８月２０日。
【0003】
（分野）
本開示は、拡張現実イメージングおよび可視化システムに関する。
本開示は、拡張現実イメージングおよび可視化システムに関する。
【背景技術】
【0004】
（関連技術の説明）
いわゆる「スマートミラー」は、アクティブ化されるまで、通常の鏡のように見える、鏡である。いったんアクティブ化されると、鏡は、表示技術を使用して、ユーザインターフェースおよび可能性として他の表示情報を鏡表面上にグラフィック的にオーバーレイする。本明細書に開示されるシステムおよび方法は、スマートミラー技術に関連する種々の課題に対処する。
いわゆる「スマートミラー」は、アクティブ化されるまで、通常の鏡のように見える、鏡である。いったんアクティブ化されると、鏡は、表示技術を使用して、ユーザインターフェースおよび可能性として他の表示情報を鏡表面上にグラフィック的にオーバーレイする。本明細書に開示されるシステムおよび方法は、スマートミラー技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0005】
いくつかの実施形態では、ディスプレイシステムが、提供される。ディスプレイシステムは、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える、ウェアラブルディスプレイデバイスを備える。表示領域は、少なくとも部分的に、透明であって、表示領域を通して、周囲環境のビューを提供するように構成される。ディスプレイデバイスはまた、１つまたはそれを上回るハードウェアプロセッサと、コンピュータ実行可能命令を含む、非一過性コンピュータ可読記憶媒体とを備える。命令は、１つまたはそれを上回るハードウェアプロセッサによって実行されると、１つまたはそれを上回るハードウェアプロセッサに、ユーザの反射が表示領域を通したユーザの視野内にあることを判定するステップと、続いて、拡張現実コンテンツを表示領域内に表示するステップとを含む、動作を行わせ、拡張現実コンテンツは、反射を拡張する。
【0006】
いくつかの他の実施形態では、画像を表示するための方法が、提供される。本方法は、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える、ウェアラブルディスプレイデバイスを提供するステップを含む。表示領域は、少なくとも部分的に、透明であって、それによって、表示領域を通して、周囲環境のビューを提供する。本方法はさらに、ユーザの反射が表示領域を通したユーザの視野内にあることを判定するステップと、続いて、拡張現実コンテンツを表示領域内に表示するステップとを含む。拡張現実コンテンツは、反射を拡張する。
【0007】
さらにある他の実施形態では、ディスプレイシステムが、提供される。ディスプレイシステムは、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える、ウェアラブルディスプレイデバイスを備える。表示領域は、少なくとも部分的に、透明であって、表示領域を通して、周囲環境のビューを提供するように構成される。ディスプレイデバイスはまた、１つまたはそれを上回るハードウェアプロセッサと、コンピュータ実行可能命令を含む、非一過性コンピュータ可読記憶媒体とを備える。命令は、１つまたはそれを上回るハードウェアプロセッサによって実行されると、１つまたはそれを上回るハードウェアプロセッサに、反射が表示領域を通したユーザの視野内にあることを判定するステップを含む、動作を行わせる。
【0008】
いくつかの実施形態では、画像を表示するための方法が、提供される。本方法は、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える、ウェアラブルディスプレイデバイスを提供するステップを含む。表示領域は、少なくとも部分的に、透明であって、表示領域を通して、周囲環境のビューを提供するように構成される。本方法はさらに、反射が表示領域を通したユーザの視野内にあることを判定するステップを含む。
【0009】
さらに他の実施形態では、ディスプレイシステムは、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える、ウェアラブルディスプレイデバイスを備える。表示領域は、少なくとも部分的に、透明であって、表示領域を通して、周囲環境のビューを提供するように構成される。ディスプレイデバイスはまた、外向きカメラと、１つまたはそれを上回るハードウェアプロセッサと、１つまたはそれを上回るハードウェアプロセッサによって実行されると、１つまたはそれを上回るハードウェアプロセッサに、種々の動作を行わせる、コンピュータ実行可能命令を含む、非一過性コンピュータ可読記憶媒体とを備える。動作は、外向きカメラを使用して、画像情報を受動的に収集するステップと、画像情報が反射を含有するかどうかを判定するステップと、画像情報がユーザの健康分析のための関連データを含有するかどうかを判定するステップと、健康分析を行うステップとを含む。
【0010】
いくつかの実施形態では、画像を表示するための方法が、提供される。本方法は、光をユーザに指向するように構成される光再指向特徴を備える、表示領域であって、少なくとも部分的に、透明であって、表示領域を通して、周囲環境のビューを提供するように構成される、表示領域を備える、ウェアラブルディスプレイデバイスを提供するステップを含む。ディスプレイデバイスはまた、外向きカメラを備える。本方法はさらに、外向きカメラを使用して、画像情報を受動的に収集するステップと、画像情報が反射を含有するかどうかを判定するステップと、画像情報がユーザの健康分析のための関連データを含有するかどうかを判定するステップと、健康分析を行うステップとを含む。
【0011】
付加的例示的実施形態が、以下に提供される。
【0012】
以下の例示的実施形態は、反射を利用する拡張現実システムおよび方法に関連する。
【0013】
１．画像を表示するための方法であって、光をユーザに指向するように構成される光再指向特徴を備える表示領域を備えるウェアラブルディスプレイデバイスを提供するステップであって、該表示領域は、少なくとも部分的に透明であり、それによって、表示領域を通して、周囲環境のビューを提供する、ステップと、ユーザの反射が表示領域を通したユーザの視野内にあることを判定するステップと、続いて、拡張現実コンテンツを表示領域内に表示するステップであって、拡張現実コンテンツは、反射を拡張する、ステップとを含む、方法。
【0014】
２．表示領域は、光を出力し、複数の画像セットを複数の深度平面上に形成するように構成され、画像のうちの１つまたはそれを上回るものは、拡張現実コンテンツを備える、実施形態１に記載の方法。
【0015】
３．ディスプレイデバイスは、導波管のスタックを備え、導波管の少なくともいくつかは、光再指向特徴を備え、導波管は、光源からの光を内部結合し、光を出力するための光を外部結合し、複数の画像を形成するように構成される、実施形態２に記載の方法。
【0016】
４．各導波管は、単一の対応する深度平面に関して画像を出力するように構成される、実施形態３に記載の方法。
【0017】
５．ウェアラブルディスプレイデバイスはさらに、ユーザの周囲環境の画像を捕捉するように構成される、カメラを備える、実施形態１に記載の方法。
【0018】
６．ユーザの反射がユーザの視野内にあることを判定するステップは、カメラによって捕捉された画像と記憶された画像情報を比較し、捕捉された画像と記憶された画像情報との間に合致が存在するかどうかを判定するステップを含む、実施形態５に記載の方法。
【0019】
７．記憶された画像情報は、ユーザの外見の一意の特徴を備える、実施形態６に記載の方法。
【0020】
８．記憶された画像情報は、ウェアラブルディスプレイデバイスの一意の特徴を備える、実施形態６に記載の方法。
【0021】
９．ユーザの反射がユーザの視野内にあることを判定するステップはさらに、ユーザの虹彩認識を行うステップを含む、実施形態５に記載の方法。
【0022】
１０．光学または聴覚信号の一方または両方をユーザに提供することによって、ユーザを反射表面に誘引するステップをさらに含む、実施形態１に記載の方法。
【0023】
１１．ユーザの反射がユーザの視野内にあることを判定するステップは、反射表面を示す一意の識別子を検出するステップを含む、実施形態１に記載の方法。
【0024】
１２．一意の識別子は、反射表面上またはそれに近接する視覚的インジケータであって、一意の識別子を検出するステップは、一意の識別子の画像をカメラを用いて捕捉するステップを含む、実施形態１１に記載の方法。
【0025】
１３．一意の識別子を検出するステップは、ビーコンブロードキャスト電磁放射を検出するステップを含み、ウェアラブルディスプレイデバイスは、電磁放射を受信するように構成される、受信機を備え、ビーコンを検出するステップは、電磁放射を検出するステップを含む、実施形態１１に記載の方法。
【0026】
１４．拡張現実コンテンツを続いて表示する前に、ユーザが定常であることを検出するステップをさらに含み、拡張現実コンテンツを続いて表示するステップは、ユーザが定常であると判定されるまで行われない、実施形態１に記載の方法。
【0027】
１５．拡張現実コンテンツを続いて表示するステップは、仮想メニューをユーザ選択可能オプションとともに表示するステップを含む、実施形態１に記載の方法。
【0028】
１６．ディスプレイデバイスは、ユーザ選択可能オプションを選択するためのユーザジェスチャまたは表現を検出するように構成される、カメラを備える、実施形態１５に記載の方法。
【0029】
１７．ディスプレイデバイスは、ユーザ注視持続時間または瞳孔面積の一方または両方を検出するように構成される、カメラを備え、拡張現実コンテンツを続いて表示するステップは、ユーザ注視持続時間または瞳孔面積の両方のうちの１つに応じて、拡張現実コンテンツのタイプおよびタイミングの一方または両方を修正するステップを含む、実施形態１に記載の方法。
【0030】
１８．ディスプレイデバイスは、ユーザの感情状態を検出するために構成される、カメラを備え、拡張現実コンテンツを続いて表示するステップは、ユーザの感情状態に基づいて、拡張現実コンテンツを表示するステップを含む、実施形態１に記載の方法。
【0031】
１９．ユーザの識別を判定するステップをさらに含む、実施形態１に記載の方法。
【0032】
２０．ユーザの識別を判定するステップは、ユーザの反射がユーザの視野内にあることの判定後に行われる、実施形態１９に記載の方法。
【0033】
２１．拡張現実コンテンツを続いて表示するステップは、ユーザに一意の情報を表示するステップを含む、実施形態１９に記載の方法。
【0034】
２２．ユーザのアクティビティに関する情報を収集するステップをさらに含む、実施形態１９に記載の方法。
【0035】
２３．ユーザのアクティビティに関する情報をユーザの反射を提供する反射表面と関連付けられた受信ステーションに伝送するステップをさらに含む、実施形態１に記載の方法。
【0036】
２４．拡張現実コンテンツを続いて表示する前に、ユーザの場所を判定するステップをさらに含み、拡張現実コンテンツを続いて表示するステップは、ユーザの場所に特有の拡張現実コンテンツを表示するステップを含む、実施形態１に記載の方法。
【0037】
２５．拡張現実コンテンツを表示するステップは、ユーザが位置する店舗または店舗の一部からのセールのオファーを表示するステップを含む、実施形態２４に記載の方法。
【0038】
２６．ユーザの識別を判定するステップと、ユーザの購入またはブラウジング履歴にアクセスするステップと、購入またはブラウジング履歴に基づいて、セールのオファーを生成するステップとをさらに含む、実施形態２５に記載の方法。
【0039】
２７．拡張現実コンテンツは、ユーザの反射にオーバーレイする衣類の画像を備える、実施形態１に記載の方法。
【0040】
２８．拡張現実コンテンツは、ユーザの反射にオーバーレイし、ユーザの衣類の性質を修正する画像を備える、実施形態１に記載の方法。
【0041】
２９．性質は、色、テクスチャ、およびパターンのうちの１つまたはそれを上回るものを備える、実施形態２８に記載の方法。
【0042】
３０．拡張現実コンテンツおよびユーザの反射の一方または両方を１人またはそれを上回る他のユーザに配信するステップをさらに含む、実施形態１に記載の方法。
【0043】
３１．拡張現実コンテンツをユーザ以外の個人によってアクセス可能な遠隔サーバにアップロードすることによって、拡張現実コンテンツを共有するステップをさらに含む、実施形態１に記載の方法。
【0044】
３２．拡張現実コンテンツは、定期的使用のための製品を補充するアラートを備える、実施形態１に記載の方法。
【0045】
３３．アラートは、美容製品を補充するためのリマインダを備える、美容関連アラートである、実施形態３２に記載の方法。
【0046】
３４．長期時間間隔にわたってユーザの１つまたはそれを上回る画像を捕捉するステップと、画像から導出される画像またはデータを記憶するステップと、現在の画像と記憶された画像またはデータとの間の比較を行うステップとをさらに含み、拡張現実コンテンツを続いて表示するステップは、比較の結果を表示するステップを含む、実施形態１に記載の方法。
【0047】
３５．比較の結果を表示するステップは、ユーザの１つまたはそれを上回る以前の画像を表示するステップを含む、実施形態３４に記載の方法。
【0048】
３６．比較の結果を表示するステップは、健康もしくは美容製品または健康もしくは美容関連処置に関する推奨を表示するステップを含む、実施形態３４に記載の方法。
【0049】
３７．推奨を表示するステップは、健康もしくは美容製品または健康もしくは美容関連処置に関するオプションを表示するステップと、予期される結果の画像をユーザの反射とともにオーバーレイすることによって、健康もしくは美容製品または健康もしくは美容関連処置の予期される結果を表示するステップとを含む、実施形態３６に記載の方法。
【0050】
３８．長期時間間隔は、数ヶ月または数年を含む、実施形態３４に記載の方法。
【0051】
３９．１つまたはそれを上回る画像を捕捉するステップは、毎日行われる、実施形態３４に記載の方法。
【0052】
４０．比較を行うステップは、健康分析を行うステップを含む、実施形態３４に記載の方法。
【0053】
４１．健康分析を行うステップは、体型、皮膚蒼白、皮膚特徴における変化を検出するステップを含む、実施形態４０に記載の方法。
【0054】
４２．健康分析を行うステップは、医療従事者とリアルタイムで相互作用するステップを含む、実施形態４０に記載の方法。
【0055】
４３．拡張現実コンテンツは、タスクを行うためのアラートを備える、実施形態１に記載の方法。
【0056】
４４．タスクは、定期的タスクである、実施形態４３に記載の方法。
【0057】
４５．定期的タスクは、歯のフロス清掃、薬の服用、および薬の発注のうちの１つまたはそれを上回るものを含む、実施形態４３に記載の方法。
【0058】
４６．拡張現実コンテンツは、ユーザの医療情報を備える、実施形態１に記載の方法。
【0059】
４７．医療情報は、体重、身長、および肥満度指数のうちの１つまたはそれを上回るものを含む、実施形態４６に記載の方法。
【0060】
４８．体重計、体温計、脈拍計、および心拍モニタのうちの１つまたはそれを上回るものからのデータにアクセスするステップをさらに含み、拡張現実コンテンツを続いて表示するステップは、アクセスされたデータまたはアクセスされたデータから導出される情報の一方または両方を表示するステップを含む、実施形態１に記載の方法。
【0061】
４９．ユーザの複数の画像を異なる角度から捕捉するステップと、現在の画像と基準画像または基準データとの間の差異を検出するステップとをさらに含み、拡張現実コンテンツを続いて表示するステップは、差異を検出するステップの結果を表示するステップを含む、実施形態１に記載の方法。
【0062】
５０．拡張現実コンテンツを続いて表示するステップは、医療画像をユーザの反射上にオーバーレイするステップを含む、実施形態１に記載の方法。
【0063】
５１．拡張現実コンテンツを続いて表示するステップは、スポーツ画像をユーザの反射上にオーバーレイするステップを含み、スポーツ画像は、人物のラインダイヤグラムまたは画像を備え、人物のラインダイヤグラムまたは画像は、特定のスポーツ関連運動および身体姿勢を示す、実施形態１に記載の方法。
【0064】
５２．拡張現実コンテンツを続いて表示するステップは、ユーザの反射の寸法を判定するための仮想スケールを表示するステップを含む、実施形態１に記載の方法。
【0065】
５３．ディスプレイシステムであって、光をユーザに指向するように構成される光再指向特徴を備える表示領域を備えるウェアラブルディスプレイデバイスであって、該表示領域は、少なくとも部分的に、透明であり、それによって、表示領域を通して、周囲環境のビューを提供する、ウェアラブルディスプレイデバイスと、ハードウェアプロセッサと、コンピュータ実行可能命令を含む非一過性コンピュータ可読記憶媒体であって、該コンピュータ実行可能命令は、ハードウェアプロセッサによって実行されると、ユーザの反射が表示領域を通したユーザの視野内にあることを判定するステップと、続いて、拡張現実コンテンツを表示領域内に表示するステップであって、拡張現実コンテンツは、反射を拡張する、ステップとを含む、動作を行うようにハードウェアプロセッサを構成する、非一過性コンピュータ可読記憶媒体とを備える、システム。
【0066】
５４．表示領域は、複数の画像を複数の深度平面上に出力するように構成される、複数の光再指向特徴のセットを備え、各光指向特徴のセットは、光を出力し、画像を複数の深度平面のうちの１つ上に形成するように構成される、実施形態５３に記載のシステム。
【0067】
５５．ディスプレイデバイスは、導波管のスタックを備え、導波管の少なくともいくつかは、光再指向特徴を備え、導波管は、光源からの光を内部結合し、光を出力するための光を外部結合し、複数の画像を形成するように構成される、実施形態５４に記載のシステム。
【0068】
５６．各導波管は、単一の対応する深度平面に関して画像を出力するように構成される、実施形態５５に記載のシステム。
【0069】
５７．ウェアラブルディスプレイデバイスはさらに、ユーザの周囲環境の画像を捕捉するように構成される、カメラを備える、実施形態５３に記載のシステム。
【0070】
５８．ユーザの反射がユーザの視野内にあることを判定するステップは、カメラによって捕捉された画像と記憶された画像情報を比較し、捕捉された画像と記憶された画像情報との間に合致が存在するかどうかを判定するステップを含む、実施形態５３に記載のシステム。
【0071】
５９．記憶された画像情報は、ユーザの外見の一意の特徴を備える、実施形態５８に記載のシステム。
【0072】
６０．記憶された画像情報は、ウェアラブルディスプレイデバイスの一意の光学的に観察可能な特徴を備える、実施形態５９に記載のシステム。
【0073】
６１．ユーザの反射がユーザの視野内にあることを判定するステップはさらに、ユーザの虹彩認識を行うステップを含む、実施形態５８に記載のシステム。
【0074】
６２．ユーザの反射がユーザの視野内にあることを判定するステップは、反射表面を示す一意の識別子の存在を検出するステップを含む、実施形態５３に記載のシステム。
【0075】
６３．動作はさらに、拡張現実コンテンツを続いて表示する前に、ユーザが定常であることを検出するステップを含み、拡張現実コンテンツを続いて表示するステップは、ユーザが定常であると判定されるまで行われない、実施形態５３に記載のシステム。
【0076】
６４．拡張現実コンテンツを続いて表示するステップは、仮想メニューをユーザ選択可能オプションとともに表示するステップを含む、実施形態５３に記載のシステム。
【0077】
６５．ディスプレイデバイスは、ユーザ選択可能オプションを選択するためのユーザジェスチャまたは表現を検出するように構成される、カメラを備える、実施形態６４に記載のシステム。
【0078】
６６．ディスプレイデバイスは、ユーザ注視持続時間または瞳孔面積の一方または両方を検出するように構成される、カメラを備え、拡張現実コンテンツを続いて表示するステップは、ユーザ注視持続時間または瞳孔面積の両方のうちの１つに応じて、拡張現実コンテンツのタイプおよびタイミングの一方または両方を修正するステップを含む、実施形態６４に記載のシステム。
【0079】
６７．ディスプレイデバイスは、ユーザの感情状態を検出するために構成される、カメラを備え、拡張現実コンテンツを続いて表示するステップは、ユーザの感情状態に基づいて、拡張現実コンテンツを表示するステップを含む、実施形態５３に記載のシステム。
【0080】
６８．動作はさらに、ユーザの識別を判定するステップを含む、実施形態５３に記載のシステム。
【0081】
６９．ユーザの識別を判定するステップは、ユーザの反射がユーザの視野内にあることの判定後に行われる、実施形態６８に記載のシステム。
【0082】
７０．拡張現実コンテンツを続いて表示するステップは、ユーザに一意の情報を表示するステップを含む、実施形態６８に記載のシステム。
【0083】
７１．動作はさらに、ユーザのアクティビティに関する情報を収集するステップを含む、実施形態６８に記載のシステム。
【0084】
７２．動作はさらに、ユーザのアクティビティに関する情報をユーザの反射を提供する反射表面と関連付けられた受信ステーションに伝送するステップを含む、実施形態５３に記載のシステム。
【0085】
７３．動作はさらに、拡張現実コンテンツを続いて表示する前に、ユーザの場所を判定するステップを含み、拡張現実コンテンツを続いて表示するステップは、ユーザの場所に特有の拡張現実コンテンツを表示するステップを含む、実施形態５３に記載のシステム。
【0086】
７４．拡張現実コンテンツを表示するステップは、ユーザが位置する店舗または店舗の一部からのセールのオファーを表示するステップを含む、実施形態７４に記載のシステム。
【0087】
７５．動作はさらに、ユーザの識別を判定するステップと、ユーザの購入またはブラウジング履歴にアクセスするステップと、購入またはブラウジング履歴に基づいて、セールのオファーを生成するステップとを含む、実施形態７４に記載のシステム。
【0088】
７６．拡張現実コンテンツは、ユーザの反射にオーバーレイする衣類の画像を備える、実施形態５３に記載のシステム。
【0089】
７７．拡張現実コンテンツは、ユーザの反射にオーバーレイし、ユーザの衣類の性質を修正する画像を備える、実施形態５３に記載のシステム。
【0090】
７８．性質は、色、テクスチャ、およびパターンのうちの１つまたはそれを上回るものを備える、実施形態７７に記載のシステム。
【0091】
７９．動作はさらに、拡張現実コンテンツおよびユーザの反射の一方または両方を１人またはそれを上回る他のユーザに配信するステップを含む、実施形態５３に記載のシステム。
【0092】
８０．動作はさらに、拡張現実コンテンツをユーザ以外の個人によってアクセス可能な遠隔サーバにアップロードすることによって、拡張現実コンテンツを共有するステップを含む、実施形態５３に記載のシステム。
【0093】
８１．拡張現実コンテンツは、定期的使用のための製品を補充するアラートを備える、実施形態５３に記載のシステム。
【0094】
８２．アラートは、美容製品を補充するためのリマインダを備える、美容関連アラートである、実施形態８１に記載のシステム。
【0095】
８３．動作はさらに、長期時間間隔にわたってユーザの１つまたはそれを上回る画像を捕捉するステップと、画像から導出される画像またはデータを記憶するステップと、現在の画像と記憶された画像またはデータとの間の比較を行うステップとを含み、拡張現実コンテンツを続いて表示するステップは、比較の結果を表示するステップを含む、実施形態５３に記載のシステム。
【0096】
８４．比較の結果を表示するステップは、ユーザの１つまたはそれを上回る以前の画像を表示するステップを含む、実施形態８３に記載のシステム。
【0097】
８５．比較の結果を表示するステップは、健康もしくは美容製品または健康もしくは美容関連処置に関する推奨を表示するステップを含む、実施形態８３に記載のシステム。
【0098】
８６．推奨を表示するステップは、健康もしくは美容製品または健康もしくは美容関連処置に関するオプションを表示するステップと、予期される結果の画像をユーザの反射とともにオーバーレイすることによって、健康もしくは美容製品または健康もしくは美容関連処置の予期される結果を表示するステップとを含む、実施形態８５に記載のシステム。
【0099】
８７．長期時間間隔は、数ヶ月または数年を含む、実施形態８３に記載のシステム。
【0100】
８８．１つまたはそれを上回る画像を捕捉するステップは、毎日行われる、実施形態８３に記載のシステム。
【0101】
８９．比較を行うステップは、健康分析を行うステップを含む、実施形態８３に記載のシステム。
【0102】
９０．健康分析を行うステップは、体型、皮膚蒼白、皮膚特徴における変化を検出するステップを含む、実施形態８９に記載のシステム。
【0103】
９１．健康分析を行うステップは、医療従事者とリアルタイムで相互作用するステップを含む、実施形態９０に記載の方法。
【0104】
９２．拡張現実コンテンツは、タスクを行うためのアラートを備える、実施形態５３に記載のシステム。
【0105】
９３．タスクは、定期的タスクである、実施形態９２に記載のシステム。
【0106】
９４．定期的タスクは、歯のフロス清掃、薬の服用、および薬の発注のうちの１つまたはそれを上回るものを含む、実施形態９３に記載のシステム。
【0107】
９５．拡張現実コンテンツは、ユーザの医療情報を備える、実施形態５３に記載のシステム。
【0108】
９６．医療情報は、体重、身長、および肥満度指数のうちの１つまたはそれを上回るものを含む、実施形態９５に記載のシステム。
【0109】
９７．動作はさらに、体重計、体温計、脈拍計、および心拍モニタのうちの１つまたはそれを上回るものからのデータにアクセスするステップを含み、拡張現実コンテンツを続いて表示するステップは、アクセスされたデータまたはアクセスされたデータから導出される情報の一方または両方を表示するステップを含む、実施形態９６に記載のシステム。
【0110】
９８．動作はさらに、ユーザの複数の画像を異なる角度から捕捉するステップと、現在の画像と基準画像または基準データとの間の差異を検出するステップとを含み、拡張現実コンテンツを続いて表示するステップは、差異を検出するステップの結果を表示するステップを含む、実施形態５３に記載のシステム。
【0111】
９９．拡張現実コンテンツを続いて表示するステップは、医療画像をユーザの反射上にオーバーレイするステップを含む、実施形態５３に記載のシステム。
【0112】
１００．拡張現実コンテンツを続いて表示するステップは、スポーツ画像をユーザの反射上にオーバーレイするステップを含み、スポーツ画像は、人物のラインダイヤグラムまたは画像を備え、人物のラインダイヤグラムまたは画像は、特定のスポーツ関連運動および身体姿勢を示す、実施形態５３に記載のシステム。
【0113】
１０１．拡張現実コンテンツを続いて表示するステップは、ユーザの反射の寸法を判定するための仮想スケールを表示するステップを含む、実施形態５３に記載のシステム。
【0114】
１０２．ディスプレイシステムであって、光をユーザに指向するように構成される光再指向特徴を備える表示領域を備えるウェアラブルディスプレイデバイスであって、該表示領域は、少なくとも部分的に、透明であり、それによって、表示領域を通して、周囲環境のビューを提供する、ウェアラブルディスプレイデバイスと、ハードウェアプロセッサと、コンピュータ実行可能命令を含む非一過性コンピュータ可読記憶媒体であって、該コンピュータ実行可能命令は、ハードウェアプロセッサによって実行されると、反射が表示領域を通したユーザの視野内にあることを判定するステップを含む動作を行うようにハードウェアプロセッサを構成する、非一過性コンピュータ可読記憶媒体とを備える、ディスプレイシステム。
【0115】
１０３．反射がユーザの視野内にあることを判定するステップは、反射の画像を分析し、反射内の指向性特徴が反転されるかどうかを判定するステップを含む、実施形態１０２に記載のディスプレイシステム。
【0116】
１０４．ユーザは、反射内に存在し、動作はさらに、ユーザの反射の画像を捕捉するステップと、ユーザの捕捉された画像に基づいて、健康分析を行うステップとを含む、実施形態１０２に記載のディスプレイシステム。
【0117】
１０５．健康分析は、神経学的試験を備える、実施形態１０４に記載のディスプレイシステム。
【0118】
１０６．健康分析は、脳神経試験、運動検査、観察可能な身体異常の検査、筋緊張および筋肉量の点検、筋肉の機能試験、個々の筋群の強度の試験、反射試験、協調試験、および歩行試験のうちの１つまたはそれを上回るものを備える、実施形態１０４に記載のディスプレイシステム。
【0119】
１０７．動作はさらに、反射に関する情報を他のディスプレイシステムと共有するステップを含む、実施形態１０２に記載のディスプレイシステム。
【0120】
１０８．動作はさらに、共有情報を別のディスプレイシステムから受信するステップと、他のディスプレイシステムのユーザによって体験されるビューに対応する拡張現実コンテンツを表示するステップとを含む、実施形態１０７に記載のディスプレイシステム。
【0121】
１０９．ディスプレイシステムは、湾曲鏡によって提供される拡大率を判定するように構成される、実施形態１０２に記載のディスプレイシステム。
【0122】
１１０．ディスプレイシステムは、反射内の特徴の画像を表示しながら、拡大率を補正するように構成される、実施形態１０９に記載のディスプレイシステム。
【0123】
１１１．ディスプレイシステムは、反射内の特徴のサイズを判定しながら、拡大率を補正するように構成される、実施形態１０９に記載のディスプレイシステム。
【0124】
１１２．画像を表示するための方法であって、光をユーザに指向するように構成される光再指向特徴を備える表示領域を備えるウェアラブルディスプレイデバイスを提供するステップであって、該表示領域は、少なくとも部分的に、透明であり、それによって、表示領域を通して、周囲環境のビューに提供する、ステップと、反射が表示領域を通したユーザの視野内にあることを判定するステップとを含む、方法。
【0125】
１１３．反射がユーザの視野内にあることを判定するステップは、反射の画像を分析し、反射内の指向性特徴が反転されるかどうかを判定するステップを含む、実施形態１１１に記載の方法。
【0126】
１１４．ユーザは、反射内に存在し、ユーザの反射の画像を捕捉するステップと、ユーザの捕捉された画像に基づいて、健康分析を行うステップとをさらに含む、実施形態１１１に記載の方法。
【0127】
１１５．健康分析は、神経学的試験を備える、実施形態１１３に記載の方法。
【0128】
１１６．健康分析を行うステップは、脳神経試験、運動検査、観察可能な身体異常の検査、筋緊張および筋肉量の点検、筋肉の機能試験、個々の筋群の強度の試験、反射試験、協調試験、および歩行試験のうちの１つまたはそれを上回るものを行うステップを含む、実施形態１１３に記載の方法。
【0129】
１１７．反射に関する情報を他のディスプレイシステムと共有するステップをさらに含む、実施形態１１３に記載の方法。
【0130】
１１８．共有情報を別のディスプレイシステムから受信するステップと、他のディスプレイシステムのユーザによって体験されるビューに対応する拡張現実コンテンツを表示するステップとをさらに含む、実施形態１１３に記載の方法。
【0131】
１１９．湾曲鏡によって提供される拡大率を判定するステップをさらに含む、実施形態１１１に記載の方法。
【0132】
１２０．反射内の特徴の画像を表示しながら、拡大率を補正するステップをさらに含む、実施形態１１８に記載の方法。
【0133】
１２１．拡大率を補正しながら、反射内の特徴のサイズを判定するステップをさらに含む、実施形態１１８に記載の方法。
【0134】
１２２．ディスプレイシステムであって、光をユーザに指向するように構成される光再指向特徴を備える表示領域であって、該表示領域は、少なくとも部分的に、透明であり、それによって、表示領域を通して、周囲環境のビューに提供する、表示領域と、外向きカメラとを備えるウェアラブルディスプレイデバイスであって、ハードウェアプロセッサと、コンピュータ実行可能命令を含む非一過性コンピュータ可読記憶媒体であって、該コンピュータ実行可能命令は、ハードウェアプロセッサによって実行されると、外向きカメラを使用して、画像情報を受動的に収集するステップと、画像情報が反射を含有するかどうかを判定するステップと、画像情報がユーザの健康分析のための関連データを含有するかどうかを判定するステップと、健康分析を行うステップとを含む、動作を行うようにハードウェアプロセッサを構成する、非一過性コンピュータ可読記憶媒体とを備える、ディスプレイシステム。
【0135】
１２３．ハードウェアプロセッサは、ユーザがウェアラブルディスプレイデバイスを装着している間、実質的に持続的かつ受動的に画像情報を収集し、画像情報が、健康分析のための関連データを含有することを断続的に判定するように構成される、実施形態１２０に記載のディスプレイシステム。
【0136】
１２４．ハードウェアプロセッサは、数週間の持続時間にわたって、繰り返し健康分析を行うように構成される、実施形態１２０に記載のディスプレイシステム。
【0137】
１２５．画像情報は、静止画像を備える、実施形態１２０に記載のディスプレイシステム。
【0138】
１２６．画像情報は、ビデオを備える、実施形態１２０に記載のディスプレイシステム。
【0139】
１２７．画像を表示するための方法であって、光をユーザに指向するように構成される光再指向特徴を備える表示領域であって、該表示領域は、少なくとも部分的に、透明であり、それによって、表示領域を通して、周囲環境のビューを提供する、表示領域と、外向きカメラとを備えるウェアラブルディスプレイデバイスを提供するステップと、外向きカメラを使用して、画像情報を受動的に収集するステップと、画像情報が反射を含有するかどうかを判定するステップと、画像情報がユーザの健康分析のための関連データを含有するかどうかを判定するステップと、健康分析を行うステップとを含む、方法。
【0140】
１２８．画像情報を受動的に収集するステップは、ユーザがウェアラブルディスプレイデバイスを装着している間、実質的に持続的に行われ、画像情報が健康分析のための関連データを含有するかどうかを判定するステップは、ユーザがウェアラブルディスプレイデバイスを装着している間、断続的に行われる、実施形態１２５に記載の方法。
【0141】
１２９．数週間の持続時間にわたって、画像情報が反射を含有するかどうかを判定するステップと、画像情報がユーザの健康分析のための関連データを含有するかどうかを判定するステップと、健康分析を行うステップとを繰り返すステップをさらに含む、実施形態１２５に記載の方法。
【0142】
１３０．画像情報を受動的に収集するステップは、静止画像を収集するステップを含む、実施形態１２５に記載の方法。
【0143】
１３１．画像情報を受動的に収集するステップは、ビデオを収集するステップを含む、実施形態１２５に記載の方法。
【0144】
以下は、画像ベースのキューを使用する鏡検出に関連する例示的実施形態である。
【0145】
１．環境内の鏡を検出するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実デバイス（ＡＲＤ）であって、ユーザの周囲の環境を撮像するように構成される外向きイメージングシステムを備えるＡＲＤの制御下で、外向きイメージングシステムを使用して、標的オブジェクトを含む環境の画像を得るステップであって、標的オブジェクトは、少なくとも部分的に鏡を囲繞するフレームを備え得る、ステップと、少なくとも部分的に、画像の分析に基づいて、鏡を示すキューを識別するステップと、少なくとも部分的に、識別されたキューに基づいて、鏡の存在を確認するステップと、少なくとも部分的に、環境内の鏡の確認された存在に基づいて、アクションを行うステップとを含む、方法。
【0146】
２．キューを識別するステップは、画像内の第１の複数のキーポイントを識別するステップと、環境の世界マップにアクセスするステップであって、世界マップは、環境内の物理的オブジェクトについての情報を備える、ステップと、世界マップ内の第２の複数のキーポイントを識別するステップと、第１の複数のキーポイントと第２の複数のキーポイントを比較し、第１の複数のキーポイントが鏡内の第２の複数のキーポイントの反射であるかどうかを判定するステップとを含む、実施形態１に記載の方法。
【0147】
３．第１の複数のキーポイントと第２の複数のキーポイントを比較するステップは、第１の複数のキーポイントによって形成される第１の幾何学形状と第２の複数のキーポイントによって形成される第２の幾何学形状との間の幾何学的関係を判定するステップを含む、実施形態２に記載の方法。
【0148】
４．第１の複数のキーポイントは、近傍キーポイントの第１のトリプレットを含み、第２の複数のキーポイントは、近傍キーポイントの第２のトリプレットを含む、実施形態２または実施形態３に記載の方法。
【0149】
５．第１の複数のキーポイントが鏡内の第２の複数のキーポイントの反射であるかどうかを判定するステップは、近傍キーポイントの第１のトリプレット間の開放角および近傍キーポイントの第２のトリプレット間の開放角を判定するステップを含む、実施形態４に記載の方法。
【0150】
６．第１の複数のキーポイントによって形成される第１の幾何学形状と第２の複数のキーポイントによって形成される第２の幾何学形状との間の幾何学的関係を判定するステップは、それぞれ、第１の幾何学形状または第２の幾何学形状を軸方向に変換するステップを含む、実施形態３－５のいずれか１項に記載の方法。
【0151】
７．キューは、第１の複数のキーポイントと第２の複数のキーポイントとの間の合致または第１の幾何学形状と第２の幾何学形状との間の合致のうちの１つまたはそれを上回るものを備える、実施形態２－６のいずれか１項に記載の方法。
【0152】
８．キューを識別するステップは、環境の画像内において、標的オブジェクト内に反射されたオブジェクトを識別するステップを含む、実施形態１－７のいずれか１項に記載の方法。
【0153】
９．反射されたオブジェクトは、ユーザの頭部の鏡像、ＡＲＤの鏡像、環境内の物理的オブジェクトの鏡像、または環境内のテキストの鏡像を備える、実施形態８に記載の方法。
【0154】
１０．キューを識別するステップは、標的オブジェクトの境界を識別するステップと、標的オブジェクトの境界における第１の深度を測定するステップと、標的オブジェクトの境界内に現れるオブジェクトの第２の深度を測定するステップと、第１の深度と第２の深度を比較し、第１の深度が第２の深度に合致するかどうかを判定するステップとを含む、実施形態１－９のいずれか１項に記載の方法。
【0155】
１１．キューは、第１の深度と第２の深度との間の不整合を備える、実施形態１０に記載の方法。
【0156】
１２．キューを識別するステップは、環境の画像内の標的オブジェクトの特徴を識別するステップを含む、実施形態１－１１のいずれか１項に記載の方法。
【0157】
１３．特徴は、標的オブジェクトと関連付けられたサイズ、場所、面法線、フレーム、形状、またはラベルのうちの１つまたはそれを上回るものを備える、実施形態１２に記載の方法。
【0158】
１４．ラベルは、鏡の存在を示す情報を含有する、光学ラベルを備える、実施形態１３に記載の方法。
【0159】
１５．鏡の存在を確認するステップは、ＡＲＤによって、信号を標的オブジェクトと関連付けられたラベルに伝送し、ラベルからの応答を受信するステップを含み、応答は、鏡の存在を示す情報を含む、実施形態１－１４のいずれか１項に記載の方法。
【0160】
１６．鏡の存在を確認するステップは、標的オブジェクトと関連付けられたラベルからの信号を受信するステップを含み、信号は、鏡の存在を示す情報を含む、実施形態１－１４のいずれか１項に記載の方法。
【0161】
１７．信号は、電磁信号または音響信号を備える、実施形態１５または１６に記載の方法。
【0162】
１８．アクションを行うステップは、環境の世界マップにアクセスするステップと、少なくとも部分的に、確認された鏡の存在に基づいて、環境の世界マップを更新するステップとを含む、実施形態１－１７のいずれか１項に記載の方法。
【0163】
１９．アクションを行うステップは、鏡の存在の確認に応答して、鏡を使用して、テレプレゼンスセッションを実施するステップを含む、実施形態１－１８のいずれか１項に記載の方法。
【0164】
２０．標的オブジェクトは、出入口、窓、または鏡のうちの１つまたはそれを上回るものを備える、実施形態１－１９のいずれか１項に記載の方法。
【0165】
２１．環境内の反射表面を検出するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実デバイス（ＡＲＤ）であって、ユーザの周囲の環境を撮像するように構成される外向きイメージングシステムを備えるＡＲＤの制御下で、外向きイメージングシステムを使用して、環境の画像を得るステップであって、画像は、標的オブジェクトを含み、標的オブジェクトは、反射表面を備え得る、ステップと、少なくとも部分的に、画像の分析に基づいて、反射表面を示すキューを識別するステップと、少なくとも部分的に、識別されたキューに基づいて、反射表面の存在を確認するステップとを含む、方法。
【0166】
２２．キューを識別するステップは、画像内の第１の複数のキーポイントによって形成される第１の幾何学形状を識別するステップと、環境の世界マップにアクセスするステップであって、世界マップは、環境内の物理的オブジェクトについての情報を備える、ステップと、世界マップ内の第２の複数のキーポイントによって形成される第２の幾何学形状を識別するステップと、第１の幾何学形状と第２の幾何学形状との間の幾何学的関係を計算し、第１の幾何学形状が第２の幾何学形状の反射された画像であるかどうかを判定するステップとを含む、実施形態２１に記載の方法。
【0167】
２３．第１の複数のキーポイントは、キーポイントの第１のトリプレットを備え、第２の複数のキーポイントは、キーポイントの第２のトリプレットを備える、実施形態２２に記載の方法。
【0168】
２４．幾何学的関係を計算するステップは、キーポイントの第１のトリプレット間の開放角およびキーポイントの第２のトリプレット間の開放角を判定するステップを含む、実施形態２３に記載の方法。
【0169】
２５．幾何学的関係を計算するステップは、それぞれ、第１の幾何学形状または第２の幾何学形状を軸方向に変換するステップを含む、実施形態２２－２４のいずれか１項に記載の方法。
【0170】
２６．幾何学的関係を計算するステップは、第１の幾何学形状の第１のサイズおよび第２の幾何学形状の第２のサイズとの間の拡大率の量を判定するステップを含む、実施形態２２－２５のいずれか１項に記載の方法。
【0171】
２７．キューは、第１の幾何学形状と第２の幾何学形状との間の合致を備える、実施形態２２－２６のいずれか１項に記載の方法。
【0172】
２８．キューを識別するステップは、環境の画像内において、標的オブジェクト内に反射されたオブジェクトを識別するステップを含む、実施形態２１－２７のいずれか１項に記載の方法。
【0173】
２９．反射されたオブジェクトは、ユーザの頭部の鏡像、ＡＲＤの鏡像、環境内の物理的オブジェクトの鏡像、または環境内のテキストの鏡像を備える、実施形態２８に記載の方法。
【0174】
３０．キューを識別するステップは、標的オブジェクトの境界を識別するステップと、標的オブジェクトの境界における第１の深度を測定するステップと、標的オブジェクトの境界内に現れるオブジェクトの第２の深度を測定するステップと、第１の深度と第２の深度を比較し、第１の深度が第２の深度に合致するかどうかを判定するステップとを含む、実施形態２１－２９のいずれか１項に記載の方法。
【0175】
３１．キューは、第１の深度と第２の深度との間の不整合を備える、実施形態３０に記載の方法。
【0176】
３２．キューを識別するステップは、環境の画像内の標的オブジェクトの特徴を識別するステップを含む、実施形態２１－３１のいずれか１項に記載の方法。
【0177】
３３．特徴は、標的オブジェクトと関連付けられたサイズ、場所、面法線、フレーム、形状、またはラベルのうちの１つまたはそれを上回るものを備える、実施形態３２に記載の方法。
【0178】
３４．ラベルは、反射表面の存在を示す情報を含有する、光学ラベルを備える、実施形態３３に記載の方法。
【0179】
３５．反射表面の存在を確認するステップは、ＡＲＤによって、信号を標的オブジェクトと関連付けられたラベルに伝送し、ラベルからの応答を受信するステップを含み、応答は、反射表面の存在を示す情報を含む、実施形態２１－３４のいずれか１項に記載の方法。
【0180】
３６．反射表面の存在を確認するステップは、標的オブジェクトと関連付けられたラベルからの信号を受信するステップを含み、信号は、反射表面の存在を示す情報を含む、実施形態２１－３４のいずれか１項に記載の方法。
【0181】
３７．信号は、電磁信号または音響信号を備える、実施形態３５または３６に記載の方法。
【0182】
３８．アクションを行うステップは、環境の世界マップにアクセスするステップと、少なくとも部分的に、確認される反射表面の存在に基づいて、環境の世界マップを更新するステップを含む、実施形態２１－３７のいずれか１項に記載の方法。
【0183】
３９．アクションを行うステップは、反射表面の存在の確認に応答して、反射表面を使用して、テレプレゼンスセッションを実施するステップを含む、実施形態２１－３８のいずれか１項に記載の方法。
【0184】
４０．標的オブジェクトは、出入口、窓、または鏡のうちの１つまたはそれを上回るものを備える、実施形態２１－３９のいずれか１項に記載の方法。
【0185】
４１．コンピュータハードウェアと、ユーザの周囲の環境を撮像するように構成される外向きイメージングシステムとを備える拡張現実デバイス（ＡＲＤ）であって、該拡張現実システムは、実施形態１－４０の方法のうちの任意の１つを行うようにプログラムされる、拡張現実デバイス。
【0186】
以下は、センサベースのキューを使用する鏡検出に関連する例示的実施形態である。
【0187】
１．環境内の鏡を検出するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実デバイス（ＡＲＤ）であって、ユーザの周囲の環境を撮像するように構成される外向きカメラと、環境内の物理的オブジェクトの移動を判定するように構成される慣性測定ユニット（ＩＭＵ）とを備えるＡＲＤの制御下で、標的オブジェクト内の物理的オブジェクトの反射された画像を検出するステップであって、標的オブジェクトは、鏡であり得る、ステップと、反射された画像と関連付けられた第１の移動データを収集するステップと、物理的オブジェクトと関連付けられた第２の移動データを収集するステップと、第１の移動データと第２の移動データを比較し、鏡の存在を示すキューを識別するステップと、少なくとも部分的に、識別されたキューに基づいて、鏡の存在を確認するステップとを含む、方法。
【0188】
２．物理的オブジェクトは、ユーザの身体の少なくとも一部を備える、実施形態１に記載の方法。
【0189】
３．物理的オブジェクトは、ユーザの頭部または手を備える、実施形態２に記載の方法。
【0190】
４．第１の移動データを収集するステップおよび第２の移動データを収集するステップは、外向きカメラによって行われる、実施形態１－３のいずれか１項に記載の方法。
【0191】
５．第１の移動データは、ある時間周期にわたる反射された画像の位置変化を示す画像を備え、第２の移動データは、その時間周期にわたる物理的オブジェクトの位置変化を示す画像を備える、実施形態４に記載の方法。
【0192】
６．第１の移動データを収集するステップは、外向きカメラによって行われ、第２の移動データを収集するステップは、ＩＭＵによって行われる、実施形態１－３のいずれか１項に記載の方法。
【0193】
７．第１の移動データは、ある時間周期にわたる反射された画像の位置変化を示す画像を備え、第２の移動データは、その時間周期にわたる物理的オブジェクトの位置変化を備える、実施形態６に記載の方法。
【0194】
８．第１の移動データと第２の移動データを比較し、キューを識別するステップは、反射された画像と関連付けられた第１の軌道を生成するステップであって、第１の軌道は、少なくとも部分的に、第１の移動データに基づく、ステップと、反射された画像と関連付けられた第２の軌道を生成するステップであって、第２の軌道は、少なくとも部分的に、第２の移動データに基づく、ステップと、第１の軌道および第２の軌道の共分散を計算するステップとを含む、実施形態５または実施形態７に記載の方法。
【0195】
９．キューは、共分散が閾値未満であることを判定するステップを含む、実施形態８に記載の方法。
【0196】
１０．鏡の存在を確認するステップは、ＡＲＤによって、信号を標的オブジェクトと関連付けられたラベルに伝送し、ラベルからの応答を受信するステップを含み、応答は、鏡の存在を示す情報を含む、実施形態１－９のいずれか１項に記載の方法。
【0197】
１１．鏡の存在を確認するステップは、標的オブジェクトと関連付けられたラベルからの信号を受信するステップを含み、信号は、鏡の存在を示す情報を含む、実施形態１－１０のいずれか１項に記載の方法。
【0198】
１２．信号は、電磁信号または音響信号を備える、実施形態１０または実施形態１１に記載の方法。
【0199】
１３．環境内の反射表面を検出するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実デバイス（ＡＲＤ）であって、ユーザの周囲の環境を撮像するように構成される外向きカメラと、環境内の物理的オブジェクトの移動を追跡するように構成される慣性測定ユニット（ＩＭＵ）とを備えるＡＲＤの制御下で、標的オブジェクト内の物理的オブジェクトの反射された画像を検出するステップであって、標的オブジェクトは、反射表面を備え得る、ステップと、反射された画像と関連付けられた第１の移動データを収集するステップと、物理的オブジェクトと関連付けられた第２の移動データを収集するステップと、第１の移動データと第２の移動データを比較し、反射表面の存在を示すキューを識別するステップとを含む、方法。
【0200】
１４．物理的オブジェクトは、ユーザの身体の少なくとも一部を備える、実施形態１３に記載の方法。
【0201】
１５．物理的オブジェクトは、ユーザの頭部または手を備える、実施形態１４に記載の方法。
【0202】
１６．第１の移動データを収集するステップおよび第２の移動データを収集するステップは、外向きカメラによって、ある時間周期にわたって、画像を得るステップと、画像内の反射された画像の個別の位置を識別するステップと、反射された画像の識別された個別の位置に基づいて、第１の軌道を計算するステップと、画像内の物理的オブジェクトの個別の位置を識別するステップと、物理的オブジェクトの識別された個別の位置に基づいて、第２の軌道を計算するステップとを含む、実施形態１３－１５のいずれか１項に記載の方法。
【0203】
１７．第１の移動データを収集するステップは、外向きカメラによって行われ、第２の移動データを収集するステップは、ＩＭＵによって行われる、実施形態１３－１５のいずれか１項に記載の方法。
【0204】
１８．キューを識別するステップは、第１の移動データと第２の移動データとの間の共分散を計算するステップと、共分散が閾値未満であるかどうかを判定するステップとを含む、実施形態１３－１７のいずれか１項に記載の方法。
【0205】
１９．キューは、共分散が閾値未満であることの判定に応答して識別される、実施形態１８に記載の方法。
【0206】
２０．環境内の反射表面を検出するための拡張現実（ＡＲ）システムであって、該ＡＲシステムは、ユーザの周囲の環境を撮像するように構成される外向きカメラと、オブジェクトの移動を測定するように構成される慣性測定ユニットと、実施形態１－１９における方法のうちの任意の１つを行うように構成されるハードウェアプロセッサとを備える、ＡＲシステム。
【0207】
２１．環境内の反射表面を検出するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実デバイス（ＡＲＤ）であって、ＡＲＤの外部のオブジェクトに関する信号を伝送または受信するように構成される複数のセンサを備えるＡＲＤの制御下で、標的オブジェクトを識別するステップであって、標的オブジェクトは、反射表面を備え得る、ステップと、信号を標的オブジェクトの近傍の面積に伝送するステップと、信号のフィードバックを標的オブジェクトと関連付けられたオブジェクトから受信するステップと、フィードバックを分析し、標的オブジェクトが反射表面を備えることを確認するステップとを含む、方法。
【0208】
２２．信号は、電磁信号または音響信号を備える、実施形態２１に記載の方法。
【0209】
２３．電磁信号は、光学信号を備える、実施形態２２に記載の方法。
【0210】
２４．信号を伝送するステップは、光のビームを標的オブジェクトに向かって点滅させるステップを含む、実施形態２３に記載の方法。
【0211】
２５．フィードバックは、標的オブジェクトによって反射された信号の一部を備える、実施形態２１に記載の方法。
【0212】
２６．標的オブジェクトは、鏡を備える、実施形態２１－２５のいずれか１項に記載の方法。
【0213】
２７．フィードバックを分析するステップは、フィードバックの強度を判定するステップと、フィードバックの強度が閾値を超える場合、標的オブジェクトが反射表面を備えることを確認するステップとを含む、実施形態２１－２６のいずれか１項に記載の方法。
【0214】
２８．ユーザの環境内の反射表面を検出するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実デバイス（ＡＲＤ）であって、信号を伝送し、ＡＲＤの外部の標的オブジェクトから受信するように構成される複数のセンサを備えるＡＲＤの制御下で、環境内の反射表面の存在を示す信号を受信するステップと、受信された信号と関連付けられ得る標的オブジェクトを識別するステップと、標的オブジェクトが反射表面と関連付けられることを確認するステップとを含む、方法。
【0215】
２９．信号は、電磁信号または音響信号を備える、実施形態２８に記載の方法。
【0216】
３０．標的オブジェクトは、信号を放出するように構成される無線周波数識別タグを備える、実施形態２８または実施形態２９に記載の方法。
【0217】
３１．標的オブジェクトが反射表面と関連付けられることを確認するステップは、ＡＲＤのイメージングシステムを使用して、環境の画像を得るステップであって、画像は、標的オブジェクトを含む、ステップと、少なくとも部分的に、画像の分析に基づいて、キューを識別するステップとを含む、実施形態２８に記載の方法。
【0218】
３２．キューを識別するステップは、画像内の第１の複数のキーポイントを識別するステップと、環境の世界マップにアクセスするステップであって、世界マップは、環境内の物理的オブジェクトについての情報を備える、ステップと、世界マップ内の第２の複数のキーポイントを識別するステップと、第１の複数のキーポイントと第２の複数のキーポイントを比較し、第１の複数のキーポイントが反射表面内の第２の複数のキーポイントの反射であるかどうかを判定するステップとを含む、実施形態３１に記載の方法。
【0219】
３３．第１の複数のキーポイントと第２の複数のキーポイントを比較するステップは、第１の複数のキーポイントによって形成される第１の幾何学形状と第２の複数のキーポイントによって形成される第２の幾何学形状との間の幾何学的関係を判定するステップを含む、実施形態３２に記載の方法。
【0220】
３４．第１の複数のキーポイントは、近傍キーポイントの第１のトリプレットを含み、第２の複数のキーポイントは、近傍キーポイントの第２のトリプレットを含む、実施形態３２または実施形態３３に記載の方法。
【0221】
３５．第１の複数のキーポイントが鏡内の第２の複数のキーポイントの反射であるかどうかを判定するステップは、近傍キーポイントの第１のトリプレット間の開放角および近傍キーポイントの第２のトリプレット間の開放角を判定するステップを含む、実施形態３４に記載の方法。
【0222】
３６．第１の複数のキーポイントによって形成される第１の幾何学形状と第２の複数のキーポイントによって形成される第２の幾何学形状との間の幾何学的関係を判定するステップは、それぞれ、第１の幾何学形状または第２の幾何学形状を軸方向に変換するステップを含む、実施形態３３－３５のいずれか１項に記載の方法。
【0223】
３７．キューは、第１の複数のキーポイントと第２の複数のキーポイントとの間の合致または第１の幾何学形状と第２の幾何学形状との間の合致のうちの１つまたはそれを上回るものを備える、実施形態３２－３６のいずれか１項に記載の方法。
【0224】
３８．キューを識別するステップは、環境の画像内において、標的オブジェクト内に反射されたオブジェクトを識別するステップを含む、実施形態３１－３７のいずれか１項に記載の方法。
【0225】
３９．反射されたオブジェクトは、ユーザの頭部の鏡像、ＡＲＤの鏡像、環境内の物理的オブジェクトの鏡像、またはユーザの環境内のテキストの鏡像を備える、実施形態３８に記載の方法。
【0226】
４０．キューを識別するステップは、標的オブジェクトの境界を識別するステップと、標的オブジェクトの境界における第１の深度を測定するステップと、標的オブジェクトの境界内に現れるオブジェクトの第２の深度を測定するステップと、第１の深度と第２の深度を比較し、第１の深度が第２の深度に合致するかどうかを判定するステップを含む、実施形態３１－３９のいずれか１項に記載の方法。
【0227】
４１．キューは、第１の深度と第２の深度との間の不整合を備える、実施形態４０に記載の方法。
【0228】
４２．キューを識別するステップは、環境の画像内の標的オブジェクトの特徴を識別するステップを含む、実施形態３１－４１のいずれか１項に記載の方法。
【0229】
４３．特徴は、標的オブジェクトと関連付けられたサイズ、場所、面法線、フレーム、形状、またはラベルのうちの１つまたはそれを上回るものを備える、実施形態４２に記載の方法。
【0230】
４４．ラベルは、鏡の存在を示す情報を含有する光学ラベルを備える、実施形態４３に記載の方法。
【0231】
４５．標的オブジェクトが反射表面と関連付けられることを確認するステップは、標的オブジェクト内の物理的オブジェクトの反射された画像を検出するステップと、反射された画像と関連付けられた第１の移動データを収集するステップと、標的オブジェクトと関連付けられた第２の移動データを収集するステップと、第１の移動データと第２の移動データを比較し、反射表面の存在を示すキューを識別するステップとを含む、実施形態２８に記載の方法。
【0232】
４６．物理的オブジェクトは、ユーザの身体の少なくとも一部を備える、実施形態４５に記載の方法。
【0233】
４７．物理的オブジェクトは、ユーザの頭部または手を備える、実施形態４６に記載の方法。
【0234】
４８．第１の移動データを収集するステップおよび第２の移動データを収集するステップは、外向きカメラによって、ある時間周期にわたって、画像を得るステップと、画像内の反射された画像の個別の位置を識別するステップと、反射された画像の識別された個別の位置に基づいて、第１の軌道を計算するステップと、画像内の物理的オブジェクトの個別の位置を識別するステップと、物理的オブジェクトの識別された個別の位置に基づいて、第２の軌道を計算するステップとを含む、実施形態４５－４７のいずれか１項に記載の方法。
【0235】
４９．第１の移動データを収集するステップは、ＡＲシステムの外向きイメージングシステムによって行われ、第２の移動データを収集するステップは、ＡＲシステムの慣性測定ユニットによって行われる、実施形態４５－４７のいずれか１項に記載の方法。
【0236】
５０．キューを識別するステップは、第１の移動データと第２の移動データとの間の共分散を計算するステップと、共分散が閾値未満であるかどうかを判定するステップとを含む、実施形態４５－４９のいずれか１項に記載の方法。
【0237】
５１．キューは、共分散が閾値未満であることの判定に応答して識別される、実施形態５０に記載の方法。
【0238】
５２．１つまたはそれを上回るセンサを備え、実施形態２１－５１における方法のうちの任意の１つを行うように構成される、拡張現実システム。
【0239】
以下は、反射表面の存在下における拡張現実世界マップに関連する例示的実施形態である。
【0240】
１．３次元（３Ｄ）世界マップを補正するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実（ＡＲ）システムであって、ユーザの周囲の環境を撮像するように構成される外向きカメラを備え、３Ｄ世界マップを記憶するデータ記憶装置と通信するＡＲシステムの制御下で、外向きカメラによって、ユーザの周囲の環境内の反射表面の存在を検出するステップと、反射表面と関連付けられた情報を判定するステップと、データ記憶装置から、環境と関連付けられた３Ｄ視覚的マップにアクセスするステップと、少なくとも部分的に、反射表面と関連付けられた判定された情報に基づいて、３Ｄ世界マップを更新するステップとを含む、方法。
【0241】
２．反射表面は、鏡の反射表面を備える、実施形態１に記載の方法。
【0242】
３．反射表面の存在を検出するステップは、外向きカメラによって、反射表面上に反射されたユーザの画像を検出するステップ、反射表面と関連付けられた光学ラベルを検出するステップ、反射表面と反射表面を支持する壁との間の深度不連続性を判定するステップ、または反射表面の存在と関連付けられた信号を受信するステップのうちの１つまたはそれを上回るものを含む、実施形態１に記載の方法。
【0243】
４．反射表面と関連付けられた情報を判定するステップは、環境内のオブジェクトの反射された画像の存在を判定するステップを含む、実施形態１－３のいずれか１項に記載の方法。
【0244】
５．反射表面と関連付けられた情報を判定するステップは、サイズ、形状、場所、または鏡の意味論情報のうちの１つまたはそれを上回るものを判定するステップを含む、実施形態１－３のいずれか１項に記載の方法。
【0245】
６．３Ｄ世界マップを更新するステップは、３Ｄ視覚的マップから、環境内のオブジェクトの反射された画像によって生じるアーチファクトを除去するステップを含む、実施形態１－５のいずれか１項に記載の方法。
【0246】
７．アーチファクトは、環境内のオブジェクトの反射された画像を備える、実施形態６に記載の方法。
【0247】
８．３次元（３Ｄ）世界マップを生成するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実（ＡＲ）システム、ユーザの周囲の環境を撮像するように構成される外向きカメラを備え、３Ｄ世界マップを記憶するデータ記憶装置と通信するＡＲシステムの制御下で、外向きカメラによって、ユーザの周囲の環境内の反射表面の存在を検出するステップと、反射表面と関連付けられた情報を判定するステップと、環境内のオブジェクトの反射された画像の存在を判定するステップと、少なくとも部分的に、判定された反射表面と関連付けられた情報に基づいて、３Ｄ世界マップを生成するステップとを含み、３Ｄ世界マップは、オブジェクトの反射された画像を非物理的オブジェクトとして正しく識別する、方法。
【0248】
９．３Ｄ世界マップを生成するステップは、オブジェクトの反射された画像を環境内の実際のオブジェクトとして解釈しないステップを含む、実施形態８に記載の方法。
【0249】
１０．３Ｄ世界マップを生成するステップは、オブジェクトの反射された画像を世界マップ内に含むステップと、オブジェクトの反射された画像を反射された画像としてタグ付けするステップとを含む、実施形態８または９に記載の方法。
【0250】
１１．３Ｄ世界マップを生成するステップは、世界マップ内のオブジェクトの反射された画像を除外するステップを含む、実施形態８－１０のいずれか１項に記載の方法。
【0251】
１２．３次元（３Ｄ）世界マップを補正するための拡張現実（ＡＲ）システムであって、該拡張現実システムは、ユーザの周囲の環境の画像を取得するように構成される外向きカメラと、３Ｄ世界マップおよび画像を記憶するデータ記憶装置と、データ記憶装置と通信するコンピュータハードウェアであって、外向きカメラによって取得された画像を使用して、ユーザの周囲の環境内の反射表面の存在を検出することと、反射表面と関連付けられた情報を判定することと、データ記憶装置から、環境と関連付けられた３Ｄ世界マップにアクセスすることと、少なくとも部分的に、反射表面と関連付けられた判定された情報に基づいて、３Ｄ世界マップを更新することとを行うようにプログラムされるコンピュータハードウェアとを備える、拡張現実システム。
【0252】
１３．反射表面は、鏡の反射表面を備える、実施形態１２に記載のシステム。
【0253】
１４．反射表面の存在を検出するために、コンピュータハードウェアは、外向きカメラによって、反射表面上に反射されたユーザの画像を検出すること、反射表面と関連付けられた光学ラベルを検出すること、反射表面と反射表面を支持する壁との間の深度不連続性を判定すること、または反射表面の存在と関連付けられた信号を受信することのうちの１つまたはそれを上回るものを行うようにプログラムされる、実施形態１２または１３に記載のシステム。
【0254】
１５．反射表面と関連付けられた情報を判定するために、コンピュータハードウェアは、環境内のオブジェクトの反射された画像の存在を判定するようにプログラムされる、実施形態１２－１４のうちのいずれか１項に記載のシステム。
【0255】
１６．３Ｄ世界マップを更新するために、コンピュータハードウェアは、３Ｄ世界マップから、環境内のオブジェクトの反射された画像によって生じるアーチファクトを除去するようにプログラムされる、実施形態１２－１５のうちのいずれか１項に記載のシステム。
【0256】
１７．アーチファクトは、環境内のオブジェクトの反射された画像を備える、実施形態１６に記載のシステム。
【0257】
１８．反射表面と関連付けられた情報を判定するために、コンピュータハードウェアは、サイズ、形状、場所、または反射表面の意味論情報のうちの１つまたはそれを上回るものを判定するようにプログラムされる、実施形態１２－１７のうちのいずれか１項に記載のシステム。
【0258】
１９．３次元（３Ｄ）世界マップを生成するための拡張現実（ＡＲ）システムであって、該拡張現実システムは、ユーザの周囲の環境の画像を取得するように構成される外向きカメラと、３Ｄ世界マップおよび画像を記憶するデータ記憶装置と、データ記憶装置と通信するコンピュータハードウェアであって、外向きカメラによって取得された画像を使用して、ユーザの周囲の環境内の反射表面の存在を検出することと、反射表面と関連付けられた情報を判定することと、環境内のオブジェクトの反射された画像の存在を判定することと、少なくとも部分的に、判定された反射表面と関連付けられた情報に基づいて、３Ｄ世界マップを生成することとを行うようにプログラムされる、コンピュータハードウェアとを備え、３Ｄ世界マップは、オブジェクトの反射された画像を非物理的オブジェクトとして正しく識別する、拡張現実システム。
【0259】
２０．３Ｄ世界マップを生成するために、コンピュータハードウェアは、オブジェクトの反射された画像を環境内の実際のオブジェクトとして解釈しないようにプログラムされる、実施形態１９に記載のシステム。
【0260】
２１．３Ｄ世界マップを生成するために、コンピュータハードウェアは、世界マップ内のオブジェクトの反射された画像を除外するようにプログラムされる、実施形態１９または２０に記載のシステム。
【0261】
２２．３Ｄ世界マップを生成するために、コンピュータハードウェアは、オブジェクトの反射された画像を世界マップ内に含み、オブジェクトの反射された画像を反射された画像としてタグ付けするようにプログラムされる、実施形態１９に記載のシステム。
【0262】
２３．３次元（３Ｄ）世界マップを処理するための方法であって、該方法は、コンピュータハードウェアを備える拡張現実（ＡＲ）システムであって、ユーザの周囲の環境を撮像するように構成される外向きカメラを備え、３Ｄ世界マップを記憶するデータ記憶装置と通信するＡＲシステムの制御下で、外向きカメラを用いて、ユーザの環境を撮像するステップと、ユーザの環境内の反射表面の存在を検出するステップと、少なくとも部分的に、反射表面の存在に基づいて、３Ｄ世界マップを処理するスップとを含む、方法。
【0263】
２４．３Ｄ世界マップを処理するステップは、以前に検出されていない反射表面の存在によって生じる３Ｄ世界マップ内のアーチファクトを識別するステップと、アーチファクトを３Ｄ世界マップから除去するステップとを含む、実施形態２３に記載の方法。
【0264】
２５．３Ｄ世界マップを処理するステップは、３Ｄ世界マップが反射表面の存在によって生じるアーチファクトを含まないように、世界マップを更新するステップを含む、実施形態２３または実施形態２４に記載の方法。
【0265】
２６．実施形態８－１１または実施形態２３－２５のいずれか１項に記載の方法を行うように構成される、ＡＲシステム。
【0266】
以下は、拡張現実テレプレゼンスに関連する例示的実施形態である。
【0267】
１．拡張現実テレプレゼンスセッションにおいて画像を共有するための方法であって、該方法は、テレプレゼンスセッションの間、第１の発呼者と関連付けられた第１の拡張現実デバイスと第２の発呼者と関連付けられた第２の拡張現実デバイスとの間の双方向通信接続を確立するステップであって、第１の拡張現実デバイスは、第１の拡張現実デバイスの正面の領域を撮像するように構成される第１の外向きカメラを備える、ステップと、第１の外向きカメラを用いて、第１の拡張現実デバイスの正面の領域内の鏡の存在を検出するステップと、第１の外向きカメラを用いて、鏡内の第１の発呼者の第１の画像を検出するステップと、第２の拡張現実デバイスに、通信接続を介して、第１の発呼者の第１の画像の一部を通信するステップと、テレプレゼンスセッションの間、第２の拡張現実デバイスによって、第２の発呼者に、第１の発呼者の第１の画像の一部を表示するステップとを含む、方法。
【0268】
２．双方向通信接続を確立するステップは、鏡の存在の検出に応答して行われる、実施形態１に記載の方法。
【0269】
３．第１のユーザの顔を隠す第１の拡張現実デバイスの画像を含む第１の画像の領域を識別するステップと、識別された領域内の第１のユーザの顔の隠されていない部分の画像と置換し、隠されていない顔画像を提供するステップとをさらに含み、第１の画像の一部を通信するステップは、隠されていない顔画像を通信するステップを含む、実施形態１または実施形態２に記載の方法。
【0270】
４．第１の拡張現実デバイスは、第１のユーザの眼を撮像するように構成される眼追跡カメラを備え、第１のユーザの顔の隠されていない部分の画像と置換するステップは、第１のユーザの眼の画像を識別された領域内に挿入するステップを含む、実施形態３に記載の方法。
【0271】
５．第２の拡張現実デバイスから、通信接続を介して、第２の発呼者の第２の画像を受信するステップと、テレプレゼンスセッションの間、第１の拡張現実デバイスによって、第１の発呼者に、第２の発呼者の第２の画像を表示するステップとをさらに含む、実施形態１－４のいずれか１項に記載の方法。
【0272】
６．第２の発呼者の第２の画像を表示するステップは、鏡内の第１の発呼者の第１の画像を隠すように、第２の画像を表示するステップを含む、実施形態５に記載の方法。
【0273】
７．第２の発呼者の第２の画像を表示するステップは、付加的仮想コンテンツを第１の発呼者に表示するステップを含む、実施形態５または実施形態６に記載の方法。
【0274】
８．第１の発呼者の第１の画像の一部を表示するステップは、付加的仮想コンテンツを第２の発呼者に表示するステップを含む、実施形態１－７のいずれか１項に記載の方法。
【0275】
９．表示される付加的仮想コンテンツは、配合効果、フェザリング効果、グロー効果、または特殊特徴効果を備える、実施形態７または実施形態８に記載の方法。
【0276】
１０．第１の拡張現実デバイス、第２の拡張現実デバイス、または第１および第２の拡張現実デバイスの両方は、頭部搭載型ディスプレイを備える、実施形態１－９のいずれか１項に記載の方法。
【0277】
１１．第１の拡張現実デバイス、第２の拡張現実デバイス、または第１および第２の拡張現実デバイスの両方は、複数の深度平面において画像を提示するように構成されるライトフィールドディスプレイを備える、実施形態１－１０のうちのいずれか１項に記載の方法。
【0278】
１２．拡張現実テレプレゼンスセッションにおいて画像を共有するための方法であって、該方法は、第１の発呼者と関連付けられた第１の拡張現実デバイスと第２の発呼者と関連付けられた第２の拡張現実デバイスとの間の双方向通信を確立するステップであって、第１の拡張現実デバイスは、第１の拡張現実デバイスの正面の領域を撮像するように構成される第１の外向きカメラを備える、ステップと、第１の拡張現実デバイスの正面の領域内の反射表面の存在を検出するステップと、第１の外向きカメラを用いて、反射表面から反射された第１の発呼者の第１の画像を捕捉するステップと、第１の発呼者の第１の画像の少なくとも一部を第２の拡張現実デバイスに伝送するステップとを含む、方法。
【0279】
１３．第１の拡張現実デバイスによって、第２の発呼者の第２の画像を受信するステップと、第１の拡張現実デバイスによって、第２の発呼者の第２の画像の少なくとも一部を表示するステップとをさらに含む、実施形態１２に記載の方法。
【0280】
１４．第２の発呼者の第２の画像の少なくとも一部を表示するステップは、鏡内の第１の発呼者の第１の画像を隠すように、第２の画像を表示するステップを含む、実施形態１３に記載の方法。
【0281】
１５．第１の拡張現実デバイスによって、第２の発呼者の第２の画像を処理するステップをさらに含む、実施形態１３に記載の方法。
【0282】
１６．第１の拡張現実デバイスによって、第１の発呼者の第１の画像を処理するステップをさらに含む、実施形態１２に記載の方法。
【0283】
１７．第１の発呼者の第１の画像を第２の拡張現実デバイスに伝送するステップは、第１の発呼者の第１の画像をサーバコンピュータシステムに伝送するステップと、サーバコンピュータシステムによって、第１の発呼者の第１の画像を処理するステップと、第１の発呼者の第１の画像を第２の拡張現実デバイスに伝送するステップとを含む、実施形態１２に記載の方法。
【0284】
１８．第１の発呼者の第１の画像の処理は、仮想コンテンツを第１の発呼者の第１の画像に適用するステップ、第１の発呼者の第１の画像の一部をクロッピングするステップ、背景を第１の発呼者の第１の画像に適用するステップ、第１の発呼者の第１の画像をサイズ調整するステップ、第１の発呼者の顔を隠す第１の拡張現実デバイスの画像を含む第１の発呼者の第１の画像の領域を識別し、識別された領域内の第１のユーザの顔の隠されていない部分の画像と置換し、第１の発呼者の顔の隠されていない画像を提供するステップ、または第１の拡張現実デバイスによって捕捉されていない第１の発呼者の身体の領域を識別し、識別された領域を第１の発呼者の第１の画像に追加するステップのうちの少なくとも１つを含む、実施形態１２－１７のいずれか１項に記載の方法。
【0285】
１９．仮想コンテンツは、配合効果、フェザリング効果、グロー効果、または特殊特徴効果を備える、実施形態１８に記載の方法。
【0286】
２０．背景は、ゲーム、映画、書籍、美術、音楽、既存の物理的要素、または仮想オブジェクトと関連付けられた要素を含有する、実施形態１８に記載の方法。
【0287】
２１．背景は、動画である、実施形態１８－２０のいずれか１項に記載の方法。
【0288】
２２．第１の発呼者と第２の発呼者との間の電話会議を実施するための拡張現実システムであって、該システムは、第１の発呼者と関連付けられた第１の拡張現実デバイスであって、第１の拡張現実デバイスの正面の領域を撮像するように構成される第１の外向きカメラを備える第１の拡張現実デバイスと、ネットワークと通信するように構成されたコンピュータプロセッサであって、該コンピュータプロセッサは、第１の拡張現実デバイスと第２の発呼者と関連付けられた第２の拡張現実デバイスとの間の双方向通信を確立することと、第１の拡張現実デバイスの正面の領域内の反射表面の存在を検出することと、第１の外向きカメラを用いて、反射表面から反射された第１の発呼者の第１の画像を検出することと、第１の発呼者の第１の画像の少なくとも一部を第２の拡張現実デバイスに伝送することと、第１の拡張現実デバイスによって、第２の発呼者の第２の画像を受信し、第１の拡張現実デバイスによって、第２の発呼者の第２の画像の少なくとも一部を表示することとを行うようにプログラムされる、コンピュータプロセッサとを備える、システム。
【0289】
２３．コンピュータプロセッサはさらに、鏡内の第１の発呼者の第１の画像を隠すように、第１の拡張現実デバイスによって、第２の発呼者の第２の画像の少なくとも一部を表示するようにプログラムされる、実施形態２２に記載のシステム。
【0290】
２４．コンピュータプロセッサはさらに、第１の拡張現実デバイスによって、第２の発呼者の第２の画像を処理するようにプログラムされる、実施形態２２に記載のシステム。
【0291】
２５．コンピュータプロセッサはさらに、第１の拡張現実デバイスによって、第１の発呼者の第１の画像を処理するようにプログラムされる、実施形態２２に記載のシステム。
【0292】
２６．第１の発呼者の第１の画像の少なくとも一部を第２の拡張現実デバイスに伝送することは、第１の発呼者の第１の画像をサーバコンピュータシステムに伝送することと、サーバコンピュータシステムによって、第１の発呼者の第１の画像を処理することと、第１の発呼者の第１の画像を第２の拡張現実デバイスに伝送することとを含む、実施形態２２に記載のシステム。
【0293】
２７．第１の発呼者の第１の画像の処理は、仮想コンテンツを第１の発呼者の第１の画像に適用すること、第１の発呼者の第１の画像の一部をクロッピングすること、背景を第１の発呼者の第１の画像に適用すること、第１の発呼者の第１の画像をサイズ調整すること、第１の発呼者の顔を隠す第１の拡張現実デバイスの画像を含む、第１の発呼者の第１の画像の領域を識別し、識別された領域内の第１のユーザの顔の隠されていない部分の画像と置換し、第１の発呼者の顔の隠されていない画像を提供すること、または第１の拡張現実デバイスによって捕捉されていない第１の発呼者の身体の領域を識別し、識別された領域を第１の発呼者の第１の画像に追加することのうちの少なくとも１つを備える、実施形態２４－２６のうちのいずれか１項に記載のシステム。
【0294】
２８．仮想コンテンツは、配合効果、フェザリング効果、グロー効果、または特殊特徴効果を備える、実施形態２７に記載のシステム。
【0295】
２９．背景は、ゲーム、映画、書籍、美術、音楽、既存の物理的要素、または仮想オブジェクトと関連付けられた要素を含有する、実施形態２７に記載のシステム。
【0296】
３０．背景は、動画である、実施形態２２－２９のうちのいずれか１項に記載のシステム。
【0297】
３１．第１の発呼者と第２の発呼者との間の電話会議を実施するための拡張現実システムであって、該システムは、第１の発呼者と関連付けられた第１の拡張現実デバイスおよび第２の発呼者と関連付けられた第２の拡張現実デバイスであって、第１の拡張現実デバイスは、第１の拡張現実デバイスの正面の領域を撮像するように構成される第１の外向きカメラを備える拡張現実デバイスと、ネットワークと通信するように構成されたコンピュータプロセッサであって、第１の拡張現実デバイスと第２の拡張現実デバイスとの間の双方向通信接続を確立することと、第１の外向きカメラを用いて、第１の拡張現実デバイスの正面の領域内の鏡の存在を検出することと、第１の外向きカメラを用いて、鏡内の第１の発呼者の第１の画像を検出することと、第２の拡張現実デバイスに、通信接続を介して、第１の発呼者の第１の画像の一部を通信することと、テレプレゼンスセッションの間、第２の拡張現実デバイスによって、第２の発呼者に、第１の発呼者の第１の画像の一部を表示するすることとを行うようにプログラムされる、コンピュータプロセッサとを備える、システム。
【0298】
３２．双方向通信接続を確立するステップは、鏡の存在の検出に応答して行われる、実施形態３１に記載のシステム。
【0299】
３３．コンピュータプロセッサはさらに、第１のユーザの顔を隠す第１の拡張現実デバイスの画像を含む、第１の画像の領域を識別し、識別された領域内の第１のユーザの顔の隠されていない部分の画像と置換し、隠されていない顔画像を提供するようにプログラムされ、第１の画像の一部を通信することは、隠されていない顔画像を通信することを含む、実施形態３１または実施形態３２に記載のシステム。
【0300】
３４．第１の拡張現実デバイスは、第１のユーザの眼を撮像するように構成される、眼追跡カメラを備え、第１のユーザの顔の隠されていない部分の画像と置換することは、第１のユーザの眼の画像を識別された領域内に挿入することを含む、実施形態３３に記載のシステム。
【0301】
３５．コンピュータプロセッサはさらに、第２の拡張現実デバイスから、通信接続を介して、第２の発呼者の第２の画像を受信し、テレプレゼンスセッションの間、第１の拡張現実デバイスによって、第１の発呼者に、第２の発呼者の第２の画像を表示するようにプログラムされる、実施形態３１－３４のうちのいずれか１項に記載のシステム。
【0302】
３６．第２の発呼者の第２の画像を表示することは、鏡内の第１の発呼者の第１の画像を隠すように、第２の画像を表示することを含む、実施形態３５に記載のシステム。
【0303】
３７．第２の発呼者の第２の画像を表示することは、付加的仮想コンテンツを第１の発呼者に表示することを含む、実施形態３５または実施形態３６に記載のシステム。
【0304】
３８．第１の発呼者の第１の画像の一部を表示することは、付加的仮想コンテンツを第２の発呼者に表示することを含む、実施形態３１－３７のうちのいずれか１項に記載のシステム。
【0305】
３９．表示される付加的仮想コンテンツは、配合効果、フェザリング効果、グロー効果、または特殊特徴効果を備える、実施形態３７または実施形態３８に記載のシステム。
【0306】
４０．第１の拡張現実デバイス、第２の拡張現実デバイス、または第１および第２の拡張現実デバイスの両方は、頭部搭載型ディスプレイを備える、実施形態３１－３９のうちのいずれか１項に記載のシステム。
【0307】
４１．第１の拡張現実デバイス、第２の拡張現実デバイス、または第１および第２の拡張現実デバイスの両方は、複数の深度平面において画像を提示するように構成される、ライトフィールドディスプレイを備える、実施形態３１－４０のうちのいずれか１項に記載の方法。
【0308】
４２．電話会議を実施するための拡張現実システムであって、該システムは、第１のユーザと関連付けられた第１の拡張現実デバイスおよび第２のユーザと関連付けられた第２の拡張現実デバイスと通信するように構成されるコンピュータシステムであって、ネットワークインターフェースと、非一過性データ記憶装置と、ネットワークインターフェースおよび非一過性データ記憶装置と通信するように構成されるハードウェアプロセッサとを備える、コンピュータシステムを備え、該プロセッサは、第１のメッセージを第１の拡張現実デバイスから、第２の拡張現実デバイスと双方向通信を確立するための要求を備える第１のメッセージを受信することと、第１および第２の拡張現実デバイス間の双方向通信を確立することと、第２のメッセージを第１の拡張現実デバイスから受信することであて、該第２のメッセージは、第１の拡張現実デバイスの正面内の反射表面から第１の拡張現実デバイスによって捕捉された第１の発呼者の画像を備える、ことと、第２のメッセージを第２の拡張現実デバイスに伝送することと、第３のメッセージを第２の拡張現実デバイスから受信することであって、第３のメッセージは、第２の拡張現実デバイスの正面の反射表面から第２の拡張現実デバイスによって捕捉された第２の発呼者の画像を備える、ことと、第３のメッセージを第１の拡張現実デバイスに伝送することとを行うようにプログラムされる、システム。
【0309】
４３．自画像を生成する方法であって、該方法は、頭部搭載型デバイスの正面の領域を撮像するように構成される外向きカメラを備える頭部搭載型デバイスの制御下で、頭部搭載型デバイスの装着者の環境内の反射表面の存在を検出するステップと、外向きカメラを用いて、反射表面から反射された装着者の反射された画像を検出するステップと、外向きカメラを用いて、装着者の反射された画像を備える、反射表面の一部の画像を取得するステップと、少なくとも部分的に、装着者の顔を隠す頭部搭載型デバイスの画像を含む、画像の領域を識別し、識別された領域内の装着者の顔の隠されていない部分の画像と置換し、装着者の顔の隠されていない画像を提供するステップとを含む、方法。
【0310】
４４．仮想コンテンツを装着者の隠されていない画像に適用するステップ、装着者の隠されていない画像の一部をクロッピングするステップ、背景を装着者の隠されていない画像に適用するステップ、装着者の隠されていない画像をサイズ調整するステップ、または外向きカメラによって取得された画像によって捕捉されていない装着者の身体の領域を識別し、識別された領域を装着者の隠されていない画像に追加するステップのうちの少なくとも１つをさらに含む、実施形態４３に記載の方法。
【0311】
４５．第１の拡張現実デバイスと第２の拡張現実デバイスとの間のテレプレゼンスセッションを実施するための拡張現実システムであって、該拡張現実システムは、第１の発呼者と関連付けられた第１の拡張現実デバイスの頭部搭載型ディスプレイであって、第１の頭部搭載型ディスプレイは、仮想コンテンツを複数の深度平面に提示するように構成され、ディスプレイの少なくとも一部は、透明部分が光を第１の発呼者の環境の一部から透過させるように透明である、頭部搭載型ディスプレイと、頭部搭載型ディスプレイの正面の領域を撮像するように構成される外向きイメージングシステムと、ネットワークと通信しているコンピュータプロセッサであって、該コンピュータプロセッサは、少なくとも部分的に、外向きイメージングシステムによって取得された画像に基づいて、第１の拡張現実デバイスの近傍の反射表面の存在を検出することと、第１の拡張現実デバイスと第２の発呼者と関連付けられた第２の拡張現実デバイスとの間の双方向通信を確立することと、外向きイメージングシステムを用いて、反射表面によって反射された第１の発呼者の第１の画像を検出することと、第１の発呼者の第１の画像の少なくとも一部を第２の拡張現実デバイスに伝送することと、第１の拡張現実デバイスによって、第２の発呼者の第２の画像を受信することと、第１の拡張現実デバイスの頭部搭載型ディスプレイによって、第２の発呼者の第２の画像の少なくとも一部を表示することとを行うようにプログラムされる、コンピュータプロセッサとを備える、拡張現実システム。
【0312】
４６．コンピュータプロセッサは、第１の発呼者の第１の画像または第２の発呼者の第２の画像のうちの少なくとも１つを処理するようにプログラムされる、実施形態４５に記載の拡張現実システム。
【0313】
４７．少なくとも第１の画像または第２の画像を処理するために、コンピュータプロセッサは、仮想コンテンツを第１の画像または第２の画像に適用することであって、仮想コンテンツは、配合効果、フェザリング効果、グロー効果、または別の特殊特徴効果のうちの少なくとも１つを備える、こと、第１の画像または第２の画像の一部をクロッピングすること、背景を第１の画像または第２の画像に適用すること、第１の画像または第２の画像をサイズ調整すること、第１の発呼者の顔を隠す第１の拡張現実デバイスの画像を含む、第１の画像の領域を識別し、識別された領域内の第１の発呼者の顔の隠されていない部分の画像と置換し、第１の発呼者の顔の隠されていない画像を提供すること、第２の発呼者の顔を隠す第２の拡張現実デバイスの画像を含む、第２の画像の領域を識別し、識別された領域内の第２の発呼者の顔の隠されていない部分の画像と置換し、第２の発呼者の顔の隠されていない画像を提供すること、第１の拡張現実デバイスによって捕捉されていない第１の発呼者の身体の領域を識別し、識別された領域を第１の発呼者の第１の画像に追加すること、または第２の拡張現実デバイスによって捕捉されていない、第２の発呼者の身体の領域を識別し、識別された領域を第２の発呼者の第２の画像に追加することのうちの少なくとも１つを行うようにプログラムされる、実施形態４６に記載の拡張現実システム。
【0314】
４８．反射表面は、顔認識、キーポイント認識、第１の拡張現実デバイスの一部の認識、深度不連続性、鏡の形状、または反射表面と関連付けられた光学ラベルの認識のうちの少なくとも１つを使用して検出される、実施形態４５に記載の拡張現実システム。
【0315】
４９．第２の画像の少なくとも一部を表示するために、コンピュータプロセッサは、第２の画像の一部が反射表面によって反射された第１の発呼者の第１の画像を隠すように、第２の画像の一部を投影するようにプログラムされる、実施形態４５に記載の拡張現実システム。
【0316】
５０．第１の拡張現実デバイスは、第１の発呼者の眼移動を追跡するように構成される、眼追跡カメラを備え、コンピュータプロセッサはさらに、第１の発呼者の眼移動を第２の拡張現実デバイスに伝送するようにプログラムされる、実施形態４５に記載の拡張現実システム。
【0317】
５１．第１の拡張現実デバイスと第２の拡張現実デバイスとの間のテレプレゼンスセッションを実施するための方法であって、該方法は、メッセージを第１の拡張現実デバイスから受信するステップであって、メッセージは、第２の拡張現実デバイスと双方向通信を確立するための要求を備える、ステップと、第１および第２の拡張現実デバイス間の双方向通信を確立するステップと、第１の画像を第１の拡張現実デバイスから受信するステップであって、第１の画像は、第１の拡張現実デバイスの近傍の反射表面から第１の拡張現実デバイスによって捕捉された第１の発呼者の反射された画像を備える、ステップと、第１の画像を第２の拡張現実デバイスに伝送するステップと、第２の画像を第２の拡張現実デバイスから受信するステップであって、第２の画像は、第２の拡張現実デバイスの近傍の反射表面から第２の拡張現実デバイスによって捕捉された第２の発呼者の一部を備える、ステップと、少なくとも部分的に、第２の画像に基づいて、第２の発呼者の画像を生成するステップと、３次元環境内における表示のために、第２の発呼者の画像を第１の拡張現実デバイスに伝送するステップとを含む、方法。
【0318】
５２．第１の拡張現実デバイスまたは第２の拡張現実デバイスのうちの少なくとも１つは、複数の深度平面において画像を提示するように構成される、ライトフィールドディスプレイを備える、実施形態５１に記載の方法。
【0319】
５３．第２の発呼者の画像は、複数のパッチを備え、第２の画像は、第２の拡張現実デバイスによって隠されていない第２の発呼者の顔の一部を備える、実施形態５１に記載の方法。
【0320】
５４．第２の拡張現実デバイスによって隠されている第２の発呼者の眼領域のパッチを受信するステップをさらに含み、第２の発呼者の画像を生成するステップは、第２の拡張現実デバイスによって隠されていない第２の発呼者の顔の部分および第２の拡張現実デバイスによって隠されている眼領域のパッチに基づいて、第２の発呼者の画像を合成するステップを含む、実施形態５１に記載の方法。
【0321】
５５．第２の発呼者の眼領域の移動を受信するステップと、第２の発呼者の顔モデルにアクセスするステップと、眼領域の移動および顔モデルに基づいて、第２の発呼者の画像を更新するステップとをさらに含む、実施形態５１に記載の方法。
【0322】
５６．少なくとも部分的に、第２の画像に基づいて、第２の発呼者の画像を生成するステップは、第２の画像の一部をクロッピングするステップ、第２の画像をサイズ調整するステップ、または背景を第２の画像に適用するステップのうちの少なくとも１つを含む、実施形態５１に記載の方法。
【0323】
５７．第２の発呼者の画像を生成するステップは、第１の拡張現実デバイスによって捕捉されていない、第２の発呼者の身体の領域を識別するステップと、第２の発呼者の身体の領域を備える、第３の画像を読み出すステップと、少なくとも部分的に、第２の拡張現実デバイスから受信された第２の画像および第３の画像に基づいて、第２の発呼者の画像を生成するステップとを含む、実施形態５１に記載の方法。
【0324】
５８．第１の拡張現実デバイスと第２の拡張現実デバイスとの間のテレプレゼンスセッションを実施するための拡張現実システムであって、該拡張現実システムは、第１のユーザと関連付けられた第１の拡張現実デバイスおよび第２のユーザと関連付けられた第２の拡張現実デバイスと通信するように構成されるコンピュータシステムであって、該コンピュータシステムは、ネットワークインターフェースと、非一過性データ記憶装置と、ネットワークインターフェースおよび非一過性データ記憶装置と通信するように構成されているコンピュータプロセッサであって、該コンピュータプロセッサは、メッセージを第１の拡張現実デバイスから受信することであって、メッセージは、第２の拡張現実デバイスと双方向通信を確立するための要求を備える、ことと、第１および第２の拡張現実デバイス間の双方向通信を確立することと、第１の画像を第１の拡張現実デバイスから受信することであって、第１の画像は、第１の拡張現実デバイスの近傍の反射表面から第１の拡張現実デバイスによって捕捉された第１の発呼者の反射された画像を備える、ことと、第１の画像を第２の拡張現実デバイスに伝送することと、第２の画像を第２の拡張現実デバイスから受信することであって、第２の画像は、第２の拡張現実デバイスの近傍の反射表面から第２の拡張現実デバイスによって捕捉された第２の発呼者の一部を備え、少なくとも部分的に、第２の画像に基づいて、第２の発呼者の画像を生成する、ことと、３次元環境内における表示のために、第２の発呼者の画像を第１の拡張現実デバイスに伝送することとを行うようにプログラムされる、コンピュータプロセッサとを備える、コンピュータシステムを備える、拡張現実システム。
【0325】
５９．第１の拡張現実デバイスまたは第２の拡張現実デバイスのうちの少なくとも１つは、複数の深度平面において画像を提示するように構成される、ライトフィールドディスプレイを備える、実施形態５８に記載のシステム。
【0326】
６０．第２の発呼者の画像は、複数のパッチを備え、第２の画像は、第２の拡張現実デバイスによって隠されていない第２の発呼者の顔の一部を備える、実施形態５８に記載のシステム。
【0327】
６１．コンピュータプロセッサはさらに、第２の拡張現実デバイスによって隠されている第２の発呼者の眼領域のパッチを受信するようにプログラムされ、第２の発呼者の画像を生成するために、コンピュータプロセッサは、第２の拡張現実デバイスによって隠されていない第２の発呼者の顔の部分および第２の拡張現実デバイスによって隠されている眼領域のパッチに基づいて、第２の発呼者の画像を合成するようにプログラムされる、実施形態６０に記載のシステム。
【0328】
６２．コンピュータプロセッサはさらに、第２の発呼者の眼領域の移動を受信し、第２の発呼者の顔モデルにアクセスし、眼領域の移動および顔モデルに基づいて、第２の発呼者の画像を更新するようにプログラムされる、実施形態５８に記載のシステム。
【0329】
６３．少なくとも部分的に、第２の画像に基づいて、第２の発呼者の画像を生成するために、コンピュータプロセッサは、第２の画像の一部をクロッピングすること、第２の画像をサイズ調整すること、または背景を第２の画像に適用することのうちの少なくとも１つを行うようにプログラムされる、実施形態５８に記載のシステム。
【0330】
６４．第２の発呼者の画像を生成するために、コンピュータプロセッサは、第１の拡張現実デバイスによって捕捉されていない、第２の発呼者の身体の領域を識別し、第２の発呼者の身体の領域を備える、第３の画像を読み出し、少なくとも部分的に、第２の拡張現実デバイスから受信された第２の画像および第３の画像に基づいて、第２の発呼者の画像を生成するようにプログラムされる、実施形態５８に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
ディスプレイシステムであって、
ウェアラブルディスプレイデバイスであって、
光をユーザに指向するように構成される光再指向特徴を備える表示領域であって、前記表示領域は、少なくとも部分的に、透明であり、前記表示領域を通して、周囲環境のビューを提供するように構成される、表示領域
を備える、ウェアラブルディスプレイデバイスと、
１つまたはそれを上回るハードウェアプロセッサと、
コンピュータ実行可能命令を含む非一過性コンピュータ可読記憶媒体であって、前記コンピュータ実行可能命令は、 前記１つまたはそれを上回るハードウェアプロセッサによって実行されると、前記１つまたはそれを上回るハードウェアプロセッサに、
反射が前記表示領域を通した前記ユーザの視野内にあることを判定するステップ
を含む動作を行わせる、非一過性コンピュータ可読記憶媒体と
を備える、ディスプレイシステム。
（項目２）
前記表示領域は、複数の画像を複数の深度平面上に出力するように構成される複数の光再指向特徴のセットを備え、光指向特徴の各セットは、光を出力し、画像を前記複数の深度平面のうちの１つ上に形成するように構成される、項目１に記載のディスプレイシステム。
（項目３）
前記ディスプレイデバイスは、導波管のスタックを備え、前記導波管の少なくともいくつかは、前記光再指向特徴を備え、前記導波管は、光源からの光を内部結合し、前記光を出力するために光を外部結合し、前記複数の画像を形成するように構成され、各導波管は、単一の対応する深度平面に関して画像を出力するように構成される、項目２に記載のディスプレイシステム。
（項目４）
拡張現実コンテンツを続いて前記表示領域内に表示するステップをさらに含み、前記拡張現実コンテンツは、前記反射を拡張する、項目１に記載のディスプレイシステム。
（項目５）
前記ディスプレイデバイスは、ユーザ注視持続時間または瞳孔面積の一方または両方を検出するように構成されるカメラを備え、前記拡張現実コンテンツを続いて表示するステップは、ユーザ注視持続時間または瞳孔面積の一方または両方に応じて、前記拡張現実コンテンツのタイプおよびタイミングの一方または両方を修正するステップを含む、項目４に記載のディスプレイシステム。
（項目６）
前記動作はさらに、前記ユーザの識別を判定するステップを含み、前記拡張現実コンテンツを続いて表示するステップは、前記ユーザに一意の情報を表示するステップを含む、項目４に記載のディスプレイシステム。
（項目７）
前記動作はさらに、前記拡張現実コンテンツを続いて表示する前に、前記ユーザの場所を判定するステップを含み、前記拡張現実コンテンツを続いて表示するステップは、
前記ユーザの場所に特有の拡張現実コンテンツを表示するステップ
を含む、項目４に記載のディスプレイシステム。
（項目８）
前記拡張現実コンテンツを表示するステップは、前記ユーザが位置する店舗または店舗の一部からのセールのオファーを表示するステップを含む、項目７に記載のディスプレイシステム。
（項目９）
前記拡張現実コンテンツは、前記ユーザの反射にオーバーレイする衣類の画像を備える、項目４に記載のディスプレイシステム。
（項目１０）
前記拡張現実コンテンツは、定期的使用のための製品を補充するためのアラートを備える、項目４に記載のディスプレイシステム。
（項目１１）
前記動作はさらに、
長期時間間隔にわたって前記ユーザの１つまたはそれを上回る画像を捕捉するステップと、
前記画像から導出される画像またはデータを記憶するステップと、
現在の画像と前記記憶された画像またはデータとの間の比較を行うステップと
を含み、
前記拡張現実コンテンツを続いて表示するステップは、前記比較の結果を表示するステップを含む、項目４に記載のディスプレイシステム。
（項目１２）
前記比較の結果を表示するステップは、前記ユーザの１つまたはそれを上回る以前の画像を表示するステップを含む、項目１１に記載のディスプレイシステム。
（項目１３）
前記比較を行うステップは、健康分析を行うステップを含む、項目１１に記載のディスプレイシステム。
（項目１４）
健康分析を行うステップは、体型、皮膚蒼白、皮膚特徴における変化を検出するステップを含む、項目１３に記載のディスプレイシステム。
（項目１５）
前記動作はさらに、体重計、体温計、脈拍計、および心拍モニタのうちの１つまたはそれを上回るものからのデータにアクセスするステップを含む、項目４に記載のディスプレイシステム。
（項目１６）
前記拡張現実コンテンツを続いて表示するステップは、前記アクセスされたデータまたは前記アクセスされたデータから導出される情報の一方または両方を表示するステップを含む、項目１５に記載のディスプレイシステム。
（項目１７）
前記動作はさらに、
前記ユーザのアクティビティに関する情報を収集するステップと、
前記ユーザのアクティビティに関する情報を前記ユーザの反射を提供する反射表面と関連付けられた受信ステーションに伝送するステップと
を含む、項目１に記載のディスプレイシステム。
（項目１８）
前記動作はさらに、
前記ユーザの識別を判定するステップと、
前記ユーザの購入またはブラウジング履歴にアクセスするステップと、
前記購入またはブラウジング履歴に基づいて、セールのオファーを生成するステップと
を含む、項目１に記載のディスプレイシステム。
（項目１９）
前記反射が前記ユーザの視野内にあることを判定するステップは、前記反射の画像を分析し、前記反射内の指向性特徴が反転されるかどうかを判定するステップを含む、項目１に記載のディスプレイシステム。
（項目２０）
前記ユーザは、前記反射内に存在し、前記動作はさらに、
前記ユーザの反射の画像を捕捉するステップと、
前記ユーザの捕捉された画像に基づいて、健康分析を行うステップと
を含む、項目１に記載のディスプレイシステム。
（項目２１）
前記健康分析は、神経学的試験を備える、項目２０に記載のディスプレイシステム。
（項目２２）
前記健康分析は、脳神経試験、運動検査、観察可能な身体異常の検査、筋緊張および筋肉量の点検、筋肉の機能試験、個々の筋群の強度の試験、反射試験、協調試験、および歩行試験のうちの１つまたはそれを上回るものを備える、項目２０に記載のディスプレイシステム。
（項目２３）
画像を表示するための方法であって、前記方法は、
ウェアラブルディスプレイデバイスを提供するステップであって、前記ウェアラブルディスプレイデバイスは、
光をユーザに指向するように構成される光再指向特徴を備える表示領域であって、前記表示領域は、少なくとも部分的に、透明であり、前記表示領域を通して、周囲環境のビューを提供するように構成される、表示領域
を備える、ステップと、
反射が前記表示領域を通した前記ユーザの視野内にあることを判定するステップと
を含む、方法。
（項目２４）
前記ユーザは、前記反射内に存在し、
前記ユーザの反射の画像を捕捉するステップと、
前記ユーザの捕捉された画像に基づいて、前記ユーザの健康分析を行うステップと
をさらに含む、項目２３に記載の方法。
（項目２５）
光学または聴覚信号の一方または両方を前記ユーザに提供することによって、前記ユーザを反射表面に誘引するステップをさらに含む、項目２３に記載の方法。
（項目２６）
拡張現実コンテンツを続いて前記表示領域内に表示するステップをさらに含み、前記拡張現実コンテンツは、前記反射を拡張する、項目２３に記載の方法。
（項目２７）
前記拡張現実コンテンツを続いて表示する前に、前記ユーザの場所を判定するステップをさらに含み、前記拡張現実コンテンツを続いて表示するステップは、
前記ユーザの場所に特有の拡張現実コンテンツを表示するステップを含む、項目２６に記載の方法。
（項目２８）
拡張現実コンテンツを表示するステップは、前記ユーザが位置する店舗または店舗の一部からのセールのオファーを表示するステップを含む、項目２７に記載の方法。
（項目２９）
前記拡張現実コンテンツは、前記ユーザの反射にオーバーレイする衣類の画像を備える、項目２７に記載の方法。
本発明は、例えば、以下を提供する。
（項目１）
ディスプレイシステムであって、
ウェアラブルディスプレイデバイスであって、
光をユーザに指向するように構成される光再指向特徴を備える表示領域であって、前記表示領域は、少なくとも部分的に、透明であり、前記表示領域を通して、周囲環境のビューを提供するように構成される、表示領域
を備える、ウェアラブルディスプレイデバイスと、
１つまたはそれを上回るハードウェアプロセッサと、
コンピュータ実行可能命令を含む非一過性コンピュータ可読記憶媒体であって、前記コンピュータ実行可能命令は、 前記１つまたはそれを上回るハードウェアプロセッサによって実行されると、前記１つまたはそれを上回るハードウェアプロセッサに、
反射が前記表示領域を通した前記ユーザの視野内にあることを判定するステップ
を含む動作を行わせる、非一過性コンピュータ可読記憶媒体と
を備える、ディスプレイシステム。
（項目２）
前記表示領域は、複数の画像を複数の深度平面上に出力するように構成される複数の光再指向特徴のセットを備え、光指向特徴の各セットは、光を出力し、画像を前記複数の深度平面のうちの１つ上に形成するように構成される、項目１に記載のディスプレイシステム。
（項目３）
前記ディスプレイデバイスは、導波管のスタックを備え、前記導波管の少なくともいくつかは、前記光再指向特徴を備え、前記導波管は、光源からの光を内部結合し、前記光を出力するために光を外部結合し、前記複数の画像を形成するように構成され、各導波管は、単一の対応する深度平面に関して画像を出力するように構成される、項目２に記載のディスプレイシステム。
（項目４）
拡張現実コンテンツを続いて前記表示領域内に表示するステップをさらに含み、前記拡張現実コンテンツは、前記反射を拡張する、項目１に記載のディスプレイシステム。
（項目５）
前記ディスプレイデバイスは、ユーザ注視持続時間または瞳孔面積の一方または両方を検出するように構成されるカメラを備え、前記拡張現実コンテンツを続いて表示するステップは、ユーザ注視持続時間または瞳孔面積の一方または両方に応じて、前記拡張現実コンテンツのタイプおよびタイミングの一方または両方を修正するステップを含む、項目４に記載のディスプレイシステム。
（項目６）
前記動作はさらに、前記ユーザの識別を判定するステップを含み、前記拡張現実コンテンツを続いて表示するステップは、前記ユーザに一意の情報を表示するステップを含む、項目４に記載のディスプレイシステム。
（項目７）
前記動作はさらに、前記拡張現実コンテンツを続いて表示する前に、前記ユーザの場所を判定するステップを含み、前記拡張現実コンテンツを続いて表示するステップは、
前記ユーザの場所に特有の拡張現実コンテンツを表示するステップ
を含む、項目４に記載のディスプレイシステム。
（項目８）
前記拡張現実コンテンツを表示するステップは、前記ユーザが位置する店舗または店舗の一部からのセールのオファーを表示するステップを含む、項目７に記載のディスプレイシステム。
（項目９）
前記拡張現実コンテンツは、前記ユーザの反射にオーバーレイする衣類の画像を備える、項目４に記載のディスプレイシステム。
（項目１０）
前記拡張現実コンテンツは、定期的使用のための製品を補充するためのアラートを備える、項目４に記載のディスプレイシステム。
（項目１１）
前記動作はさらに、
長期時間間隔にわたって前記ユーザの１つまたはそれを上回る画像を捕捉するステップと、
前記画像から導出される画像またはデータを記憶するステップと、
現在の画像と前記記憶された画像またはデータとの間の比較を行うステップと
を含み、
前記拡張現実コンテンツを続いて表示するステップは、前記比較の結果を表示するステップを含む、項目４に記載のディスプレイシステム。
（項目１２）
前記比較の結果を表示するステップは、前記ユーザの１つまたはそれを上回る以前の画像を表示するステップを含む、項目１１に記載のディスプレイシステム。
（項目１３）
前記比較を行うステップは、健康分析を行うステップを含む、項目１１に記載のディスプレイシステム。
（項目１４）
健康分析を行うステップは、体型、皮膚蒼白、皮膚特徴における変化を検出するステップを含む、項目１３に記載のディスプレイシステム。
（項目１５）
前記動作はさらに、体重計、体温計、脈拍計、および心拍モニタのうちの１つまたはそれを上回るものからのデータにアクセスするステップを含む、項目４に記載のディスプレイシステム。
（項目１６）
前記拡張現実コンテンツを続いて表示するステップは、前記アクセスされたデータまたは前記アクセスされたデータから導出される情報の一方または両方を表示するステップを含む、項目１５に記載のディスプレイシステム。
（項目１７）
前記動作はさらに、
前記ユーザのアクティビティに関する情報を収集するステップと、
前記ユーザのアクティビティに関する情報を前記ユーザの反射を提供する反射表面と関連付けられた受信ステーションに伝送するステップと
を含む、項目１に記載のディスプレイシステム。
（項目１８）
前記動作はさらに、
前記ユーザの識別を判定するステップと、
前記ユーザの購入またはブラウジング履歴にアクセスするステップと、
前記購入またはブラウジング履歴に基づいて、セールのオファーを生成するステップと
を含む、項目１に記載のディスプレイシステム。
（項目１９）
前記反射が前記ユーザの視野内にあることを判定するステップは、前記反射の画像を分析し、前記反射内の指向性特徴が反転されるかどうかを判定するステップを含む、項目１に記載のディスプレイシステム。
（項目２０）
前記ユーザは、前記反射内に存在し、前記動作はさらに、
前記ユーザの反射の画像を捕捉するステップと、
前記ユーザの捕捉された画像に基づいて、健康分析を行うステップと
を含む、項目１に記載のディスプレイシステム。
（項目２１）
前記健康分析は、神経学的試験を備える、項目２０に記載のディスプレイシステム。
（項目２２）
前記健康分析は、脳神経試験、運動検査、観察可能な身体異常の検査、筋緊張および筋肉量の点検、筋肉の機能試験、個々の筋群の強度の試験、反射試験、協調試験、および歩行試験のうちの１つまたはそれを上回るものを備える、項目２０に記載のディスプレイシステム。
（項目２３）
画像を表示するための方法であって、前記方法は、
ウェアラブルディスプレイデバイスを提供するステップであって、前記ウェアラブルディスプレイデバイスは、
光をユーザに指向するように構成される光再指向特徴を備える表示領域であって、前記表示領域は、少なくとも部分的に、透明であり、前記表示領域を通して、周囲環境のビューを提供するように構成される、表示領域
を備える、ステップと、
反射が前記表示領域を通した前記ユーザの視野内にあることを判定するステップと
を含む、方法。
（項目２４）
前記ユーザは、前記反射内に存在し、
前記ユーザの反射の画像を捕捉するステップと、
前記ユーザの捕捉された画像に基づいて、前記ユーザの健康分析を行うステップと
をさらに含む、項目２３に記載の方法。
（項目２５）
光学または聴覚信号の一方または両方を前記ユーザに提供することによって、前記ユーザを反射表面に誘引するステップをさらに含む、項目２３に記載の方法。
（項目２６）
拡張現実コンテンツを続いて前記表示領域内に表示するステップをさらに含み、前記拡張現実コンテンツは、前記反射を拡張する、項目２３に記載の方法。
（項目２７）
前記拡張現実コンテンツを続いて表示する前に、前記ユーザの場所を判定するステップをさらに含み、前記拡張現実コンテンツを続いて表示するステップは、
前記ユーザの場所に特有の拡張現実コンテンツを表示するステップを含む、項目２６に記載の方法。
（項目２８）
拡張現実コンテンツを表示するステップは、前記ユーザが位置する店舗または店舗の一部からのセールのオファーを表示するステップを含む、項目２７に記載の方法。
（項目２９）
前記拡張現実コンテンツは、前記ユーザの反射にオーバーレイする衣類の画像を備える、項目２７に記載の方法。
【図面の簡単な説明】
【0331】
【0332】
【0333】
【0334】
【0335】
【0336】
【0337】
【0338】
【0339】
【0340】
【0341】
【0342】
【0343】
【0344】
【0345】
【0346】
【0347】
【0348】
【0349】
【0350】
【0351】
【0352】
【0353】
【0354】
【0355】
【0356】
【0357】
【0358】
【0359】
【0360】
【0361】
【0362】
図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【発明を実施するための形態】
【0363】
スマートミラーは、その有用性および広範な適用を低減させ得る、種々の短所を有する。例えば、それらは、典型的には、大型の定常デバイスであって、２次元コンテンツのみをデバイスの正面に位置するユーザに提示し得る。加えて、スマートミラーは、第三者（例えば、店舗）の所有であり得るため、表示されるコンテンツの情報のタイプおよび個人化の見込みは、第三者が特定のユーザに関して保有し得る限定された情報を前提として、限定され得る。その結果、視覚的体験は、現実的ではなくなり得、コンテンツは、豊富ではない、またはあまり個人化されない場合があり、これは、スマートミラーの有用性を減少させ得る。
【0364】
有利には、本明細書に開示される種々の実施形態は、高度に個人化されたコンテンツを提供する能力とともに、没入感のある現実的視覚的体験を提供し得る。いくつかの実施形態では、ディスプレイシステムは、拡張現実コンテンツを表示するためのウェアラブルディスプレイデバイスを備える。ディスプレイデバイスは、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える。表示領域は、少なくとも部分的に、透明であって、それによって、表示領域を通して、周囲環境のビューを提供する。その結果、表示領域は、ユーザに鏡または他の反射構造内のその反射を見えることを可能にする。いくつかの実施形態では、ディスプレイシステムは、ユーザの反射が表示領域を通したユーザの視野内にあることを判定するように構成される。本判定を行った後、拡張現実コンテンツは、拡張現実コンテンツがユーザの反射を拡張するように、表示領域に表示される。拡張現実コンテンツはまた、仮想コンテンツと称され得ることを理解されたい。
【0365】
いくつかの実施形態では、拡張現実コンテンツは、ユーザが、種々の機能またはアプリケーションを選択することを可能にする、仮想メニューであって、これは、さらなる拡張現実コンテンツを生成する。いくつかの他の実施形態では、あるタイプのコンテンツが、本明細書に議論されるように、事前に選択された基準（例えば、場所、時間等）に応じて、ユーザ選択を伴わずに、自動的に生成されてもよい。いくつかの実施形態では、拡張現実コンテンツは、反射にオーバーレイし、それによって、反射の全部または一部が、修正されて見えることを可能にしてもよい。これは、ユーザの現実ビューにその外見に行われた種々の修正を提供し得る。いくつかの実施形態では、拡張現実コンテンツは、特定のユーザに調整され得る、種々の通知を含んでもよい。さらに他の実施形態では、ディスプレイシステムは、画像またはユーザに関連する他の情報を経時的に捕捉するように構成され得る、カメラを含む。画像または情報は、有益に分析され、健康および／または美容関連診断および監視を提供してもよい。
【0366】
いくつかの実施形態では、ディスプレイシステムは、ユーザが反射内に存在しない場合でも、場面の反射（例えば、人々等のオブジェクトを含んでもよい）にオーバーレイする、拡張現実コンテンツを表示してもよい。そのような実施形態では、ディスプレイシステムは、場面が反射であることを判定するように構成されてもよい。いったん判定が行われると、ディスプレイシステムは、拡張現実コンテンツを表示領域内に表示するように構成されてもよい。いくつかの実施形態では、拡張現実コンテンツは、反射内のオブジェクトについての情報を伝達し、および／またはそれらのオブジェクトの外観を修正する、通知または他の視覚的コンテンツを含んでもよい。本明細書で使用されるように、「オブジェクト」は、周囲環境内の任意の視覚的特徴（例えば、風景、人々、または風景および人々の一部を含む）および／またはディスプレイシステムによって生成された任意の視覚的特徴を指し得る。オブジェクトについての情報は、ディスプレイシステム内にローカルに記憶されてもよいことを理解されたい。より好ましくは、情報は、他のユーザと共有されるデータベースから導出される。共有に起因して、異なるユーザが、周囲環境に関する異なるデータを供給し、それによって、ローカルに記憶されるデータとともに利用可能であり得る、その周囲環境についてのより完全なデータのセットを提供し得る。いくつかの他の実施形態では、ディスプレイシステムは、反射に見られるようなユーザの種々のパラメータを評価することによって、健康分析を実施するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、画像情報を受動的に収集するように構成されてもよく、その画像情報から選択されたデータは、開示される種々の健康分析を実施する際に使用されてもよい。
【0367】
いくつかの実施形態では、ディスプレイシステムは、ユーザが、テレプレゼンスセッションの間、相互作用し得る、別の発呼者の３次元（３Ｄ）画像を提示するように構成されてもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）環境を提示し得る、ウェアラブルデバイスの一部であってもよい。
【0368】
本明細書に開示される種々の実施形態は、本明細書に開示される種々の利点を実現し得る、単一深度平面ディスプレイシステムに適用されてもよい。しかしながら、ユーザは、自らを鏡に対して異なる距離に位置付け得、いくつかの拡張現実コンテンツは、３次元オブジェクトを表し得ることを理解されたい。単に、コンテンツを単一平面上に提供することは、「切り絵」外観をコンテンツにもたらし得、コンテンツは、必ずしも、ユーザの反射または反射の一部と同一深度平面に設置されない。これは、コンテンツの現実性を減少させ得る。これはまた、ユーザの眼が、異なる遠近調節された状態間で切り替え、拡張現実コンテンツおよびその反射を視認する必要があり得る一方、眼／脳が、コンテンツおよび反射またはコンテンツおよび反射の一部が合致する深度平面上にあることを期待するため、ユーザが本コンテンツを視認することが不快となり得る。
【0369】
好ましくは、拡張現実コンテンツを表示するディスプレイシステムは、本明細書に議論されるように、複数の深度平面を横断して画像コンテンツを提供可能なディスプレイデバイスを含む。有利には、複数の深度平面上にコンテンツを提供可能なディスプレイは、コンテンツおよびユーザの反射が位置する深度平面により良好に合致することによって、本明細書に記載された短所のうちの１つまたはそれを上回るものを回避し得る。そのようなシステムは、ユーザにより引き込まれ得、その結果、いくつかの用途では、ユーザが行動するようにより駆り立てる可能性が高くなり得る、高度に現実的かつ没入感のあるコンテンツを提供し得る。
【0370】
ここで、同様の参照番号が全体を通して同様の特徴を指す、図を参照する。
（例示的ウェアラブルディスプレイシステム）
（例示的ウェアラブルディスプレイシステム）
【0371】
図１Ａは、ユーザによって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトの両方を含む、複合現実（ＭＲ）シナリオの例証を描写する。図１Ａでは、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
【0372】
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、本明細書にさらに描写されるように、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0373】
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されてもよい。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【0374】
図１Ｂは、ウェアラブルディスプレイシステム８０の実施例を図示する。ディスプレイシステム８０は、ディスプレイ６２と、そのディスプレイ６２の機能をサポートするための種々の機械および電子モジュールおよびシステムとを含む。ディスプレイ６２は、ディスプレイシステムユーザまたは視認者６０によって装着可能であって、ディスプレイ６２をユーザ６０の眼の正面に位置付けるように構成される、フレーム６４に結合されてもよい。ウェアラブルディスプレイシステム８０は、例えば、頭部搭載型デバイス（ＨＭＤ）または拡張現実デバイス（ＡＲＤ）等のウェアラブルデバイスの一部であってもよい。ウェアラブルディスプレイシステム（ディスプレイ６２等）の一部は、ユーザの頭部上に装着されてもよい。
【0375】
いくつかの実施形態では、スピーカ６６が、フレーム６４に結合され、ユーザ６０の外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。いくつかの実施形態では、ディスプレイシステムはまた、１つまたはそれを上回るマイクロホン６７または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが、入力またはコマンド（例えば、音声メニューコマンドの選択、自然言語質問等）をシステム８０に提供することを可能にするように構成され、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にしてもよい。本明細書にさらに説明されるように、いくつかの実施形態では、ウェアラブルディスプレイシステム８０は、ディスプレイ６２を使用して、テレプレゼンスセッションにおいて、別のユーザの３Ｄ可視化を提示し、マイクロホン６７を介して、ユーザのオーディオ入力を受信し、スピーカ６６を使用して、他のユーザと関連付けられた音を再生してもよい。
【0376】
ディスプレイシステムは、フレーム６４に取り付けられる、または別様にユーザ６０に取り付けられ得る、１つまたはそれを上回るカメラ６５（１つまたはそれを上回るイメージングデバイス）を含む。カメラ６５は、ユーザ６０が位置する周囲環境の画像を捕捉するように位置付けられ、配向されてもよい。カメラ６５は、好ましくは、ユーザが前向きになるにつれて、その視線を追跡するように前向きであるように配向される。いくつかの実施形態では、カメラは、固定され、不動であって、システムは、ユーザの眼がカメラと同一方向（例えば、真っ直ぐ前方）に指向されていると仮定する。いくつかの他の実施形態では、カメラ６５は、移動可能であって、ユーザの眼の移動を追跡し、ユーザ６０の視線に合致するように構成される。さらに他の実施形態では、カメラ６５は、ユーザ６０の視線内に存在しない周囲環境の部分を撮像するように構成されてもよい。ある実施形態では、ウェアラブルディスプレイシステム８０は、ユーザの周囲の環境内の世界を観察する、外向きイメージングシステム５０２（図５に示される）を含んでもよい。外向きイメージングシステム５０２は、カメラ６５を含んでもよい。
【0377】
ウェアラブルディスプレイシステム８０はまた、ユーザの眼移動を追跡し得る、内向きイメージングシステム５００（図４に示される）を含んでもよい。内向きイメージングシステムは、片眼の移動または両眼の移動のいずれかを追跡してもよい。内向きイメージングシステム５００は、フレーム６４に取り付けられてもよく、内向きイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ６０の瞳孔直径および／または眼の配向もしくは眼姿勢を判定し得る、処理モジュール７０および／または７２と電気通信してもよい。
【0378】
いくつかの実施形態では、１つまたはそれを上回る内向きカメラ（例えば、カメラ５００、図５）が、ユーザの眼を追跡するために使用されてもよく、外向きカメラ６５は、カメラ６５の視線がユーザの眼の視線に合致するように移動するように構成される。本明細書に議論されるように、カメラ６５は、ユーザ６０および／または環境についての情報を感知、測定、または収集するために使用されてもよい。ディスプレイシステムは、複数の方向（例えば、ユーザの背後または側面の方向）に指向され、環境内の関心特徴を検出し得る、複数の外向きカメラを含んでもよいことを理解されたい。いくつかの実施形態では、ディスプレイシステム８０はまた、ユーザ６０からのオブジェクトの距離を測定するように構成される、距離センサ６９を含んでもよい。いくつかの実施形態では、距離センサ６９は、電磁放射および／または音響信号を放出および受信し、センサ６９からのオブジェクトの距離を判定してもよい。例えば、いくつかの実施形態では、距離センサ６９は、光エミッタと、光検出器とを含む、飛行時間カメラであってもよい。飛行時間カメラは、光信号が、カメラからオブジェクトまで進行し、カメラ上またはそれと関連付けられた光受容体に戻るために要求される時間に基づいて、オブジェクトまでの距離を検出する。いくつかの他の実施形態では、距離センサ６９は、視差効果を使用して距離を判定するように構成され得る、２つの離間されたカメラを含んでもよい（例えば、フレーム６４の異なる側に）。いくつかの実施形態では、距離センサは、実世界内のオブジェクトをマップし、および／またはオブジェクトの形状または形態特性を検出するように構成されてもよい。
【0379】
ユーザの環境およびユーザを撮像する実施例として、ウェアラブルディスプレイシステム８０は、外向きイメージングシステム５０２および／または内向きイメージングシステム５００を使用して、ユーザの姿勢の画像を取得してもよい。画像は、静止画像、ビデオのフレームもしくはビデオ、その組み合わせ、または同等物であってもよい。姿勢は、ユーザの運動を判定する、またはユーザの画像を合成するために使用されてもよい。外向きイメージングシステム５０２および／または内向きイメージングシステム５００によって取得された画像は、テレプレゼンスセッションにおいて、第２のユーザに通信され、第２のユーザ環境内のユーザの存在の実体的な感知を生成してもよい。
【0380】
図１Ｂを継続して参照すると、ディスプレイ６２は、有線導線または無線コネクティビティ等によって、フレーム６４に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ６０に（例えば、リュック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール７０に動作可能に結合６８される。ローカル処理およびデータモジュール７０は、１つまたはそれを上回るハードウェアプロセッサならびに不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のセンサ（例えば、フレーム６４に動作可能に結合される、または別様にユーザ６０に取り付けられてもよい）から補足された、および／またはｂ）可能性として、処理または読出後にディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して、取得および／または処理されたデータを含む。ローカル処理およびデータモジュール７０は、これらの遠隔モジュール７２、７４が相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク７６、７８によって、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい。ローカル処理およびデータモジュール７０、遠隔処理モジュール７２、および遠隔データリポジトリ７４はそれぞれ、ネットワークインターフェースを含み、通信リンク７６、７８を経由して通信を提供してもよい。通信リンク７６、７８は、図１２を参照して説明される、ネットワーク１２９０を経由してもよい。いくつかの実施形態では、場所処理およびデータモジュール７０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つまたはそれを上回るものは、フレーム６４に取り付けられてもよい、または有線または無線通信経路によって場所処理およびデータモジュール７０と通信する、独立型構造であってもよい。
【0381】
図１Ｂを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、デジタルデータ記憶設備を備えてもよく、これは、「クラウド」リソース構成内のインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、１つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報（例えば、拡張現実コンテンツをローカル処理およびデータモジュール７０および／または遠隔処理モジュール７２に生成するための情報）を提供する。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的な使用を可能にする。
【0382】
いくつかの実施形態では、遠隔データリポジトリ７４は、ユーザの環境の世界マップ、ユーザのアバタ、またはユーザの顔モデルを記憶するように構成されてもよい。ローカル処理モジュール７０および／または遠隔処理モジュール７２は、ユーザの環境内の鏡を識別し、ユーザの姿勢（例えば、頭部姿勢または身体ジェスチャ等）を検出してもよい。処理モジュール７０および７２は、遠隔データリポジトリ７４と通信し、ユーザのアバタの動画を生成する、または遠隔データリポジトリ内に記憶されるユーザの情報および検出された姿勢に基づいて、ユーザの画像を合成してもよい。処理モジュール７０および７２はさらに、ディスプレイ６２と通信し、ユーザの環境内の別のユーザまたは同一ユーザの可視化を提示してもよい（ユーザの画像をユーザの環境内の鏡にわたってオーバーレイする等）。
【0383】
「３次元」または「３－Ｄ」であるような画像の知覚は、視認者の各眼への画像の若干異なる提示を提供することによって達成され得る。図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。２つの明確に異なる画像５、７（眼４、６毎に１つ）が、ユーザに出力される。画像５、７は、視認者の視線と平行な光学またはｚ－軸に沿って距離１０だけ眼４、６から離間される。画像５、７は、平坦であって、眼４、６は、単一の遠近調節された状態を仮定することによって、画像に合焦し得る。そのようなシステムは、画像５、７を組み合わせ、組み合わせられた画像のための深度の知覚を提供するために、ヒト視覚系に依拠する。
【0384】
しかしながら、ヒト視覚系は、より複雑であり、深度の現実的知覚を提供することは、より困難であることを理解されたい。例えば、従来の「３－Ｄ」ディスプレイシステムの多くの視認者は、そのようなシステムが不快であると見出す、または深度の感知を全く知覚しない場合がある。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散（ｖｅｒｇｅｎｃｅ）運動および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを「３次元」として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かった、またはそこから離れるような眼球の回転運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常状態下では、１つのオブジェクトから異なる距離における別のオブジェクトに注意を偏移させるとき、眼の輻輳・開散運動における変化は、「遠近調節－輻輳・開散運動反射」として知られる関係のもとで、自動的に、眼の水晶体の焦点または眼の遠近調節における合致させる変化を生じさせるであろう。同様に、遠近調節における変化は、通常状態下、輻輳・開散運動における整合的変化を誘起するであろう。本明細書に記載されるように、多くの立体視または「３－Ｄ」ディスプレイシステムは、３次元視点がヒト視覚系によって知覚され得るように、若干異なる提示（したがって、若干異なる画像）を使用して、場面を各眼に表示する。しかしながら、そのようなシステムは、それらが、とりわけ、単に場面の異なる提示を提供するが、眼が、全ての画像情報を単一の遠近調節された状態において視認し、「遠近調節－輻輳・開散運動反射」に不利に働くため、多くの視認者にとって不快である。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0385】
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。ｚ－軸上の眼４、６からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼４、６によって遠近調節される。眼（４および６）は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面１４のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼４、６毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼４、６の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。
【0386】
オブジェクトと眼４または６との間の距離はまた、その眼によって視認されるようなそのオブジェクトからの光の発散量を変化させ得る。図４Ａ－４Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼４との間の距離は、減少距離の順序Ｒ１、Ｒ２、およびＲ３によって表される。図４Ａ－４Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれて、より発散するようになる。距離が増加するにつれて、光線は、よりコリメートされるようになる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されたライトフィールドは、点がユーザの眼からどの程度離れているかに応じた球状波面曲率を有すると言える。曲率は、オブジェクトと眼４との間の距離の減少に伴って増加する。その結果、異なる深度平面では、光線の発散度もまた、異なり、発散度は、深度平面と視認者の眼４との間の距離の減少に伴って増加する。単一眼４のみが、図４Ａ－４Ｃおよび本明細書の他の図では、例証を明確にするために図示されるが、眼４に関する議論は、視認者の両眼４および６に適用され得ることを理解されたい。
【0387】
理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数の深度平面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度平面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。異なる提示は、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面のための異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または焦点からずれている異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ち得る。
【0388】
図５は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム１０００は、複数の導波管１８２、１８４、１８６、１８８、１９０を使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ１７８を含む。いくつかの実施形態では、ディスプレイシステム１０００は、図１Ｂのシステム８０であり、図５は、そのシステム８０の一部をより詳細に図式的に示す。例えば、導波管アセンブリ１７８は、図１Ｂのディスプレイ６２の中に統合されてもよい。
【0389】
図５を継続して参照すると、導波管アセンブリ１７８はまた、複数の特徴１９８、１９６、１９４、１９２を導波管の間に含んでもよい。いくつかの実施形態では、特徴１９８、１９６、１９４、１９２は、レンズであってもよい。導波管１８２、１８４、１８６、１８８、１９０および／または複数のレンズ１９８、１９６、１９４、１９２は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス２００、２０２、２０４、２０６、２０８は、導波管のための光源として機能してもよく、それぞれ、本明細書に説明されるように、眼４に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管１８２、１８４、１８６、１８８、１９０の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス２００、２０２、２０４、２０６、２０８の出力表面３００、３０２、３０４、３０６、３０８から出射し、導波管１８２、１８４、１８６、１８８、１９０の対応する入力縁３８２、３８４、３８６、３８８、３９０の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度平面に対応する特定の角度（および発散量）において眼４に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
【0390】
いくつかの実施形態では、画像投入デバイス２００、２０２、２０４、２０６、２０８は、それぞれ、それぞれの対応する導波管１８２、１８４、１８６、１８８、１９０の中に投入するための画像情報を生成する、離散光変調デバイス（例えば、ＬＣＤディスプレイおよび／またはＤＬＰプロジェクタ）である。いくつかの他の実施形態では、画像投入デバイス２００、２０２、２０４、２０６、２０８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス２００、２０２、２０４、２０６、２０８のそれぞれにパイピングし得る、単一の多重化された光変調デバイス（例えば、ＬＣＤディスプレイおよび／またはＤＬＰプロジェクタ）の出力端である。
【0391】
いくつかの実施形態では、画像投入デバイス２００、２０２、２０４、２０６、２０８は、画像投入デバイス２００、２０２、２０４、２０６、２０８が、画像情報を導波管の中に投入するために、導波管１８２、１８４、１８６、１８８、１９０の対応する入力縁３８２、３８４、３８６、３８８、３９０の表面にわたって移動または走査する、走査ファイバディスプレイシステムの出力端であってもよい。そのような走査ファイバシステムの実施例は、２０１４年１１月２７日に出願され、「ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＵＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」と題された米国特許出願第１４／５５５，５８５号（参照することによって本明細書に組み込まれる）に開示される。
【0392】
コントローラ２１０が、スタックされた導波管アセンブリ１７８および画像投入デバイス２００、２０２、２０４、２０６、２０８の動作を制御する。いくつかの実施形態では、コントローラ２１０は、ローカルデータ処理モジュール７０の一部である。コントローラ２１０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管１８２、１８４、１８６、１８８、１９０への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一の一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ２１０は、いくつかの実施形態では、処理モジュール７０または７２（図１Ｂ）の一部であってもよい。いくつかの実施形態では、ディスプレイシステム８０はまた、視認者の眼４に面する、内向きカメラ５００を含んでもよい。そのようなカメラは、眼４の視線の方向を含む、眼移動を検出し、および／またはディスプレイシステムコマンドとして使用され得る眼または顔ジェスチャを捕捉することによって、ユーザ６０がディスプレイシステム８０と相互作用することを可能にするために使用されてもよい。相互作用は、本明細書に開示されるように、ディスプレイシステム８０による種々のアクションのトリガを含んでもよいことを理解されたい。例えば、眼４の視線がユーザ６０の反射に向かって指向されることを検出することは、本明細書に開示されるように、仮想メニューの表示をトリガしてもよい。
【0393】
ディスプレイシステム１０００は、世界１４４の一部を撮像する、外向きイメージングシステム５０２（例えば、デジタルカメラ）を含んでもよい。世界１４４の本部分は、視野（ＦＯＶ）と称され得、イメージングシステム５０２は、ＦＯＶカメラと称され得、カメラ６５（図１Ａ）に対応してもよい。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ディスプレイシステム１０００を囲繞する立体角の４πステラジアンを含んでもよい。ディスプレイシステム１０００のいくつかの実施形態では、ＦＯＲは、ユーザが、その頭部および眼を移動させ、ユーザを囲繞するオブジェクト（ユーザの正面、背面側、上方、下方、または側面）を見得るため、ディスプレイシステム１０００のユーザの周囲の立体角の実質的に全てを含んでもよい。外向きイメージングシステム５０２から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指ジェスチャ）を追跡する、ユーザの正面の世界１４４内のオブジェクトを検出する等のために使用されてもよい。
【0394】
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きイメージングシステム５００（内向きカメラ５００とも称される）を含んでもよい。内向きイメージングシステム５００は、眼４の画像を捕捉し、眼４の瞳孔のサイズおよび／または配向を判定するために使用されてもよい。内向きイメージングシステム５００は、ユーザが見ている方向（例えば、眼姿勢）を判定する際に、またはユーザのバイオメトリック識別のために（例えば、虹彩識別を介して）、画像を得るために使用されてもよい。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に利用され、各眼の瞳孔サイズおよび／または眼姿勢を独立して別個に判定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼４のみの瞳孔直径および／または配向（例えば、対の眼毎に単一カメラのみを使用して）は、判定され、ユーザの両眼に関して類似すると仮定される。内向きイメージングシステム５００によって得られる画像は、分析され、ディスプレイシステム１０００によって、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するために使用され得る、ユーザの眼姿勢および／または気分を判定してもよい。ディスプレイシステム１０００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を判定してもよい。
【0395】
いくつかの実施形態では、内向きカメラ５００はまた、視認者の眼の遠近調節応答または遠近調節状態を検出し、視認者にその遠近調節応答を変化させることを要求することなく、視認者へのコンテンツを表示するように構成されてもよい。例えば、コンテンツは、その眼が集束される深度に関係なく、視認者に明確に見えることが有益であり得る、アラート、メニューアイテム、または他のコンテンツを含んでもよい。いくつかの実施形態では、ディスプレイシステム８０は、視認者の眼内の水晶体の形状変化を検出し、視認者の眼が合焦されている対象を判定するように構成されてもよく、順に、ディスプレイシステム８０は、表示される画像を、適切な深度平面上に、対応する適切な深度キュー（例えば、特定の深度平面のための適切な分解能、詳細、色飽和、コントラスト等を伴う）とともにレンダリングしてもよい。
【0396】
図５を継続して参照すると、導波管１８２、１８４、１８６、１８８、１９０は、全内部反射（ＴＩＲ）によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管１８２、１８４、１８６、１８８、１９０はそれぞれ、主要上部および底部表面とそれらの主要上部と底部表面との間に延在する縁とを伴う平面であるか、または、別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管１８２、１８４、１８６、１８８、１９０はそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素２８２、２８４、２８６、２８８、２９０を含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素２８２、２８４、２８６、２８８、２９０は、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管１８２、１８４、１８６、１８８、１９０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、上部および／または底部主要表面に配置されてもよい、および／または直接導波管１８２、１８４、１８６、１８８、１９０の容積内に配置されてもよい。いくつかの実施形態では、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、透明基板に取り付けられ、導波管１８２、１８４、１８６、１８８、１９０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管１８２、１８４、１８６、１８８、１９０は、モノリシック材料片であってもよく、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、その材料片の表面上および／または内部に形成されてもよい。
【0397】
図５を継続して参照すると、本明細書に議論されるように、各導波管１８２、１８４、１８６、１８８、１９０は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管１８２は、そのような導波管１８２の中に投入されるにつれて、コリメートされた光を眼４に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管１８４は、眼４に到達し得る前に、第１のレンズ１９２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ１９２は、眼／脳が、その次の導波管１８４から生じる光が光学無限遠から眼４に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の導波管１８６は、眼４に到達する前に、その出力光を第１のレンズ１９２および第２のレンズ１９４の両方を通して通過させる。第１のレンズ１９２および第２のレンズ１９４の組み合わせられた屈折力は、眼／脳が、第３の導波管１８６から生じる光が次の導波管１８４からの光であったものよりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じるように解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。
【0398】
他の導波管層１８８、１９０およびレンズ１９６、１９８も同様に、スタック内の最高導波管１９０を用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ１７８の他側の世界１４４から生じる光を視認／解釈するとき、レンズ１９８、１９６、１９４、１９２のスタックを補償するために、補償レンズ層１８０が、スタックの上部に配置され、下方のレンズスタック１９８、１９６、１９４、１９２の集約パワーを補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、いずれかまたは両方とも、電気活性特徴を使用して、動的であってもよい。
【0399】
いくつかの実施形態では、導波管１８２、１８４、１８６、１８８、１９０のうちの２つまたはそれを上回るものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管１８２、１８４、１８６、１８８、１９０は、画像セットを同一深度平面に出力するように構成されてもよい、または導波管１８２、１８４、１８６、１８８、１９０の複数のサブセットは、深度平面毎に１つのセットの画像セットを同一の複数の深度平面に出力するように構成されてもよい。これは、タイル画像を形成し、拡張された視野をそれらの深度平面に提供する利点を提供し得る。
【0400】
図５を継続して参照すると、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、光をその個別の導波管から再指向することと、導波管と関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを用いて、本光を出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素２８２、２８４、２８６、２８８、２９０を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年３月７日に出願された米国特許出願第１４／６４１，３７６号（参照することによってその全体として本明細書に組み込まれる）に説明される。いくつかの実施形態では、特徴１９８、１９６、１９４、１９２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、空隙を形成するためのクラッディング層および／または構造）であってもよい。
【0401】
いくつかの実施形態では、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点を用いて、眼４に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼４に向かって非常に均一な出射放出パターンとなる。
【0402】
いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを構成する、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料と実質的に合致する屈折率に切り替えられてもよい（その場合、パターンは、入射光を著しく回折しない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折する）。
【0403】
ディスプレイシステム１０００は、ユーザが、コマンドをコントローラ２１０に入力し、ディスプレイシステム１０００と相互作用し得る、ユーザ入力デバイス５０４を含んでもよい。例えば、ユーザ入力デバイス５０４は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下するかまたはその上でスワイプし、入力をディスプレイシステム１０００に提供してもよい（例えば、ユーザ入力をディスプレイシステム１０００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス５０４は、ディスプレイシステム１０００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス５０４は、ディスプレイシステム１０００と有線通信または無線通信してもよい。
【0404】
図６Ａは、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ１７８内の他の導波管も、同様に機能してもよく、導波管アセンブリ１７８は、複数の導波管を含むことを理解されたい。光４００が、導波管１８２の入力縁３８２において導波管１８２の中に投入され、ＴＩＲによって導波管１８２内を伝搬する。光４００がＤＯＥ２８２に衝突する点において、光の一部が、出射ビーム４０２として導波管から出射する。出射ビーム４０２は、本明細書に議論されるように、略平行として図示されるが、それらはまた、導波管１８２と関連付けられた深度平面に応じて、ある角度で眼４に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、光を外部結合し、眼４から長距離（例えば、光学無限遠）において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼４がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。
【0405】
再び図１Ｂを参照すると、ローカル処理およびデータモジュール７０および／または遠隔処理モジュール７２は、本明細書に説明されるように、拡張現実コンテンツを生成する実施形態を行うようにプログラムされてもよく、コンテンツは、導波管１８２、１８４、１８６、１８８、１９０のうちの１つまたはそれを上回るものからの光４００として出力される。例えば、ローカル処理およびデータモジュール７０および／または遠隔処理モジュール７２は、カメラ６５または他のセンサから収集されるデータを分析し、ユーザ６０の反射の存在を検出するようにプログラムされてもよい。本検出は、次いで、導波管１８２、１８４、１８６、１８８、１９０のうちの１つまたはそれを上回るものを使用してディスプレイ６２によって表示される、拡張現実コンテンツの生成をトリガしてもよい。ローカル処理およびデータモジュール７０および／または遠隔処理モジュール７２は、限定ではないが、ユーザ６０の場所、ユーザ６０の物理的外見、時刻、曜日、日付、ユーザの環境、およびそれらの組み合わせを含む、種々の基準に基づいて、拡張現実コンテンツを選択するようにプログラムされてもよい。ある場合には、拡張現実コンテンツ生成の少なくとも一部を遠隔処理モジュール（例えば、「クラウド」内）にオフロードすることは、算出の効率または速度を改良し得る。いくつかの実施形態では、ユーザ６０の存在を検出するため、および／または拡張現実コンテンツ生成のための種々のパラメータ（例えば、バイオメトリック識別子、拡張現実コンテンツに関するユーザ選好等）が、データモジュール７０および／または７２内に記憶されてもよい。いくつかの実施形態では、生成されたコンテンツは、遠隔データリポジトリ７４内に記憶されてもよい。本明細書に記載されるプログラミングは、モジュール７０および／または７２内のハードウェアプロセッサによって行われてもよいことを理解されたい。拡張現実コンテンツを提供するためのプログラミングのいくつかの詳細が、以下に議論される。
【0406】
図６Ｂは、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、ディスプレイシステムを示す、概略図である。ディスプレイシステムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含んでもよい。ディスプレイシステムは、多焦点、立体画像、またはライトフィールドを生成するために使用されてもよい。ディスプレイシステムは、１つまたはそれを上回る一次平面導波管６３２ａ（１つのみが図６Ｂに示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つまたはそれを上回るＤＯＥ６３２ｂとを含んでもよい。平面導波管６３２ｂは、図５を参照して議論される導波管１８２、１８４、１８６、１８８、１９０に類似してもよく、ＤＯＥ６３２ｂは、光学要素２８２、２８４、２８６、２８８、２９０に類似してもよい。ディスプレイシステムは、分散導波管装置を採用し、光を第１の軸（図６Ｂの図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂおよび／またはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂおよび／またはＤＯＥ６３２ａと同一材料から成ってもよい。図６Ｂに示される光学ディスプレイシステム６００の実施形態は、図１Ｂに示されるウェアラブルディスプレイシステム８０の中に統合されてもよい。
【0407】
中継され、射出瞳が拡張された光は、分散導波管装置から１つまたはそれを上回る一次平面導波管６３２ｂの中に光学的に結合される。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６Ｂの図では、水平またはＸ－軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であってもよい。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張する。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張する、一次平面導波管６３２ｂにその光を通過させてもよい。
【0408】
ディスプレイは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つまたはそれを上回る有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられてもよい。電極は、例えば、管６４２の外側、外側表面もしくは外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置する。
【0409】
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
【0410】
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
【0411】
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートする。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射される。コリメートされた光は、全内部反射（ＴＩＲ）によって分散平面導波管６２２ｂに沿って（図６Ｂの図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差する。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させる。
【0412】
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張される。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入する。
【0413】
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６Ｂに示される図に関して）水平に伝搬する。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称性回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
【0414】
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称性回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
【0415】
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させてもよい。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されてもよい。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルディスプレイシステムの他のコンポーネント）
（ウェアラブルディスプレイシステムの他のコンポーネント）
【0416】
多くの実施形態では、ウェアラブルシステム（例えば、ウェアラブルディスプレイシステム８０）は、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実施形態では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実施形態では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
【0417】
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実施形態では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードおよび／または仮想トラックパッドを介して行われた選択もしくは入力として、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを検出し得る。ユーザ入力デバイス５０４（図５に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカスイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
【0418】
本開示のウェアラブルデバイス、ＨＭＤ、ＡＲＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルディスプレイシステム、環境、およびインターフェース）
（例示的ウェアラブルディスプレイシステム、環境、およびインターフェース）
【0419】
ウェアラブルディスプレイシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されてもよい。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングしてもよい。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されてもよい。
【0420】
図７は、ＭＲ環境７５０の実施例のブロック図である。ＭＲ環境７５０は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス５０４からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を種々のユーザシステム７２０ａ、７２０ｂから受信するように構成されてもよい。ユーザシステム７２０ａ、７２０ｂは、１つまたはそれを上回るユーザウェアラブルシステム（例えば、ウェアラブルシステム８０、図１Ｂ；ウェアラブルシステム１０００、図５）および／または定常室内システム（例えば、室内カメラ等）を備えてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を判定してもよい。本情報はさらに、異なる視点からの画像および／または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに還元されてもよい。
【0421】
１つまたはそれを上回るオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識および／またはマッピングし、画像をタグ付けし、マップデータベース７１２を用いて、意味論情報をオブジェクトに結び付けてもよい。マップデータベース７１２は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスしてもよい。
【0422】
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、鏡、反射された画像（人物またはＨＭＤ等）、窓、壁等を認識してもよい。１つまたはそれを上回るオブジェクト認識装置は、ある特性を伴うオブジェクトに特化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、鏡を認識するために使用されてもよい。
【0423】
オブジェクト認識は、種々のコンピュータビジョン技法を使用して行われてもよい。例えば、ウェアラブルシステムは、外向きイメージングシステム５０２（図５に示される）によって取得された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を行ってもよい。本明細書に説明される１つまたはそれを上回るコンピュータビジョンアルゴリズムは、これらのタスクを行うために使用されてもよい。オブジェクト認識は、加えて、または代替として、本明細書に説明される種々の機械学習アルゴリズムによって行われてもよい。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されてもよい。
【0424】
ウェアラブルシステムはまた、認識されたオブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７５０は、Ｃａｌｉｆｏｒｎｉａで生成している場面についての情報を含んでもよい。環境７５０は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等を行ってもよい。環境７５０はまた、場所特定目的のために、トポロジマップを使用してもよい。
【0425】
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８５０の実施例のプロセスフロー図である。方法８５０は、仮想場面がＭＲシステム（例えば、ウェアラブルシステム）のユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
【0426】
ブロック８５２では、ＡＲシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８５２において、情報をシステムに伝達する。システムは、ブロック８５４において、本情報に基づいて、大まかな点を判定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、および／または手のジェスチャ）を判定する際に使用されてもよい。オブジェクト認識装置７０８ａ、７０８ｎは、ブロック８５６において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック８５８において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８６０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
【0427】
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９９０は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を判定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定デバイス等）からのデータ、および表面情報を備えてもよい。
【0428】
大まかな点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ－ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されてもよい。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。
【0429】
一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して判定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力である。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。
【0430】
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹またはそれを上回るモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、または種々の状態下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を判定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
【0431】
ユーザからの制御または入力は、ウェアラブルシステム９９０への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含んでもよい。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９９０に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム、ユーザ入力デバイス、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの判定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンもしくは要素をクリックしているかどうかも理解するように構成されてもよい。）
【0432】
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９９０は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物もしくは演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９９０は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右もしくは上下に手をフリップする等、単純な静的ジェスチャであってもよい。
【0433】
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して判定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、判定されてもよい。
【0434】
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９９０は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含んでもよい。３つの対のカメラ内のカメラは、外向きに面したイメージングシステム５０２（図５に示される）の一部であってもよい。ウェアラブルシステム９９０は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図５に示される内向きに面したイメージングシステム５００の一部であってもよい）を含むことができる。ウェアラブルシステム９９０はまた、１つまたはそれを上回るテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
【0435】
図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、ユーザのＦＯＶカメラを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
【0436】
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼もしくは頭部もしくはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を判定する。
【0437】
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの視線が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実施形態では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を判定するために使用されてもよい。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを判定してもよい。種々の実施形態では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じること、または、実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含んでもよい。
【0438】
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図１Ｂにおけるディスプレイ６２等）によって投影されてもよい。また、１つまたはそれを上回るプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つまたはそれを上回るカメラを使用して（例えば、内向きに面したイメージングシステム５００または外向きに面したイメージングシステム５０２を使用して）追跡されてもよい。
【0439】
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。
【0440】
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を判定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得るか、または、平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を判定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、判定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
【0441】
ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影してもよい。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。
【0442】
ＡＲシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（拡張現実コンテンツ生成の実施例）
（拡張現実コンテンツ生成の実施例）
【0443】
図１２は、拡張現実コンテンツを生成し、ユーザのその反射のビューを拡張するためのルーチンのフロー図の実施例を図示する。好ましくは、ルーチンは、光をユーザに指向するように構成される光再指向特徴を備える、表示領域を備える、ウェアラブルディスプレイデバイスを有する、システム８０（図１Ｂ）等のディスプレイシステム内で実装される。表示領域は、少なくとも部分的に、透明であって、表示領域を通して、周囲環境のビューを提供するために十分に透明であってもよい。いくつかの実施形態では、本明細書に説明されるアクションおよび機能のいずれかを含む、ルーチンは、ローカル処理およびデータモジュール７０または遠隔処理モジュール７２内の非一過性メモリ内のプログラミングとして記憶されてもよい。プログラミングおよびルーチンは、ハードウェアプロセッサモジュール７０および／またはモジュール７２（図１Ｂ）によって実装されてもよい。
【0444】
図１２を継続して参照すると、ブロック７００では、視認者の反射が視認者の視野内にあるかどうかに関して判定が行われる。判定が正である場合（すなわち、反射が視認者の視野内にあると判定される）、ルーチンは、ブロック７１０に進む。ブロック７１０では、拡張現実コンテンツが、表示される。本明細書に開示されるように、いくつかの実施形態では、拡張現実コンテンツは、画像コンテンツでエンコードされた光を、光をユーザに出力し、ユーザによって知覚される画像を形成する、ウェアラブルディスプレイに提供することによって表示されてもよい。画像は、好ましくは、表示領域の全体未満を占有し、それによって、周囲環境のビューを可能にする。結果として、仮想コンテンツは、実オブジェクトのユーザのビューと混成し得る。いくつかの実施形態では、仮想コンテンツは、実オブジェクトのうちの１つまたはそれを上回るものの一部または全部のユーザのビューを遮断してもよい。そのような遮断は、本明細書に開示されるように、システムが、知覚されたそれらのオブジェクトの外観を修正することを可能にする。拡張現実コンテンツは、視認および分析のためのリアルタイム情報および／または履歴データを含んでもよいことを理解されたい。
【0445】
いくつかの実施形態では、画像とユーザの反射の空間同期が、ディスプレイシステムのカメラ（世界を撮像するための前向きカメラと、ユーザの眼を撮像し、ユーザの視線方向を判定するように構成される、内向きカメラの両方）によって捕捉されたリアルタイム画像を分析し、画像が、リアルタイムで、ユーザの反射の一部の反射または拡張現実コンテンツによって修正されている周囲環境を遮断し、取って代わるように、画像を表示領域内に位置付けることによって達成されてもよい。画像を構築するために使用される画像情報は、ディスプレイシステム８０内に記憶されてもよい（例えば、ローカル処理およびデータモジュール７０（図１Ｂ）内にローカルに）、および／また第三者ソースから受信されてもよい（例えば、ユーザが、特定の物理的施設内に居ること、または特定のオンラインサイトを視認していることの検出に応じて、ディスプレイシステムによって確立され得る、例えば、小売店もしくは健康施設との無線もしくは有線通信リンクを通して、および／または遠隔データリポジトリ７４（図１Ｂ）にダウンロードされたコンテンツを通して）。反射内の実オブジェクトは、対応する視線に沿ってユーザに見えることを理解されたい。好ましくは、ディスプレイシステムは、ユーザの視野内の画像の場所が、画像が、実オブジェクトのユーザのビューに取って代わり、それを効果的に遮断することが意図される、その実オブジェクトの視線と一致するように、その画像を位置付けるように構成される。加えて、画像は、反射内に見えるであろう実オブジェクトの深度平面に合致する深度平面上（例えば、実オブジェクトから鏡まで、次いで、鏡からユーザまで、光線によって横断されるであろう距離と等しい、ユーザからの距離に対応する深度平面上に）に設置されてもよい。
【0446】
いくつかの実施形態では、ディスプレイシステムは、仮想オブジェクトをユーザと反射表面との間の深度平面上に表示してもよい。ユーザの視覚系は、そのような仮想オブジェクトの正面側ビュー（ユーザに面する）および背面側ビュー（反射表面に面する）の両方が見えることを期待し得ることを理解されたい。表示される仮想オブジェクトの現実性を増加させるために、仮想オブジェクトの背面側の反射が、表示されてもよい。好ましくは、ディスプレイシステムは、仮想オブジェクトの正面側および背面側の両ビューに関する画像情報をローカルに記憶する、またはそこへのアクセスを有する。本画像情報は、次いで、ディスプレイシステムによって、２つの別個の画像として表示されてもよい。１つは、仮想オブジェクトの正面側に対応し、１つは、仮想オブジェクトの背面側に対応する。ディスプレイシステムは、背面側画像を正面側画像と異なる深度平面上に、正面側画像よりユーザから離れて設置するように構成されてもよいことを理解されたい。加えて、ディスプレイシステムは、仮想オブジェクトの背面側ビューの鏡像を提供（例えば、テキストの鏡像を提供）し、実際の反射をより現実的に模倣するように構成されてもよい。
【0447】
仮想オブジェクトの実施例として、仮想メニューの背面側の反射が、鏡内の反射として表示されてもよい。すなわち、仮想メニューの背面側の画像が、鏡にオーバーレイする場所に表示されてもよく、背面側の画像の場所は、仮想オブジェクトが実オブジェクトである場合に反射が存在するであろう場所に対応する。光線追跡が、正面側および背面側画像の相対的位置を判定するために利用されてもよいことを理解されたい。また、仮想オブジェクトが移動するにつれて、正面側および背面側画像の位置もまた移動し得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、例えば、状況に基づいて、背面側画像を選択的に表示するかどうかを判定するように構成されてもよい。例えば、３次元オブジェクト（例えば、世界内および／またはそれと相互作用するオブジェクトを模倣する、またはそれに取って代わることが意図されるオブジェクト）を表す仮想コンテンツの正面および背面側の両方が、表示されてもよい一方、ディスプレイシステムへの入力および／またはそこからの情報を具体的に提供するために使用される仮想オブジェクトは、反射として表示される背面側画像を有していなくてもよい。いくつかの実施形態では、仮想メニューは、ユーザにメニューが実オブジェクトではないことを信号伝達するため、および／または算出リソースを節約するために、背面側反射を有していなくてもよい。
【0448】
再びブロック７００を参照すると、ユーザの反射がユーザの視野内にあることを判定するステップは、ディスプレイシステムによって、種々の入力および基準を使用して、自動的に遂行されてもよい。例えば、周囲環境の画像は、ユーザのディスプレイデバイス上のカメラを用いて捕捉され、記憶された画像情報は、捕捉された画像と比較され、捕捉された画像と記憶された画像情報との間に合致が存在するかどうかを判定する。いくつかの実施形態では、記憶された画像情報は、ユーザの外見の一意の特徴等のバイオメトリック情報を備える。そのような一意の特徴は、限定ではないが、ユーザ上の１つまたはそれを上回る一意の物理的属性の存在またはユーザの物理的特徴（例えば、顔上の特徴）間の関係（例えば、空間またはサイズ関係）を含んでもよい。いくつかの実施形態では、ブロック７００の実施は、顔認識サブルーチンを起動することを含む。
【0449】
いくつかの実施形態では、記憶された画像情報は、ウェアラブルディスプレイデバイスの一意の特徴を備える。例えば、ディスプレイデバイスのフレームは、ディスプレイデバイスのカメラまたは他のセンサによって捕捉される、一意の識別子（例えば、バーコードまたは一意の電磁放出）を有してもよい。一意の識別子は、ディスプレイシステム内に記憶される許容可能識別子のセットと比較され、正の合致は、反射が存在することを示すと解釈される。いくつかの実施形態では、反射表面（例えば、鏡）自体が、一意の識別子を含んでもよい。例えば、反射表面は、バーコードまたは他の可視識別子を含んでもよい。いくつかの実施形態では、反射表面は、電磁信号をブロードキャストする、ビーコンを含む。ディスプレイデバイスは、受信機を有し、信号を受信し、これは、記憶される許容可能信号のセットと比較される。合致が行われる場合、信号の受信は、ユーザが反射表面に近接することを示すと解釈される。いくつかの実施形態では、信号は、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線周波数識別（ＲＦＩＤ）技術規格を使用して実装され得る、無線信号であってもよい。いくつかの他の実施形態では、反射表面へのユーザの近接度は、ユーザ上の場所センサおよび既知の反射表面の場所を含有するデータベースへのアクセスを使用して判定されてもよい。ユーザの場所と既知の反射表面の場所との間の合致は、ユーザが反射表面に近接することを示すと解釈されてもよく、反射表面がユーザの視線内にあることの確認は、ディスプレイシステムのカメラによって捕捉された画像を分析することによって行われてもよい。ユーザの反射がユーザの視野内にあることを判定する際の可能性として考えられる使用に加え、ディスプレイデバイスのフレームまたは他のコンポーネントの一意の幾何学形状が、いくつかの実施形態では、コンピュータビジョンソフトウェアによって認識され、ディスプレイシステムとの相互作用のために、「トーテム」として取り扱われてもよいことを理解されたい。
【0450】
いくつかの実施形態では、ディスプレイシステムは、反射された画像の種々の印に関して、外向きカメラによって捕捉された画像を分析することよって、反射の存在を検出するように構成されてもよい。これらの種々の印は、鏡による左および右特徴の反転を含んでもよい。例えば、ディスプレイシステム（例えば、ディスプレイシステムのフレーム）は、ディスプレイシステムによって把握される、具体的左／右配向を有するその表面上の可視マーキングを含んでもよい。そのような可視マーキングは、ディスプレイシステムのフレームの左側の文字「Ｌ」および／またはディスプレイシステムのフレームの右側の文字「Ｒ」等の文字を含んでもよい。本明細書に開示されるように、ディスプレイシステムは、その外向きカメラを使用して、周囲環境を能動的に走査し、カメラによって撮像されるオブジェクト（店舗の内側等の風景および／または人々を含む）を識別するように構成されてもよい。その結果、ディスプレイシステムは、カメラによって捕捉されたフレームの画像を認識し、また、文字「Ｌ」および／または「Ｒ」の配向が反転されていることを判定するように構成されてもよい。そのような反転は、カメラがディスプレイまたはカメラフレームの反射を撮像したことのインジケーションとして解釈されてもよい。反射を示すために利用され得る、マーキングのための他のオプションは、記号、色（例えば、色特定の順序を有する、色のストリップ）等を含む、その右／左配向と異なる左／右配向を伴う、任意のマーキングを含む。
【0451】
いくつかの実施形態では、ディスプレイシステムは、ユーザ上の反転された顔／身体マーキングの存在を判定するように構成されてもよい。好ましくは、マーキングは、特定の左／右配向を有する。そのような顔／身体マーキングの実施例は、傷跡、母斑、しみの組み合わせ、ユーザの髪の分け目方向等を含む。そのようなマーキングは、記憶され、マーキングの反転された画像を検出するように構成され得る、ディスプレイシステムによってアクセス可能であってもよい。加えて、ディスプレイシステムはまた、ユーザの衣類上のマーキング／記号の反転された画像の存在を認識するように構成されてもよい。例えば、ディスプレイシステムは、ユーザの衣類を認識し、ユーザの衣類上のマーキング／記号（例えば、単語）が反転されていることを検出するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、外向きカメラによって捕捉された画像の鏡像バージョンを形成し、それらの鏡像バージョンと記憶されたデータ内に表される非鏡映画像を比較するように構成されてもよい。合致が存在する場合、ディスプレイシステムは、反射が存在することを判定するように構成されてもよい。いくつかの他の実施形態では、ディスプレイシステムは、そのデータベース内に記憶されるオブジェクトの鏡像（または電子データ均等物）を形成し、これらの鏡像と外向きカメラによって捕捉されたものを比較するように構成されてもよい。合致が存在する場合、ディスプレイシステムは、反射が存在することを判定してもよい。
【0452】
いくつかの実施形態では、反射表面による左／右の反転は、移動を使用して検出されてもよい。例えば、ディスプレイシステムは、加速度計および／または場所デバイスを含んでもよく、ユーザが特定の方向（例えば、左）に移動していることを判定するように構成されてもよい一方、外向きカメラによって捕捉された画像は、ユーザが同一方向に移動していることを判定するように処理される。
【0453】
いくつかの他の実施形態では、ディスプレイシステムは、電磁放射および／または音波（または他の波長の音響波）を放出し、電磁放射および／または音波（または他の波長の音響波）の反射を検出し、反射表面の存在を判定するように構成されてもよい。反射表面、特に、鏡面反射体は、非反射表面からの反射より少なく拡散される、反射を提供し得ることを理解されたい。いくつかの実施形態では、反射を受信するセンサ（例えば、外向きカメラまたは受信機）からのデータは、分析され、受信された反射によって含意される拡散量を判定してもよい。所定の閾値を下回る拡散は、ディスプレイシステムによって、反射が鏡面反射体によって提供されたことを示すと解釈されてもよい。本明細書に記載されるように、反射を検出する本方法は、反射検出の正確度を増加させるために、１つまたはそれを上回る他の方法と組み合わせられてもよい。
【0454】
いくつかの実施形態では、ディスプレイシステムは、ユーザが反射内に存在しない場合でも、反射の存在を判定するように構成されてもよい。例えば、ディスプレイシステムは、既知の記号（例えば、文字および／または単語）の画像を検出し、記号が反転されていることを判定するように構成されてもよい。本明細書に開示されるように、ディスプレイシステムはまた、ユーザから反射の存在を示す入力を受信するように構成されてもよい。そのような入力は、反射内で提供されてもよく、ユーザが反射内に存在するかどうか識別されてもよい。いくつかの他の実施形態では、ディスプレイシステムは、視線検出を使用して、ユーザによって視認されているオブジェクトを判定してもよく、ディスプレイシステムはまた、ユーザが視認されているオブジェクトが反射の一部であるかどうかに関する入力を提供するための実または仮想セレクタ（またはボタン）を具備してもよい。
【0455】
反射表面は、固定場所に位置してもよいことを理解されたい。加えて、本明細書に説明されるように、ディスプレイシステムは、情報を他のユーザと共有またはそれにパスするように構成されてもよく、本情報は、他のユーザによって存在すると以前に判定された反射表面の場所および配向を含んでもよい。その結果、いくつかの実施形態では、ユーザの場所が、追跡されてもよく、ユーザが面している方向が、判定されてもよい。本場所および視線情報に基づいて、ディスプレイシステムは、本情報を共有している他のユーザまたは他のディスプレイシステムによる反射表面の以前の識別に起因して、反射表面がその場所に存在するかどうかを判定するように構成されてもよい。
【0456】
いくつかの実施形態では、本明細書で議論される入力および／または基準の複数のものが、分析され、１つまたはそれを上回るハードウェアプロセッサがルーチンがブロック７１０に進み得る信号を生成する前に、検出されることが要求される。有利には、複数の入力および／または基準の使用は、ブロック７００において行われる判定の正確度を改良し得る。いくつかの実施形態では、反射の存在を判定するための少なくとも１つの基準は、ユーザに一意の特徴（例えば、ユーザの顔上のバイオメトリック特徴）を含む。これは、コンテンツが、ユーザが一意のユーザ特徴を供給するために存在する場合のみ表示されるであろうため、後に表示されるコンテンツをセキュアにするという利点を有し得る。そのようなセキュリティは、個人情報が拡張現実コンテンツとして表示される用途において望ましくあり得る。
【0457】
内向きカメラ５００（図５）が存在する、いくつかの実施形態では、カメラ５００は、１つまたはそれを上回るユーザ６０（図１Ｂ）の眼の虹彩認識のための虹彩スキャナとして利用されてもよい。虹彩は、経時的に安定し、各個人に一意である、一意の特徴のセットを含有することを理解されたい。その結果、一意のパターンを定義し得る、特徴のセットが、多くの場合、指紋より高い精度を伴って、個人を識別するために使用され得る。これらの特徴のセットは、例えば、虹彩の捕捉された画像の一部として、カメラ５００によって捕捉されてもよく、ローカル処理およびデータモジュール７０は、画像を分析し、ユーザの虹彩特徴のセットに合致する一意の特徴のセットが存在するかどうかを検出してもよい。ユーザの一意の虹彩特徴のセットが存在することが見出される場合、ローカル処理およびデータモジュール７０は、合致を示す信号を提供し、ユーザは、ディスプレイシステム８０を装着していると判定される。
【0458】
いくつかの他の実施形態では、カメラ５００は、ユーザ６０（図１Ｂ）の１つまたはそれを上回る眼のための網膜スキャナとして使用されてもよい。そのような網膜走査は、光をユーザ６０の眼の中に指向するように構成される、赤外線光エミッタ（例えば、カメラ５００の一部として）を含んでもよい。ユーザの網膜内の血管のパターンは、一意であって、典型的には、経時的に変化せず、血管は、周囲組織と異なる赤外線光量を反射させることを理解されたい。本差動光吸収によって形成される一意のパターンが、カメラ５００によって検出されてもよい。網膜パターンが、ユーザの網膜パターンに合致することが見出される場合、ローカル処理およびデータモジュール７０は、合致を示す信号を提供し、ユーザは、ディスプレイシステム８０を装着していると判定される。カメラ５００は、いくつかの実施形態では、虹彩スキャナおよび網膜スキャナの両方として使用されてもよいことを理解されたい。
【0459】
再び図１２を参照すると、いくつかの実施形態では、ブロック７００は、１）ユーザの反射が存在することの正の結果を得ることと（例えば、顔認識、システム８０上またはそれによって放出される識別子、反射表面からの信号の受信等を使用して）、２）ユーザがディスプレイシステム８０を実際に装着していることを判定することとの両方を含む。いったん両状態が、これらの実施形態において満たされると、ディスプレイシステムは、ブロック７００から後続ブロックに進んでもよい。
【0460】
いくつかの実施形態では、ユーザが定常であることを検出する随意のステップが、ブロック７００の一部においてまたはブロック７００と７１０との間において行われてもよい。ディスプレイシステムは、ブロック７１０に進む前に、ユーザが定常であるかどうかの分析を行うようにプログラムされてもよい。例えば、加速度計、慣性測定ユニット、またはＧＰＳユニットが、ディスプレイシステム内に提供されてもよく、加速度計、慣性測定ユニット、またはＧＰＳユニットからの入力が、１つまたはそれを上回るハードウェアプロセッサによって受信されてもよく、これは、具体的時間量（例えば、２秒またはそれを上回る、３秒またはそれを上回る、４秒またはそれを上回る、もしくは５秒またはそれを上回る）にわたって、ユーザが定常であると判定されるまで、ブロック７１０に進まない命令でプログラムされる。
【0461】
いくつかの他の実施形態では、ブロック７００は、手動動作を備えてもよい。ユーザは、入力をディスプレイシステムに提供することによって、反射が存在することの判定を行ってもよい。例えば、ディスプレイシステムは、例えば、アクティブ化され、反射が存在することのディスプレイシステムによって受容可能な信号を提供し、それによって、ルーチンがブロック７１０に進むことを可能にし得る、手動または仮想スイッチを有してもよい。別の実施例として、ユーザ音声コマンドが、入力をディスプレイシステムに提供し、システムに、反射が存在することをアラートするために利用されてもよい。さらに他の実施例では、例えば、ジェスチャの形態における、ユーザによる移動が、外向きカメラを使用して、ユーザの反射内で検出されてもよい。ディスプレイシステムは、特定の移動を特定のタイプの入力として認識するように構成されてもよい。例えば、人物が反射内のその頭部を指すジェスチャが、ディスプレイシステムによって、ユーザがユーザの反射が存在することを肯定応答していることの信号として認識されてもよい。加えて、または代替として、その頭部を指すジェスチャは、ディスプレイシステムによって、指されている顔上で顔認識を行い、ユーザの存在を判定するようにディスプレイシステムに指示する入力として解釈されてもよい。
【0462】
いくつかの実施形態では、ブロック７００の前に、反射表面上またはそれに近接するディスプレイシステムおよび／またはビーコンは、ユーザを反射表面に能動的に誘引するように構成されてもよい。例えば、ディスプレイシステムによるビーコンの検出は、システムに、ユーザを反射表面に指向させるための光学インジケータ（例えば、矢印、コンパス、またはマップ）および／または聴覚信号（例えば、音声プロンプトまたはアラーム）を表示させてもよい。いくつかの他の実施形態では、ディスプレイシステムによって提供される誘導に加え、またはその代替として、反射表面は、ユーザの存在を検出し、ユーザを反射表面に誘引する信号を提供する、感知デバイス（例えば、カメラまたは近接度センサ）を含む、またはそれに近接してもよい。例えば、信号は、光学信号（例えば、閃光、点滅光、または標識）または可聴アラートであってもよい。
【0463】
いくつかの実施形態では、ディスプレイシステムは、反射表面の場所を有する、データベースを有してもよい、またはそこに接続されてもよい。ユーザは、その場所を追跡する、場所センサ（例えば、ディスプレイシステムの一部として）を有してもよく、ディスプレイシステムは、ユーザを反射表面に能動的に誘導するように構成されてもよい。誘導は、ユーザによって開始されてもよい（例えば、近傍反射表面を見つけるためのユーザによる要求の一部として）、またはシステム内に事前に設定された基準に基づいて、自動的に生成されてもよい。
【0464】
ディスプレイシステムおよび／またはビーコンならびに／もしくは感知デバイスはまた、特定のユーザを特定の反射表面に誘引する際に選択的であるように構成されてもよい。例えば、特定のユーザを特定の反射表面に誘引することは、ディスプレイシステムおよび／またはビーコンならびに／もしくは感知デバイス内にプログラムされる種々のルールによって統制されてもよい。いくつかの実施形態では、ユーザを反射表面に能動的に誘引することは、ユーザの性別、ユーザの販売履歴、ユーザの収入等に依存してもよい。例えば、百貨店では、プログラムされるルールは、ユーザをユーザの性別に合致する衣類売り場内の反射表面にのみ指向させてもよい。
【0465】
いくつかの実施形態では、ユーザの識別およびユーザについての詳細な情報は、既知であってもよいことを理解されたい。例えば、虹彩および／または網膜認識が、ユーザを識別するために使用されてもよく、ディスプレイシステム８０は、次いで、ユーザに関するプロファイルをロードするように構成されてもよい。プロファイルは、年齢および性別を含む、種々の人口統計基準を含む、種々の識別子と、ユーザと反射表面内に見られるその他との関係とを含有してもよい。これらの識別子は、ユーザを反射表面に能動的に誘引することにより具体的に調整するために利用されてもよい。例えば、ディスプレイシステムは、前述の識別子のうちの１つまたはそれを上回るものに基づいて、ユーザを反射表面に指向するように構成されてもよい。
【0466】
再び図１２を参照すると、いったんユーザの反射が、ブロック７００に従って、ユーザの視野内にあると見出されると、ブロック７１０に進み、拡張現実コンテンツを表示することは、仮想メニューをユーザ選択可能オプションとともに表示することを含んでもよい。仮想メニューは、テキストおよび／または記号を含有する、メニューの１つまたはそれを上回る画像を反射表面のユーザのビューまたはその周囲環境のビュー上にオーバーレイすることによって形成され、それによって、視認者がディスプレイシステムと相互作用することを可能にしてもよい。例えば、メニューは、ユーザがさらなる拡張現実コンテンツが表示されることを選定することを可能にする、オプションを含んでもよい。いくつかの実施形態では、これは、ディスプレイシステムの中にプログラムされた特定のアプリケーションを選択することを伴ってもよい。アプリケーションは、種々の目的（例えば、ファッション、買物、健康、美容関連、教育等）のためのコンテンツを生成するためのプログラミングを含有してもよい。メニューアイテムの選択は、「仮想タッチスクリーン」、音声コマンド、眼追跡、ジェスチャ、または他の手段を介して行われてもよい。内向きカメラ５００（図５）等の周辺機器が、ジェスチャを捕捉し、眼を追跡するために利用されてもよい。
【0467】
いくつかの実施形態では、外向きカメラ６５（図１Ｂ）は、ユーザの反射内においてカメラ６５によって捕捉される、ユーザ入力を検出するために利用されてもよい。カメラ６５は、種々の身体ジェスチャおよび／または眼移動を捕捉するように構成されてもよく、ディスプレイシステムは、これらのジェスチャおよび眼移動を入力として解釈するように構成されてもよい。例えば、特定の身体ジェスチャ、手ジェスチャ、頭部姿勢、および／または顔表現が、ディスプレイシステムによって特定のアクションを生じさせる特定の入力として、システムの中にプログラムされてもよい。実施例として、ユーザが顔をしかめる行為は、「はい」または「いいえ」質問に対する「いいえ」の回答に対応するようにプログラムされてもよい。同様に、瞬目または特定の手ジェスチャは、別の入力をディスプレイシステムに信号伝達するようにプログラムされてもよい。いくつかの実施形態では、カメラ６５および／または５００は、メニューアイテムを選択するための眼追跡のために使用されてもよい。
【0468】
いくつかの実施形態では、本明細書に開示されるように、カメラ６５および／または５００は、ユーザの顔および／または身体の画像（ビデオを含む）を捕捉し、拡張現実コンテンツに対するユーザの感情反応を含む、ユーザの感情状態を判定するために使用されてもよい。感情状態の特定の判定によって生成された拡張現実コンテンツは、状況依存であってもよいことを理解されたい。前述のように、「はい」または「いいえ」質問の状況では、ユーザが顔をしかめる行為の検出は、「いいえ」入力信号として解釈されてもよい。目標がアクティビティを継続することである、運動ルーチン、物理的療法、または他のアクティビティの間、顔をしかめる行為が生じるとき等のある他の状況では、ディスプレイシステムは、アクティビティ（例えば、場所、アクティビティへの従事に関するユーザ入力等に基づいて）を検出し、アクティビティに基づいて、正の強化を提供する拡張現実コンテンツを提供するようにプログラムされてもよい。例えば、ディスプレイシステムは、ユーザを動機付ける、またはユーザの自信を増加させるように設計される、画像および／またはオーディオを生成するように構成されてもよい。実施例として、正の強化は、どの程度ユーザが目標達成に近いか（例えば、どれくらい長く時間が残っているか等）および／またはベースラインに対してユーザがその成績をどの程度改良したか（例えば、その速度、強度等の測定値をグラフィック的に表示する）を示す、拡張現実コンテンツを表示することを含んでもよい。システムが、ユーザが特定の設定（例えば、商業、産業、軍事、または臨床設定）内に存在する、または自宅の鏡の正面に存在することを検出するとき等のある他の状況では、システムは、その設定に関連する動機付けキューをユーザに提供するように構成されてもよい。いくつかの実施形態では、顔をしかめる行為に応答して、拡張現実コンテンツは、ユーザの外見に関する正の強化を含んでもよい。例えば、ディスプレイシステムは、ユーザの洋服の色および／または化粧が相補的と考えられる範囲内にあることを示す信号を提供してもよい。洋服および／または化粧は、ディスプレイシステムによって生成された拡張現実コンテンツを含んでもよいことを理解されたい。
【0469】
図１２を継続して参照すると、いくつかの実施形態では、カメラ５００（図５）および／またはカメラ６５（図１Ｂ）による眼追跡が、拡張現実コンテンツを生成し、生成されたコンテンツを修正する過程にわたって利用されてもよい。例えば、ユーザの眼がオブジェクト上に合焦されたまま留まる時間の長さ（「注視の時間」）および／またはユーザの瞳孔面積における変化が、ディスプレイシステムによって、そのオブジェクトにおける関心レベルのサインとして解釈されてもよい。長時間および／または瞳孔面積の増加は、オブジェクトにおける高レベルの関心を示し得る。小売設定では、これは、オブジェクトと同一タイプのより多くのアイテムを表示させてもよい。例えば、プログラムされた閾値持続時間を超える持続時間にわたって靴を見ているユーザは、その靴の反射にオーバーレイされて表示され得る、付加的靴に関するメニューオプションを提供されてもよい。いくつかの実施形態では、注視の時間は、拡張現実コンテンツとして表示されるオプションがユーザに提示される速度を変動させるために利用されてもよい。例えば、ディスプレイシステムが、ユーザの眼が、プログラムされた閾値持続時間を超える持続時間にわたって特定のメニュー選択肢上に固定されていることを検出する場合、システムは、他の選択肢の表示を減速または停止させてもよい。
【0470】
いくつかの実施形態では、個人化されたメニューおよび／または表示されるコンテンツのタイプは、顔認識、バイオメトリックデータ、または、例えば、ユーザと排他的に関連付けられたデバイス上のＲＦＩＤもしくはＢｌｕｅｔｏｏｔｈ（登録商標）等の技術を使用した一意の識別子の検出を通したユーザの認識に基づいて、自動的に開始されてもよい。いくつかの実施形態では、システム８０は、ユーザの反射を分析し、および／または一意の識別子を検出することによって、ユーザを認識するようにプログラムされてもよい。正の合致は、個人化された拡張現実コンテンツの表示をもたらす。自動的に開始されるメニューの実施例は、カレンダ、電子メール、ソーシャルメディア、ニュースフィード、天気、交通情報等のユーザの事前に選択されたコンテンツアプリケーションおよびカスタマイズされたコンテンツを伴う、「カスタムデスクトップ」を含んでもよい。有利には、ユーザに一意の識別子の検出を要求する認識プロトコルは、ユーザ毎に個人化された体験が提供されながら、単一ディスプレイシステムが複数のユーザとの間で共有されることを可能にすることに加え、ユーザの個人化されたコンテンツのさらなるセキュリティを可能にし得る。本明細書に記載されるように、いくつかの実施形態では、内向きカメラ５００が、例えば、個人的または個人化された拡張現実コンテンツを表示する前に、虹彩および／または網膜認識を行い、ユーザがディスプレイシステム８０（図１Ｂ）を実際に装着している人物であることを確認することによって、セキュリティの付加的層を提供するために利用されてもよい。
【0471】
表示されるコンテンツのタイプは、ブロック７１０が行われる度に一貫していてもよい、または動的であって、種々のトリガに応じて変動してもよいことを理解されたい。例えば、ユーザの個人化されたメニューが、最初に、全ての時間ブロック７１０が行われる度に表示されてもよい。いくつかの実施形態では、表示される拡張現実コンテンツのタイプは、種々の基準（例えば、場所、時間／曜日／日付、ユーザ外見、外部周囲キュー、ニュースフィード、ソーシャルメディアフィード等を通して受信されたリアルタイムイベント）に応じて変動してもよい。これらの基準は、１つを上回る基準が満たされる場合、表示するためのコンテンツのタイプを判定するために、ランク付けされる、または特定の加重を割り当てられてもよい。いくつかの実施形態では、拡張現実コンテンツは、例えば、ユーザによる仮想メニュー選択を要求せずに、自動的に表示されてもよい。表示されるコンテンツは、種々の事前に選択された基準（例えば、場所、時間／曜日／日付、ユーザ外見、外部周囲キュー、ニュースフィード、ソーシャルメディアフィード等を通して受信されたリアルタイムイベント）が満たされるかどうかによって判定されてもよい。ディスプレイシステムは、本明細書に開示される拡張コンテンツの機能およびタイプの任意、全て、またはその組み合わせが、メニュー選択を介してアクセスされる、またはユーザ入力を伴わずに、自動的に開始され得るようにプログラムされてもよいことを理解されたい。
【0472】
本明細書に議論されるように、いくつかの実施形態では、表示されるコンテンツのタイプは、メニューアイテムの選択に起因して生成されるか、またはブロック７００を通過後、自動的に生成されるかどうかにかかわらず、時刻、曜日、および／または日付に基づいて判定されてもよい。例えば、ディスプレイシステムは、ブロック７００または７１０の一部として、日付および／または時刻を判定するようにプログラムされてもよい。時刻に関する異なる結果は、個人的身繕いアクティビティ、歯のフロス清掃、薬の服用、薬の発注等に関する異なるリマインダの表示をもたらし得る。ある場合には、定期的アクションに関するアラートまたはリマインダが、提供されてもよい。例えば、あるリマインダは、ある日付または曜日と関連付けられてもよい。これらのリマインダは、いったん実際の日付または曜日がリマインダに関するトリガ日付または曜日に合致すると、表示されてもよい。
【0473】
いくつかの実施形態では、拡張現実コンテンツは、場所特有および／または環境特有であってもよい。ユーザの場所が、場所に関する入力をユーザから受信することによって判定されてもよい。いくつかの実施形態では、ディスプレイシステムは、システムが、アクセスし、場所を判定するようにプログラムされる、ＧＰＳデバイスおよび／または加速度計／コンパスデバイスを含んでもよい。いくつかの実施形態では、カメラによって捕捉された画像は、画像とディスプレイシステム内に記憶される特徴（例えば、看板、一意の識別子、目印、および／または構造）を比較することによって、ローカルデータ処理モジュール７０または遠隔処理モジュール７２（図１Ｂ）によって分析され、ユーザの場所を判定してもよい。いくつかの実施形態では、システムは、特定の場所（例えば、店舗、レストラン等）においてブロードキャストされた無線識別子を受信することによって、場所を判定するようにプログラムされる。実施例として、場所の判定は、反射表面を視認者の浴室内の鏡、または商業用小売店施設、例えば、百貨店、もしくは別の施設（例えば、商業、産業、軍事、または臨床設定）内の鏡として識別してもよい。表示される情報は、各場所に調整されてもよい。例えば、本明細書に開示されるように、個人的身繕い情報またはリマインダは、ユーザの浴室に提供されてもよい一方、店舗広告は、百貨店内で提供されてもよい。
【0474】
いくつかの実施形態では、場所に依存することに加え、またはその代わりに、拡張現実コンテンツは、ユーザの環境の特徴または性質（例えば、人々、オブジェクト、または環境状態）に依存してもよい。例えば、ディスプレイシステムと通信する、カメラ６５（図１Ｂ）または他のカメラは、ユーザの環境を撮像してもよく、ディスプレイシステムは、その環境内の特徴（人々またはオブジェクト）を識別するように構成されてもよい、または他のセンサ（例えば、温度センサ）が、環境に関するデータを得るために利用されてもよい。拡張現実コンテンツは、続いて、環境特徴のその識別または環境に関するデータに基づいて選択されてもよい。例えば、反射内の別の個人の識別が、顔認識ソフトウェアを使用して行われてもよく、ディスプレイシステムは、その他の個人を識別する、拡張現実コンテンツを生成してもよい。そのような識別は、例えば、痴呆症患者が介護者または大切な人々を識別することを補助するために利用されてもよい。別の実施例として、カメラおよび環境センサは、暖かい日および晴天日を識別してもよく、これは、そのような日に適切な帽子または他の商品のセールに関するアラート等の他の拡張現実コンテンツをトリガしてもよい。
【0475】
いくつかの実施形態では、いくつかの設定（例えば、物理的店舗内またはオンライン仮想店舗を視認している間）では、拡張現実コンテンツは、ユーザが位置する店舗からの全般的なセールのオファーまたは他のアラートまたは店舗の特定の部分もしくは売り場からのセールのオファーまたは他のアラートを備えてもよい。いくつかの実施形態では、ユーザが小売店設定に存在することの判定は、ブロック７１０の一部としてサブルーチンを開始してもよい。例えば、サブルーチンは、以下を含んでもよい。
・ ユーザの識別の判定
・ ユーザの購入またはブラウジング履歴へのアクセス
・ 購入またはブラウジング履歴に基づくセールのオファーの生成
・ ユーザの識別の判定
・ ユーザの購入またはブラウジング履歴へのアクセス
・ 購入またはブラウジング履歴に基づくセールのオファーの生成
【0476】
ディスプレイシステムは、小売場所または仮想店舗内のユーザによって視認されているアイテムを捕捉およびカタログ化し得る、カメラを含むことを理解されたい。その結果、システムは、本ブラウジング履歴から「学習」し、パターンまたは共通特徴もしくカテゴリに関してアイテムを分析し、次いで、その買物セッションにおいてユーザに関心のある可能性が高いアイテムに関するセール情報を含む、情報を表示してもよい。いくつかの実施形態では、付加的ブラウジングおよび購入情報が、買物セッションの過程にわたって集められるにつれて、表示されるセールのオファーは、付加的情報に基づいて、精緻化されてもよく、これは、それらのオファーの関連性を増加させ得る。買物セッションにおいてブラウジングまたは購入されたアイテムは、例えば、遠隔データ保管場所７４（図１Ｂ）内に記憶されてもよい。本情報は、将来的買物行程においてアクセスされ、ユーザに関連性のあるコンテンツを提供してもよい。
【0477】
いくつかの実施形態では、ユーザの識別は、ブロック７１０の前に判定されてもよい。いくつかの実施形態では、識別されたユーザに関する情報は、小売場所または別の施設（例えば、商業用、産業、軍事、または臨床設定）内の受信ステーションによって収集されてもよい。いくつかの実施形態では、受信ステーションは、反射表面上またはそれに近接して（例えば、反射表面上またはそれに近接するビーコンの一部として）配置されてもよく、メモリデバイスと接続するプロセスを含んでもよい。情報の収集は、例えば、トランザクション履歴を含む、ユーザのアクティビティを含んでもよく、前の居場所が、収集されてもよい。いくつかの実施形態では、本情報は、個人化されたコンテンツを提供するために利用されてもよく、および／または単にさらなる使用および分析のために収集されてもよい。例えば、情報は、分析されてもよく、拡張現実コンテンツは、収集された情報に基づいて、ユーザを店舗内の特定の場所に指向するために生成されてもよい。
【0478】
図１２を継続して参照すると、いくつかの実施形態では、ブロック７１０は、ユーザによって装着され得る、衣類、衣類付属品、宝石、または他の物品の画像を備える、拡張現実コンテンツを表示することを含んでもよい。画像は、ユーザの反射上にオーバーレイされ、それによって、ユーザが１つまたはそれを上回る物品を「試着」した状態をシミュレートしてもよい。本「試着」は、小売設定（例えば、実店舗内の鏡の正面）において行われてもよい、または仮想上で行われてもよいことを理解されたい（例えば、ユーザがアイテムをオンラインでブラウジングしている間、仮想上「試着」するためのアイテムを選択してもよい）。
【0479】
いくつかの実施形態では、拡張現実コンテンツは、ユーザの反射にオーバーレイし、ユーザの衣類またはユーザによって装着される他の物品の視覚的に観察される性質を修正する、画像を備えてもよい。例えば、物品の色、テクスチャ、およびパターンのうちの１つまたはそれを上回るものが、物理的物品の反射を遮断する画像を表示し、その反射と拡張現実コンテンツを置換することによって修正されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザの周囲の周囲環境の外観を変化させるように構成されてもよい。例えば、ディスプレイシステムは、周囲環境の知覚された照明を変化させるように構成されてもよい。低光状態は、光がユーザに到達しないように遮断することによって達成されてもよい一方、明状態は、ユーザに到達する光を拡張することによって達成されてもよい。そのような見掛け照明状態における変化は、例えば、それぞれ、低光下でのイブニングガウンの見え方を判定するため、または明光下での水着の見え方を判定するために使用されてもよい。加えて、ディスプレイシステムは、周囲環境自体の外観を変化させるように構成されてもよい。例えば、ディスプレイシステムによって提供される拡張現実コンテンツは、ユーザの反射の周囲の背景場面を含んでもよい。実施例として、拡張現実コンテンツは、ダンスホール設定に対応する場面を含み、ユーザが、その設定下でのイブニングガウンの見え方を確認することを可能にしてもよい、または拡張現実コンテンツは、ビーチを含み、ユーザが、ビーチ設定下での水着の見え方を確認することを可能にしてもよい。
【0480】
いくつかの実施形態では、拡張現実コンテンツは、その身体の反射のユーザのビューを修正する、画像を備えてもよい。例えば、拡張現実コンテンツは、ユーザの反射にオーバーレイし、美容整形手術、減量、歯のホワイトニング、新しい髪型、刺青、アートメイク等の可能性として考えられる結果を示してもよい。
【0481】
いくつかの実施形態では、ディスプレイシステムは、本明細書に議論されるように、運動および／または身体位置における変化を検出するためのセンサを含んでもよい。運動または身体位置における変化に関する情報は、拡張現実コンテンツを向上させるために使用されてもよい。例えば、仮想ドレスが、ユーザの反射にオーバーレイするように表示された後、ディスプレイシステム（したがって、ユーザ）に取り付けられた加速度計およびジャイロスコープは、ユーザの傾斜および旋回を検出し、仮想ドレスの適切なビューおよび／または仮想ドレスによる運動の知覚を適用してもよい。同様に、反射表面に近づくまたはそこから離れるユーザの移動は、運動もしくは場所センサまたは反射表面に指向される距離センサによって追跡され、拡張現実コンテンツのための適切なスケーリングを判定してもよい。いくつかの他の実施形態では、ユーザによる運動、身体位置における変化、および／または拡張現実コンテンツのための適切なスケーリングは、カメラ（例えば、カメラ６５、図１Ｂ）によって捕捉されるようなユーザの反射を分析することによって遂行されてもよい。
【0482】
本明細書に議論されるように、ディスプレイシステムは、有線または無線通信チャネルを含んでもよく、これは、遠隔サーバ（例えば、「クラウドベースの」サーバ）または他のディスプレイシステムとの通信を可能にし得る。いくつかの実施形態では、ディスプレイシステムは、これらの通信チャネルによって提供される相互接続を通して、コンテンツをディスプレイシステム間で送信することによって、コンテンツを共有するように構成されてもよい。ディスプレイシステム間の接続は、直接システム間接続であってもよい、または１つまたはそれを上回る他のコンピュータシステムを含む、ネットワークを通して提供されてもよい。例えば、ユーザは、衣類における変化を含む、その独自の外見に対する修正を視認可能であってもよく、また、本情報を１人またはそれを上回る他のユーザに伝送可能であってもよい。例えば、伝送される情報は、ユーザの実際の反射の画像および反射上にオーバーレイされた任意の拡張現実コンテンツを含んでもよい。他のユーザには、本情報は、そのディスプレイシステムにおいて拡張現実コンテンツとして見えてもよい。それらの他のディスプレイシステムはまた、オーバーレイされた拡張現実コンテンツを有する反射の画像を含む、そのユーザの反射を伝送および共有するように構成されてもよい。ユーザは、同一物理的場所に存在してもよい、または相互から遠隔に存在してもよく、共有コンテンツは、それによって、双方向グループ体験を提供する。いくつかの実施形態では、ディスプレイデバイス上のマイクロホン６７およびスピーカ６６（図１Ｂ）は、ユーザが、相互に通信することを可能にする。
【0483】
いくつかの実施形態では、遠隔サーバは、他の個人によって、それらの個人がディスプレイシステム８０等のディスプレイシステムのユーザであるかどうかにかかわらず、アクセスされてもよい。いくつかの実施形態では、遠隔サーバは、遠隔データリポジトリ７４の一部であってもよい。遠隔サーバは、種々の「ソーシャルメディア」サービスまたはアプリケーションの一部である、またはそこにアクセス可能であってもよく、これは、サービスまたはアプリケーションによって設定される使用状態下、ユーザのコンテンツへのアクセスを提供してもよい。例えば、ユーザによって見られる拡張現実コンテンツは、コンテンツへのアクセスを提供する第三者サービスによって管理されるサーバにコンテンツをアップロードすることによって、ユーザによって共有されてもよい。
【0484】
いくつかの実施形態では、ディスプレイシステムは、そのデータ（例えば、ユーザの反射および／またはユーザのために生成された拡張現実コンテンツ）の一部を１人またはそれを上回る他のユーザに、それらのユーザが共有データを体験し得るように（例えば、ユーザの反射および／または拡張現実コンテンツを視認することによって）伝送するように構成されてもよい。したがって、１つのユーザの仮想世界の一部が、第２のユーザにパスされてもよい。例えば、ディスプレイシステムは、第１のユーザのためのオーバーレイに対応する拡張現実コンテンツを第２のユーザに提供するように構成されてもよい。拡張現実コンテンツは、ドレス等の衣類であってもよい。したがって、ディスプレイシステムは、ドレスに対応する拡張現実コンテンツが第１および第２のユーザの両方の反射にオーバーレイされること、または、第１のユーザがドレスに関する情報を第２のユーザにパスした後、第２のユーザの反射のみにオーバーレイされることを可能にすることによって、第１および第２のユーザの両方が、仮想上、ドレスを試着することを可能にするように構成されてもよい。本情報は、オブジェクトの画像データ以外のデータを含んでもよいことを理解されたい。例えば、情報は、例えば、第２のユーザが第１のユーザからオブジェクトについての注釈を受信し得るように、オブジェクトに関する注記またはメモを含んでもよい。これらの注釈は、例えば、画像、テキスト、および／または音の形態で、例えば、拡張現実コンテンツとして表示されてもよい。ユーザ間のコンテンツのパスおよび識別に関するシステムの実施例は、「Ｒｅｃｏｇｎｉｚｉｎｇ Ｏｂｊｅｃｔｓ ｉｎ ａ Ｐａｓｓａｂｌｅ Ｗｏｒｌｄ Ｍｏｄｅｌ ｉｎ Ａｕｇｍｅｎｔｅｄ ｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ」と題され、２０１５年８月２０日に公開された第Ｕ．Ｓ．２０１５／０２３５４３５号（開示全体が、参照することによって本明細書に組み込まれる）に見出され得る。
【0485】
いくつかの実施形態では、視認者に表示される拡張現実コンテンツを示す画像およびビデオおよび／またはその独自の反射を伴うコンテンツのユーザのビューが、遠隔サーバにアップロードされてもよい。アップロードは、例えば、ユーザによる仮想メニューアイテムの選択によって、音声コマンドの使用によって、および／または音声コマンドもしくはメニュー選択と別個の身体ジェスチャもしくは移動の使用によって生成されたシステム８０内のアップロード信号によって開始されてもよい。アップロード信号の生成に先立って、またはその後、ユーザは、拡張現実コンテンツのみまたは拡張現実情報に加えたユーザの反射の１つまたはそれを上回る捕捉された画像またはビデオをアップロードするためのメニューオプションを提供されてもよい。例えば、ユーザの反射は、カメラ６５によって捕捉されてもよく、拡張現実コンテンツは、ディスプレイ６２に提供されるコンテンツであってもよい。カメラ６５は、捕捉された画像またはビデオをローカル処理およびデータモジュール７０に電子的に通信してもよく、これは、次いで、それらの画像またはビデオを遠隔サーバに通信する。いくつかの実施形態では、拡張現実コンテンツは、ローカル処理およびデータモジュール７０内に一時的に記憶され、遠隔サーバにアップロードされてもよい、または単にローカル処理およびデータモジュール７０によって、コンテンツを共有するために使用される他のサーバから遠隔サーバにルーティングされてもよいことを理解されたい。
【0486】
一実施例では、衣類のアイテムを示す、拡張現実コンテンツは、ユーザが衣類のアイテムを「試着」している彼らの画像（例えば、反射にオーバーレイする衣類のアイテムを伴うその反射の画像）を共有することを可能にする、仮想ボタンを提示されてもよい。仮想ボタンの選択は、画像またはビデオを捕捉するオプションとともに、仮想サブメニューを表示させる。いくつかの他の実施形態では、サブメニューは、同時に表示される複数のコンテンツ共有仮想ボタン、すなわち、共有されるべき画像を選択するための１つのボタンおよび共有されるべきビデオを選択するための１つのボタンを使用することによって、取り除かれる。いったん選択が行われると、ディスプレイシステム上のカメラは、ユーザの反射の画像またはビデオを捕捉し、画像またはビデオおよび関連付けられた拡張現実コンテンツを、ローカル処理およびデータモジュール７０によって、他者によってアクセス可能な遠隔サーバにアップロードさせる。それらの他者は、次いで、画像またはビデオを種々の他のディスプレイデバイス、例えば、電話、パーソナルコンピュータ、タブレット等上で視認してもよい。
【0487】
反射表面に近接する受信ステーションによるユーザ情報の収集は、受信ステーションを有する異なる反射表面が、異なる反射表面が、ネットワーク化されていない、または別様に相互に通信しない場合でも（例えば、異なる反射表面が、店舗内の異なる売り場または異なる店舗に存在する場合）、ユーザのウェアラブルディスプレイシステム８０を介して、データを効果的に共有することを可能にし得ることを理解されたい。さらに、いくつかの実施形態では、情報は、特定のユーザのウェアラブルディスプレイシステム８０内に恒久的に記憶される必要はない。むしろ、いくつかの実施形態では、情報の一部または全部は、単に、受信ステーションに転送され、そこで、分析および修正され、可能性として、拡張現実コンテンツを生成してもよい。修正されたコンテンツは、次いで、別の反射表面上の別の受信ステーションへの後の転送のために、ユーザのウェアラブルディスプレイシステム８０に逆転送されてもよい。いくつかの実施形態では、情報の各転送に応じて（ユーザのウェアラブルディスプレイシステム８０から受信ステーションまたはその逆であるかどうかにかかわらず）、情報は、情報を転送したデバイス内に保有されない。いくつかの他の実施形態では、情報の全部または一部は、受信ステーションおよび／またはウェアラブルディスプレイシステム８０によって保有される。
【0488】
いくつかの実施形態では、いくつかの情報は、受信ステーションによって保有され、受信ステーションの関連付けられた反射表面とユーザ、例えば、他のユーザの後続相互作用を向上させる。例えば、情報は、具体的な他のユーザのための拡張現実コンテンツを含んでもよい。他のユーザが、反射表面に近接し、受信ステーションによって識別されるにつれて、受信ステーションはまた、他のユーザの識別とユーザのリストを比較し、以前のユーザによって残されたコンテンツを受信する。いったんユーザおよびコンテンツの正の合致が行われると、他のユーザは、以前のユーザによって彼らに残されたコンテンツを示される。そのようなコンテンツは、例えば、受信ステーションの関連付けられた反射表面の近傍の特定の商品を装着している以前のユーザの画像を含んでもよい。
【0489】
いくつかの実施形態では、ディスプレイシステムは、１つまたはそれを上回るカメラ（例えば、外向きおよび内向きカメラ）を含むため、ユーザの画像が、捕捉および分析され、健康および／または美容関連スクリーニングを提供してもよい。拡張現実コンテンツが、健康および／または美容関連スクリーニングの結果に基づいて、生成され、次いで、表示されてもよい。健康スクリーニングは、物理的および／または精神的健康スクリーニングであってもよいことを理解されたい。いくつかの実施形態では、カメラは、可視スペクトル外の波長の光（例えば、赤外線または紫外線光）を検出し得る、センサを含んでもよく、また、光学スペクトル外のそのような光を放出するための光源を含んでもよい。放出される光は、ユーザを照明し、可視スペクトル光を使用して明らかではない状態を検出するためのバイアスを提供してもよい。いくつかの他の実施形態では、カメラは、種々の検出目的（例えば、マッピング、深度感知、およびユーザの身体内の走査を含む、３－Ｄ走査）のために、それぞれ、音波（例えば、超音波音波）を生成および受信するための音変換器および受信機によって置換されてもよい、またはそれを含んでもよい。
【0490】
いくつかの実施形態では、美容製品の必要性が、判定されてもよく、製品または手順を提案するアラートが、表示されてもよい。例えば、顔の視覚的分析は、高レベルの顔毛が存在することを判定してもよい。本顔毛の検出は、剃毛の提案および／または剃毛クリームの発注をもたらしてもよい。
【0491】
いくつかの実施形態では、ユーザの１つまたはそれを上回る反射の画像が、長期時間間隔にわたって捕捉される。例えば、画像は、ブロック７００において捕捉されたユーザの反射であってもよい。画像は、記憶されてもよい、または画像から導出されるデータ（例えば、顔特徴、色等の測定）が、例えば、ローカル処理およびデータモジュール７０内にローカルに、または遠隔データリポジトリ７４（図１Ｂ）内に遠隔で記憶されてもよい。ローカル処理およびデータモジュール７０または遠隔処理モジュール７２は、現在のユーザの画像と記憶された画像またはデータとの間の比較を行うように構成されてもよい。
【0492】
画像が捕捉および記憶される時間間隔は、数日、数ヶ月、数年、または可能性として、ユーザの寿命の大半を含み得る、ユーザがディスプレイシステムを利用する全期間であってもよい。いくつかの実施形態では、画像捕捉の頻度は、任意に設定されてもよい。好ましくは、画像捕捉の頻度は、少なくとも毎週、より好ましくは、毎日であって、ユーザに対する広範囲の状態および変化が評価されることを可能にする。
【0493】
好ましくは、画像は、画像と同時に得られた記憶されたデータとともに、記憶される、または別様にそこにリンクされてもよい。例えば、所与の画像は、周囲光に関する読取値（例えば、周囲光の強度、周囲光内の異なる波長の光の割合等）、鏡からのユーザの距離、時刻等の関連付けられた情報を有してもよい。そのようなデータは、異なる状態下で異なる時間に撮影された画像間の正確な比較を提供することを補助することに役立ち得る。例えば、データは、捕捉された画像を正規化し、周囲光の量の差異または波長分散等の環境状態によって生じる異常をフィルタ処理することを補助するために利用されてもよい。
【0494】
ブロック７１０（図１２）では、表示される拡張現実コンテンツは、比較の結果を備えてもよい。結果は、変化が、例えば、髪の色、髪の長さ、皮膚の色または質、毛穴サイズ、しわの数および範囲、筋量および筋緊張等に見出されることの通知を含んでもよい。ディスプレイシステムが非視覚的パラメータを検出するためのセンサを含む、またはディスプレイシステムが他のパラメータ（例えば、ユーザの体脂肪レベル、肥満度指数等）へのアクセスを有する、いくつかの他の実施形態では、表示される拡張現実コンテンツは、これらの他のパラメータの経時的比較の結果を含んでもよい。着目すべき変化が存在することの判定に応じて、ディスプレイシステムは、見出される任意の状態に対処するための処置または製品に関する推奨を提供するように構成されてもよい。例えば、システムは、前述のパラメータのうちの１つが、以前に捕捉されたベースラインレベルから閾値量（例えば、５％、１０％、または１５％）だけ逸脱することを判定してもよい。いったん変化に関する閾値を超えたと判定されると、システムは、是正アクションに関する提案（例えば、化粧、散髪の予約等）を表示してもよい。ディスプレイシステムはまた、より古いユーザの画像を読み出し、表示し、ユーザに、自らの現在と過去のバージョン間の視覚的比較を提供するように構成されてもよい。加えて、または代替として、システムは、提案される処置または製品の予期される結果を拡張現実コンテンツとして表示するように構成されてもよい。例えば、本明細書に議論されるように、新しい髪型および／または髪色を示す画像が、ユーザの反射に表示およびオーバーレイされてもよい。いくつかの実施形態では、ディスプレイシステムは、特定の傾向の継続の予期される結果を示す画像を表示するように構成されてもよい。例えば、継続的増量に起因するユーザの身体における変化をハイライトするために、ディスプレイシステムは、画像をユーザの反射上にオーバーレイし、増量に起因するユーザのサイズの増加を示すように構成されてもよい。別の実施例として、ユーザの皮膚上のしわまたは線を示す画像が、ユーザの反射にオーバーレイされ、長期喫煙によって生じるしわを例証してもよい。これらの傾向の結果を示す画像は、画像を表示する要求を示すユーザからの入力に起因して表示されてもよく、第三者（例えば、臨床医）からの入力に起因して表示されてもよく、および／または分析を行った後のプログラムのための出力として自動的に表示されてもよいことを理解されたい。
【0495】
いくつかの実施形態では、ディスプレイシステムは、ファッションの批評をユーザに提供するように構成されてもよい。例えば、ディスプレイシステムは、ユーザのズボンのファスナが開放している、シャツのボタンが閉まっていない（またはボタンが欠如している）、ユーザの洋服が合致していない等を認識し、ユーザにアラートするように構成されてもよい。
【0496】
いくつかの実施形態では、健康分析が、より古い画像またはより古いデータと最近捕捉された画像またはデータとの間比較を行うことによって実施されてもよい。例えば、比較は、体型、皮膚蒼白、および皮膚特徴（例えば、変色）における変化を検出してもよい。いくつかの実施形態では、比較の結果は、ディスプレイシステムが、変化が特定の面積内で検出されたこと、随意に、医療従事者による経過観察が望ましくあり得ることを示す、アラートを表示するためのものであってもよい。同様に、精神的健康分析も、実施されてもよい。例えば、ユーザの画像が、異常であると見なされ得る感情状態における経時的および／または長期持続時間にわたる感情状態における変化を含む、特定の感情状態のインジケータに関して分析されてもよい。ディスプレイシステムは、懸念原因になり得る感情状態（例えば、長期間の悲しみ）に関するアラートを提供するように構成されてもよい（ユーザおよび／または医師等の医療従事者に）。
【0497】
いくつかの実施形態では、比較は、単に、ユーザの反射を撮像し、画像への修正を伴わないその画像に基づいて比較を行うことに基づいて、実施されてもよい。いくつかの他の実施形態では、捕捉されたユーザの反射の画像は、反射の特定の性質を増幅させるために修正されてもよい。例えば、反射内のわずかな変動が、ユーザにおける変化を検出するために、画像処理によって増幅されてもよい。例えば、反射内の色が、増幅されてもよく、これは、例えば、ユーザの身体の可視部分を通した血液の拍動の検出を可能にし得る。いくつかの他の実施形態では、ディスプレイシステムは、ユーザの身体のわずかな（例えば、不随意）運動を検出するために、運動を増幅または拡大するように構成されてもよい。増幅された画像は、ユーザに提示され、ユーザが比較を行うことを可能にしてもよい、および／または診断目的のために、臨床医等の第三者に提示されてもよい。いくつかの実施形態では、反射の特定の性質の画像修正および増幅は、ユーザ以外の反射内の特徴（例えば、他の人々および／またはオブジェクト等の特徴）に行われてもよい。
【0498】
いくつかの実施形態では、比較は、ユーザの身体の視覚的対称性における変化を検出してもよく、対称性の欠如に関してアラートを提供してもよい（ユーザおよび／または医師等の医療従事者に）。例えば、対称性の欠如は、ユーザがその顔の半分のみ剃毛している、またはその唇の半分のみ口紅を付けているときの証拠となり得る。そのような対称性の欠如は、半側空間無視（患者、例えば、脳卒中患者が、世界の半分のみを認識する）等のある医療状態の結果であり得ることを理解されたい。対称性の欠如に関するユーザアラートは、ユーザが対称性の欠如が意図的または非意図的であるかどうかを確認するためのディスプレイシステムによる要求を伴ってもよい、および／またはアラートは、単に、非意図的に行われ得なかったその身体の側においてユーザが種々のアクションを行うことのリマインダを含んでもよい。いくつかの実施形態では、非意図的な対称性の欠如は、根底にある医療状態を示し、さらなる医療経過観察の提案および／または医療従事者への直接アラートを伴ってもよい。
【0499】
いくつかの実施形態では、健康分析は、複数の異なる角度から捕捉されたユーザの画像を利用してもよい。例えば、ユーザは、異なる角度においてユーザと整合される、複数の反射表面の正面に位置してもよい。ディスプレイシステムは、これらの異なる反射表面のそれぞれからユーザのビューを捕捉し、ユーザのより完全なビューを提供するように構成されてもよい。
【0500】
いくつかの実施形態では、単一反射表面が、ユーザの異なるビューを提供するために使用されてもよい。例えば、健康分析の一部として、ディスプレイシステムは、ユーザの１つのビュー（例えば、ユーザの正面）を捕捉し、次いで、ユーザに、自らを１つまたはそれを上回る他の配向に位置付けるように促し（例えば、方向転換によって）、ユーザの他のビュー（例えば、ユーザの左および右側）を捕捉してもよい。これらの他のビューは、ユーザが方向転換し、その反射が異なるカメラの視線に入るにつれて、これらの他のビューを捕捉する、ディスプレイシステム上の複数のカメラを使用して捕捉されてもよい。いくつかの他の実施形態では、これらの他のビューは、その身体が方向転換するにつれて、その頭部を反射表面に向かって方向転換するようにユーザに指示することによって、単一カメラによって捕捉されてもよい。
【0501】
いくつかの実施形態では、距離センサが、利用され、ユーザと鏡との間の距離を判定してもよい。ディスプレイシステムは、次いで、本距離判定を使用して、ユーザに、ユーザの反射の所望のビューを提供するために自らを位置付けるように求めてもよい。例えば、ユーザの反射の履歴比較は、ユーザが鏡から一貫した距離にあるとき、より正確であり得る。ディスプレイシステムは、必要に応じて、本一貫した距離を提供するために、ユーザに、鏡により近づくまたはそこから離れるように信号伝達してもよい。ディスプレイシステムはまた、リアルタイムで、反射内のユーザの身体の配向を分析するようにプログラムされてもよく、また、ユーザに、その身体を画像捕捉のための所望の位置に配向するように促してもよい。例えば、ディスプレイシステムは、仮想輪郭、後光、または他のオーバーレイの画像をユーザに表示し、正しい配向を示すように構成されてもよく、ユーザは、次いで、その身体を仮想輪郭、後光、または他のオーバーレイの中に適合させるように移動させてもよい。
【0502】
前述のように、ユーザの身体の異なるビューの種々の身体位置分析および／または捕捉が、拡張現実コンテンツを生成するための健康分析または他の分析に適用されてもよいことを理解されたい。例えば、ユーザの身体の異なるビューおよび／またはユーザにその身体を特定の位置に配向するように促すことは、概して、ユーザ上に拡張現実コンテンツを提供することの一部として適用されてもよい。例えば、異なる洋服をユーザの反射上にオーバーレイすることは、ユーザに、その身体を方向転換するように促し、異なる視点からの洋服のビューを提供することを含んでもよい。
【0503】
健康分析と併せて、または単にユーザによって表示のために選択され得る拡張現実コンテンツとして、ブロック７１０において表示される拡張現実コンテンツは、ユーザの医療情報を備えてもよい。例えば、医療情報は、限定ではないが、体重、身長、および肥満度指数のうちの１つまたはそれを上回るものを含んでもよい。いくつかの実施形態では、ディスプレイシステムは、有線または無線通信チャネルを通して、ユーザの身体の種々の性質を測定するように構成される感知デバイスからのデータにアクセスするように構成されてもよい。例えば、デバイスは、体重計、体温計、脈拍計、パルスオキシメータ、血糖値計、カプノグラフシステム、心拍モニタ、および神経モニタのうちの１つまたはそれを上回るものであってもよく、これらのデバイスからの読取値は、ユーザに拡張現実コンテンツとして表示されてもよい。いくつかの実施形態では、読取値は、例えば、遠隔データリポジトリ７４（図１Ｂ）内に記憶されてもよい。
【0504】
いくつかの実施形態では、ディスプレイシステムは、遠隔医療診断（例えば、健康分析）および／または処置のために利用されてもよい。例えば、前述の種々の読取値のうちの１つまたはそれを上回るものは、随意に、１つまたはそれを上回るユーザの反射の画像（カメラ６５（図１Ｂ）によって見られるような）とともに、遠隔医療従事者に伝送されてもよい。読取値および／または画像は、医療従事者によってリアルタイムで視認されてもよく、ユーザとのリアルタイム通信（聴覚および／または視覚的）が、医療状態を診断する、および／または処置を提供するために利用されてもよい。いくつかの実施形態では、拡張現実コンテンツは、種々の状態に対処するために、ユーザの身体のための提案される移動、姿勢、および／または位置（例えば、タイピングから生じる手根管症候群に対処するための手首整合、目眩に対処するための頭部操作等）を含んでもよい。拡張現実コンテンツは、ユーザが、その反射と提案される移動、姿勢、および／または位置を合致させることを試み得るように、提案される移動、姿勢、および／または位置をシーケンスにおいて表示してもよい。例えば、半透明動画が、ユーザの反射にオーバーレイされ、ユーザが、特定の移動に追従することを可能にしてもよい。付加的健康分析の実施例は、以下の「例示的健康分析」と題された節において議論される。
【0505】
いくつかの実施形態では、遠隔診断または処置は、本明細書に議論されるように、網膜または虹彩走査および検出を利用して、セキュアなＨＩＰＡＡ準拠トランザクションを促進してもよい。例えば、網膜または虹彩走査が、実施されてもよく、ユーザの識別が、暗号化された通信を使用して実施され得る、遠隔診断または処置セッションを開始する前に、確認されてもよい。
【0506】
いくつかの実施形態では、健康分析の一部として、または教育的な特徴もしくは新規な特徴として、ディスプレイシステムは、医療画像を含む、拡張現実コンテンツを表示するように構成されてもよい。例えば、骨および／または器官の画像が、ユーザの反射上にオーバーレイされてもよい。
【0507】
本明細書に議論されるように、外向きおよび／または内向きカメラ６５、５００が、ユーザの画像を捕捉し、ユーザの感情または精神的状態のインジケーションを見つけるために使用されてもよい。例えば、カメラ６５、５００は、ユーザの画像を捕捉するように構成されてもよく、ローカル処理およびデータモジュール７０は、ユーザにおける特定の感情のインジケーションの存在を検出するように構成されてもよい。いくつかの実施形態では、本明細書に議論されるように、感情または精神的状態のこれらのインジケーションは、表示されるべき拡張現実コンテンツのタイプを判定するための入力として使用されてもよい。
【0508】
いくつかの実施形態では、ディスプレイシステム８０は、ボディランゲージおよび／または顔移動ならびに表現を「読み取り」、精神的健康分析を提供するように構成されてもよい。例えば、ディスプレイシステムは、顔表現およびボディランゲージの両方を検出し、ユーザにおける感情の存在を検出するように構成されてもよい。実施例として、ユーザの顔上の顔をしかめる行為の存在の検出（例えば、経時的に判定されたユーザの唇および口の典型的配向と比較したユーザの唇および口の配向に基づいて判定される）は、肩を落とした姿勢（例えば、経時的に姿勢に対する現在のユーザの姿勢の比較に基づく）とともに、悲しさを示し得る。別の実施例として、ユーザによる視線回避（特に、視線回避が以前に観察されていない場合）は、罪悪感を示し得る、または異常な別の挙動問題（例えば、内気、自閉症スペクトラム障害等）を示し得る。ディスプレイシステム８０は、これらの観察されたインジケータをトリガとして使用し、あるタイプの拡張現実コンテンツを表示するように構成されてもよい。例えば、ユーザが悲しみを有することの判定は、本感情状態に対処し、ユーザの感情健康をサポートするための拡張現実コンテンツまたは推奨される製品もしくはサービスの表示をトリガしてもよい。実施例として、拡張現実コンテンツは、ユーザを元気づけるための視覚的確認および／またはオーディオ確認を含んでもよい。ユーザが確認に応答しない場合、ディスプレイシステムは、随意に、医療従事者にユーザの状態をアラートし、さらなる処置のためのオプションを提供するように構成されてもよい。
【0509】
いくつかの実施形態では、表示される拡張現実コンテンツは、ユーザの身体（その顔を含む）の特定の移動が所望される、アクティビティのための指示または訓練を含んでもよい。そのような他のアクティビティの実施例は、スポーツ、演技、演説、療法等を含む。これらのアクティビティは、反射表面の正面で行われ、例えば、聴衆の観点からのユーザのビューを提供してもよい。加えて、ディスプレイシステムは、拡張現実コンテンツをリアルタイムで提供するように構成されてもよく、拡張現実コンテンツは、ユーザが、種々の姿勢をとる、種々の移動を行う、単語を発音する、種々の顔表現を行う等の際に補助するために使用されてもよい。
【0510】
いくつかの実施形態では、表示される拡張現実コンテンツは、指示補助を含む。例えば、人物のラインダイヤグラムまたは画像が、ユーザが、静的であり得る、または特定の運動を示すように動的に変化し得る、画像の線または対応する部分と自らを整合させることを試み得るように、ディスプレイシステムによって生成され、ユーザの反射にオーバーレイされてもよい。いくつかの実施形態では、指示補助は、訓練、物理的療法、または作業療法プログラムの一部として使用される。例えば、ある位置における、またはある運動を行っているユーザの画像が、捕捉され、保存され、経時的に比較されてもよい（例えば、ユーザの位置または運動における差異が、プロットされ、および／またはユーザに表示されることによって示されてもよく、比較は、保存および経時的に追跡され、療法の進行度を計測してもよい）。別の実施例として、発話療法が、ある音を発声するための口の正しい位置を示す動画または他の運動画像を含む、拡張現実コンテンツをオーバーレイすることによって行われてもよい。有利には、これらの種々のタイプのコンテンツは、ユーザが正しく姿勢をとっている、または運動を行っているかどうかに関するリアルタイムフィードバックを提供してもよい。例えば、多くのスポーツは、参加者が模倣することを模索する特定の運動または姿勢を利用する。重量挙げ、ヨガ、武術、ダンス等のスポーツは、参加者の身体が、種々の姿勢をとる、または運動を行い、有効性を増加させ、および／または傷害の可能性を低減させることを要求し得る。ディスプレイシステムは、前述のように、これらの種々の姿勢または運動を示す画像を表示するように構成されてもよい。
【0511】
ここで図１３を参照すると、ＡＲディスプレイシステム８０と相互作用する、ユーザ６０が、図示される。ユーザ６０は、ユーザの反射８１０を提供する、反射表面８００（例えば、鏡等の鏡面反射体）の正面に位置する。いくつかの実施形態では、反射表面８００は、ユーザが反射表面８００の正面に存在することを示す信号を提供する、ビーコンまたは一意の識別子８２０を含む。本明細書に開示されるように、ディスプレイシステム８０は、ユーザの反射がユーザ６０の視野内にあることを検出するように構成される。いったん反射が検出されると、拡張現実コンテンツは、周囲環境のユーザのビューを拡張するように表示される。例えば、仮想メニューアイテム８３０ａ－８３０ｂが、表示されてもよい。アイテム８３０ａ－８３０ｂは、それらが反射表面上に配置されて見えるように表示されてもよい、またはユーザ６０の視野内の任意の場所にあってもよい。本明細書に説明されるように、ユーザは、メニューと相互作用し、種々の選択を行い、さらなるコンテンツを表示してもよい。いくつかの他の実施形態では、コンテンツは、例えば、ディスプレイデバイス８０上の場所判定デバイス（例えば、ＧＰＳユニット）によって判定されるようなユーザの場所に基づいて、自動的に生成されてもよい。
【0512】
本明細書に説明されるように、拡張現実コンテンツは、ユーザ６０の外見への修正を含んでもよい。例えば、ユーザの衣類の性質が、変更されてもよい。図示されるように、ストライプパターンが、ユーザの反射の衣類にオーバーレイされてもよい。また、本明細書に説明されるように、通知８３０ｃが、表示され、例えば、リマインダまたは他の情報をユーザに提供してもよい。いくつかの実施形態では、本明細書に説明されるように、ディスプレイデバイス８０は、反射８１０の画像を捕捉し、分析を行い、通知８３０ｃ等の視認者に表示されるための情報を生成してもよい。拡張現実コンテンツは、典型的には、それがディスプレイシステム８０によって生成され、ユーザの眼に具体的に指向されるため、ユーザ６０のみに可視であることを理解されたい。その結果、図示されるコンテンツは、ユーザ６０に見えるものを表し、必ずしも、第三者によって見えるであろうものではないと理解されるであろう。加えて、複数のタイプのコンテンツ（通知、メニューアイテム、ユーザ外見に対する修正）が、図示される。しかしながら、種々の実施形態では、本明細書に開示される１つのみまたは種々のタイプのコンテンツの組み合わせのみが、同時に表示されてもよい。
【0513】
種々のタイプのコンテンツは、視認者がそれらをブロック７１０（図１２）において視認するための必要に応じて、表示されてもよい。鏡像オブジェクトは、視認者に直接見えるときの見え方から反転され得るため（反射内にみられるときではなく）、ディスプレイシステムは、オブジェクトの鏡像バージョンを表示するように構成されてもよい。例えば、ディスプレイシステムは、仮想オブジェクトを視認者がそのオブジェクトを直接視認しているときに１つの配向において表示し、次いで、検出された反射内において視認者がそのオブジェクトを視認しているとき、その配向を判定させてもよい（そのオブジェクトの鏡像を形成するため）（例えば、仮想オブジェクトの正面側および背面側ビューを示すとき）。しかしながら、いくつかの実施形態では、そのような反転は、行われない。例えば、ディスプレイシステムは、単語が反射に重複するかどうかにかかわらず、単語を反転させずに、メニューアイテムのための単語を表示するように構成されてもよい。その結果、いくつかの実施形態では、場面の一部であるコンテンツは、反射内で見られるとき、反転されてもよく、場面の一部ではない通知または他のコンテンツは、コンテンツがオーバーレイし、反射の一部として表示されるかどうかにかかわらず、そのコンテンツが、同一配向を有し、同一に見えるように、反転されずに表示される。
【0514】
いくつかの実施形態では、ディスプレイシステムは、ブロック７１０（図１２）において、実世界コンテンツの反射に取って代わり、それを反転させる、画像を表示するように構成されてもよい。例えば、ディスプレイシステムは、文字の鏡像（反転されることに起因して、ユーザに、読取不可能となり得る）を認識するように構成されてもよく、そのような鏡像文字の検出に応じて、ディスプレイシステムは、それらの文字が反転された画像を表示するように構成されてもよい（それによって、ユーザによって容易に読み取られる文字を提供する）。例えば、ディスプレイシステムは、通常文字と文字の鏡像バージョンとの間の１対１対応を伴う、文字のそれぞれの異なるフォントおよび反転鏡像バージョンを有する文字を含有するデータベースを含むか、または、そこへのアクセスを有してもよい。ディスプレイシステムは、画像認識を使用して、外向きカメラによって検出された画像内の文字の鏡像バージョンを検出するように構成されてもよく、そのような鏡像文字の検出に応じて、ディスプレイシステムは、その鏡像バージョンのための文字の通常バージョンを拡張現実コンテンツとして表示するように構成されてもよい。本拡張現実コンテンツは、鏡像文字にオーバーレイし、それに効果的に取って代わり得る。
【0515】
ここで図１４を参照すると、ブロック７１０（図１２）の表示される拡張現実コンテンツは、ユーザの環境内のオブジェクトの寸法を判定するための仮想スケールを含んでもよい。図１４は、反射８１０を使用してユーザ６０の特徴の寸法（例えば、ユーザの身長）を判定するための仮想スケール９００の使用の実施例を図示する。既知のサイズｈ１を有する、仮想スケール９００は、ユーザ６０から既知の仮想距離ｄ１に設定される、任意に選択された深度平面上に設置されてもよいことを理解されたい。例えば、仮想スケール９００は、ユーザ６０が視覚的確認によってｈ１を容易に判定することを可能にする、仮想定規であってもよい。したがって、量ｈ１およびｄ１が、把握される。また、ユーザ６０から反射表面８００までの距離量ｄ２も把握される。量ｄ２は、距離センサ６９を使用して判定されてもよい。ｄ２は、ユーザ６０から反射表面８００までの光線によって横断され、次いで、ユーザ６０に戻る距離ではなく、ユーザ６０から鏡８００までの距離であるため、ｄ２は、いくつかの実施形態では、２によって乗算される必要があり得る。その結果、反射８１０内に見られるユーザの特徴６０のサイズｈ２は、以下の方程式を使用して判定されてもよい。
【数1】
【0516】
図示される図面では、ｈ２は、ユーザ６０の身長である。いくつかの他の実施形態では、ｈ２は、ユーザの身体の異なる部分を含む、その腰部の幅、腕または二頭筋の幅等の他の特徴の幅または長さであってもよい。
【0517】
ユーザ６０から鏡８００までと、再び、ユーザ６０に戻る距離全体が、直接測定され得る（例えば、距離センサ６９が、鏡８００によって反射され得る光を放出および受信する、光学距離センサである）、いくつかの実施形態では、以下の方程式が、ｈ２を判定するために使用されてもよい。
【数2】
【0518】
いくつかの実施形態では、仮想スケール９００は、例えば、ユーザが、単に、仮想スケール９００上に位置する反射８１０の場所および／または反射８１０によって占有されたスケールの量の視覚的判定によってｈ２を判定し得るように、反射８１０の距離に基づいて較正される、身長のためのマーキングを含んでもよい。有利には、いくつかの実施形態では、ｈ２が上記の方程式を使用して、または別の方法を使用して判定されるかどうかにかかわらず、仮想スケール９００は、仮想スケール９００および反射８１０の両方が合焦し、それによって、ｈ２のユーザの視覚的判定を促進するように、反射８１０の深度平面に類似の遠近調節状態を有する深度平面上に表示されてもよい。
【0519】
いくつかの実施形態では、ｈ２は、計算され、ユーザ６０に表示されてもよい。例えば、ユーザの身体の測定は、例えば、運動計画の一部としてフィードバックをユーザ６０に提供するために、拡張現実コンテンツとして表示されてもよい。さらに他の実施形態では、測定は、ユーザ６０に表示されなくてもよい。いくつかの実施形態では、測定は、履歴分析のために記憶されてもよい。
【0520】
いくつかの実施形態では、ディスプレイシステムは、反射された画像を修正し、反射表面内の歪曲に対処するように構成されてもよい。湾曲反射表面からのオブジェクトの反射は、実際のオブジェクトに対して歪曲され得ることを理解されたい。例えば、ある距離（例えば、鏡の焦点距離を超える）では、凹面鏡は、オブジェクトが上下逆であるように見え、実際のオブジェクトより大きい、反射を提供するであろう一方、凸面鏡は、オブジェクトが実際のオブジェクトより小さい、反射を提供し得る。ディスプレイシステムは、反射表面内の曲率によって生じる反射内の歪曲を補正するように構成されてもよい。
【0521】
いくつかの実施形態では、反射表面の曲率によって生じる歪曲の補正は、以下を含む。・ 鏡の曲率の判定
・ 鏡とユーザとの間の距離の判定
・ 鏡内におけるユーザの反射の撮像
・ 鏡によって生じる歪曲を反転させるための撮像された反射の修正
・ ユーザへの修正された反射の表示および／または捕捉されたユーザの画像に基づいて
ユーザから行われる光学測定の補正。
・ 鏡とユーザとの間の距離の判定
・ 鏡内におけるユーザの反射の撮像
・ 鏡によって生じる歪曲を反転させるための撮像された反射の修正
・ ユーザへの修正された反射の表示および／または捕捉されたユーザの画像に基づいて
ユーザから行われる光学測定の補正。
【0522】
いくつかの実施形態では、凹面鏡の曲率の判定は、以下の方程式を使用して鏡の焦点距離を解くことを含む。
ｆは、凹面鏡の焦点距離であって、ｕは、オブジェクト（鏡の焦点距離外にある）から鏡までの距離であって、ｖは、オブジェクトの合焦画像から鏡までの距離であることを理解されたい。いくつかの実施形態では、ｕは、ディスプレイシステムによってアクセスされる、またはユーザによって提供され得る、既知の量であってもよい。いくつかの他の実施形態では、ｕは、測定されてもよい。例えば、ユーザは、オブジェクトの傍に立って、ディスプレイシステムの一部である、距離センサを利用して、ユーザと鏡との間の距離を測定してもよく、これは、ディスプレイシステムによって、オブジェクトと鏡との間の距離とほぼ等しいと理解されるであろう。いくつかの実施形態では、ディスプレイシステムは、ユーザに、オブジェクトまで移動し、入力をディスプレイシステムに提供し、鏡まででの距離の検出をトリガするように促してもよい。量ｖを判定するために、ユーザは、鏡に対して画面とともに移動し、オブジェクトの画像が鏡によって画面（例えば、紙片）上に明確に集束される場所を判定してもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに、鏡に対して移動し、オブジェクトの画像が画面上に明確に集束されるとき、ディスプレイシステムに信号伝達するように促すように構成されてもよい（例えば、可聴指示を提供することによって、および／またはブロック７１０（図１２）における拡張現実コンテンツとして、視覚的指示を提供することによって）。いくつかの実施形態では、いったんオブジェクトの集束された画像が、達成されると、ディスプレイシステムは、ユーザと鏡との間の距離を判定するように構成されてもよい。本距離は、ディスプレイシステムによって量ｖであると理解され得る。いったんｖおよびｕが把握されると、ディスプレイシステムは、ｆを解くように構成されてもよい。凹面鏡の曲率半径Ｒは、２ｆと等しいことを理解されたい。
【数3】
ｆは、凹面鏡の焦点距離であって、ｕは、オブジェクト（鏡の焦点距離外にある）から鏡までの距離であって、ｖは、オブジェクトの合焦画像から鏡までの距離であることを理解されたい。いくつかの実施形態では、ｕは、ディスプレイシステムによってアクセスされる、またはユーザによって提供され得る、既知の量であってもよい。いくつかの他の実施形態では、ｕは、測定されてもよい。例えば、ユーザは、オブジェクトの傍に立って、ディスプレイシステムの一部である、距離センサを利用して、ユーザと鏡との間の距離を測定してもよく、これは、ディスプレイシステムによって、オブジェクトと鏡との間の距離とほぼ等しいと理解されるであろう。いくつかの実施形態では、ディスプレイシステムは、ユーザに、オブジェクトまで移動し、入力をディスプレイシステムに提供し、鏡まででの距離の検出をトリガするように促してもよい。量ｖを判定するために、ユーザは、鏡に対して画面とともに移動し、オブジェクトの画像が鏡によって画面（例えば、紙片）上に明確に集束される場所を判定してもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに、鏡に対して移動し、オブジェクトの画像が画面上に明確に集束されるとき、ディスプレイシステムに信号伝達するように促すように構成されてもよい（例えば、可聴指示を提供することによって、および／またはブロック７１０（図１２）における拡張現実コンテンツとして、視覚的指示を提供することによって）。いくつかの実施形態では、いったんオブジェクトの集束された画像が、達成されると、ディスプレイシステムは、ユーザと鏡との間の距離を判定するように構成されてもよい。本距離は、ディスプレイシステムによって量ｖであると理解され得る。いったんｖおよびｕが把握されると、ディスプレイシステムは、ｆを解くように構成されてもよい。凹面鏡の曲率半径Ｒは、２ｆと等しいことを理解されたい。
【0523】
いくつかの実施形態では、ユーザと鏡との間の距離（ｄｏ）は、本明細書に開示されるように、ディスプレイシステムの種々のセンサ（例えば、音響距離センサ）を使用して判定されてもよい。加えて、反射は、本明細書に開示されるように、外向きカメラを使用して撮像されてもよい。反射内のユーザまたは他のオブジェクトの見掛けサイズ（ｈｏ）が、続いて、判定されてもよい（例えば、捕捉されたユーザの画像の分析によって）。いくつかの他の実施形態では、ディスプレイシステムのフレーム６４（図１Ｂ）に取り付けられる下向き深度センサ等のセンサが、フレーム６４から地面までの距離を測定し、それによって、Ｍの判定のための基準距離ｈｉを提供するように構成されてもよい。Ｒ、ｄｏ、およびｈｏが判定されると、湾曲表面の真のオブジェクト高さ（ｈｉ）および拡大率（Ｍ）が、計算されてもよい。例えば、
および
である。
【化1】
および
【化2】
である。
【0524】
いくつかの実施形態では、Ｍは、直接、量ｈｉおよびｈｏを判定することによって計算される。本明細書に議論されるように、ｈｏは、反射内のオブジェクトの見掛けサイズであって、反射の捕捉された画像の画像分析を使用して判定されてもよい。ｈｉは、オブジェクトの真のサイズであって、既知の値、例えば、ディスプレイシステムによってアクセス可能なデータベース内に記憶される、および／またはセンサを使用して測定される値であってもよい。ディスプレイシステムは、データベースにアクセスすることによって、ｈｉを判定するように構成されてもよい。ディスプレイシステムは、続いて、方程式
を使用して、拡大率を判定するように構成されてもよい。
【化3】
を使用して、拡大率を判定するように構成されてもよい。
【0525】
いくつかの実施形態では、真のオブジェクト高さおよび拡大率は、鏡内に反射されたオブジェクト（例えば、ユーザ）のサイズをスケーリングするために利用されてもよい。反射されたオブジェクトのサイズはさらに、反射表面からのユーザの距離に依存するであろうことを理解されたい。好ましくは、真のオブジェクト高さおよび拡大率のスケーリングは、オブジェクトと鏡との間の距離に基づいて調節される。例えば、ユーザ反射表面間の距離が大きいほど、ブロック７１０（図１２）においてディスプレイシステムによって提示される表示される画像のサイズの低減を生じさせるであろう。ディスプレイシステムが、画像分析を行い、反射内の特徴のサイズを判定し得る、いくつかの実施形態では、拡大率の知識が、例えば、オブジェクトの真の高さを解くことによって、鏡に起因する反射されたオブジェクトまたはユーザのサイズにおける歪曲を補正するために利用されてもよい。
【0526】
再び図１２を参照すると、拡張現実コンテンツは、ディスプレイシステムのユーザが反射内に存在するかどうかにかかわらず、ディスプレイシステムによって反射のために生成されてもよいことを理解されたい。ブロック７００では、反射が視認者の視野内にあるかどうかに関して判定が行われる。いくつかの実施形態では、反射の存在に関する判定は、ユーザの反射がユーザの視野内にあるかどうかに関する判定であってもよい。いくつかの他の実施形態では、反射が視認者の視野内にあるかどうかに関する判定は、本明細書に開示されるように、視認者の反射が存在しない場合でも、反射が存在するかどうかに関する判定であってもよい。例えば、ディスプレイシステムは、視認者の視野内のオブジェクトにおける記号または他のマーキングの左／右配向の反転等の反射の印の存在を判定するように構成されてもよい。いくつかの実施形態では、反射表面によって生じるユーザの特徴における反転を検出するのではなく、ディスプレイシステムは、ユーザの顔ではなく、オブジェクトまたは場面上の特徴の反転および／または場面内の反射の他の印を検出するように構成されてもよい。
【0527】
図１２を継続して参照すると、いったん反射が、視認者の視野内に存在すると判定されると、ルーチンは、ブロック７１０に進んでもよい。いくつかの実施形態では、ブロック７１０は、拡張現実コンテンツを視認者の視野内のオブジェクトに関する情報とともに提供することを含んでもよい。本情報は、オブジェクトが視認者に未知であることのインジケーションを含んでもよい。
【0528】
ディスプレイシステムは、周囲環境を持続的に撮像し、その環境内のオブジェクトを識別するように構成されてもよいことを理解されたい。好ましくは、本撮像および識別は、ユーザ介入を要求せずに、自動的に行われる。これらのオブジェクトの識別は、データベース等の遠隔またはローカルデータリポジトリを含む、知識の種々の記憶にアクセスすることによって実施されてもよい。いくつかの実施形態では、ディスプレイシステムは、直接的におよび／または共通データリポジトリを共有する中間コンピュータシステムを通して、他のディスプレイシステムに接続されてもよい。ディスプレイシステムはそれぞれ、例えば、コンテンツを共通データリポジトリに追加することによって、情報を他のディスプレイシステムと共有するように構成されてもよい。その結果、複数のディスプレイシステムは、共通データリポジトリ内に含有される情報を拡張し、それによって、別様に利用可能であり得る、情報のより完全な記憶を提供するように構成されてもよい。例えば、異なるディスプレイシステムは、場面を異なる視点から視認し、それによって、全てのユーザに利用可能ではない、オブジェクトのビューおよび知識を提供し得る。
【0529】
ディスプレイシステムによる画像認識は、鏡像ではない、オブジェクトを検出するように構成されてもよいことを理解されたい。いくつかの実施形態では、いったん反射が見出されると、ディスプレイシステムは、反射された画像を反転し、反転された画像を使用して、オブジェクト認識を行うように構成されてもよい。例えば、ディスプレイシステムは、捕捉された画像を処理し、画像をデジタル的に反転し、鏡像の鏡像に対応する画像ファイルを得るように構成されてもよい。オブジェクトのための画像ファイルは、オブジェクトの複数のビューを含んでもよいことを理解されたい（例えば、画像ファイルは、複数の視点からのオブジェクトについての視覚的情報を含有する、３次元画像ファイルであってもよい）。
【0530】
ディスプレイシステムによる画像認識は、人々がその顔の反射内の特徴に基づいて識別される、顔認識を含んでもよい。いくつかの実施形態では、ディスプレイシステムは、反射内の人々を認識し、それらの人々に関する情報を表示するように構成されてもよい。ディスプレイシステムは、ユーザに対する反射された人物のステータスに関する情報を表示してもよい。例えば、ステータス情報は、その人物が、友人、敵、システムおよび／またはユーザが遭遇することが望ましい人物として識別した人物、ならびに／もしくはディスプレイシステムおよび／またはユーザが回避されるべき人物として識別した人物であるかどうかのインジケーションを含んでもよい。人々の画像認識は、人物の顔上のもの以外の特徴を識別することを含んでもよいことを理解されたい。例えば、髪および／または身体特徴が、ディスプレイシステムによる人々の認識を促進するために利用されてもよい。画像認識は、例えば、人物が垂直または水平に立っているかどうかにかかわらず、画像認識が行われ得るように、人物またはオブジェクトの配向を補償してもよいことを理解されたい。
【0531】
その反射に基づいて、人物の識別を判定することに加え、ディスプレイシステムはまた、反射に基づいて、人物の種々の他の特性を判定するように構成されてもよい。例えば、ディスプレイシステムは、反射内のその外見および／またはアクションに基づいて、人物のボディランゲージを識別し、したがって、人物の感情、社会的相互作用、状況に対する応答等を推測するように構成されてもよい。
【0532】
ディスプレイシステムによる画像認識はまた、概して、オブジェクトの認識を含んでもよい。そのようなオブジェクトの実施例は、靴、セールの看板、煙、炎、および動物（例えば、イヌ、スカンク等）、ならびにユーザの個人アイテム（例えば、ユーザの帽子、財布、ラップトップ等）を含む。
【0533】
いったんオブジェクトが、ディスプレイシステムによって認識されると、ディスプレイシステムは、ブロック７１０（図１２）に進み、ユーザに識別されたオブジェクトに関する情報をアラートする、拡張現実コンテンツを提供するように構成されてもよい。例えば、ディスプレイシステムは、その所有物のうちの１つがテーブル上にあること、靴等のアイテムが展示またはセール中であること、煙または炎が存在すること等、ユーザにリマインドするように構成されてもよい。本明細書に議論されるように、アラートは、例えば、オーディオまたは視覚的通知およびユーザに伝送される振動を含む、種々の形態をとってもよいことを理解されたい。
【0534】
いくつかの実施形態では、識別されたオブジェクトについてのアラートは、ユーザによって所望されるようなオブジェクトの識別に基づいて生成されてもよい。オブジェクトの所望は、例えば、オブジェクトにおけるユーザの関心レベルのインジケータの履歴分析に基づいて判定されてもよい。例えば、ディスプレイシステムは、ユーザのインターネット検索履歴へのアクセスを有してもよく、検索履歴にアクセスするように構成されてもよい。識別されたオブジェクトとオブジェクトに関するユーザによるインターネット検索頻度との間の合致（例えば、ユーザが特定のオブジェクトに関して所定の閾値回数を上回って検索していることの判定）は、ユーザがそのオブジェクト（例えば、新しい靴）を所望していることを示してもよい。いくつかの実施形態では、オブジェクトへの視線時間が、利用され、ユーザがそのオブジェクトに高レベルの関心を有するかどうかを判定してもよい。より長い視線時間は、より高いレベルの関心に対応すると理解される。いくつかの実施形態では、視線時間が所定の閾値レベルを超えると、ディスプレイシステムは、オブジェクトがユーザによって非常に所望され得ることを示すアラートを提供するように構成されてもよい。ユーザによる他の物理的または挙動サインもまた、利用され、オブジェクトにおける関心の存在を判定してもよいことを理解されたい。例えば、オブジェクトの指し示しおよび／またはオブジェクトを見たことに応答した眼または瞳孔の拡開は、ディスプレイシステムによって、関心のサインとして解釈され得る。いくつかの実施形態では、ユーザが実際にオブジェクトに関心があることの判定を行う前に、複数の関心サインが、評価され、正であると判定される。
【0535】
ユーザは、ディスプレイシステムに既知ではない反射内のオブジェクトに遭遇し得ることが可能性として考えられる。例えば、ディスプレイシステムによる画像認識は、反射内のオブジェクトの識別に失敗し、顔認識が反射内の個人の認識に失敗し得る。
【0536】
図１０を継続して参照すると、ブロック７１０では、ディスプレイシステムは、システムによって認識されないオブジェクトをオーバーレイする、拡張現実コンテンツを表示するように構成されてもよい。いくつかの実施形態では、認識されないオブジェクトは、光学的にハイライトされてもよい。例えば、認識されないオブジェクトは、ユーザが認識されないオブジェクトと関連付けられていることを理解する、インジケータ（例えば、特定の色）を用いてオーバーレイされてもよい。いくつかの実施形態では、ディスプレイシステムによるオブジェクトの認識またはオブジェクトの認識におけるディスプレイシステムの信頼度もまた、示されてもよい。実施例として、システムは、既知のアイテムにわたっておよび／またはその周囲には、緑色ハイライトを提供し、部分的に既知のアイテムにわたっておよび／またはその周囲には、黄色ハイライトを提供し、および未知のアイテムにわたっておよび／またはその周囲には、赤色ハイライトを提供するように構成されてもよい。いくつかの実施形態では、認識されないオブジェクトのインジケータは、テキスト、可聴信号、点滅ボックス、および／または触知フィードバックを含んでもよい。
【0537】
オブジェクトの識別不能性は、時として、オブジェクトがディスプレイシステムによる認識を困難にする配向に配置されていることによって生じ得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、オブジェクトが１つまたはそれを上回る他の配向に提供されるように、オブジェクトの捕捉された画像を再配向するように構成されてもよく、ディスプレイシステムは、これらの配向のそれぞれを用いて、画像上でそのオブジェクト認識プロトコルを行うように構成されてもよい。例えば、オブジェクト上のテキストは、上下逆では認識不可能であり得るが、オブジェクトの捕捉された画像が１８０°回転される場合、認識可能になり得る。
【0538】
いくつかの実施形態では、いったんオブジェクトが、認識されないとしてユーザに信号伝達されると、ディスプレイシステムは、認識されないオブジェクトのユーザ補助識別を可能にするように構成されてもよい。例えば、ユーザは、ユーザに認識されないオブジェクトを識別する機会を提供する、テキスト／音声メッセージ、仮想ユーザメニュー等を提示されてもよい。ユーザは、次いで、例えば、テキスト／音声メッセージおよび／または仮想ユーザメニュー上の選択を介して、認識されないオブジェクトの識別を提供してもよい。ディスプレイシステムは、そのデータリポジトリを更新し、オブジェクトの識別を記憶するように構成されてもよい。ディスプレイシステムはまた、複数のユーザ間で共有される、データリポジトリを更新するように構成されてもよい。
【0539】
いくつかの実施形態では、ユーザがオブジェクトを識別することを補助するために、ディスプレイシステムは、ブロック７１０（図１２）の一部として、オブジェクトのユーザ識別を促進するために再配向され得る（ディスプレイシステムによって自動的に、および／またはユーザによって提供される命令に基づいて）、仮想オブジェクトとして表示されるオブジェクトを含む、拡張現実コンテンツを提示するように構成されてもよい。例えば、前述のように、オブジェクト上の上下逆のテキストは、ディスプレイシステムにオブジェクトを１８０°回転された仮想オブジェクトとして再レンダリングさせることによって理解可能となり得る。
【0540】
いくつかの他の実施形態では、ディスプレイシステムは、「学習された挙動」および／または「ネットワーク補助識別」に基づいて、オブジェクトを識別するように構成されてもよい。例えば、システムは、店舗内のオブジェクトの場所等のオブジェクトの特定の状況に関する履歴データに基づいて、オブジェクトの識別に関する「推測」を行うように構成されてもよい。実施例として、ディスプレイシステムは、ユーザが菓子店に居ることを認識するが、色、サイズ、形状等における変動に起因して、その店舗内のセールのためのオブジェクトを認識不能であり得る。それにもかかわらず、ディスプレイシステムは、店舗の識別、可能性として、菓子であることが既知の他のオブジェクトの列内のオブジェクトの場所等の他の印に起因して、セールのための未知のオブジェクトが菓子であることの予備識別を提供するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに、オブジェクトの識別に関する確認を促すように構成されてもよい。
【0541】
いくつかの実施形態では、ネットワーク補助識別が、実施されてもよい。例えば、ディスプレイシステムが、そのローカルデータベースに基づいて、オブジェクトを識別不能である場合、システムは、認識されないオブジェクトを識別することを試みた他のユーザによって提供される情報を含み得る、ネットワークにアクセスするように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、単に、最初に、オブジェクト識別の一部としてネットワークにアクセスし、ネットワークにアクセスすることによってオブジェクト識別を試みた後、オブジェクトを認識されないとしてフラグするように構成されてもよい。
【0542】
図１０を継続して参照すると、ブロック７１０では、ディスプレイシステムは、ユーザの視野内で以前に識別されたが、もはやその視野内に存在しないオブジェクトを識別する、拡張現実コンテンツを表示するように構成されてもよい。例えば、ディスプレイシステムは、ユーザに、ユーザに属するオブジェクトがもはや反射内に存在しない（例えば、ユーザが反射表面から歩き去ったことに起因して）、子供がもはや反射内に存在しない、および／または他人もしくは友人がもはや反射内に存在しないことを通知するように構成されてもよい。通知は、テキストもしくは点滅ボックス、可聴信号、および／または触知フィードバック等の拡張現実コンテンツを含む、種々の形態をとってもよい。
【0543】
多くのオブジェクトは、ディスプレイシステムによって識別され、続いて、例えば、ユーザおよび／またはオブジェクトの移動に起因して反射外となり得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、ユーザ選択を通して、通知をユーザに提示させるであろう、オブジェクトのサブセットを自動識別または識別するように構成されてもよい。ディスプレイシステムはまた、反射からのオブジェクトの消失の通知を提供するように構成されてもよく、通知は、「停留時間」に基づいて提供される。例えば、ディスプレイシステムは、ユーザが特定のオブジェクトを見ることに費やした時間量を監視するように構成されてもよい。停留時間が事前に設定された閾値を超える場合、ディスプレイシステムは、反射からのオブジェクトの消失の通知を提供するように構成されてもよい。
【0544】
いくつかの実施形態では、ディスプレイシステムは、反射内のオブジェクトの計時された出現および／または再出現に関してユーザにアラートするように構成されてもよい。例えば、ディスプレイシステムは、ある人物が事前に選択された閾値持続時間を超える持続時間にわたって反射内に現れたことをユーザにアラートするように構成されてもよい。別の実施例として、ディスプレイシステムは、同一人物が事前に選択された閾値回数を超える回数にわたって反射内に再び現れたことをユーザにアラートするように構成されてもよい。ディスプレイシステムはまた、ユーザが反射表面上に生じるユーザの複数のインスタンスにおいて類似反射を観察しているかどうかを判定するように構成されてもよい。そのようなシナリオでは、ディスプレイシステムは、類似反射の再出現に起因して、ユーザが迷っている、および／またはユーザが以前と同一場所に行ったことを判定するように構成されてもよい。
（複数のウェアラブルシステム間の例示的通信）
（複数のウェアラブルシステム間の例示的通信）
【0545】
図１５は、相互に相互作用する複数のユーザデバイスを描写する、全体的システム図を図式的に図示する。コンピューティング環境１２００は、ユーザデバイス１２３０ａ、１２３０ｂ、１２３０ｃを含む。ユーザデバイス１２３０ａ、１２３０ｂ、および１２３０ｃは、ネットワーク１２９０を通して、相互に通信してもよい。ユーザデバイス１２３０ａ－１２３０ｃはそれぞれ、ネットワークインターフェースを含み、ネットワーク１２９０を介して、遠隔コンピューティングシステム１２２０（また、ネットワークインターフェース１２７１を含んでもよい）と通信してもよい。ネットワーク１２９０は、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他のネットワークであってもよい。コンピューティング環境１２００はまた、１つまたはそれを上回る遠隔コンピューティングシステム１２２０を含んでもよい。遠隔コンピューティングシステム１２２０は、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含んでもよい。ユーザデバイス１２３０ａ、１２３０ｂ、および１２３０ｃは、ネットワーク１２９０を介して、遠隔コンピューティングシステム１２２０と通信してもよい。
【0546】
遠隔コンピューティングシステム１２２０は、具体的ユーザの物理的および／または仮想世界についての情報を維持し得る、遠隔データリポジトリ１２８０を含んでもよい。遠隔データリポジトリは、図１Ｂに示される遠隔データリポジトリ７４の実施形態であってもよい。遠隔コンピューティングシステム１２２０はまた、遠隔処理モジュール１２７０を含んでもよい。遠隔処理モジュール１２７０は、図１Ｂに示される遠隔処理モジュール７２の実施形態であってもよい。遠隔処理モジュール１２７０は、ユーザデバイス（１２３０ａ、１２３０ｂ、１２３０ｃ）および遠隔データリポジトリ１２８０と通信し得る、１つまたはそれを上回るプロセッサを含んでもよい。プロセッサは、ユーザデバイスおよび他のソースから得られた情報を処理してもよい。いくつかの実施形態では、処理または記憶装置の少なくとも一部は、ローカル処理およびデータモジュール７０（図１Ｂに示されるように）によって提供されてもよい。遠隔コンピューティングシステム１２２０は、所与のユーザが、具体的ユーザの独自の物理的および／または仮想世界についての情報を別のユーザとと共有することを可能にしてもよい。
【0547】
ユーザデバイスは、単独で、または組み合わせた、ウェアラブルデバイス（ＨＭＤまたはＡＲＤ等）、コンピュータ、モバイルデバイス、または任意の他のデバイスであってもよい。例えば、ユーザデバイス１２３０ｂおよび１２３０ｃは、ＡＲ／ＶＲ／ＭＲコンテンツを提示するように構成され得る、図１Ｂに示されるウェアラブルディスプレイシステム８０（または図５に示されるディスプレイシステム１０００）の実施形態であってもよい。
【0548】
ユーザデバイス（例えば、１２３０ａ－１２３０ｃ）のうちの１つまたはそれを上回るものは、図５に示されるユーザ入力デバイス５０４と併用されてもよい。ユーザ入力デバイスは、ユーザおよびユーザの環境についての情報を得てもよい（例えば、図５に示される外向きイメージングシステム５０２を使用して）。ユーザデバイスおよび／または遠隔コンピューティングシステム１２２０は、ユーザデバイスから得られた情報を使用して、画像、点、および他の情報の集合を構築、更新、および構成してもよい。例えば、ユーザデバイスは、取得された未加工情報を処理し、さらなる処理のために、処理された情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスはまた、処理のために、未加工情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスは、処理された情報を遠隔コンピューティングシステム１２２０から受信し、ユーザに投影する前に、最終処理を提供してもよい。ユーザデバイスはまた、得られる情報を処理し、処理された情報を他のユーザデバイスにパスしてもよい。ユーザデバイスは、取得された情報を処理しながら、遠隔データリポジトリ１２８０と通信してもよい。複数のユーザデバイスおよび／または複数のサーバコンピュータシステムが、取得された画像の構築および／または処理に関わってもよい。
【0549】
物理的世界に関する情報が、経時的に展開され、異なるユーザデバイスによって収集された情報に基づいてもよい。仮想世界のモデルもまた、経時的に展開され、異なるユーザの入力に基づいてもよい。そのような情報およびモデルは、時として、本明細書では、世界マップまたは世界モデルと称されるであろう。図７および９を参照して説明されるように、ユーザデバイスによって取得された情報は、世界マップ１２１０を構築するために使用されてもよい。世界は、図９に説明されるマップ９２０を含んでもよい。種々のオブジェクト認識装置（例えば、７０８ａ、７０８ｂ、７０８ｃ…７０８ｎ）が、オブジェクトを認識し、画像にタグ付けし、かつ意味論情報をオブジェクトに結び付けるために使用されてもよい。これらのオブジェクト認識装置は、図７に示されるオブジェクト認識装置７０８ａおよび７０８ｎを含んでもよい。
【0550】
遠隔データリポジトリ１２８０は、データを記憶し、世界マップ１２１０の構築を促進するために使用されてもよい。ユーザデバイスは、ユーザの環境についての情報を常に更新し、世界マップ１２１０についての情報を受信してもよい。世界マップ１２１０は、ユーザまたは他者によって生成されてもよい。本明細書に議論されるように、ユーザデバイス（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ）および遠隔コンピューティングシステム１２２０は、単独で、または組み合わせて、世界マップ１２１０を構築および／または更新してもよい。例えば、ユーザデバイスは、遠隔処理モジュール１２７０および遠隔データリポジトリ１２８０と通信してもよい。ユーザデバイスは、ユーザおよびユーザの環境についての情報を取得するおよび／または処理してもよい。遠隔処理モジュール１２７０は、遠隔データリポジトリ１２８０およびユーザデバイス（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ）と通信し、ユーザおよびユーザの環境についての情報を処理してもよい。遠隔コンピューティングシステム１２２０は、例えば、ユーザの画像の選択的クロッピング、ユーザの背景の修正、ユーザの環境内のオブジェクトへの意味論情報の結び付け、およびユーザの環境への仮想オブジェクトの追加等、ユーザデバイス（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ）によって取得された情報を修正してもよい。遠隔コンピューティングシステム１２２０は、処理された情報を同一および／または異なるユーザデバイスに送信してもよい。
（キューを使用する鏡検出）
（キューを使用する鏡検出）
【0551】
ＨＭＤは、外向きカメラを使用して、ＨＭＤのユーザの周囲の環境を撮像してもよい。環境は、鏡を含んでもよい。
【0552】
ウェアラブルシステムは、１つまたはそれを上回るキューを使用して、鏡の存在を検出してもよい。例えば、キューは、環境の鏡像内のキーポイントの認識、鏡像と物理的オブジェクトとの間の同時運動の分析、鏡の縁の周囲の深度不連続性の検出、鏡内のユーザの頭部の存在の識別、鏡内の反射された画像としてのウェアラブルデバイスの認識、鏡の特徴（形状および場所等）の識別、またはウェアラブルデバイスからの能動的クエリ（赤外線パルス、無線周波数（ＲＦ）照会信号、または閃光等）の提供等に基づいてもよい。キューは、個々に、または組み合わせて、ユーザの環境内の鏡の存在を判定するために使用されてもよい。いったん検出されると、鏡は、別の部屋の中への開口部ではなく、鏡として３Ｄマップ内で適切に見なされ得る。
【0553】
実施例は、鏡の観点から説明されるが、本開示は、鏡に限定されることを意図するものではない。本明細書に説明される技法は、例えば、窓等、任意のタイプの反射表面のために使用されてもよい。例えば、特に、夜間、照明された部屋内の窓は、部屋外の環境が暗いため、実質的に反射して見え得る。
（ユーザの環境の画像内の例示的キュー）
（ユーザの環境の画像内の例示的キュー）
【0554】
図１６は、部屋内のオブジェクトを反射させる鏡を含む、単一部屋の実施例を図示する。図１６における部屋５０００は、種々の物理的オブジェクト５０１０（例えば、植物５０１０ａ、机５０１０ｂ、コンピュータモニタ５０１０ｃ、および椅子５０１０ｄ等）を有する。部屋５０００内の鏡５０５０は、部屋５０００内の周囲光を反射させ得る。その結果、部屋５０００内の物理的オブジェクト５０１０の反射された画像５０１１が存在し得る。例えば、図１６では、反射された画像５０１１は、反射された植物５０１１ａと、反射された机５０１１ｂと、反射されたモニタ５０１１ｃとを含んでもよい。
【0555】
ＨＭＤを装着しているユーザは、部屋５０００内の鏡５０５０の近傍に立ち得る。ユーザは、ＨＭＤを通して、鏡５０５０および鏡と関連付けられた反射された画像５０１１を知覚してもよい。ＨＭＤは、外向きイメージングシステム５０２（例えば、図５に示される）を使用して、ユーザの環境を撮像してもよい。例えば、ＨＭＤは、鏡５０５０、反射された物理的オブジェクト５０１１、壁５０４０の画像、ならびに物理的オブジェクト５０１０の画像を得てもよい。
【0556】
しかしながら、ウェアラブルシステムが、ＨＭＤによって撮像されるオブジェクトが反射されたオブジェクトまたは物理的オブジェクトであるかどうかを把握し得ないため、ウェアラブルシステムは、画像を分析し、鏡の存在を示す１つまたはそれを上回るキューを識別してもよい。例えば、以下にさらに説明されるように、キューは、キーポイント認識、同時運動試験、深度不連続性、ユーザの頭部の存在、ウェアラブルデバイスの明示的認識、鏡の特徴、ウェアラブルデバイスからの能動的クエリ（赤外線パルスまたは閃光等）に基づいてもよい。キューは、個々に、または組み合わせて、ユーザの環境内の鏡の存在を判定するために使用されてもよい。これらのキューはまた、ユーザがその環境内で動き回るにつれて、鏡を追跡するために使用されてもよい。
【0557】
これらのキューはまた、観察されるオブジェクトが鏡または開口であるかどうかを区別するために使用されてもよい。開口は、それを通して物理的オブジェクトが通過し得る開放出入口等、物理的に通過可能であり得る。開口は、加えて、または代替として、それを通して開口が取り付けられる構造構成要素（壁等）を越えてユーザに見え得る窓等、視覚的に透過可能であり得る。開口または反射鏡表面としてのオブジェクトの分類は、相互に排他的であることを意味しない。いくつかの状況では、オブジェクトは、鏡および開口の両方の性質を有し得る。例えば、窓は、開放される、またはユーザが窓を通して見ることを可能にするために十分に透明であるとき、開口として分類されてもよい。窓は、夜間、窓外の環境が暗いとき、十分に反射性である場合（鏡のように）鏡として分類されてもよい。キューのさらなる詳細は、以下に説明される。
（キーポイント認識を使用するキュー）
（キーポイント認識を使用するキュー）
【0558】
ウェアラブルシステムは、画像の一部のキーポイント（またはコンピュータビジョンにおいて使用される任意の他のタイプの特徴）とユーザの環境のマップを比較し、画像が環境内のオブジェクトの反射された画像を含有するかどうかを判定してもよい。２つのマップ内のキーポイントが合致する場合、ウェアラブルシステムは、合致を鏡の存在を示すキューとして見なし得る。いくつかの実施形態では、キーポイント比較技法は、同時位置特定およびマッピング技法（例えば、ＳＬＡＭ、視覚的ＳＬＡＭ、または類似アルゴリズム）によって実装されてもよい。
【0559】
図１６を参照すると、ウェアラブルシステムは、取得された画像内の１つまたはそれを上回るキーポイントと部屋５０００のマップ内のキーポイントを比較し、取得された画像が鏡を含むかどうかを判定してもよい。例えば、ウェアラブルシステムは、部屋５０００内の植物５０１０ａの葉先をキーポイントとして使用してもよい。ＨＭＤは、鏡５０５０および反射された植物５０１１ａの葉先を伴う画像を取得してもよい。ウェアラブルシステムは、反射された植物５０１１の葉先と部屋５０００のマップ（実際の植物５０１０ａの葉先を含む）を比較し、２つのキーポイントのセット間の合致が存在するかどうかを判定してもよい。ウェアラブルシステムは、キーポイント場所のおよび／またはキーポイント間の相対的位置に基づいて、そのような比較を行ってもよい。
【0560】
加えて、または代替として、ウェアラブルシステムは、ＨＭＤによって取得された画像内のキーポイントの幾何学形状とマップ内のキーポイントによって形成される幾何学形状を比較してもよい。幾何学形状は、例えば、特徴間の距離、特徴間に形成される開放角等のオブジェクトの特徴間の幾何学的関係の判定を含んでもよい。例えば、図１６では、ウェアラブルシステムは、取得された画像内の反射された植物５０１１ａの形状と部屋５０００内の植物５０１０ａの形状（世界マップ内に記憶される）を比較してもよい。ウェアラブルシステムは、反射された植物５０１１ａの形状が物理的植物５０１０ａの形状に合致するかどうかを判定してもよい。ウェアラブルシステムはまた、取得された画像内のキーポイントのセットによって形成される開放角とマップ内の別のキーポイントのセットによって形成される開放角を比較してもよい。２つのキーポイントのセット内の開放角が合致する場合、ウェアラブルシステムは、それを鏡の存在に関するキューとして使用してもよい。ウェアラブルシステムは、そのような幾何学的比較を３Ｄ対応システムにおいて実装してもよい。
【0561】
ある実施形態では、トリプレット近傍キーポイントが、環境内の合致する幾何学形状を検索するために使用されてもよい。例えば、ウェアラブルシステムは、外向きイメージングシステム５０２によって取得された画像内の近傍キーポイントトリプレットのセットを判定してもよい。ウェアラブルシステムは、近傍トリプレット間の開放角を計算し、計算された開放角と環境の既知のマップ内の開放角を合致させてもよい。ウェアラブルシステムは、Ｓｈａｚａｍアルゴリズムまたは他の類似アルゴリズムを使用して、合致を検出してもよい。
【0562】
いくつかのキーポイントは、反射下で１つまたはそれを上回る特定の挙動を有し得、ウェアラブルシステムは、そのような挙動を使用して、鏡の存在を識別してもよい。例えば、キーポイントのセットは、鏡内に逆に位置付けられ得る（反転されたテキスト等）。ウェアラブルシステムは、画像内の１つまたはそれを上回るキーポイントの位置を軸方向に変換し、合致を判定してもよい。ウェアラブルシステムはまた、キーポイントによって形成される幾何学形状（例えば、キーポイントによって形成される幾何学的形状）を軸方向に変換してもよい。同様に、ウェアラブルシステムは、オブジェクトの画像（例えば、反射された植物５０１１ａ等）を軸方向に変換し、変換された画像と部屋５０００内の既知のオブジェクトの画像（例えば、実際の植物５０１０ａ等）を比較してもよい。ウェアラブルシステムは、変換された画像と物理的環境の画像を比較し、これらの２つの画像が合致するかどうかを判定してもよい。いくつかの実施形態では、ウェアラブルシステムは、キーポイント、オブジェクト、環境のマップ内のキーポイントによって形成される幾何学形状を軸方向に変換してもよい。ウェアラブルシステムは、これらの変換された画像とＨＭＤによって取得された画像を比較し、合致が存在するかどうかを判定してもよい。
【0563】
ウェアラブルシステムは、合致の量に関する閾値を設定してもよい。合致の量が本閾値に到達する場合、ウェアラブルシステムは、画像を反射された画像として、かつ鏡５０５０を反射表面を有するとして識別してもよい。そうでなければ、画像は、物理的オブジェクトの画像と見なされる。ウェアラブルシステムはまた、不整合の量に関して閾値を設定してもよい。不整合の量が閾値に到達する場合、ウェアラブルシステムは、それらの画像と関連付けられたオブジェクトを物理的オブジェクトとしてマークしてもよい。そうでなければ、それらの画像は、反射された画像と見なされる。
【0564】
時として、ＨＭＤのユーザが、鏡から十分に離れて位置付けられるとき、ＨＭＤは、物理的オブジェクトおよび鏡オブジェクトを同一画像内に観察し得る。例えば、図１６では、ユーザが、植物５０１０ａの背後に立ち、鏡５０５０に面する場合、ウェアラブルシステムは、物理的植物５０１０ａおよび反射された植物５０１１ａの両方を伴う画像を取得し得る。本明細書に説明されるキーポイント認識技法および他の技法（オブジェクト認識技法等）はまた、同一画像内の物理的オブジェクトおよび反射されたオブジェクトを明確にするために適用されてもよい。
【0565】
有利には、キーポイント認識技法は、幾何学的領域が潜在的に鏡であり得るかどうかをチェックするために、他のキューと組み合わせられてもよい。例えば、ウェアラブルシステムは、鏡内のＨＭＤ１３２０ａ（図１７Ａに示される）の画像を認識してもよい。ウェアラブルシステムは、ＨＭＤの反射された画像１３２０ｂ（図１７Ａに示される）の周囲の領域を識別し、１つまたはそれを上回るキーポイント認識技法を適用し、識別された領域が鏡であるかどうかを検証または反証してもよい。例えば、ウェアラブルシステムは、反射された画像１３２０ｂの周囲の識別された領域内のキーポイントを軸方向に変換し、近傍キーポイントトリプレットのセット間の開放角を計算してもよい。ウェアラブルシステムは、計算された開放角と環境のマップ内の開放角を比較し、開放角が合致するかどうかを判定してもよい。
（オブジェクト認識を使用するキュー）
（オブジェクト認識を使用するキュー）
【0566】
キーポイント認識に加えて、またはその代替として、ウェアラブルシステムは、オブジェクトの反射された画像を認識してもよい。本反射された画像は、鏡検出のためのキューとして使用されてもよい。ＨＭＤは、外向きイメージングシステム５０２またはＨＭＤの外部のカメラを使用して、ユーザの環境内のオブジェクトの画像を取得してもよい。ウェアラブルシステムは、物理的オブジェクトの既知の画像と物理的オブジェクトの取得された画像を比較し、取得された画像が反射された画像を含むかどうかを判定してもよい。
【0567】
例えば、図１６では、ウェアラブルシステムは、部屋５０００内のコンピュータモニタ５０１０ｃの記憶された画像を有してもよい。ウェアラブルシステムは、外向きイメージングシステム５０２を使用して、コンピュータモニタの反射された画像５０１１ｃを得て、反射された画像５０１１ｃとコンピュータモニタの画像５０１０ｃを比較してもよい。いくつかの実施形態では、オブジェクトの反射された画像は、物理的オブジェクトの画像と同一特性を有していない場合がある。図１６に示されるように、モニタの反射された画像５０１１ｃは、モニタ５０１０ｃの背面側を含む一方、外向きイメージングシステム５０２によって捕捉されるようなモニタの画像は、モニタの正面側を含み得る。モニタ５０１０ｃの背面側は、モニタ５０１０ｃの正面側が有していない特性を含み得る。ウェアラブルシステムは、特性における本差異を使用して、画像が反射された画像を含むかどうかを判定してもよい。
【0568】
ウェアラブルシステムは、鏡検出のために、ＨＭＤ自体を認識してもよい。例えば、図１７Ａに関して、ＨＭＤ１３２０ａを装着しているユーザ１３６０ａは、鏡１３３０の正面に立ち得、ＨＭＤ１３２０ａは、鏡１３３０内のＨＭＤの反射された画像１３２０ｂを検出し得る。ウェアラブルシステムが、反射された画像１３２０ｂがＨＭＤ１３２０ａの画像に合致することを判定する場合、ウェアラブルシステムは、反射された画像１３２０ｂの周囲の領域を鏡としてタグ付けしてもよい。
【0569】
ある実施形態では、画像は、反射下では反転され得るため、ウェアラブルシステムは、記憶された画像または反射された画像のいずれかを軸方向に変換し、２つの画像が同一オブジェクトに関するものであるかどうかを分析してもよい。例えば、ＨＭＤは、人物の画像１３６０ｂおよびＨＭＤの画像１３２０ｂを検出してもよい。ＨＭＤは、画像１３６０ｂが反射されたユーザの画像１３６０ａである一方、画像１３２０ｂがＨＭＤ１３２０ａの反射された画像であって、したがって、画像１３２０ｂおよび１３６０ｂの周囲の領域が鏡であることを判定してもよい。
（鏡の特徴を使用するキュー）
（鏡の特徴を使用するキュー）
【0570】
ウェアラブルシステムはまた、オブジェクトの特徴をキューとして使用してもよい。例えば、ウェアラブルシステムは、オブジェクト認識装置７０８ａ（例えば、図７を参照して説明される）を使用して、鏡であるオブジェクトと関連付けられ得る、特徴（オブジェクトのフレームまたは形状、垂直壁上のオブジェクトの位置等）を識別してもよい。ウェアラブルシステムはまた、演繹的推論を適用し、鏡としてのオブジェクトの特徴を鏡ではない他のオブジェクトの特徴からさらに区別してもよい。
【0571】
例えば、いくつかの状況では、鏡フレーム（鏡を囲繞する）の画像および写真フレーム（写真または絵画を囲繞する）の画像は、類似して見え得る。ウェアラブルシステムは、フレームが鏡フレームであると仮定し、演繹的推論（反射された画像を探すため等）を使用して、本仮定を検証（または反証）してもよい。代替として、ウェアラブルシステムは、フレームが写真フレームであると仮定し、演繹的推論を使用して、本仮定を検証または反証してもよい（例えば、反射された画像が識別されない）。
【0572】
いくつかの実施形態では、ウェアラブルシステムは、距離認識技法（例えば、立体視システムまたは深度カメラを用いて）を使用して、オブジェクトが鏡または写真フレームであるかどうかを分析してもよい。これは、写真フレーム（例えば、写真または絵画）内のオブジェクトの画像が、写真フレームと同一平面（例えば、写真フレームと実質的に同一平面）内にある一方、鏡内のオブジェクトの画像（例えば、ユーザまたはユーザの環境内のオブジェクトの反射された画像）は、典型的には、鏡の平面の背後にあって、鏡と同一平面ではない、深度を有するため可能である。故に、フレーム内に現れるオブジェクトの深度を判定することによって、ＨＭＤシステムは、フレームが鏡と関連付けられるかどうかを区別し得る。
【0573】
鏡の形状が、キューであってもよい。典型的には、鏡は、長方形または卵形形状を有するが、他の形状も、可能性として考えられる。ウェアラブルシステムは、ユーザの環境内の長方形オブジェクトまたは卵形オブジェクトを検出してもよい。ウェアラブルシステムは、そのようなオブジェクトを鏡として暫定的に指定し、本明細書に説明される他のキューを使用して、オブジェクトが鏡であるかどうかをさらに検証（または反証）してもよい。逆に言えば、ウェアラブルシステムは、そのようなオブジェクトを非鏡開口（例えば、窓または出入口）として暫定的に指定し、本明細書に説明される他のキューを使用して、オブジェクトが非鏡開口であるかどうかをさらに検証（または反証）してもよい。
【0574】
ウェアラブルシステムはまた、サイズ、場所、面法線等の鏡の他の特徴を使用して、鏡の存在を判定してもよい。例えば、鏡は、多くの場合、垂直壁上に吊架され、床から天井まで完全に延在しない。垂直壁上に吊架される他のオブジェクトは、鏡ではない、例えば、絵画、フラットスクリーンディスプレイ等であり得る。垂直壁の一部のみを占有する、垂直壁上の長方形オブジェクトの検出は、ウェアラブルシステムに、オブジェクトは、鏡であり得る（またはそうではあり得ない）ことを示し得る。さらに、オブジェクトの面法線が、壁と垂直（または壁の面法線と平行）である場合、オブジェクトは、壁に対して比較的に平坦に吊架されている可能性が高く、鏡または写真である可能性がより高い。ウェアラブルシステムは、可能性として考えられる鏡オブジェクトの検出後、本明細書に説明される他のキューを使用して、オブジェクトが鏡である（またはそうではない）かどうかを判定してもよい。
（距離認識を使用する例示的キュー）
（距離認識を使用する例示的キュー）
【0575】
いくつかの実施形態では、ウェアラブルシステムは、深度を測定可能である。深度は、光学技法（例えば、外向きイメージングシステムを使用した立体視イメージング）を使用して、または能動的電磁または音響信号を使用して（ライダーシステムまたは音響深度センサを使用して等）、測定されてもよい。ウェアラブルシステムは、鏡であり得る、オブジェクトの境界を識別してもよい。ウェアラブルシステムは、オブジェクトの縁の近傍で深度測定を行ってもよい。オブジェクトの縁（例えば、鏡のフレーム）から生じる深度測定における不連続性の検出は、オブジェクトが鏡であることのキューであり得る。
【0576】
しかしながら、いくつかの状況では（深度が立体視的に測定されるとき等）、ウェアラブルシステムは、オブジェクトが、実際は、開口（例えば、窓または出入口）であるとき、類似の深度不連続性情報を得る場合がある。開口と鏡を区別するために、ウェアラブルシステムは、顔認識、キーポイント認識、または本明細書に説明される他の技法等の他のキューを使用して、鏡の存在をさらに検証してもよい。
（ＨＭＤからのクエリに基づく例示的キュー）
（ＨＭＤからのクエリに基づく例示的キュー）
【0577】
ウェアラブルシステムは、ＨＭＤからのクエリを送信することによって、鏡の存在を検証してもよい。クエリは、１つまたはそれを上回る信号を備えてもよい。信号は、電磁信号（例えば、光学信号）、音響信号（例えば、超音波）等であってもよい。例えば、ＨＭＤ１３６０ａ（図１７に示される）は、光（例えば、赤外線光）をオブジェクト上に投射してもよい。ウェアラブルシステムは、光が跳ね返ることを検出する場合、ウェアラブルシステムは、それをキューとして使用し、オブジェクトが反射表面を有することを判定してもよい。ある実施形態では、ウェアラブルシステムは、表面が反射表面であるかどうかを判定するときに受信される信号の強度に関して閾値を設定してもよい。例えば、ユーザの部屋内の複数のオブジェクト（研磨された石のテーブルトップ等）が、光を反射させ得るが、鏡は、典型的には、他のオブジェクトより多くの光を反射させるであろう。その結果、ウェアラブルシステムは、ウェアラブルシステムが、オブジェクトを鏡として誤って識別する可能性を低減させ得るように、反射に関する閾値を十分に高く設定してもよい。同様に、鏡の音響反射特徴は、壁の音響反射特徴より高くあり得る。
【0578】
ＨＭＤはまた、信号を鏡と関連付けられたデバイスから受動的に受信してもよい。例えば、鏡は、それに取り付けられた１つまたはそれを上回るラベルを有してもよい。例えば、図１８に示されるラベル５３４０が、鏡表面もしくはフレームに取り付けられる、または鏡の近傍に設置されてもよい。ラベルは、光学センサ（例えば、ＨＭＤの外向きカメラ）によって読み取られ得る、情報（例えば、バーコード、クイックレスポンス（ＱＲ）コード、またはパターンを伴うステッカー）を備える、光学ラベルであってもよい。情報は、識別情報（例えば、オブジェクトが鏡である）または他の鏡についての情報（例えば、そのサイズ等）を含んでもよい。ラベル５３４０は、オブジェクトについての識別情報（例えば、鏡である）を判定するために照会され得る（またはその存在をブロードキャストし得る）、無線周波数識別（ＲＦＩＤ）タグ（能動または受動）を含んでもよい。別の実施例として、ラベル５３４０は、ＨＭＤ上の音響センサによって検出される音響信号を出力する（例えば、超音波周波数において）、音響エミッタを備えてもよい。音響信号は、ＲＦ情報と同様に、オブジェクトを鏡として識別する情報を含んでもよい。
【0579】
これらのクエリ技法は、他のキューと併せて使用されてもよい。例えば、ウェアラブルシステムは、キーポイント認識技法を適用し、オブジェクトを鏡として暫定的に識別してもよい。ウェアラブルシステムは、次いで、クエリを識別されたオブジェクトに送信し、オブジェクトが実際に鏡であるかどうかを検証してもよい。これは、ＨＭＤからのクエリが実質的エネルギーを使用し得、クエリ技法の最終検証としての適用（ＨＭＤからの常時クエリとは対照的に）が、ＨＭＤによって要求されるエネルギーを低減させ得るため、有利であり得る。
（ユーザと関連付けられた例示的キュー）
（ユーザと関連付けられた例示的キュー）
【0580】
鏡は、ユーザと関連付けられたキューを使用して検出されてもよい。図１７Ａを参照すると、ユーザ１３６０ａが、部屋１３００内に立っている。ユーザは、ＨＭＤ１３２０ａを装着している。部屋５３００は、鏡１３３０を含む、種々のオブジェクト（例えば、オブジェクト１３１０ａ、１３１２ａ、１３１４）を有する。鏡１３３０は、部屋１３００内の周囲光を反射させ得る。その結果、ＨＭＤは、ユーザの反射された画像１３６０ｂ、ＨＭＤの反射された画像１３２０ｂ、および部屋１３００内のオブジェクトの反射された画像（例えば、１３１０ｂ、１３１２ｂ）を捕捉し得る。
（顔認識を使用するキュー）
（顔認識を使用するキュー）
【0581】
ウェアラブルシステムは、外向きイメージングシステムによってユーザの顔を検出するように構成されてもよい。外向きイメージングシステムによって取得された画像内のユーザの顔の存在は、反射表面（鏡等）の存在に関するキューであり得る。これは、ユーザには、通常、その顔の反射された画像を提供する反射表面がない限り、自身の顔が見えないであろうため、可能である。
【0582】
ウェアラブルシステムは、ユーザの反射された画像と既知のユーザの顔の画像を比較することによって、ユーザ１３６０ａの顔（部屋１３００内の別の人物とは対照的に）を認識してもよい。ユーザの顔の画像は、種々の技法を使用して得られてもよい。例えば、ＨＭＤ１３２０ａは、ユーザがＨＭＤ１３２０ａを装着している間、内向きイメージングシステム５００（図５ではカメラ５００とも称される）を使用して、ユーザの顔の画像を得てもよい。ＨＭＤ１３２０ａはまた、外向きイメージングシステム５０２をユーザに向かって旋回させ、外向きイメージングシステム５０２を使用して、ユーザの顔を撮像することによって、ユーザの顔画像を得てもよい。ウェアラブルシステムは、ＨＭＤ１３２０ａの外部のカメラを使用して、ユーザ１３６０ａの写真を撮影すること等によって、他のチャネルを通してユーザの画像を得てもよい。
【0583】
ＨＭＤ１３２０ａが、部屋１３００を撮像しているとき、外向きイメージングシステム５０２は、鏡内のユーザの顔の反射された画像を捕捉してもよい。ウェアラブルシステムは、反射された画像とユーザの既知の顔画像を比較し、顔のこれらの２つの画像が同一人物に属するかどうかを判定してもよい。ウェアラブルシステムが、ユーザの顔と反射された顔との間の合致が存在することを判定する場合、ウェアラブルシステムは、ユーザの顔の反射された画像の周囲の領域を鏡としてタグ付けしてもよい。
【0584】
ある実施形態では、ウェアラブルシステムは、ユーザの既知の画像またはユーザの反射された画像を処理して、合致を判定してもよい。例えば、ユーザが、直接、鏡に面していないとき、ウェアラブルシステムは、ユーザの顔のモデルを回転させ、ユーザの顔の側面とユーザの顔の取得された画像を比較してもよい。別の実施例では、ウェアラブルシステムは、ユーザの顔の反射された画像内のＨＭＤ１３２０ｂを「除去」し、随意に、ＨＭＤによって隠されている部分にパッチしてもよい。ウェアラブルシステムは、本処理された画像とユーザの顔の隠されていない画像を比較し、画像が同一人物を識別するかどうかを判定してもよい。同様に、ウェアラブルシステムは、ＨＭＤの画像を顔の既知の画像に「追加」し、本処理された画像とユーザの取得された画像を比較してもよい。
【0585】
ウェアラブルシステムはまた、他の技法を使用して、顔を識別してもよい。例えば、ウェアラブルシステムは、鼻、口、耳等のヒトの顔のある特徴を認識してもよい。ウェアラブルシステムは、任意の顔認識アルゴリズムを使用して、本技法を実装してもよい。
（ユーザのインジケーションに基づくキュー）
（ユーザのインジケーションに基づくキュー）
【0586】
ウェアラブルシステムは、オブジェクトが鏡であるかどうかのユーザの前または現在のインジケーションを鏡検出のためのキューとして使用してもよい。例えば、ウェアラブルシステムが、本明細書に説明される技法を使用して、鏡であり得るオブジェクトを識別するとき、ウェアラブルシステムは、ユーザ選択可能要素（例えば、メニュー、ボタン、トグル等）を提供し、ユーザが、これが実際に鏡であることを入力することを可能にしてもよい。ユーザが、肯定応答する場合、ウェアラブルシステムは、オブジェクトを鏡として指定してもよい。別の実施例として、ウェアラブルシステムは、鏡を認識するように訓練されてもよい。例えば、ユーザは、オブジェクトを鏡として示してもよい。本インジケーションに基づいて、ウェアラブルシステムは、形状、サイズ、場所、光学特性等のオブジェクトの性質を取得し、これらの性質と鏡を関連付けてもよい。ウェアラブルシステムは、後に、これらの性質を使用して、鏡の存在を検出してもよい。
（ユーザの移動に基づくキュー）
（ユーザの移動に基づくキュー）
【0587】
ウェアラブルシステムはまた、ユーザの移動データを取得することによって、鏡の存在を検出してもよい。移動は、速度、加速、または位置変化（回転、１つの場所から他の場所への移動等）を含んでもよい。ウェアラブルシステムは、慣性測定ユニット（ＩＭＵ）を含み、ユーザまたはユーザの身体の一部（例えば、ユーザの頭部）の位置または配向を判定する。ＩＭＵは、加速度計、ジャイロスコープ、磁力計等のうちの１つまたはそれを上回るものを含んでもよい。ウェアラブルシステムは、加えて、または代替として、外向きイメージングシステム５０２を使用して、ユーザの姿勢またはユーザの身体の一部（例えば、ジェスチャを行っているユーザの手）の移動を判定してもよい。そのような移動データを取得するための付加的詳細は、図１Ｂ、５、および９を参照して説明される。ウェアラブルシステムは、移動データと外向きイメージングシステムによって取得された視覚的データとの間の比較を鏡の存在に関するキューとして使用してもよい。移動データと視覚的データとの間の比較が、ユーザの移動がＨＭＤによって観察される視覚的データと一貫することを示唆する場合、ウェアラブルシステムは、視覚的データと関連付けられた画像の領域を鏡としてタグ付けしてもよい。
【0588】
ある実施形態では、ウェアラブルシステムは、頭部姿勢における変化を検出してもよい。図１７Ｂは、ユーザの頭部姿勢を定義するために使用され得る、３Ｄ角度座標系の実施例を図示する。例えば、図１７Ｂに示されるように、ユーザの頭部５９４０は、複数の自由度を有し得る。頭部５９４０が、異なる方向に向かって移動するにつれて、頭部姿勢は、自然安静方向５９２０に対して変化するであろう。図１７Ｂにおける座標系は、頭部の自然安静状態５９２０に対して頭部姿勢を測定するために使用され得る、３つの角度自由度（例えば、ヨー、ピッチ、およびロール）を示す。図１７Ｂに図示されるように、頭部５９４０は、前方および後方に傾斜する（例えば、ピッチ）、左および右に旋回する（例えば、ヨー）、かつ側方に傾斜し得る（例えば、ロール）。いくつかの他の実施形態では、頭部姿勢を測定するための他の技法または角度表現は、例えば、任意の他のタイプのＥｕｌｅｒ角度系が、使用されてもよい。頭部姿勢におけるこれらの変化は、ある時間周期にわたって得られるユーザの頭部の反射された画像とともに記録および比較されてもよい。ウェアラブルシステムが、頭部の移動データと頭部の観察される視覚的データとの間の相違を判定する場合、ウェアラブルシステムは、鏡の存在を検出し得る。
【0589】
有利には、本技法は、顔認識等の他のキューと組み合わせられてもよい。例えば、ウェアラブルシステムは、最初に、顔認識を使用して、鏡であり得るオブジェクト内の顔を認識してもよい。観察される顔がユーザの顔または別の人物の顔の反射された画像であるかどうかをさらに区別するために、ウェアラブルシステムは、顔の移動を観察し、そのような移動とユーザの移動データを比較してもよい。これらの２つの移動が、相互に相関する場合、ウェアラブルシステムは、観察される顔は、ユーザの顔の反射された画像であることを判定し、それによって、鏡の存在を検出してもよい。
【0590】
図１８は、ユーザと関連付けられたキューを使用する鏡検出の別の実施例を図示する。図１８は、鏡５４５０の正面のユーザの手５３７０を示す。鏡５４５０は、周囲光を反射させ得るため、ユーザには、その手の反射された画像５３７１が見え得る。ユーザは、その手を位置５３６０ａから位置５３６０ｂまで軌道５３８０に沿って移動させてもよい。故に、ユーザの手の鏡像５３６１もまた、位置５３６１ａから５３６１ｂに移動し得る。
【0591】
ウェアラブルシステムは、ユーザの手５３７０およびユーザの手の反射された画像５３７１の位置における変化を観察してもよい（例えば、外向きイメージングシステムを使用して）。ウェアラブルシステムは、手５３７０および反射された画像５３７１の位置における変化間の比較を鏡検出におけるキューとして使用してもよい。例えば、ＨＭＤは、外向きイメージングシステム５０２を使用して、複数の画像を経時的に得てもよい（例えば、複数の静止フレームとして、またはビデオからのフレームとして）。画像は、ユーザの手５３７０およびユーザの手の反射された画像５３７１を含んでもよい。ウェアラブルシステムは、ユーザの手５３７０の位置変化とユーザの手の反射された画像５３７１の位置変化を比較してもよい。例えば、ウェアラブルシステムは、ユーザの手の移動の軌道およびユーザの手の反射された画像５３７１の別の軌道を計算してもよい。
【0592】
ウェアラブルシステムは、ユーザの手移動の軌道と反射された画像の移動の軌道を比較してもよい。ウェアラブルシステムが、これらの２つの軌道が相互に相関することを判定する場合、ウェアラブルシステムは、ユーザの手５３７０の正面のオブジェクトが鏡であることを判定してもよい。ウェアラブルシステムはまた、ユーザの手の軌道５３８０に基づいて、手の鏡像の推定される軌道を計算し、推定された軌道と反射された手の観察される軌道を比較してもよい。同様に、ウェアラブルシステムは、手の反射された画像の軌道に基づいて、手の移動の軌道を推定してもよい。推定された軌道が、手の観察される軌道と相関する場合、ウェアラブルシステムは、手の正面のオブジェクトを鏡としてタグ付けしてもよい。
【0593】
本明細書における実施例は、ユーザの移動の観察を参照して説明されるが、これらの実施例は、限定することを意図するものではない。ウェアラブルシステムは、ユーザの環境内の任意のオブジェクトの移動およびそのような移動の反射であり得るオブジェクトの移動を観察してもよい。例えば、ウェアラブルシステムは、外向きイメージングシステムを使用して、比較的にゆっくりと回転する天井のファンの移動を追跡し、それと反射された天井のファンの移動を比較してもよい。ウェアラブルシステムはまた、２つを上回るオブジェクトの移動を観察してもよい。例えば、ウェアラブルシステムは、ユーザの頭部の移動、ユーザの頭部の反射された画像、および天井のファンの反射された画像を観察してもよい。観察される移動に基づいて、ウェアラブルシステムは、ユーザの頭部がユーザの頭部の反射された画像（天井のファンの反射された画像の代わりに）に対応することを判定してもよい。
【0594】
図１９は、３つの移動するオブジェクトの軌道の実施例を示す。軸５４７４は、３Ｄ空間の１つの次元（ｘ）におけるオブジェクトの位置を表すが、これは、例証のためであって、限定ではない。軸５４７２は、時間を表す。ウェアラブルシステムは、オブジェクト（ユーザの頭部、ユーザの身体姿勢、ユーザの頭部の鏡像等）の移動を経時的に監視し、そのようなオブジェクトの軌道を判定してもよい。例えば、図１９では、第１のオブジェクトは、軌道５４３０に沿って移動する。第２のオブジェクトは、軌道５４４０に沿って移動する。ウェアラブルシステムは、軌道５４３０および軌道５４４０の共分散を計算してもよい。共分散が、ある閾値を満たすために十分に小さい場合、ウェアラブルシステムは、第１のオブジェクトを第２のオブジェクトの鏡像またはその逆と見なし得る。一方、図１９に示されるように、軌道５４２０は、軌道５４３０と相関しない（例えば、閾値を上回る相関）。故に、軌道５４２０と関連付けられたオブジェクトは、軌道５４３０と関連付けられたオブジェクトの鏡像である可能性が低い。
【0595】
ウェアラブルシステムは、２つのオブジェクトの種々の移動データまたは視覚的データをフィルタ（例えば、カルマンフィルタ等）の中に入れ、不確実性の安定性を判定してもよい。不確実性は、２つのオブジェクトの移動間の共分散によって表され得る。例えば、ウェアラブルシステムは、ユーザの頭部の位置、速度、加速等のデータを集め、そのデータを使用して、ユーザの頭部の鏡像に関する移動の推定値を生成してもよい。外向きイメージングシステムが、鏡像の推定された移動に追従するユーザの環境内のオブジェクトを一貫して観察する場合、ウェアラブルシステムは、オブジェクトがユーザの頭部の鏡像である可能性が高いと判定してもよい。一方、ウェアラブルシステムが、鏡像の推定された移動に追従しないユーザの環境内の別のオブジェクトを観察する場合、ウェアラブルシステムは、オブジェクトがユーザの頭部の鏡像ではないと判定してもよい。
（鏡検出のためのキューの組み合わせの使用の実施例）
（鏡検出のためのキューの組み合わせの使用の実施例）
【0596】
時として、キューは、オブジェクトが鏡であるかどうかに関して決定的ではない場合がある。その結果、ウェアラブルシステムは、キューの組み合わせを使用し、オブジェクトが鏡であることの可能性をさらに検査してもよい。例えば、鏡は、１つまたはそれを上回る構造構成要素（壁、出入口、窓、またはフレーム等）に取り付けられ得る。ウェアラブルシステムは、観察される画像内のキーポイントのセットを識別してもよい。キーポイントのセットは、構造構成要素上のキーポイントを含んでもよい。ウェアラブルシステムは、例えば、十分に多くの数の同一平面特徴が存在する場合、構造構成要素を壁（例えば、垂直平面構造）として識別してもよい。以下の説明は、構造構成要素の実施例として壁の観点からのものとなるであろうが、これは、例証のためのものであって、限定ではない。
【0597】
ウェアラブルシステムは、壁の次元内において側方に位置するが、ユーザの視点から、壁までの距離より離れた距離に現れ得る、キーポイントを識別してもよい。キーポイントの本セットは、開口（例えば、開放出入口）であり得る、または鏡であり得る、オブジェクトを定義する。観察されるキーポイントは、ユーザの視点に依存し得る。ユーザは、ユーザの姿勢または物理的場所に基づいて、異なるキーポイントのセットを観察し得るため、ウェアラブルシステムは、世界マップ内のキーポイントがユーザの位置またはその視線方向と関連付けられ得るように、１つまたはそれを上回る指向性ベクトルをキーポイントに結び付けてもよい。図１６を参照すると、ユーザは、ユーザが鏡５０５０の正面に立っている場合、鏡５０５０内の机５０１０ｂの一部を観察し得る。しかしながら、ユーザが、部屋５０００内でドアにより近づき、鏡を見る場合、ユーザは、机５０１０ｂのより大きい部分を観察し得る。
【0598】
識別された投影点のセットは、ユーザ（ユーザの現在の物理的場所において）につながる光線上にあるキーポイントおよび壁の他側に現れるオブジェクトを含んでもよい。オブジェクトは、潜在的に、オブジェクトの多角形境界を定義し得る投影された点の凸包より小さくない、鏡を含み得る。さらに、鏡は、壁上に位置するキーポイントの内包と同程度の大きさであり得る。いくつかの実施形態では、ウェアラブルシステムが、指向性ベクトルをキーポイントに結び付けるとき、ウェアラブルシステムは、これらの指向性ベクトルを使用して、鏡の境界を判定してもよい。
【0599】
しかしながら、壁の他側に現れるキーポイントの観察は、オブジェクトが鏡（例えば、キーポイントは、鏡の正面の物理的オブジェクトの反射された画像を表す）または開口（例えば、キーポイントは、出入口を通した壁を越えた別の部屋内の物理的オブジェクトを表す）であるかどうかに関して決定的ではない。その結果、ウェアラブルシステムは、オブジェクトを鏡として暫定的に指定し、他のキュー（本明細書に説明される）を使用して、オブジェクトが実際に鏡であるかどうかを検証（または反証）してもよい。逆に言えば、ウェアラブルシステムは、オブジェクトを開口として暫定的に指定し、他のキューを使用して、オブジェクトが鏡であるかどうかをさらに判定してもよい。いくつかの実施形態では、ウェアラブルシステムは、オブジェクトが鏡であるかどうかに関する確率を割り当ててもよい。確率は、キューのタイプ、環境の前のモデル、ユーザの挙動等に基づいて計算されてもよい。ウェアラブルシステムは、本明細書に説明されるキューとともに、機械学習技法（例えば、ｎａｉｖｅ Ｂａｙｅｓモデル）を使用し、オブジェクトが鏡（または開口）である可能性を判定してもよい。
（鏡検出のための例示的プロセス）
（鏡検出のための例示的プロセス）
【0600】
図２０および２１は、キューを使用する鏡検出のための例示的方法のフローチャートを図示する。プロセス２０００（図２０に示される）およびプロセス１９００（図２１に示される）は、ウェアラブルシステム（例えば、図１Ｂに説明されるウェアラブルディスプレイシステム８０参照）によって行われてもよい。
【0601】
図２０では、ブロック２０１０において、ウェアラブルシステムは、イメージングシステムを使用して、環境の画像を得てもよい。イメージングシステムは、外向きイメージングシステム５０２（図５に示される）を含んでもよい。ブロック２０２０では、ウェアラブルシステムは、イメージングシステムによって取得された画像を分析し、画像内において、潜在的に反射表面を有し得る、オブジェクトを識別してもよい。ウェアラブルシステムは、本明細書に説明される１つまたはそれを上回るキューを使用して、そのようなオブジェクトを識別してもよい。例えば、ウェアラブルシステムは、ユーザの顔、反射下のオブジェクトのある挙動（例えば、反転されたテキスト等）、および／または画像内のあるキーポイントを識別してもよい。ウェアラブルシステムが、これらのキューが鏡の存在と関連付けられ得ることを判定する場合、ウェアラブルシステムは、これらのキューの周囲の領域を反射表面として暫定的に指定してもよい。
【0602】
ブロック２０１０および２０２０に加えて、またはその代替として、ブロック２０３０では、ウェアラブルシステムは、環境内の反射表面の存在と関連付けられたキューを示す信号を受信してもよい。図１６を参照して説明されるように、ウェアラブルシステムは、能動的クエリ（閃光、赤外線パルス、および／または電磁信号等）をオブジェクトに送信し、受信されたフィードバックに基づいて、オブジェクトが反射表面を有するかどうかを判定してもよい。ウェアラブルシステムはまた、オブジェクトから、オブジェクトが鏡であることを示す信号を受信してもよい。例えば、鏡は、ある周波数を有する、ＲＦＩＤタグと関連付けられてもよい。ウェアラブルシステムは、信号をＲＦＩＤからピックアップし、それによって、ＲＦＩＤと関連付けられたオブジェクトが鏡であり得ることを認識することが可能であり得る。
【0603】
ブロック２０４０では、ウェアラブルシステムはさらに、１つまたはそれを上回るキューを分析し、識別されたオブジェクトが反射表面を有するかどうかを検証（または反証）してもよい。例えば、ウェアラブルシステムは、取得された画像、移動データ、ＨＭＤからのクエリ等に基づいて、反射表面の存在を判定してもよい。ある実施形態では、ブロック２０４０は、ウェアラブルシステムが、ブロック２０２０またはブロック２０３０において反射表面を判定可能である場合、随意である。
【0604】
ブロック２０５０では、いったん反射表面が認識されると、ウェアラブルシステムは、１つまたはそれを上回るアクションを行ってもよい。例えば、ウェアラブルシステムは、データ記憶装置と通信し、鏡と関連付けられた情報を得てもよい。ウェアラブルシステムは、仮想単語「鏡」を反射表面の上部に表示してもよい。ウェアラブルシステムはまた、鏡と関連付けられた仮想メニューを提供してもよい。例えば、ユーザは、仮想メニュー上のオプションを選択することによって、別のユーザとテレプレゼンスセッションを開始してもよい。プロセス１９００は、ウェアラブルシステムによって観察される移動データを分析することによって、反射表面の存在を識別する方法を図示する。ブロック１９１０では、ウェアラブルシステムは、少なくとも部分的に、ユーザの身体の反射された画像の移動に基づいて、第１の軌道を判定する。例えば、反射された画像は、ユーザの頭部の反射された画像を含んでもよい。
【0605】
ブロック１９２０では、ウェアラブルシステムは、反射された画像内で観察されるユーザの身体の一部に関する移動データを得る。例えば、ウェアラブルシステムは、本明細書に説明される種々のセンサを使用して、ユーザの頭部の移動を得てもよい。
【0606】
ブロック１９３０では、ウェアラブルシステムは、ユーザの身体の移動データを分析し、第２の軌道を判定してもよい。ウェアラブルシステムは、ブロック１９４０において、第１の軌道および第２の軌道を比較し、これらの２つの軌道が相関するかどうかを判定してもよい。ブロック１９５０では、ウェアラブルシステムが、これらの２つの軌道が相互に相関することを判定する場合、ウェアラブルシステムは、視覚的データおよび移動データが同一オブジェクト（例えば、ユーザの身体）の移動を説明することを判定してもよい。少なくとも部分的に、本分析に基づいて、ウェアラブルシステムは、反射表面の存在を検出してもよい。
（反射表面の存在下における世界マップ）
（反射表面の存在下における世界マップ）
【0607】
ＨＭＤは、外向きカメラを使用して、ＨＭＤのユーザの周囲の環境を撮像してもよい。画像は、静止画像、ビデオからの個々のフレーム、またはビデオを含んでもよい。ＨＭＤは、ＨＭＤが、仮想オブジェクトをユーザのための環境内に適切に設置し、相互作用するように、環境の３次元（３Ｄ）マップ（世界マップ９２０の実施形態であってもよい）を構築してもよい。例えば、ＨＭＤのユーザが、部屋内に存在する場合、マップは、部屋のサイズおよび形状、ドアまたは窓の存在（そのサイズおよび形状を含む）、部屋内の物理的オブジェクトの場所、サイズ、および特性についての情報を含んでもよい。
【0608】
環境内の１つまたはそれを上回る鏡の存在は、ＨＭＤに、アーチファクトを環境の３Ｄマップ内に生成させ得る。例えば、鏡は、環境内の物理的オブジェクトからの周囲光を反射させるため、ＨＭＤカメラによって撮影された鏡の画像は、物理的オブジェクトの反射されたバージョンを示すであろう。ＨＭＤが、鏡の存在を認識しない場合、ＨＭＤは、部屋の反射されたバージョン内に現れる、これらのオブジェクトの反射されたバージョンを実際の物理的オブジェクトとして解釈するように試み得る。要するに、ＨＭＤは、存在せず、同様に存在しないオブジェクト（実際のオブジェクトの反射されたバージョン）で充填される、部屋（実際の部屋の反射されたバージョン）の中へのドアまたは窓として鏡を不適切に解釈し得る。ＨＭＤは、物理的世界内に存在しない、そのような「反射された部屋」の存在および性質を含め、３Ｄマップを不適切に更新し得る。いくつかの実施形態では、環境は、２つの部屋のうちの第１の部屋内の壁上に吊架された鏡を伴う、共通壁を共有する、２つの部屋を含み得る。しかしながら、ウェアラブルシステムは、第１の部屋内の鏡を第２の部屋の中へのドアまたは窓として不適切に解釈し得るため、ウェアラブルシステムは、それらが第２の部屋内の物理的オブジェクトであるかのように、鏡内の反射されたオブジェクトをタグ付けし得、これは、第２の部屋の３Ｄマップを破壊し得る。故に、環境内の鏡の存在は、ＨＭＤによって認識されない場合、３Ｄマップ内のアーチファクト（例えば、反射された部屋、反射された部屋内にあるように現れる反射されたオブジェクト等）につながり得る。
【0609】
環境内の鏡を取り扱う本課題に対処するために、ＨＭＤは、鏡検出技法を使用して、環境内の鏡の存在を検出してもよい。いったん検出されると、ＨＭＤは、鏡を適切に考慮する（かつ反射された物理的オブジェクト等のアーチファクトを含まない）、３Ｄマップを生成し得る、または既存の３Ｄマップを更新または補正し、鏡の存在によって生じるアーチファクトを除去し得る。例えば、ＨＭＤは、ＨＭＤによって取得された画像内の鏡の存在を認識するように構成される、オブジェクト認識装置を含んでもよい。鏡についての情報（例えば、場所、サイズ、形状等）および環境についての情報（例えば、環境のサイズおよび形状ならびに環境内の物理的オブジェクトの場所）に基づいて、ＨＭＤは、鏡と関連付けられたアーチファクトを既存の世界マップから除去する、またはアーチファクトのない新しい世界マップを生成し得る。
（世界マップの実施例）
（世界マップの実施例）
【0610】
図２２Ａは、ドアによって継合された２つの部屋を含む、３次元（３Ｄ）環境の実施例を図示する。図２２Ａは、出入口６５５０によって接続される、２つの部屋６０００ａ、６２００を図示する。部屋６０００ａは、例えば、椅子、植物、回転椅子、テーブル、またはモニタ等の複数の物理的オブジェクト６０１０ａおよび６０１０ｂを含んでもよい。部屋６２００はまた、例えば、ソファー、ネコが留まっているカーペット、書棚、または写真等の複数のオブジェクト６２１０ａおよび６２１０ｂを有してもよい。
【0611】
ＨＭＤは、ユーザの環境を撮像し得る、外向きイメージングシステム（例えば、図５に示される外向きイメージングシステム５０２参照）を有してもよい。部屋６０００ａ内のＨＭＤのユーザは、出入口６５５０の正面に立ち得る。ユーザは、出入口６５５０を通して、部屋６２００内のオブジェクト（例えば、実線で示されるオブジェクト６２１０およびオブジェクト６２１０ａの一部）を知覚し得る。ＨＭＤは、故に、ユーザの環境の３Ｄマップを更新し、オブジェクト６２１０ａおよび６２１０ｂと部屋６２００を関連付けてもよい。
【0612】
いくつかの実施形態では、世界マップは、１つまたはそれを上回るキーポイントのセットを備えてもよい。例えば、図２２Ａでは、部屋６０００ａ内のキーポイントは、植物の葉先、モニタ画面の角、机の上角および下角等を含んでもよい。これらのキーポイントは、高密度表面表現と組み合わせられ、世界マップを形成してもよい（例えば、ＳＬＡＭまたはＶ－ＳＬＡＭ技法を使用して）。ある状況では、ＨＭＤによって識別されるキーポイントのセットは、ＨＭＤを装着しているユーザの姿勢（身体、頭部、および／または眼姿勢等）に基づいて異なり得る。例えば、図２２Ａでは、ＨＭＤは、ユーザが部屋６０００ａ内の出入口６５５０の正面に立っているとき、部屋６２００内のソファーの一部を撮像し得る。しかしながら、ユーザが、部屋６０００ａ内の片側に立っており、部屋６２００内の書棚に向かって見ている場合、ＨＭＤは、ソファーがユーザの視野内にないため、ソファーの画像を取得不可能となり得る。同様に、図１６を参照すると、ユーザは、ユーザが鏡５０５０の正面に立っているとき、机の一部の鏡像を観察し得る。ユーザは、ユーザが部屋５０００内のドアに向かって左に移動する場合、鏡内の机のより大きい部分を観察可能であり得る。有利には、ウェアラブルシステムは、世界マップ内のキーポイントがユーザの位置および／またはその視線の方向と関連付けられ得るように、１つまたはそれを上回る指向性ベクトルをキーポイントに結び付け得る。
（鏡によって生成されるアーチファクトの実施例）
（鏡によって生成されるアーチファクトの実施例）
【0613】
図２２Ｂは、部屋内のオブジェクトを反射させる鏡を含む、単一部屋の実施例を図示する。図２２Ｂはまた、破線において、鏡の存在を認識しない拡張現実デバイスによって生成された３Ｄマップ内のアーチファクトとして現れ得る、部屋の反射されたバージョンを示す。
【0614】
図２２Ｂは、図２２Ａに図示される部屋６０００ａに示される出入口６５５０の代わりに、鏡６５５５を伴う、１つの部屋６０００ｂを図示する。部屋６０００ｂは、概して、図２２Ａに示される部屋６０００ａに類似し、オブジェクト６０１０ａおよび６０１０ｂを含む。鏡６５５５は、部屋６０００ｂ内の周囲光を反射させ得る。その結果、部屋６０００ｂ内の実際の物理的オブジェクト６０１０ａの反射された画像６１１０ａが存在し得る。例えば、図２２Ｂでは、反射された画像６１１０ａは、部屋６０００ｂ内に実際に存在する、植物、机の一部、回転椅子の一部、またはモニタの画像を含み得る。
【0615】
ＨＭＤを装着しているユーザは、部屋６０００ｂ内の鏡６５５５の近傍に立ち得る。ユーザは、ＨＭＤを通して、鏡６５５５および鏡と関連付けられた反射された画像６１１０ａを知覚し得る。ＨＭＤのイメージングシステムは、鏡６５５５の画像、反射された画像６１１０ａ、ならびに物理的オブジェクト６０１０ａの画像を含む、環境の画像を得る。しかしながら、ＨＭＤは、ＨＭＤによって撮像されたオブジェクトが反射された画像または物理的オブジェクトであるかどうかを把握しない場合があるため、ＨＭＤは、オブジェクトの反射された画像が物理的オブジェクトであるかのように、ユーザの環境の３Ｄ世界マップを更新し得る。その結果、図２２Ｂに示されるように、ＨＭＤは、鏡６５５５を部屋６１００への出入口（実際には存在しない）として誤って記録し得、反射された画像６１１０ａを部屋６１００の内側の物理的オブジェクト（同様に、実際には存在しない）として関連付け得る。
【0616】
いくつかの状況では、実際に、実際の物理的空間（部屋等）が鏡６５５５を支持する壁の背後に存在し得る。本物理的空間は、ＨＭＤ（または別のＨＭＤ）のユーザによって以前にマップされており、マップ世界内に含められている場合がある。ＨＭＤが、鏡６５５５の存在を検出しない場合、ＨＭＤは、現実には、単に反射された画像６１１０ａである、物理的オブジェクトを含むように世界マップの修正を試み得る。故に、部屋内で検出されていない鏡の存在は、部屋に隣接する他の物理的空間の世界マップ内のアーチファクトにつながり得る。経時的に、世界マップを使用不能にするほどの十分なアーチファクトが、世界マップの中に組み込まれる得る。
（アーチファクトの実質的にない世界マップの実施例）
（アーチファクトの実質的にない世界マップの実施例）
【0617】
前述のように、図１６を参照すると、ウェアラブルシステムは、１つまたはそれを上回るキューを使用して、鏡５０５０の存在を検出してもよい。故に、図１６における部屋５０００の３Ｄマップは、ユーザの環境内の鏡の存在を考慮し得る。図１６では、部屋５０００ｂは、複数のオブジェクト５０１０ａ、５０１０ｂ、５０１０ｃ、５０１０ｄを有してもよい。部屋５０００は、部屋５０５０内の周囲光を反射させる、鏡５０５０を有し、部屋内の個別のオブジェクト５０１０ａ、５０１０ｂ、５０１０ｃの複数の反射された画像５０１１ａ、５０１１ｂ、５０１１ｃを示す。
【0618】
本実施例では、ウェアラブルシステムは、例えば、顔認識、キーポイント認識、鏡内のＨＭＤの反射された画像の認識、閃光および赤外線パルス、音響信号（例えば、超音波）等のデバイスからの能動的クエリ、鏡と鏡を支持する壁との間の深度不連続性、鏡の形状、または光学ラベル（例えば、バーコードまたはクイックレスポンス（ＱＲ）コード）等の鏡の特殊特徴等の種々の技法を使用して、鏡５０５０の存在を認識してもよい。ウェアラブルシステムはまた、部屋５０００内のオブジェクトの反射された画像を認識するように構成されてもよい。いったんウェアラブルシステムが、オブジェクトが実際には反射された画像であることを判定すると（例えば、物理的オブジェクトの鏡像であるため）、ウェアラブルシステムは、反射された画像を使用して、鏡と関連付けられた情報（例えば、サイズ、形状、場所等）を判定してもよい。ウェアラブルシステムは、鏡５０５０を認識し、鏡５０５についての情報を解析し得る、１つまたはそれを上回るオブジェクト認識装置７０８（図７および１２に示される）を含むように構成されてもよい。鏡検出のための技法は、鏡の画像を撮影し得る、外向きカメラ５０２（図５に示される）等の本明細書に説明される種々のセンサと組み合わせて使用されてもよい。
【0619】
ウェアラブルシステムは、部屋５０００の世界マップにアクセスし、鏡５０５０と関連付けられたアーチファクトの一部または全部を除去することによって、既存の世界マップを補正してもよい。例えば、ウェアラブルシステムは、鏡の存在に起因して正しくなく生成された部屋５１００（図２２Ｂに示される）を除去してもよい。ウェアラブルシステムはまた、部屋５０００内のオブジェクトの反射された画像５０１１ａ、５０１１ｂ、５０１１ｃを除去してもよい。ある実施形態では、ウェアラブルシステムは、１つまたはそれを上回る指向性ベクトルをアーチファクトに結び付けてもよい。その結果、アーチファクトは、ユーザの位置および／またはその視線の方向と関連付けられ得る。いったん鏡が識別されると、ウェアラブルシステムは、これらの指向性ベクトルを使用して、ユーザの位置および／または視線の方向と関連付けられたアーチファクトを除去し、例えば、その視点がウェアラブルシステムを介してそれらが「鏡を通して」観察されたことを示す、世界マップエントリを見出し、除去してもよい。
【0620】
いくつかの実施形態では、ウェアラブルシステムは、鏡内の反射された画像５０１１ａ、５０１１ｂ、５０１１ｃを除去しないことを選定してもよい。ウェアラブルシステムは、これらの画像５０１１ａ、５０１１ｂ、５０１１ｃを反射された画像としてタグ付けしてもよい。しかし、ウェアラブルシステムは、反射された画像５０１１ａと鏡５０５０の背後の物理的空間内の実際のオブジェクトを関連付けないであろう。故に、ウェアラブルシステムは、反射された画像５０１１ａ、５０１１ｂ、５０１１ｃに基づいて、アーチファクトを生成しないであろう。
【0621】
ウェアラブルシステムはまた、アーチファクトのない新しい世界マップを生成してもよい。例えば、ＨＭＤを装着しているユーザは、ユーザが歩き回るとき、環境を持続的に撮像してもよい。ユーザが鏡５０５０の近傍に存在するとき、ＨＭＤは、１つまたはそれを上回るオブジェクト認識装置２２０８を使用して、鏡の存在を検出し、鏡と関連付けられた情報を得てもよい。図１２を参照して説明されるように、ＨＭＤは、部屋５０００に関する世界マップ１２１０を生成するとき、他のコンピューティングデバイスに、鏡の存在について通信してもよい。ウェアラブルシステムは、鏡５０５０を反射表面としてタグ付けし得、鏡５０５０と関連付けられたアーチファクトを部屋５０００の世界マップに追加し得ない。
【0622】
いくつかの実施形態では、ウェアラブルシステムは、周囲光を反射させ、かつユーザが、反射表面を通して見ることを可能にし得る、反射表面（例えば、窓等）を検出し得る。例えば、ウェアラブルシステムは、１つまたはそれを上回るオブジェクト認識装置７０８を使用して、窓の存在を検出するように構成されてもよい。種々の鏡検出技法が、窓の存在を検出するために使用されてもよい。ウェアラブルシステムはまた、単独で、または窓を検出するための鏡検出技法と組み合わせて、他の技法を使用してもよい。
【0623】
ウェアラブルシステムが、窓を認識するとき、ウェアラブルシステムは、窓の反射性質に起因して生成されたアーチファクトを判定してもよい。ウェアラブルシステムは、本明細書に説明される技法を使用して、世界マップ内の窓外の物理的空間の画像を保ちながら、アーチファクトを既存の世界マップから除去してもよい。これは、ウェアラブルシステムが反射された画像を窓外の空間に属する物理的オブジェクトとして誤認した結果としての世界マップへの損傷の可能性を低減させ得る。同様に、本明細書に説明されるように、ウェアラブルシステムはまた、アーチファクトのない世界マップを生成し得る。
【0624】
いくつかの実施形態では、ウェアラブルシステムは、環境内の反射表面の存在を認識し、世界マップを生成するとき、部屋、オブジェクト等を世界マップの中に不適切に設置することを回避してもよい。いくつかの実施形態は、有利には、世界マップが反射表面の存在によって生じるアーチファクトを含む可能性を防止または低減させ得る。
（世界マップを生成および補正する例示的プロセス）
（世界マップを生成および補正する例示的プロセス）
【0625】
図２３は、環境内の反射表面の存在に起因して３Ｄ世界マップを生成および／または補正するための例示的方法７０００のフローチャートである。本方法は、本明細書に説明されるウェアラブルシステム（例えば、図１Ｂおよび５に示されるウェアラブルディスプレイデバイス８０および１０００）によって行われてもよい。方法７０００の実施形態は、図７を参照して説明されるＡＲ環境７５０の状況において行われてもよい。方法７０００はまた、環境の画像を得て、環境内の反射表面の存在を認識し得る、他のコンピューティングシステムを使用して行われてもよい。本明細書に説明されるように、反射表面は、オブジェクトの画像を反射表面の環境内に反射させる、鏡、窓、または他の反射表面であってもよい。
【0626】
ブロック７１００では、ウェアラブルシステムは、環境内の反射表面（鏡等）の存在を検出してもよい。例えば、外向きイメージングシステム５０２は、反射表面を含む、環境の画像を得てもよい。得られた画像は、反射表面によって反射されたオブジェクトの画像を含んでもよい。ウェアラブルシステムは、画像を分析し、反射表面の存在を判定し、オブジェクトの反射された画像を識別してもよい。例えば、ウェアラブルシステムは、オブジェクト認識装置７０８ａ（例えば、実行可能ソフトウェアモジュール）を使用して、鏡と関連付けられ得る、特徴（鏡のフレームおよび／または形状等）を識別してもよい。ウェアラブルシステムはまた、演繹的推論を適用し、鏡の特徴を他のオブジェクトの特徴からさらに区別してもよい。例えば、いくつかの状況では、鏡フレームの画像および写真フレームの画像は、類似して見え得る。ウェアラブルシステムは、フレームが鏡フレームであると仮定し、演繹的推論（反射された画像を探すため等）および他のデータを使用し、本仮定を検証（または反証）してもよい。代替として、ウェアラブルシステムは、フレームが写真フレームであると仮定し、演繹的推論を使用して、本仮定を検証または反証してもよい。いくつかの実施形態では、ウェアラブルシステムは、距離認識技法（例えば、立体視システムまたは深度カメラ）を使用して、オブジェクトが鏡または写真フレームであるかどうかを判定してもよい。これは、写真フレーム内のオブジェクトの画像が写真フレームと同一平面（例えば、写真フレームと実質的に同一平面）内にある一方、鏡内のオブジェクトの画像が、典型的には、鏡の平面の背後にあり、鏡と同一平面ではない深度を有するため、可能である。
【0627】
ウェアラブルシステムはまた、他の方法を使用して、得られた画像内の鏡を識別してもよい。ウェアラブルシステムは、画像が反射であることを露見させるであろう、画像の一部を探してもよい。例えば、ウェアラブルシステムは、物理的オブジェクトの反転された画像（例えば、反転されたテキス等）を識別し、画像の一部が、反射表面を含み得ることを推論してもよい。いくつかの他の場合には、ウェアラブルシステムは、１つまたはそれを上回るキューを分析し、オブジェクトが鏡であることを判定してもよい（例えば、物理的環境内の移動の反射である、鏡内の移動の検出）。
【0628】
ブロック７２００では、ウェアラブルシステムは、反射表面と関連付けられた情報を判定してもよい。鏡と関連付けられた情報は、例えば、鏡のサイズ、位置、または形状等、鏡の物理的性質を含んでもよい。情報はまた、例えば、相互作用タイプ（例えば、相互作用可能対相互作用不可能、以下の説明参照）、意味論情報（例えば、鏡が、部屋内のオブジェクトの画像を反射させ得る反射表面を有する、垂直壁上に吊架されている、フレームを有する等）等の鏡についての仮想情報を含んでもよい。
【0629】
例えば、ウェアラブルシステムは、別の人物（ウェアラブルデバイスを装着し得る）との呼を開始し、ウェアラブルシステムが他の発呼者の画像を表示し得る、テレプレゼンスセッションにおいて、その２つを接続する能力を有してもよい。ウェアラブルシステムは、鏡がテレプレゼンスセッションにおいて使用され得る場合、反射表面（典型的には、鏡）の相互作用タイプを相互作用可能として指定してもよい。テレプレゼンスセッションは、ウェアラブルデバイスが、鏡がユーザの環境内に存在することを識別することに応じて開始されてもよい。テレプレゼンスセッションの間、ウェアラブルデバイスは、ウェアラブルデバイスユーザの反射された画像を取得し、そのような画像を呼上の他の人物に伝送してもよく、これは、ユーザの存在の実体的な感知を生成する。さらに、反射表面を識別することによって、ウェアラブルシステムは、テレプレゼンスセッションの間、アーチファクト（例えば、反射表面からの反射）を世界マップ内に不適切に生成しないであろう。
【0630】
ブロック７３００では、ウェアラブルシステムは、環境内の物理的オブジェクトの１つまたはそれを上回る反射された画像の存在を判定してもよい。例えば、ウェアラブルシステムは、反射表面の境界内の全ての画像が、実際の物理的オブジェクトではなく、反射された画像であることを判定してもよい。ウェアラブルシステムはまた、キーポイント認識または他の技法を使用して、反射表面内の画像と環境内の物理的オブジェクトを合致させることによって、反射された画像を判定してもよい。例えば、ウェアラブルシステムは、鏡内の画像が環境内の別のオブジェクトの「鏡像」であることを認識し、それによって、鏡内の画像が、実際の物理的オブジェクトではなく、反射であることのキューを提供してもよい。いくつかのキーポイントは、反射下、１つまたはそれを上回る特定の挙動を有し得る。例えば、キーポイントのセットは、鏡内で逆に位置付けられ得る。ウェアラブルシステムは、そのような挙動を使用して、反射表面を識別してもよい。
【0631】
いくつかの実施形態では、ウェアラブルシステムは、環境の世界マップにアクセス（ブロック７４５０に示される）し、反射表面の存在によって生じるアーチファクトを除去することによって、世界マップを補正してもよい（ブロック７４６０に示される）。
【0632】
いくつかの他の実施形態では、ウェアラブルシステムは、アーチファクトのない世界マップを生成してもよい（ブロック７４１０に示される）。ウェアラブルシステムは、ウェアラブルシステムが環境の画像を得るにつれて、そのような世界マップを生成してもよい。プロセス７０００は、ウェアラブルシステムが世界マップの生成および補正の両方を行うことを要求しないことに留意されたい。むしろ、ウェアラブルシステムは、単独で、または組み合わせて、本明細書に説明される技法を使用して、世界マップを生成、補正、または更新してもよい。例えば、ウェアラブルシステムは、アーチファクトのない世界マップのための新しいコンテンツもまた生成しながら、アーチファクトに関して以前に生成された世界マップを補正してもよい。
（テレプレゼンスのためのツールとしての鏡）
（テレプレゼンスのためのツールとしての鏡）
【0633】
電気通信では、視覚的画像は、多くの場合、第１の発呼者と第２の発呼者との間のオーディオ通信を伴う。拡張現実（ＡＲ）テレプレゼンスセッションでは、第２の発呼者の画像は、例えば、拡張現実デバイス（ＡＲＤ）または頭部搭載型デバイス（ＨＭＤ）等の第１の発呼者のウェアラブルデバイスによって、第１の発呼者の環境の一部にわたって、第１の発呼者に表示されてもよい。同様に、第１の発呼者の画像は、第２の発呼者のウェアラブルデバイスによって、第２の発呼者の環境の一部にわたって、第２の発呼者に表示されてもよい。これは、テレプレゼンスセッションの間、第２の発呼者の存在の実体的な感知を第１の発呼者の環境内に、そして第１の発呼者の存在の実体的な感知を第２の発呼者の環境内に生成する。
【0634】
ウェアラブルデバイスは、装着者の正面の環境を観察し得る、外向きイメージングシステムを含有してもよい。ウェアラブルデバイスは、外向きイメージングシステムが装着者の正面の視野（ＦＯＶ）の画像を得得るように、装着者の頭部上に装着されてもよい。外向きイメージングシステムは、組み合わせて、または代替として使用される、立体視カメラ、深度感知カメラ、ＦＯＶカメラ、または他のセンサおよびカメラを備えてもよい。
【0635】
ウェアラブルデバイスは、時として、装着者の顔または身体全体を撮像し得る、カメラを含まないため、テレプレゼンスセッションの間、装着者の画像を他の発呼者に通信することが課題となり得る。故に、本明細書に説明される種々のウェアラブルシステムは、装着者の近傍の鏡を利用して、装着者の画像を得る。例えば、第２の発呼者が、第２の発呼者の環境内の鏡の近傍に位置付けられるとき、第２の発呼者のウェアラブルデバイスの外向きイメージングシステムは、鏡内の第２の発呼者の画像を捕捉してもよい。第２の発呼者のウェアラブルデバイスは、第２の発呼者のウェアラブルデバイスの外部のカメラを使用せずに、第２の発呼者の画像を処理し、第１の発呼者のウェアラブルデバイスに送信してもよい。同様に、第１の発呼者が、第１の発呼者の環境内の鏡の正面に位置付けられるとき、第１の発呼者のウェアラブルデバイスの外向きイメージングシステムは、鏡内の第１の発呼者の画像を捕捉してもよい。第１の発呼者のウェアラブルデバイスは、第１の発呼者のウェアラブルデバイスの外部のカメラを使用せずに、第１の発呼者の画像を処理し、第２の発呼者のウェアラブルデバイスに送信してもよい。外向きイメージングシステムおよび鏡の組み合わせは、装着者の環境内の外部カメラまたは装着者によって保持される外部カメラ（例えば、自撮り棒上の）もしくはウェアラブルデバイスからの延在部上に搭載される外部の装着者に面したカメラを使用せずに、装着者の画像を得る能力を提供する。
【0636】
テレプレゼンスセッションの間、第１の発呼者および第２の発呼者は、その個別のデバイスを装着して、その個別の鏡の正面に立ち得る。第１の発呼者には、典型的には、第１の発呼者の鏡から反射された第１の発呼者の画像が見え、第２の発呼者には、典型的には、第２の発呼者の鏡から反射された第２の発呼者の画像が見えるであろう。有利には、いくつかの実施形態では、本明細書に説明される技術は、発呼者のそれぞれに、テレプレゼンスセッションの間、他方の発呼者の画像が見えることを可能にする。例えば、第２の発呼者の画像は、第１の発呼者のウェアラブルデバイスによって、第１の発呼者の環境内の第１の発呼者の鏡像から反射された周囲光にわたって表示されてもよい。したがって、第１の発呼者の反射された画像が見えるのではなく、第１の発呼者には、第１の発呼者のウェアラブルデバイスによって投影された第２の発呼者の画像が見える。同様に、第２の発呼者には、第２の発呼者の反射された画像が見えるのではなく、第２の発呼者のウェアラブルデバイスによって投影されるような第１の発呼者の画像が見えるであろう。
【0637】
鏡から反射された周囲光はまた、全体的または部分的に隠されてもよい。例えば、発呼者の一方または両方の画像が、コンピュータビジョンベースのセグメント化、深度ベースのセグメント化、または他の技法等の任意の技法によって選択的にクロッピングされてもよい。いくつかの実施形態では、第１の発呼者の画像は、第２の発呼者のウェアラブルデバイスに送信されてもよい一方、第２の発呼者の鏡に対する背景は、改変、拡張、または遮断されてもよい、もしくはそうではなくてもよい。
【0638】
ウェアラブルデバイスは、画像処理技法を使用して、発呼者の画像から、発呼者の頭部上のＨＭＤの存在を除去してもよい。したがって、例えば、第２の発呼者には、テレプレゼンスセッションの間、第１の発呼者がＨＭＤを装着している場合でも、そのＨＭＤが可視的に存在しない、第１の発呼者の画像が見える。第１の発呼者の隠されていない顔の部分の画像（例えば、ＨＭＤを伴わない発呼者の顔）が、ＨＭＤによって隠されている顔の領域と置換するために使用されてもよい。本オーバーレイの整合および位置合わせは、任意の既知の方法または技法によって達成されてもよい。装着者の顔の隠されている領域の移動は、ＨＭＤ上の内向きイメージングシステム（例えば、装着者の眼または顔領域に向かって面するカメラ）によって追跡および判定されてもよい。
【0639】
テレプレゼンスセッションの開始は、装着者のウェアラブルシステムに、鏡を検索させ得る。例えば、ユーザは、ユーザ入力デバイス５０４（図５に示される）を作動させることによって、テレプレゼンスセッションを開始してもよい。これは、ＨＭＤの外向きカメラ５０２（図５に示される）をトリガし、ユーザの環境内の鏡を検索し得る。ウェアラブルシステムは、本明細書に説明される種々のキューを使用して、鏡を検出してもよい。
【0640】
鏡の検出もまた、テレプレゼンスセッションをトリガしてもよい（例えば、発呼者が、鏡の正面に立ち、テレプレゼンスセッションを開始する）。例えば、ウェアラブルシステムが、ユーザの環境内の鏡を検出すると、ウェアラブルシステムは、ポップアップメニューを提供し、テレプレゼンスセッションの開始を所望するかどうかユーザに尋ねてもよい。
【0641】
鏡検出のための任意の方法またはシステムが、使用されてもよい。実施例は、鏡を使用する観点から説明されるが、本開示は、鏡に限定されることを意図するものではない。例えば、ウェアラブルデバイスの環境内の窓等の任意のタイプの反射表面が、発呼者の画像を得るために使用されてもよい。ウェアラブルデバイスは、環境が再構成を防止するために慎重に生成されない限り、任意の環境内の周囲反射に基づいて、発呼者の画像を再構築してもよい。テレプレゼンス用途においてウェアラブルシステムを使用するためのシステムおよび方法のさらなる実施例および実施形態は、以下に説明される。
（テレプレゼンスセッションの実施例）
（テレプレゼンスセッションの実施例）
【0642】
上記に説明されるように、ウェアラブルデバイス（ＨＭＤまたはＡＲＤ等）は、ウェアラブルデバイスの装着者の顔または身体全体を撮像し得る、カメラを有していない場合があるため、テレプレゼンスセッションの間、装着者の画像を他の発呼者に通信する課題が存在し得る。故に、本明細書に説明される種々のウェアラブルデバイスは、装着者の近傍の鏡または他の反射表面を利用して、装着者の画像を得てもよい。例えば、第２の発呼者が、第２の発呼者の環境内の鏡の正面に位置付けられるとき、第２の発呼者のウェアラブルデバイスの外向きイメージングシステムは、鏡内の第２の発呼者の画像を捕捉してもよい。第２の発呼者のウェアラブルデバイスは、第２の発呼者のウェアラブルデバイスの外部のカメラを使用せずに、第２の発呼者の画像を処理し、第１の発呼者のウェアラブルデバイスに送信してもよい。同様に、第１の発呼者が、第１の発呼者の環境内の鏡の正面に位置付けられるとき、第１の発呼者のウェアラブルデバイスの外向きイメージングシステムは、鏡内の第１の発呼者の画像を捕捉してもよい。第１の発呼者のウェアラブルデバイスは、第１の発呼者のウェアラブルデバイスの外部のカメラを使用せずに、第１の発呼者の画像を処理し、第２の発呼者のウェアラブルデバイスに送信してもよい。ウェアラブルデバイスの外向きイメージングシステムおよび鏡の組み合わせは、装着者の環境内の外部カメラまたは装着者によって保持される外部カメラ（例えば、自撮り棒上の）もしくはウェアラブルデバイスからの延在部上に搭載される外部の装着者に面したカメラを使用せずに、装着者の画像を得る能力を提供する。
【0643】
テレプレゼンスセッションの間、発呼者は、ウェアラブルデバイス、ウェブカメラ、コンピュータ、モバイルデバイス、および他のデバイス等の種々のユーザデバイス１２３０を使用して、ユーザおよびユーザの環境に関する情報を取得する。そのような情報は、そのユーザの周囲の世界マップ１２１０を生成するために使用されてもよい。世界マップ１２１０は、取得された新しい情報に基づいて、常に更新されてもよい。世界マップ１２００は、ネットワーク１２９０（図１５に示される）を介して、テレプレゼンスセッション内の他のユーザにパスされ、彼らと共有されてもよい。
（テレプレゼンスセッションの間の第１の発呼者の実施例）
（テレプレゼンスセッションの間の第１の発呼者の実施例）
【0644】
図１７Ａに戻って参照すると、第１の発呼者は、テレプレゼンスセッションをその部屋１３００内で実施してもよい。図１７Ａにおける例示的部屋１３００は、テーブル１３１０ａ、植物１３１２ｂ、窓１３１４、および鏡１３３０等の物理的オブジェクトを含む。
【0645】
第１の発呼者１３６０ａは、テレプレゼンスセッションの間、鏡１３３０の正面に立ち得る。第１の発呼者１３６０ａは、テレプレゼンスセッションの間、第２の発呼者（またはそれを上回る発呼者）に発呼してもよい。第１の発呼者１３６０ａは、ＡＲ／ＶＲ／ＭＲコンテンツを表示するように構成される、ＨＭＤ１３２０ａを装着してもよい。鏡１３３０は、第１の発呼者１３６０ａの反射された画像１３６０ｂ、第１の発呼者の頭部上のＨＭＤ１３２０ａの反射画像１３２０ｂ、テーブル１３１０ａの一部の反射された画像１３１０ｂ、および植物１３１２ａの反射された画像１３１２ｂを示す。
【0646】
ＨＭＤ１３２０ａは、ウェアラブルシステム、例えば、図１Ｂにおけるウェアラブルディスプレイシステム８０、図５におけるディスプレイシステム１００等の実施形態を備えてもよい。ＨＭＤ１３２０ａは、装着者１３６０ａの周囲の環境を観察する、外向きカメラ５０２（図５に示されるように）を含有してもよい。例えば、外向きカメラ５０２（図５に示されるように）は、部屋１３００内の鏡１３３０、装着者１３６０ａの反射された画像１３６０ｂ、および装着者の環境を観察してもよい。
（テレプレゼンスセッションを開始する例示的技法）
（テレプレゼンスセッションを開始する例示的技法）
【0647】
ＨＭＤ１３２０ａは、部屋１３００内の鏡１３３０の存在を検出することによって、テレプレゼンスセッションを開始してもよい。いくつかの実施形態では、特定の鏡または反射表面が、特定の個人とのテレプレゼンスセッションをトリガするものとして認識されてもよい。
【0648】
テレプレゼンスセッションの開始はまた、ＨＭＤの外向きカメラをトリガし、鏡を検索し得る。鏡が見出される場合、ＨＭＤは、テレプレゼンスセッションの間、鏡内の装着者１３６０ｂの画像（存在する場合）を得て、画像（修正または未修正）を別の発呼者に通信してもよい。ＨＭＤ１３２０ａは、例えば、顔認識、キーポイント認識、鏡内のＨＭＤの認識（例えば、ＨＭＤの反射された画像１３２０ｂの認識）、閃光および赤外線パルス、音響信号（例えば、超音波）等のデバイスからの能動的クエリ、深度不連続性、鏡の形状、または光学ラベル等の鏡の特殊特徴（例えば、バーコードまたはクイックレスポンス（ＱＲ）コード）等の種々の鏡検出技法を使用してもよい。ＨＭＤ１３２０ａはまた、装着者の眼移動を追跡し、例えば、第１の発呼者１３６０ａが鏡１３３０に向かって見ているかどうかを判定し得る、１つまたはそれを上回る内向きカメラ（例えば、図５に示されるイメージングシステム５００参照）を含んでもよい。
【0649】
いくつかの実施形態では、ＨＭＤ１３２０ａは、音声アクティブ化によって、テレプレゼンスセッションを開始してもよい。ＨＭＤ１３２０ａは、例えば、装着者の音声および／または装着者の環境内の音を取得し得る、マイクロホン等の１つまたはそれを上回る音センサを備えてもよい。ＨＭＤ１３２０ａの装着者１３６０ａの音声コマンドおよび音声認識等の種々の音声アクティブ化技法が、使用されてもよい。
【0650】
ＨＭＤ１３２０ａはまた、他の技法を使用して、テレプレゼンスセッションを開始してもよい。例えば、ＨＭＤ１３２０ａは、発呼者１３６０ａが、例えば、マウス上のクリック、タッチパッド上のタップ、タッチスクリーン上のスワイプ、容量ボタン上のホバリングまたはタッチ、キーボードまたはゲームコントローラ（例えば、５方向ｄ－パッド）もしくはＨＭＤ１３２０ａ自体上のキーの押下、ジョイスティック、ワンド、またはトーテムによるオブジェクト（例えば、鏡）に向かってのポインティング、遠隔制御上のボタンの押下、またはユーザ入力デバイスとの他の相互作用等のユーザ入力デバイス（例えば、図５に示されるユーザ入力デバイス５０４参照）を作動させると、テレプレゼンスセッションを開始してもよい。ＨＭＤ１３２０ａはまた、発呼者の身体姿勢または手ジェスチャを観察し、物理的または仮想ユーザインターフェースとの種々のユーザ相互作用を通して、テレプレゼンスセッションを確立してもよい。例えば、発呼者は、仮想ユーザインターフェース上の１つまたはそれを上回る仮想ボタンにタッチし、テレプレゼンスセッションを開始してもよい。同様に、ＨＭＤ１３２０ａは、例えば、鏡へのタッチ、鏡に向かってのジェスチャ（例えば、手を振る）、長期時間周期にわたる鏡の注視等、発呼者１３６０ａの鏡との相互作用を観察することによって、テレプレゼンスセッションを開始してもよい。発呼者１３６０ａは、単独で、または組み合わせて、本明細書に説明される種々の技法を使用して、テレプレゼンスセッションを開始する、またはテレプレゼンスセッションに参加してもよい。
（テレプレゼンスセッションの間の双方向通信の実施例）
（テレプレゼンスセッションの間の双方向通信の実施例）
【0651】
図２４は、テレプレゼンスセッションを実施する第１の発呼者１４６２ａおよび第２の発呼者１４６４ａの実施例を図示する。本実施例では、第１の発呼者１４６２ａは、男性であって、第２の発呼者１４６４ａは、女性である。テレプレゼンスセッションでは、第１の発呼者１４６２ａは、ＨＭＤ１４１２ａを装着しており、その部屋１４２０内の鏡１４３２の正面に立っている。第１の発呼者１４６２ａは、図１６に示される同一発呼者１３６０ａであってもよい。鏡１４３２は、彼自身の反射された画像１４６２ｂおよびそのＨＭＤの反射された画像１４１２ｂを示す。同様に、第２の発呼者１４６４ａも、ＨＭＤ１４１４ａを装着しており、その部屋１４４０内の鏡１４３４の正面に立っている。ＨＭＤ１４１２ａおよび１４１４ａは、図１６に説明されるＨＭＤ１３２０ａの実施例であってもよい、またはそれぞれ、図１Ｂおよび５に説明される、ウェアラブルディスプレイシステム８０、ディスプレイシステム１０００を備えてもよい。鏡１４３４は、彼女自身の反射された画像１４６４ｂおよびそのＨＭＤの反射された画像１４１４ｂを示す。鏡１４３２および１４３４は、任意の形状またはサイズであってもよい。
【0652】
図１２を参照して説明されるように、ＨＭＤ１４１２ａおよびＨＭＤ１４１４ａは、相互におよび／または他のユーザデバイスおよびコンピュータシステムと通信してもよい。例えば、第１の発呼者のＨＭＤ１４１２ａは、例えば、ネットワーク１２９０（図１２に示される）を介して、第２の発呼者のＨＭＤ１４１４ａと通信してもよい。第１の発呼者１２６２ａ（およびその部屋１４２０）の第１の世界マップは、第１の発呼者のＨＭＤ１４１２ａによって得られる情報に基づいて構築されてもよい。第１の世界マップは、第２の発呼者のＨＭＤ１４１４ａにパスされ（例えば、ネットワーク１２９０を介して）、それによって、テレプレゼンスセッションの間、第１の発呼者の存在の実体的な感知を生成してもよい。同様に、第２の発呼者１４６４ａ（およびその部屋１４４０）の第２の世界マップも、第２の発呼者のＨＭＤ１４１４ａによって得られる情報に基づいて構築されてもよい。第２の世界マップは、第１の発呼者のＨＭＤ１４１２ａにパスされ、それによって、テレプレゼンスセッションの間、第２の発呼者の存在の実体的な感知を生成してもよい。ＨＭＤ１４１２ａおよび１４１４ａは、個別の発呼者の移動および個別の発呼者の視野内の鏡の場所を追跡し、個別の発呼者がその環境内を動き回るにつれて、個別の世界マップを更新してもよい。
【0653】
図１Ｂおよび１２を参照して説明されるように、第２の発呼者のＨＭＤ１４１４ａ、第１の発呼者のＨＭＤ１４１２ａ、遠隔コンピューティングシステム１２２０は、単独で、または組み合わせて、第１の発呼者１４６２ａへの提示（第１の発呼者のＨＭＤ１４１２ａによる）のために第２の発呼者の画像を処理してもよい、または第２の発呼者１４６４ａへの提示（第２の発呼者のＨＭＤ１４１４ａによる）のために第１の発呼者１４６２ａの画像を処理してもよい。
【0654】
実施例は、２人の発呼者のみを言及するが、本明細書に説明される技法は、２人の発呼者に限定されるべきではない。ＨＭＤ（または他のテレプレゼンスデバイス）を使用する複数の発呼者（例えば、２人、３人、４人、５人、６人、またはそれを上回る）が、テレプレゼンスセッションに参加してもよい。発呼者には、そのＨＭＤを使用して、複数の発呼者の画像が見える。いくつかの実施形態では、発呼者の鏡は、仮想上、テレプレゼンスセッションにおいて他の発呼者の画像を設置すべき生成されたフレームに対して発呼者の環境内で何回も複製されてもよい。
【0655】
さらに、実施例は、発呼者が部屋内に立っているように言及するが、発呼者は、部屋内に立っていることを要求されない。発呼者は、テレプレゼンスセッションの間、鏡に対する任意の位置または移動において、立つ、座る、もしくは存在してもよい。発呼者はまた、部屋以外の物理的環境内に存在してもよい。発呼者は、テレプレゼンスセッションを実施する間、別個の環境または同一環境内に存在してもよい。全ての発呼者が、テレプレゼンスセッションにおいて、その個別のＨＭＤを装着していることが要求されるわけではない。例えば、第２の発呼者１４６４ａは、ウェブカメラおよびコンピュータ画面等の他の画像取得およびディスプレイデバイスを使用してもよい一方、第１の発呼者１４６２ａは、ＨＭＤ１４１２ａを装着している。
（例示的ユーザ体験）
（例示的ユーザ体験）
【0656】
図２５Ａは、第１の発呼者に見える第２の発呼者の画像の実施例である。本実施例では、第１の発呼者１４６２ａ（図２５Ａには図示せず）は、そのＨＭＤ１４１２ａを装着しており、その部屋１４２０内の鏡１４３２の近傍に立っている。図２４に示されるように、鏡１４３２は、彼自身の反射された画像１４６２ｂおよびそのＨＭＤの反射された画像１４１２ｂを示す。
【0657】
図２５Ａに図示されるテレプレゼンスセッションの間、第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の画像１５６４ｂ（例えば、第２の発呼者のＨＭＤ１４１４ａから受信されるような）を投影し、第１の発呼者の鏡１４３２内の第１の発呼者の反射された画像１４６２ａにオーバーレイしてもよい。したがって、ＨＭＤ１４１２ａを装着している第１の発呼者１４６２ａには、自身の反射画像１４６２ｂが見える代わりに、第２の発呼者の画像１５６４ｂがその鏡１４３２内に見える。
【0658】
テレプレゼンスセッションの間の第１の発呼者に見える第２の発呼者の画像の付加的実施例は、図２５Ｂ－２７Ｂを参照してさらに説明される。これらの図は、テレプレゼンスセッションの間の第１の発呼者のユーザ体験の非限定的実施例を図示し、以下にさらに説明されるであろう。同様に、第２の発呼者も、テレプレゼンスセッションの間、図２５Ａ－２７Ｂに示されるものに類似するユーザ体験を有し得る（但し、第２の発呼者のＨＭＤは、第１の発呼者の画像を第２の発呼者に表示する）。第１の発呼者のＨＭＤ１４１２ａ、第２の発呼者のＨＭＤ１４１４ａ、遠隔コンピューティングシステム（例えば、図１２における遠隔コンピュータシステム１２２０参照）等のユーザデバイスおよびコンピュータシステムは、単独で、または組み合わせて、任意の方法を使用して、第２の発呼者の画像１５６４ｂを第１の発呼者の反射された画像１４６２ｂにわたって位置合わせおよびオーバーレイしてもよい。
（発呼者の画像の処理の実施例）
（発呼者の画像の処理の実施例）
【0659】
図２５Ａでは、第１の発呼者のＨＭＤ１４１２ａ（図２５Ａには図示せず）は、第１の発呼者１４６２ａに、第２の発呼者１５６４ｂおよびその環境の未修整鏡像を投影してもよい。本実施例では、第２の発呼者１４６４ａによって使用される鏡１４３４（図２４に示される）は、半身鏡である一方、第１の発呼者１４６４ａによって使用される鏡１４３２は、全身鏡である。第２の発呼者のＨＭＤ１４１４ａは、その鏡１４３４（図２４に図示される）に示されるその反射された画像１４６４ｂの一部を捕捉してもよい。第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者のＨＭＤ１４１４ａによって捕捉されるような第２の発呼者の画像および第２の発呼者の環境の一部１５６４ｃを表示してもよい。本実施例では、第１の発呼者の全身鏡１４３２は、第２の発呼者のＨＭＤから受信された画像１５６４ｂより大きいため（第２の発呼者の鏡１４３４は、半身鏡であるため）、第１の発呼者のＨＭＤは、第２の発呼者の下半身１５６４ｄの画像を提示し得ない（第２の発呼者の鏡１４３４の反射面積外にある）。
【0660】
別の実施例として、第２の発呼者のＨＭＤ１４１４ａは、第２の発呼者１４６４ａの反射された画像１４６４ｂならびに第２の発呼者の部屋１４４０内の鏡１４３４を捕捉してもよい。第２の発呼者のＨＭＤ１４１４ａは、捕捉された画像（反射された画像１４６４ｂおよび鏡１４３４の画像を含む）を第１の発呼者のＨＭＤ１４１２ａに通信してもよい。第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の画像を第２の発呼者の鏡の画像とともに、第１の発呼者の鏡１４３２にわたって投影してもよい。本実施例では、第２の発呼者の画像および第２の発呼者の鏡は、第１の発呼者の鏡１４３２の領域を被覆するために拡大されてもよい（第１の発呼者の鏡１４３２は、第２の発呼者の鏡１４３４より大きいため）。加えて、または代替として、第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の画像をその鏡１４３４とともに提示するとき、鏡１４３２の一部を隠してもよい（第２の発呼者の鏡１４３４より大きい部分等）。
【0661】
いくつかの他の実施形態では、第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の処理された画像を表示してもよい。例えば、第１の発呼者のＨＭＤ１４１２によって表示される第２の発呼者の処理された画像は、鏡によって捕捉されていない第２の発呼者の下半身１５６４ｄの部分および（随意に）その背景を含んでもよい。そのような第２の発呼者の下半身の画像１５６４ｄは、第２の発呼者およびその環境上で以前に得られた情報に基づいて合成されてもよい。
【0662】
したがって、種々の実施形態では、第１の発呼者のＨＭＤ１４１２ａは、その下半身１５６４ｄまたはその背景の画像を表示せずに、第２の発呼者の画像１５６４ｂを表示してもよい、または第２の発呼者の上側１５６４ｃおよび下半身１５６４ｄ（随意に、その背景）を含む、画像を表示してもよい。第２の発呼者の側では、第１の発呼者の画像（全身鏡１４３２から反射された全身画像であってもよい）は、第２の発呼者の半身鏡１４３４のより小さい面積内に適合するように選択的にクロッピングされてもよい。したがって、第２の発呼者のＨＭＤ１４１４ａは、第１の発呼者の鏡が第２の発呼者の鏡より多い面積を捕捉する場合でも、第１の発呼者の画像の一部のみを表示してもよい。
【0663】
実施例は、全身鏡および半身鏡を参照して説明されるが、実施例は、全身および半身鏡のみに限定されるように解釈されるべきではない。鏡は、任意のサイズまたは形状であってもよい。発呼者（例えば、１４６２ａおよび１４６４ａ）は、同一サイズまたは形状を伴う鏡を有してもよい。発呼者（例えば、１４６２ａおよび１４６４ａ）はまた、異なるサイズまたは形状の鏡を有してもよい。さらに、いくつかの状況では、ＨＭＤは、発呼者と鏡との間の距離、外向きイメージングシステムの角度、ユーザの選好等に起因して、反射された画像の一部のみを取得してもよい。本明細書に説明される画像処理技法はまた、これらの状況において適用されてもよい。
【0664】
いくつかの実施形態は、事実上、ＨＭＤを他の発呼者に示される画像から「除去」することが可能であってもよい。図２５Ｂは、第１の発呼者に見える第２の発呼者の画像の実施例であって、第２の発呼者の画像は、彼女がＨＭＤを装着しているように示していない。図２５Ａを参照して説明されるように、第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の画像１５６４ｅを表示してもよい。画像１５６４ｅは、第１の発呼者の反射された画像１４６２ｂにわたって位置合わせされ、第２の発呼者の存在の実体的な感知を生成してもよい。例えば、第２の発呼者の画像１５６４ｅは、第１の発呼者１４６２ａの反射された画像１４６２ｂ上にオーバーレイされてもよい。いくつかの実施形態では、第１の発呼者１４６２ａには、第２の発呼者の画像が第１の発呼者の反射された画像にわたって位置合わせされる場合でも、依然として、その環境内の物理的オブジェクトの反射された画像が見える。例えば、第１のユーザの部屋は、物理的植物を有してもよい。鏡１４３２は、物理的植物の反射された画像１５１２ｂを示してもよい。図２５Ｂに示されるように、第１の発呼者１４６２ａは、テレプレゼンスセッションの間、第２の発呼者の画像１５６４ｅならびにその鏡１４３２内の物理的植物の反射された画像１５１２ｂを知覚し得る。
【0665】
一実施形態では、第２の発呼者１４６４ａは、テレプレゼンスセッションにおいて、ＨＭＤ１４１４ａを装着しているが（図２４に示されるように）、ＨＭＤ１４１４ａによって隠されている第２の発呼者の顔の領域は、第２の発呼者の隠されていない画像１５１４ｃ（図２５Ｂに示される挿入図に図示される）によって置換されてもよい。
【0666】
図１Ｂおよび５を参照すると、第２の発呼者１４６４ａは、第２の発呼者のＨＭＤ１４１４ａの外向きイメージングシステム５０２、第２の発呼者のＨＭＤ１４１４ａの内向きイメージングシステム５００、またはそれらの組み合わせを使用して、ＨＭＤが装着されている発呼者の顔の領域の隠されていない画像１５１４ｃを得てもよい。例えば、第２の発呼者１４１４ａは、外向きイメージングシステム５０２を自身に向かって旋回させ、第２の発呼者の顔の隠されていない画像を得てもよい。別の実施例として、ＨＭＤ１４１４ａは、発呼者１４６４ａがＨＭＤを装着している間、第２の発呼者１４６４ａの顔の画像を取得してもよい。第２の発呼者の隠されていない画像はまた、例えば、前に記憶された情報の読出、ＨＭＤ１４１４ａの外部のカメラを使用した写真の撮影等の他の方法を使用して取得されてもよい。
【0667】
隠されていない画像は、複数のパッチを備えてもよい。パッチは、種々のサイズを有してもよい。パッチは、異なる時間において、および／または異なるイメージングシステムによって得られてもよい。例えば、第２の発呼者１４１４ａは、内向きイメージングシステム５００を使用して、テレプレゼンスセッションの間、ＨＭＤによって隠されている領域の移動を追跡しながら、テレプレゼンスセッションの前に、外向きイメージングシステム５０２を使用して、例えば、額、眼領域、頬等のその顔の画像パッチを得てもよい。内向きイメージングシステム５００は、片眼または両眼の移動を追跡してもよい。
【0668】
テレプレゼンスセッションの間、発呼者の画像は、１つまたはそれを上回るパッチを使用して生成されてもよい。パッチのうちのいくつかは、リアルタイムで生成されてもよい。例えば、ＨＭＤ（例えば、ＨＭＤ１４１２ａまたは１４１４ａ）は、その顔の以前に得られた画像パッチを使用して、第２の発呼者の顔の画像を生成してもよい。第２の発呼者のＨＭＤ１４１４ａはまた、第２の発呼者の片眼または両眼のいずれかの移動のライブ画像パッチを得てもよい。そのような移動の画像は、第２の発呼者の眼領域１５１４ｃがより自然に現れるように、ＨＭＤ１４１４ａによって隠されている眼領域１５１４ｃと置換するために使用されてもよい。ＨＭＤ（例えば、ＨＭＤ１４１２ａまたは１４１４ａ）はまた、内向きイメージングシステム５００から得られたデータに基づいて、ＨＭＤによって隠されている領域（例えば、眼領域）の画像を動的に変形させてもよい。
【0669】
第１の発呼者のＨＭＤ１４１２ａによって表示されるべき第２の発呼者の画像の伝送に加え、またはその代替として、ＨＭＤ１４１２ａまたは１４１４ａはまた、図１Ｂを参照して説明されるように、例えば、カメラ、慣性測定ユニット（ＩＭＵ）、加速度計等の種々のセンサから得られたデータに基づいて、第２の発呼者１４６４ａの動画を生成してもよい。これらのセンサによって得られるデータは、第２の発呼者１４６４ａの既存の画像パッチを動的に変形させ、第２の発呼者１４６４ａの移動の動画を生成するために使用されてもよい。例えば、第２の発呼者１４６４ａの頭部は、テレプレゼンスセッションの間、右向きに旋回し得る。第２の発呼者のＨＭＤ１４１４ａの内向きイメージングシステム５００は、姿勢における本変化の間、第２の発呼者１４６４ａの眼移動を追跡してもよい。ＨＭＤ１４１２ａまたは１４１４ａは、第２の発呼者のＨＭＤ１４１４ａの内向きイメージングシステム５００からのデータを使用して、第２の発呼者１４６４ａの既存かつ隠されていない眼画像を修正し、眼姿勢における変化を反映させ、第１の発呼者のＨＭＤ１４１２ａによって表示されるべき第２の発呼者の動画画像を第１の発呼者１４６２ａに提供してもよい。種々の方法が、第２の発呼者１４６４ａの動画を生成するために使用されてもよい。例えば、ウェアラブルシステムは、第２の発呼者の顔の既知の全体的に操作可能なモデル上にマッピングすることによって、第２の発呼者１４６４ａの顔動画を生成してもよい。第２の発呼者の全体的に操作可能なモデルは、ウェアラブルシステム（例えば、第２の発呼者のＨＭＤ１４１４ａ等）によって自動的に生成されてもよい。
【0670】
第２の発呼者のＨＭＤ１４１４ａの他のセンサもまた、第２の発呼者１４６４ａの姿勢における変化に関するデータを得るために使用されてもよい。これらのデータは、単独で、または内向きイメージングシステム５００からのデータと組み合わせて使用され、第２の発呼者の隠されていない画像１４６４ａを提供してもよい。
（発呼者の画像の例示的背景）
（発呼者の画像の例示的背景）
【0671】
図２６Ａおよび２６Ｂは、第１の発呼者に見える第２の発呼者の画像の付加的実施例であって、第１の発呼者の環境内の鏡１４３２は、第１の発呼者への提示から隠されている。図２４、２５Ａ、および２５Ｂを参照して説明されるように、そのＨＭＤ１４１２ａを装着している第１の発呼者１４６２ａは、鏡１４３２の近傍に存在する。鏡１４３２は、彼自身の反射された画像１４６２ｂを示す。ＨＭＤ１４１２ａは、第１の発呼者の鏡１４３２から反射された光（自然または人工）の一部または随意に鏡１４３２のフレームを隠してもよい。したがって、ＨＭＤ１４１２ａは、第２の発呼者の画像１６６４ｂを（ある場合には、第２の発呼者の下半身１６６４ｃを伴わずに）第１の発呼者の鏡１４３２を示さずに表示してもよい。
【0672】
いくつかの実施形態では、特殊効果が、第１の発呼者に提示される画像に適用されてもよい。効果は、配合効果、フェザリング効果、グロー効果、煙、霧、炎効果、花、または他の特殊効果を備えてもよい（例えば、任意のタイプの画像が適用されてもよい）。図２５Ａを参照して説明されるように、時として、その個別のＨＭＤによって取得されるような第１の発呼者の画像１４６２ａおよび第２の発呼者の画像１４６４ａは、異なるサイズであり得る。本明細書に説明される特殊効果は、第１の発呼者の画像、第２の発呼者の画像、または両方に適用されてもよい。例えば、第１の発呼者の画像１４６２ａは、第１の発呼者のＨＭＤ１４６２ａが、その全身鏡１４３２に示されるように、第１の発呼者の反射された画像１４６２ｂを捕捉するため、全身画像であってもよい。しかしながら、第２の発呼者の鏡１４３４は、半身鏡であり得るため、ＨＭＤ（１４６２ａまたは１４６４ａ）は、第２の発呼者のＨＭＤ１４１４ａが第１の発呼者の上半身のみを表示し得るように、煙効果を第１の発呼者の画像の周囲に適用してもよい。同様に、第２の発呼者の反射された画像１４１４ｂは、第１の発呼者１４３２のものより小さくあり得るため、ＨＭＤ（１４６２ａまたは１４６４ａ）は、炎効果を第２の発呼者の下半身の画像１６６４ｃに適用し、第１の発呼者１４６２ａに投影されるような鏡内の空空間を充填してもよい。
【0673】
種々の実施形態では、第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の画像１６６４ｂおよび第２の発呼者の環境、第２の発呼者の画像のみ、または第１の発呼者の環境１４２０上にオーバーレイされた第２の発呼者の画像１６６４ｂを表示してもよい。第１の発呼者１４６２ａによって見られるような第１の発呼者の鏡１４３２に対する第２の発呼者の画像１６６４ｂの位置は、第２の発呼者の場所と第２の発呼者の鏡１４３２との間の実際の相対的位置を反映してもよい。例えば、第２の発呼者は、第１の発呼者の鏡１４３２が窓またはポータルであって、第２の発呼者１４６４ａがそのポータルの他側に立っているかのように、（仮想上）第１の発呼者の鏡１４３２に対して位置してもよい。第２の発呼者の画像１６６４ｂとポータルの背面側との間の相対的位置は、その第２の発呼者１４６４ａが自身の鏡１４３４に有するものと同一である、またはそれに比例してもよい。
【0674】
第１の発呼者のＨＭＤ１４１２ａは、画像を第１の発呼者１４６４ａに表示するとき、第１の発呼者の環境の画像の一部を修正してもよい。例えば、ＨＭＤ１４１２ａは、第１の発呼者の環境の画像を第１の発呼者の鏡１４３２に対して選択的に改変、拡張、または遮断してもよい。例えば、図２６Ｂと対照的に、図２６ＡにおけるＨＭＤ１４１２ａ（図示せず）は、第２の発呼者の画像１６６４ｂを第１の発呼者１４６２ａに投影させるとき、第１の発呼者の部屋１４２０内の植物１６１２ａを遮断してもよい。ＨＭＤは、３Ｄディスプレイの一部を選択的に暗化することによって、オブジェクトを遮断してもよい。そのような暗化は、図１Ｂおよび５を参照して説明される画像投入デバイスによって行われてもよい。暗化は、光学全体にわたって（例えば、スタック可能導波管アセンブリ１７８全体にわたって）、もしくはオブジェクトおよび／または第１の発呼者の環境の一部にわたって選択的に行われてもよい。
【0675】
図２５Ｂ、図２６Ｂを参照して説明されるように、ＨＭＤ１４１２ａは、第２の発呼者の画像１６６４ｅを表示してもよく、反射された第２の発呼者のＨＭＤの画像は、第１の発呼者に提示される画像から除去される。第２の発呼者のＨＭＤ１４１４ａによって隠されている第２の発呼者の画像の領域は、同一領域の隠されていない画像１５１４ｃと置換されてもよい。
（発呼者の画像の例示的テーマ）
（発呼者の画像の例示的テーマ）
【0676】
いくつかの実施形態では、ＨＭＤは、テレプレゼンスセッションの間、装着者に、静的または動的に変化するユーザ体験を提示してもよい。図２７Ａおよび２７Ｂは、第１の発呼者に見える第２の発呼者の画像の実施例であって、背景１７７０が、発呼者のＨＭＤのいずれかによって、第２の発呼者の画像（１７６４ｂまたは１７６４ｅ）に追加されてもよい。本実施例では、背景１７７０は、火を吐くドラゴンを備える、ファンタジーテーマを有する。第１の発呼者のＨＭＤ１４１２ａは、第２の発呼者の画像を表示し、加えて、背景１７７０を表示してもよい。背景１７７０は、背景１７７０の一部または全部が、第２の発呼者の背後、周囲、または正面に現れるように、第２の発呼者の鏡像１４６４ｂに追加されてもよい。背景１７７０はまた、第１の発呼者の環境の上部に位置合わせされてもよい。
【0677】
背景は、ゲーム、映画、書籍、美術、音楽、既存の物理的要素、または仮想オブジェクトと関連付けられた要素またはキャラクタを含有してもよい。例えば、第１の発呼者のＨＭＤ１４１２ａは、全体的または部分的に、第１の発呼者１４１２ａの環境内の仮想オブジェクトを備える、背景を表示してもよい。背景１７７０は、写真または動画であってもよく、テーマ（例えば、図２７Ａ、２７Ｂに示されるように、ファンタジーテーマ）と関連付けられてもよい。テーマは、エンターテインメント、教育、科学、技術、美術、建築、動物または植物、宗教、政治、自然等に関してもよい。テーマは、第三者のブランド、広告、またはマーケティングと関連付けられたブランドテーマであってもよい（例えば、テーマは、Ｄｉｓｎｅｙ（Ｒ）によって所有されるキャラクタを含んでもよい）。背景１７７０はまた、テレプレゼンスセッションの間、変化してもよい（例えば、図２７Ａ、２７Ｂでは、ドラゴンが、移動する、その口から火炎を吹く、飛行する等してもよい）。ある場合には、ウェアラブルシステム（例えば、ウェアラブルディスプレイシステム８０）は、発呼者が、テーマを個人化する、または第三者からの使用許諾を有するブランドテーマを使用することを可能にしてもよい。
【0678】
図２５Ａ、２５Ｂおよび２６Ａ、２６Ｂを参照して説明されるように、第２の装着者のＨＭＤの画像は、装着者の顔領域の隠されていない画像によって置換されてもよい（図２７Ｂにおける第２の発呼者の画像１７６４ｅ参照）。
（ＨＭＤを使用した自画像の撮影の実施例）
（ＨＭＤを使用した自画像の撮影の実施例）
【0679】
発呼者の画像を処理するための種々の方法もまた、ウェアラブルシステムと併せて使用され、発呼者の自画像を生成してもよい。例えば、ＨＭＤ１４１２ａを装着している第１の発呼者１４６２ａは、ＨＭＤ１４１２ａの外向きイメージングシステム５０２を使用して、彼自身の反射された画像１４６２ｂを撮影してもよい。図２５Ｂを参照して説明されるように、ウェアラブルシステムは、第１の発呼者のＨＭＤの反射された画像１４１２ｂを「除去」し、第１の発呼者の隠されていない画像１４６２ａを生成してもよい。ウェアラブルシステムは、背景（例えば、図２７Ａおよび２７Ｂにおいて参照されるように）を第１の発呼者の画像に追加してもよい。ウェアラブルシステムはまた、第１の発呼者の環境の特徴を第１の発呼者の画像から除去してもよい。例えば、ウェアラブルシステムは、任意の既知の画像処理技法を使用して、鏡１４３２を第１の発呼者の画像から除去してもよい。
（テレプレゼンスセッションの例示的プロセス）
（テレプレゼンスセッションの例示的プロセス）
【0680】
図２８は、テレプレゼンスセッションを実施する実施例のプロセスフロー図である。プロセス２８００は、図１Ｂおよび４を参照して説明されるウェアラブルシステムによって行われてもよい。例えば、プロセス２８００は、第１の発呼者のＨＭＤによって行われてもよい。
【0681】
ブロック２８１０では、第１の発呼者のＨＭＤは、第２の発呼者のユーザデバイスと通信を確立する。第２の発呼者のユーザデバイスは、ＨＭＤであってもよい、またはそうではなくてもよい（例えば、図１２に示されるユーザデバイス１２３０ａ、１２３０ｂ、１２３０ｃ参照）。種々の技法は、例えば、音声アクティブ化およびテレプレゼンスセッションを開始する発呼者の意図を示すユーザ入力デバイス（例えば、図５におけるユーザ入力デバイス５０４参照）からの入力の受信等が、通信を開始するために使用されてもよい。通信は、ネットワーク１２９０（図１２に示されるように）を介してもよい。
【0682】
ブロック２８２０に示されるように、第１の発呼者のＨＭＤは、第１の発呼者と第２の発呼者との間に通信が確立された後、第１の発呼者の環境内の鏡を検索してもよい。図１６を参照して説明されるように、種々の鏡検出技法が、使用されてもよい。例えば、第１の発呼者のＨＭＤの外向きカメラは、第１の発呼者の環境内の鏡を検索してもよい。ＨＭＤは、例えば、顔認識、キーポイント認識、鏡内のＨＭＤの認識、閃光および赤外線パルス等のデバイスからの能動的クエリ、深度不連続性、鏡の形状、または光学ラベル（例えば、バーコードまたはクイックレスポンス（ＱＲ）コード）等の鏡の特殊特徴によって、鏡を検出してもよい。
【0683】
いくつかの実施形態では、第１の発呼者のＨＭＤは、第１の発呼者と第２の発呼者との間に通信が確立される前に、第１の発呼者の環境内の鏡を検索してもよい。第１の発呼者の環境内の鏡の検出は、第１の発呼者のＨＭＤをトリガし、第２の発呼者のユーザデバイスとの通信を確立してもよい。
【0684】
第１の発呼者のＨＭＤは、ブロック２８３０に示されるように、第１の発呼者および第１の発呼者の環境の反射された画像を検出してもよい。図２４および２５Ａを参照して説明されるように、第１の発呼者の反射された画像は、第１の発呼者の身体の一部のみを含有してもよい。第１の発呼者のＨＭＤは、第２の発呼者に第１の発呼者の画像が見える前に、第１の発呼者の画像を処理してもよい。第１の発呼者のＨＭＤは、１つまたはそれを上回る遠隔コンピュータ（例えば、図１２における遠隔コンピューティングシステム１２２０参照）と通信し、第１の発呼者の画像を処理してもよい。図１２を参照して説明されるように、第１の発呼者の画像は、第１の発呼者のＨＭＤ、遠隔コンピューティングシステム１２２０、および／または他のユーザデバイス（例えば、図１２におけるユーザデバイス１２３０ａ、１２３０ｂ、１２３０ｃ参照）によって処理されてもよい。
【0685】
ＨＭＤによって取得された第１の発呼者の反射された画像は、種々の方法において処理されてもよい。例えば、第１の発呼者の画像（全身鏡から反射された全身画像であってもよい）は、第２の発呼者の半身鏡のより小さい面積内に適合するように、選択的にクロッピングされてもよい。第１の発呼者の鏡が、全身鏡ではないとき、画像は、鏡によって捕捉されていない第１の発呼者の下半身および（随意に）その背景の部分を含むように処理されてもよい。いくつかの実施形態では、第１の発呼者の画像のＨＭＤは、第１の発呼者の画像から「除去」されてもよい。第１の発呼者のＨＭＤによって隠されている第１の発呼者の画像の領域は、同一領域の隠されていない画像と置換されてもよい。
【0686】
第１の発呼者の画像に加え、第１の発呼者の画像の背景もまた、種々の方式において処理および修正されてもよい。例えば、図２７Ａおよび２７Ｂに示されるように、背景の一部または全部が、第１の発呼者の背後、周囲、または正面に現れるように、背景が、第１の発呼者の鏡像に追加されてもよい。背景は、ゲーム、映画、書籍、美術、または音楽、既存の物理的要素、または仮想オブジェクトと関連付けられた要素またはキャラクタを含有してもよい。背景は、写真または動画であってもよく、テーマ（例えば、図２７Ａ、２７Ｂに示されるように、ファンタジーテーマ）と関連付けられてもよい。テーマは、エンターテインメント、教育、科学、技術、美術、建築、動物または植物、宗教、政治、自然等に関してもよい。
【0687】
ブロック２８５０では、第１の発呼者のＨＭＤは、ネットワーク１２９０を介して（図１２に示される）、第１の発呼者の画像の一部を第２の発呼者のユーザデバイスに通信してもよい。第１の発呼者の画像は、処理された画像または第１の発呼者のＨＭＤによって捕捉された未修整の反射された画像であってもよい。第１の発呼者の未修整反射画像は、最初に、第２の発呼者のユーザデバイスに送信される前に処理するために、１つまたはそれを上回る遠隔コンピュータシステム（例えば、図１２における遠隔コンピューティングシステム１２２０参照）に送信されてもよい。
【0688】
第２の発呼者の側では、第１の発呼者の画像を受信後、第２の発呼者は、随意のブロック２８６０に示されるように、受信された画像を第２の発呼者に表示してもよい。第２の発呼者のユーザデバイスはまた、第１の発呼者の画像を処理し、処理された画像を第２の発呼者に表示してもよい。
【0689】
ブロック２８７０では、第１の発呼者のＨＭＤは、第２の発呼者の画像を受信してもよい。ＨＭＤは、本明細書に説明されるように、第２の発呼者の画像および／または第２の発呼者の画像と関連付けられた背景を処理してもよい。例えば、背景（例えば、図２７Ａおよび２７Ｂにおけるファンタジー背景参照）は、第１の発呼者の環境の上部に位置合わせされてもよい。いくつかの実施形態では、第１の発呼者の環境内の鏡は、第１の発呼者への提示のために隠されている。ＨＭＤは、第１の発呼者の鏡から反射された光（自然または人工）の一部または随意に鏡のフレームを隠してもよい。したがって、ＨＭＤは、第１の発呼者の鏡を示さずに、第２の発呼者の画像を投影してもよい。特殊効果が、第１の発呼者の鏡に提示される画像に適用されてもよい。効果は、配合効果、フェザリング効果、グロー効果、および他の特殊効果を備えてもよい。
【0690】
第１の発呼者のＨＭＤは、ブロック２８８０に示されるように、第２の発呼者の画像を表示してもよい。種々の実施形態では、第１の発呼者のＨＭＤは、第２の発呼者の画像および第２の発呼者の環境、第２の発呼者の画像のみ、または第１の発呼者の環境上にオーバーレイされた第２の発呼者の画像を表示してもよい。第２の発呼者の画像は、第２の発呼者の処理または未処理画像であってもよい。
（例示的健康分析）
（例示的健康分析）
【0691】
ユーザの反射を撮像する能力は、ユーザの観察に依拠する、種々の健康分析を促進することを理解されたい。いくつかの実施形態では、ユーザは、種々の位置をとる、および／または種々の移動を行うように指示されてもよく、これは、外向きカメラによって捕捉される。いくつかの他の実施形態では、別の個人が、ユーザを補助する、および／または別様にユーザと相互作用し、例えば、刺激を印加してもよい。さらに他の実施形態では、ディスプレイシステムは、特定の移動に関してユーザに具体的に指示せずに、単に、ユーザの反射の画像を捕捉してもよい。例えば、いくつかの健康分析は、単に、反射に見られるようなユーザの姿勢または歩行を評価することを伴ってもよい。
【0692】
カメラによって捕捉された画像は、例えば、臨床医および／またはディスプレイシステムによって分析されてもよい。いくつかの実施形態では、臨床医は、ユーザから遠隔に存在してもよく、画像が、臨床医に電子的に伝送されてもよい。いくつかの実施形態では、臨床医もまた、本明細書に開示されるように、拡張現実ディスプレイシステムのユーザであってもよい。随意に、ユーザのディスプレイシステムによって得られるデータは、臨床医がユーザによって体験される健康分析を体験し得るように、臨床医のディスプレイシステムにパスされてもよい。
【0693】
本明細書に開示される分析の多くは、標準または基準からのユーザの移動の逸脱度の判定を伴う。いくつかの実施形態では、標準または基準は、拡張現実コンテンツとしてユーザに表示されてもよく、その標準または基準からのユーザの逸脱は、ユーザによって見られ、評価されてもよい。いくつかの実施形態では、標準または基準は、例えば、特定の移動を示す、ユーザの以前に捕捉された画像であってもよい。本明細書に開示される健康分析および療法の全てでは、ユーザに示され、反射にオーバーレイされる、種々のコンテンツは、ブロック７１０（図１２）の一部として行われてもよい。
【0694】
いくつかの実施形態では、ユーザの捕捉された画像は、ブロック７１０（図１２）において、ユーザに通常可視ではない、ユーザのビューを示すように表示されてもよい。例えば、ディスプレイシステムは、ユーザの頭部の側面および／または背面におけるビューを捕捉するように配向される、１つまたはそれを上回る外向きカメラを含んでもよい。すなわち、外向きカメラのうちの１つまたはそれを上回るものは、ユーザが面している方向と異なる方向に指向される。その結果、カメラは、ユーザによって通常見えないユーザのビュー、例えば、ユーザの背面または側面を示す、反射を撮像するように構成されてもよい。ディスプレイシステムは、本画像をユーザに表示するように構成されてもよい。例えば、ユーザの背面のビューは、ユーザが、特定のアクティビティ（例えば、ユーザの頭部の背面における髪をとかす、ユーザの背中に沿ってジッパを有するドレスのジッパを開閉する等）を行う際に補助するために利用されてもよい。別の実施例として、ディスプレイシステムは、ユーザの側面ビューの反射を撮像し、その撮像された側面ビュー反射をユーザに表示することによって、ユーザの側面ビューを提供するように構成されてもよい。
【0695】
いくつかの実施形態では、側面ビュー反射は、種々のスポーツ関連アクティビティを行うとき、ユーザのフォームを監視するために利用されてもよい。例えば、フォーム／姿勢は、アクティビティが正しくなく行われる場合に傷害が生じ得る、重量挙げ等の種々のアクティビティにおいて重要であることを理解されたい。例えば、スクワットを行うとき、ユーザの膝は、その爪先を越えて延在すべきではない。しかしながら、ユーザが、特に、重い重量を挙げながら、かつその頭部を前方に向けて保ちながら、その膝がその爪先に対してある場所を判定することは困難であり得る。さらに、鏡の正面における訓練でさえ、ユーザにはそのフォームの正面ビューのみが見えるであろうため、不十分である。ユーザの真正面にある鏡を見ながらでは、鏡は、ｘおよびｙ方向（それぞれ、左右および上下）における整合を明確に示すであろうが、膝／爪先整合の関連軸である、ｚ方向（鏡に対して前後）には示さない。その結果、いくつかの実施形態では、ディスプレイシステムは、側方に指向される外向きカメラを含んでもよく、ユーザは、鏡およびカメラがユーザの横顔／側面ビューを有するように、鏡から９０度に面してもよい。加えて、ディスプレイシステムは、ブロック７１０（図１２）において、ユーザおよび／またはユーザに基づくアバタの捕捉された側面ビューを表示するように構成されてもよく、捕捉された側面ビューは、リアルタイムで表示され、ユーザにリアルタイム整合補助を提供してもよい。いくつかの実施形態では、捕捉されたビューは、後にユーザまたは第三者によって精査するために表示および記憶されてもよい。
【0696】
本明細書に開示されるように、外向きカメラは、視認者の反射を含み得る、これらの画像内の周囲環境の画像（ビデオを含む）を持続的に捕捉してもよいことを理解されたい。また、本明細書に開示されるように、画像は、データリポジトリ内に記憶されてもよい。有利には、画像の記憶は、視認者の健康の履歴分析を可能にし得、かつ健康状態を遡及的に検出および／または確認する機会を可能にし得る。例えば、いくつかの状態は、数ヶ月または数年にわたって明白ではない場合がある。データリポジトリによる画像の保有は、ディスプレイシステムおよび／または臨床医が、それらの画像が捕捉されてから数日、数週間、数ヶ月、または数年にわたって、可能性として、後の健康状態が特定の履歴健康分析を実施するように促した後のみ、種々の観察健康分析を実施することを可能にする。例えば、過去の画像の精査は、それらの画像が捕捉されてから一定時間後のみに明白となる状態の発症および進行度を判定することを補助し得る。これは、そのディスプレイシステムの長期装着を可能にする、ディスプレイシステムによって提供される遠近調節－輻輳・開散運動合致によって促進され得る。その結果、大量の画像が、健康分析を行う目的のためにそれらの画像を具体的に捕捉せずに、ユーザがその通常のルーチンを行うにつれて捕捉され得る。本大量の画像は、続いて、本明細書に説明されるように、遡及的健康分析を含む、複数の目的のために利用されてもよい。
【0697】
種々の健康分析の実施例が、ここで、以下に説明されるであろう。これらの分析のいずれかは、本明細書に説明されるように、２つの異なる時間に得られるデータが比較される、履歴分析を含んでもよいことを理解されたい。加えて、これらの分析のいずれかに関して、試験結果は、これらの試験結果の履歴比較を可能にするために記憶されてもよい。
（脳神経検査を含む、神経学的検査）
（脳神経検査を含む、神経学的検査）
【0698】
いくつかの実施形態では、ディスプレイシステムは、健康分析を実施し、ユーザの脳神経を評価するように構成されてもよい。脳神経（ＣＮ）は、末梢神経系（ＰＮＳ）の一部であって、直接、脳から出現する。１２の異なるＣＮが存在し、それぞれ、異なる機能を果たすが、全て、身体、主に、頸部および頭部の領域と脳との間で情報を中継する。ユーザの身体の位置および／または移動と関連付けられたいくつかの異常は、１つまたはそれを上回る脳神経または他の神経系の面積もしくは脳の面積への欠陥または傷害を示し得る。いくつかの実施形態では、ディスプレイシステムは、種々の脳神経内の損傷または異常を検出するように構成されてもよい。
ａ． ＣＮ ＶＩＩ－顔神経
ａ． ＣＮ ＶＩＩ－顔神経
【0699】
顔面筋の制御および本脳神経に関する異常に関わる、ＣＮ ＶＩＩが、ユーザの顔の反射内で観察されるように、顔面筋のアクションにおける異常に基づいて検出され得る。いくつかの実施形態では、ディスプレイシステムは、反射内のユーザの顔を撮像し、非対称性および／または逸脱ならびにそれらが種々の要求されるアクションに及ぼす程度を検出するように構成されてもよい。例えば、ディスプレイシステムは、顔形状内の非対称性および／または鼻唇溝等のしわの深さにおける非対称性の存在を判定するように構成されてもよい。また、ディスプレイシステムは、自発性顔表現および／または瞬目における非対称性を探すように構成されてもよい。代替として、または加えて、ユーザは、両眉を挙げる、顔をしかめる、その眼をしっかりとつぶる、上下両方の歯を見せる、笑う、その頬を膨らませる、その眉をひそめる等を含む、種々の移動を行うように促されてもよい。
【0700】
非対称性および／または要求されるアクションを行う際の観察された衰弱は、以下に記載されるような種々の状態を示し得る。顔の衰弱は、ユーザが特定のアクションを実施不能であることに基づいて、および／または基準における移動度に対して観察される移動度の比較によって、検出されてもよいことを理解されたい。いくつかの実施形態では、基準は、特定のアクションを行うユーザの以前の画像であってもよい。ユーザにベースラインからの逸脱レベルのインジケーションを提供するために、基準は、ブロック７１０（図１２）において、アクションを行うことを試みるにつれてユーザの反射にオーバーレイされた拡張現実コンテンツとして提供されてもよい。いくつかの他の実施形態では、基準は、平均ユーザの応答であってもよい。
【0701】
基準からの逸脱は、対側運動皮質または下行中枢神経系経路内の上位運動ニューロン、同側顔面神経核（ＣＮ ＶＩＩ）または末端神経線維における下位運動ニューロン、神経筋接合部、または顔面筋の病変によって生じ得る、顔の衰弱であると解釈され得る。いくつかの事例では、顔の衰弱は、ベル麻痺およびラムゼイハント症候群を示し得る。
【0702】
ディスプレイシステムは、以下のように、促されたユーザアクションに対する種々のタイプの応答を解釈するように構成されてもよい。顔面筋の制御不能および／または顔面麻痺は、ベル麻痺または偽性球麻痺等の運動障害、血管性認知症等の記憶障害、および／または脳卒中等の傷害によって生じると解釈され得る。扁平、下垂、または無表情（顔全体または顔の片側を含む）の徴候は、ベル麻痺または偽性球麻痺等の運動障害および／または脳卒中等の傷害によって生じると解釈され得る。瞼裂拡大／光閉鎖不能の徴候は、ベル麻痺等の運動障害によって生じると解釈され得る。唇鳴の徴候は、癲癇等の神経系障害またはジストニア等の運動障害によって生じると解釈され得る。顔移動困難の徴候は、ギランバレー症候群等の神経系障害、ケネディ病等の運動障害、または大脳皮質基底核変性症等の記憶障害によって生じると解釈され得る。
ｂ． ＣＮ ＶＩＩＩ－内耳神経
ｂ． ＣＮ ＶＩＩＩ－内耳神経
【0703】
ＣＮＶ ＩＩＩは、前庭系の機能に関わり、ＣＮＶ ＩＩＩにおける異常は、ユーザの聴覚および／または平衡感覚における異常に基づいて検出され得る。聴覚試験の実施例は、音叉が、正中線において頭蓋頂上に設置され、ユーザが、続いて、トーン音がより大きい側を示すように求められる、Ｗｅｂｅｒ試験である。音叉は、第三者またはユーザによってユーザの頭蓋上に設置されてもよいことを理解されたい。ユーザは、仮想メニューアイテムを選択することによって、その左または右手を挙げることによって（ディスプレイシステムが、視認者の反射内で挙げられた手を認識するように）、より大きい側を口頭で述べることによって等、トーン音がより大きい側を示してもよい。加えて、ディスプレイシステムは、ユーザの頭部姿勢を監視し、ユーザが音をより大きく知覚する側を判定するように構成されてもよい。例えば、ユーザは、より大きい側から方向転換してもよく、ディスプレイシステムは、本方向転換が、その側において音がより大きく知覚されたことを示すとして解釈するように構成されてもよい。
【0704】
いくつかの実施形態では、ディスプレイシステムは、音叉の代わりに、音を放出してもよく、例えば、ディスプレイシステムは、左および右スピーカ６６（図２の両方）を通して、同一レベルの音を放出するように構成されてもよい。いくつかの実施形態では、トーンを放出するのではなく、ディスプレイシステムは、質問または命令をユーザに指示し、命令に対するユーザの応答を監視し、例えば、ユーザに命令が聞こえた側を判定するように構成されてもよい。
【0705】
ディスプレイシステムは、応答に基づいて、ユーザが難聴を有するかどうかを判定するように構成されてもよい。ディスプレイシステムが、正常な耳および聴覚問題によって影響されている耳を把握すると仮定して、ユーザが、トーンが正常側でより大きいことを示す場合、ユーザは、影響されている耳に感音性難聴を患っていると判定され得る。ユーザが、トーンが影響されている側においてより大きいことを示す場合、ユーザは、伝音性難聴を患っていると判定され得る。
【0706】
難聴は、耳の音響および機械的要素、蝸牛の神経要素、または音響神経（ＣＮ ＶＩＩＩ）における病変によって生じ得ることを理解されたい。加えて、難聴の徴候は、単発性脱髄性症候群またはシルダー病等の神経系障害、胎児性アルコールスペクトラム障害等の発達障害、または脳腫瘍等の傷害によって生じ得る。
【0707】
加えて、他の聴覚関連状態もまた、検出されてもよい。例えば、聴覚試験は、ユーザが、ベル麻痺等の運動障害によって生じ得る、聴覚過敏を患っていることを判定し得る。いくつかの実施形態では、聴覚試験は、ユーザが、原発性側索硬化症等の運動障害によって生じ得る、過剰聴覚驚愕応答を患っていることを判定し得る。
【0708】
いくつかの実施形態では、ディスプレイシステムは、ユーザの前庭試験を実施するように構成されてもよい。そのような試験の実施例は、目眩の末梢と中枢原因を区別するために利用され得る、ＢａｒａｎｙまたはＨａｌｌ－Ｐｉｋｅ頭位眼振試験を含む。そのような試験では、ユーザは、ベッドまたは検査台上に着座するように促され得、第三者が、片耳を下にして、頭部が台の縁にわたって延在した状態で、後ろにもたれるにつれてユーザの頭部を支持し得る。いくつかの実施形態では、試験は、第三者の補助なしで実施されてもよい。むしろ、ユーザは、鏡の正面に位置してもよく、ディスプレイシステムは、ユーザの自身の位置付け方を示す、拡張現実コンテンツを投影してもよい。いずれの場合も、ユーザは、その眼を開放したままにし、目眩の任意の感覚を報告するように求められる一方、内向きカメラが、眼振の徴候に関してユーザの眼を検査する。
【0709】
ディスプレイシステムは、目眩および眼振を被っているかどうかに関してユーザから入力を受信するように構成されてもよい。ユーザによって提供される入力に基づいて、ディスプレイシステムは、種々の結論を引き出すように構成されてもよい。例えば、ユーザが横になった後から眼振および目眩の発症までの数秒の遅延は、ディスプレイシステムによって、脳神経における末梢病変を示すと解釈され得る。眼振は、水平または回転であり得、方向を変化させない。ユーザの眼振および目眩症状は、次いで、約数分以内に消失し、ユーザは、入力をディスプレイシステムに提供し、これらの症状が消失したことを示してもよい。
【0710】
ユーザが横になった直後の眼振および目眩症状の発症は、ディスプレイシステムによって、脳神経における中枢病変を示すと解釈され得る。水平または回転眼振もまた、中枢病変を提示し得る。しかしながら、中枢病変はまた、末梢病変では認められない症状を呈し得る。そのような中枢病変に一意の症状は、垂直眼振、方向を変化させる眼振、または目眩の不在下における顕著な眼振を含む。
【0711】
一般に、ディスプレイシステムは、前庭試験に対するユーザの応答における異常が、内耳の前庭器官、ＣＮ ＶＩＩＩの前庭部分、脳幹内の前庭核、小脳、または脳幹内の経路における病変と関連付けられると結論付けるように構成されてもよい。
【0712】
いくつかの実施形態では、ディスプレイシステムは、昼間、ユーザが移動するにつれて、彼らを撮像するように構成されてもよい。例えば、ディスプレイシステムは、ユーザの反射が平衡の欠如の徴候を呈するかどうかを判定するように構成されてもよい（例えば、ユーザが真っ直ぐに歩行していない、または真っ直ぐに立っていないことに起因して）。いくつかの実施形態では、平衡の欠如は、加速度計または慣性測定ユニット（ＩＭＵ）等の運動センサを使用して判定され、身体の移動および配向を追跡してもよい。
【0713】
いくつかの他の実施形態では、ディスプレイシステムは、その平衡における機能障害を検出するために、ユーザが相互作用する、拡張現実コンテンツを表示するように構成されてもよい。例えば、ユーザは、ディスプレイシステムによって、複数の深度平面を通してユーザに向かって来るように表示される仮想オブジェクトをかわすように求められてもよい。ユーザによるこれらの身をかわす運動における安定性の欠如は、平衡機能障害を示し得る。
【0714】
ディスプレイシステムはまた、平衡に関わる困難が、運動失調症またはパーキンソン病等の運動障害によって生じ得ると結論付けるように構成されてもよい。特に、ディスプレイシステムは、熱誘発性の回転および前庭応答機能低下の徴候は、パーキンソン病等の運動障害によって生じ得ることを判定するように構成されてもよい。
【0715】
いくつかの実施形態では、ディスプレイシステムは、ユーザの平衡を改善するための拡張現実コンテンツを提供するように構成されてもよい。例えば、システムは、ユーザがその平衡を維持するために集中し得る、水平線等の視覚的刺激を提供するように構成されてもよい。いくつかの他の実施形態では、ディスプレイシステムは、ユーザと直接的に物理的に接触する、電極を含んでもよい（例えば、ディスプレイのフレーム上に）。電極は、耳内の神経へのガルバニック前庭刺激を提供し、ユーザがその平衡を維持することに役立てるために利用されてもよい。
ｃ． ＣＮ ＸＩ－副神経
ｃ． ＣＮ ＸＩ－副神経
【0716】
ＣＮ ＸＩは、頭部旋回および肩の挙上に関わる、胸鎖乳突筋または僧帽筋を制御する。ディスプレイシステムは、ある範囲の運動および強度試験を実施することによって、ＣＮ ＸＩにおける異常に関して試験するように構成されてもよい。例えば、ディスプレイシステムは、ユーザに、その肩をすくめ、その頭部を両方向に旋回させ、横たわっている表面からその頭部を挙上し、その手の力に逆らって前屈するように促すように構成されてもよい。
【0717】
以前に確立された基準ベースラインからの運動範囲の減少は、ディスプレイシステムによって、胸鎖乳突筋または僧帽筋における衰弱として解釈され得る。いくつかの実施形態では、システムは、予期されるベースライン運動範囲を表示し、ユーザの不能レベルを判定することに役立てるように構成されてもよい。順に、ディスプレイシステムは、衰弱が、筋肉、神経筋接合部、および／または脊髄副神経（ＣＮ ＸＩ）の下位運動ニューロンにおける病変によって生じていると解釈するように構成されてもよい。いくつかの実施形態では、ユーザの運動範囲は、比較的正常な胸鎖乳突筋強度を伴う、僧帽筋の対側衰弱に対応し得る。これは、ディスプレイシステムによって、皮質または下行路における片側上位運動ニューロン病変によって生じていると解釈され得る。
【0718】
要求される運動に対する種々の他のユーザ応答は、以下を含み得る。頭部下垂または上下運動は、ディスプレイシステムによって、癲癇等の神経系障害によって生じていると解釈され得る。頭部筋収縮もまた、癲癇等の神経系障害によって生じていると解釈され得る。頭部の不随意捻転、旋回、引動は、頸部ジストニア等の運動障害によって生じていると解釈され得る。
【0719】
いくつかの実施形態では、ディスプレイシステムは、本明細書に開示されるように、ユーザに、物理療法に従事するための適切な移動を示す、拡張現実コンテンツを表示することによって、ユーザの物理または作業療法を実施するように構成されてもよい。
ｄ． ＣＮ ＸＩＩ－舌下神経
ｄ． ＣＮ ＸＩＩ－舌下神経
【0720】
ＣＮ ＸＩＩは、舌を制御し、本脳神経に関わる異常は、舌の移動に関わる異常に基づいて、検出され得る。例えば、ディスプレイシステムは、反射に見られるように、口底上に静置している間の舌の萎縮または線維束性収縮を検出するように構成されてもよい。線維束性収縮は、舌の自発性静止時振戦移動であって、これは、理論によって限定されるわけではないが、筋運動単位の発火によって生じ得ることを理解されたい。
【0721】
ディスプレイシステムは、ユーザに、その舌を真っ直ぐに出すように求め、舌の反射を撮像し、舌が片側または他側に湾曲しているかどうかを判定するように構成されてもよい。ディスプレイシステムはまた、ユーザに、その舌を左右に移動させ、それを各頬の内側に対して力強く押し付けるように求めるように構成されてもよい。いくつかの実施形態では、試験は、同側の衰弱および傷害の側に向かった舌の突出を示し得る。
【0722】
ディスプレイシステムは、以下のように、ユーザの舌の反射に関する種々の観察を解釈するように構成されてもよい。線維束性収縮および萎縮は、下位運動ニューロン病変の徴候であると解釈され得る。舌衰弱は、舌筋、神経筋接合部、舌下神経（ＣＮ ＸＩＩ）の下位運動ニューロン、または運動皮質から起始する上位運動ニューロンの病変から生じていると解釈され得る。舌衰弱の実施例として、片側舌衰弱は、舌を衰弱側に向かって逸脱させ得る。対側舌衰弱は、運動皮質の病変と解釈され得る。口および舌の歪曲は、顎口腔ジストニア等の運動障害によって生じると解釈され得る。衰弱顔および舌移動は、進行性球麻痺、偽性球麻痺、およびケネディ病等の運動障害によって生じると解釈され得る。舌突出は、トゥレット症候群等の運動障害によって生じ得る。
（運動検査）
（運動検査）
【0723】
いくつかの実施形態では、運動検査が、運動系における欠陥を検出し、それによって、種々の神経系障害が識別されることを可能にするために利用されてもよい。好ましくは、これらの運動検査は、観察に基づく。ディスプレイシステムの外向きカメラは、ユーザの反射を撮像し、例えば、異常運動を検出するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、痙攣、振顫、不随意運動、異常に少ない運動、姿勢、およびそれらの組み合わせを含む、異常運動を認識するように構成されてもよい。これらの運動は、単に、ユーザがその毎日の活動を実施するにつれて、および／またはユーザがジェスチャを行う、もしくは別様に入力をディスプレイシステムに提供するにつれて、反射内で観察されてもよい。不随意運動は、メニューアイテムが非意図的に選択される結果をもたらし得る、またはユーザがディスプレイシステムにアクションが不随意であることを通知するときに判定され得ることを理解されたい。加えて、不随意運動は、加速度計または慣性測定ユニット（ＩＭＵ）等の運動センサを使用して、またはユーザの頭部姿勢を検出することによって（例えば、ディスプレイシステムの外向きカメラを使用して、ユーザの視点および／または視線における偏移を識別することによって）、検出されてもよい。
【0724】
いくつかの実施形態では、第１のユーザによって行われる異常運動は、第２のユーザによって観察される第１のユーザの反射内のその第２のユーザのディスプレイシステムによって検出されてもよい。本明細書に開示されるように、第１および第２のユーザのディスプレイシステムは、情報を共有するように構成されてもよく、本情報は、反射内で観察されるような他のユーザの観察される異常運動に関する共有データを含んでもよい。
【0725】
ディスプレイシステムは、種々のタイプの異常運動が、以下のように、種々の状態によって生じ得ると結論付けるように構成されてもよい。例えば、不随意運動および振顫は、大脳基底核または小脳の病変によって生じ得る。振顫は、末梢神経病変によって生じ得る。ユーザの手の振顫または震動は、ディスプレイシステムによって、癲癇および／または多発性硬化症等の神経系障害、脳性麻痺、脊髄性筋萎縮症Ｉ／ＩＩＩ型、および／またはパーキンソン病等の運動障害、および／またはレビー小体型認知症、前頭側頭型認知症、進行性核上性麻痺によって生じる記憶障害によって生じていると解釈され得る。
【0726】
別の実施例では、筋痙攣、運動性チック、または痙攣は、ディスプレイシステムによって、バロー病、癲癇、多発性硬化症、および／または視神経脊髄炎等の神経系障害、ジストニア、ハンチントン病、運動ニューロン病、筋萎縮性側索硬化症、および／またはトゥレット症候群等の運動障害、および／またはクロイツフェルト・ヤコブ病および／または前頭側頭型認知症等の記憶障害によって生じていると解釈され得る。
【0727】
アテトーゼ（不随意に身悶えするよう運動を生じさせる、異常筋収縮）およびジストニア（反復的またはよじるような運動を生じさせる、不随意筋収縮）は、ディスプレイシステムによって、ミトコンドリア視神経症（遺伝性）等の種々の視神経症、脳性麻痺および／またはハンチントン病等の運動障害、および／または大脳皮質基底核変性症等の記憶障害によって生じていると解釈され得る。
【0728】
不随意運動／筋肉制御の損失は、ディスプレイシステムによって、癲癇等の神経系障害、脳性麻痺等の運動障害、クロイツフェルト・ヤコブ病等の記憶障害、および／または脳腫瘍等の脳傷害によって生じていると解釈され得る。
【0729】
舞踏病（特に、肩、臀部、および顔に影響を及ぼす、痙攣様の不随意運動）は、ディスプレイシステムによって、ハンチントン病等の運動障害によって生じていると解釈され得る。
【0730】
ミオクローヌス（筋群の突発性の痙攣様収縮に起因し得る、突然の痙攣様の運動）は、ディスプレイシステムによって、クロイツフェルト・ヤコブ病および／または後部大脳皮質萎縮症等の記憶障害によって生じていると解釈され得る。
【0731】
パーキンソン病またはパーキンソン症候群の症状は、ディスプレイシステムによって、認知症、大脳皮質基底核変性症、および／またはレビー小体型認知症等の記憶障害によって生じていると解釈され得る。反射内で観察され得る、パーキンソン病またはパーキンソン症候群症状の実施例は、ユーザによる振顫、動作緩慢、硬直、および姿勢不安定性を含む。
（観察可能な身体異常）
（観察可能な身体異常）
【0732】
いくつかの実施形態では、種々の観察可能な身体異常が、ディスプレイシステムによって、ユーザの反射内で検出され得る。そのような身体異常は、例えば、ユーザの捕捉された画像を分析することによって検出可能な身体の非対称性を含んでもよい。
【0733】
例えば、側弯症、すなわち、脊椎の側方湾曲が、立つまたは座るにつれてユーザの反射を撮像することによって観察され得る。好ましくは、反射は、ユーザの背面側である。いくつかの実施形態では、ディスプレイシステムは、捕捉されたユーザの画像を分析し、脊椎が側方湾曲を有するかどうかを判定してもよい。いくつかの実施形態では、湾曲の存在の確認および／または湾曲度の判定は、正常脊椎の配向を示す、拡張現実コンテンツをオーバーレイすることによって行われてもよい。本正常配向からの逸脱は、仮想スケールを表示することによって、ユーザによって測定されてもよい。側弯症が観察される場合、ディスプレイシステムは、側弯症が、脊髄性筋萎縮症Ｉ／ＩＩＩ型および／または関節拘縮症を伴う先天的脊髄性筋萎縮症等の運動障害によって生じていると解釈するように構成されてもよい。
【0734】
いくつかの他の実施形態では、脊椎の湾曲はまた、対称性に関してユーザの身体を分析することによって判定されてもよい。ユーザの正常脊椎は、ユーザの身体の中心線に沿って延在し、脊椎を中心線から逸脱させる、脊椎の湾曲は、ユーザの身体および／または姿勢における非対称性を生じさせることが予期されることを理解されたい。その結果、ユーザの反射の画像内で捕捉されるようなユーザの身体および／または姿勢における非対称性は、ディスプレイシステムによって、ユーザの脊椎の湾曲であると解釈され得る。
【0735】
いくつかの実施形態では、ディスプレイシステムは、ユーザの側弯症を処置するための物理療法を補助するように構成されてもよい。例えば、ユーザは、物理的療法のために追従すべき運動の実施例を表示されてもよい。いくつかの実施形態では、ディスプレイシステムは、反射内に見られるユーザの実際の運動にオーバーレイされた正常運動を示す、拡張現実コンテンツを表示するように構成されてもよい、および／または拡張現実コンテンツは、ユーザのための視覚的比較を提供するために、正常運動およびユーザの運動の記録された画像の両方を含んでもよい。本明細書に開示されるように、これらのユーザの運動の画像は、１つまたはそれを上回る外向きカメラを使用して得られてもよい。これらのカメラは、真正面を見ているユーザによって見られるユーザの反射を捕捉してもよい。いくつかの実施形態では、これらのカメラは、ユーザの側面または背面側に対して外向きに面し、ユーザによって通常見られないユーザのビューを提供してもよい。これらのビューは、ユーザのビューを使用して比較または誘導を提供するために有用であり得、これは、これらの比較または誘導を強調するために特に有用であり得る。加えて、ディスプレイシステムは、例えば、テキストおよび／または動画の形態で「助言」を表示し、ユーザが指示された物理療法の運動を行うことを補助するように構成されてもよい。
【0736】
別の実施例として、ディスプレイシステムは、ユーザの膝の反射内の画像において、それらの膝の整合を分析するように構成されてもよい。ユーザの脚部および足の配向および整合は、内反、外反、または正常として、容易に観察およびカテゴリ化され得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、ユーザの足および膝ならびに臀部の整合の観察に基づいて、本カテゴリ化を行うように構成されてもよい。これらの３つの特徴が、概して、ユーザの臀部から下向きに延在する直線に沿ってある、整合は、ディスプレイシステムによって、正常であると判定され得る。膝が直線の外側にある、整合は、ディスプレイシステムによって、内反であると判定され得、膝が直線の内側にある、整合は、ディスプレイシステムによって、外反であると判定され得る。
【0737】
いくつかの実施形態では、ディスプレイシステムは、ユーザが歩行するにつれて、ユーザの反射を監視し、瞬目、微笑、および腕の揺動等の種々の自動的運動の発生を検出するように構成されてもよい。本監視は、連続的であってもよい（例えば、ユーザがディスプレイデバイスを装着している時間全体を通して）、または事前に設定された持続時間にわたってであってもよい）。いくつかの実施形態では、ディスプレイシステムは、自動的運動の頻度を監視するように構成されてもよい。いくつかの実施形態では、自動的運動の欠如は、ディスプレイシステムによって、パーキンソン病等の運動障害によって生じていると解釈され得る。
【0738】
いくつかの実施形態では、ディスプレイシステムは、ユーザの反射を監視し、ユーザによる増量または減量の発生を判定するように構成されてもよい。増量または減量は、例えば、ユーザの輪郭を経時的に監視し、以前に撮像された輪郭と比較し、それぞれ、ユーザの体重の増加または減少であると解釈されるであろう、輪郭がサイズ増加または減少しているかどうかを識別することによって判定されてもよい。サイズ増加または減少はまた、ユーザの前の画像または輪郭を含む、拡張現実コンテンツをオーバーレイすることによって、ユーザに示されてもよい。正確な比較を可能にするために、画像または輪郭は、反射表面までのユーザの距離および以前に捕捉された画像内の反射表面までのユーザの距離に基づいてスケーリングされてもよいことを理解されたい。例えば、記憶されたユーザの画像は、反射表面までのユーザの距離に関するデータを含んでもよく、ディスプレイシステムはまた、記憶された画像を表示する前に、現在の反射表面までのユーザの距離を判定するように構成されてもよい。記憶された画像は、現在の反射表面までのユーザの距離に対応するようにスケーリングされてもよい。本明細書に開示されるように、反射表面までのユーザの距離は、光学反射、音響反射の測定、および／または反射された画像自体の分析を含む、種々の方法を使用して判定され得ることを理解されたい。
【0739】
いくつかの実施形態では、ディスプレイシステムは、所定の閾値量を超える増量（例えば、所定の量を超えるユーザの輪郭のサイズの増加）が、前頭側頭型認知症等の記憶障害または鬱病もしくはストレス等の行動障害によって生じていると解釈するように構成されてもよい。ユーザの体重の履歴分析が、ユーザの画像を記憶し、異なる時間に撮影された視認者の異なる画像内のユーザの輪郭の比較を行うことによって行われてもよいことを理解されたい。比較される画像は、反射表面までの異なる距離におけるユーザで撮影されてもよい。結果として、画像は、共通距離に対応するようにスケーリングされ、それによって、２つの画像間の正確な比較を提供し得る。所定の値（例えば、ユーザの種々の部分のサイズに関して）を超えるかどうかを判定することに加え、ディスプレイシステムはまた、記憶された履歴データを使用して、経時的に変化率を判定するように構成されてもよい。結果として、変化が突然または漸次的であるかどうかに関して判定が行われ、ディスプレイシステムによって行われる診断を精緻化するために使用されてもよい。
【0740】
いくつかの実施形態では、仮想食品が、ユーザの食品に対する渇望を満たすために、ディスプレイシステムによって、ユーザによる仮想消費のために表示されてもよい。いくつかの実施形態では、ディスプレイシステムは、所定の閾値量を超える減量（例えば、所定の量を超えるユーザの輪郭のサイズの減少）が、虚血性視神経症等の視神経症、運動ニューロン病等の運動障害、および／または鬱病、摂食障害、拒食症、神経性大食症、および／またはストレス等の行動障害によって生じていると解釈するように構成されてもよい。本明細書に開示されるように、いくつかの実施形態では、ディスプレイシステムは、複数のデータを評価することによって、特定の結論を確証するように構成されてもよい。例えば、減量に起因するストレスの存在の判定は、ユーザがストレスに対応するボディランゲージを呈するかどうかを判定する、ユーザの反射の画像の分析に基づいて確証され得る。過剰な減量は、望ましくない場合があり、ディスプレイシステムは、ユーザの体重および／またはユーザの画像の履歴比較を表示し、ユーザに本望ましくない減量をアラートするように構成されてもよいことを理解されたい。例えば、ディスプレイシステムは、減量の量および／または減量の比率が所定の閾値を超える場合、そのような比較を表示するように構成されてもよい。
【0741】
いくつかの実施形態では、ディスプレイシステムは、ユーザの反射を監視し、異常顔特徴の存在を判定するように構成されてもよい。そのような特徴は、例えば、ある母集団に対する平均に基づいて、異常であると判定されてもよい。例えば、複数のディスプレイシステムが、そのユーザの反射を監視し、データを共有するように構成されてもよいことを理解されたい。加えて、ディスプレイシステムは、ユーザを種々の部分母集団に当てはめるために有用であり得る、ユーザに関する人口統計情報を有してもよい。ディスプレイシステムによって捕捉された反射の数およびユーザの部分母集団を定義する能力を前提として、ディスプレイシステムは、種々の顔特徴に関する平均を提供するように構成されてもよい。例えば、平均は、母集団全体に基づいて判定されてもよい、または種々の人口統計パラメータ（例えば、年齢、性別、祖先系統等）によって定義された部分母集団を包含するようにより焦点が絞られてもよい。これらの平均に基づいて、種々の標準からのユーザにおける逸脱が、判定されてもよい。ディスプレイシステムは、これらの逸脱の存在および程度を判定するように構成されてもよく、そのうちのいくつかは、異常顔特徴としてカテゴリ化され得る。いくつかの実施形態では、ディスプレイシステムは、異常顔特徴をダウン症候群または胎児性アルコールスペクトラム障害等の発達障害によって生じていると解釈するように構成されてもよい。
【0742】
いくつかの実施形態では、ディスプレイシステムは、種々の皮膚科関連分析のために、ユーザの反射を分析するように構成されてもよい。例えば、ディスプレイシステムは、皮膚科異常（例えば、ある母集団に関する標準からの逸脱）またはユーザの皮膚の外見に関連する種々のパラメータにおける変化（例えば、ユーザにおける経時的変化）を検出するように構成されてもよい。そのようなパラメータは、皮膚の色および質ならびに隆起を含む皮膚上の特徴のサイズおよび形状を含んでもよい。いくつかの実施形態では、ディスプレイシステムは、赤外線（ＩＲ）または可視光を使用して反射を撮像するように構成される、１つまたはそれを上回る外向きカメラを含んでもよい。ディスプレイシステムは、さらなる調査のために、パターン認識および画像処理または機械視覚／学習を利用し、患者の皮膚を走査し、異常を識別するように構成されてもよい。例えば、可視光を使用して、皮膚を撮像するカメラは、パターン認識および画像処理を使用して、病理の既知の特性に関して、皮膚の面積を走査してもよい。同時に、ＩＲを検出する、外向きカメラ（可視光カメラと同一または異なるカメラであってもよい）は、皮膚の上層を「シースルー」し、皮膚の表面の下層の皮膚の組織または層内の異なる反射／屈折特性を検出してもよい。ディスプレイシステムは、既知の病理のパラメータに関して、これらの面積の画像を分析するように構成されてもよい。例えば、ハイパースペクトル微分反射率測定法は、含水量等の一意の特性を有する、関心面積を区別するために使用されてもよい。別の実施例として、発現前病変は、典型的組織と異なる水分特性を有し得、ＩＲ感知カメラを使用して反射を撮像することによって、区別され得る。
（筋緊張および筋肉量の点検）
（筋緊張および筋肉量の点検）
【0743】
いくつかの実施形態では、ディスプレイシステムは、ユーザの反射を監視し、萎縮（筋肉疲労）、肥大、または線維束性収縮（筋運動単位の発火によって生じる自発性静止時振戦運動）の存在を判定するように構成されてもよい。筋萎縮または肥大は、ユーザの画像の履歴比較を使用して判定され得ることを理解されたい。例えば、現在の画像が、以前の画像と比較され、例えば、筋肉サイズおよび／または精細度における変化を判定してもよい。いくつかの実施形態では、以前のユーザの筋肉の画像は、これらの変化を認知し得るように、ユーザに表示されてもよい。
【0744】
いくつかの実施形態では、観察可能な筋肉のサイズが、本明細書に説明されるように、測定されてもよい。いくつかの実施形態では、筋肉（例えば、強固な筋緊張を伴う筋肉）は、皮膚を通して可視であり得、筋肉の画像の分析を通して分析されてもよい。いくつかの他の実施形態では、ディスプレイシステムは、反射表面が放射または音波をユーザの身体に向かって反射させるように、電磁放射または音波、例えば、赤外線光または超音波音波を反射表面に向かって投影するように構成されてもよい。放射または音波の一部は、ユーザに向かって戻るように反射され得、ディスプレイシステムによって検出され得、放射または音波の一部は、吸収または散乱され得ることを理解されたい。吸収された量に基づいて（ディスプレイシステムによって検出された反射された放射または音の量によって判定されるように）、異なる組織は、異なる組織が異なる減衰および吸収値を有するため区別され得る。その結果、筋肉等の異なる組織の存在および量は、温度マッピングに類似するプロセスにおいて測定され得る。前述の測定技法から導出される、ユーザの筋肉を特徴付けるパラメータにおける変化が、経時的に分析され、筋緊張および／またはサイズにおける変化を検出してもよい。
【0745】
神経系における種々の異常は、ユーザの観察に基づいて検出され得る、具体的症状を生じさせ得ることを理解されたい。例えば、下位運動ニューロン病変は、筋衰弱、萎縮、線維束性収縮、反射減退（反射低下）、および緊張減少を生じさせ得る。別の実施例として、上位運動ニューロン病変は、筋衰弱、反射亢進（反射増加）、緊張増加を生じさせ得、軽度の萎縮は、不使用に起因して発症し得る。加えて、急性上位運動ニューロン病変は、緊張減少および反射低下に伴って、弛緩麻痺を生じさせ得る。そのような急性上位運動ニューロン病変は、数時間から数週間の比較的に短時間のうちに、筋緊張増加および反射亢進を生じさせ得る。さらに別の実施例として、皮質脊髄病変は、反射亢進および筋緊張増加を生じさせ得る。加えて、大脳基底核機能不全は、筋緊張増加を生じさせ得る。これらの症状のいずれかの存在は、ディスプレイシステムによって、前述の異常のうちの１つが神経系に存在することのインジケーションとして解釈され得ることを理解されたい。
【0746】
ディスプレイシステムは、種々の筋肉状態の原因に関する種々の候補を提供するように構成されてもよい。筋肉状態および候補原因の実施例は、以下の通りである。線維束性／自発性収縮は、ディスプレイシステムによって、運動ニューロン病、筋萎縮性側索硬化症、進行性球麻痺、進行性筋萎縮、脊髄性筋萎縮症Ｉ型、および／またはケネディ病等の運動障害によって生じると解釈され得る。いくつかの実施形態では、ユーザ運動の程度の測定またはユーザの安定／前の運動位置は、ユーザの反射にオーバーレイされ、ユーザの筋肉における異常または変化のレベルを判定してもよい。
【0747】
いくつかの実施形態では、筋硬直は、癲癇等の神経系障害、痙攣性脳性麻痺、運動ニューロン病、原発性側索硬化症、および／またはパーキンソン病等の運動障害、およびクロイツフェルト・ヤコブ病、レビー小体型認知症、および／または進行性核上性麻痺等の記憶障害によって生じると解釈され得る。筋硬直（正常反射を伴う筋肉のこわばり）は、ハンチントン病およびパーキンソン病等の運動障害、および／または大脳皮質基底核変性症、レビー小体型認知症、および／または前頭側頭型認知症等の記憶障害によって生じると解釈され得る。筋緊張低下症／緊張低下は、運動失調症、統合運動障害、および／または脊髄性筋萎縮症Ｉ型等の運動障害、および／または水頭症等の傷害によって生じると解釈され得る。筋緊張における観察される変動は、脳性麻痺等の運動障害によって生じると解釈され得る。筋痙攣は、手掌ジストニア、運動ニューロン病、筋萎縮性側索硬化症、および／または進行性筋萎縮等の運動障害によって生じると解釈され得る。筋肉疲労は、運動ニューロン病、筋萎縮性側索硬化症、進行性筋萎縮、脊髄性筋萎縮症、および／またはケネディ病等の運動障害、および／または摂食障害、拒食症、および／または神経性大食症等の行動障害によって生じると解釈され得る。筋肉疲労は、以前の時間におけるユーザの筋肉サイズと後の時間におけるユーザの筋肉サイズの比較に基づいて判定され得ることを理解されたい。
（筋肉の機能試験）
（筋肉の機能試験）
【0748】
いくつかの実施形態では、ユーザの筋肉の機能試験が、反射表面の正面で行われてもよい。ユーザは、種々の微細運動を行い、および／または種々の位置を保持するように指示されてもよい（例えば、ディスプレイシステムによって）。いくつかの実施形態では、これらの運動は、運動の実施がユーザのゲームスコアを増加させる、ゲームの状況下で行われてもよい。例えば、ディスプレイシステムは、ユーザに、高速の手運動または足運動、例えば、可能な限り迅速な仮想ボタンのタッチを行うように指示し、また、これらの運動に基づいて、スコアを生成するように構成されてもよい。ディスプレイシステムは、ユーザを撮像し（例えば、外向きカメラを使用して）、指示された移動および位置が正確に行われたかどうかを判定する、またはユーザが指示された移動もしくは位置から逸脱した程度を判定するように構成されてもよい。
【0749】
機能試験の実施例は、ユーザが、両腕または両脚を挙げ、その眼を閉じ、次いで、「いいえ」と言いながら、その頭部を前後に震動させるように指示されるという趣旨を含む。正の結果が、本試験に関して観察される場合（すなわち、試験が正しく行われない場合）、ディスプレイシステムは、ユーザが痙縮または位置維持不能を患っていると結論付けるように構成されてもよい。
【0750】
試験の別の実施例は、ユーザが、高速指タップ、高速手回内－回外（光電球のねじ込みに類似する運動において）、高速手タップ、および／または床または他のオブジェクトに対する高速足タップに従事するように指示される、高速手または足運動である。そのような試験は、高速指タップまたは手回内－回外の実施不能によって証明されるようなわずかな筋肉衰弱も検出するために使用され得る。
【0751】
ディスプレイシステムは、指示される運動のユーザの実施能力を以下のように解釈するように構成されてもよい。衰弱の不在下における低速またはぎこちない微細指運動もしくは爪先タップは、皮質脊髄路のわずかな異常または小脳もしくは大脳基底核の病変によって生じていると解釈され得る。「歯を磨いているふりをする」等の運動の命令に追従不能であることは、失行症によって生じていると解釈され得る。運動機能／随意筋肉制御の損失は、視神経脊髄炎等の神経系障害、および／または運動ニューロン病および／または原発性側索硬化症等の運動障害によって生じていると解釈され得る。運動緩徐／動作緩慢は、シルダー病等の神経系障害、ハンチントン病、原発性側索硬化症、および／またはパーキンソン病等の運動障害、および／またはレビー小体型認知症等の記憶障害によって生じていると解釈され得る。不随意筋収縮（「タスク特異的」であり得る）は、手掌ジストニア等の運動障害によって生じていると解釈され得る。身体の片側優位性（ユーザの身体の片側におけるより発達した筋肉および／または指示されたタスクを行うときの片側優位性によって証明されるように）は、脳性麻痺等の運動障害によって生じていると解釈され得る。いくつかの実施形態では、ユーザの身体の検出された片側優位性は、ユーザの身体の非優位側の関与を促すコンテンツを表示することによって処置されてもよい。例えば、半側空間無視を患っているユーザは、その身体の片側のみを使用し得る、例えば、その顔の半分のみ剃毛する、または利き腕を使用するためにその身体を横断して手を伸ばす。いくつかの実施形態では、ディスプレイシステムは、タスクを行っている仮想上の無視されている手を示し、それによって、その無視されている手を使用するようにユーザを促すことによって、無視されている手を使用して手を伸ばす方がより容易であろうことをユーザに示すように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザを無視されている側に引き付ける、仮想コンテンツを表示するように構成されてもよい。
（無視面積から非無視面積へのオブジェクトの偏移）
（無視面積から非無視面積へのオブジェクトの偏移）
【0752】
ユーザの視野における無視面積または側の場所は、既知のディスプレイシステムによって把握され得ることを理解されたい。例えば、これらの面積の場所は、ディスプレイシステム内に記憶され、および／または別様にディスプレイシステムにアクセス可能であってもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザの視野内のこれらのオブジェクトの場所を偏移させることによって、これらの無視面積内のオブジェクトに対処し、注意を引き付けるように構成されてもよい。例えば、ユーザが、反射を視認するにつれて、ディスプレイシステムの前向きカメラは、反射の画像を捕捉するように構成されてもよく、ディスプレイシステムは、関心オブジェクトが無視面積内にあるかどうかを判定するように構成されてもよい。オブジェクトが無視面積内にある場合、ディスプレイシステムは、オブジェクトの画像を異なる場所に、好ましくは、ユーザの視野の非無視面積内に提示することによって、そのオブジェクトの場所を偏移させるように構成されてもよい。その結果、ユーザは、本オブジェクトを知覚し、それに反応し得る。いくつかの実施形態では、ディスプレイシステムによって捕捉された画像全体が、所望のオブジェクトが非無視面積内に位置するように偏移されてもよい。
【0753】
いったんユーザが、コンテンツまたは視覚的入力が無視されている偏移面積内に存在することを認識すると、ディスプレイシステムは、偏移を除去するように構成されてもよい。例えば、ディスプレイシステムは、ユーザに、オブジェクトを知覚しているかどうかを示するように促し、本促しに対する応答を受信する、または内向きカメラを使用して、その視線を監視し、ユーザの視線が合致するか、もしくは偏移された面積内のオブジェクトに指向されているかどうかを判定するように構成されてもよい。いくつかの実施形態では、ユーザからの肯定応答の検出は、ディスプレイシステムに、偏移の量を徐々に、漸増的に、経時的に減少させてもよい。例えば、ディスプレイシステムは、漸増変化毎に、ユーザがオブジェクトを知覚しているかどうか判定し、肯定結論を行った後、偏移が除去されるまで、別の漸増変化を行うように構成されてもよい。
【0754】
いくつかの実施形態では、偏移に加え、ディスプレイシステムは、ユーザの仮想反射が、典型的鏡に生じるであろうように、そのユーザの反転特徴として示されない、「真の鏡」として機能するように構成されてもよい。例えば、ディスプレイシステムは、ユーザの反射を撮像し、反射の画像をユーザに表示する前に、その反射を反転させるように構成されてもよい。反転されたユーザの反射の画像は、非反転画像、すなわち、仮想上の真の鏡反射としてユーザによって見られるであろう。いくつかの実施形態では、仮想上の真の鏡反射は、実際の反射にオーバーレイし、取って代わってもよい。
（個々の筋群の強度の試験）
（個々の筋群の強度の試験）
【0755】
いくつかの実施形態では、ユーザの個々の筋群の強度が、反射表面の正面において試験されてもよい。ユーザは、特定の筋群上に集中されるように設計される移動を行うように指示されてもよい（例えば、ディスプレイシステムによって）。ディスプレイシステムは、ユーザを撮像し（例えば、外向きカメラを使用して）、指示される運動および位置が正確に行われたかどうかを判定する、またはユーザが指示された運動または位置から逸脱した程度を判定するように構成されてもよい。いくつかの実施形態では、ユーザが既知の抵抗（例えば、体重）に対して移動可能である距離が、強度のゲージとして測定されてもよい。代替として、または加えて、抵抗の大きさ（例えば、体重の質量）は、異なる抵抗に対して移動するユーザの能力を判定し、それによって、ユーザの強度を測定するために変動されてもよい。
【0756】
いくつかの実施形態では、筋群は、対で連続的に試験されてもよい。すなわち、特定の筋群を試験した後、その筋群の対側対応物が、筋肉強度または機能における非対称性の検出を向上させるために試験されてもよい。筋肉強度は、５点スケールにおいて評定されてもよく、０は、無収縮を示し、５は、正常強度を示すことを理解されたい。いくつかの実施形態では、ディスプレイシステムは、任意の観察される筋肉衰弱が近位または遠位の筋衰弱のどちらであるかを示すように構成されてもよい。近位筋は、身体の正中線に最も近いものであって、遠位筋は、身体の四肢上のものであることを理解されたい。いくつかの実施形態では、近位対遠位衰弱の比較が、ユーザが、それぞれ、筋肉または神経疾患を患っているかどうかを判定するために使用されてもよい。
【0757】
筋肉強度の試験の実施例は、以下を含む。上肢強度試験は、三頭筋筋肉、半径方向神経、および神経根Ｃ６、Ｃ７、およびＣ８に関する診断情報を利用および提供する、肘伸展試験を含む。下肢強度試験は、四頭筋筋肉、大腿神経、および神経根Ｌ２、Ｌ３、およびＬ４に関する診断情報を利用および提供する、膝伸展試験を含む。足を制御する筋肉の強度は、ユーザが、その足の回外および／または回内を行うように求められる、足回外および／または回内試験を使用して判定されてもよい。ディスプレイシステムは、複数の筋肉強度試験を行い、これらの試験の結果に基づいて、衰弱のパターンを判定するように構成されてもよいことを理解されたい。衰弱のパターンは、特定の皮質または白質領域、脊髄レベル、神経根、末梢神経、または筋肉異常を特定することを補助し得る。
【0758】
ディスプレイシステムは、以下のように、筋肉試験におけるユーザの実施能力を解釈するように構成されてもよい。筋肉衰弱または疲労は、急性散在性脳脊髄炎、単発性脱髄性症候群、ギランバレー症候群、多発性硬化症、視神経脊髄炎、シルダー病、横断性脊髄炎、および／または末梢神経障害等の神経系障害、急性脱髄性視神経炎、および／またはミトコンドリア視神経症（遺伝性）等の視神経症、運動失調症、運動ニューロン病、筋萎縮性側索硬化症、原発性側索硬化症、進行性筋萎縮、脊髄性筋萎縮症、および／またはケネディ病等の運動障害、前頭側頭型認知症等の記憶障害、および／または水頭症、脳卒中、および／または外傷性脳傷害等の傷害によって生じると解釈され得る。麻痺は、ディスプレイシステムによって、バロー病、ギランバレー症候群、多発性硬化症、および／または視神経脊髄炎等の神経系障害、血管性認知症等の記憶障害、および／または脳卒中等の傷害によって生じていると解釈され得る。
（反射試験）
（反射試験）
【0759】
いくつかの実施形態では、ユーザの反射の試験が、ユーザの身体の種々の部分に関する反射試験結果に基づいて、損傷したニューロン等の神経系異常を識別し、ユーザの脳の傷害を受けた部分を識別および隔離するために利用されてもよい。種々の反射試験は、以下に説明される。試験は、反射表面の正面において実施されてもよく、試験の結果は、ユーザの反射の画像を捕捉することによって判定され得る。
【0760】
いくつかの実施形態では、特定の試験から予期される正常反射運動は、ユーザまたはシステムもしくは第三者が、ユーザの反射が正常運動と整合するかどうかを判定し得、また、異常の程度を判定し得るように、拡張現実コンテンツとして投影されてもよい。異常の程度は、定質的および／または定量的に（例えば、ユーザによって呈される運動の範囲の定量的測定を通して）判定されてもよい。例えば、定量的測定は、既知の定数（例えば、ユーザの身長、ユーザの身体部分のサイズ、ユーザの画像が捕捉された反射表面からのユーザの距離等）に基づいて、ユーザの運動に関する種々のパラメータを計算する際、ユーザの画像を分析することによって得られてもよい。いくつかの実施形態では、ユーザの運動は、拡張された正常運動と比較され、視覚的履歴比較において示されてもよい。いくつかの実施形態では、ユーザの運動を示す、拡張現実コンテンツは、色分けされてもよい。例えば、ユーザが、任意の運動を有していない場合、運動の欠如を有する、投影された身体部分は、赤色となるであろう、またはユーザの運動が正常である場合、正常運動を有する、投影された身体部分は、緑色となるであろう。いくつかの実施形態では、ディスプレイシステムは、反射運動の時間および距離を測定し、その運動の速度を判定するように構成されてもよい。例えば、反射表面からのユーザの距離は、深度センサを使用して判定され、観察される画像の縮尺に関する数学的判定を可能にすることによって、種々の特徴のサイズの判定を可能にしてもよい。
ａ．深部腱反射
ａ．深部腱反射
【0761】
第三者またはユーザは、反射ハンマーをユーザの四肢に叩打し、衝撃を生成し、ユーザの筋肉および腱を伸展させてもよい。好ましくは、ユーザの四肢は、弛緩され対称な位置にあって、これは、これらの要因が反射振幅に影響を及ぼし得るためである。いくつかの実施形態では、ユーザの片側で試験される反射毎に、ユーザの左／右側非対称性を検出するために、筋肉／腱の対側対応物は、類似反射試験を受けてもよい。
【0762】
ディスプレイシステムは、反射試験に対するあるユーザ反応が以下のような種々の状態を示すと結論付けるように構成されてもよい。例えば、反射の異常増加（反射亢進）は、ディスプレイシステムによって、上位運動ニューロン病変によって生じていると解釈され得る。クローヌスは、ディスプレイシステムによって、ハンチントン病等の運動障害によって生じていると解釈され得る。ディスプレイシステムは、筋肉および対応する腱が伸展されるときに生じる筋肉の反復的振動収縮を検出することによって、クローヌスの存在を診断するように構成されてもよいことを理解されたい。ある場合には、クローヌスはまた、ディスプレイシステムによって、反射亢進と解釈され得る。クローヌスに加え、ディスプレイシステムによって観察され得る、反射亢進の他の徴候は、直接試験されていない他の筋肉への反射の拡散およびユーザまたは第三者が膝の内側面をタップするときの反対脚部の交差内転を含む。
【0763】
いくつかの実施形態では、ディスプレイシステムは、ユーザの腱に印加された力に対するユーザの反応を観察することによって、深部腱反射を試験するように構成されてもよい。試験は、周期的に行われ、現在の結果と過去の結果の比較を可能にしてもよく、および／または試験結果は、予期される平均結果と比較されてもよい。深部腱反射の減少は、筋肉、感覚ニューロン、下位運動ニューロン、および／または神経筋接合部における異常、急性上位運動ニューロン病変、および／または関節疾患等の機械的要因によって生じていると解釈され得る。
【0764】
いくつかの実施形態では、深部腱反射の不在は、ディスプレイシステムによって、視神経脊髄炎および／または脊髄性筋萎縮症Ｉ型等の神経系障害によって生じていると解釈され得る。いくつかの実施形態では、過度の深部腱反射は、ディスプレイシステムによって、視神経脊髄炎等の神経系障害によって生じていると解釈され得る。
ｂ． 足底応答
ｂ． 足底応答
【0765】
いくつかの実施形態では、ユーザの足底応答が、オブジェクトをユーザの足の裏を横断してこすりつけることによって試験されてもよく、オブジェクトは、踵から移動され、足の小指に向かって前進し、次いで、足の親指に向かって内側に弧を描く。足指の下向き収縮は、本試験に対して予期される正常応答である。
【0766】
種々の異常応答が、ディスプレイシステムによって撮像され得る。バビンスキー徴候は、典型的には、足の親指の上向き移動および他の足指の外向きの開扇現象によって特徴付けられる、異常応答である。ある場合には、足指は、「無反応」であり得る（上方または下方のいずれにも移動しない）。足指が、片側（片足）において下向きに収縮するが、他側（他方の足）において無反応であるとき、無反応側は、異常であると見なされる。これらの応答は、成人では、常時、異常と見なされるが、約１歳までの幼児では、異常ではない。いくつかの実施形態では、足底伸筋応答を含む、これらの異常応答は、ハンチントン病等の運動障害によって生じると解釈され得る。
【0767】
バビンスキー徴候の存在は、ディスプレイシステムによって、皮質脊髄路に沿った任意の場所における上位運動ニューロン病変の存在を示すと解釈され得る。しかしながら、バビンスキー徴候は、足指の伸筋の深刻な衰弱が存在する場合、誘発され得ないことを理解されたい。バビンスキー徴候の存在は、いくつかの実施形態では、ディスプレイシステムによって、筋萎縮性側索硬化症等の運動障害によって生じると解釈され得る。
ｃ． 手指屈筋反射
ｃ． 手指屈筋反射
【0768】
いくつかの実施形態では、手指屈筋反射の試験は、ユーザの上肢における反射亢進（過剰反射）の存在を判定することに役立ち得る。手指屈筋は、掌を反射ハンマーを用いて優しく叩打することによって試験されてもよい。代替として、ユーザの上肢における伸張反射の存在は、ユーザの中指をゆったりと構えさせ、指の爪を下向きにはじき、指を伸展させるように若干跳ね返らせることによって、ホフマン徴候に関して試験することによって判定されてもよい。ホフマン徴候は、応答して、親指が屈曲および内転することが観察される場合、存在する。
【0769】
ホフマン徴候、すなわち、伸張手指屈筋反射は、ディスプレイシステムによって、手に影響を及ぼす上位運動ニューロン病変の存在を示すと解釈され得る。
【0770】
上記の種々の反射試験に関して、いくつかの実施形態では、反射の不在は、ディスプレイシステムによって、ギランバレー症候群等の神経系障害によって生じると解釈され得る。加えて、反射亢進の存在は、ディスプレイシステムによって、多発性硬化症等の神経系障害によって生じると解釈され得る。また、痙縮（過剰反射を伴う筋肉のこわばり）は、ディスプレイシステムによって、脳性麻痺、ハンチントン病、および／または筋萎縮性側索硬化症等の運動障害によって生じると解釈され得る。
（協調試験）
（協調試験）
【0771】
いくつかの実施形態では、ユーザの協調の試験が、神経系異常を識別するために利用されてもよい。例えば、協調試験は、身体の種々の部分に関する協調試験結果に基づいて、ユーザの脳の傷害を受けた部分を識別および隔離するために使用されてもよい。種々の協調試験が、以下に説明される。本明細書に開示される他の試験と同様に、協調試験は、反射表面の正面において実施されてもよく、試験の結果は、ユーザの反射の画像を捕捉することによって判定されてもよい。
【0772】
いくつかの実施形態では、特定の試験から予期される正常に協調される運動が、ユーザまたはシステムもしくは第三者が、ユーザの運動が正常運動と整合するかどうかを判定し得、また、異常の程度を判定し得るように、拡張現実コンテンツとして投影されてもよい。異常の程度は、定質的および／または定量的に（例えば、ユーザによって呈される運動の範囲の定量的測定を通して）判定されてもよい。例えば、定量的測定は、既知の定数（例えば、ユーザの身長、ユーザの身体部分のサイズ、ユーザの画像が捕捉された反射表面からのユーザの距離等）に基づいて、ユーザの運動に関する種々のパラメータを計算する際、ユーザの画像を分析することによって得られてもよい。いくつかの実施形態では、ユーザの運動は、拡張された正常運動と比較され、視覚的履歴比較において示されてもよい。いくつかの実施形態では、ユーザの運動を示す、拡張現実コンテンツは、色分けされてもよい。例えば、ユーザが、任意の運動を有していない場合、運動の欠如を有する、投影された身体部分は、赤色となるであろう、またはユーザの運動が正常である場合、正常運動を有する、投影された身体部分は、緑色となるであろう。いくつかの実施形態では、ディスプレイシステムは、反射運動の時間および距離を測定し、その運動の速度を判定するように構成されてもよい。例えば、反射表面からのユーザの距離は、深度センサを使用して判定され、観察される画像の縮尺に関する数学的判定を可能にすることによって、種々の特徴のサイズの判定を可能にしてもよい。
【0773】
いくつかの実施形態では、付属肢協調試験が、ユーザが、協調または歩行を妨害し得る一方、他の運動機能を比較的に無傷のままである、小脳障害を患っているかどうかを判定するために行われてもよい。
ａ． 高速交互運動
ａ． 高速交互運動
【0774】
いくつかの実施形態では、ユーザは、高速交互運動を行うように指示されてもよい。そのような運動の実施例は、片手の掌を他方の手の掌および手背で交互に軽叩することを含む。別の実施例として、ディスプレイシステムは、仮想ボタン等の拡張現実コンテンツを表示するように構成されてもよく、ユーザは、コンテンツと相互作用する、例えば、仮想ボタンをタップするように指示されてもよい。緩慢な高速反復運動が検出される場合、ディスプレイシステムは、そのような結果が多発性硬化症等の神経系障害によって生じていると解釈するように構成されてもよい。
ｂ． 精密な指タップ
ｂ． 精密な指タップ
【0775】
いくつかの実施形態では、ユーザは、手および足の微細運動がユーザの指によって行われる、精密な指タップ試験を行うように指示されてもよい。そのような運動は、その人差し指でのユーザの親指の一部の反復タップおよび／または１つまたはそれを上回る仮想ボタン等の拡張現実コンテンツとの相互作用を含む。
【0776】
運動の制御／精密な運動の困難性は、ディスプレイシステムによって、ジスキネジー性脳性麻痺および／または進行性筋萎縮等の運動障害によって生じていると解釈され得る。微細運動協調失調／微細運動技術の欠如は、ディスプレイシステムによって、統合運動障害、筋萎縮性側索硬化症、および／または原発性側索硬化症等の運動障害、書字障害および／または非言語的学習障害等の学習障害、酩酊（中毒／アルコール依存症）等の行動障害、および／または胎児性アルコールスペクトラム障害等の発達障害によって生じていると解釈され得る。
ｃ． 踵脛試験
ｃ． 踵脛試験
【0777】
いくつかの実施形態では、ユーザは、片足の踵を反対膝または仮想線等の拡張現実コンテンツにタッチさせ、次いで、踵をその脛の正面に沿って下方に直線に滑らせ、再び、上に戻すように指示される、踵脛試験を行うように指示されてもよい。
【0778】
踵脛試験実施の困難性は、ディスプレイシステムによって、多発性硬化症等の神経系障害によって生じていると解釈され得る。一連の運動の粗大運動協調失調／不能は、ディスプレイシステムによって、統合運動障害および／または筋萎縮性側索硬化症等の運動障害、後部大脳皮質萎縮症等の記憶障害、および／または脳卒中ならびに／もしくは外傷性脳傷害等の傷害によって生じていると解釈され得る。
【0779】
本明細書に開示される他の試験のように、踵脛試験は、ある時間周期にわたって周期的に行われ、試験結果の履歴比較を可能にしてもよいことを理解されたい。協調における変化は、ディスプレイシステムによって、ダウン症候群等の発達障害によって生じていると解釈され得る。
【0780】
無動性硬直症候群／動作開始緩慢は、ディスプレイシステムによって、ハンチントン病等の運動障害によって生じていると解釈され得る。動作開始緩慢は、ユーザの反射に見られるように、ユーザの移動の速度を測定することによって判定され得ることを理解されたい。
ｄ． 指鼻指試験
ｄ． 指鼻指試験
【0781】
いくつかの実施形態では、ディスプレイシステムは、ユーザがその鼻および臨床医の指を交互に可能な限り迅速にタッチするように求められる、指鼻指試験を実施してもよい。好ましくは、臨床医の指は、拡張現実コンテンツとしてユーザに表示される、仮想指であってもよい。
【0782】
いくつかの実施形態では、指鼻指試験は、ユーザが運動失調症を患っているかどうかを判定するために実施されてもよい。運動失調症の検出は、検査者の指（実際または仮想であってもよい）を患者の手が届く最大距離に提供し、また、ユーザにその指にタッチするように指示しながら、時折、異なる場所に突然移動させることを含んでもよい。試験のために要求される運動の完了成功の困難は、ディスプレイシステムによって、運動失調症を示すと解釈され得る。
ｅ． 行過量試験
ｅ． 行過量試験
【0783】
いくつかの実施形態では、ディスプレイシステムは、ユーザが、両腕をその膝から特定の標的レベルまで突然挙上するように指示される、行過量試験を実施してもよい。特定の標的レベルは、拡張現実コンテンツとしてユーザに表示される仮想マーカによって示されてもよいことを理解されたい。いくつかの実施形態では、ディスプレイデバイスは、双方向指示をユーザに表示し、行過量試験を実施する前に、ユーザがその腕を挙上する適切な標的レベルを選択してもよい。
【0784】
いくつかの他の実施形態では、臨床医は、試験を実施することを支援してもよい。臨床医は、ユーザとの物理的接触を提供するために利用されてもよい。例えば、臨床医は、圧力をユーザのいっぱいに伸ばされた腕に印加し、次いで、それを突然解放してもよい。いくつかの実施形態では、臨床医は、標的線を患者の親指の皮線上に引き、次いで、患者に、標的線にその人差し指の先端で繰り返しタッチするように求めてもよい。
【0785】
試験の可能性として考えられる結果は、ユーザが標的レベルまたは標的線を行き過ぎるであろうことである。ディスプレイシステムは、そのような行過量をユーザが運動失調症を患っているインジケーションとして解釈するように構成されてもよく、そのような行過量は、一般に、失調性運動の一部であると理解され、標的指向運動の状況下における偏示と称され得る。
ｆ． ロンベルグ試験
ｆ． ロンベルグ試験
【0786】
いくつかの実施形態では、ディスプレイシステムは、ユーザが、その足をともに揃え、相互に触れた状態で立ち、次いで、その眼を閉じるように指示される、ロンベルグ試験を実施してもよい。ユーザの眼が開放されると、ユーザは、３つの感覚系を使用して、入力を小脳、すなわち、視覚、固有受容感覚、および前庭系に提供し、体幹安定性を維持し得ることを理解されたい。軽度病変が、前庭または固有受容感覚系に存在する場合、ユーザは、その眼を開放した状態では、補償することが可能であり得る。しかしながら、ユーザの眼が閉鎖されると、視覚系からの入力は、除去され、ユーザの身体は、不安定性を呈し得る。より深刻な固有受容もしくは前庭病変または中程度の小脳病変は、その眼が開放した状態でも、ユーザがその位置および安定性を維持することを不可能にし得る。加えて、神経系の他の部分（上位または下位運動ニューロンまたは大脳基底核を含む）における病変もまた、ユーザの位置における不安定性を生じさせ得る。いくつかの実施形態では、ディスプレイシステムは、ユーザが不安定であって、ユーザが転倒するリスクがある場合、警告（例えば、可聴警告）を提供するように構成されてもよい。ユーザの安定性は、反射表面内のユーザの反射を撮像し、ユーザの運動量を判定することによって判定されてもよい。加えて、ＩＭＵおよび／または加速度計ならびに／もしくは頭部姿勢判定が、ユーザの移動および／または配向を検出し、ユーザ不安定性の予備結論を確認するために使用されてもよい。
【0787】
ユーザの不安定性は、ディスプレイシステムによって、種々の状態を示すと解釈され得る。例えば、協調を要求するタスクを行う際の異常運動と、正常平滑運動上に重畳され、それに干渉する不規則な振動性品質を伴う、中から大振幅の不随意運動は、ディスプレイシステムによって、運動失調症を示すと解釈され得る。付属肢運動失調症は、四肢の運動に影響を及ぼし、ディスプレイシステムによって、小脳半球および関連付けられた経路の病変によって生じていると解釈され得る。体幹運動失調症は、近位筋肉組織（特に、歩行安定性と関連付けられた筋肉組織）に影響を及ぼし、ディスプレイシステムによって、小脳虫部および関連付けられた経路への中程度の損傷によって生じていると解釈され得る。拮抗運動反復不全（異常交互運動）は、ディスプレイシステムによって、多発性硬化症等の神経系障害および／または運動失調症等の運動障害によって生じていると解釈され得る。運動失調症自体は、ディスプレイシステムによって、多発性硬化症等の神経系障害、急性脱髄性視神経炎、ミトコンドリア視神経症（遺伝性）等の視神経症、脳性麻痺等の運動障害、および／またはクロイツフェルト・ヤコブ病等の記憶障害によって生じていると解釈され得る。測定障害または協調失調の徴候は、ディスプレイシステムによって、多発性硬化症等の神経系障害、運動失調症、失調性脳性麻痺、統合運動障害、ハンチントン病、および／または運動ニューロン病等の運動障害、前頭側頭型認知症等の記憶障害、および／または水頭症等の傷害によって生じていると解釈され得る。拙劣は、ディスプレイシステムによって、統合運動障害等の運動障害、非言語的学習障害等の学習障害、および／または胎児性アルコールスペクトラム障害等の発達障害によって生じていると解釈され得る。
ｇ． 処置
ｇ． 処置
【0788】
いくつかの実施形態では、いったん欠陥が検出されると、ディスプレイシステムは、視覚的標的を提供することによって、ユーザが、その運動を整合させ、その運動技術を改善することを補助するように構成されてもよい。例えば、ディスプレイシステムは、ユーザの指の移動を誘導する拡張現実コンテンツを表示することによって、微細運動技術、例えば、実際または仮想ピアノの演奏を訓練するように構成されてもよい。ユーザが、微細運動技術に困難を有する場合、ディスプレイシステムは、仮想ボタンのサイズを増加し、それらのボタンのユーザの使用を促進するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、反射表面内のユーザの移動の反射を撮像しながら、拡張現実コンテンツ（例えば、ピアノキー）を表面上に表示するように構成されてもよい。例えば、ディスプレイシステムは、聴衆が視認するであろうような反射内のピアニストのビューも捕捉しながら、ピアニストが、仮想キーボード上で練習することを可能にするように構成されてもよい。
（歩行）
（歩行）
【0789】
いくつかの実施形態では、ユーザの歩行の試験が、神経系異常を識別するために利用されてもよい。例えば、脳のある面積への損傷自体は、歩行非対称性または不安定性を提示し得る。ユーザの姿勢、平衡、および歩行を評価することによって、損傷されている脳の面積が、判定され得る。
【0790】
いくつかの実施形態では、ディスプレイシステムは、さらに以下に議論されるように、種々の試験のために要求されるような反射表面の正面において移動するように双方向命令をユーザに表示するように構成されてもよい。ディスプレイシステムはまた、視認者の反射を撮像し、その歩行を分析するように構成されてもよい。拡張された正常歩行は、ユーザの反射にオーバーレイされ、ユーザが、所望の運動を理解することを補助し、および／またはユーザが、その歩行における異常または変化のレベルを観察することを可能にし得る。いくつかの実施形態では、ユーザは、仮想オブジェクトに向かって歩行するように求められてもよく、これは、次いで、ユーザに徐々に近づく深度平面上に表示されることによって、ユーザに徐々に近づいて現れる。加えて、いくつかの実施形態では、異常歩行の結論が、他のセンサを使用して確証されてもよい。例えば、ＩＭＵおよび／または加速度計ならびに／もしくは頭部姿勢判定が、異常歩行を確認するために使用されてもよい。例えば、人物が正常歩行を伴って歩行すると、その頭部および身長は、移動する、すなわち、正弦波状に「上下に動き」、本上下運動は、ＩＭＵ、加速度計、および／または頭部姿勢センサを用いて検出され得ることを理解されたい。異常波（例えば、非正弦波）は、異常歩行を示し得る。その結果、ディスプレイシステムは、異常波をユーザの歩行の画像の分析に基づいて判定された異常歩行の予備結論の確認として解釈するように構成されてもよい。
【0791】
いくつかの実施形態では、特定の試験において予期される正常歩行は、ユーザまたはシステムもしくは第三者が、ユーザの歩行が正常歩行と整合するかどうかを判定し得、また、異常の程度を判定し得るように、拡張現実コンテンツとして投影されてもよい。異常の程度は、定質的および／または定量的に（例えば、ユーザによって呈される運動の範囲の定量的測定を通して）判定されてもよい。例えば、定量的測定は、既知の定数（例えば、ユーザの身長、ユーザの身体部分のサイズ、ユーザの画像が捕捉された反射表面からのユーザの距離等）に基づいて、ユーザの運動に関する種々のパラメータを計算する際、ユーザの画像を分析することによって得られてもよい。いくつかの実施形態では、ユーザの歩行は、拡張された正常歩行と比較され、視覚的履歴比較において示されてもよい。いくつかの実施形態では、ユーザの歩行を示す拡張現実コンテンツは、色分けされてもよい。例えば、ユーザが、任意の運動を有していない、すなわち、異常歩行の場合、投影されたユーザの歩行の画像は、赤色であり得る、またはユーザの運動が、正常である場合、正常運動を示す投影された画像は、緑色となるであろう。いくつかの実施形態では、ディスプレイシステムは、運動の時間および距離を測定し、その運動の速度を判定するように構成されてもよい（例えば、ユーザの足の速度）。例えば、反射表面からのユーザの距離は、深度センサを使用して判定され、観察される画像の縮尺に関する数学的判定を可能にすることによって、種々の特徴のサイズの判定を可能にしてもよい。
ａ．つぎ足歩行
ａ．つぎ足歩行
【0792】
いくつかの実施形態では、ユーザは、一歩ずつ、片足の踵を他方の足の爪先にタッチさせながら、直線に歩行するように指示されてもよい。種々の神経系異常を伴うユーザは、本タスクに困難を有し得る。例えば、小脳虫部または関連付けられた経路への損傷によって生じる体幹運動失調症を伴う、ユーザは、典型的には、不安定なガニ股歩行を有するため、本タスクを困難であると見出し得る。つぎ足歩行試験によって要求されるように、その足をともに閉じたまま保つことは、これらのユーザを不安定にさせ得る。
【0793】
ディスプレイシステムは、つぎ足歩行試験におけるユーザの実施能力を以下のように解釈するように構成されてもよい。運動失調症（不安定歩行）は、ディスプレイシステムによって、急性散在性脳脊髄炎、ギランバレー症候群、多発性硬化症、および／または脊髄性筋萎縮症ＩＩ型等の神経系障害、および／または大脳皮質基底核変性症および／または血管性認知症等の記憶障害によって生じていると解釈され得る。平衡不良／転倒は、ディスプレイシステムによって、癲癇および／または多発性硬化症等の神経系障害、失調性脳性麻痺、統合運動障害、原発性側索硬化症、および／またはパーキンソン病等の運動障害、大脳皮質基底核変性症、レビー小体型認知症、および／または進行性核上性麻痺等の記憶障害、酩酊（中毒／アルコール依存症）等の行動障害、および／または脳卒中等の傷害によって生じていると解釈され得る。姿勢不安定性は、ディスプレイシステムによって、運動失調症、ジストニア、および／またはハンチントン病等の運動障害によって生じていると解釈され得る。硬直姿勢は、ディスプレイシステムによって、クロイツフェルト・ヤコブ病等の記憶障害によって生じていると解釈され得る。異常姿勢は、ディスプレイシステムによって、関節拘縮症を伴う先天的脊髄性筋萎縮症および／またはパーキンソン病等の運動障害、および／またはレビー小体型認知症等の記憶障害によって生じていると解釈され得る。
ｂ． 強制歩行
ｂ． 強制歩行
【0794】
いくつかの実施形態では、ユーザは、その踵、その爪先、またはその足の内側もしくは外側で歩行する、片足で立つもしくは飛ぶ、または階段を昇るように指示されてもよい。そのような強制歩行試験は、わずかな歩行異常または非対称性の存在を判定するために利用されてもよい。
【0795】
ディスプレイシステムは、強制歩行試験におけるユーザの実施能力を以下のように解釈するように構成されてもよい。ユーザが、横臥位であるとき、歩行のために要求される運動の全てを正常に実施可能である場合、立位では、歩行不可能である場合、ディスプレイシステムは、ユーザが歩行失行症を患っていることを判定するように構成されてもよい。ディスプレイシステムはまた、歩行失行の存在が、ユーザにおける前頭葉または正常圧水頭症を示すと解釈するように構成されてもよい。加えて、ユーザによる歩行における困難は、ディスプレイシステムによって、脳性麻痺および／または運動ニューロン病等の運動障害、前頭側頭型認知症および／または血管性認知症等の記憶障害、胎児性アルコールスペクトラム障害等の発達障害、および／または脳腫瘍等の傷害によって生じていると解釈され得る。異常歩行（爪先歩行、膝屈曲歩行、はさみ脚歩行、および／またはひきずり歩行等）は、ディスプレイシステムによって、脳性麻痺、脊髄性筋萎縮症ＩＩＩ型および／またはパーキンソン病等の運動障害、レビー小体型認知症および／または進行性核上性麻痺等の記憶障害、および／または水頭症等の傷害によって生じていると解釈され得る。歩行における変化は、ディスプレイシステムによって、クロイツフェルト・ヤコブ病等の記憶障害および／またはダウン症候群等の発達障害によって生じていると解釈され得る。ユーザのすくみ足歩行は、ディスプレイシステムによって、パーキンソン病等の運動障害によって生じていると解釈され得る。
【0796】
いくつかの実施形態では、明滅光等の視覚的キューが、ディスプレイシステムによって表示され、ユーザがその歩行を再開することを支援してもよい。そのような明滅光は、試験を実施することに役立てる、および／または治療補助として、ユーザ歩行に役立てるために利用されてもよい。
ｃ．処置
ｃ．処置
【0797】
いくつかの実施形態では、いったんユーザが、異常歩行を有すると判定されると、ディスプレイシステムは、ユーザがより正常な歩行で移動することを補助するための補助を提供するように構成されてもよい。例えば、ディスプレイシステムは、水平線の形態で拡張現実コンテンツを提供し（例えば、双方向ゲームの一部として、または歩行補助として）、および／または焦点をユーザの前方に表示し、ユーザが直線に沿って移動することを促すように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザの歩幅の所望の場所に対応する仮想標的（例えば、仮想円）を表示し、ユーザが正常長さの歩幅をとることを促すように構成されてもよい。随意に、ディスプレイシステムは、仮想標的のみを反射内に表示し、ユーザがその足を見下ろさないように促すように構成されてもよい。いくつかの実施形態では、ユーザの視線方向は、ディスプレイシステムの内向きカメラを使用して判定されてもよく、ディスプレイシステムは、ユーザの視線がその足に向かって下向きであることを検出すると、コンテンツの表示を停止する、またはコンテンツを変更するように構成されてもよい。いくつかの実施形態では、ユーザの頭部が向けられている方向を含む、ユーザの頭部の配向が、加速度計を使用して判定されてもよく、ディスプレイシステムは、ユーザの頭部が下向きに向いていることを検出すると、コンテンツの表示を停止する、またはコンテンツを変更するように構成されてもよい。パーキンソン病等のいくつかの状態は、ユーザが短い歩幅をとる結果をもたらし得、歩幅長の標的を提供することは、これらのユーザがより正常歩行を伴って歩行することに役立ち得ることを理解されたい。
（運動分析／シミュレーション）
（運動分析／シミュレーション）
【0798】
いくつかの実施形態では、ディスプレイシステムは、運動分析および／または運動シミュレーションを実施するように構成されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムは、ユーザの歩行および運動の範囲を監視および測定するように構成されてもよい。加えて、ユーザの身長および／またはユーザの種々の部分に関する測定は、ディスプレイシステムによって把握され得るため、かつディスプレイシステムは、ユーザと反射表面との間の距離を測定するように構成され得るため、ユーザの歩行および／または運動の範囲に関する定量的測定は、ユーザの捕捉された画像の分析に基づいて判定されてもよい。
【0799】
いくつかの実施形態では、ディスプレイシステムは、ユーザの反射内の身体位置を分析し、本位置に基づいて、身体の移動を推測するように構成されてもよい。例えば、ディスプレイシステムは、鏡の正面においてゴルフクラブをスイングさせているユーザを撮像するように構成されてもよい。ユーザの身体の位置に基づいて、ディスプレイシステムは、ゴルフクラブの予期される経路を判定し、ユーザのスイングの効率および／またはゴルフクラブの所望の経路との任意の不整合の分析を提供するように構成されてもよい。
【0800】
いくつかの実施形態では、ディスプレイシステムは、双方向ゲームの形態で療法をユーザに提供するように構成されてもよい。例えば、ディスプレイシステムは、双方向ゲームコンテンツの形態で拡張現実コンテンツを脳卒中から回復中のユーザに提供するように構成されてもよい。例えば、双方向ゲームは、ユーザの四肢の運動を促すためのボクシングゲームであってもよい。有利には、双方向ゲームを生成することによって、ユーザは、ゲームを伴う療法により従事し得るため、運動の範囲を取り戻すことに成功する可能性がより高い。例えば、ゲームは、ユーザが、ポイントを取得し、および／または他のユーザと競う機会を含んでもよく、両方とも、よりゲームプレーを促し得る。加えて、ディスプレイシステムは、目標およびそれらの目標に向かってのユーザの進行度を表示し、ゲームへのさらなる従事を促すように構成されてもよい。例えば、ディスプレイシステムは、ユーザの運動を撮像し、それによって、その運動の範囲を追跡し、運動の標的範囲への接近度のインジケーションをユーザに提供するように構成されてもよい。
【0801】
いくつかの実施形態では、ディスプレイシステムは、腕等の仮想四肢を表示するように構成されてもよい。仮想四肢は、ユーザの実際の四肢が標的に到達し得ない場合でも、所望の標的に到達するように示されてもよい。理論によって限定されるわけではないが、仮想腕が標的に衝打することを見ることによって、ニューロン発火を再活性化し、運動の範囲を増加させる際、より高い成功率が生じ得ることが考えられる。
【0802】
いくつかの実施形態では、四肢が、四肢または関連付けられた構造の物理的限界によって限定され得る場合、例えば、ディスプレイシステムは、ＥＥＧセンサ（例えば、ユーザと接触され得る電極）を具備してもよい。脳波が、ＥＥＧセンサによって検出され、ディスプレイシステムによって、特定の運動を示すと解釈され得る。その結果、仮想四肢の制御は、ＥＥＧセンサによって検出された脳波によって提供されてもよい。したがって、ユーザの実際の四肢が、運動を限定している場合でも、仮想四肢は、ユーザの脳の期待と連動して、運動の全範囲を有する。
（失読症）
（失読症）
【0803】
失読症を伴うユーザは、オブジェクトとそのオブジェクトの鏡像との間を区別することに困難を有し得る。理論によって限定されるわけではないが、本困難は、対掌性画像間の区別に困難を生じさせる、ミラーニューロンを阻害または活性化することの問題によって生じ得ると考えられる。
【0804】
ニューロンは、ニューロンの発火を阻止または活性化する、神経伝達物質によって制御されることを理解されたい。「ミラーニューロン」は、他のニューロンに結合する、または発火し、それに影響を及ぼし、これらの他のニューロンを模倣し得る。ミラーニューロンの影響の実施例は、幻肢痛であって、視覚的刺激が、視覚的入力が存在しないときでも、ミラーニューロンが依然として連結され、疼痛が被られるように、体性入力に連結される。
【0805】
ミラーニューロンはまた、対掌性オブジェクト間を区別する役割を果たし得る。対掌性オブジェクトの実施例は、人物の左および右手を含む。ミラーニューロンは、個人が、これらの対掌性オブジェクトが同一オブジェクトであるが、相互の単なる鏡像であることを理解することを可能にする。例えば、ユーザが、自分の写真、次いで、鏡内の自身の反射を見ようとする場合、２つの画像は、相互の鏡像となるであろう。通常、ユーザのミラーニューロンは、それらが、知覚／アクション結合を通して、同一ユーザとしてともに連結されるように学習されるため、視覚的入力を鏡および写真から得て、それらが両方ともユーザであることを解読可能となるであろう。しかしながら、ユーザはまた、画像を区別し、画像が同じではないことも理解することが可能であろう。しかしながら、失読症を伴うユーザは、本区別を行うことが不可能であり得る、すなわち、ユーザは、画像を同一オブジェクトであると理解するが、画像自体が異なることを理解することが不可能であり得る。
【0806】
いくつかの実施形態では、ディスプレイシステムは、失読症と診断し、および／またはそのように処置するように構成されてもよい。有利には、本明細書に説明されるように、ディスプレイシステムは、仮想オブジェクトおよびそのオブジェクトの反射された画像を表示するように構成されてもよい。ディスプレイシステムは、次いで、ユーザに、反射された画像および真の画像が同一または異なるかどうかを示すように促すように構成されてもよい。画像が同一であることのユーザ応答は、ディスプレイシステムによって、ユーザが失読症であることのインジケーションとして解釈され得る。ディスプレイシステムは、次いで、本診断結論をユーザおよび／または臨床医等の第三者に提供するように構成されてもよい。
【0807】
いくつかの実施形態では、ディスプレイシステムは、失読症を処置するように構成されてもよい。例えば、ディスプレイシステムは、ユーザに画像間の差異を教示するための識別情報とともに、真の画像およびオブジェクトの鏡像の両方を表示するように構成されてもよい。いくつかの実施形態では、仮想コンテンツの真および反転されたビューの両方が、３次元オブジェクトとして示されてもよく、ユーザにオブジェクトの異なるビュー間の差異を教示するように回転されてもよい。
（四肢欠損性愛）
（四肢欠損性愛）
【0808】
四肢欠損性愛は、患者がその身体の四肢または側面等のその身体の一部（その身体の「患部」）の所有を否定する、状態である。四肢欠損性愛のための１つの処置は、患者が鏡内の自身を見る、鏡療法である。患者は、患部がその身体の一部であることを観察し、それによって、その患部の所有を確立する。
【0809】
いくつかの実施形態では、ブロック７１０（図１２）は、拡張現実コンテンツを表示し、患部の所有を強化することを含む。例えば、ディスプレイシステムは、例えば、ディスプレイシステムによってアクセス可能なデータベースの一部として、患部の知識を提供されてもよく、データベースを検索し、ユーザが患部を有するかどうかを判定するように構成されてもよい。患部が存在することの判定に応じて、ディスプレイシステムは、反射の捕捉された画像を分析し、患部の存在および場所を判定し、続いて、患部をハイライトまたは別様に識別するように構成されてもよい。そのようなハイライトは、例えば、色のコンテンツを患部にオーバーレイする、または患部の反射にオーバーレイされた他の画像を表示することによって、患部の色または他の可視性質を変化させることを含んでもよい。いくつかの実施形態では、コンテンツを表示し、患部をハイライトすることに加え、またはその代替として、ユーザは、患部を用いて種々の運動を行うように指示されてもよい。例えば、ディスプレイシステムは、ユーザに、指示を表示することによって、および／または可聴命令を提供することによって（例えば、スピーカ６６を介して）、種々の運動を行うように指示するように構成されてもよい。
【0810】
いくつかの実施形態では、ディスプレイシステムは、典型的鏡において生じるであろうように、ユーザの仮想反射が反転されていない、「真の鏡」として機能するように構成されてもよい。例えば、ディスプレイシステムは、ユーザの反射を撮像し、反転された画像をユーザに表示する前に、その反射を反転させるように構成されてもよい。着目すべきこととして、反転されたユーザの反射の画像は、ユーザによって、非反転画像、すなわち、仮想上の真の鏡反射として見られるであろう。いくつかの実施形態では、仮想上の真の鏡反射は、実際の反射にオーバーレイし、取って代わってもよい。いくつかの他の実施形態では、仮想上の真の鏡反射は、実際の反射に隣接して表示されるが、それを遮断しない。したがって、ユーザは、自身の２つのビューを有し得、これは、患部のユーザの所有をさらに補強するための利点を提供し得る。
【0811】
有利には、四肢欠損性愛を処置するために適用されるが、ディスプレイシステムは、他の状況においても仮想上の真の鏡反射を表示するように構成されてもよいことを理解されたい。実際、ユーザの反射を反転させることに加えて、またはその代替として、ディスプレイシステムは、反射された特徴を回転させる、フリップ／鏡映する、クロッピングする、形状を変化させる、および／またはそのサイズを変化させることによって、反射内のユーザの外見および／または他のオブジェクトの外観を修正するように構成されてもよい。
【0812】
前述のように、多くの試験は、特定のタスクまたは運動を行うように指示をユーザに提供することを伴い得る。いくつかの実施形態では、これらの指示のいずれかは、ディスプレイシステムによって、ユーザへの拡張現実コンテンツとして表示される、および／または可聴伝達されてもよい。有利には、試験が可聴またはテキストベースの指示のユーザの理解を判定することを求めない限り、ユーザへの指示は、所望のタスクまたは運動のデモンストレーションを含み、試験を正しく行うことを促進してもよい。
【0813】
本明細書に開示される試験の多くは、ユーザの画像を分析を実施するための入力として利用することを理解されたい。これらの分析の多くは、特定のアクションを行う、特定の位置をとる、単に、その身体の特定の部分のビューを提供する等のユーザの画像に依拠する。また、ユーザは、１日を過ごすにつれて、アクションを行う、位置をとる、または適切な画像が利用可能である場合、分析が行われることを可能にする、その身体のビューを提供し得ることを理解されたい。有利には、ディスプレイシステムは、ユーザに、アクションを行う、位置をとる、その身体の所望のビューを提供する、または他の試験特有のアクションに従事するように促さずに、種々の分析を邪魔にならないように行うために、画像情報をユーザの反射から受動的に収集するように構成されてもよい。本画像情報は、例えば、静止画像、ビデオ、またはそれらの組み合わせの形態をとってもよい。加えて、静止画像またはビデオはまた、静止画像またはビデオに関する状況を提供するために有用であり得る、環境データ（例えば、日付、温度、周囲雑音、照明状態、鏡からの距離等）へのリンクを含んでもよい、または含む。
【0814】
いくつかの実施形態では、画像情報は、継続ベースで記憶され、次いで、続いて分析されてもよい。例えば、ディスプレイシステムの外向きカメラからの画像情報は、継続的に収集されてもよく、反射が捕捉されたかどうかの判定は、本画像情報の収集後に行われてもよい。いくつかの他の実施形態では、反射が存在するかどうかの判定は、画像情報を収集する前に行われる。しかしながら、いずれの場合も、ディスプレイシステムは、情報が収集されるにつれて、画像情報の分析を行い、収集された画像が、分析のうちの１つまたはそれを上回るものに関連するデータ、例えば、本明細書に開示されるユーザ健康分析を提供するかどうかを判定するように構成されてもよい。適切なデータが画像内に存在することが判定される場合、ディスプレイシステムは、次いで、関連付けられた分析を行うように構成されてもよい。いくつかの他の実施形態では、適切なデータが存在するかどうかの分析および／または判定は、後の時間に実施されてもよい（例えば、夜間等の事前に設定された間隔、またはディスプレイシステムがユーザによって使用され得ない他の時間において、および／または１つまたはそれを上回る分析を行うためのユーザからの特定の入力に応答して）。好ましくは、画像情報の収集は、ユーザがディスプレイシステムを装着している間、連続的である一方、適切なデータが存在するかどうかの分析および／または判定は、例えば、事前に設定されたスケジュールおよび／またはユーザもしくは他の当事者による入力に従って、断続的または突発的に行われる。
【0815】
有利には、これらの分析は、経時的に持続的に行われてもよく、例えば、特定の分析は、数時間、数日、数週間、数ヶ月、またはさらに数年の期間にわたって、複数回、行われてもよい。その結果、大量のデータセットが、得られ、特定の分析に関する結論を行う前に分析され得る。そのような大量のデータセットは、単一時間点においてのみ得られるデータの単一分析と比較して、分析から導き出される結論における信頼性を改善し、信頼度を一様にし得る。
【0816】
加えて、長期傾向もまた、収集された画像の履歴分析によって得られ得る。その結果、現時点の状態およびこれらの状態に関する傾向の両方が、判定され得、これは、特定のユーザにより具体的に調整される、将来的傾向を判定するためのデータを提供し得る。例えば、ある状態は、症状の特定の閾値に到達しない限り、明白となり得ず、データセットの関連性が以前に理解されていないために、状態に関連するそれらの以前のデータセットが、通常、臨床医によって得られないであろうため、従来は、状態が見出される前にユーザの状態を分析することが困難であることが可能性として考えられる。画像情報の受動収集および記憶は、有利には、ディスプレイシステムに、時間を戻り、以前の時点におけるユーザの分析を実施する能力を提供する。その結果、状態の進行度のより正確な理解が、判定され得る。加えて、母集団全体に関する標準からの外挿ではなく、ユーザに関する状態の変化率が、判定され、それによって、状態の進行度をより正確に投影させるための情報を提供し得る。
【0817】
本明細書に開示される試験のいずれかは、有利には、受動的に収集された画像情報を使用し得ることを理解されたい。受動的に収集された画像情報の使用の種々の非限定的実施例は、以下に記載される。
・ ディスプレイシステムは、ユーザの顔の反射の画像を分析し、顔表現および顔面筋の
随意運動を含む、顔内の非対称性の存在を検出するように構成されてもよい。
・ 画像情報は、発話等の周囲雑音を含んでもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに指向された発話を認識し、ユーザがその発話に照らして応答を行ったかどうかを判定するように構成されてもよい。応答の失敗は、ＣＮ ＶＩＩＩにおける可能性として考えられる異常を示すと解釈され得る。
・ 画像情報が、ベッドにおけるユーザの反射の画像を含む場合、かつ眼振が、検出され
る場合、ディスプレイシステムは、付加的前庭試験を実施するようにユーザにアラートするように構成されてもよい。
・ ディスプレイシステムは、類似タスクに関するユーザの運動の範囲を追跡するように構成されてもよい。例えば、ディスプレイシステムは、その肩をすくめる、その頭部を旋回させる、種々のアクション、特に、スポーツを行う等の種々の運動によって証明されるように、種々の筋肉を動かすユーザの能力を追跡するように構成されてもよい。ユーザに関する履歴標準からの逸脱は、ディスプレイシステムによって、種々の運動に関わる筋肉を制御する神経における異常を示すと解釈され得る。例えば、多くのスポーツは、高速交互運動を利用し、これらの運動の緩慢は、多発性硬化症等の神経系障害を示し得る。いったんこれらの可能性として考えられる異常が検出されると、ディスプレイシステムは、ユーザまたは別のエンティティに、付加的分析を実施するように促すように構成されてもよい。
・ ユーザがその舌を出す（例えば、ジョークに応答して、アイスクリームコーンを舐めている間等）画像が、本明細書に開示されるように、ＣＮ ＸＩＩ異常に関して分析されてもよい。
・ ユーザの身体の異なる側における非均一／非対称性筋肉発達は、ディスプレイシステムによって、ユーザの身体の片側優位性と解釈され得る。ディスプレイシステムはさらに、そのような片側優位性を運動または神経系障害のインジケーションとして解釈し、次いで、ユーザまたは別のエンティティに、付加的分析を実施するように促すように構成されてもよい。
・ 反射のいくつかの画像は、ユーザの親指の反復タップを示し得、これは、本明細書に開示されるように、協調試験の一部として精密指タップ試験を行うことに類似するデータを提供し得る。
・ 反射のいくつかの画像は、ユーザの腕のその膝の上からの突然の挙上を示し得、これは、行過量試験を行うことに類似するデータを提供し得る。
・ 歩行しているユーザの反射を示す画像は、歩行試験のために分析されてもよい。
・ ディスプレイシステムは、ユーザの顔の反射の画像を分析し、顔表現および顔面筋の
随意運動を含む、顔内の非対称性の存在を検出するように構成されてもよい。
・ 画像情報は、発話等の周囲雑音を含んでもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに指向された発話を認識し、ユーザがその発話に照らして応答を行ったかどうかを判定するように構成されてもよい。応答の失敗は、ＣＮ ＶＩＩＩにおける可能性として考えられる異常を示すと解釈され得る。
・ 画像情報が、ベッドにおけるユーザの反射の画像を含む場合、かつ眼振が、検出され
る場合、ディスプレイシステムは、付加的前庭試験を実施するようにユーザにアラートするように構成されてもよい。
・ ディスプレイシステムは、類似タスクに関するユーザの運動の範囲を追跡するように構成されてもよい。例えば、ディスプレイシステムは、その肩をすくめる、その頭部を旋回させる、種々のアクション、特に、スポーツを行う等の種々の運動によって証明されるように、種々の筋肉を動かすユーザの能力を追跡するように構成されてもよい。ユーザに関する履歴標準からの逸脱は、ディスプレイシステムによって、種々の運動に関わる筋肉を制御する神経における異常を示すと解釈され得る。例えば、多くのスポーツは、高速交互運動を利用し、これらの運動の緩慢は、多発性硬化症等の神経系障害を示し得る。いったんこれらの可能性として考えられる異常が検出されると、ディスプレイシステムは、ユーザまたは別のエンティティに、付加的分析を実施するように促すように構成されてもよい。
・ ユーザがその舌を出す（例えば、ジョークに応答して、アイスクリームコーンを舐めている間等）画像が、本明細書に開示されるように、ＣＮ ＸＩＩ異常に関して分析されてもよい。
・ ユーザの身体の異なる側における非均一／非対称性筋肉発達は、ディスプレイシステムによって、ユーザの身体の片側優位性と解釈され得る。ディスプレイシステムはさらに、そのような片側優位性を運動または神経系障害のインジケーションとして解釈し、次いで、ユーザまたは別のエンティティに、付加的分析を実施するように促すように構成されてもよい。
・ 反射のいくつかの画像は、ユーザの親指の反復タップを示し得、これは、本明細書に開示されるように、協調試験の一部として精密指タップ試験を行うことに類似するデータを提供し得る。
・ 反射のいくつかの画像は、ユーザの腕のその膝の上からの突然の挙上を示し得、これは、行過量試験を行うことに類似するデータを提供し得る。
・ 歩行しているユーザの反射を示す画像は、歩行試験のために分析されてもよい。
【0818】
本明細書に開示されるように、ディスプレイシステムは、好ましくは、適切な遠近調節－輻輳・開散運動合致を提供し、ディスプレイシステムを装着する間の長期快適性を促進し得る、コンテンツを複数の深度平面にわたって表示してもよい。その結果、ユーザは、特定の試験または分析が具体的に行われない場合でも、長期間にわたってディスプレイシステムを装着し得る。本長期装着は、有利には、ディスプレイシステムが、ユーザの反射を含む、ユーザの周囲環境の大量の画像のセットを継続的に集めることを可能にする。
【0819】
本明細書に開示される多くの分析では、より最近のユーザの画像とユーザの以前の画像との間の比較が行われる。全てのそのような分析に関して、ディスプレイシステムは、以前の画像をユーザに表示し、ユーザに比較のための基礎を提供するように構成されてもよい。そのような以前の画像は、ユーザがユーザにおける変化の量（状態の改善または悪化かどうかにかかわらず）を経時的に理解するための基礎を提供し得る。いくつかの他の実施形態では、これらの分析のいずれかに関して、ディスプレイシステムのプロセッサは、任意の以前の画像をユーザに表示せずに、単に、以前の画像またはデータおよび後の画像またはデータに基づいて、比較を行うように構成されてもよい。
【0820】
本明細書に開示される分析では、ディスプレイシステムは、ユーザの反射を撮像することによって（例えば、外向きカメラを使用して）、ユーザに関するデータを収集するように構成されてもよい。例えば、ディスプレイシステムは、特定の試験を実施するために提供される指示に応答して、特定のタスクまたは運動を行うにつれて、ユーザの反射を撮像するように構成されてもよい。本明細書に開示される分析の全てに関して、ディスプレイシステムは、分析の結果に関する予備結論を行うように構成されてもよいことを理解されたい。本予備結論は、１つまたはそれを上回る可能性として考えられる状態が存在することの判定を含んでもよく、ユーザが１つまたはそれを上回る可能性として考えられる状態を有する確率を提供してもよい。予備結論および／または任意の関連確率は、視認者に、拡張現実コンテンツおよび／または可聴告知として提供されてもよい。ディスプレイシステムはまた、ユーザによる経過観察のための提案を提供する、および／または情報を臨床医に転送することによって経過観察を自動的に開始するように構成されてもよい。いくつかの他の実施形態では、ディスプレイシステムは、任意の判定を行わず、単に、さらなる分析および結論の判定のために、画像を臨床医および／または別のコンピュータシステムに伝送するように構成されてもよい。さらに他の実施形態では、ディスプレイシステムは、予備結論を行うことと、さらなる分析のために、ユーザの画像を臨床医および／または他のコンピュータシステムに伝送することとの両方を行うように構成されてもよい。
【0821】
いくつかの分析は、ユーザに、例えば、それらが刺激を知覚しているか、状態を被っているかどうか等に関する入力を提供することを要求してもよい。本明細書に開示される分析のいずれかに関して、入力は、ユーザの運動（例えば、片手または両手の挙上）、仮想メニューアイテムの選択、発話された単語または語句等の形態をとってもよい。
【0822】
上記に説明される種々の実施形態では、ディスプレイシステムは、反射に見られるように、ユーザがある物理的症状を呈するかどうかに関する判定を行うように構成されてもよい。例えば、システムは、ユーザが振顫、動作緩慢、硬直、および姿勢不安定性を呈するかどうかを判定するように構成されてもよい。本明細書に説明されるように、そのような判定は、ディスプレイシステムの外向きカメラによって捕捉されたユーザの反射の画像を分析することによって行われてもよい。いくつかの実施形態では、ユーザ運動に関するそのような画像ベースの判定は、他のセンサを使用して確証されてもよい。例えば、加速度計またはＩＭＵが、ユーザ運動（例えば、振顫、動作緩慢、硬直、および／または姿勢不安定性）の発生を確認するために利用されてもよい。いくつかの実施形態では、反射の分析および特定のタイプの身体運動（例えば、異常運動）の初期判定は、付加的センサからのデータが分析され、初期判定を確証する、プロトコルを開始してもよい。いくつかの他の実施形態では、他のセンサからのデータが、最初に分析され、特定のタイプの身体運動がユーザによって呈されるかどうかを判定し、次いで、ユーザの反射の画像が、分析され、身体運動が観察可能であるかどうかを判定し、それによって、他のセンサによって提供される初期結論を確証してもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに、特定のタイプの運動が生じていることの他のセンサによる初期結論に基づいて、反射表面に対峙するように促すように構成されてもよい。ディスプレイシステムは、次いで、ユーザの反射の画像を捕捉し、画像を分析し、それらのタイプの運動が実際生じているかどうかを判定し、それによって、初期結論が正しいかどうかを確証するように構成されてもよい。加えて、捕捉された画像に基づいて、運動の発生の判定が、ユーザの身体の一部の運動を検出することによって、および／またはユーザの身体と接触するオブジェクト（例えば、ユーザによって保持されるヘアブラシまたは歯ブラシ等のオブジェクト）の移動を検出することによって行われてもよいことを理解されたい。例えば、ヘアブラシ移動における振顫は、ディスプレイシステムによって、ユーザの手における振顫を示すと解釈され得る。
【0823】
本明細書に開示される種々の実施形態では、ディスプレイシステムは、ユーザもしくは第三者の外見および／または運動が異常と見なされ得るかどうかに関する判定を行うように構成されてもよい。例えば、ディスプレイシステムは、運動、顔特徴、および／または他の身体特徴が異常であるかどうかを判定するように構成されてもよい。いくつかの実施形態では、全てのそのような比較は、ユーザまたは第三者の撮像された反射と確立された基準または標準との間で行われてもよい。これらの標準は、母集団に関するデータから導出される平均または他のメトリックに対応してもよいことを理解されたい。いくつかの実施形態では、標準は、そのユーザの反射に関するデータを含む、情報を共有するように構成される、複数のディスプレイシステム間で共有されるデータに基づいて判定されてもよい。加えて、いくつかの実施形態では、ディスプレイシステムは、ユーザがその独自の標準または平均を伴う種々の部分母集団にさらに編成されることを可能にする、ユーザに関する人口統計情報を有してもよい。したがって、複数のディスプレイシステムによって捕捉された反射の数を前提として、ディスプレイシステムは、ユーザ運動および身体特徴に関する種々のパラメータの平均を提供するように構成されてもよい。平均は、人口全体に基づいて判定されてもよい、または平均は、種々の人口統計パラメータ（例えば、年齢、性別、祖先系統等）によって定義された部分母集団に関して判定されてもよい。その結果、種々の標準からのユーザの逸脱が、これらの平均との比較に基づいて判定され得る。
【0824】
ユーザの画像が利用される、本明細書における分析のいずれかに関して、画像は、ユーザのディスプレイシステム上の外向きカメラを使用して得られてもよいことを理解されたい。いくつかの他の実施形態では、第１のユーザの画像は、第２のユーザのディスプレイシステムによって、その第２のユーザのディスプレイシステムの外向きカメラによって観察される第１のユーザの反射内で検出されてもよい。本明細書に議論されるように、第１および第２のユーザのディスプレイシステムは、他のユーザから得られる画像等の情報を共有するように構成されてもよい。
【0825】
本明細書に開示される分析の全てに関して、ディスプレイシステムは、分析の結果に関する予備結論を行うように構成されてもよいことを理解されたい。本予備結論は、１つまたはそれを上回る可能性として考えられる状態が存在することの判定を含んでもよく、ユーザが１つまたはそれを上回る可能性として考えられる状態を有する確率を提供してもよい。いくつかの他の実施形態では、ディスプレイシステムは、任意の判定を行わず、単に、さらなる分析および結論の判定のために、画像を臨床医および／または別のコンピュータシステムに伝送するように構成されてもよい。さらに他の実施形態では、ディスプレイシステムは、予備結論を行うことと、さらなる分析のために、ユーザの画像を臨床医および／または他のコンピュータシステムに伝送することとの両方を行うように構成されてもよい。
【0826】
また、ディスプレイシステムは、１つまたはそれを上回る波長の電磁放射を捕捉することによって、反射の画像を捕捉するように構成されてもよいことを理解されたい。好ましくは、本電磁放射は、可視光を含む。電磁放射の他の非限定的実施例は、赤外線光および紫外線光を含む。いくつかの実施形態では、複数のタイプの電磁放射（例えば、可視、赤外線、または紫外線光のうちの２つまたはそれを上回るもの）は、ディスプレイシステム（例えば、図１Ｂの外向きカメラ６５を使用して）によって捕捉され、反射を撮像してもよい。ディスプレイシステムは、異なるタイプの分析のために、異なるタイプの電磁放射によって形成される画像を評価するように構成されてもよい。例えば、可視光画像は、ユーザの顔上の表面異常を検出するために分析されてもよい一方、赤外線光画像は、皮膚の表面の下層の異常を検出するために利用されてもよい。
（周囲環境内の反射およびオブジェクトを検出するためのコンピュータビジョン）
（周囲環境内の反射およびオブジェクトを検出するためのコンピュータビジョン）
【0827】
前述のように、ディスプレイシステムは、反射および／またはユーザを囲繞する環境内のオブジェクトを検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ（例えば、カメラおよび／またはオーディオセンサ）を含む、種々の技法を使用して遂行されてもよい。
【0828】
いくつかの実施形態では、環境内で提示される刺激は、コンピュータビジョン技法を使用して検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きカメラは、周囲環境を撮像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で行い、周囲環境内の反射等の種々の特徴の存在を判定するように構成されてもよい。ディスプレイシステムは、外向きイメージングシステムによって取得された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を行ってもよい。他の実施例として、ディスプレイシステムは、顔および／または眼認識を行い、ユーザの視野内の顔および／またはヒト眼の存在および場所を判定するように構成されてもよい。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを行うために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、配向付き高速および回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバストな不変スケーラブル主要点（ＢＲＩＳＫ）、高速網膜主要点（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時場所およびマッピング（ｖＳＬＡＭ）技法、逐次ベイズ推定法（例えば、Ｋａｌｍａｎフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近接点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ－最近傍アルゴリズム、Ｎａｉｖｅ Ｂａｙｅｓ、ニューラルネットワーク（畳み込みまたはディープニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【0829】
これらのコンピュータビジョン技法のうちの１つまたはそれを上回るものはまた、他の環境センサ（例えば、マイクロホン等）から取得されたデータとともに使用され、センサによって検出されたオブジェクトおよび／または反射の種々の性質を検出および判定してもよい。
【0830】
本明細書に議論されるように、周囲環境内の反射またはオブジェクトは１つまたはそれを上回る基準に基づいて検出され得る。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、または１つまたはそれを上回るセンサアセンブリ（ディスプレイシステムの一部であってもよい、またはそうではなくてもよい）から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出すると、ディスプレイシステムは、次いで、反射および／またはオブジェクトの存在を信号伝達してもよい。
【0831】
加えて、または代替として、ディスプレイシステムは、ユーザの挙動（またはユーザのグループの挙動）に基づいて、環境内の反射の存在および／またはオブジェクトを識別するように学習してもよい。例えば、ディスプレイシステムは、ユーザまたはユーザのグループのあるアクションまたは挙動を周囲環境内に存在するあるオブジェクトと関連付けることによって、環境内の反射および／またはオブジェクトの存在を識別するように学習し、本関連付けを使用して、反射および／またはオブジェクトが存在するかどうかを予測してもよい。
（機械学習）
（機械学習）
【0832】
種々の機械学習アルゴリズムが、反射の存在および／またはオブジェクトを識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム（例えば、最小２乗回帰等等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、Ｂａｙｅｓｉａｎアルゴリズム（例えば、Ｎａｉｖｅ Ｂａｙｅｓ等）、クラスタ化アルゴリズム（例えば、ｋ－平均クラスタ化等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、ディープ学習アルゴリズム（例えば、ディープＢｏｌｔｚｍａｎｎマシン、またはディープニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、スタック汎化等）、および／または他の機械学習アルゴリズムを含む、教師ありまたは教師なし機械学習アルゴリズムを含んでもよい。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶してもよい。基本モデルは、データタイプ（例えば、特定のユーザ）、データセット（例えば、得られる付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成する開始点として使用されてもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用し、集約されたデータの分析のためのモデルを生成するように構成されてもよい。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【0833】
反射および／またはオブジェクトを検出するための基準は、１つまたはそれを上回る閾値条件を含んでもよい。環境センサによって取得されたデータの分析が、閾値条件を超えたことを示す場合、ディスプレイシステムは、周囲環境内の反射および／またはオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および／または定質的測定を伴ってもよい。例えば、閾値条件は、反射および／またはオブジェクトが環境内に存在する尤度と関連付けられたスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、センサの環境データから計算されたスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および／またはオブジェクトの存在を検出してもよい。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内の反射および／またはオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および／または周囲環境とのユーザの相互作用に基づいて判定されてもよい。
【0834】
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的状況に特殊化されてもよい。例えば、小売状況では、コンピュータビジョンアルゴリズムは、反射および／またはオブジェクトに対するある応答を検出するように特殊化されてもよい。別の実施例として、ディスプレイシステムは、顔認識アルゴリズムおよび／またはイベント追跡アルゴリズムを実行し、反射および／またはオブジェクトに対するユーザの反応を感知してもよい。
（他の考慮点）
（他の考慮点）
【0835】
本明細書に記載されるように、本明細書に説明される、ならびに／または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含んでもよい。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実施形態では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0836】
さらに、本開示の機能性のある実施形態は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0837】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（７０）、遠隔処理モジュール（７２）、および遠隔データリポジトリ（７４）のうちの１つまたはそれを上回るものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0838】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されてもよい。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0839】
また、本発明の種々の例示的実施形態が、本明細書で説明されることを理解されたい。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。
【0840】
例えば、有利には、画像を複数の深度平面を横断して提供するＡＲディスプレイとともに利用されるが、本明細書に開示される拡張現実コンテンツはまた、画像を単一深度平面上に提供するシステムによって表示されてもよい。
【0841】
また、本明細書に開示される種々のアラートは、テキスト、可聴信号、点滅ボックス、および触知フィードバックのうちの１つまたはそれを上回るものを含んでもよいことを理解されたい。
【0842】
加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。
【0843】
本発明は、本デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、ユーザによって行われてもよい。換言すると、「提供する」行為は、本方法において必要デバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、起動する、電源投入する、または別様に作用するようにユーザに要求するにすぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
【0844】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。
【0845】
加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、（本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず）均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることが理解される。
【0846】
また、本明細書で説明される発明の変形例の任意の随意の特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回る特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「１つの（ａ、ａｎ）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
【0847】
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。
【0848】
本発明の範疇は、提供される実施例および／または本明細書に限定されるものではないが、むしろ本開示と関連付けられる請求項の範囲のみによって限定されるものとする。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23】
【図24】
【図25A】
【図25B】
【図26A】
【図26B】
【図27A】
【図27B】
【図28】
