(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-07
(45)【発行日】2022-11-15
(54)【発明の名称】拡張現実ディスプレイシステム
(51)【国際特許分類】
G02B 27/02 20060101AFI20221108BHJP
G02C 5/00 20060101ALI20221108BHJP
G02C 5/14 20060101ALI20221108BHJP
G02C 11/00 20060101ALI20221108BHJP
H04N 5/64 20060101ALI20221108BHJP
【ＦＩ】
G02B27/02 Z
G02C5/00
G02C5/14
G02C11/00
H04N5/64 511A
【請求項の数】
21
(21)【出願番号】P 2020531465
(86)(22)【出願日】2018-12-18
(65)【公表番号】
(43)【公表日】2021-02-22
(86)【国際出願番号】 US2018066240
(87)【国際公開番号】W WO2019126175
(87)【国際公開日】2019-06-27
【審査請求日】2020-10-02
(31)【優先権主張番号】62/608,222
(32)【優先日】2017-12-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/626,356
(32)【優先日】2018-02-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516201548
【氏名又は名称】ビュージックス コーポレーション
【氏名又は名称原語表記】Ｖｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】100085556
【弁理士】
【氏名又は名称】渡辺 昇
(74)【代理人】
【識別番号】100115211
【弁理士】
【氏名又は名称】原田 三十義
(74)【代理人】
【識別番号】100153800
【弁理士】
【氏名又は名称】青野 哲巳
(72)【発明者】
【氏名】トラバース，ポール
(72)【発明者】
【氏名】ポーター，タイラー
(72)【発明者】
【氏名】シュルツ， ロバート
(72)【発明者】
【氏名】モエンズ， グレゴリー
(72)【発明者】
【氏名】ハック， コナー
(72)【発明者】
【氏名】ペレツ レイエス， アダルベルト
(72)【発明者】
【氏名】ロイド， ケビン
(72)【発明者】
【氏名】ボリス， ポール エー．
(72)【発明者】
【氏名】グレイ，ロバート ダブリュー．
(72)【発明者】
【氏名】クロルツィク， マーク ジェイ．
(72)【発明者】
【氏名】テレック， マイケル ジェイ．
(72)【発明者】
【氏名】ケリー， アレクサンダー
【審査官】近藤 幸浩
(56)【参考文献】
【文献】米国特許出願公開第２０１６／００７７３３８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００１７０８３（ＵＳ，Ａ１）
【文献】特開２０１５－１８４５６０（ＪＰ，Ａ）
【文献】特開２０１４－２２４８４７（ＪＰ，Ａ）
【文献】国際公開第２０１５／１７０５５５（ＷＯ，Ａ１）
【文献】特開２０１５－１２５２２２（ＪＰ，Ａ）
【文献】特開２０１７－１２０３８４（ＪＰ，Ａ）
【文献】特開２００９－０６５３１０（ＪＰ，Ａ）
【文献】特開２０１７－１２０３０２（ＪＰ，Ａ）
【文献】国際公開第２０１７／１２０３４１（ＷＯ，Ａ１）
【文献】特開２０１６－１２６１８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２７／０２
Ｇ０２Ｂ ２７／０１
Ｇ０２Ｃ ５／００
Ｇ０２Ｃ ５／１４
Ｇ０２Ｃ １１／００
Ｈ０４Ｎ ５／６４
(57)【特許請求の範囲】
【請求項1】
着用者にバーチャル像を表示するための個人用ディスプレイ装置であって、右側テンプル部、左側テンプル部、右後部、左後部、右目シースルー部、および左目シースルー部を有するフレームと、
前記フレームに連結され、画像担持光ビームを投射するように動作可能な投射ディスプレイデバイスと、
前記フレームに連結された少なくとも1つの導波路スタックモジュールと、
を備え、
前記少なくとも1つの導波路スタックモジュールは、その長さに沿って画像担持光ビー
ムを伝送するように動作可能であり、前記投射ディスプレイデバイスからの前記画像担持光ビームを受け取るように構成され、インカップリング回折光学素子とアウトカップリング回折光学素子を含み、
前記インカップリング光学素子は、前記少なくとも1つの導波路スタックモジュールに
沿って形成されており、前記投射ディスプレイデバイスからの画像担持光ビームの少なくとも一部を角度的にエンコードされた形態で、前記少なくとも1つの導波路スタックモジ
ュール内へと回折するように作動可能であり、
前記アウトカップリング回折光学素子は、前記インカップリング回折光学素子から前記少なくとも１つの導波路スタックモジュールの長さに沿って離間しており、前記投射ディスプレイデバイスからの前記画像担持光ビームを見るために、前記少なくとも１つの導波路スタックモジュールからの前記画像担持光ビームの少なくとも一部を、角度的にデコードされた形態で回折するように動作可能であり、
さらに、前記投射ディスプレイデバイスに接続されたプロセッサと、前記フレームに直接固定されるとともに前記プロセッサに接続されたタッチパッドと、前記プロセッサに接続された少なくとも１つのマイクとを備え、
前記プロセッサは画像を前記投射ディスプレイデバイスに提供するように構成され、
前記タッチパッドは、着用者のタッチ動作を感知し、入力タッチパッド信号を前記プロセッサに提供するように構成され、前記入力タッチパッド信号は個人用ディスプレイ装置の少なくとも１つの状態を変化させるように動作可能であり、前記タッチパッドによる着用者の動作の感知は、着用者のタッチ動作の方向の感知を含み、
少なくとも１つのマイクは、着用者からコマンドを受信し、さらに入力マイク信号を前記プロセッサに提供するように構成され、前記入力マイク信号は、個人用ディスプレイ装置の少なくとも1つの状態を変化させるように動作可能であり、
前記少なくとも１つの導波路スタックモジュールが導波路ハウジングを含み、前記導波路ハウジングが、前記導波路ハウジングと個人用ディスプレイ装置の前記フレームとを位置合わせするように動作可能な導波路・フレームアライナを含み、
前記投射ディスプレイデバイスがプロジェクタ・フレームアライナを含み、前記プロジェクタ・フレームアライナが、前記投射ディスプレイデバイスと個人用ディスプレイ装置の前記フレームとを位置合わせし、
個人用ディスプレイ装置の前記フレームは、前記導波路・フレームアライナと前記プロジェクタ・フレームアライナを個人用ディスプレイ装置の前記フレームに位置合わせするためのプロジェクタ・導波路・フレームアライナを含み、前記導波路・フレームアライナと前記プロジェクタ・フレームアライナが、前記プロジェクタ・導波路・フレームアライナに当接する、個人用ディスプレイ装置。
【請求項2】
前記プロセッサに接続されたバイブレータをさらに備え、前記バイブレータは、前記プロセッサから入力バイブレータ信号を受信して、着用者に触覚フィードバックを提供するように構成されている、請求項１に記載の個人用ディスプレイ装置。
【請求項3】
前記インカップリング回折光学素子と前記アウトカップリング回折光学素子は、前面および背面を有し、前記インカップリング回折光学素子の前面は、前記インカップリング回折光学素子の背面と平行であり、前記アウトカップリング回折光学素子の前面は、前記アウトカップリング回折光学素子の背面と平行である、請求項１に記載の個人用ディスプレイ装置。
【請求項4】
前記右目シースルー部と前記左目シースルー部との間で前記フレームに取り外し可能に取り付けられた鼻梁アセンブリをさらに備える、請求項１に記載の個人用ディスプレイ装置。
【請求項5】
周囲光の変化を検出するために前記フレームに配置され前記プロセッサに接続された周囲光センサーをさらに備える、請求項１に記載の個人用ディスプレイ装置。
【請求項6】
前記周囲光センサーが前記プロセッサに信号を提供するように構成されている、請求項５に記載の個人用ディスプレイ装置。
【請求項7】
前記プロセッサは、前記周囲光センサーによって提供される信号に基づいて、前記投射ディスプレイデバイスによって伝送される画像を変更するように構成されている、請求項６に記載の個人用ディスプレイ装置。
【請求項8】
前記導波路スタックモジュールが黒化材料を含み、前記黒化材料は、前記インカップリング回折光学素子を通過する前記投射ディスプレイデバイスからの過剰な光の少なくとも一部を吸収するように動作可能である、請求項１に記載の個人用ディスプレイデバイス。
【請求項9】
前記黒化材料は、コモト、カーボンフェザー、アクタール、および黒色塗料のうちの少なくとも１つから作られる、請求項８に記載の個人用ディスプレイ装置。
【請求項10】
前記導波路スタックモジュールは、前記インカップリング回折光学素子と前記アウトカップリング回折光学素子を前記導波路ハウジング内に封止するように動作可能な外カバーと内カバーをさらに含む、請求項１に記載の個人用ディスプレイ装置。
【請求項11】
前記外カバーは、前記外カバーの略周縁に配置されたシールを含み、前記シールが前記外カバーを前記導波路ハウジングに封止し、前記内カバーは、前記内カバーを前記導波路ハウジングに封止するガスケットを含む、請求項１０に記載の個人用ディスプレイ装置。
【請求項12】
前記投射ディスプレイデバイスは、プロジェクタ、プロジェクタ取付フレーム、およびディスプレイ接続モジュールを含む、請求項１に記載の個人用ディスプレイ装置。
【請求項13】
前記プロジェクタ取付フレームは、アライメントピンと前記プロジェクタ・フレームアライナとを含み、前記プロジェクタ・フレームアライナは、前記プロジェクタ取付フレームと個人用ディスプレイ装置の前記フレームとを位置合わせするように動作可能であり、前記プロジェクタは、前記アライメントピンを受け入れるように構成されたアラインメント穴を含む、請求項１２に記載の個人用ディスプレイ装置。
【請求項14】
前記プロジェクタ・導波路・フレームアライナが、前記投射ディスプレイデバイスと前記少なくとも１つの導波路スタックモジュールのための基準面を備えている、請求項１に記載の個人用ディスプレイ装置。
【請求項15】
前記フレームの前記左側テンプル部と前記左後部との間に配置された左側ヒンジシステムと、前記フレームの右側テンプル部と前記右後部の間に配置された右側ヒンジシステムとをさらに備えた、請求項１に記載の個人用ディスプレイ装置。
【請求項16】
前記左側ヒンジシステムと前記右側ヒンジシステムは、可撓性ケーブル、ヒンジ、ヒンジハウジング、およびヒンジピンを含む、請求項１５に記載の個人用ディスプレイ装置。
【請求項17】
前記ヒンジは、第１ハーフヒンジと第２ハーフヒンジを含み、前記第１ハーフヒンジと前記第２ハーフヒンジは、前記ヒンジピンによって回動可能に接続されるように構成され、前記第１ハーフヒンジはタブを有し、前記第２ハーフヒンジはタブ受部を有し、これにより、前記第２ハーフヒンジが前記第１ハーフヒンジに対して回動したときに、前記可撓性ケーブルが隠される、請求項１６に記載の個人用ディスプレイ装置。
【請求項18】
前記可撓性ケーブルが前記ヒンジピンの周りで曲がるように構成され、前記可撓性ケーブルが少なくとも、前記フレームの前記左後部または前記右後部に配置されたバッテリと、前記左側テンプル部または前記右側テンプル部に配置された回路基板を接続する、請求項１６に記載の個人用ディスプレイ装置。
【請求項19】
前記インカップリング回折光学素子と前記アウトカップリング回折光学素子との間に配置された少なくとも１つの回転回折格子をさらに備えた、請求項１に記載の個人用ディスプレイ装置。
【請求項20】
前記ディスプレイ接続モジュールがプリズムアセンブリである、請求項１２に記載の個人用ディスプレイ装置。
【請求項21】
前記フレームの右後部に固定された第1バッテリーと、前記フレームの左後部に固定された第２バッテリーとをさらに備えた、請求項１に記載の個人用ディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、拡張現実眼鏡（augmented reality eyewear）のディスプレイシステムのための装置および方法に関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ（ＨＭＤ）は、軍事、商業、産業、消防、エンターテイメントなど、さまざまな用途向けに開発されている。これらのアプリケーションの多くでは、ＨＭＤ利用者の視野にある実際の画像に視覚的に重ね合わせることができるバーチャル像を形成することに特別な価値がある。光学画像光ガイドは、利用者への画像担持光を狭い空間において伝送し、バーチャル像を利用者の瞳孔に向け、上記重ね合わせ機能を可能にする。
【0003】
現在、ＨＭＤにはＨＭＤの有効性を低下させる多くの問題がある。たとえば、ＨＭＤは非常に高価で、発熱の問題があり、導波路の周囲に凝縮液が発生することがある。
【0004】
有利なことに、本開示の実施形態は、バーチャル像を形成する光学イメージング装置を提供することができる。このバーチャル像は、光学イメージング装置の利用者が少なくとも１つの目で光学イメージング装置を通して見たときに知覚する現実世界のビューに、重ねられる。本開示はさらに、複数の人工知能（ＡＩ）システムとコーディネートし交流して、利用者および利用者の環境を監視し、フィードバック情報を利用者に提供することができる。このフィードバック情報は、部分的に、過去の利用者の行動（オンラインでの行動および現実世界での行動を含む）に基づいている。これにより、利用者の安全性が高められ、実行されるタスク、意思決定、エンターテイメントの効率が高められる。
【0005】
したがって、拡張現実ディスプレイシステムのコストを削減しながら、利用者をより効果的に支援する拡張現実ディスプレイシステムが求められている。
【発明の概要】
【0006】
本開示は、バーチャル像を着用者に表示するための個人用ディスプレイ装置を提供する。個人用ディスプレイ装置は、右側テンプル部、左側テンプル部、右後部、左後部を有するフレームと、前記フレームに連結され、着用者に画像を投射する投射ディスプレイデバイスと、前記フレームに連結された少なくとも1つの導波路スタックモジュールと、を備え、前記少なくとも1つの導波路スタックモジュールは、その長さに沿って画像担持光ビームを伝送するものであり、前記投射ディスプレイデバイスからの画像を受け取るように構成され、インカップリング回折光学素子とアウトカップリング回折光学素子を含み、前記インカップリング光学素子は、前記少なくとも1つの導波路スタックモジュールに沿って形成されており、前記投射ディスプレイデバイスからの画像担持光ビームを、前記少なくとも1つの導波路スタックモジュール内へと回折して、前記画像担持光ビームを角度的にエンコードされた形態で前記少なくとも１つの導波路スタックモジュールの長さに沿って伝送させ、前記アウトカップリング回折光学素子は、前記インカップリング回折光学素子から前記少なくとも１つの導波路スタックモジュールの長さに沿って離間しており、前記投射ディスプレイデバイスからの画像を見るために、前記少なくとも１つの導波路スタックモジュールからの前記画像担持光ビームを、角度的にデコードされた形態で回折し、さらに、前記投射ディスプレイデバイスに接続されたプロセッサと、前記プロセッサに接続されたタッチパッドと、前記プロセッサに接続された少なくとも１つのマイクとを備え、前記プロセッサは、画像を前記投射ディスプレイデバイスと前記少なくとも１つの導波路スタックモジュールに提供するように構成され、前記タッチパッドは、着用者のタッチ動作を感知し、入力タッチパッド信号を前記プロセッサに提供するように構成され、前記入力タッチパッド信号は個人用ディスプレイ装置の少なくとも１つの状態を変化させ、前記タッチパッドによる着用者の動作の感知は、着用者のタッチ動作の方向の感知を含み、少なくとも１つのマイクは、着用者からコマンドを受信し、入力マイク信号を前記プロセッサに提供するようにさらに構成され、前記入力マイク信号は、個人用ディスプレイ装置の少なくとも1つの状態を変化させる。
【0007】
さらに次の構成が開示されている。
個人用ディスプレイ装置は、前記プロセッサに接続されたバイブレータをさらに備え、前記バイブレータは、前記プロセッサから入力バイブレータ信号を受信して、着用者に触覚フィードバックを提供するように構成されている。
前記インカップリング回折光学素子と前記アウトカップリング回折光学素子は、前面および背面を有し、前記インカップリング回折光学素子の前面は、前記インカップリング回折光学素子の背面と平行であり、前記アウトカップリング回折光学素子の前面は、前記アウトカップリング回折光学素子の背面と平行である。
個人用ディスプレイ装置は、前記右目シースルー部と前記左目シースルー部との間で前記フレームに取り外し可能に取り付けられた鼻梁アセンブリをさらに備えている。
個人用ディスプレイ装置は、周囲光の変化を検出するために前記フレームに配置され前記プロセッサに接続された周囲光センサーをさらに備えている。前記周囲光センサーが前記プロセッサに信号を提供するように構成されている。前記プロセッサは、前記周囲光センサーによって提供される信号に基づいて、前記投射ディスプレイデバイスによって伝送される画像を変更するように構成されている。
前記導波路スタックモジュールは、導波路ハウジングをさらに含み、前記導波路ハウジングは、前記インカップリング回折光学素子および前記アウトカップリング回折光学素子を収容するように構成されている。
前記導波路スタックモジュールが、前記インカップリング回折光学素子を通過する前記投射ディスプレイデバイスからの過剰な光を吸収するための黒化材料を含む。前記黒化材料は、コモト、カーボンフェザー、アクタール、および黒色塗料のうちの少なくとも１つから作られる。
前記導波路ハウジングは、前記導波路ハウジングと前記フレームとを位置合わせするための導波路・フレームアライナを含む。前記導波路スタックモジュールは、前記インカップリング回折光学素子と前記アウトカップリング回折光学素子を前記導波路ハウジング内に封止するための外カバーと内カバーをさらに含む。前記外カバーと前記内カバーは、前記外カバーと前記内カバーの周囲を囲むガスケットを含み、前記ガスケットは、前記外カバーと前記内カバーを前記導波路ハウジングに封止する。
前記投射ディスプレイデバイスは、プロジェクタ、プロジェクタ取付フレーム、およびディスプレイ接続モジュールを含む。前記プロジェクタ取付フレームは、アライメントピンとプロジェクタ・フレームアライナとを含み、前記プロジェクタ・フレームアライナは、前記プロジェクタ取付フレームと前記フレームとを位置合わせする。
前記導波路スタックモジュールが導波路ハウジングをさらに含み、前記導波路ハウジングが、前記導波路ハウジングと前記フレームとを位置合わせするための導波路・フレームアライナを含み、前記投射ディスプレイデバイスがプロジェクタ取付フレームを含み、前記プロジェクタ取付フレームが、前記プロジェクタ取付フレームと前記フレームとを位置合わせするためのプロジェクタ・フレームアライナを含み、前記フレームは、前記導波路・フレームアライナと前記プロジェクタ・フレームアライナを前記フレームに位置合わせするためのプロジェクタ・導波路・フレームアライナを含む。
個人用表示装置は、前記フレームの前記左側テンプル部と前記左後部との間に配置された左側ヒンジシステムと、前記フレームの右側テンプル部と前記右後部の間に配置された右側ヒンジシステムとをさらに備えている。前記左側ヒンジシステムと前記右側ヒンジシステムは、可撓性ケーブル、ヒンジ、ヒンジハウジング、およびヒンジピンを含む。前記ヒンジは、第１ハーフヒンジと第２ハーフヒンジを含み、前記第１ハーフヒンジと前記第２ハーフヒンジは、前記ヒンジピンによって回動可能に接続されるように構成されている。前記可撓性ケーブルが少なくとも６つの屈曲点を含み、前記可撓性ケーブルの少なくとも６つの屈曲点のうちの４つが前記ヒンジピンを取り囲むように構成されている。
個人用ディスプレイ装置は、前記プロセッサに接続されたバイブレータをさらに備え、前記バイブレータは、前記プロセッサから入力バイブレータ信号を受信して、着用者に触覚フィードバックを提供するように構成されている。
前記インカップリング回折光学素子と前記アウトカップリング回折光学素子は、前面および背面を有し、前記インカップリング回折光学素子の前面は、前記インカップリング回折光学素子の背面と平行であり、前記アウトカップリング回折光学素子の前面は、前記アウトカップリング回折光学素子の背面と平行である。
個人用ディスプレイ装置は、前記右目シースルー部と前記左目シースルー部との間で前記フレームに取り外し可能に取り付けられた鼻梁アセンブリをさらに備えている。
個人用ディスプレイ装置は、周囲光の変化を検出するために前記フレームに配置され前記プロセッサに接続された周囲光センサーをさらに備えている。前記周囲光センサーが前記プロセッサに信号を提供するように構成されている。前記プロセッサは、前記周囲光センサーによって提供される信号に基づいて、前記投射ディスプレイデバイスによって伝送される画像を変更するように構成されている。
前記導波路スタックモジュールは、導波路ハウジングをさらに含み、前記導波路ハウジングは、前記インカップリング回折光学素子および前記アウトカップリング回折光学素子を収容するように構成されている。
前記導波路スタックモジュールが、前記インカップリング回折光学素子を通過する前記投射ディスプレイデバイスからの過剰な光を吸収するための黒化材料を含む。前記黒化材料は、コモト、カーボンフェザー、アクタール、および黒色塗料のうちの少なくとも１つから作られる。
前記導波路ハウジングは、前記導波路ハウジングと前記フレームとを位置合わせするための導波路・フレームアライナを含む。前記導波路スタックモジュールは、前記インカップリング回折光学素子と前記アウトカップリング回折光学素子を前記導波路ハウジング内に封止するための外カバーと内カバーをさらに含む。前記外カバーと前記内カバーは、前記外カバーと前記内カバーの周囲を囲むガスケットを含み、前記ガスケットは、前記外カバーと前記内カバーを前記導波路ハウジングに封止する。
前記投射ディスプレイデバイスは、プロジェクタ、プロジェクタ取付フレーム、およびディスプレイ接続モジュールを含む。前記プロジェクタ取付フレームは、アライメントピンとプロジェクタ・フレームアライナとを含み、前記プロジェクタ・フレームアライナは、前記プロジェクタ取付フレームと前記フレームとを位置合わせする。
前記導波路スタックモジュールが導波路ハウジングをさらに含み、前記導波路ハウジングが、前記導波路ハウジングと前記フレームとを位置合わせするための導波路・フレームアライナを含み、前記投射ディスプレイデバイスがプロジェクタ取付フレームを含み、前記プロジェクタ取付フレームが、前記プロジェクタ取付フレームと前記フレームとを位置合わせするためのプロジェクタ・フレームアライナを含み、前記フレームは、前記導波路・フレームアライナと前記プロジェクタ・フレームアライナを前記フレームに位置合わせするためのプロジェクタ・導波路・フレームアライナを含む。
個人用表示装置は、前記フレームの前記左側テンプル部と前記左後部との間に配置された左側ヒンジシステムと、前記フレームの右側テンプル部と前記右後部の間に配置された右側ヒンジシステムとをさらに備えている。前記左側ヒンジシステムと前記右側ヒンジシステムは、可撓性ケーブル、ヒンジ、ヒンジハウジング、およびヒンジピンを含む。前記ヒンジは、第１ハーフヒンジと第２ハーフヒンジを含み、前記第１ハーフヒンジと前記第２ハーフヒンジは、前記ヒンジピンによって回動可能に接続されるように構成されている。前記可撓性ケーブルが少なくとも６つの屈曲点を含み、前記可撓性ケーブルの少なくとも６つの屈曲点のうちの４つが前記ヒンジピンを取り囲むように構成されている。
【図面の簡単な説明】
【0008】
添付の図面は、本明細書に開示される本発明のさらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成しており、本発明の態様を表し、記述とともに本発明の原理を説明するのに役立つ。
【0009】
【図1】拡張現実眼鏡の斜視図である。
【0010】
【図2】拡張現実眼鏡の底面図である。
【0011】
【図3】拡張現実眼鏡の平断面図である。
【0012】
【図4】拡張現実眼鏡の側面図である。
【0013】
【図5】拡張現実眼鏡の背面図である。
【0014】
【図6A】拡張現実眼鏡によって伝送される第１のバーチャル像である。
【0015】
【図6B】拡張現実眼鏡によって伝送される第２のバーチャル像である。
【0016】
【図7】拡張現実眼鏡の導波路スタックモジュールの斜視図である。
【0017】
【図8】拡張現実眼鏡の導波路スタックモジュールに含まれる構成要素の分解図である。
【0018】
【図9】拡張現実眼鏡の導波路スタックモジュールの導波路ハウジングおよび黒化材料を示す拡大背面図である。
【0019】
【図10】導波路スタックモジュールの導波路アセンブリに含まれる構成要素の分解図である。
【0020】
【図11】ガスケットを含む導波路スタックモジュールの平断面図である。
【0021】
【図12】拡張現実眼鏡の投射ディスプレイデバイスの斜視図である。
【0022】
【図13】拡張現実眼鏡の投射ディスプレイデバイスに含まれる構成要素の分解図である。
【0023】
【図14】拡張現実眼鏡の投射ディスプレイデバイスの側面図である。
【0024】
【図15】拡張現実眼鏡の導波路スタックモジュールおよびプロジェクタモジュールの斜視図である。
【0025】
【図16】拡張現実眼鏡の導波路スタックモジュールおよびプロジェクタモジュールの拡大斜視図である。
【0026】
【図17】導波路スタックモジュールを受け入れる拡張現実眼鏡のハウジングの内部領域とプロジェクタモジュールを示す斜視図である。
【0027】
【図18】拡張現実眼鏡のヒンジシステムを含む構成要素の分解図である。
【0028】
【図19】拡張現実眼鏡の最上層の一部が省かれた構成要素の分解図である。
【0029】
【図20】拡張現実眼鏡のヒンジシステムの構成要素の分解図である。
【0030】
【図21】拡張現実眼鏡のヒンジシステムを断面にして示す斜視図である。
【0031】
【図22】拡張現実眼鏡のヒンジシステムの内部を示す斜視図である。
【0032】
【図23】第１の位置にあるヒンジシステムの内部を示す斜視図である。
【0033】
【図24】第２の位置にあるヒンジシステムを断面にして示す斜視図である。
【0034】
【図25】拡張現実眼鏡の放熱システムの断面図である。
【0035】
【0036】
【図27】人工知能および無線通信を利用する拡張現実ニアアイディスプレイシステムの斜視図である。
【0037】
【図28】人工知能および無線通信を利用する拡張現実ヘッドマウントディスプレイの斜視図である。
【発明を実施するための形態】
【0038】
以下に記載される詳細な説明は、本発明の様々な構成の説明として意図されており、本発明が実施可能な唯一の構成を示すことは意図されていない。当業者には、本発明が本明細書に記載された特定の詳細な構成に限定されず、当該特定の構成なしでも実施できることが明らかであろう。
【0039】
本明細書において、「第１」、「第２」などの用語は、必ずしも順序、順次、または優先順位の関係を示すものではなく、特に指定のない限り、単に1つの要素または要素の集合を他の要素または要素の集合から明確に区別するために使用される。
【0040】
「例示的」の用語は、「一例」であることを意味し、任意の好ましいまたは理想的な実施形態を示唆することを意図しない。
【0041】
本明細書で使用される「集合」という用語は、要素やメンバーの集まりの概念として初等数学で広く理解されているように、空でない集合を指す。
「部分集合」という用語は、特に明記しない限り、本明細書では空ではない適切な部分集合、つまり1つまたは複数の要素を有する、より大きな集合における部分集合を指すために使用される。
集合Ｓの場合、部分集合は完全な集合Ｓを含むことができる。しかしながら、集合Ｓの「適切な部分集合」は、集合Ｓに厳密に含まれ、集合Ｓの少なくとも１つの要素を除外する。
「部分集合」という用語は、特に明記しない限り、本明細書では空ではない適切な部分集合、つまり1つまたは複数の要素を有する、より大きな集合における部分集合を指すために使用される。
集合Ｓの場合、部分集合は完全な集合Ｓを含むことができる。しかしながら、集合Ｓの「適切な部分集合」は、集合Ｓに厳密に含まれ、集合Ｓの少なくとも１つの要素を除外する。
【0042】
本開示において、用語「波長帯域」および「波長範囲」は均等であり、カラー画像化の当業者によって使用される標準的な意味を有し、多色画像を表すために使用される光波長の連続範囲を指す。通常のカラー画像化アプリケーションでは、原色の赤、緑、青など、異なる波長帯域が異なるカラーチャネルを通るように方向付けられる。
【0043】
本開示において、「結合された（カップル;coupled）」という用語は、2つ以上の構成要素間の物理的な関連付け、接続、関係、または連結を示すことを意図しており、1つの構成要素の配置が、これと結合される構成要素の空間的配置に影響を与える。
機械的結合の場合、2つの構成要素を直接接触させる必要はなく、1つ以上の中間構成要素を介して連結してもよい。
光結合（光学的カップリング；optical coupling）のための構成要素は、光エネルギーが光学装置に入力したり、光学装置から出力したりするのを可能にする。
機械的結合の場合、2つの構成要素を直接接触させる必要はなく、1つ以上の中間構成要素を介して連結してもよい。
光結合（光学的カップリング；optical coupling）のための構成要素は、光エネルギーが光学装置に入力したり、光学装置から出力したりするのを可能にする。
【0044】
「ビーム拡大器」および「瞳拡大器」という用語は同義であると考えられ、本明細書では互換的に使用される。これらの用語は、本明細書では一般に、後で説明するように、バーチャル像を形成するために使用される回折格子付きの平面導波路を示すために使用される。
【0045】
本質的に平面の光導波路（例えば、平行板導波路）は、導波路の１つの領域から他の領域へと画像担持光を伝送するために用いることができる物理的構造である。このような画像伝送導波路の典型的な用途は、ヘッドマウント式の単眼または両眼のディスプレイシステムである。
【0046】
「剛性」および「剛性連結」という用語は、機械的に剛性を有するまたは堅い構成要素を示すために使用される。
すべての剛性を有する機械材料およびシステムは、さまざまな程度に破壊することなく変形する能力を有することを理解されたい。
すべての剛性を有する機械材料およびシステムは、さまざまな程度に破壊することなく変形する能力を有することを理解されたい。
【0047】
「可撓性電子回路」、「可撓性ケーブル」、および「可撓性回路」という用語は、基端から先端に１つ以上の電気信号または光信号を伝送することができる可撓性材料を示すために使用される。さらに、電気及び／又は光のエネルギーが、前記基端から前記先端へと伝送されてもよい。さらに、前記信号及び／又はパワーが前記先端から前記基端へと逆に伝送されてもよいことは、理解されるべきである。
【0048】
「画像を表示する」、「バーチャル像を表示する」、「画像を投射する」、「バーチャル像を投射する」、「画像を提示」、「バーチャル像を提示」という用語は、本明細書で開示する拡張現実ディスプレイシステムの視覚的機能を説明するために使用される。拡張現実ディスプレイシステムは、実際の画像ではなく、バーチャル像を生成して利用者の目に提示することを理解されたい。
【0049】
「利用者」および「着用者」という用語は、本明細書で開示される「拡張現実ディスプレイシステム」または「ニアアイディスプレイシステム」とも呼ばれる光学イメージングシステムを利用する人を、同義に使用する場合がある。
【0050】
図１～２５には、拡張現実ディスプレイシステム１００が示されている。拡張現実ディスプレイシステム１００は、右側Ｒおよび左側Ｌを有するフレーム１０を備えている。拡張現実ディスプレイシステム１００はさらに、右目シースルー部(see-through section)２０、左目シースルー部２２、および右目シースルー部２０と左目シースルー部２２との間に配置された鼻梁部２４を含んでいる。フレーム１０は、右側テンプル部３０、左側テンプル部３２、右後部３４、および左後部３６を含むことができる。右後部３４は、右側テンプル部３０に連結され、右側テンプル部３０は、右側シースルー部２０に連結されている。左後部３６は、左側テンプル部３２に連結され、左側テンプル部３２は、左側シースルー部２２に連結される。
【0051】
拡張現実ディスプレイシステム１００はさらに、右側通過ヒンジ（pass-through hinge）４０と左側通過ヒンジ４２を含む。右後部３４は右側通過ヒンジ４０に連結され、この右側通過ヒンジ４０は右側テンプル部３０に連結される。左後部３６は左側通過ヒンジ４２に連結され、この左側通過ヒンジ４２は左側テンプル部３２に連結される。右側通過ヒンジ４０および左側通過ヒンジ４２については、以下でさらに説明する。
【0052】
拡張現実ディスプレイシステム１００の右後部３４は、右側リアバッテリー５０、右側振動デバイス５２、および右側可撓性ケーブル（図示せず）を含むことができる。右側可撓性ケーブルは、電気ケーブル、または意図された目的に適しており当業者によって理解される任意の他のコネクタとすることができる。右側可撓性ケーブルは、右側リアバッテリー５０と右側振動デバイス５２を接続することができる。右側可撓性ケーブルは、右後部３４および右側通過ヒンジ４０を通過し、右側回路基板６４に接続することができる。別の可撓性ケーブル（図示せず）は、右側テンプル部３０内の右側回路基板６４に接続し、右眼シースルー部２０、鼻梁部２４、および左目シースルー部２２を通過して、拡張現実ディスプレイシステム１００の左側テンプル部３２内に配置されたプロセッサ５４に接続することができる。プロセッサ５４は、quad core ARM A53、または意図された目的に適しており当業者によって理解される他の任意のプロセッサとすることができる。
【0053】
拡張現実ディスプレイシステム１００の左後部３６は、左側リアバッテリー５６、左側振動デバイス５８、および左側可撓性ケーブル（図示せず）を含む。左側可撓性ケーブルは、電気ケーブル、または意図された目的に適しており当業者によって理解される任意の他のコネクタとすることができる。左側可撓性ケーブルは、左側リアバッテリー５６と左側振動デバイス５８を接続することができる。左側可撓性ケーブルは、左後部３６および左側通過ヒンジ４２を通過し、拡張現実ディスプレイシステム１００のプロセッサ５４に接続することができる。
【0054】
拡張現実ディスプレイシステム１００の右側テンプル部３０は、投射ディスプレイデバイス７０およびタッチパッド７２をさらに含むことができる。投射ディスプレイデバイス７０およびタッチパッド７２は、拡張現実ディスプレイシステム１００のプロセッサ５４に接続することができる。投射ディスプレイデバイス７０については、以下でさらに説明する。
【0055】
タッチパッド７２は、利用者が拡張現実ディスプレイシステム１００と相互作用（交流）して、投射ディスプレイデバイス７０によって投射される画像を変更することを可能にする。利用者は、スワイプ（例えば、上向き、下向き、横向き、対角線方向、またはタップのよう内側方向に指をスワイプ）して、プロセッサ５４に信号を送り、投射ディスプレイデバイス７０によって投射される画像を変更し、及び／又は拡張現実ディスプレイシステム１００の状態を変更する。タッチパッド７２はまた、利用者の圧力の変化（例えば、利用者がタッチパッド７２を押しつける）を感知して、投射ディスプレイデバイス７０によって投写される画像を変更し、及び／又は拡張現実ディスプレイシステム１００の状態を変更する。タッチパッド７２からの信号及び／又はデータは、以下の動作をなすために構成することができる。
１）拡張現実ディスプレイシステム１００のメモリ（図示せず）に格納されたソフトウェアの起動を開始する。
２）サードパーティ（外部；third party）のデバイス（図示しない）のソフトウエアを、拡張現実ディスプレイシステムと直接通信で（例えば有線通信で）、またはリモート通信で（例えば無線通信で； WiFi及び/又はBluetoothで）、開始する。
３）サードパーティのデバイスとのネットワーク通信を開始または終了する。
４）拡張現実ディスプレイシステム１００に組み込まれたデバイスまたはサブシステム（例えば、カメラ、ビデオ記録、マイク、バイブレータ、投射システム、センサー、他のデバイス又はサブシステム）を開始または終了する。
１）拡張現実ディスプレイシステム１００のメモリ（図示せず）に格納されたソフトウェアの起動を開始する。
２）サードパーティ（外部；third party）のデバイス（図示しない）のソフトウエアを、拡張現実ディスプレイシステムと直接通信で（例えば有線通信で）、またはリモート通信で（例えば無線通信で； WiFi及び/又はBluetoothで）、開始する。
３）サードパーティのデバイスとのネットワーク通信を開始または終了する。
４）拡張現実ディスプレイシステム１００に組み込まれたデバイスまたはサブシステム（例えば、カメラ、ビデオ記録、マイク、バイブレータ、投射システム、センサー、他のデバイス又はサブシステム）を開始または終了する。
【0056】
拡張現実ディスプレイシステム１００の右側シースルー部２０は、右側外カバー７６、右側内カバー７８、および導波路スタックモジュール８０を含むことができる。右側外カバー７６、右側内カバー７８、および導波路スタックモジュール８０については、以下でさらに説明する。
【0057】
拡張現実ディスプレイシステム１００の左側テンプル部３２は、プロセッサ５４に接続することができる左側テンプルバッテリー６０を含む。左側テンプルバッテリー６０は、プロセッサ５４に接続されて、拡張現実ディスプレイシステム１００に追加の電力を提供することができる。
【0058】
拡張現実ディスプレイシステム１００の左シースルー部２２は、左側外カバー８２と左側内カバー８４を含むことができる。右側外カバー７６、右側内カバー７８、左側外カバー８２、および左側内カバー８４は、保護カバー、または意図される目的に適しており当業者によって理解される他の任意のカバーとすることができる。
【0059】
右側外カバー７６と左側外カバー８２は、プロセッサ５４に電気的に結合することができる。プロセッサ５４は、右リアバッテリー５０、左リアバッテリー５６、および左テンプルバッテリー６０に電気的に結合することができる。これらバッテリーは拡張現実ディスプレイシステム１００内に配置することができる。
【0060】
右側外カバー７６と左側外カバー８２は、少なくともエレクトロクロミック材料、フォトクロミック材料、または意図される目的に適しており当業者によって理解される他の任意の材料を含むことができる。エレクトロクロミック材料またはフォトクロミック材料は、右側外カバー７６と右側内カバー７８の間、および左側外カバー８２と左側内カバー８４の間に配置されてもよい。エレクトロクロミック材料またはフォトクロミック材料は、右側外カバー７６の外面および左側外カバー８２の外面に配置されてもよい。エレクトロクロミック材料またはフォトクロミック材料は、右側外カバー７６と左側外カバー８２が、利用者の目から見て導波路スタックモジュール８０の最も離れた面となるように、右側外カバー７６および左側外カバー８２の手前に配置された導波路スタックモジュール８０の追加の表面であってもよい。
【0061】
拡張現実ディスプレイシステム１００の右目シースルー部２０は、右側外カバー７６と導波路アセンブリ８９との間に配置される偏光子（polarizer;図示せず）をさらに含むことができる。偏光子は、導波路アセンブリ８９と右側内カバー７８との間に配置されてもよい。偏光子は、円形の偏光子であってもよい。偏光子は、右側外カバー７６の内面からの反射光が導波路アセンブリ８９に戻るのを阻止し、ひいては、利用者の目に入るのを阻止するよう、拡張現実ディスプレイシステム１００を助けることができる。
【0062】
拡張現実ディスプレイシステム１００の鼻梁部２４は、鼻梁アッセンブリ９０を含むことができる。鼻梁アセンブリ９０は、取り外し可能であっても、固定であってもよい。鼻梁アセンブリ９０は、オプションの度付きレンズを鼻梁部２４に固定するためのレンズ固定アセンブリ（図示せず）を含むことができる。オプションの度付きレンズは、例えば拡張現実ディスプレイシステム１００の右側内カバー７８および左側内カバー８４の前など、利用者の目の近くに配置することができる。
【0063】
拡張現実ディスプレイシステム１００は、カメラアセンブリ１２をさらに含むことができる。カメラアセンブリ１２は、カメラ（図示せず）および周囲光センサー（図示せず）を含むことができる。カメラアセンブリ１２は、拡張現実ディスプレイシステム１００のプロセッサ５４に接続することができる。カメラは、プロセッサ５４にデータを提供して、拡張現実ディスプレイシステム１００の投射ディスプレイデバイス７０によって表示される画像を変更することができる。カメラは、毎秒３０フレーム（ＦＰＳ）で１０８０ｐの解像度、または意図する目的に適しており当業者によって理解される任意の他の解像度および速度で、画像を取得するように構成することができる。
【0064】
複数のカメラを互いに離れて配置し、立体画像や正面、側面、背面の画像の取得などの追加の利点を提供することもできる。カメラアセンブリ１２は、右目シースルー部２０内に配置することができる。追加のカメラも、左眼シースルー部２２および右眼シースルー部２０のそれぞれの中に配置することができる。鼻梁部２４内に別のカメラを配置することもできる。他のカメラを、右後部３４、左後部３６、右側テンプル部３０、左側テンプル部３２、右目シースルー部２０、左目シースルー部２２および鼻梁部２４の少なくとも１つに配置してもよい。
【0065】
少なくとも１つのカメラは、赤外線カメラ及び／又は紫外線カメラとすることができる。少なくとも別のカメラは、サポートソフトウェアと共に、セルフフォーカス機能やズーム機能を備えていてもよい。「ズーム機能」カメラは、カメラの光パワーを変更する機能を有するカメラアセンブリ１２のカメラを含むことができる。
【0066】
プロセッサ５４は、周囲光センサーからデータを受信して、投射ディスプレイデバイス７０によって投射される画像を変更するように構成することができる。例えば、周囲光が明るい場合（例えば、明るい部屋や晴れた日の屋外など）に投射ディスプレイデバイス７０により表示されるコントラスト比や色は、周辺光が明るくない場合（例えば薄暗い部屋、曇った日の屋外、夜の屋外など）に表示されるコントラスト比や色と異ならせることができる。周囲光センサーからのデータを使用して、右側外カバー７６及び/又は左側外カバー８２の不透明度のレベルを調整することもできる。
【0067】
拡張現実ディスプレイシステム１００は、環境照明機能を提供して、困難な照明条件の期間において利用者が透明ディスプレイをより見やすくすることができる。環境照明機能は、環境照明条件に基づいて、異なる状態（例えば「テーマ」など）の間で利用者の視覚体験を調整することができる。
【0068】
周囲光センサーからのデータが利用者定義の閾値に達すると、プロセッサ５４は利用者に表示される視覚的体験を変えることができる。拡張現実ディスプレイシステム１００は、変化する照明条件に対処することができる導波路スタックモジュール８０に、様々なテーマを表示することができる。拡張現実ディスプレイシステム１００にとって、「テーマ」は、プロセッサ５４によって適用され得る様々な色、アイコン、および透過率を含むことができる。
【0069】
たとえば、図６Ａおよび図６Ｂは、導波路スタックモジュール８０に表示され及び／又は伝送される、周囲光センサーを利用した「テーマ」の例である。図６Ａは、暗い環境照明で用いられる、より透明な「カラーリング」スキームを含む「暗いテーマ」である。これは、低照明設定にあるときに、投射ディスプレイデバイス７０から過度の明るさで利用者の視界を圧倒することを防ぐことができる。図６Ｂは、明るい環境で用いられる、高コントラストの「カラーリング」スキームを提供する「明るいテーマ」である。図６Ａ、図６Ｂに関して、黒色は、拡張現実ディスプレイシステム１００の表示画像の透明部分である。
【0070】
拡張現実ディスプレイシステム１００は、利用者による選択可能なオプションではなく、環境照明機能を自動的に利用してもよい。さらに、「テーマ」の設定は、常に暗い、常に明るい、または自動がある。利用者定義の閾値設定は、テーマの変更をトリガーする可能性のある周辺光レベルの範囲として定義できる。利用者定義の閾値には、プロセッサがテーマの変更をトリガーする前に、検知されたデータが環境光レベルの閾値を上回った時間の長さ又は下回った時間の長さも含むことができる。たとえば、突然「閃光」が発生し、利用者定義のしきい値を超えた場合、「閃光」の持続時間が短いため、テーマの切り替えは実行されない。周囲の閾値の変化が定義された期間継続している場合、導波路スタックモジュール８０によって表示されるテーマは切り替えられる。
【0071】
拡張現実ディスプレイシステム１００は、第３の可撓性ケーブル（図示せず）をさらに含むことができる。この第３の可撓性ケーブルは、プロセッサ５４を投射ディスプレイシステム７０に接続することができ、左目シースルー部２２、鼻ブリッジ部２４、および右目シースルー部２０の空洞（図示せず）を通過することができる。第３の可撓性ケーブルは、電気ケーブル、または意図された目的に適しており当業者によって理解される任意の他のケーブルであってよい。
【0072】
追加の可撓性ケーブル（図示せず）を右側テンプル部３０に配置し、右目シースルー部２０、鼻梁部２４、左目シースルー部２２、および左側テンプル部３２を通過させることができる。追加の可撓性ケーブルは、拡張現実ディスプレイシステム１００の右側Ｒに配置された１つまたは複数の構成要素を左側Ｌの１つまたは複数の構成要素に接続することができる。
【0073】
拡張現実ディスプレイシステム１００はさらに、メモリカードスロット１８、メモリカードスロットカバー１９、内部メモリ（図示せず；例えば４ＧＢフラッシュメモリ）、システムＲＡＭ（図示せず；例えば５１２ＭＢ）、およびアクセスポート４４（例えば、マイクロＵＳＢアクセスポート）を含むことができる。このアクセスポート４４は、プロセッサ５４への外部接続（例えば、ＵＳＢ ２．０高速接続）を確立するためのものである。メモリカードスロット１８は、セキュアデジタル（ＳＤ）カード、ＭｉｎｉＳＤカード、コンパクトフラッシュカード、メモリースティック、ｘＤ-ピクチャーカード、または意図された目的に適しており当業者によって理解されている他の任意の記憶媒体を受け入れるように構成されている。メモリカードスロットカバー１９は、メモリカードスロット１８への密閉されたアクセスを提供することができる。例えば、メモリカードスロットカバー１９は、防水性または耐水性とすることができる。
【0074】
拡張現実ディスプレイシステム１００の左側テンプル部３２は、外向きマイクポート（図示せず）および内向きマイクポート（図示せず）をさらに含むことができる。これらマイクポートは、投射ディスプレイデバイス７０によって表示される画像を変更するために利用される。すなわち、投射ディスプレイデバイス７０によって表示される画像を変更し得るデータをプロセッサ５４に送信することができる。例えば、利用者は、「次へ」と言うと、投射ディスプレイデバイス７０によって表示される画像を次の画像に変更することができる。
【0075】
マイクポートが利用可能な場合、関連するマイクは、マイクポートに配置され、電源（例えば、左側テンプルバッテリー６０）およびプロセッサ５４に接続することができる。プロセッサ５４は、関連するマイクから電気音声信号を受信することができる。関連するマイクは、主にマイクポートを介して音声を受ける。
【0076】
１つまたは複数のマイクポートおよび関連するマイクをさらに、右側テンプル部３０に配置することができる。１つまたは複数のマイクポートおよび関連するマイクの他の位置は、鼻梁部２４、右後部３４、左後部３６、右目シースルー部２０、および左目シースルー部２２を含むことができる。複数のマイクをバックグラウンドおよび環境ノイズを除去するために使用することができ、潜在的な環境の危険を着用者に警告するために使用することもできる。
【0077】
利用者からの音声コマンドはまた、拡張現実ディスプレイシステム１００に格納されたソフトウェア及び／又は拡張現実ディスプレイシステム１００と直接通信または遠隔通信する外部（サードパーティ）のデバイスのソフトウェアを、開始することができる。音声コマンドは、拡張現実ディスプレイシステム１００に組み込まれたデバイスやサブシステム（例えば、カメラアセンブリ１２のカメラまたは投射ディスプレイデバイス７０のプロジェクタ）の状態を変更したり、拡張現実ディスプレイシステム１００の電源をオン／オフすることができる。音声コマンドはまた、拡張現実ディスプレイシステム１００の状態を変更するか、または拡張現実ディスプレイシステム１００の状態の変更を開始することができる。例えば、マイクが「オン」である場合、音声コマンドは、マイクを初期化して、データをプロセッサ５４に提供し、それによって拡張現実ディスプレイシステム１００の状態を変更することができる。音声コマンドにより拡張現実ディスプレイシステム１００の状態を変更する他の例は、導波路スタックモジュール８０によって表示される画像の変更、およびカメラアセンブリ１２による画像の取得を含むことができる。
【0078】
拡張現実ディスプレイシステム１００の左側テンプル部３２は、拡張現実ディスプレイシステム１００を作動させるためのインジケータポート１４（例えば、ＬＥＤインジケータポート）および電源ボタン１６をさらに含むことができる。インジケータポート１４は、電力レベル、状態、または意図された目的に適しており当業者によって理解される他の任意の情報を表示することができる。
【0079】
拡張現実ディスプレイシステム１００の回路基板６２は、プロセッサ５４、ボードメモリモジュール、方位センサー、加速度センサー、磁気センサー、音声符号化モジュール、無線モジュール、チップアンテナモジュール、カメラコネクタ、気圧センサー、近接センサーなどを含むことができる。
【0080】
図２５は、左側テンプル部３２の断面背面図を示す。左側テンプル部３２は、左側テンプル部外面３００と、内部空洞３０４を形成する左側テンプル部内面３０２を有している。左側テンプル部３２は、プロセッサ５４によって生成された熱を左側テンプル部内面３０２に分配するために利用される放熱システム３１０を含むことができる。放熱システム３１０は、左側テンプル部３２に配置された電気構成要素（例えば、プロセッサ５４、左側テンプルバッテリー６０、または回路基板６２上の他の構成要素）を損傷する可能性がある１つ以上の局所的なホットスポットの発生を防止する。放熱システム３１０はまた、拡張現実ディスプレイシステム１００の着用者に対する局所的なホットスポットによって引き起こされる不快感を防止することができる。
【0081】
放熱システム３１０は、回路基板６２の少なくとも一部と左側テンプル部内面３０２との間に配置された第１の伝熱シート３１２を含むことができる。第１の伝熱シート３１２は、左側テンプル部内面３０２と熱的及び／又は物理的に接触していてもよい。放熱システム３１０はまた、回路基板６２の少なくとも一部と左側テンプルバッテリー６０の一部との間に配置された第２の伝熱シート３１４を有してもよい。第２の伝熱シート３１４は、左側テンプル部の内面３０２の一部と熱的及び／又は物理的に接触していてもよい。
【0082】
放熱システム３１０はまた、第２の伝熱シート３１４と左側テンプルバッテリー６０との間に配置された断熱材３１６を有してもよい。断熱材３１６は、エアロゲル、ゴム、または意図される目的に適しており当業者によって理解される他の任意の材料から構成することができる。放熱システム３１０はまた、左側テンプルバッテリー６０と左側テンプル部内面３０２との間に配置された第３の伝熱シート３１８を有してもよい。第３の伝熱シート３１８は、左側テンプル部内面３０２と熱的及び／又は物理的に接触していてもよい。第３の伝熱シート３１８はまた、左側テンプルバッテリー６０の少なくとも一部と熱的及び／又は物理的に接触していてもよい。
【0083】
第１の伝熱シート３１２、第２の伝熱シート３１４、および第３の伝熱シート３１８は、互いに熱的及び／又は物理的に接触していてもよい。第１の伝熱シート３１２、第２の伝熱シート３１４、および第３の伝熱シート３１８は、銅、銀、金、スズ、アルミニウム、純材料または複合材料、または意図する目的に適しており当業者によって理解される他の任意の材料で構成することができる。
【0084】
導波路スタックモジュール
【0085】
図７～図１１に示すように、拡張現実ディスプレイシステム１００の導波路スタックモジュール８０は、環境に対してシールすることができる。湿気、汚れ、および他の粒子が導波路スタックモジュール８０の内部に入り込み、投射ディスプレイデバイス７０によって提供される画像が台無しになるのを防ぐためである。例えば、導波路スタックモジュール８０は、気密シールされてもよい。拡張現実ディスプレイシステム１００の導波路スタックモジュール８０は、導波路ハウジング８６、導波路・フレームアライナ８７、黒化材料８８（黒色材料；blackening material）、および導波路アセンブリ８９をさらに含むことができる。
【0086】
拡張現実ディスプレイシステム１００の右側外カバー７６はまた、望ましくない反射の低減を助けるために反射防止コーティングを含むことができる。これにより、より高品質な画像を利用者に表示できる。右側外カバー７６は、ごみが導波路スタックモジュール８０に入ることを防ぐために、導波路ハウジング８６との全周シールを含むことができる。例えば、にかわや接着剤を右側外カバー７６の周囲に塗布して、右側外カバー７６を導波路ハウジング８６にシールすることができる。
【0087】
導波路スタックモジュール８０の導波路ハウジング８６は、拡張現実ディスプレイシステム１００内の他のモジュールを積み重ねることを可能にし、それによって拡張現実ディスプレイシステム１００における積み重ね公差を低減することができる。導波路ハウジング８６は、プラスチック、ポリカーボネート、ポリマー、または意図された目的に適しており当業者によって理解されている他の任意の材料で形成することができる。
【0088】
導波路スタックモジュール８０の黒化材料８８は、導波路アセンブリ８９を通過する投射ディスプレイデバイス７０からの過剰な光を吸収することができ、これにより過剰な光が反射して導波路アセンブリ８９内に戻らないようにする。黒化材料８８は、コモト、カーボンフェザー、アクタール、黒色塗料、および意図された目的に適しており、当業者によって理解されている他の任意の材料でできていてもよい。黒化材料８８は、導波路アセンブリ８９に対して垂直な角度に配置することができる。
【0089】
導波路スタックモジュール８０の導波路アセンブリ８９は、少なくとも１つの導波路９２を含むことができる。導波路スタックモジュール８０の導波路アセンブリ８９はまた、２つの導波路９２、９６（または意図される目的に適しており当業者によって理解される任意の他の材料／光学素子）および紫外線活性化材料９４（UV light activated material）を含むことができる。２つの導波路９２、９６は、導波路アセンブリ８９の光学性能に適した平行を維持しながら、紫外線活性化材料９４によって分離されている。平行性が高まると、画像の色分解が殆どまたは全く無くなる。２つの導波路９２、９６はまた平行な前面および背面を有することができ、これら面に１つまたは複数の回折格子を配置することができる。２つの導波路９２、９６および紫外線活性化材料９４の縁は、光の吸収を助けるために黒くすることができる。紫外線活性化材料９４はまた、２つの導波路９２、９６の周囲またはその近くに塗布された紫外線硬化接着剤とすることができる。紫外線活性化材料９４は、導波路アセンブリ８９の２つの導波路９２、９６の間に空洞を提供することができる。
【0090】
２つの導波路９２、９６は、インカップリング回折光学素子およびアウトカップリング回折光学素子を有することができる。導波路スタックモジュール８０の導波路アセンブリ８９の２つの導波路９２、９６は、さらに、インカップリング回折光学素子とアウトカップリング回折光学素子との間に配置された少なくとも１つの回転回折格子を含むことができる。インカップリング回折光学素子、アウトカップリング回折光学素子、及び／又は回転回折格子は、回折格子、ホログラフィック光学素子、体積ホログラム、フォトニック結晶、光屈折結晶、ポリマー、重クロム酸ゼラチン、および感光性ガラスを含むことができる。
【0091】
導波路スタックモジュール８０の右側内カバー７８は、反射防止コーティングおよび「汚れ」防止コーティングを含むことができる。異なるタイプのコーティングが、右側内カバー７８のいずれかの側に適用されてもよい。汚れまたは油が２つの導波路９２、９６に直接存在する場合、導波路スタックモジュール８０に表示される画像は劣化する。右側内カバー７８は、画像の品質が環境の影響を受けにくくすることができる。
【0092】
導波路スタックモジュール８０はまた、右側内カバー７８と接触することができるガスケット９８（例えば、定位置ガスケット）を含むことができる。このガスケット９８は、導波路スタックモジュール８０とのより良好なシールを可能にする。ガスケットの利点は、導波路アセンブリ８９に直接過剰な圧力を加えないことである。ガスケット９８は、Dymax GA 142ガスケット材料、または意図される目的に適しており当業者によって理解される他の任意の材料から作ることができる。
【0093】
一般に、導波路（例えば、平行板導波路）は、導波路材料内の光の反射を含む全内部反射率（ＴＩＲ）に関与している。平行板導波路の表面が汚れている場合、または導波路材料に圧力点がある場合、ＴＩＲが乱れる可能性がある。反射防止コーティングを有する右側内カバー７８は、追加の保護層を提供する。右側内カバー７８に汚れがある場合、導波路アセンブリ８９が直接汚れる場合ほどＴＩＲに影響を与えない。これにより、ガスケット９８を介して導波路アセンブリ８９に圧力を加えることもできる。ガスケット９８は、ごみ、湿気、および他の不要な粒子が光路に入り、拡張現実ディスプレイシステム１００の画像を劣化させないように、環境シールの作成を助ける。ガスケット９８は、環境シールを維持しながらのフレーム１０の屈曲を可能にする。
【0094】
投射ディスプレイデバイス
【0095】
図１２～１４に示すように、拡張現実ディスプレイ装置１００の投射ディスプレイデバイス７０は、プロジェクタ取付フレーム１１２、プロジェクタ１１４、アライメントピン１１６、およびアライメント穴１１８を含むことができる。プロジェクタ１１４は、Vuzix Cobra 2プロジェクタまたは意図された目的に適しており当業者によって理解される任意の他のプロジェクタであってもよい。アライメント穴１１８は、プロジェクタ１１４をプロジェクタ取付フレーム１１２に位置決めするために、アライメントピン１１６を受け入れるようになっている。
【0096】
投射ディスプレイデバイス７０は、この投射ディスプレイデバイス７０を導波路スタックモジュール８０に接続するディスプレイ接続モジュール１１０をさらに含むことができる。ディスプレイ接続モジュール１１０は、投射ディスプレイデバイス７０を導波路スタックモジュール８０に接続することができる光学接続モジュールとすることができる。一実施形態では、ディスプレイ接続モジュール１１０は、プリズムアセンブリとすることができる。プリズムアセンブリは、投影ディスプレイシステム７０を導波路スタックモジュール８０に光学的に接続することができる。プリズムアセンブリはまた、投射ディスプレイシステム７０からの光の方向を変え、これにより、光が導波路スタックモジュール８０の平行板導波路のインカップリング回折格子に当たった時に、光が正しいインカップリング角を有することを保証する。
【0097】
プロジェクタ取付フレーム１１２は、ディスプレイ接続モジュール１１０およびプロジェクタ１１４をプロジェクタ取付フレーム１１２にアライメントさせるために、プリズムアライメントエッジ１２０とプロジェクタアライメントエッジ１２２を含むことができる。プロジェクタ１１４は、プロジェクタ取付フレーム１１２のプロジェクタアライメントエッジ１２２にぴたっと着座することができる。プロジェクタ取付フレーム１１２はまた、プロジェクタ・フレームアライナ１２４を含むことができる。
【0098】
光学アセンブリと位置合わせ
【0099】
図１５～図１７に示されるように、拡張現実ディスプレイシステム１００のフレーム１０は、拡張現実ディスプレイシステム１００内の許容誤差の積み重ねを低減するために、プロジェクタ・導波路・フレームアライナ１２６を含むことができる。このアライナ１２６は、投射ディスプレイデバイス７０および導波路スタックモジュール８０のための基準面となる。導波路・フレームアライナ８７およびプロジェクタ・フレームアライナ１２４は、プロジェクタ・導波路・フレームアライナ１２６に当接して、拡張現実ディスプレイシステム１００における全体の許容誤差の積み重ねを低減することができる。
【0100】
ヒンジシステム
【0101】
図１８～図２４に示されるように、拡張現実ディスプレイシステム１００はまた、ヒンジシステム２００を含むことができる。ヒンジシステム２００は、可撓性ケーブル２１０、ヒンジ２２０、ヒンジハウジング２３０、およびヒンジピン２４０を含むことができる。可撓性眼鏡のヒンジシステムを設計する場合、多くの課題がある。その課題には、眼鏡のテンプル部に適合するほど小さく、利用者からの酷使に耐えるのに十分な強度を維持しながら、可撓性電子回路を通過できるヒンジシステムが含まれる。
【0102】
拡張現実ディスプレイシステム１００のヒンジシステム２００は、その設計によって上記課題を克服し、可撓性を維持し十分な強度を有しながら、眼鏡に収まるほど十分に小さい。ヒンジシステム２００のヒンジ２２０は、一対の金属射出成形品からなるヒンジピースを含むことができ、各ヒンジピースは、拡張現実ディスプレイシステム１００のフレーム１０にインサート成形されている。これにより、ヒンジ２２０をフレーム１０内で十分に小さくすることができ、拡張現実ディスプレイシステム１００に必要な強度を提供することもできる。
【0103】
ヒンジ２２０の形状は、可撓性ケーブル２１０がヒンジ２２０を通過できるようにする一方で、可撓性ケーブル２１０およびフレーム１０の右後部３４及び／又は左後部３６が、第１の位置から第２の位置へと回転する間、可撓性ケーブル２１０を覆って保護することができるという点で独特である。ヒンジ２２０は、ヒンジピン２４０によって回動可能に接続され、回転可能なままで維持できる内側ヒンジ部２２２と外側ヒンジ部２２４を含むことができる。ヒンジ２２０の内側ヒンジ部２２２および外側ヒンジ部２２４の形状は、内側ヒンジ部２２２および外側ヒンジ部２２４が互いに重なり合うことを可能にする（例えば、内側ヒンジ部２２２が保護タブ２２６を含み、外側ヒンジ部２２４が保護タブ受部２２８を含む）とともに、ヒンジピン２４０を中心に回動可能でありながら、可撓性ケーブル２１０を覆い隠すように係合することを可能にする。
【0104】
図２３では、ヒンジ２２０が第１の位置で示されている。この第１位置では内側ヒンジ部２２２と外側ヒンジ部２２４はしっかりした係止位置（ソリッドストップ位置；solid stop position）を形成することができる。外側ヒンジ部２２４は外側係止タブ２３２を含み、内側ヒンジ部２２２は内側係止タブ２３４を含むことができる。第１の位置では、ヒンジ２２０の内側ヒンジ部分２２２および外側ヒンジ部分２２４は、フレーム１０と一直線になるように互いに実質的に平行になる。第１の位置では、拡張現実ディスプレイシステム１００は、「開いた」位置にある。ヒンジ２２０の一部は環境に露出しており、ヒンジ２２０に、配置及び／又は位置合わせのために押し付けられるフレーム１０の堅固な壁を提供することができる。
【0105】
可撓性ケーブル２１０は、ヒンジシステム２００の結合位置でヒンジ２２０によって覆うことができる。可撓性ケーブル２１０はまた、フレーム１０とヒンジハウジング２３０により、いずれかの側で支持することができる。拡張現実ディスプレイシステム１００のフレーム１０とヒンジハウジング２３０は、ヒンジピン２４０に回動可能に接続してもよい。
【0106】
図２４では、ヒンジシステム２００が第２の位置で示されている。ヒンジシステム２００の第２の位置は、折り曲げ位置または傾斜位置である。可撓性ケーブル２１０は、左後部３６からヒンジピン２４０の軸線の近くのギャップを通過し、ヒンジピン２４０の周りを曲がり、拡張現実ディスプレイシステム１００の左側テンプル部３２に入る。可撓性ケーブル２１０はまた、拡張現実ディスプレイシステム１００の左側回路基板６２に取り付けることができる。拡張現実ディスプレイシステム１００の左側回路基板６２は、左側テンプル部３２に配置されている。拡張現実ディスプレイシステム１００の右側回路基板６４は、右側テンプル部３０に配置されている。フレーム１０、ヒンジ２２０、およびヒンジハウジング２３０は、可撓性ケーブル２１０を封入し、可撓性ケーブル２１０が環境に露出するのを防ぐことができる。
【0107】
【0108】
ソフトウェア機能
【0109】
拡張現実ディスプレイシステム１００はまた、利用者がアプリケーションを開始したり起動したりせずに、ライブデータを含むアプリケーションの情報を表示することができる。
【0110】
図６Ａおよび図６Ｂに示すように、拡張現実ディスプレイシステム１００の投射ディスプレイデバイス７０と導波路スタックモジュール８０は、「レール（rail）」内のアイコンがアクティブアイコン位置にフォーカス／選択されている間、アプリケーションのライブビューを自動的に利用者に提供することができる。拡張現実ディスプレイシステム１００の「レール」は、アイコンのビューを提供し得る画像の一部とすることができる（例えば、アイコンは、垂直または水平の列にすることができる）。アイコンがアクティブアイコン位置にある場合、アプリケーションのウィジェットは、表示された画面（ホーム画面など）のウィジェット領域に自動的に表示され、アプリケーションで利用できる読み取り専用の情報を提供することができる。
【0111】
拡張現実ディスプレイシステム１００は、フレーム１０内に配置される少なくとも１つの誘導充電コイル回路（図示せず）をさらに含むことができる。誘導充電コイル回路は、左側回路基板６２および少なくとも１つのバッテリ（例えば、右側リアバッテリー５０）に電気的に接続することができる。誘導充電コイル回路は、拡張現実ディスプレイシステム１００の１つ以上のバッテリーを充電するために使用することができる。誘導充電コイル回路は、右目シースルー部２０及び／又は左目シースルー部２２の内周に巻き付けられる導電性材料のいくつかのループを含むことができる。誘導充電コイル回路は、右側テンプル部３０、左側テンプル部３２、右後部３４、および左後部３６の少なくとも１つの中に配置することもできる。
【0112】
本開示は、拡張現実ディスプレイシステム１００の実施形態を参照して説明されている。拡張現実ディスプレイシステム１００の構成要素の位置は、左側Ｌから右側Ｒへ、および右側Ｒから左側Ｌへと、拡張現実ディスプレイシステム１００の構成要素の形状の適切な鏡像変換を伴って、交換可能であることが理解される。例えば、本開示では、投射ディスプレイデバイス７０および導波路スタックモジュール８０を、拡張現実ディスプレイシステム１００の右側にあるものとして説明している。しかし、本開示はまた、利用者の左目にバーチャル像を提供するために、投射ディスプレイデバイス７０と導波路スタックモジュール８０および再配向を達成するために必要な他の対応する構成要素が、拡張現実ディスプレイシステム１００の左側にあることも想定している。
【0113】
人工知能システム
【0114】
人工知能システムを、拡張現実ディスプレイシステム１００に利用してもよい。人工知能システムは、顔認識、ゲームプレイ（例えば、囲碁、チェスなど）、医療診断、ロボット操作、および実世界の対象との相互作用に利用できる。さらに、ディープラーニングシステム（人工知能の一種）は、利用者のオンライン交流（オンラインストアからのショッピング、ソーシャルメディアウエブサイト、電子メールシステムなどを含む）から収集されたデータに基づいて利用者の好みや行動を分析することができる。
【0115】
複数の人工知能システムとの接続と相互作用を同時に管理するように構成されたヘッドマウントディスプレイの拡張現実システムは、利用者に利益をもたらす。このようなシステムは、利用者の環境、行動、健康および良好な生活状況を監視し、利用者の情報、認識および安全を強化するために利用者にフィードバックを提供する。これらのシステムは、利用者の行動や好みを監視および学習し、学習した利用者の好みや行動に基づいて応答することにより、利用者に個別の支援を提供できる。
【0116】
拡張現実ディスプレイシステム１００は、回路基板６２及び／又は回路基板６４に配置される追加のセンサーを含むことができる。追加のセンサーとして、近接センサー（着用者に向かって内側、及び／又は着用者が居る環境に向かって外側）、周囲光輝度センサー、音声マイク、温度センサー、湿度センサー、ＧＰＳ位置要素、磁力計、加速度計、頭部方向センサー（例：傾斜と先端の方向）、着用者の視線方向センサーなどがあるが、これらに限定されない。センサーからのデータは、プロセッサ５４およびこのプロセッサ５４で実行されるアプリケーションによって収集することができる。データは編成されフォーマット化され、拡張現実ディスプレイシステム１００の着用者の視野内の現実世界のシーンと重なるバーチャル像の一部として、着用者に表示される。フォーマット化しバーチャル像の一部として表示するために、追加の情報およびデータ（例えば、着用者の視線のコンパス方向、ＧＰＳ位置、環境温度、着用者の視野内の対象物の名称など）を、他の外部デバイスやネットワークとの通信プロトコル（例えば ブルートゥース（Bluetooth；登録商標）、Wi-Fi、その他の通信プロトコル）を介して取得することができる。
【0117】
図２６Ａは、図１の拡張現実ディスプレイシステム１００の画像取得モードの図である。カメラアセンブリ１２とプロセッサ５４は、画像を取り込むための異なる動作モードを提供することができる。１つの動作モードでは、カメラアセンブリ１２は、図２６Ａに示されるようにシーンの静止画像を取得することができる。別の動作モードでは、画像の連続ストリームを、カメラアセンブリ１２およびプロセッサ５４によって取得することができる。さらに別の動作モードでは、プロセッサ５４は、データを着用者の２つの目のうちの少なくとも１つに現実世界のシーンに重ねられたバーチャル像として表示することができる。この情報としては、着用者の視線方向、環境温度、ＧＰＳ位置などを含むセンサーからのデータは勿論のこと、着用者の視野に現れる対象物の対象物識別データなどがある。カメラアセンブリ１２およびプロセッサ５４は、カメラアセンブリ１２によって取得された現実世界の画像と、着用者にバーチャル像として表示されたデータとを組み合わせて、将来の検索及び／又は他のデバイスへの送信のために記憶される最終的な取得画像を得ることができる。
【0118】
図２６Ｂは、現実世界のカメラ取得画像を示す。このカメラ取得画像は、最終的な取得画像を形成するために重ねられたデータのバーチャル像を含んでいる。別のモードでは、カメラアセンブリ１２およびプロセッサ５４は、連続的な動画取込み（video capture）を提供するように動作することができる。この動画取込みは、カメラアセンブリ１２の視野内の現実世界の画像を、取得された現実世界の画像に重ね合わされるバーチャル像と組み合わせて、最終的な取得動画を形成する。
【0119】
図２７は、拡張現実（ＡＲ）ニアアイディスプレイ装置３５２を含むヘッドマウントディスプレイ拡張現実（ＨＭＤ ＡＲ）のニアアイディスプレイシステム３５０を示す。ＡＲニアアイディスプレイ装置３５２は、ＡＲニアアイディスプレイ装置３５２内のハードウェア及び／又はソフトウェアで実装される少なくとも１つの内部人工知能（ＡＩ）システムを含むことができる。少なくとも１つの内部ＡＩシステムは、部分的にまたは全体的に、エキスパートシステム、機械学習システム、深層学習（ディープラーニング）システム、ニューラルネットワークベースのシステム、及び／又は意図された目的に適しており当業者によって理解される他のタイプのシステムのうちの１つまたは複数を含み、及び／又は、これらシステムの１つまたは複数と組み合わすことができる。ＡＲニアアイディスプレイ装置３５２は、ＧＰＳセンサー、頭部方向センサー及び／又は視線方向センサーなどのセンサーを含むとともに、Bluetooth、ＷｉＦｉ及び /又は他の通信プロトコルを含むネットワークおよびデバイス間通信モジュールを含むことができる。さらに、ＡＲニアアイディスプレイ装置３５２は、少なくとも１つのカメラおよび少なくとも１つの音声マイクを含むことができる。ＡＲニアアイディスプレイ装置３５２は、着用者の視野の少なくとも一部の現実世界のビューに重ねられるバーチャル像を着用者に伝えるためのディスプレイをさらに含むことができる。少なくとも１つの内部ＡＩシステムは、ＡＲニアアイディスプレイ装置３５２における少なくとも１つの内部ＡＩシステムの一部と、１つ以上の通信プロトコルを利用してネットワークを介して外部デバイスとアクセス可能な少なくとも１つの内部ＡＩシステムの一部と、を有するように分配されていてもよい。後者は、例えば、クラウドサービスに配置される少なくとも１つの内部ＡＩシステムに関連するデータベースである。このデータベースへの音声コマンドＡＩインターフェースはＡＲニアアイディスプレイ装置３５２に配置される。
【0120】
少なくとも１つの内部ＡＩシステムは、ＡＲニアアイディスプレイ装置３５２の少なくとも１つの音声マイクを利用する自然言語処理システムとすることができる。自然言語処理システムは、ＡＲニアアイディスプレイ装置３５２の着用者が音声コマンドを発することによって、ＡＲニアアイディスプレイ装置３５２の１つまたは複数の動作パラメータを変更するコマンドを開始することを可能にする。
【0121】
ＡＲニアアイディスプレイ装置３５２は、Bluetooth及び／又はＷｉＦｉ通信モジュールを利用して、外部ネットワーク、インターネット、クラウドアプリケーションなどと通信することができる。ＡＲニアアイディスプレイ装置３５２の着用者は、ＡＩシステムの内部の自然言語処理システムを介して、外部ＡＩアプリケーションと通信することができる。着用者は、利用者の活動を強化及び／又は支援するために、内部および外部の両方のＡＩシステムと交流することができる。ＧＰＳセンサーと画像取り込みを利用するとともに、対象物識別のために画像を処理する内部および外部ＡＩシステムを利用することにより、利用者は、着用者の環境にある対象物例えば修理が必要な装置などを識別することができる。内部及び／又は外部のＡＩシステムと通信することにより、着用者が破損した装置を修理するのを助けることができる。例えば、装置の場所と装置の画像に部分的に基づいて装置を識別した後、少なくとも1つの内部ＡＩシステムが装置の製造元とモデルを決定し、装置についての追加のデータのために、他のネットワーク、データベース、ＡＩシステムへの問い合わせを開始する。追加のデータとして、例えば、装置が最後の保守サービスを受けたのはいつか、このタイプの装置で知られる一般的な故障、装置の現在の問題を解消する方法などがある。内部および外部のＡＩシステムは、着用者と対話し、装置の障害と装置の修正方法を決定するための指示を着用者に提供する。ＡＲニアアイディスプレイ装置３５２からの音声データとビジュアルデータの両方を１つまたは複数のＡＩシステムに送信して、装置の修正を支援することができる。
【0122】
図２８は、少なくとも１つのＡＲスマートグラス４１０と少なくとも１つのＡＩシステム４３０を含むＨＭＤのＡＲディスプレイシステム４００を示す。少なくとも１つのＡＩシステム４３０は、自然の（例えば、人間の）知能、推論、１つ以上のトピックの知識、計画、学習、自然言語処理（例えば、記述の言語及び／又は音声言語）、空間認識、顔認識などのうちの１つ以上を処理及び／又は表示できるハードウェア及び／又はソフトウェアを含むことができる。ＡＲスマートグラス４１０は、利用者及び／又は環境の相互作用の少なくとも２つの異なるカテゴリ、すなわち、１）データ取得と２）フィードバックを含むことができる。
【0123】
データ取得は以下を含むことができる
１）１つ以上のタッチパッド及び／又はタッチボタンからのタッチ取得。
２）１つ以上のカメラからの画像取得。
３）着用者の声及び／又は環境からの音を捕捉するために用いられる音声取得。
４）ＡＲスマートグラス４１０と他のＷｉＦｉ装置及び／又はネットワークとの間の通信を可能にするＷｉＦｉデータ取得。
５）ＡＲスマートグラス４１０と他のブルートゥース装置及び／又はネットワークとの間の通信を可能にするブルートゥースデータ取得。
６）ＧＰＳ、磁力計、加速度計、気圧計、温度センサー、心拍数センサー、視線方向センサー、方位センサー、モーションセンサーなどのセンサーを含むその他のデータ取得。
１）１つ以上のタッチパッド及び／又はタッチボタンからのタッチ取得。
２）１つ以上のカメラからの画像取得。
３）着用者の声及び／又は環境からの音を捕捉するために用いられる音声取得。
４）ＡＲスマートグラス４１０と他のＷｉＦｉ装置及び／又はネットワークとの間の通信を可能にするＷｉＦｉデータ取得。
５）ＡＲスマートグラス４１０と他のブルートゥース装置及び／又はネットワークとの間の通信を可能にするブルートゥースデータ取得。
６）ＧＰＳ、磁力計、加速度計、気圧計、温度センサー、心拍数センサー、視線方向センサー、方位センサー、モーションセンサーなどのセンサーを含むその他のデータ取得。
【0124】
ＡＲスマートグラス４１０の着用者へのフィードバックは、触覚、音声、視覚、及び／又は嗅覚のいずれか１つまたはそれらの組み合わせを含むことができる。
【0125】
ＡＲディスプレイシステム４００は、コーディネーションシステム４２０をさらに含むことができる。コーディネーションシステム４２０は、少なくとも１つのＡＩシステム４３０の一部とすることができ、少なくとも１つのＡＩシステム４３０にコーディネートおよびインターフェースプロトコルを提供することができる。コーディネーションシステム４２０は、他のネットワークシステム、例えば、モノのインターネット（ＩｏＴ）４３２へのコーディネートおよびインターフェースも提供することができる。ＩｏＴ４３２は、物理的対象物に組み込まれた演算装置、ソフトウェア、センサー、及び／又はアクチュエーターがデータを送受信できるようにインターネットを介して接続された相互接続ネットワークである。コーディネーションシステム４２０は、ＡＲスマートグラス４１０のハードウェア及び／又はソフトウェア内に組み込まれ又は搭載されていてもよい。コーディネーションシステム４２０は、ブルートゥース及び／又はＷｉＦｉ接続を介してＡＲスマートグラス４１０によってアクセス可能なクラウドコンピューティングアプリケーションであってもよい。コーディネーションシステム４２０は、スマートフォン４１２に部分的に組み込まれ又は搭載されていてもよい。スマートフォン４１２は、ブルートゥース、ＷｉＦｉ、他の無線通信プロトコルを介して、ＡＲスマートグラス４１０と通信してもよく、及び／又は少なくとも１つのワイヤケーブルを介してＡＲスマートグラス４１０に物理的に接続されていてもよい。コーディネーションシステム４２０は、ハードウェア及び／又はソフトウェアを含むことができる。コーディネーションシステム４２０は、ＡＲスマートグラス４１０、スマートフォン４１２、及び／又はクラウドアプリケーションに部分的に分散してもよい。
【0126】
ＡＲスマートグラス４１０は、静止画像及び／又は画像のストリーム（例えば、ビデオ）をコーディネーションシステム４２０に提供する画像取得のための少なくとも１つのカメラを含むことができる。コーディネーションシステム４２０は、顔認識、現実空間の対象物識別などのために画像を処理することができる。コーディネーションシステム４２０は、画像を少なくとも１つのＡＩシステム４３０に渡すことにより、画像及び／又はビデオの処理を開始することができる。一例では、コーディネーションシステム４２０は、処理を開始し、画像を、顔認識のために少なくとも１つのＡＩシステム４３０のＡＩシステムに画像を渡し、対象物識別のために空間認識ＡＩに渡し、そして文字認識及び／又は言語翻訳のために言語処理ＡＩに渡すことができる。そのような、場合によっては複数のＡＩ処理から得られる情報は、コーディネーションシステム４２０によって受信される。コーディネーションシステム４２０は、受信された情報を、１つまたは複数の適切な形式（例えば、触覚、音声、視覚、及び／又は嗅覚）にコーディネートしてＡＲスマートグラス４１０の着用者に提示することができる。
【0127】
ＡＲディスプレイシステム４００は、少なくとも１つのＡＩシステム４３０の１つである個人嗜好ＡＩシステムを含むことができる。このＡＩシステムは、着用者の習慣及び／又は嗜好を学習するのに適している。そのような学習のデータは、ＡＲスマートグラス４１０の着用者の利用の履歴データ、FacebookやTwitterなどのソーシャルメディアＷｅｂサイトの利用、アマゾンなどのオンラインショッピングＷｅｂサイト、Linkedlnなどの専門ウェブサイトの少なくとも１つから取得できる。さらに、個人嗜好ＡＩシステムは、着用者の好みや習慣を学習するのに適したデータを、時計、カレンダー、ＧＰＳセンサー、音声コマンドなどの複数のセンサーやデータソースから、受信することができる。着用者の習慣を学習することにより、例えば、着用者がいつ仕事に行くか、旅行中に着用者がどのタイプの音楽を聴くことを好むかを学習することによって、個人嗜好ＡＩシステムは、同様の音楽を着用者に提供し、ニュース及び／又は広告をフィルタリングして利用者が興味を持っている可能性のある情報を提示する。これらは、行動および嗜好のデータに基づいている。学習のための他のデータは、ＡＲスマートグラス４１０の着用者を特定しない人々の行動を監視する他のＡＩシステムから取得することができる。人間の行動は、部分的には、多数の人々が関わる人間の行動データ（ショッピングデータ、オンラインソーシャルメディアデータ、投票記録、調査など）の統計や他の分析によって学習できる。このようなデータの利用は、個人嗜好ＡＩシステムの一部とすることができる。
【0128】
少なくとも１つのＡＩシステム４３０のうちの別のＡＩシステム、または少なくとも１つのＡＩシステム４３０のうちの１つ以上のＡＩシステムの組み合わせは、画像処理、空間認識および対象物認識を含むことができる。少なくとも１つのＡＩシステム４３０のうちのさらに別のＡＩシステムは、着用者及び／又は他の人々の手のジェスチャーを認識するのに適している。少なくとも１つのＡＩシステム４３０の別のＡＩシステムは、会話認識に適している。少なくとも１つのＡＩシステム４３０のさらに別のＡＩシステムは、翻訳に適している。少なくとも１つのＡＩシステム４３０の別のＡＩシステムは、植物学に適している。コーディネーションシステム４２０は、例えば、特定の木を指しているときに着用者によって提起された「その木の名前は」と言う質問に答えるよう、静的または動的に構成されている。空間認識ＡＩを利用して、「その木はどれくらい遠くにありますか 」または「その木の高さは」といった質問が着用者により提起され、ＡＲスマートグラス４１０を介して回答することができる。「動的に」とは、コーディネーションシステム４２０が、少なくとも１つのＡＩシステム４３０のうち、着用者によって提起された質問を理解して答えるのに必要な全てのＡＩシステムと即時に又は一定の通信を行なわず、少なくとも１つのＡＩシステム４３０のうち、質問に答えるのに適したＡＩシステムとの通信を開始する知識と能力を有することとして、定義することができる。そして、質問への回答が完了すると、少なくとも1つのＡＩシステム４３０の特定のＡＩシステムと通信する必要がなくなる。次に、コーディネーションシステム４２０は、少なくとも１つのＡＩシステム４３０の特定のＡＩシステムとの通信を停止ことができる。
【0129】
少なくとも１つのＡＩシステム４３０の手ジェスチャーＡＩシステムを利用して、手話ジェスチャー（例えば、アメリカの手話）を認識することもできる。手ジェスチャーＡＩシステムを利用して、コーディネーションシステム４２０へのコマンドまたはＡＲスマートグラス４１０の他の構成要素、例えば、タッチパッド７２へのコマンドを認識することができる。
【0130】
少なくとも１つのＡＩシステム４３０のうちのＡＩシステムの１つは、着用者がいる環境を知る空間認識ＡＩとすることができる。空間認識ＡＩは、着用者のＧＰＳ位置を取得するためのＧＰＳ位置デバイスを含むことができる。ＡＲスマートグラス４１０のブルートゥースセンサーは、着用者の身近な環境におけるBluetoothビーコンを特定するために使用することができる。Bluetoothビーコンは、識別情報を送信するハードウェア送信機を含む。したがって、たとえば、企業は、企業を識別するためにBluetoothビーコンを設置することができる。ＡＲスマートグラス４１０の着用者がBluetoothビーコンの範囲に入ると、コーディネーションシステム４２０は、Bluetoothビーコンに警告を受け、少なくとも１つのＡＩシステム４３０の他のＡＩシステムへのコマンドを開始して、追加の情報とフォーマットを取得し、フォーマットされた情報を着用者に提示することができる。例えば、コーディネーションシステム４２０は、特定のBluetoothビーコンに関連する企業についてのさらなる情報について、ＩｏＴ、他のネットワーク、及び／又はデータベースに問い合わせることができる。コーディネーションシステム４２０はさらに、個人嗜好ＡＩシステムに問い合わせて、着用者が企業に興味があるかどうかを判断することができる。着用者が興味を持ちそうな場合、コーディネーションシステム４２０は、空間認識ＡＩに企業までの距離および方向を問い合わせることができる。次に、コーディネーションシステム４２０は、着用者に、企業が着用者の現在の場所にどれだけ近いか、企業にどのようにして到達するか、及び／又は企業によって提供されるアイテムの短いリスト（例えば、視覚または音声による）を、警告する。さらに、コーディネーションシステム４２０は、インターネットにさらに問い合わせて、企業の営業時間および可能性のある特別販売情報を決定することができる。
【0131】
少なくとも１つのＡＩシステム４３０のうちの位置認識ＡＩは、気象条件、予想される気象条件、及び／又は警報（例えば、竜巻警報）を着用者に提供することができる。さらに、位置認識ＡＩは、ソーシャルメディアや電子メールを介して交流している知人、及び／又は直接会っている知人が近くにいると判断し、知人が着用者に近いことを着用者に警告することもできる。次に、着用者は、面会を要求することにより、知人と連絡を取るようにコーディネーションシステム４２０に指示することができる。さらに、コーディネーションシステム４２０は、知人に指示を与えることができる。あるいは、着用者は、知人に関するさらなる情報を遮断するようにコーディネーションシステム４２０に命令することができる。
【0132】
コーディネーションシステム４２０は、要求された情報が、以前に別の人によって取得されておりインターネットまたは他の何らかのアクセス可能なネットワークにおいて利用可能であると判断することができる。そのような場合、コーディネーションシステム４２０は必要な情報を算定するために少なくとも１つのＡＩシステム４３０との通信を開始するのではなく、利用可能な情報を用いることを選択できる。
【0133】
コーディネーションシステム４２０は、着用者の直接の環境のマッピングを開始することができ、そのような環境情報を他の利用者が利用できるようにしてもよい。このようにして着用者は、着用者が移動した特定の環境の最新データを、同様のＡＲディスプレイシステムの他の着用者及び／又は他のＡＩシステムに、提供することができる。
【0134】
少なくとも１つのＡＩシステム４３０の行動ＡＩシステムは、着用者が着用者自身の行動を修正するのを支援することもできる。たとえば、行動ＡＩシステムは、着用者が1日のうちにどれだけの運動を行うかを監視し、健康ＡＩの推奨に従って着用者のために追加の運動を計画することができる。さらに、行動ＡＩシステムは、少なくとも１つのＡＩシステム４３０の食事／栄養ＡＩシステムと結合して、着用者がすでに食べた以前の食事に基づき食事を推奨することができる。行動ＡＩシステムは、着用者に代替を提案することにより、「喫煙」などの「悪い」習慣の修正において着用者を支援することができる。
【0135】
少なくとも１つのＡＩシステム４３０の空間認識ＡＩシステムは、着用者の環境における危険、例えば着用者が通りを横断する時に近づいてくる車を、識別し着用者に通知するのを支援することができる。さらに、コーディネーションシステム４２０は、ＡＲスマートグラス４１０のセンサー及び／又はカメラアセンブリ１２からのデータをコーディネートすることができる。着用者の環境における化学的危険、環境中の危険な物（たとえば、野放しの動物、有毒なヘビやクモなど）、地面の穴、および環境の廃棄物を含む危険について着用者の環境を監視するために、コーディネーションシステム４２０はさらに、ＡＲスマートグラス４１０からのデータを、少なくとも１つのＡＩシステム４３０にデータを渡すことにより、着用者の環境における他のセンサーとコーディネートすることができる。
【0136】
現在の好ましい実施形態を特に参照して本発明を詳細に説明してきたが、本発明の精神および範囲内で変更および修正を行うことができることが理解されよう。したがって、現在開示されている実施形態は、すべての点で例示的であり、限定的ではないと見なされる。本発明の範囲は、添付の特許請求の範囲によって示され、その均等物の意味および範囲内にあるすべての変更は、その中に含まれることが意図されている。
【0137】
明確にするため別個の実施形態で説明されている本発明の特徴は、単一の実施形態に組み合わせて提供することもできることは理解できるであろう。逆に、簡潔にするために単一の実施形態で説明されている本発明の様々な特徴は、別々にまたは任意の適切な組み合わせで提供することもできる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図27】
【図28】