IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オステンド・テクノロジーズ・インコーポレーテッドの特許一覧

特許7198663デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ
<>
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図1
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図2
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図3A
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図3B
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図3C
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図4
  • 特許-デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-21
(45)【発行日】2023-01-04
(54)【発明の名称】デュアルモード拡張/仮想現実(AR/VR)ニアアイウェアラブルディスプレイ
(51)【国際特許分類】
   G02B 27/02 20060101AFI20221222BHJP
   H04N 5/64 20060101ALI20221222BHJP
【FI】
G02B27/02 Z
H04N5/64 511A
【請求項の数】 25
(21)【出願番号】P 2018519398
(86)(22)【出願日】2016-10-17
(65)【公表番号】
(43)【公表日】2018-11-15
(86)【国際出願番号】 US2016057418
(87)【国際公開番号】W WO2017066802
(87)【国際公開日】2017-04-20
【審査請求日】2019-10-17
(31)【優先権主張番号】62/242,963
(32)【優先日】2015-10-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/294,447
(32)【優先日】2016-10-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507349503
【氏名又は名称】オステンド・テクノロジーズ・インコーポレーテッド
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(72)【発明者】
【氏名】エル-ゴロウリー,フセイン・エス
(72)【発明者】
【氏名】チュアン,チー-リ
(72)【発明者】
【氏名】アゴスティネリ,ビアジオ
【審査官】堀部 修平
(56)【参考文献】
【文献】特開平09-185009(JP,A)
【文献】特開2001-264683(JP,A)
【文献】特開2014-142386(JP,A)
【文献】特開平09-009301(JP,A)
【文献】特表2014-511512(JP,A)
【文献】米国特許出願公開第2015/0241707(US,A1)
【文献】特開平10-319240(JP,A)
【文献】米国特許出願公開第2013/0077049(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01 - 27/02
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
湾曲または非平面表面及びプロファイルを有する光学レンズであって、
シーン側の表面と、
視認者の瞳孔の視認領域を含む視認者側の表面と、
前記視認者側の表面に配置された複数の光導波路構造であって、前記視認領域の複数の部分領域を定義する複数の各導波路層を含む、複数の光導波路構造と、
前記シーン側の表面と前記視認者側の表面との間の縁部表面と、を備えた、前記光学レンズと、
前記縁部表面に直接配置された複数の発光タイプ画像ソースであって、各発光タイプ画像ソースは、各前記光導波路構造に結合され、視認可能な画像の各部分を生成する、前記複数の発光タイプ画像ソースと、
を備える、ニアアイディスプレイ装置であって、
各光導波路構造が、生成された前記視認可能な画像の各部分を受け取り、各光導波路層を介して中継し、前記各部分は、前記視認者側の表面の前記視認領域の各前記部分領域に表示され
前記視認領域の各前記複数の部分領域を含む、前記視認者側の表面の上に配置された前記複数の光導波路構造は、前記視認可能な画像の各部分を提供するために区分的に平坦であり、前記視認可能な画像の各部分は、湾曲または非平面表面及びプロファイルを有する前記光学レンズを画定するために、タイル張りの配置で組み合わされている、
前記ニアアイディスプレイ装置。
【請求項2】
各前記発光タイプ画像ソースは、空間的、色的及び時間的にアドレス指定できる複数のピクセルを含む、請求項1に記載のニアアイディスプレイ装置。
【請求項3】
前記複数の導波路層は、前記複数の光導波路構造に受承された光が、前記光学レンズを介して前記視認領域の各部分領域へ全内部反射(TIR)されることを許容する、請求項2に記載のニアアイディスプレイ装置。
【請求項4】
前記視認可能な画像は、メモリに保存されている、又は必要に応じてオンデマンドで生成される、又はこれら両方の、より大きな画像の一部であり、
前記ニアアイディスプレイ装置を着用した前記視認者の頭の運動を感知するための複数の頭運動センサ;並びに
前記頭運動センサに応答して、各導波路層を通して視認可能な前記より大きな画像の前記一部、及び前記一部を表示する方法を、前記頭の運動を用いて制御することによって、拡張現実モードにおいて現実の画像及び拡張画像の整列を維持する、又は仮想現実モードにおいて前記複数の発光タイプ画像ソースからの前記視認可能な画像の空間的位置を固定する、処理要素
を更に備える、請求項2に記載のニアアイディスプレイ装置。
【請求項5】
前記視認者の眼と光学的に通信して前記視認者の1つ又は複数の眼のパラメータを追跡する、各前記発光タイプ画像ソースに関連付けられた画像検出センサを更に備える、請求項2に記載のニアアイディスプレイ装置。
【請求項6】
前記光学レンズの前記シーン側の表面は、第1の導電性透明薄膜層と第2の導電性透明薄膜層との間に配置された電気的に可変である光透過層を有する電気着色層を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項7】
前記可変である光透過層は、ポリマー分散液晶材料を備える、請求項6に記載のニアアイディスプレイ装置。
【請求項8】
前記第1の導電性透明薄膜層と前記第2の導電性透明薄膜層のうちの少なくとも1つは、インジウム‐スズ酸化物材料を備える、請求項6に記載のニアアイディスプレイ装置。
【請求項9】
少なくとも1つの環境光センサ;並びに
前記発光タイプ画像ソース及び前記電気着色層を制御して、前記発光タイプ画像ソースと、前記電気着色層を通して視認可能な現実の画像との間の相対輝度を制御するための、前記環境光センサに応答する処理要素
を更に備える、請求項6に記載のニアアイディスプレイ装置。
【請求項10】
前記ニアアイディスプレイ装置と音声通信するための、マイクロフォン及びスピーカを備えるオーディオインタフェースを更に備える、請求項6に記載のニアアイディスプレイ装置。
【請求項11】
前記ニアアイディスプレイ装置又は前記電気着色層の動作モードを制御するためのタッチセンサを更に備える、請求項6に記載のニアアイディスプレイ装置。
【請求項12】
前記タッチセンサは、タッチ・アンド・ドラッグセンサを含む、請求項11に記載のニアアイディスプレイ装置。
【請求項13】
前記複数の導波路層は、微小刻印切子面構造を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項14】
前記微小刻印切子面構造は、表面レリーフ光学素子を備える、請求項13に記載のニアアイディスプレイ装置。
【請求項15】
前記導波路層は、体積レリーフ回折光学素子を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項16】
前記導波路層は、回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項17】
前記導波路層は、ブレーズド回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項18】
前記導波路層は、マルチレベル回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項19】
前記導波路層は、ブラッグ回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
【請求項20】
前記ニアアイディスプレイ装置は、湾曲した外観を有する、請求項1に記載のニアアイディスプレイ装置。
【請求項21】
前記光学レンズは、第1の光学レンズであり、前記ニアアイディスプレイ装置はさらに、第2の光学レンズを備え、前記第1の光学レンズ及び前記第2の光学レンズは、テンプル組立体を含むフレーム内に取り付けられている、請求項1に記載のニアアイディスプレイ装置。
【請求項22】
ホストプロセッサ及び/又はサーバへの有線又は無線通信リンクを更に備える、請求項1に記載のニアアイディスプレイ装置。
【請求項23】
処理要素を更に備え、
前記処理要素は、前記視認可能な画像内に出現する対象物、アイコン、マーカ、またはそれらの一部の参照画像を処理要素メモリ内で追跡する、請求項1に記載のニアアイディスプレイ装置。
【請求項24】
処理要素を更に備え、
前記処理要素は、前記ニアアイディスプレイ装置に表示するべきシーンのコンテンツをフレーム毎に分析して、複数の色域原色の座標に対して色域サイズを推定し、続いて、前記視認者に表示されている前記視認可能な画像の変調時において、前記複数の色域原色を用いて、前記複数の発光タイプ画像ソースに、前記推定した前記色域サイズを合成するよう命令する、請求項1に記載のニアアイディスプレイ装置。
【請求項25】
ユーザが表示された画像を認識した時を感知して、認識及び表示された前記視認可能な画像を修正するよう構成された、処理要素を更に備える、請求項1に記載のニアアイディスプレイ装置。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、2015年10月16日出願の米国仮特許出願第62/242,963号の優先権を主張するものであり、上記仮特許出願の内容は、参照により、本出願中に完全に言及されているかのように本出願に援用される。
【技術分野】
【0002】
本発明は一般に、ウェアラブル電子装置に関し、より詳細には、デュアルモード拡張/仮想現実ニアアイ(near‐eye)ウェアラブルディスプレイに関する。
【背景技術】
【0003】
ウェアラブル光学電子装置は、集積回路のサイズ、重量及び電力(size, weight and power:SWaP)、並びにコストが縮小するに従って、一般化している。ウェアラブル光学電子装置は、多数の市販、軍事及び消費者向け用途を有する。ウェアラブル光学電子装置に関して、非平面プロファイル及び表面を有する湾曲レンズの形状を有する高解像度デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイに対する需要に対処する従来技術は存在せず、このような湾曲レンズのプロファイルは、ほとんど消費者向け及びその他の用途のみに使用され、ファッショナブルで審美的満足を与えるものであると考えられている。本明細書において開示される発明は、このようなニアアイウェアラブルディスプレイに対する需要に対処し、このようなニアアイウェアラブルディスプレイを実現可能とする。
【図面の簡単な説明】
【0004】
図1図1は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの斜視図である。
図2図2は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの上面平面図である。
図3A図3Aは、本発明の光学レンズを示す。
図3B図3Bは、図3Aのレンズの断面図である。
図3C図3Cは、図3Aのレンズ素子の上面図である。
図4図4は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイのレンズを示し、上記レンズの光導波路構造体を図示する。
図5図5は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの斜視図であり、バッテリと、ディスプレイフレームのテンプルのコネクタとを示す。
【発明を実施するための形態】
【0005】
本発明及びその様々な実施形態について、以下の好ましい実施形態の説明において記載する。これらは、後続の請求項中において、本発明の図示された実施例として提示される。このような請求項によって定義される本発明は、以下に記載される図示された実施形態より幅広いものとなり得ることを明記しておく。
【0006】
説明及び様々な図(複数の図にわたって、同様の参照符号が同様の要素を示す)に移ると、開示されているのは、限定するものではないが湾曲レンズと共に使用するための、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイである。
【0007】
本発明の第1の態様では、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイが開示されており、これは、第1の(シーン側)表面、レンズ厚さ、レンズ周縁部又は表面を備える光学レンズを備える。第1の表面は、第1の導電性透明薄膜層と第2の導電性透明薄膜層との間に配置された可変光透過層を備える、電気着色層を備える。第1及び第2の導電性透明薄膜層はそれぞれ、上記可変光透過層の光透過率を変更するよう構成された制御回路構成に結合される。1つ又は複数の光導波路構造体がレンズ厚さ内に設けられ、これは、少なくとも1つの入力画像アパーチャ及び少なくとも1つの出口アパーチャを備えてよく、上記出口アパーチャは、複数の出口アパーチャ部分領域に分割されていてよい。電子ディスプレイ素子等の1つ又は複数の画像ソースが、それぞれの入力画像アパーチャに光学的に結合される。上記画像ソースは、レンズの周縁(即ち縁部又は側部)表面上に配置してよく、また、画像ソースから表示された光学画像を、入力画像アパーチャに直接、そしてこれに続いて出口アパーチャに、又は複数の入力画像アパーチャから複数の出口アパーチャ部分領域それぞれに、直接光学的に結合させるよう構成してよい。出口アパーチャの、又は出口アパーチャ部分領域の光学特性は好ましくは、各入力画像アパーチャの所定の面積及び所定の発散角度に適合するよう構成される。
【0008】
可変光透過層がポリマー分散液晶(polymer dispersed liquid crystal:PDLC)材料からなる、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。レンズ素子内に配置された複数の光導波路構造体がそれぞれ独立して「区分的に平坦(piecewise flat)」である、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。
【0009】
区分的に平坦である複数の光導波路構造体が、複数の画像部分を提供し、これら複数の画像部分をタイル張りとする配置でまとめて組み合わせることによって、湾曲又は非平面表面及びプロファイルを有する光学レンズを画定する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。複数の光導波路構造体がそれぞれ、結合された画像を、その入力画像アパーチャからその出口アパーチャ又は出口アパーチャ部分領域へと再配向するよう構成された、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。区分的に平坦である光導波路構造体の使用の代替例も開示される。
【0010】
デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの出力アイボックスを集合的に画定する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。複数の光導波路構造体がそれぞれ、専用の入力画像アパーチャ及び出口アパーチャ部分領域を有し、これらは専用の独立した画像ソースに結合される、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。画像ソースが、独立して空間的、色的及び時間的にアドレス指定できる複数のピクセルからなる、発光マイクロスケールピクセルアレイを備える、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。
【0011】
複数の光導波路構造体がそれぞれ、視認者に対して表示するための集合画像の一部分を表示するよう構成された専用の入力画像アパーチャに結合された専用の画像ソースを有する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。複数の光導波路構造体がそれぞれ、別個の画像ソースから結合されたある画像部分を、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの対応する出口アパーチャ部分領域へと中継して拡大するよう光学的に構成される、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。
【0012】
導波路構造体が、視認者の1つ又は複数の眼の位置を追跡するよう構成された画像検出センサと光学的又は電気的に通信する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。少なくとも1つの薄膜層がインジウム‐スズ酸化物材料からなるデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイは更に、視認者が表示された画像を認識した時を感知して、認識及び表示された画像を所定の画像データで補足若しくは修正する、又は視認者の視野内で表示されたシーンの一部若しくは全体を修正若しくは補足するよう構成された、処理回路構成を備えてよい。
【0013】
光導波路構造体が、導波路層等の微小刻印切子面構造(micro‐imprinted facet structure)を含む、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。光導波路層は、微小刻印切子面構造を備えてよい。光導波路層は、表面レリーフ光学素子又は体積レリーフ回折格子導波路を備えてよい。微小刻印切子面構造は、回折格子導波路、ブレーズド回折格子導波路、マルチレベル回折格子導波路又はブラッグ回折格子導波路を備えてよい。
【0014】
例えば図1に示すように、本発明のニアアイウェアラブルディスプレイ1は好ましくは、少なくとも1つの光学レンズ5を備える従来の外観の眼鏡フレーム‐レンズ組立体として構成される。レンズ5は、非平面表面又は区分的平面表面を備えてよく、また拡張現実(AR)、仮想現実(VR)又はハイブリッドAR/VRモードで動作するよう構成してよい。
【0015】
図2、3A~C、4に移ると、レンズ5は、レンズ厚さ5’及びレンズ周縁又は縁部表面5’’からなる。図3Bのレンズ5の断面図に詳細に示されているように、ある好ましい実施形態では、本開示のデュアルモードAR/VRニアアイウェアラブルディスプレイ1のレンズ5の前側のシーン側表面10は、電気着色層15を備えてよい。電気着色層15は、レンズ5を通した透過率(又は着色レベル)を電気的に制御するよう設計された、複数の薄膜層20を備えてよい。複数の薄膜層20は、薄膜層20の間に挟まれた、ポリマー分散液晶(PDLC)材料又は同等の好適な材料といった可変光透過材料の、少なくとも1つの可変光透過層25を備えてよい。薄膜層20は、インジウム‐スズ酸化物(ITO)といった、導電性の、光学的に透明な材料を含んでよい。薄膜層20は、レンズ5の着色又は透過率レベルを電気的に変化させる(又は制御する)ために、可変光透過層25を横断する電気信号又は電位の結合を可能とするよう構成される。可変光透過層25の対向する側部の薄膜層20は好ましくは電気的に絶縁され、各レンズ5の有効透過率の複数レベルの又は連続可変制御を可能とするために適切な制御回路構成に別個に電気的に結合され、透明又は無色から非透明又は暗色へと変化できる。
【0016】
ある好ましい実施形態では、レンズ5の電気着色層15は、透明な導電性ITO薄膜層20を通して、視認者によって定義された複数の電圧レベルの電気信号の結合を可能とすることによって、可変光透過PDLC層25の結晶方位を制御して、レンズ5の着色レベルを無色から暗色まで、着色レベルの離散的又は連続的範囲にわたって制御下で変化させることができるように設計される。
【0017】
レンズ5の裏側の視認者側表面30は、1つ又は複数の光導波路構造体40を備える(図4)。ある好ましい実施形態では、裏側表面30は、それぞれが出口アパーチャを画定するレンズ厚さ5’内に配置された、それぞれが出口アパーチャを画定する複数の導波路層50からなるポリマーの光学的薄膜層を備えてよい。導波路層50は、各レンズ5の周縁表面5’’付近(好ましくは視認者の瞳孔視認領域の外側)に位置する導波路構造体40で受承された光を、レンズの厚さ5’の各部分を通して、図4に示すように視認者の瞳孔の視認領域内に位置する各導波路層50によって画定される所定の出口アパーチャ部分領域45’へと、全内部反射(total internal reflection:TIR)又は「導波(wave‐guide)」できるように構成された、複数の微小刻印切子面又は同等の光学構造体として、設けることができる。(図の他の側面を不必要に不明瞭にしないよう、導波路層を全て図示してはいない。)図4は概して、レンズ5の視認領域内の複数の出口アパーチャ部分領域45’に結合された複数の導波路構造体40を示す。導波路層50は一般に、各レンズ5の周縁領域に隣接する境界領域を除く、各出口アパーチャ部分領域45’の全体に広がっており、これにより、各アパーチャ部分領域45’の個々の画像部分がタイル張りにされる結果として、間隙又はデッドエリアを有しない集合画像を生成できる。
【0018】
導波路構造体40は例えば、レンズ厚さ5’内の表面レリーフ又は体積レリーフ回折光学構造体(DOC)を用いて製作してよく、例えば回折格子、ブレーズド回折格子、マルチレベル若しくはブラッグ回折格子、又は当該技術分野において公知であるような同等の構造体として提供してよい。
【0019】
導波路層50は、好ましくは可視光スペクトルをカバーする広帯域の光を回折させるよう設計してよい。
【0020】
導波路層50は好ましくは、1つ又は複数の画像ソース55から放出された光を各レンズ5へ、及び視認者の瞳孔領域へと光学的に結合させるよう設計される。導波路構造体は、画像ソース55の一部を形成する適切なマイクロレンズアレイとあわせて、各レンズ部分領域45’に結合される画像を適切に光学的に拡大及び再配向するよう構成される。特に、各プリズム様回折格子素子上の微小刻印切子面は、互いに異なる別個の視認者定義型切子面角度を備えることができ、例えばこれは導波路層50自体にわたって漸増又は漸減し、これにより、各画像部分を画定する出口アパーチャにおける光を、視認者の眼へと集束するよう再配向する。
【0021】
本発明のデュアルモードAR/VRニアアイウェアラブルディスプレイ1は更に、少なくとも1つの画像ソース55を備えてよく、これは各レンズ5の各導波路構造体40に直接光学的に結合され、これにより各画像ソース55が、多色ピクセルの2Dアレイを含むデジタル光学画像部分を生成及び出力できる。上述のように、各画像ソース55は各入力アパーチャ40に1つの画像部分を提供し、これは各レンズ5の各出口アパーチャ又は各出口アパーチャ部分領域45’に対して提示されることになり、これにより各画像部分が、レンズ5の外縁部の小さな部分を除いて各出口アパーチャ部分領域45’を埋め、各画像部分がタイル張りにされることによって各レンズ内に単一の復号画像を提供できる。
【0022】
レンズ5に光学的に結合された画像ソース55は、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイ内のシングルビュー画像又はマルチビュー光照射野画像を修正する能力を備えてよい。
【0023】
レンズ5に光学的に結合された画像ソース55は好ましくは、デュアルモードAR/VRウェアラブルディスプレイの視認者の視野を阻害せずにレンズ5に結合できるよう、十分に小型である。
【0024】
画像ソース55は、ある好ましい実施形態では(「バックライト式」又は「透過性」画像ソースとは対照的に)発光タイプとすることによって、ウェアラブルディスプレイに求められるコンパクトさを実現できるように提供され、レンズ5の入力画像アパーチャ40の表示領域及び必要な発散角度に概ね適合した画像を生成できる。発光式イメージャは、視認者の視野を不必要に阻害する嵩高い光学インタフェース又は中継要素を必要とすることなく、その発光表面から上記発光式イメージャのマイクロレンズアレイを通して光学的に結合できる。
【0025】
レンズ5に光学的に結合された画像ソース55は例えば、米国特許第7,623,560号;米国特許第7,829,902号;米国特許第8,567,960号;米国特許第7,767,479号;米国特許第8,049,231号;米国特許第8,243,770号に記載されている、Quantum Photonic Imagers (「QPI」(商標)、Ostendo Technologies, Inc.の商標)と呼ばれる種類の発光ディスプレイデバイスから提供され得、これらは、本出願の譲受人であるOstendo Technologies, Inc.に譲受された複数の特許及び特許出願の主題である。
【0026】
本発明と共に画像ソース55として使用するために好適な例示的な発光ディスプレイ素子としては、限定するものではないが、例えばそれぞれ「Spatio‐temporal Directional Light Modulator」という名称の米国特許第9,195,053号;米国特許第8,854,724号;米国特許第8,928,969号で教示されている光照射野発光ディスプレイデバイス、又はそれぞれ「Quantum Photonic Imagers And Methods Of Fabrication Thereof」という名称の米国特許第7,623,560号;米国特許第7,829,902号;米国特許第8,567,960号;米国特許第7,767,479号;米国特許第8,049,231号;米国特許第8,243,770号で教示されている発光ディスプレイ素子が挙げられ、これらの特許はそれぞれ、本出願の出願人に譲渡され、またその内容全体が参照により本出願に援用される。
【0027】
上で参照した米国特許それぞれの主題である上述の画像ソースは、望ましいことに、全ての必要なディスプレイ駆動回路構成を含む単一の発光ディスプレイデバイスにおいて、高い輝度、高い解像度、及び多色光による、また一部は空間変調能力による極めて迅速な応答という特徴を有する。上で参照した特許において開示されているデバイスは本発明での使用に極めて好適であるものの、本発明の文脈において、本明細書中で使用される用語「画像ソース(image source)」は、好適なサイズの発光性マイクロスケールソリッドステート光(SSL)放出ピクセルのアレイを備えたいずれの光電子デバイスを包含することは明らかである。このようなデバイス(これ以降まとめて「画像ソース」と呼ぶ)のSSL光放出ピクセルは、発光ダイオード(LED)若しくはレーザダイオード(LD)構造体、又は駆動回路構成によってオン‐オフ状態が制御されるいずれのソリッドステート光放出(好ましくは多色)構造体であってよく、あるいは一例として、OLEDイメージャデバイスを含む画像ソース55を含んでよい。
【0028】
上で参照した米国特許の画像ソースの発光性マイクロスケールアレイは、関連する駆動CMOS回路構成によって個々に空間、色、時間的に個々にアドレス指定可能なものとして提供されると有益であり、これによりこのような画像ソースは、空間、色、時間的に変調された光を放出できる。上で参照した特許において開示されている画像ソースが放出する複数の色は、同一のピクセルアパーチャを共有することが望ましい。ピクセルアパーチャは、多色のコリメートされた(又は非ランバート)光を、約±5°~約±45°の発散角度で放出する。上で参照した特許の画像ソースの発光性アレイを構成するピクセルのサイズは典型的にはおよそ5~20マイクロメートルであり、画像ソースの典型的な発光表面積は、およそ15~150平方ミリメートルとなる。上述の特許の主題である画像ソースは、その発光性ピクセルアレイとデバイスの物理的縁部との間に最小の間隙又は境界を備え、これにより、多数の画像ソースデバイスを「タイル張りに(tiled)」させて、視認者が定義する任意のサイズの表示領域を生成できる。しかしながら、図3A、3C、4に示され、かつ上述されているように、本発明のレンズの周縁の周りに独立して分散される場合、タイル張りにされるのは画像ソース自体ではなく複数の画像部分であり、これにより画像ソース自体の境界は、画像ソース自体が何らかの理由でタイル張りにされない限りは無関係となる。
【0029】
本発明のレンズ5に光学的に結合された画像ソース55は、好ましくは1~15ルーメンにわたる範囲内でデジタル制御可能な輝度を有するビデオ画像を、好ましくは本開示のデュアルモードAR/VRウェアラブルディスプレイ1の小型構成内への実用的な統合が可能となるように最小の電力消費で、生成できる。
【0030】
画像ソース55の制御可能な輝度レベルにより、デュアルモードAR/VRウェアラブルディスプレイ1の複数の動作モードに適合した適切な輝度レベルを生成できる。
【0031】
レンズ5に光学的に結合された画像ソース55は、(変調されて入力画像アパーチャ40に結合されるピクセルの数及び境界に関して)デジタル制御可能な画像サイズ及び形状を生成するよう構成してよく、これにより、この制御可能な画像サイズ及び形状を用いて、可変制御サイズ及び形状を有する画像を、レンズ5の出口アパーチャ45又は出口アパーチャ部分領域45’に結合させる。
【0032】
レンズ5に光学的に結合された画像ソース55は好ましくは、上述のように各レンズ5専用の少なくとも1つの画像ソース55、又は図4に示すように各画像ソース55を異なる部分領域45’に結合させるために、各レンズ5の複数の導波路構造体に結合された複数の画像ソース55を備える。
【0033】
各レンズ5の複数の入力画像アパーチャ40に結合された複数の画像ソース55を使用することによって、各画像ソース55を別個の専用の出口アパーチャ部分領域45’に効果的に結合させることにより、(典型的にはTIR導波条件を持続させるために必要な)導波路平坦性条件は、レンズ厚さ5’内のレンズ5のわずかな部分のみにわたってしか必要でなくなり、従ってレンズ5は、個々の出口アパーチャ部分領域45’全体にわたって、「区分的に平坦」でありさえすればよい。これにより、非平面表面及び湾曲断面プロファイルを有する、全体として湾曲したレンズ5を使用できる。
【0034】
レンズ5を「区分的に平坦」なものとして提供できることにより、典型的な導波路光学素子を使用する際に必要となる略平面のレンズではなく、湾曲形状のレンズを使用できる。湾曲レンズの区分的に平坦な部分により、本発明のデュアルモードAR/VRニアアイウェアラブルディスプレイ1に関して、より審美的に魅力のある眼鏡レンズ形状、及び最新の外観の使用が可能となる。
【0035】
可能な選択肢としてデュアルモードAR/VRニアアイウェアラブルディスプレイ1の全体的な設計に応じて、画像ソース55から導波路層50に画像を直接投影できる。更なる選択肢として、全内部反射は、内部表面に対する光の入射角が臨界角未満であることしか必要とせず、内部反射の回数は通常多くはなく、例えば1回~3回の範囲内であり、また所望の審美的効果を得るために、レンズ5の曲率半径を大きくする必要がないため、区分的に平坦なレンズ5ではなく、連続的に湾曲したレンズ5を使用できる。視認者に対して表示される画像部分は歪んでいるが、この画像部分を、画像ソース55の適切なマイクロレンズ層等によって事前に逆に歪ませて、及び/又は電子的に補正して、歪みを除去できる。全内部反射を使用する場合、これは、内部反射が使用される場所、即ち各レンズ5の縁部付近においてのみ必要とされることに留意されたい。その他の点では、レンズ5は、通常のガラスのように緩やかに連続的に湾曲してよく、導波路層50はこれに従って変化し、また必要な場合は、眼鏡フレームの縁部を張り出した縁部によって被覆してよく、これにより、連続的に湾曲した部分だけが通常視認可能となる。
【0036】
各画像ソース55を異なる専用の出口アパーチャ部分領域45’に結合するために、各レンズ5の複数の入力導波路構造体40に結合された、複数の画像ソース55の使用により、更に、複数の画像ソース55から出口アパーチャ部分領域45’への光導波路が、異なる複数の方向から視認者の各瞳孔に集束する複数の光線を有することができる。
【0037】
複数の入力画像アパーチャ40に結合された複数の画像ソース55の使用(ここで上記複数の入力画像アパーチャ40はそれぞれ、異なる出口アパーチャ部分領域45’に結合され、複数の画像ソース55から複数の出口アパーチャ部分領域45’を通して各光導波路に結合される)により、異なる画像ソース55から放出された光を、異なる複数の方向から視認者の各瞳孔に集束させ、ここで各出口アパーチャ部分領域45’に関連する画像ソース55は好ましくは、異なる視線からのビュー(perspective view)を変調し、デュアルモードAR/VRニアアイウェアラブルディスプレイ1にマルチビュー光照射野シーンを表示させることができる。
【0038】
複数の導波路構造体40に結合された複数のマルチビュー光照射野画像ソース55の使用(ここで上記複数の導波路構造体40はそれぞれ、異なる部分領域45’に結合され、複数の画像ソース55からそれぞれの出口アパーチャ部分領域45’を通して光導波路に結合される)により、異なる画像ソース55から放出されたマルチビュー光照射野を、異なる複数の方向から視認者の各瞳孔に集束させ、ここで各出口アパーチャ部分領域45’に関連する画像ソース55は、異なるマルチビュー視線を変調する。これにより、デュアルモードAR/VRニアアイウェアラブルディスプレイ1に、微細な(小さい)角度(ピッチ)解像度の光照射野を、幅広い視野(field of view:FOV)にわたって変調させることができ、これにより複数の画像ソース55の視認者の眼への主要な光線の角度によって、大まかな方向の変調(例えば全FOV内の複数の主要な光線間の15°の角度分離)が達成され、また、画像ソース55が、その各出口アパーチャ部分領域45’の方向内の微細な角度分離ピッチによって隔てられた異なる複数の視線のセットを変調することによって、微細な方向の変調(例えば部分領域FOV内の複数のビュー間の0.5°の角度分離)が達成される。
【0039】
複数の導波路構造体40に結合された複数のマルチビュー光照射野画像ソース55の使用により、視認者の各瞳孔に十分な数のビュー(好ましくは瞳孔1つに対して8~12個のビュー(ただし少なくとも6つのビューが水平視差に沿っている))を提供する光照射野を、いわゆる「輻輳調節矛盾(vergence accommodation conflict:VAC)」効果(これは視認者の深刻な不快感を引き起こすものであり、また従来技術のニアアイ自動立体ディスプレイではよく発生するものである)を実質的に排除する程度まで変調でき、従って本開示のデュアルモードAR/VRニアアイウェアラブルディスプレイ1をVACフリーディスプレイとすることができる。
【0040】
複数の導波路構造体40に結合された複数の画像ソース55の使用により、例えば限定するものではないが、1つの眼に対して100万ピクセルを実現するために、それぞれ125,000個の10マイクロメートルのピクセルを有する8つの画像ソース55を用いて、各ディスプレイレンズ5に光学的に結合される画像ソース55の数を増加させることにより、又は例えば限定するものではないが、1つの眼に対して200万ピクセルの表示を可能とするために、上述の例と同一の物理的サイズを有するものの500,000個の5マイクロメートルのピクセルを有する8つの画像ソース55を用いて、画像ソース55のピクセルサイズを低減することにより、(視認者に対して表示されるピクセルの数という点で)ディスプレイの解像度を上昇させることができる。
【0041】
各レンズ5の複数の導波路構造体40それぞれに結合された複数の画像ソース55の使用により、1つの眼に対して高いピクセル解像度を実現でき、視認者の各瞳孔に対して十分な数のビューを変調することによって、視認者に対してデジタルホログラフィック画像又は光照射野画像を変調できる。
【0042】
電子制御可能な画像サイズ及び形状を有する画像ソース55を用いることにより、デュアルモードAR/VRウェアラブルディスプレイ1の様々な動作モード及び光学画像の歪みに適合する適切な画像サイズ及び形状を生成できる。
【0043】
図2に戻ると、デュアルモードAR/VRニアアイウェアラブルディスプレイ1は、1つの眼に対して少なくとも1つの眼追跡センサ65を備えてよく、眼追跡センサ65の出力は、各眼の角度位置(又は視角)、虹彩の直径、2つの瞳孔の間の距離を含むがこれらに限定されない、視認者の眼の複数の所定のパラメータを検出するよう構成される。
【0044】
眼追跡センサ65は、CMOS検出器アレイデバイス等の複数の画像検出センサを備えてよく、これらは各レンズ5の入力画像アパーチャ40に結合され、これにより各眼追跡センサ65は、各レンズ5の光導波路構造体40の光伝達機能を利用するために、画像ソース55付近に位置決めされる。これにより、各レンズ5の光導波路構造体40を、2つの機能、即ち:複数の画像ソース55から導波路層へ、又は複数の画像ソース55から各眼への光経路としての機能;及び各眼から1つ又は複数の画像検出用眼追跡センサ65への逆方向の光経路としての機能を果たすように使用できる。
【0045】
複数の画像検出用眼追跡センサ65が捕捉した複数の画像を1つに混合(又は融合)して、各瞳孔の捕捉画像を形成してよく、またディスプレイ出口アパーチャ45又は出口アパーチャ部分領域45’の画像を形成し、これを用いて複数の出口アパーチャ部分領域45’にわたる色及び輝度の均一性を判断してよい。
【0046】
眼追跡センサ65を利用して、複数のディスプレイ出口アパーチャ部分領域45’にわたる輝度及び色の均一性を検出してよく、これにより、1つ又は複数の眼追跡センサ65が捕捉した画像を分析して、各ディスプレイ出口アパーチャ部分領域45’の輝度及び色を決定する。続いて、決定された値を比較し、これに従って、複数の導波路構造体40に結合された複数の画像ソース55の輝度及び/又は色を調整することにより、出口アパーチャ部分領域45’のセット全体にわたる色及び輝度を、例えば10%である所与の視認者定義型閾値内で均一なものとすることができる。
【0047】
次に、眼追跡センサ65の眼パラメータ出力を利用して、各レンズ5の複数の入力画像アパーチャ40に結合された複数のマルチビュー光照射野画像ソース55のパラメータを調整すること、例えば:1°~2°の範囲内の「目視(eye‐look)」方向におけるディスプレイ解像度をその最高レベルまで調整すること;又は検出された眼パラメータから推定された深さにおいて光照射野圧縮基準ホログラフィック要素(ホーゲル)を選択すること;又は眼が焦点を合わせる深さに適合するように、合成ホログラフィック3D画像の深さを調整すること;又は1°~2°の範囲の目視方向内における輝度若しくは色を調整すること、例えば1°~2°の範囲の目視方向の外側の画像領域内の視線、解像度、輝度及び/若しくは色をぼかす、低減する及び/若しくは調整することによって、各眼に関する表示パラメータを調整してよい。
【0048】
画像ソース55と、レンズ5に光学的に結合された、画像均一化機能を実施するよう構成された1つ又は複数の眼追跡センサ65とは、好ましくは図1、2に示すようなデュアルモードAR/VRウェアラブルディスプレイ1の眼鏡フレームのテンプル組立体75内又は眼鏡のテンプルに一体化された小型プリント回路として構成される、インタフェース・制御・処理要素(ICPE)に電気的に結合されてよい。ICPEは通常、プログラム制御下で動作する。
【0049】
デュアルモードAR/VRウェアラブルディスプレイインタフェース・制御・処理要素(ICPE)から画像ソース55への電気的結合は、例えばデジタルビデオ入力信号、輝度制御並びに画像サイズ及び形状制御信号を組み入れてよい。
【0050】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、眼鏡のフレームのテンプル組立体75内の無線及び有線両方のインタフェースと、デュアルモードAR/VRウェアラブルディスプレイ1が図2で確認できるような画像記憶ソース又は制御ホストプロセッサ及び/若しくはサーバに無線又は有線でインタフェース連結して接続できるようにする、接続能力とを備えてよい。
【0051】
眼追跡センサ65からの処理フィードバック入力に必要な画像処理能力を、デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)内に実装してよい。
【0052】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、両眼に対して表示された画像を、視線及び時間の両方の面で同期させる能力を備えてよい。
【0053】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、図2に示すようにデュアルモードAR/VRウェアラブルディスプレイ1の傾斜及び配向の感知(頭を追跡する能力)を可能とするための、好ましくはマイクロスケールのジャイロ及び加速度計を用いて実装される傾斜及び配向センサ80を備えてよい。
【0054】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、デュアルモードAR/VRウェアラブルディスプレイの周囲光環境の輝度を感知できるようにするための、1つ又は複数の周囲光センサ85を備えてよい。
【0055】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、感知されたデュアルモードAR/VRウェアラブルディスプレイ1の周囲光、傾斜、配向(周囲光、傾斜及び配向センサの出力データ)を、接続された画像ソース55、並びに制御ホストプロセッサ及び/又はサーバに出力するための、インタフェース連結能力を備えてよい。
【0056】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、デュアルモードAR/VRウェアラブルディスプレイ1に提供される入力電力を変換、調節及び管理するために使用される、電力コンバータ回路及び電力管理回路構成90を備えてよい。
【0057】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、自律型(又は非電源接続)動作モードを実現するために電力コンバータ及び電力管理回路構成に結合されたバッテリパックを、電力管理回路構成の一部として備えてよい。
【0058】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、電源接続動作モードを実現するために電力コンバータ及び電力管理回路構成90に結合された、入力電力インタフェースを備えてよい。
【0059】
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、好ましくは図5に示すように、デュアルモードAR/VRウェアラブルディスプレイ1のウェアラブルディスプレイのフレームのテンプル組立体95のうちの少なくとも1つの末端部分に配置された、デュアルモードAR/VRウェアラブルディスプレイへの電力、データ及び制御用インタフェース連結を実現するための小型入力コネクタを備えてよい。
【0060】
湾曲レンズ5及び光導波路構造体40という特徴を利用することにより、デュアルモードAR/VRウェアラブルディスプレイ組立体1を、視認者の前頭部プロファイルに適合するように湾曲させることができ、ここでテンプル組立体75及びレンズフレームは、デュアルモードAR/VRウェアラブルディスプレイ1の視認領域内に過剰な周囲光が漏れるのを十分に最小化するために、垂直軸に沿って延在する。
【0061】
デュアルモードAR/VRウェアラブルディスプレイ1は、(ディスプレイのテンプルを触ることによって若しくは音声コマンドによって)ディスプレイの視認者によって、又は画像ソースホストプロセッサ及び/若しくはサーバから入力されたインタフェース・制御・処理要素データ内に埋め込まれたコマンドによって、命令されたとおりに、仮想現実VRモード、拡張現実ARモード又はハイブリッドAR/VRモードで動作するよう構成してよい。
【0062】
VRモードでは、レンズ5の電気着色層15に結合される電気信号のレベルを適切に設定することにより、デュアルモードAR/VRウェアラブルディスプレイ1のレンズ5の着色を最大値まで増大させる(又は透過率を最小値まで低減させる)ことができ、これにより、レンズ画像ソース’55の出力画像の輝度を、ディスプレイの視認者の好みとして設定されたVR輝度レベルに適合するよう低減できる。
【0063】
VRモードでは、デュアルモードAR/VRウェアラブルディスプレイ1は、感知された傾斜及び配向データを画像ソースに提供してよく、これは画像ソースがデュアルモードAR/VRウェアラブルディスプレイ1に、視認者の頭の傾斜及び配向に応じて適切に生成されたVR画像を提供するためである。特にARモードでは、視認者の頭の傾斜又は位置の変化は、上記傾斜及び配向データに応じて電子的に補正しない限り、拡張画像の見かけの位置を傾斜又は変化させるものの現実の画像の見かけの位置は傾斜又は変化させないことになる。
【0064】
デュアルモードAR/VRウェアラブルディスプレイ1のVRモードでは、(ディスプレイのアームの外側表面上に位置するタッチセンサに触れることによって、若しくは音声コマンドによって)視認者がディスプレイにそのように命令した場合、又は感知された傾斜及び配向データが、視認者によって好みとして設定されたデフォルトの視認体積(若しくはボックス)の外側に視認者の頭があることを示している場合、レンズの着色を、ディスプレイの視認者によって定義された最小レベルまで低減できる。これにより、ある一定の物理的視認ボックスを設定し、その外側ではディスプレイの視認者が安全に動き回ることができるようにディスプレイのレンズの着色を低減することによって、ディスプレイの視認者は、デュアルモードAR/VRウェアラブルディスプレイ1を装着したまま安全に動き回ることができる。
【0065】
VRモードでは、デュアルモードAR/VRウェアラブルディスプレイ1を、2D又は3D光照射野画像を表示するよう再構成してよく、これにより、ディスプレイが感知した傾斜及び配向データを画像ソースデバイスが使用して、2D及び3D動作モードの両方において表示可能な視野を拡大するか、又は3D動作モードにおいて全視差3D視認体験を実現する。
【0066】
ARモードでは、周囲光センサ85を用いてレンズの着色層15に結合される電気信号のレベルを適切に設定することによって、デュアルモードAR/VRウェアラブルディスプレイ1のレンズ5の着色を、ディスプレイが感知した周囲光レベルに適合する所望の視認レベルまで、低減できる。表示される画像の輝度は、ディスプレイの視認者によって好みとして設定された、感知された周囲光レベル及び輝度レベルに適合するように、レンズ画像ソース55の出力画像の輝度を低減することによって、増大させることができる。
【0067】
ARモードでは、デュアルモードAR/VRウェアラブルディスプレイ1は、ICPEを通して画像ソース55に傾斜及び配向データを提供してよく、これは画像ソース55がデュアルモードAR/VRウェアラブルディスプレイ1に、視認者の頭の傾斜及び配向に応じて適切に生成されたAR画像を提供するためである。ARモードでは、レンズ5を通して視認できる画像(現実世界)と、コンピュータで生成された又はその他の拡張画像との両方が、調和させ、重ねた状態で視認可能であるため、補償を行わない場合、視認者の頭の傾斜及び配向がこれら2つの画像の相対位置を妨害することになる。ある好ましい実施形態では、いずれの一時点で表示される画像は、メモリに記憶され得るもの又は必要に応じて生成され得るもの(又はこれら両方)等の、更に大きな拡張画像の一部であると考えることができ、実際には、補償を目的として視認可能な領域を上記更に大きな画像の周りで単に移動させる又はねじることによって、頭の運動が効果的に補正される。その結果、いずれの部分領域45’に表示されるいずれの1つの画像部分の物理的サイズが変化していない間も、表示されている上記更に大きな画像の上記一部、及びそれがいずれの1つの部分領域45’に表示される方法は、頭の運動と共にICPEによって変更され、これにより、現実の画像と拡張画像との整列が維持される。この特徴はVRモードにおいても有益となり得、視認者のVR体験に付与される視認可能な画像の空間的位置が固定される。
【0068】
AR又はVRモードにおいて、画像ソースによってレンズ5のいずれの部分領域に表示される画像は典型的には、縁部周辺に使用されない(黒色の又は「オフ」の)1つ又は複数の画像ソースピクセルを有することになることに留意されたい。これにより、部分領域に表示された画像の、ピクセルのインクリメントでの電子的な精密サイズ設定、配置及び角度位置が、非合理的な機械的整列要件等を回避できる。
【0069】
デュアルモードAR/VRウェアラブルディスプレイ1のARモードでは、ディスプレイのテンプルの外側表面上に位置するタッチセンサ100に触れることによって、若しくは音声コマンドによって、視認者がディスプレイにそのように命令した場合、又は感知された周囲光データが、表示された画像のコントラストを低下させる点まで周囲光が増加していることを示している場合、レンズの着色を、ディスプレイの視認者によって設定されたレベルまで増大させることができる。
【0070】
ARモードでは、デュアルモードAR/VRウェアラブルディスプレイ1は2D又は3D光照射野を表示でき、これにより、ディスプレイが感知した傾斜及び配向データを画像ソース55が使用して、2D及び3D動作モードの両方において表示可能な視野を拡大できるか、又は3D動作モードにおいて全視差3D視認体験を実現できる。
【0071】
デュアルモードAR/VRウェアラブルディスプレイ1のハイブリッドAR/VRモードでは、埋め込まれたモード制御コマンドデータパケットを内包するディスプレイコンテンツによって、動作モードを制御でき、上記モード制御コマンドデータパケットは、表示されているシーンのコンテンツ及び/又は視認者の眼が向けられ、焦点を合わせている場所に応じて、デュアルモードAR/VRウェアラブルディスプレイ1に、表示された画像内の特定の対象物又は焦点面を、このようなシーン対象物又は焦点深さの着色レベル及び/又はコントラストレベルを修正することによって強調させる。
【0072】
デュアルモードAR/VRウェアラブルディスプレイ1は、AR動作モードとVR動作モードとの間を切り替えるため、及び各モードの様々な動作パラメータを制御するために、上で説明したように使用される、タッチ及び音声両方による制御能力を備えてよい。
【0073】
タッチ制御能力は、ケーシング(又はエンクロージャー)の外側のテンプル組立体上に組み込まれたタッチセンサ100として実装してよい。タッチセンサ100は、単回タッチ、複数回タッチ、又はタッチ・アンド・ドラッグタイプのコマンドに応答するよう設計してよい。ARモード及びVRモードの両方において、例示的な右側タッチセンサ100のデフォルトの設定は、タッチセンサを制御してディスプレイレンズの染色レベルを制御するためのドラッグであり、左側タッチセンサ100の設定は、タッチセンサを制御してディスプレイの輝度レベルを制御するためのドラッグである。VRモードでは、いずれかの側部への単回のタッチは、ディスプレイの視認者が安全に動き回れるよう、ディスプレイのレンズの着色を変化させることができる。複数回のタッチを用いて、ディスプレイの視認者が彼らの需要に適合するように各動作モードパラメータを設定及び変更できるようにするプログラマブルメニューに基づいて、タッチセンサのデフォルト制御を変更してよい。
【0074】
音声制御能力を提供することによって、ディスプレイの視認者が、AR、VR又はハイブリッドAR/VRといったディスプレイモード、及び輝度又は画像サイズといったディスプレイ動作パラメータを制御できるようにすることができる。
【0075】
眼鏡のフレームのテンプル組立体75の無線又は有線インタフェース連結能力によって、デュアルモードAR/VRウェアラブルディスプレイ1は、ハンドジェスチャセンサ105とインタフェース連結でき、これによりディスプレイの視認者は、AR、VR又はハイブリッドAR/VRといったディスプレイモード、及び輝度又は画像サイズといったディスプレイ動作パラメータを制御できまた、手、音声又はタッチジェスチャによって視認者の表示領域に対して追加したり除去したりすることができるソフトボタン又はアイコンを用いて、ディスプレイのコンテンツを制御及び/又は選択できる。
【0076】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、少なくとも1つの「リアリティ(reality)」センサ110(好ましくは光照射野カメラ)を備えてよく、これは好ましくは、周囲光照射野コンテンツを捕捉して、捕捉した画像をインタフェース・制御・処理要素(ICPE)に結合し、続いてインタフェース・制御・処理要素(ICPE)は、表示される画像を混合又は融合して、ARモードで視認される現実の視線にフィットさせ、光学的に適合させるか、又はリアリティセンサが捕捉した画像をVRモードで表示されるコンテンツに統合する。
【0077】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、入力画像データ又はビデオデータを圧縮フォーマット(例えばMPEG又はJPEG等)で受け取り、最初に入力画像を復元してからこれらを視認者に対して表示するか、又は復元処理及びメモリ要件を削減して電力消費を削減するために、以下で議論するビジュアル復元(Visual Decompression)技法を用いて入力画像を視認者に対して直接表示する能力を備えてよい。
【0078】
デュアルモードAR/VRウェアラブルディスプレイ1の複数の画像ソース55は更に、(標準的な1ピクセルの変調ベースの代わりに)(n×n)ピクセルの高次ベースを用いて画像を変調し、画像の整合離散ウェーブレット変換(discrete wavelet transform:DWT)又は離散コサイン変換(discrete cosine transform:DCT)表現の係数(これらは典型的にはMPEG及びJPEG圧縮技法で使用される係数である)を変調し、これにより、デュアルモードAR/VRウェアラブルディスプレイ1が、圧縮画像データを直接用いて画像を変調できるようにする能力を備えてよい。これはデータ処理スループット及びメモリ使用量についての効率化をもたらし、結果的に、デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)の体積及び電力消費要件を削減する。
【0079】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、光照射野圧縮技法及びフォーマットを用いて圧縮された入力画像又はビデオを受け取り、圧縮光照射野レンダリングを適用して、表示するべき光照射野を、圧縮基準ホログラフィック要素(ホーゲル)のセットから復元及び合成することにより、画像インタフェース帯域幅、圧縮処理及びメモリ要件を削減するため並びに電力消費を削減する能力を備えてよい。
【0080】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、クラウドサーバ115とインタフェース連結し、上記サーバに、検出した視認者の眼及び頭の位置及び配向に基づいて、圧縮光照射野ホログラフィック要素(ホーゲル)の選択されたセットをダウンロードするよう問い合わせ、次に上記サーバから、要求した光照射野ホログラフィック要素(ホーゲル)を受け取り、続いて圧縮光照射野レンダリングを適用して、表示するべき光照射野を、圧縮基準ホログラフィック要素(ホーゲル)のセットから復元及び合成する能力を備えてよい。これにより有益なことに、画像インタフェース帯域幅、並びに圧縮処理及びメモリ要件及び電力消費が更に削減される。
【0081】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、クラウドサーバ115とインタフェース連結し、上記サーバに、検出した視認者の眼の焦点深さ又は距離に基づいて、ここでは基準ホーゲルと呼ばれる、圧縮光照射野ホログラフィック要素(ホーゲル)の選択されたセットをダウンロードするよう問い合わせ、次に上記サーバから、要求した基準光照射野ホーゲルを受け取り、続いて圧縮光照射野レンダリングを適用して、表示するべき光照射野を、圧縮基準ホーゲルのセットから復元及び合成することにより、画像インタフェース帯域幅、並びに圧縮処理及びメモリ要件及び電力消費を更に削減する能力を備えてよい。
【0082】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、ネットワーク化光照射野写真クラウドサーバとして構成されたクラウドサーバ115とインタフェース連結し、上記サーバと対話して、そのリアリティセンサ110が捕捉した周囲光照射野画像をアップロードし、視認者が拡大した光照射野の画像をダウンロードすることによって、視認者が、自身の視認範囲を超えた周囲光照射野、即ち拡大された光照射野のコンテンツを視認できるようにするか、又はディスプレイの視認者が、ディスプレイのVR又はARモードを用いて、ダウンロードされた光照射野をブラウズできるようにする能力を備えてよい。
【0083】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、クラウドサーバ115とインタフェース連結して、1つ又は複数の眼追跡センサ65が検出した眼のパラメータ(例えば視角及び焦点の深さ)に応じてビデオデータセットの選択された一部分のビデオコンテンツをダウンロードするよう問い合わせる能力を備えてよい。
【0084】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、オーディオスピーカ及びマイクロフォンを備えてよいオーディオインタフェース120とインタフェース連結する能力を備えてよく、上記オーディオスピーカ及びマイクロフォンはいずれもテンプル組立体75の体積の周囲に一体化され、これによりマイクロフォンは、インタフェース・制御・処理要素(ICPE)に電気的に結合されて、インタフェース・制御・処理要素(ICPE)の音声認識処理要素(ソフトウェア)に視認者の音声コマンドをインタフェース連結するために使用され、またスピーカは、インタフェース・制御・処理要素(ICPE)に電気的に結合されて、オーディオコンテンツを視認者にインタフェース連結するために使用される。
【0085】
複数の画像ソース55及び眼追跡センサ65と、リアリティセンサ110及びインタフェース・制御・処理要素(ICPE)とは、それぞれニアアイウェアラブルディスプレイ眼鏡フレームのレンズベゼルのリム及びテンプルの体積の周囲に埋め込んでよく、これにより、図1に示すもののような、公の場で着用した場合に審美的及び美容的に魅力的な、最新の外観のニアアイウェアラブルディスプレイ眼鏡を形成できる。
【0086】
デュアルモードAR/VRウェアラブルディスプレイ1には、対象物、アイコン及び/又はマーカの参照画像を度々表示することを期待でき、またデバイスの処理要素は更に、表示されるコンテンツ内に頻繁に出現する対象物、アイコン及び/又はマーカの参照画像のサブセットを、そのインタフェース・制御・処理要素のメモリにおいて常に把握し、続いて、この参照画像のサブセットの細部を簡約するか又はその解像度を低下させて、処理及びメモリ要件を削減し、電力消費を削減する能力を備えてよい。この特徴は、よく知られた又は過去に視覚的に感知された対象物及び画像を認識及び/又は識別するために必要な細部を仮想的に書き込むことにより、ヒト視覚系(human visual system:HVS)の認知能力を活用して、応答の遅延、処理スループット及びメモリ要件、並びに電力消費に関するデュアルモードAR/VRニアアイウェアラブルディスプレイ1の効率を最大化する。
【0087】
デュアルモードAR/VRウェアラブルディスプレイ1は更に、デバイスに表示するべきコンテンツをフレーム毎に分析して、色域原色の座標に対して色域サイズを推定し、続いて、視認者に表示されている画像の変調時に測定した色域原色を用いて、複数の画像ソース55に、推定された色域を合成するよう命令する能力を備えてよい。この特徴は、画像コンテンツの色域が典型的には、上述のレーザダイオード又はLED系の画像ソース55によって合成できる色域全体よりもはるかに小さいという事実を活用して、輝度、純色量、処理スループット及びメモリ要件並びに電力消費に関するデュアルモードAR/VRニアアイウェアラブルディスプレイ1の効率を最大化する。
【0088】
ここでは図2に示されているICPE及びホストプロセッサを参照するが、これらはいずれも1つ又は複数の処理要素を含み、上記処理要素は必要に応じてメモリを含む。いずれの処理は、無線又は有線通信を用いて、図1のデバイス上で、又は図1のデバイスから離れて、又はその両方で実施できることを理解されたく、また後続の請求項中での処理要素に関する言及は、図1のデバイス上の、及び/又は図1のデバイスから離れた、1つ又は複数の処理要素に言及しているものと理解されたい。
【0089】
当業者は、本発明の精神及び範囲から逸脱することなく、多数の改変及び修正を実施してよい。従って、図示されている実施形態は例示のみを目的として記載されていること、及び図示されている実施形態は、本出願に対する優先権を主張するいずれの後続の出願のいずれの請求項によって定義されるように本発明を限定するものとして解釈してはならないことを理解しなければならない。
【0090】
例えば、いずれのこのような請求項の複数の要素がある特定の組み合わせで記載される場合があるという事実にもかかわらず、本発明は、上で開示されている更に少ない、更に多い、又は異なる要素の他の組み合わせを、最初にはこのような組み合わせで請求されていない場合でさえ、含むことを、はっきりと理解しなければならない。
【0091】
本発明及びその様々な実施形態を説明するために本明細書中で使用される語句は、その一般的に定義された意味だけでなく、本明細書中での特別な定義によって、一般的に定義された意味を超える構造、材料、又は行為を含むものとして理解するべきである。従って、本明細書の文脈において、ある要素が2つ以上の意味を含むものとして理解できる場合、後続の請求項における上記要素の使用は、本明細書及びその語句自体がサポートするあらゆる可能な意味を包括するものとして理解しなければならない。
【0092】
従って、本出願に対する優先権を主張するいずれの後続の出願のいずれの請求項の語句又は要素の定義は、逐語的に記載された要素の組み合わせだけでなく、略同一の結果を得るために略同一の方法で略同一の機能を実施するいずれの同等の構造、材料又は行為も含むものと定義するべきである。従ってこの意味において、以下の請求項中の要素のうちのいずれの1つに対して2つ以上の要素での置換を行うことができること、又はこのような請求項中の2つ以上の要素に対して単一の要素での置換を行うことができることが考えられる。
【0093】
以上において、複数の要素が特定の組み合わせで作用するものとして説明されている場合があり、また以下でそのように請求されている場合があるが、請求されている組み合わせからの1つ又は複数の要素を、場合によっては上記組み合わせから削除できること、及びこのような請求されている組み合わせから部分組み合わせ又は部分組み合わせの変形例を導くことができることを、はっきりと理解されたい。
【0094】
現時点で公知の又は将来考案される、いずれの以下で請求される主題からの、当業者から見て非現実的な変更は、同様にこのような請求項の範囲内であるものと明らかに考えられる。従って、現時点で又は将来において当業者に公知である明らかな置換は、定義されている要素の範囲内であるものとして定義される。
【0095】
よって、本出願に対する優先権を主張するいずれの後続の出願のいずれの請求項は、以上で具体的に例示及び説明されたもの、概念的に同等であるもの、明確に置換可能なもの、及び本発明の基本的着想を本質的に援用するものを含むものとして理解するべきである。
図1
図2
図3A
図3B
図3C
図4
図5