(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-17
(45)【発行日】2022-11-28
(54)【発明の名称】小型視線追従型ヘッドマウントディスプレイ
(51)【国際特許分類】
G02B 27/02 20060101AFI20221118BHJP
H04N 5/64 20060101ALI20221118BHJP
A61B 3/113 20060101ALI20221118BHJP
【FI】
G02B27/02 Z
H04N5/64 511A
A61B3/113
【外国語出願】
(21)【出願番号】P 2020128743
(22)【出願日】2020-07-30
(62)【分割の表示】P 2017092062の分割
【原出願日】2013-01-24
【審査請求日】2020-08-01
(32)【優先日】2012-01-24
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2012-04-27
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2012-09-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】505167532
【氏名又は名称】アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
(73)【特許権者】
【識別番号】514184854
【氏名又は名称】オウグメンテッド ヴィジョン、インク.
(74)【代理人】
【識別番号】100104411
【氏名又は名称】矢口 太郎
(72)【発明者】
【氏名】ガオ、チュンユ
(72)【発明者】
【氏名】フア、ホン
【審査官】堀部 修平
(56)【参考文献】
【文献】米国特許出願公開第2011/0109880(US,A1)
【文献】特開平8-160345(JP,A)
【文献】特開平10-307263(JP,A)
【文献】特開平3-101709(JP,A)
【文献】特開2010-72188(JP,A)
【文献】特開2003-241100(JP,A)
【文献】特開平8-50256(JP,A)
【文献】HONG, Hua et. al.,A compact eyetracked optical see-through head-mounted display,PROCEEDINGS OF SPIE,米国,2012年02月24日,Vol.8288,pages 82881F.1 - 82881F.9
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01 - 27/02
H04N 5/64
A61B 3/00 - 3/18
JSTPlus(JDreamIII)
JST7580(JDreamIII)
JSTChina(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
関連付けられた射出瞳を有する視線追従型ヘッドマウントディスプレイであって、
使用者が鑑賞する画像を生成するマイクロディスプレイであって、第1の平面に配置され、当該マイクロディスプレイに関連付けられた表示光路を有するものである、前記マイクロディスプレイと、
光学的放射を生成し、かつ前記射出瞳を照射して前記使用者の眼の照射をもたらすように構成された照射源であって、当該照射源は、当該照射源に関連付けられた照射光路を有するものである、前記照射源と、
前記射出瞳に位置付けられた使用者の眼から反射した光学的放射を前記射出瞳から受容するように構成された画像センサーであって、当該画像センサーに関連付けられたセンサー光路を有するものである、前記画像センサーと、
表示光学系であって、
前記表示光学系はフリーフォーム光学素子を有するものであり、
前記第1の平面に最も近い選択された表面を有し、前記照射源および前記マイクロディスプレイからの放射を受容するように位置付けられ、かつ前記照射源および前記マイクロディスプレイから受容した放射を前記射出瞳に伝搬するように構成され
ているものであり、
前記表示光学系は、前記射出瞳から反射した光学的放射を受容
するように位置付けられ、前記反射した光学的放射
を当該表示光学系
内で反射させて前記画像センサーに伝搬
するように
構成されているものである、前記表示光学系と
を有し、
前記画像センサーおよび前記照射源は、前記マイクロディスプレイに近接し、かつ前記表示光学系の前記選択された表面に対面して配置されるものであり、
前記表示光路は光軸を有し、前記画像センサーは前記表示光路の前記光軸から外れた位置に位置付けられるものである、
視線追従型ヘッドマウントディスプレイ。
【請求項2】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路および前記センサー光路は前記選択された表面において部分的に重なるものである、視線追従型ヘッドマウントディスプレイ。
【請求項3】
請求項1または2記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記射出瞳における鑑賞用に前記マイクロディスプレイの虚像を生成するように構成されるものである、視線追従型ヘッドマウントディスプレイ。
【請求項4】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、当該ディスプレイは前記第1の平面に絞りを有し、当該絞りはその内部に設けられた少なくとも1つの開口を有するものであり、当該少なくとも1つの開口は前記センサー光路に沿った位置に配置されるものである、視線追従型ヘッドマウントディスプレイ。
【請求項5】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、当該ディスプレイは絞りを有し、当該絞りはその内部に設けられた少なくとも1つの開口を有するものであり、当該少なくとも1つの開口は前記画像センサーと前記選択された表面との間の前記センサー光路に沿った位置に配置されるものである、視線追従型ヘッドマウントディスプレイ。
【請求項6】
請求項4または5記載の視線追従型ヘッドマウントディスプレイにおいて、前記少なくとも1つの開口はピンホールを有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項7】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系はフリーフォーム光学プリズムを有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項8】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子は楔形状のプリズムを有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項9】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子は非球面の表面を有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項10】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子は表示空間内でテレセントリックである、視線追従型ヘッドマウントディスプレイ。
【請求項11】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子は表示空間内で非テレセントリックである、視線追従型ヘッドマウントディスプレイ。
【請求項12】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子は、前記マイクロディスプレイからの光を受容し、かつ内部全反射するように配向される内部全反射(TIR)表面を有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項13】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子は、光を前記画像センサーに対して内部全反射するように配向される内部全反射(TIR)表面を有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項14】
請求項
1記載の視線追従型ヘッドマウントディスプレイにおいて、前記フリーフォーム光学素子と光学的に連通するフリーフォーム補正レンズを有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項15】
請求項
14記載の視線追従型ヘッドマウントディスプレイにおいて、前記補正レンズの視野は前記表示光学系の視野より大きいものである、視線追従型ヘッドマウントディスプレイ。
【請求項16】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は半透鏡状の表面を有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項17】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記照射源は複数の発光ダイオードを有するものである、視線追従型ヘッドマウントディスプレイ。
【請求項18】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記照射源からの前記光学的放射をコリメートするように構成されるものである、視線追従型ヘッドマウントディスプレイ。
【請求項19】
請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記照射源からの放射を受容し、かつ内部全反射するように配向される内部全反射(TIR)表面を有するものである、視線追従型ヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
関連技術の相互参照
本願は、2012年1月24日出願の米国特許仮出願第61/632,441号の優先権、および、2012年4月25日出願の米国特許仮出願第61/687,607号の優先権、および、2012年9月11日出願の米国特許仮出願第61/699,493号の優先権を主張するものであり、それらの出願の全内容は、参照により本明細書に組み込まれる。
【0002】
国家ライセンシング権
本発明は、米国科学財団によって発注された契約番号第IIS1115489号による米国政府支援の下でなされたものである。米国政府は、本発明に対するある程度の権利を有する。
【0003】
本発明は、視線追従型ヘッドマウントディスプレイに関する。より具体的には(ただし排他的ではない)、同一の光学系を視線追跡および画像鑑賞用に使用する視線追従型ヘッドマウントディスプレイに関し、当該光学系は、視線追跡光路のために使用される選択された光学系の部分と、画像鑑賞光路のために使用される選択された表示光学系の部分とを有する。
【背景技術】
【0004】
ヘッドマウントディスプレイ(HMD:頭部装着型表示装置)技術は、科学およびエンジニアリングの領域の広い範囲で応用されてきている。応用の例としては、フライトシミュレーション、科学的な可視化、医学、エンジニアリングデザイン、教育およびトレーニング、ウェアラブルコンピューティング、およびエンターテインメントシステムが挙げられる。拡張現実感の領域では、HMDは、仮想ビューを物理的場面と融合するための実現技術の1つであり、これは医師が解剖学的構造または患者のCT画像の3Dレンダリングを、患者の解剖学的構造、例えば、腹部の上に重ねて見ることができるようにする場合がある。ウェアラブルコンピューティングの領域では、HMDは、スマートフォンおよびPDAsなどの他の一般的なモバイルプラットフォームよりずっと魅力的な画像および画面サイズを提示する、モバイルディスプレイソリューションを生成する。近い将来、かかるモバイルディスプレイは、一対のサングラスほどにエレガントに登場するかもしれず、直ちに情報を取り出し、人々と連絡を取るために、多くの人々の日々の活動の必須部分になるかもしれない。
【0005】
HMD技術と平行して、様々な視線追跡技術が開発されおり、視力研究、ヒューマンコンピューターインターフェース、テレオペレーション周囲、およびビジュアルコミュニケーションを含む、いくつかの専門分野に適用された。マルチモードのヒューマンコンピューターインターフェースに対する視線追跡の利点、およびデータ圧縮の技術的な利点は、十分に認識され研究されてきている。例えば、効果的に通信のデータ転送帯域幅を保存し、フォービエイテッド(foveated)レベルオブディテール管理法を使用して3Dシーンのレンダリング速度を改善し、広視野(FOV)、高解像度ディスプレイおよび画像システムを達成するために、マルチレゾリューション眼球運動連動型(gaze-contingent)ディスプレイおよび画像処理スキームが提案されている。
【0006】
統合型視線追従型HMD(ET-HMD)システムを作り出す概念は、様々なレベルで検討されてきた。ET-HMDは、使用者の視線方向を追加的に追跡しながら、従来のHMDで行うような単眼または実体視のバーチャル画像を表示することができる。完全統合型ET-HMDは、基礎科学的な研究のためだけでなく、新興的な用途のためにも、かかる技術の多面的な利点を提示する。例えば、人間の使用者が空間的な情報をどのように知覚し整理するか、かかる情報とどのように相互作用するか、3D仮想空間内でどのように移動するかについて、数多くの研究の努力が考慮されてきた。HMDでの視線追跡能力は、科学者が使用者の3D環境との相互作用を定量的に評価し、トレーニング、教育、および拡張認知の課題を含む、様々な具体的な課題に対する様々な3D可視化技術の有効性を調査するために、大変価値のあるツールと客観的な測定基準を追加する。技術的な見地から、視線追跡の能力が、HMDシステムと統合されると、実体視ディスプレイで寸法および距離知覚の精度を改善するために利用することができる。視線追跡能力は、フォビア(fovea)認知ディスプレイスキームを通して、視野-解像度のトレードオフに対する解決法を作り出す助けとなる場合があり、かつ可変焦点面ディスプレイ法を使用することによって、瞳孔近見否認に対する解決法を作り出す助けとなる場合がある。応用の見地から、ET-HMDは、相互作用および通信の方法として手や足の代わりに、視線を使用することができる、固有受容性(proprioceptive)障害の人のための新規の対話式のインターフェースに対する独特の機会を提示する。
【0007】
単独のHMDおよび単独の視線追跡技術の著しい進歩および商業的な可用性にもかかわらず、これら2つの単独技術を統合することは、小型で、可搬式で、正確で、かつ頑強なシステムを作り出す上で、著しい困難を強いる。ET-HMD技術を開発し、体系的な取り組みによってこれらの2つの技術を最適化するために、いくつかの先駆的な努力がなされたが、いかなる既存の技術的な解決法も、真の可搬式、軽量、かつ頑強なシステムであって、メガネスタイルの形状因子に適合するディスプレー、を提示することができなかった。多くの過酷な用途に対しては、軽量であることおよび小型であることは重要である。例えば、筋萎縮性側索硬化症(ALS)患者のコミュニケーションを支持するためには、患者が、その著しく弱った筋力とごく限られた移動度で重量に耐えることができるように、統合型システムは、軽量でなけれならない。
【0008】
過去数十年にわたり、システム性能を改善するために多くの異なる光学的な設計のアプローチがHMD設計に取られた。これらの方法は、反射屈折技法の適用、非球面状の表面などの新しい要素の導入、ホログラフィーおよび回折する光学的な構成要素の使用、投影光学を使用して従来のHMD設計のアイピースまたは顕微鏡形レンズ系を置き換えることなどの新しい設計原理の検討、ならびに勾配、ならびに偏心、またはさらにはフリーフォーム表面の導入を含む。これらの光学的な設計方法のうちのいくつかは、視界が幅広く、小型で、軽量なHMD作り出す能力があり、非侵入型で、眼鏡型の眼に近いディスプレイであると考えることができる。視線追跡能力をこれらの技術に統合するのは、大変困難であり、著しい重量、体積、および複雑さを加える。
【0009】
視線追跡能力をHMDに追加することは、CAE Corporationの高級解像度インセットディスプレイと同じくらい以前に開始された。この先駆的な仕事は、移動式の小型ET-HMDシステムを意図してはいなかった。また、他社は、高解像度インセットを移動するために、ベンチプロトタイプの実体視ディスプレイで、機械的な駆動装置を使用した。ISCAN Corporationは、ソフトウェアベースのフォビア認知ディスプレイスキームを研究するために、ISCANアイトラッカーを、Virtual Research CorporationからのV8-HMDの中に統合する仕事をした。市販されているHMDおよびアイトラッカーを統合するこの方法は、機能性統合アプローチと称され、ここでは2つの別個の器具は、利用の後の方の段階で一緒にされる。機能性統合アプローチは、開発コストが少なくてすむ単純な解決法であるという利点を有するが、一般に低レベルの最適化の利点を取ることができず、かつ小型であること、精度、および堅牢性という属性に欠ける。
【0010】
機能性統合アプローチとは対照的に、システムが、基本的な設計観点から1つの単一の器具として考えられ、最適化される、システム的なアプローチでは、完全に統合型のET-HMD器具を作り出す上で多くの利点を有する。システム的なアプローチの著しい利益としては、ディスプレイおよびアイトラッカーユニットの両方に対する設計上の制約および必要条件を検討し、新しい解決法を考え、そして小型で堅牢なシステムのための設計を最適化する能力が挙げられる。低いレベルの最適化を用いた完全な統合の可能性を検討するための先駆的な努力がなされてきた。これらの初期の努力に続いて、Hua and Rollandは、完全統合型設計アプローチを協力し合って追求し、ET-HMDシステム用の堅牢な視線追跡方法およびアルゴリズムを開発し、頭部装着型の投映ディスプレイの概念に基づいて、光学的に透視性のET-HMD光学的システムを設計した。
図1は、ET-HMD光学的システムの一次レイアウトを示し、ここでは概念およびスケールを強調するために光学的システムが理想的なレンズモジュールで単純化されている。(Curatu,C.,Hong Hua,and J.P.Rolland,"Projection-based head-mounted display with eye-tracking capabilities,"Proceedings of the SPIE International Society for Optical Engineering,Vol.5875,San Diego,USA,August 2005。Curatu,C.,J.P.Rolland,and Hong Hua,"Dual purpose lens for an eye-tracked projection head-mounted display,"Proceedings of International Optical Design Conference,Vancouver,Canada,June 2006。)。この設計では、完全な統合アプローチを行い、ディスプレイサブシステムと視線追跡サブシステムとに対するほとんどの光路を組み合わせた。ディスプレイ機能と目視画像化機能との両方に対する同一の投影光学系が共有された。しかしながら、この設計の主たる限界は、他のものよりも著しく改善されたが、以前としてかさばりかつ重い、統合型ET-HMDシステムの全体的な体積だった。
【0011】
真の可搬式、軽量、小型ET-HMDの解決法を作り出すという、重要な課題は、2つの根本的な問題、すなわち(1)技術開発者と応用開発者の両方の永続的な夢である、一対のサングラスと同じぐらい抗しがたい優雅な形状因子を用いた、HMDシステムの設計を可能にする光学的な方法と、(2)システムへ著しい重量および体積を追加することなく視線追跡能力の統合を可能にする光学的な方法と、への対処にある。
【発明の概要】
【課題を解決するための手段】
【0012】
ビデオベースの特徴追跡方法を使用するET-HMDシステムは、典型的には少なくとも3つの固有の光路、すなわち照射光路、眼画像化光路、および仮想表示光路を必要とする。照射光路を通して、典型的には近赤外発光ダイオード(NIR LED)によって、追跡するために、暗い瞳孔もしくは明るい瞳孔および/またはプルキンエの特徴などの画像化特徴を作り出すために、目が照射される。特徴検出および追跡のために、画像化光路を通して、追跡特徴を有する眼画像が取得される。表示光路を通して、ミニチュア表示デバイス上に表示される虚像が、情報視覚のためにアイピース光学系を通して作り出される。本発明の新機軸のうちの1つは、アイピース、投影レンズ、または他の光学系構造であってもよい同一の中核光学系を通して、これらの3つの光路を一意的に組み合わせることができる光学的なスキームである。
【0013】
例えば、態様のうちの1つでは、本発明は、視線追跡用の眼画像化光学系を情報視覚用の表示光学系と一意的に組み合わせることができる、新機軸の光学的なスキームとともに、フリーフォームの光技術を使用してもよい。(したがって、本発明の記述と関連して本明細書で使用する場合、「表示光学系」、および「画像化光学系」という用語は、同一の物理光学を指す場合があり、物理光学は、「中核光学系」とも呼ばれる場合がある。)所望により、眼照射光学系も、組み合わせられてもよい。このように、その有益な点のうちの1つでは、本発明は、HMD用および視線追跡光路用の光学的システムが、別々に取り扱われており、回転対称の光学的表面が主として使用される、従来のアプローチによって課された制限を避ける。しかしながら、本発明で開示される、より制限的である可能性がある、HMDと統合している視線追跡の光学的なスキームは、フリーフォーム光学系に限定されない。本発明によるET-HMDシステム用の中核光学系を、従来のHMD光学系に適用することができる。
【0014】
例示的な構成では、本発明は、使用者が鑑賞する画像を生成するマイクロディスプレイを有する視線追従型ヘッドマウントディスプレイを提供する。前記マイクロディスプレイは、表示光路と、当該表示光路に関連付けられた射出瞳とを有する。第1の平面はマイクロディスプレイに位置付けられ、第2の平面は射出瞳に位置付けられる。画像センサーは、使用者の眼から反射した、反射光学的放射を第2の平面から受容するように構成され、当該画像センサーに関連付けられたセンサー光路を有する。加えて、視線追従型ヘッドマウントディスプレイは、前記表示光路に沿ってマイクロディスプレイと光学的に連通し、前記センサー光路に沿って前記画像センサーと光学的に連通して配置される表示光学系を含む。前記表示光学系は、マイクロディスプレイに最も近い選択された表面と、前記画像センサーとを含んでもよく、前記表示光路および前記画像センサー光路が前記選択された表面の異なる部分にそれぞれ衝突(impinge)するように前記マイクロディスプレイおよび前記画像センサーに対して位置付けられる。前記表示光路と前記画像センサー光路とは、選択された表面でにおいて部分的に重なってもよい。前記マイクロディスプレイおよび前記画像センサーにそれぞれの光軸を有し、当該それぞれの光軸は同軸であってもよく、傾斜していてもよい、前記表示光学系と前記画像センサーとのそれぞれにおいて、それぞれの光軸を備えてもよい。加えて、視線追従型ヘッドマウントディスプレイは、第1の平面において停止部を含む場合があり、この停止部は、前記センサー光路に沿った位置において、停止部に内設される少なくとも1つの開口を有する。同様に、視線追従型ヘッドマウントディスプレイは、停止部を含み、当該停止部は、前記センサーと前記選択された表面との間の前記にセンサー光路に沿った位置において、当該停止部に内設される少なくとも1つの開口を有する。いずれの構成においても、前記停止部または前記開口は、開口のようなピンホールを含む。1つの例示的な構成では、前記表示光学系は、フリーフォーム光学素子、回転対称の光学素子、および/またはフリーフォーム光学プリズムを含んでもよい。前記表示光学系は球面の表面を含んでもよい。
【0015】
さらに、視線追従型ヘッドマウントディスプレイは、光学的放射を生成して前記第2の平面を照射することにより前記使用者の眼を照射する照射源を含む。前記表示光学系は、前記照射源からの光学的放射をコリメートするように構成される。前記照射源は、前記第1の平面内に、または表示光学系の光軸から外れている位置など異なる位置に位置付けられる。
【図面の簡単な説明】
【0016】
【
図1】
図1は、従来の回転対称の光技術に基づく視線追従ヘッドマウントディスプレイ(ET-HMD)システムを概略的に図示する。
【
図2A】
図2A、
図2Bは、概略的に2つの異なるIR照射戦略からの画像を図示し、
図2Aは、明るい眼の瞳孔の眼画像および軸上照射戦略からの結果として得られる4つの輝きを示し、ここで4つの近赤外線LEDは、眼画像化光学系の光軸とほぼ同軸に配設され、
図2Bは、暗い眼の瞳孔の眼画像および軸外照射戦略からの結果として得られる4つの輝きを示し、4つの近赤外線LEDは、眼画像化光学系の光軸から離れる方向に置かれる。
【
図2B】
図2A、
図2Bは、概略的に2つの異なる赤外線照射戦略からの画像を図示し、
図2Aは、明るい眼の瞳孔の眼画像および軸上照射戦略からの結果として得られる4つの輝きを示し、ここで4つの近赤外線LEDは、眼画像化光学系の光軸とほぼ同軸に配設され、
図2Bは、暗い眼の瞳孔の眼画像および軸外照射戦略からの結果として得られる4つの輝きを示し、4つの近赤外線LEDは、眼画像化光学系の光軸から離れる方向に置かれる。
【
図3A】
図3Aは、本発明による、単眼の光学的なモジュールとして示される、例示的な光学的システムを概略的に図示する。
【
図3B】
図3Bは、本発明による、マイクロディスプレイパネルの周囲に配置される照射ユニットおよび眼画像化ユニットの例示的なシステムを概略的に図示する。
【
図4】
図4は、単眼の光学的モジュールとして示される本発明によるフリーフォームプリズム技術に基づく例示的なシステムのブロック図を概略的に図示する。
【
図5A】
図5A~
図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、
図5Aでは、眼照射光路と、画像化光路と、を示し、
図5Bは、仮想表示光路を示し、
図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、
図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。
【
図5B】
図5A~
図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、
図5Aでは、眼照射光路と、画像化光路と、を示し、
図5Bは、仮想表示光路を示し、
図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、
図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。
【
図5C】
図5A~
図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、
図5Aでは、眼照射光路と、画像化光路と、を示し、
図5Bは、仮想表示光路を示し、
図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、
図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。
【
図5D】
図5A~
図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、
図5Aでは、眼照射光路と、画像化光路と、を示し、
図5Bは、仮想表示光路を示し、
図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、
図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。
【
図6】
図6は、
図5Dの2反射のフリーフォームプリズム構造を使用した、本発明による例示的な最適化されたET-HMDシステムの光学的なレイアウトおよびレイトレーシングを概略的に図示する。
【
図7】
図7は、本発明による例示的なET-HMD光学的システムの3Dモデルを概略的に図示する。
【
図8】
図8は、本発明による
図6および
図7の光学的な設計に基づく例示的な両眼のET-HMDプロトタイプのモデルを概略的に図示する。
【
図9A】
図9A~
図9Dは、
図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。
【
図9B】
図9A~
図9Dは、
図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。
【
図9C】
図9A~
図9Dは、
図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。
【
図9D】
図9A~
図9Dは、
図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。
【
図10】
図10は、
図6の設計のHMD仮想表示光路内の視野にわたる歪曲グリッドを図示する。
【
図11】
図11は、
図6の設計の眼画像化光路内の視野にわたるサンプリングされた視野の変調伝達関数を図示する。
【
図12】
図12は、
図6の設計の眼画像化光路内の視野にわたる歪曲グリッドを図示する。
【
図13A】
図13A~
図13Dは、
図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。
【
図13B】
図13A~
図13Dは、
図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。
【
図13C】
図13A~
図13Dは、
図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。
【
図13D】
図13A~
図13Dは、
図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。
【
図14】
図14は、
図6の設計のHMD透視光路の視野にわたる歪曲グリッドを図示する。
【
図16】
図16は、本発明による、
図3に示す回転対称の光学系に基づく光学的なスキームの例示的な実施を概略的に図示する。
【発明を実施するための形態】
【0017】
ここで、全体を通して同様な要素に同様な番号が付けられている図面を参照すると、
図3Aは、本発明による小型ET-HMDシステムを達成するための例示的なシステムレイアウト300を概略的に図示する。この例示的なレイアウト300では、同一の中核光学系310は、眼画像化、表示鑑賞(display viewing)、および/または眼照射の機能を果たすことができる。この単純化は、一意的な共役平面上で、眼照射光路305、眼画像化光路307、および表示光路309の洞察力のある観測から生じる。加えて、中核光学系310の有効口径に沿った異なる部分は、眼照射光路305、眼画像化光路307、および表示光路309のために使用されてもよい。例えば、マイクロディスプレイに最も近く位置付けられる中核光学系310の選択された表面において、選択された表面のそれぞれの部分が異なると、眼照射光路305、眼画像化光路307、および表示光路309のうちの2つ以上(例えば、眼画像化光路307および表示光路309)が衝突する可能性があるが、部分的な重なりは許容される。
【0018】
表示光路309では、この状況では表示光学系として機能する中核光学系310は、眼10によって見られるマイクロディスプレイ320の拡大された虚像を形成する。マイクロディスプレイユニット320は、画像源として機能することができる任意のタイプの自発光式、または照射される画素アレイ(シリコン上の液晶(LCoS)表示デバイス、液晶ディスプレイ(LCD)パネル、有機発光型ディスプレイ(OLED)、シリコン上の強誘電性液晶(FLCoS)デバイス、デジタルミラーデバイス(DMD)、または前述したものまたは他のタイプのマイクロディスプレイデバイスの上に構築されたマイクロプロジェクターが挙げられるが、これに限定されない)とすることができ、所望により、または必要に応じて、マイクロディスプレイ320と中核光学系310との間に追加的な所望の光学系が提供されてもよい。眼10から無限または有限の距離にあるように現れる拡大された虚像は、マイクロディスプレイ320の共役焦点面に対応する。眼の瞳孔12は、表示光路309の射出瞳312と同じ場所に位置付けられてもよい。瞳孔12の中心を通るディスプレイの主光線(
図3Aで実線で示される)は、マイクロディスプレイ320上の視野高さを画定するため、マイクロディスプレイ表面上で分離できる。眼照射光路305では、
図3Bの表示/中核光学系310を通して眼を照射するために、1つまたは多重の近赤外線発光ダイオード(NIR LED)330がマイクロディスプレイ320の周囲に載置されてもよい。表示/中核光学系310は、LED光をコリメートしてもよく、表示/中核光学系310を通して生成された多重の仮想LED源を通して、眼領域上に均等に照射される領域を作り出してもよい。かかる軸から外れた照射配設は、暗い瞳孔の効果を作りだすことができ、前角膜からの反射を通して近赤外線LED330の多重の輝き画像を形成する。
【0019】
眼画像化光路307では、眼の瞳孔12は、画像化の対象となる。絞り340が、マイクロディスプレイ320の周囲に置かれる場合がある。マイクロディスプレイ320の瞳孔と視野との関係、および上述の眼の瞳孔12を考慮すると、表示光路の異なる対象視野の主光線は、眼画像化光路307の軸上の対象点の周縁光線になり、したがって眼の瞳孔12上の同一の点を通るすべての光線は、赤外線画像化センサー360上の同一の点上に画像化される。しかしながら、これらの光線は、マイクロディスプレイ表面と一意的な位置で交差する。したがって、画像化光路307では、絞り340は、表示光路309に影響を与えないようにしかも眼画像を眼画像化光路307に形成するために十分な光線を集めるように、適切に設計されて、マイクロディスプレイ320の周囲に置かれる。
図3Bに示す図では、絞り340は、ピンホールのような小さい開口350の形態で提供されてもよく、マイクロディスプレイ320を包囲する選択された領域であってもよい。分離された画像センサー360は、それぞれのピンホールのような開口350に組み込まれてもよい。
【0020】
利点のうちの1つとして、2つのまたは3つの固有の光学的な機能を組み合わせるための光学的なレイアウト300は、HMD光学系に適した実質上すべてのタイプの光学的な構造に対する適用範囲を有する。例えば、従来の回転対称の光学素子を基にしたアイピース光学系を用いた例示的な構成は、
図16に関連して以下で考察するように設計されてきた。
【0021】
視線追跡機能の態様としては、具体的には、眼球運動を監視するために使用される場合がある、いくつかの異なる視線追跡技法が存在し、これらは3つの分類に分けられる、すなわち、電子眼球運動記録法、強膜サーチコイル法、および様々なビデオベースの特徴追跡アプローチである。これらの方法の中でも、取得された眼画像の特徴を検出して追跡するビデオベースの特徴追跡は、眼球運動を追跡するためには、最も侵入的でなく、かつ最も便利なアプローチである。
【0022】
近赤外線照射下で、眼画像201、202は、典型的には容易に識別、および測定できる2つのタイプの特徴を有する(
図2A、
図2B)。1つの特徴は、第1のプルキンエ画像、または輝き6として知られ、角膜の前面によって形成される点光源の反射画像を指す(
図2B)。第2の機能は、眼の瞳孔12である。
図2A~
図2Bは、赤外線照射された眼画像201、202の実施例を示す。赤外線照射器、例えば、近赤外線LED330、の構成に依存して、赤外線照射器が眼画像化光学系の光軸とほとんど同軸上に配設される、軸上照射戦略は、明るい瞳孔2、
図2A、につながるが、一方で、赤外線照射器が眼画像化光学系の光軸から離れて置かれる、軸から外れた照射戦略は、輝き6を有する暗い瞳孔4(
図2B)につながる。その結果、瞳孔と輝きとの特徴は、眼球運動追跡のために利用される場合がある。
【0023】
ビデオベースの特徴追跡方法の中でも、眼球運動を瞳孔の中心と輝きの中心との間のベクトル差に関係付ける、瞳孔角膜反射追跡方法が、ET-HMDシステムで最も適切なアプローチである。この方法では、1つのまたは多重の近赤外線発光ダイオード(NIR LED)、例えば、近赤外線LED330は、眼10を照射するために使用されてもよく、照射された眼10は、次いで赤外線CCDなどの画像化センサー360によって画像化されてもよい。眼の瞳孔12、第1のプルキンエ画像(すなわち輝き)、および/または虹彩11が、同時に、または別途追跡されてもよい。それぞれの近赤外線LED330は、輝き6すなわち第1のプルキンエ画像を形成する場合がある。瞳孔12および第1のプルキンエ特徴は、眼の回転に比例的に移動し、相互の間では差動的に移動する。2つの特徴の間の差動ベクトルが、眼10の注視点を決定するために使用されてもよい。この方法は、画像化センサー360の眼10に対する配向の変更をある程度引き起こし、眼球運動を混乱させる、HMDシステムのヘルメットの滑りを許容する。
【0024】
別の重要な態様では、本発明は、透視能力をともなう、超小型、かつ軽量のET-HMDを達成するためにフリーフォームの光技術を中核光学系310で、利用する場合がある。
図4は、本発明による、フリーフォームの光技術に基づく小型視線追従型HMD設計への例示的なアプローチのブロック
図400を示す。1つの例示的な実施では、中核光学系310内で、楔形のフリーフォームプリズム410または導波管タイプのフリーフォームプリズムが使用されてもよく、多面プリズム構造内で光線経路を折り畳むことが許容され、これは回転対称の要素を使用する設計と比較すると表示光学系の全体的な重量および体積を減少するのを助ける。フリーフォームの光技術を適用することは、HMD光学系の機能と視線追跡の機能とを小型形態の中に完全に統合できるようにする。フリーフォームプリズム410は、軽量および低コストのために成形可能な塑性体から作成される場合がある。
【0025】
このアプローチでは、フリーフォームプリズム410は、2つまたはそれ以上の固有の光学的な機能を果たす。第1の、フリーフォームプリズム410は、眼画像化光路407で、中核要素として機能する場合がある近赤外線で照射される使用者の眼画像401を取得し、そして取得された眼画像401を使用して眼球運動を追跡する。典型的にはレンズ構成体内に回転対称の光学の表面を採用し、典型的には画像化レンズを検出器460および取得される対象物と同一直線上にしたままにしておく必要がある、従来の画像化システムとは異なり、画像検出器460がフリーフォームプリズム410の側に置かれてもよいように、フリーフォームプリズム410は、単一の要素内の光路を折り曲げる。第2に、同一のフリーフォームプリズム410は、表示光路409でマイクロディスプレイ420上の画像を鑑賞するために、表示視覚光学系として機能する場合がある。第3に、プリズム410は、1つまたは多重の近赤外線LED430からの光をコリメートする照射光路305内で中核要素として機能する場合がある。代替的には、近赤外線LEDは、プリズム410(または中核光学系310)を通過せずに、眼領域を直接照射してもよい。いずれの場合でも、近赤外線LED430は、眼領域を均等かつ非侵襲的に照射する場合があり、視線追跡のために画像化されるべき重要な特徴(例えば、輝き6および暗い瞳孔4)を形成する。最後に、実世界の直接鑑賞が重要である用途のために、光学的に透視性のET-HMDシステムが要求される場合、プリズム410は、フリーフォーム補正レンズ415に固着されてもよい。フリーフォーム修正器415は、視覚軸の偏差およびプリズム410によって導入された望ましくない収差を修正することができ、かつ実世界鑑賞411のために周辺部の不透明度の低減およびひずみの最小限化を提示するシステム400の透視能力を可能にする。全体的に、本発明の固有の光学的なスキームは、最小限のハードウエアコストで、同一のフリーフォームプリズム410を通して、眼画像化407のためと、仮想表示409のためと、所望により眼照射405のためとの光路の組み合わせを可能にすることができ、かつ視線追跡および表示の能力を達成することができる。
【実施例1】
【0026】
本発明による第1の例示的な構成500は、2つの反射を用いる、楔形のフリーフォームプリズム510を利用する、
図5A~
図5D。この実施形態では、フリーフォームプリズム510は、3つもの中核機能の作用をする場合があり(1)照射光学系として、1つまたは多重の近赤外線LED530からの光を均等に、かつ非侵襲的に眼領域を画像化されるように照射するためにコリメートし、(2)眼画像化光学系の中核要素として、近赤外線で照射された眼画像を取得して、眼球運動の追跡を可能にし、(3)HMDシステムのアイピース光学系として、マイクロディスプレイ520上の画像を鑑賞する。これら3つの固有の光路は、視線追跡および表示の能力を達成するために、同一のフリーフォームプリズム510によって組み合わせられてもよい。追加的に、同一のプリズム510は、フリーフォーム補正レンズに固着されたとき、光学的に透視性のHMDシステムの透視能力が可能になった。代替的には、フリーフォームプリズム510は、照射光学系として中核機能を省略してもよい。
【0027】
楔形のフリーフォームプリズム510は、3つの光学的な表面を含んでもよく、そのうちの少なくとも1つは、回転対称であるか、または回転対称でない、非球面の表面であってもよい。本発明の1つの新機軸は、単一のフリーフォームプリズム510を介して、2つまたは3つの固有の光路(すなわち、眼照射光路505、眼画像化光路507、および表示光路509のうちの2つ以上)を一意的に組み合わせることができる、光学的なアプローチである。
図5Aは、フリーフォームプリズム510を含む、眼照射および画像化光学系の概略の設計を示す。照射光路505では、近赤外線LED530から放射された光線は、第1に表面3によって反射され、2つの表面1'および表面2による連続反射が続き、最終的に表面1を通して伝送され、眼10に到達する。表面1'上の反射は、内部全反射(TIR)の条件を満足する場合がある。LED530によって放射された光は、プリズム510によってコリメートされる場合があり、眼10に対して均一な照射をもたらす。近赤外線で照射された眼10は、次いで赤外線画像センサー560によって画像化されてもよい。眼画像化光路507では、光線が、眼10に散乱して落ち、第1に表面1によって反射されてもよく、表面2および1'による2つの連続反射が続き、最終的には表面3を通して伝送されてもよく、そしてセンサー560に達する。眼画像化の光学的な性能を改善するために追加的なレンズ562が、プリズム510の表面3と画像センサー560との間に挿入されてもよい。画像化センサー560によって受容された光を閉じ込めるために、小さい開口絞り550が、レンズ562の近くまたは内側に置かれてもよい。
【0028】
図5Bは、フリーフォームプリズム510を使用してマイクロディスプレイ520上の画像を拡大し、快適な鑑賞距離で虚像を形成する、HMD光学系の表示光路509概略的に図示する。マイクロディスプレイ520上の点から放射された光線は、第1にフリーフォームプリズム510の表面3によって反射されてもよく、表面1'および2による2つの連続反射が後に続き、最終的に、システム500の射出瞳512に到達するように表面1を通過して伝送されてもよい。表面1'上の反射は、TIR条件を満足する場合がある。多重の要素を必要とするよりも、むしろプリズム構造内で光路が自然に折り曲げられる。表示光路509の光学的な性能をさらに改良するために、プリズム510の表面3と、マイクロディスプレイ520との間に、さらなるレンズが、挿入されてもよい。
【0029】
図5Cは、照射、画像化、および表示光学系が同一のプリズム510を備え、高品質の眼画像を形成するために、照射LEDs530およびピンホール様の550が、マイクロディスプレイ520の縁部540の周囲に置かれる、統合型システム500を概略的に図示する。
図5Cに、絞りおよびLED構成の一例が図示される。絞り550およびLEDs530は、マイクロディスプレイ520の周囲の周辺部内の他の位置に置かれてもよいことを注意する価値がある。加えて、絞り550およびLEDs530は、マイクロディスプレイ520と同一平面であってもそうでなくても使用されてもよい。システム性能を改良するために、追加的なレンズが、照射光路505、眼画像化光路507、および表示光路509のうちの1つ以上で使用されてもよい。さらに、マイクロディスプレイ520に最も近い表面、表面3で、照射光路505、眼画像化光路507、および表示光路509は、表面3のそれぞれの部分が異なると衝突する場合がある(しかし、部分的な重なりは許容される)。
【0030】
透視能力を可能にするために、プリズム510の表面2は、半透鏡としてコーティングされてもよい。マイクロディスプレイ520からの光線は、表面2によって反射される場合があるが、実世界の場面からの光線は、伝送される。
図5Dは、プリズム510に固着される2つのフリーフォームの表面4および5からなる、実世界視覚経路511へのフリーフォームプリズム510によって導入された視覚軸の偏差および収差を修正するためのフリーフォーム補助レンズ515を概略的に図示する。通常補助レンズ515の表面4は、プリズム510の表面2と同一の規定を有し、補助レンズ515の表面5は、軸の偏差および収差を修正するように最適化される。補助レンズ515は、システムの全体的な設置面積または重量を目立つほど増加することはない。全体的に、例示的なシステム500は、軽量で、小型で、堅牢な、視線追跡HMDの解決法を提供し、いかなる既存のHMDのアプローチよりも目立ちすぎない形状因子を潜在的に供給することができ、これは、設計のコンピューター解析によりさらに実証される。
【0031】
図6は、
図5に図示される2反射楔形のフリーフォームプリズム510に基づく、最適化されたシステムの2次元の光学的なレイアウトを概略的に図示する。この実施では、眼画像化光路507の性能を改善するために、画像化レンズ562が、使用される場合がある。絞り550は、プリズム510の表面3の近くに位置付けられてもよい。近赤外線LED530は、マイクロディスプレイ520の周辺に位置付けられてもよい。
図7は、
図5Dの例示的な光学的システムの3Dモデル700を概略的に図示し、
図8は、
図6および
図7に示す光学的な設計に基づく両眼のET-HMDプロトタイプ800の3Dモデルを概略的に図示する。全体的なシステムの仕様は、表1に一覧で記載される。
【0032】
【0033】
フリーフォームプリズム510の例示的な光学的な規定が、表面1、表面2、および表面3のそれぞれに対して表2~表4に一覧で示される。プリズム510の3つの光学的な表面のうちの表面1は、歪像の非球面の表面(AAS)である。AAS表面のサグは、以下の式、
【0034】
【0035】
によって定義され、式中zは、フリーフォーム表面のサグであり、局所x、y、z座標系のz軸に沿って測定され、cxおよびcyは、それぞれx軸およびy軸での頂点曲率であり、KxおよびKyは、それぞれx軸およびy軸での円錐定数であり、AR、BR、CR、およびDRは、それぞれ円錐からの4次変形、6次変形、8次変形、および10次変形の回転対称の部分であり、AP、BP、CP、およびDPは、円錐からの4次変形、6次変形、8次変形、および10次変形の非回転対称の構成要素である。
【0036】
プリズム510の表面2は、以下の式、
【0037】
【0038】
で定義されるXY多項式曲面であってもよく、式中zは、局所x、y、z座標系のz軸に沿って測定されたフリーフォーム表面のサグであり、cは、頂点曲率(CUY)であり、kは、円錐定数であり、そしてCjは、xmynに対する係数である。
【0039】
表面3は、回転対称のキノフォーム回析光学素子を有する非球面の表面であってもよく、以下の式、
【0040】
【0041】
によって定義される非球面の表面のサグを有し、式中zは、局所x、y、z座標系のz軸に沿って測定された表面のサグであり、cは、頂点曲率であり、kは、円錐定数であり、A~Jは、それぞれ4次変形係数、6次変形係数、8次変形係数、10次変形係数、12次変形係数、14次変形係数、16次変形係数、18次変形係数、および20次変形係数である。
【0042】
【0043】
【0044】
【0045】
例示的なフリーフォーム修正器515レンズの表面5の光学的な規定が、表5に一覧で記載される。レンズ515の表面4は、プリズム510の表面2と同一の規定を有し、レンズ515の表面5は、表面2と同一の式で定義されるXY多項式曲面である。
【0046】
【0047】
例示的な設計のディスプレイの面では、プリズム510は水平から46度、または40度で、垂直から22度の対角線の視野を提供する。これは、ピクセルサイズが約8μmで、対角線サイズが0.9インチ以下のマイクロディスプレイ520を提供する。プロトタイプは、アスペクト比が16:9で、解像度が1920×1200ピクセルの0.86インチのマイクロディスプレイを使用して製作された。
【0048】
例示的な設計は、高い画像コントラストと、高い解像度を達成した。
図9A~
図9Dは、4mmの中心瞳孔のHMD光路の視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。MTF曲線は、50lps/mmのカットオフ解像度(10μmピクセルの解像度と等価)において、0.2の平均コントラストを実証し、35lps/mmのカットオフ解像度(15μmピクセルの解像度と等価)において、0.3より高い平均コントラストを実証する。
図10は、仮想表示光路の歪曲グリッドをさらに実証する。
【0049】
眼画像化および照射の面では、フリーフォームプリズム510を通して、均等に照射された眼領域を作り出すために、画像源の周囲に1つ以上の近赤外線LED530が置かれる。フリーフォームプリズム510は、水平および垂直の方向にそれぞれ約30mm×20mmの眼領域に対して均一な照射を提供することができる。同一の照射された眼領域は、高解像度近赤外線センサー560によって取得される。画像化される領域は、眼球運動の追跡を可能にするのに十分である。眼画像化光路を分解できるピクセルサイズは、約10μmである。
図11は、眼画像化光路の変調伝達関数(MTF)を図示する。MTF曲線は、50lps/mmのカットオフ解像度(10μmピクセルの解像度と等価)において、0.1の平均コントラストを実証し、30lps/mmのカットオフ解像度(16μmピクセルの解像度と等価)において、0.3より高い平均コントラストを実証する。
図12は、眼画像化光路の歪曲グリッドをさらに実証する。
【0050】
システム500の透視の面では、固着されたプリズム510およびフリーフォーム補正レンズ515は、水平から約100度、または80度で、垂直から50度の対角線視野を提供する。透視性視野は、改善された状況認識のために仮想表示視野よりかなり広く設計される。透視システムのアイボックスサイズは、使用の容易さおよび鑑賞の快適さをさらに改善するために、仮想表示システムより大きくなるように最適化される。この設計実施形態は、高い画像コントラストと解像度を達成する。
図13A~
図13Dは、透視光路内の4mmの中心瞳孔の中央の30×22度の視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。MTF曲線は、ほぼ回折限界の性能を実証する。
図13A~
図13Dでは、0.5サイクル/分は、1分の角度の空間的解像度に対応し、これは、視力20/20の分解能であり、1サイクル/分は、0.5分の角度の空間的解像度に対応し、これは視力20/15の分解能である。サンプリングされた視野にわたる平均MTFは、0.5サイクル/分(1分の角度の角度的解像度と等価)のカットオフ解像度で、0.5より大きく、平均コントラストは、1サイクル/分(0.5分の角度の角度的解像度と等価)のカットオフ解像度で0.4より大きい。80×50透視性視野全体にわたる平均MTFは、0.5サイクル/分のカットオフ周波数で、0.35より大きい。
図14は、全視野にわたる透視性表示光路の歪曲グリッドをさらに図示する。中心の40×22度でのひずみは、2%未満であり、全視野にわたるひずみは、8%未満である。
【実施例2】
【0051】
図15A~
図15Bは、本発明の第2の構成の例示的な設計を概略的に図示し、ここで画像化システム1500の絞り1540は、マイクロディスプレイ1520を包囲してもよい。マイクロディスプレイ平面は、赤外線センサー1560によって光線を集めることを可能にし、赤外線センサー1560上での眼画像化のために絞り1540として機能する場合がある赤外線透過性領域1527と、赤外線光線が赤外線センサー1560に達するのを遮る、有効なディスプレイ領域に対応するマイクロディスプレイ1520(非透過性)の有効領域と、マイクロディスプレイの物理的フレームに対応する、これも光線が赤外線センサー1560に達するのを遮る、赤外線透過性領域とマイクロディスプレイ領域との間の第3の非透過性フレーム1523と、の3つの区域に分けられる。画像化システム1500では、プリズム1510、マイクロディスプレイ1520、および赤外線センサー1560のそれぞれの光軸は同軸であってもよい。よって、赤外線センサー1560は、マイクロディスプレイ1520が眼の瞳孔の画像を取得した後、置かれる場合がある。赤外線センサー1560からプリズム1510までの距離は、フリーフォームプリズム1510を通した眼の瞳孔の画像位置に依存し、これは最終的には表示光路の設計に依存する。例えば、フリーフォームプリズム1510が、表示空間内で、テレセントリックになるように、またはテレセントリックに近くなるように設計される場合、主光線は、互いにほぼ平行になり、これらがマイクロディスプレイ1520に交わる前に、マイクロディスプレイ表面に直角になる。これは、プリズム1510を通した眼の瞳孔の画像が、無限遠または著しく遠い距離に位置付けられることを意味する。この場合、眼画像化光路の全体的な長さを低減し、かつ良好な画像品質を達成するために、1つ以上の追加的な画像化レンズ1562を、赤外線センサー1560とプリズム1510との間に挿入する必要がある場合がある、
図15A。
【0052】
一方で、フリーフォームプリズム1510が非テレセントリックとなる(すなわち、主光線がプリズム1510の後ろのいずれかの短い距離の点に集中する)ように設計される場合、眼の瞳孔は、プリズム1510によってかなり近い距離で画像化され、赤外線センサー1560は、さらなる画像化レンズ1562の必要無しに、プリズム1510のすぐ後ろに置くことができる。実際には、テレセントリック性または近似テレセントリック性の条件は、虚像が視野全体にわたってより均一に表示されるので、表示光路を設計するときしばしば望ましい。マイクロディスプレイ1520が狭い角度内でのみ光を放出または反射するとき、この条件が要求される場合がある(例えば、LCoSタイプのマイクロディスプレイなどのデバイス)。マイクロディスプレイ1520が幅広い放射角度を提示するとき(例えば、OLED)、テレセントリック性条件を緩めることができる。
【0053】
近赤外線LEDは、
図3Bに記載したのと同様のやり方で、絞り1540の周囲に置かれてもよく、または代替的に近赤外線LED1530は、プリズム1510の縁部の周囲に置かれて、
図15Aに示すように眼10を直接照射してもよい。さらに、プリズム1510の縁部の周囲の近赤外線LED1530が、プリズム1530を使用せずに眼10を直接照射することは、例えば
図5A~
図6、または
図16に示されたものを含む、本発明の任意の他の構成で実施されてもよい。
【実施例3】
【0054】
図16は、中核光学系310に対して回転対称の光学系を利用する、
図3に示す光学的なスキームの例示的な設計1600を概略的に図示する。小型フリーフォームを基にしたプリズム510を使用する代わりに、表示鑑賞、眼画像化および眼照射のために、4要素視覚光学系1610が、中核光学系310として使用される。マイクロディスプレイ1620は、光学系1610の焦点面に置かれてもよい。1つの光源1630(近赤外線LEDなどの)が、画像源1620の周囲に置かれてもよい。ピンホール様の絞り1640およびマイクロ画像化レンズ1662は、画像化センサー1660上に眼画像を形成するために、画像源1620の端部の周囲にも置かれてもよい。さらなる光源1630および画像化サブシステム(マイクロ-画像化レンズ1662および画像化センサー1660)を、他の用途のための必要に応じて、画像源1620の周囲に配設することができる。例示的な設計1600では、表示光学系1610およびマイクロディスプレイ1620のそれぞれの光軸は、同軸であってもよく、一方で、画像センサー1660、光源1630、およびマイクロディスプレイ1620のうちの1つ以上のそれぞれの光軸は、互いに対して傾斜していても、かつ/または偏心していてもよい。フリーフォームの構成を用いて、マイクロディスプレイ1620に最も近い表面である表面8において、照射光路、眼画像化光路、および表示光路は、表面8の部分のそれぞれが異なると衝突するが、例えば、画像化光路と表示光路との間に図示するように、部分的な重なりは許容される。
【0055】
視覚光学系1610は、40度の対角線、20mmアイリリーフ、および10mmの眼の瞳孔のサイズを提供することができ、0.8インチ以下の対角線サイズの画像源1620を支持することができる。1つ以上の近赤外線LED1630は、視覚光学系を通して均等に照射される眼領域を作り出すために、マイクロディスプレイ1620の周囲に置かれてもよい。視覚光学系1610は、約15mm×15mmの眼領域に均一な照射を提供することができる。同一の照射される眼領域は、高解像度近赤外線センサー1630によって取得されてもよい。画像化される領域は、眼球運動の追跡を可能にするのに十分である。
【0056】
設計1600の例示的な光学的な規定が、表6~表9に提供される。
【0057】
【0058】
【0059】
表面11および12は、非球面の表面であってもよく、以下の式、
【0060】
【数4】
によって定義される非球面の表面のサグを有し、式中zは、局所x、y、z座標系のz軸に沿って測定された表面のサグであり、cは、頂点曲率であり、kは、円錐定数であり、A~Jは、それぞれ4次変形係数、6次変形係数、8次変形係数、10次変形係数、12次変形係数、14次変形係数、16次変形係数、18次変形係数、および20次変形係数である。
【0061】
【0062】
【0063】
上記の明細書から、本発明のこれらの、および他の利点は、当業者には明らかであろう。したがって、当業者には、本発明の広範な発明の概念から逸脱することなく、上記の実施形態に対する変更または改良がなされてもよいことが理解されるであろう。したがって、本発明は、本明細書に記載される特定の実施形態に限定されず、特許請求の範囲および本発明の趣旨内のすべての変更および改良を含むことが意図されることを理解するべきである。