特許 7632467 画像表示装置および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-10

(45)【発行日】2025-02-19

(54)【発明の名称】画像表示装置および画像表示方法

(51)【国際特許分類】

   G02B 27/02 20060101AFI20250212BHJP

   A61B 3/113 20060101ALI20250212BHJP

   G09G 5/00 20060101ALI20250212BHJP

   G09G 5/38 20060101ALI20250212BHJP

   H04N 5/64 20060101ALI20250212BHJP

【ＦＩ】

G02B27/02 Z

A61B3/113

G09G5/00 550C

G09G5/38 100

G09G5/00 X

H04N5/64 511A

【請求項の数】 15

(21)【出願番号】P 2022532387

(86)(22)【出願日】2021-05-12

(86)【国際出願番号】 JP2021018072

(87)【国際公開番号】W WO2021261100

(87)【国際公開日】2021-12-30

【審査請求日】2024-03-14

(31)【優先権主張番号】P 2020106965

(32)【優先日】2020-06-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100112874

【弁理士】

【氏名又は名称】渡邊 薫

(72)【発明者】

【氏名】奥 貴司

【審査官】山本 貴一

(56)【参考文献】

【文献】国際公開第２０１４／０１７３４８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／２０３８１５（ＷＯ，Ａ１）

【文献】特開平０８－１５４８９８（ＪＰ，Ａ）

【文献】米国特許第１０４１７７８４（ＵＳ，Ｂ１）

【文献】特表２０１１－５０８９１１（ＪＰ，Ａ）

【文献】特開２００７－０４１５０４（ＪＰ，Ａ）

【文献】特開２０１０－０３９２１９（ＪＰ，Ａ）

【文献】特表２０１３－５４０２７８（ＪＰ，Ａ）

【文献】特表２００６－５０６６６０（ＪＰ，Ａ）

【文献】特開２００６－０５３３２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／０１，２７／０２

Ｇ０９Ｇ ５／００

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

画像を表示させる画像表示光および前記画像表示光の共役光を出射する光源部と、
前記光源部から出射された前記画像表示光をユーザの眼の瞳孔に投射し、前記光源部から出射された前記共役光を前記ユーザの眼の瞳孔周辺に投射する光学系と、
前記光学系から投射された前記共役光が前記瞳孔周辺で反射した反射光を検出する検出部と、
前記検出部で検出した反射光に基づいて、表示させる画像の位置を制御する制御部と、を備える画像表示装置。

【請求項2】

前記光学系は、前記画像表示光および前記共役光の方向を変化させて前記ユーザの眼へ集光させる集光部と、前記画像表示光および前記共役光の振幅または位相を空間的に変調させる変調部と、を有する、請求項１に記載の画像表示装置。

【請求項3】

前記検出部は、前記画像表示光が前記瞳孔へ入射して網膜上で結像した結像画像と、前記共役光が前記瞳孔周辺で反射した反射画像と、を撮像する撮像部を有し、
前記制御部は、前記撮像部で撮像した前記結像画像および前記反射画像に基づいて、表示させる画像のずれ量および補正量を演算する、請求項１に記載の画像表示装置。

【請求項4】

前記制御部は、前記表示させる画像のずれ量および補正量を演算することにより、前記ユーザの現在の視線方向および光軸方向を算出する、請求項３に記載の画像表示装置。

【請求項5】

前記瞳孔周辺は、虹彩、強膜、前記瞳孔と前記虹彩との境界、および、前記虹彩と前記強膜との境界、のいずれか一つである、請求項１に記載の画像表示装置。

【請求項6】

前記制御部は、前記共役光のフーリエ像の前記瞳孔周辺での位置に基づいて、前記表示させる画像の初期位置からの前記眼の視線方向に垂直な平面内のずれを算出する、請求項１に記載の画像表示装置。

【請求項7】

前記制御部は、前記共役光のフーリエ像のデフォーカス量に基づいて、前記表示させる画像の初期位置からの前記眼の視線方向のずれを算出する、請求項１に記載の画像表示装置。

【請求項8】

前記制御部は、前記表示させる画像の初期位相を調整することで、前記表示させる画像のフーリエ像の大きさや分離幅を変更する、請求項１に記載の画像表示装置。

【請求項9】

前記光学系は、共軸光学系である、請求項１に記載の画像表示装置。

【請求項10】

前記検出部は、両眼から前記画像表示光および前記共役光の情報を取得する、請求項１に記載の画像表示装置。

【請求項11】

前記集光部は、前記共役光を反射させる光学素子に回折光学素子を用いている、請求項２に記載の画像表示装置。

【請求項12】

前記光学系は、フーリエ面に光束シフトおよび／または分割デバイスを有する、請求項１に記載の画像表示装置。

【請求項13】

前記光源部は、複数の光源を用いている、請求項１に記載の画像表示装置。

【請求項14】

前記光学系は、初期位置の出射パターンを一部のフレームに入れ込み、前記表示させる画像のずれ量を測量し定期的にキャリブレーションを行う、請求項１に記載の画像表示装置。

【請求項15】

画像を表示させる画像表示光および前記画像表示光の共役光を出射するステップと、
出射された前記画像表示光および前記共役光を、それぞれユーザの眼の瞳孔および前記ユーザの眼の瞳孔周辺に投射するステップと、
投射された前記共役光が前記瞳孔周辺で反射した反射光を検出するステップと、
検出した前記反射光に基づいて、表示させる画像の位置を制御するステップと、
を含む画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像表示装置および画像表示方法に関し、より詳細には、ホログラフィック方式の画像を表示する画像表示装置およびこれを用いた画像表示方法に関する。

【背景技術】

【0002】

近年、ユーザの顔等の身体に装着されて、ユーザに画像を表示する装置として、ヘッドマウントディスプレイ（ＨＭＤ）等の画像表示装置（アイウェア）が知られている。

【0003】

このようなアイウェアにおいてアイトラッキング（視線追跡）を行う場合、一般的に映像光とは異なる照明系が必要となり、通常は赤外光を用いた照明を設置することが多い。また、これらはフレーム周辺へ配置されることが多くアイウェア自体が大きくなる。

【0004】

また、透過型アイウェアにおいて、アイウェアのフレームは画像重畳時の没入感低下を招くため、視界を邪魔しないことが求められるが、赤外光照明を配置するためにどうしてもフレーム幅が太くなる傾向があり、没入感低下につながる方向にある。

【0005】

さらに、狙ったパターンを生成し眼球に照射したい場合は、さらに追加の光学系が必要となりアイウェア全体の大きさが大きくなる傾向がある。

【0006】

そこで、上記問題に鑑みて、従来からアイウェアを小型化する技術が提案されている。

【0007】

例えば、特許文献１では、画像を形成する画像用光線と、検査用光線と、を出射する１つの光源と、前記１つの光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記１つの光源から出射された前記検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域に投射する光学系と、前記検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、前記光検出器による前記反射光の検出結果に基づき、前記１つの光源及び前記光学系の少なくとも一方を制御する制御部と、を備えることを特徴とする画像投影装置が提案されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１７－００９９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１の技術では、画像表示装置を小型化し、かつトラッキング精度も向上させる解決策は提案されておらず、これらを同時に満たす画像表示装置のさらなる開発が望まれている。

【0010】

そこで、本技術では、画像表示装置を小型化しつつ、トラッキング精度も向上させることが可能な画像表示装置を提供することを主目的とする。

【課題を解決するための手段】

【0011】

本技術では、画像を表示させる画像表示光および画像表示光の共役光を出射する光源部と、光源部から出射された画像表示光をユーザの眼の瞳孔に投射し、光源部から出射された共役光をユーザの眼の瞳孔周辺に投射する光学系と、光学系から投射された共役光が瞳孔周辺で反射した反射光を検出する検出部と、検出部で検出した反射光に基づいて、表示させる画像の位置を制御する制御部と、を備える画像表示装置を提供する。

【0012】

また、本技術では、画像を表示させる画像表示光および画像表示光の共役光を出射するステップと、出射された画像表示光および共役光を、それぞれユーザの眼の瞳孔およびユーザの眼の瞳孔周辺に投射するステップと、投射された共役光が瞳孔周辺で反射した反射光を検出するステップと、検出した反射光に基づいて、表示させる画像の位置を制御するステップと、を含む画像表示方法を提供する。

【発明の効果】

【0013】

本技術によれば、画像表示装置を小型化しつつ、トラッキング精度も向上させることが可能な画像表示装置を提供することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0014】

【図1】本技術の第１実施形態に係る画像表示装置を上方から見た平面図である。

【図2】本技術の第１実施形態に係る画像表示装置を用いて撮像した撮像画像の一例の模式図である。

【図3】本技術の第１実施形態に係る画像表示装置を上方から見た平面図である。

【図4】本技術の第１実施形態に係る画像表示装置を用いて撮像した撮像画像の一例の模式図である。

【図5】本技術の第１実施形態に係る制御部の構成例を示すブロック図である。

【図6】本技術の第１実施形態に係る画像表示方法の例を示すフローチャートである。

【図7】本技術の第１実施形態に係る画像表示装置の変形例を用いて撮像した撮像画像の一例の模式図である。

【図8】本技術の第２実施形態に係る画像表示装置を上方から見た平面図である。

【図9】本技術の第３実施形態に係る画像表示装置を上方から見た平面図である。

【図10】本技術の第３実施形態に係る画像表示装置を用いて撮像した撮像画像の一例の模式図である。

【図11】本技術の第３実施形態に係る画像表示装置を用いて撮像した撮像画像の他の例の模式図である。

【図12】本技術の第３実施形態に係る画像表示装置を用いて撮像した撮像画像の他の例の模式図である。

【図13】本技術の第３実施形態に係る画像表示装置を用いて撮像した撮像画像の他の例の模式図である。

【図14】本技術の第４実施形態に係る画像表示装置を上方から見た平面図である。

【図15】本技術の第５実施形態に係る画像表示装置を上方から見た平面図である。

【図16】本技術の第６実施形態に係る画像表示装置を用いて撮像した撮像画像の一例の模式図である。

【発明を実施するための形態】

【0015】

以下、本技術を実施するための好適な形態について図面を参照しながら説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、いずれの実施形態も組み合わせることが可能である。また、これらにより本技術の範囲が狭く解釈されることはない。なお、説明は以下の順序で行う。
１．第１実施形態
（１）画像表示装置の構成例
（２）制御部の構成例
（３）画像表示方法（トラッキングの方法）の例
（４）変形例
２．第２実施形態
３．第３実施形態
（１）画像表示装置の構成例
（２）撮像画像の例
４．第４実施形態
５．第５実施形態
６．第６実施形態
７．その他の適用用途

【0016】

１．第１実施形態
（１）画像表示装置の構成例
まず、図１および図２を参照して、本技術の第１実施形態に係る画像表示装置の構成例について説明する。図１は、本実施形態に係る画像表示装置１００の構成例を示す上方から見た平面図である。図２は、画像表示装置１００を用いて眼球１０５の正面を撮像した撮像画像の一例を示す模式図である。

【0017】

画像表示装置１００は、例えば、ホログラムに光を当て、それに記録されている干渉縞による回折を利用して、元の信号波である物体光と同じ波面をつくり出すホログラフィック方式の波面再生アイウェアディスプレイとして用いることができる。なお、画像表示装置１００は、主に拡張現実（ＡＲ）を対象とするオフアクシスの光学系に適用することができる。

【0018】

図１に示すように、画像表示装置１００は、一例として、波面再生を行う光学エンジンである光学部１０１と、画像表示光ＯＬおよび共役光ＣＬ等の光束の方向を変化させてユーザの眼へ集光させ、瞳孔へと導く集光部であるコンバイナ１０２と、眼球および光束の位置関係データを取得する検出部である撮像部１０３と、像の生成や像の位置調整等を行う制御部１０４と、を備える。

【0019】

画像表示装置１００は、光学部１０１およびコンバイナ１０２で光学系を形成している。光学系は、後述する光源部を除く光学部１０１およびコンバイナ１０２を示すこともでき、光源部から出射された共役光ＣＬをユーザの眼の瞳孔周辺に投射する役割を有する。コンバイナ１０２は、共役光ＣＬを反射させる光学素子１１３を有し、光学素子１１３に回折光学素子（ＤＯＥ）を用いている。

【0020】

撮像部１０３は、光学系から投射された共役光ＣＬが瞳孔周辺で反射した反射光を検出する検出部に含まれる。撮像部１０３は、画像表示光ＯＬが瞳孔へ入射して網膜上で結像した結像画像の反射光と、共役光ＣＬが瞳孔周辺で反射した反射画像と、を撮像する。なお、撮像部１０３は、片眼からだけでなく、両眼から画像表示光ＯＬおよび共役光ＣＬの情報を取得することができる。

【0021】

光学部１０１は、半導体レーザ（ＬＤ）、スーパールミネッセントダイオード（ＳＬＤ）、発光ダイオード（ＬＥＤ）等による（部分）コヒーレント光源を発生させる光源部１１１と、画像表示光ＯＬおよび共役光ＣＬの振幅または位相を空間的に変調させる変調部である空間光位相変調素子（ＳＬＭ）１１２とを有する。光学部１０１は、物体の画像を表示させる画像表示光（物体光）ＯＬおよび画像表示光ＯＬの共役光ＣＬを生成する。ここで、共役光とは、対応する画像表示光とのなす角度が担保された光をいう。光学部１０１の具体例としては、レンズまたはレンズ性能を持つホログラム光学素子（ＨＯＥ）、回折光学素子（ＤＯＥ）、メタサーフェス、メタマテリアル等の光学部品が挙げられる。

【0022】

光学部１０１の光源部１１１から出射された画像表示光ＯＬおよびその共役光ＣＬは、ＳＬＭ１１２上の計算機合成ホログラム（ＣＧＨ）に表示される。このとき、画像表示光ＯＬおよびその共役光ＣＬは、互いに共役であるため、互いの角度関係が担保される。画像表示光ＯＬおよびその共役光ＣＬが、コンバイナ１０２に入射し、コンバイナ上のそれぞれの光学素子から反射された波面が生成され、再生された画像表示光ＯＬがユーザの眼球１０５に入射される。眼球１０５に入射された画像表示光ＯＬは瞳孔へと入射し網膜上で結像する。

【0023】

図１では、ユーザの眼球１０５の視線方向である奥行き方向をＺ方向（紙面に向かって上下方向）とし、Ｚ方向に対して垂直な面内において、互いに直交する方向をＸ方向（紙面に向かって左右方向）およびＹ方向（紙面に向かって表裏方向）としている。

【0024】

図２は、画像表示装置１００を用いて撮像した撮像画像の一例を示す模式図である。図２に示すように、画像表示光ＯＬは、眼球１０５の瞳孔１２１から網膜へ入射する。一方、共役光ＣＬは、眼球１０５の瞳孔１２１周辺の例えば、虹彩１２２と強膜１２３との境界へ入射する。ここで、瞳孔１２１周辺とは、虹彩１２２、強膜１２３、瞳孔１２１と虹彩１２２との境界、および、虹彩１２２と強膜１２３との境界、のことをいう。なお、共役光ＣＬは、虹彩１２２と強膜１２３との境界に投射することで、画像表示光ＯＬの位置をより判断しやすくなる。

【0025】

図２では、ユーザの眼球１０５の視線方向である奥行き方向をＺ方向（紙面に向かって表裏方向）とし、Ｚ方向に対して垂直な面内において、互いに直交する方向をＸ方向（紙面に向かって左右方向）およびＹ方向（紙面に向かって上下方向）としている。

【0026】

次に、図１から図４を参照して、画像表示装置１００を用いたアイトラッキングの概要について説明する。図３は、ずれた画像が瞳孔に入射された場合の画像表示装置１００の構成例を示す上方から見た平面図である。図４は、ずれた画像が瞳孔に入射された場合の撮像した撮像画像の一例を示す模式図である。

【0027】

図３に示すように、入射された画像表示光ＯＬが瞳孔１２１の中心（初期基準位置）からずれた場合、共役光ＣＬも同じ量だけずれて、瞳孔１２１周辺に入射する。具体的には、例えば、図４に示すように、画像表示光ＯＬが、瞳孔１２１の中心からずれ量ｄ１だけ図４の紙面に向かって右側方向にずれた場合、共役光ＣＬもずれ量ｄ１だけ図４の紙面に向かって右側方向にずれて、強膜１２３に入射する。

【0028】

このとき、眼球１０５に入射された画像表示光ＯＬは、ずれ量ｄ１だけ瞳孔１２１の中心からずれて瞳孔へと入射し網膜上で結像する。一方、共役光ＣＬは、ずれ量ｄ１だけずれた位置の強膜１２３上で反射するため、その反射した像を撮像部１０３で撮像する。撮像部１０３で撮像した撮像画像を制御部１０４が取得し、制御部１０４でずれ量ｄ１および補正量についてシフトすべき量を演算し、再度制御部１０４にフィードバックを行う。

【0029】

補正の方法としては、波面生成時に光学部１０１内のＳＬＭ１１２に重畳する位相パターンを変化させる方法や、追加で動的な光学素子（ＭＥＭＳミラー、液体プリズム等）のステアリング素子を挿入する方法もある。

【0030】

初期基準位置からの画面と同一平面内における上下左右方向（ＸＹ方向）へのずれは、共役光ＣＬのフーリエ像の眼球１０５上での位置を観察することにより、初期基準位置からのずれを演算することによりにより求めることが可能となる。また、眼球１０５の視線方向である奥行き方向（Ｚ方向）へずれた場合は共役光ＣＬのフーリエ像が、フォーカス位置から光軸方向にずれている量であるデフォーカス量により判断することが可能である。

【0031】

（２）制御部の構成例
次に、図５を参照して、本実施形態に係る制御部の構成例について説明する。図５は、画像表示装置１００の制御部１０４の構成例を示すブロック図である。制御部１０４は、画像の生成や画像の位置調整の他、初期基準位置のデータの保存を行う。また、制御部１０４は、画像データから演算を行って画像の位置の導出およびその位置の予測等も行う。

【0032】

ここで、初期基準位置は、例えばヘッドマウントディスプレイ（ＨＭＤ）を使用する場合、これをユーザの頭部の装着した時の位置に基づいて映像が見える位置に設定する。この初期基準位置の設定方法は、ＶＲヘッドセットの様な機械的な方法や、他の電気的駆動ミラー等を用いた電気的な方法等が挙げられる。なお、初期位置設定後のずれ調整のためにレンジを確保したいため、最初からＳＬＭは使っていない。

【0033】

図５に示すように、制御部１０４は、一例として、中央処理部（ＣＰＵ）１３１と、演算部１３２と、判定部１３３と、記憶部１３４と、を備える。ＣＰＵ１３１は、演算部１３２、判定部１３３および記憶部１３４のそれぞれと電気的に接続され、各部の指令を統括する。

【0034】

演算部１３２は、共役光ＣＬのずれ量および補正量を演算する。判定部１３３は、共役光ＣＬのずれ量が許容範囲か否かを判定する。記憶部１３４は、演算部１３２で演算したずれ量および補正量を記憶する。ＣＰＵ１３１は、適当なタイミングで記憶部１３４に記憶されたずれ量または補正量を読み出す。

【0035】

制御部１０４は、表示させる画像のずれ量および補正量を演算することにより、ユーザの現在の視線方向および光軸方向を算出することができる。また、制御部１０４は、共役光ＣＬのフーリエ像の瞳孔１２１周辺での位置に基づいて、表示させる画像の初期基準位置からのＸＹ方向へのずれを算出することができる。また、制御部１０４は、共役光ＣＬのフーリエ像のデフォーカス量に基づいて、表示させる画像の初期基準位置からのＺ方向へのずれを算出することもできる。さらに、制御部１０４は、表示させる画像の初期位相を調整することで、表示させる画像のフーリエ像の大きさや分離幅を変更することもできる。

【0036】

（３）画像表示方法（トラッキングの方法）の例
次に、図６を参照して、本実施形態に係る画像表示方法（トラッキングの方法）の例について説明する。図６は、画像表示装置１００を用いた画像表示方法の例を示すフローチャートである。

【0037】

まず、ステップＳ１において、ユーザが、アイウェアである画像表示装置１００を装着する。画像表示装置１００を装着したら、画像表示装置１００の電源をオンにする。

【0038】

次に、ステップＳ２において、制御部１０４が、表示させる画像の初期基準位置を例えば瞳孔１２１の中心に合わせる。初期基準位置を合わせたら、その初期基準位置を記憶する。その後、光学部１０１が、画像を表示させる画像表示光ＯＬおよび画像表示光ＯＬの共役光ＣＬを出射する。

【0039】

ステップＳ３において、光学部１０１が、出射した画像表示光ＯＬおよび共役光ＣＬを、それぞれユーザの眼の瞳孔１２１およびユーザの眼の瞳孔１２１周辺に投射する。そして、ユーザが、画像表示装置１００に表示された画像または映像を視聴する。

【0040】

ステップＳ４において、検出部が、投射された共役光ＣＬが瞳孔１２１周辺で反射した反射光を検出する。すなわち、検出部である撮像部１０３が、画像表示光ＯＬの共役光ＣＬによる画像または映像を撮像して取得する。

【0041】

ステップＳ５において、制御部１０４が、検出した反射光に基づいて、表示させる画像の位置を制御する。すなわち、制御部１０４の演算部１３２が、設定したフレームごとに、ずれ量を演算する。

【0042】

ステップＳ６において、判定部１３３が、ずれ量ｄ１が許容範囲内であるか否かの判定をする。許容範囲内である場合（ＹＥＳの場合）、ステップＳ３に戻って、ユーザは、画像表示装置１００に表示された画像または映像の視聴を継続する。許容範囲内でない場合（ＮＯの場合）、ステップＳ７に進む。

【0043】

ステップＳ７において、演算部１３２が、ずれ量ｄ１に基づいて補正量（シフト値）を演算し、画像表示光ＯＬの入射する位置を補正する。

【0044】

ステップＳ８において、記憶部（メモリ）１３４が、演算部１３２で演算した補正量を記憶して、ステップＳ９へ進む。

【0045】

ステップＳ９において、ＣＰＵ１３１が、補正量により補正した画像を画像表示装置１００に表示させてステップＳ３に戻り、ユーザに、補正した画像または映像を視聴させる。

【0046】

本実施形態に係る画像表示装置１００によれば、画像表示光ＯＬと共役光ＣＬとの関係が決まっているので、必ず画像表示光ＯＬから一定量離れた位置に画像表示光ＯＬを照射することができる。したがって、画像表示光ＯＬに対する照射光の相対位置が物理的な回折条件で完全に担保され、それらの相対位置のずれを危惧する必要性がない。

【0047】

このように、画像表示装置１００は、ＣＧＨを用いた波面再生方式のアイウェアディスプレイについて、画像表示光ＯＬと同時に生成され物理的に決まった角度へと出射される共役光ＣＬを利用しているため、アイトラック用の追加の光源やパターンジェネレータを必要とせずに、精密かつ正確なアイトラッキングを行うことができる。なお、画像表示装置１００は、画像表示光ＯＬの照射位置および出射数を動的に変化させることもできる。

【0048】

また、画像表示装置１００は、表示させる画像（再生画像）の初期位相を変化させることによって、共役光ＣＬの画像表示光ＯＬからの距離や共役光ＣＬのパターンを変化させることができる。これによって、密度の高い共役光ＣＬのパターンを作ることができるため、画像表示光ＯＬによって画像を表示させながら、その傍に出てくる共役光ＣＬによって目の向きを探ることができるので、トラッキング精度を高めることができる。

【0049】

また、画像表示装置１００は、２次元状の複数の画像表示光ＯＬを出射し、眼球１０５の曲面上での反射パターン変化からＸＹ面内の並進ずれを検出することができる。さらに、画像表示装置１００は、共役光ＣＬのデフォーカス量を利用することにより、Ｚ方向の奥行きを感知し、かけずれ量を検知することもできる。なお、かけずれ量は、一定時間毎にセンシングされ更新することができる。

【0050】

以上の通り、ＣＧＨを用いた波面再生ディスプレイ等の画像表示装置１００においては、画像表示光ＯＬの他に共役光ＣＬが出射される。この共役光ＣＬは、従来不要なものとしてフィルタ等で除去されたり使用されていなかったりしていたが、共役光ＣＬを指標としてアイトラッキングに転用することでアイトラッキングやゲイズトラッキング等において非常に有益な基準として使用することができる。

【0051】

（４）変形例
次に、図７を参照して、画像表示装置１００の変形例について説明する。図７は、本実施形態に係る画像表示装置１００の変形例を用いて撮像した撮像画像の一例の模式図である。本変形例は、コンバイナ１０２に多数次の回折光学素子（ＤＯＥ）を用いている。

【0052】

コンバイナ１０２上の共役光ＣＬを反射させる光学素子に、例えば、多数次に回折が出る薄いＤＯＥ等を用いることによって、図７に示すように、さらに複数の共役光ＣＬの回折パターンを得ることができる。これにより、より精度の高い視線や瞳孔１２１の位置を導出することが可能となるため、アイトラッキングの精度を高めることができる。

【0053】

２．第２実施形態
次に、図８を参照して、本技術の第２実施形態に係る画像表示装置の構成例について説明する。図８は、本実施形態に係る画像表示装置２００の構成例を示す上方から見た平面図である。画像表示装置２００は、仮想現実（ＶＲ）等の共軸光学系に適用することができる。

【0054】

図８に示すように、画像表示装置２００は、第１実施形態に係る画像表示装置１００と同様に、光学部１０１と、撮像部１０３と、制御部１０４と、を備える。さらに、画像表示装置２００は、接眼レンズ２０１を備えている。画像表示装置２００の光学部１０１、制御部１０４および接眼レンズ２０１は、各部の中心が同一直線上に配置され、光軸が直線状になっている。

【0055】

本実施形態に係る画像表示装置２００によれば、共軸光学系であっても、第１実施形態に係る画像表示装置１００と同様に、アイトラック用の追加の光源やパターンジェネレータを必要とせずに、精密かつ正確なアイトラッキングを行うことができる。

【0056】

３．第３実施形態
（１）画像表示装置の構成例
次に、図９を参照して、本技術の第３実施形態に係る画像表示装置の構成例について説明する。図９Ａは、本実施形態に係る画像表示装置３００の構成例を示す上方から見た平面図である。画像表示装置３００は、初期位相を調整することにより瞳上のパターンを分割することができる。

【0057】

図９Ａに示すように、画像表示装置３００は、一例として、光源部１１１と、ＳＬＭ１１２と、レンズＬ１と、レンズＬ２と、接眼レンズＬ３と、を備えている。画像表示装置３００の各構成は、直線状に配置されている。

【0058】

画像表示装置３００の光源部１１１から初期位相を調整して出射された画像表示光ＯＬは、ＳＬＭ１１２およびレンズＬ１を通り、レンズＬ１とレンズＬ２との間に第１フーリエ面ＦＰ１を発生させる。その後、レンズＬ２を通過した画像表示光ＯＬは、レンズＬ２と接眼レンズＬ３との間に画像面３０１を形成する。その後、接眼レンズＬ３を通過した画像表示光ＯＬは、眼球１０５の瞳孔１２１前にフーリエ面ＦＰ２を発生させる。

【0059】

図９Ｂは、第２フーリエ面ＦＰ２における、表示させる画像に周期的パターンを付加した場合を示している。図９Ｂに示すように、表示させる画像に周期的パターンを付加した場合、瞳の前の第２フーリエ面ＦＰ２での点数を増加させることが可能となり、眼球１０５の視野が広がることになる。

【0060】

（２）撮像画像の例
次に、図１０～図１３を参照して、画像表示装置３００を用いて撮像した撮像画像の例について説明する。図１０は、画像表示装置３００を用いて眼球１０５の正面を撮像した撮像画像の模式図である。

【0061】

図１０に示すように、表示させる画像に周期的パターンを付加した場合、瞳の前の第２フーリエ面ＦＰ２での点数を増加させることにより、瞳孔１２１に照射される画像表示光ＯＬが、１点だけでなく所定の狭い範囲において複数点に増加される。すると、瞳孔１２１周辺の虹彩１２２および強膜１２３に照射される共役光ＣＬも、画像表示光ＯＬと同様に、複数点に増加されるため、トラッキングのずれ量の判断がつきやすくなる。なお、複数点の数が多くなり、それらの間隔（ピッチ）が狭い方が、より精度高くトラッキングすることができる。

【0062】

したがって、画像表示装置３００は、精密にずれ量を検出したい場合、ＣＧＨを計算する段階で元画像の位相を調整することで瞳孔１２１に表示させる画像、つまり瞳孔１２１前面に発生すべきフーリエ像の大きさや分離幅を変更することが可能となる。例えば、より分割数の大きいフーリエ像を生成することが可能であり、これを任意のフレームに挿入することにより検出の精度を上げることが可能となり、瞳孔１２１の位置だけでなくアイトラッキングを行う際のより詳細な眼球１０５の回転量の推定にも役立つ。

【0063】

次に、図１１～図１３を参照して、画像表示装置３００を用いて眼球１０５の正面を撮像した撮像画像のずれの感知について説明する。図１１は、画像表示装置３００を用いて眼球１０５の正面を撮像した撮像画像のＸＹ面内の並進ずれの感知を説明するための模式図である。図１１Ａは、ずれがなく瞳孔１２１の中心に画像表示光ＯＬが照射されている基準状態を示す模式図である。図１１Ｂは、画像表示光ＯＬが、紙面に向かって右側方向にずれて瞳孔１２１に照射されている状態を示す模式図である。図１１Ｃは、画像表示光ＯＬが、紙面に向かって左側方向にずれて瞳孔１２１に照射されている状態を示す模式図である。

【0064】

図１１Ｂまたは図１１Ｃのように、撮像画像内の複数点の共役光ＣＬが、初期基準位置から許容範囲を超えてＸＹ方向にずれている場合、そのずれ量は、画像表示装置３００を用いて共役光ＣＬのフーリエ像の眼球１０５上での位置を観察し、初期基準位置からのずれを演算することにより求めることができる。

【0065】

図１２は、画像表示装置３００を用いて眼球１０５の正面を撮像した撮像画像のＺ方向の奥行きずれの感知を説明するための模式図である。図１２Ａは、焦点のずれがなく瞳孔１２１の中心に画像表示光ＯＬが照射されている基準状態を示す模式図である。図１２Ｂは、画像表示光ＯＬの焦点が、初期基準位置よりも眼球１０５から離れた位置に照射されている状態を示す模式図である。図１２Ｃは、画像表示光ＯＬの焦点が、初期基準位置よりも眼球１０５に近い位置に照射されている状態を示す模式図である。

【0066】

図１２Ｂまたは図１２Ｃのように、撮像画像内の複数点の共役光ＣＬの焦点が、初期基準位置から許容範囲を超えてＺ方向にずれている場合、そのずれ量は、共役光ＣＬのフーリエ像のデフォーカス量により判断することができる。

【0067】

図１３は、眼球１０５を頭上から見た平面内において、瞳孔１２１の向きが初期基準位置から左右に回旋角θだけ回旋した場合の回旋ずれの感知を説明するための模式図である。図１３Ａは、回旋ずれがなく瞳孔１２１の中心に画像表示光ＯＬが照射されている基準状態を示す模式図である。図１３Ｂは、瞳孔１２１が入射する画像表示光ＯＬに向かって左側方向に回旋した時に、画像表示光ＯＬが瞳孔１２１に照射された状態を示す模式図である。図１３Ｃは、瞳孔１２１が入射する画像表示光ＯＬに向かって右側方向に回旋した時に、画像表示光ＯＬが瞳孔１２１に照射された状態を示す模式図である。

【0068】

図１３Ｂまたは図１３Ｃのように、撮像画像内の複数点の共役光ＣＬが、初期基準位置から許容範囲を超えて回旋方向にずれている場合、そのずれ量は、画像表示装置３００を用いて共役光ＣＬのフーリエ像の眼球１０５上での位置を観察し、初期基準位置からのずれを演算することにより求めることができる。また、回旋方向にずれている場合は、図１３Ｂまたは図１３Ｃに示すように、虹彩１２２と強膜１２３との間における左右の幅の非対称性を観察することで、初期基準位置からのずれを判断することも可能となる。

【0069】

本実施形態に係る画像表示装置３００は、共役光ＣＬの画像表示光ＯＬからの距離やそのパターンを、表示させる画像の初期位相を変化させることによって変化させ、所定の狭い範囲に複数点の共役光ＣＬを観察しているため、第１実施形態に係る画像表示装置１００よりもさらにトラッキング精度を高めることができる。また、画像表示装置３００は、より精度の高い視線や瞳孔１２１の位置を導出することができる。

【0070】

さらに、画像表示装置３００は、共役光ＣＬのデフォーカス量を利用することにより、ＸＹ面内の並進ずれだけでなく、Ｚ方向（奥行き）を感知し、かけずれ量を検知することができる。なお、かけずれ量は、一定時間毎にセンシングされ更新することができる。

【0071】

４．第４実施形態
次に、図１４を参照して、本技術の第４実施形態に係る画像表示装置の構成例について説明する。図１４は、本実施形態に係る画像表示装置４００の構成例を示す上方から見た平面図である。画像表示装置４００は、光学部内に光束シフトまたは分割するデバイスを備えている。

【0072】

図１４に示すように、画像表示装置４００は、第１実施形態に係る画像表示装置１００と同様に、光学部４０１と、コンバイナ１０２と、撮像部１０３と、制御部１０４と、を備える。画像表示装置４００は、光学部４０１およびコンバイナ１０２で光学系を形成している。

【0073】

光学部４０１は、図示していないが、画像表示装置１００と同様に、光源部１１１と、ＳＬＭと、を有する。さらに光学部４０１は、例えばフーリエ面に、光束シフトおよび／または分割デバイス４１１を有する。

【0074】

画像表示装置４００は、光学部４０１内に光束シフトおよび／または分割デバイス４１１を有することにより、一例として、光学部４０１から出射される画像表示光を、画像表示光ＯＬ１、ＯＬ２およびＯＬ３に、これら画像表示光の共役光を、共役光ＣＬ１、ＣＬ２およびＣＬ３にシフトさせることができる。

【0075】

本実施形態に係る画像表示装置４００は、光学部４０１から出射された共役光ＣＬを分割することにより、フーリエ像を増幅させて複数点の共役光ＣＬを観察しているため、第１実施形態に係る画像表示装置１００よりもさらにトラッキング精度を高めることができる。さらに、画像表示装置４００は、瞳孔１２１が拡大した場合にも瞳孔１２１をトラッキングすることができる。

【0076】

５．第５実施形態
次に、図１５を参照して、本技術の第５実施形態に係る画像表示装置の構成例について説明する。図１５は、本実施形態に係る画像表示装置５００の構成例を示す上方から見た平面図である。画像表示装置５００は、光源部が複数の光源を用いてアイトラッキングを行うことができる。

【0077】

図１５に示すように、画像表示装置５００は、一例として、光源１からの光線５１１および光源２からの光線５１２を出射する光源部を有する光学部５０１と、反射鏡５０２と、プリズム５０３と、ＳＬＭ１１２と、レンズＬ１と、レンズＬ２と、接眼レンズＬ３と、を備える。

【0078】

光学部５０１が有する光源部内の初期位相を調整して出射された光源１からの光線５１１および光源２からの光線５１２は、反射鏡５０２でプリズム５０３へ向けて反射される。反射された光源１からの光線５１１および光源２からの光線５１２は、プリズム５０３内でＳＬＭ１１２へ向けて反射され、ＳＬＭ１１２から再びプリズム５０３を通ってレンズに向かう。レンズＬ１を通った光源１からの光線５１１および光源２からの光線５１２は、レンズＬ１とレンズＬ２との間に第１フーリエ面ＦＰ１を発生させる。その後、レンズＬ２を通過した画像表示光ＯＬは、レンズＬ２と接眼レンズＬ３との間に画像面３０１を形成する。その後、接眼レンズＬ３を通過した画像表示光ＯＬは、眼球１０５の瞳孔１２１前にフーリエ面ＦＰ２を発生させる。

【0079】

本実施形態に係る画像表示装置５００は、複数の光源を用いて画像表示光を、例えば光源１からの光線５１１および光源２からの光線５１２にシフトさせると共に、それらの共役光もシフトさせることにより、フーリエ像を増幅させて複数点の共役光ＣＬを観察している。したがって、画像表示装置５００によれば、第１実施形態に係る画像表示装置１００よりもさらにトラッキング精度を高めつつ、瞳孔１２１が拡大した場合にも瞳孔１２１をトラッキングすることができる。

【0080】

６．第６実施形態
次に、図１６を参照して、本技術の第６実施形態に係る画像表示装置を用いたアイトラッキングの例について説明する。図１６は、本技術に係る画像表示装置を用いて撮像した撮像画像の一例の模式図である。本実施形態では、光学系が、初期基準位置の出射パターンを一部のフレームに入れ込み、表示させる画像の現時点でのずれ量を測量し定期的にキャリブレーションを行っている。

【0081】

図１６Ａは、画像表示装置のかけずれがなく瞳孔１２１の中心（初期基準位置）に画像表示光ＯＬが照射されている基準状態を示す模式図である。図１６Ｂは、画像表示装置のかけずれが発生し、画像表示光ＯＬが紙面に向かって右側方向にずれて瞳孔１２１に照射されている状態を示す模式図である。図１６Ｃは、発生したかけずれのずれ量を補正し、シフトした画像表示光ＳＯＬを瞳孔１２１の中心に照射させた状態を示す模式図である。

【0082】

図１６Ａおよび図１６Ｂに示すように、初期基準位置の出射パターンを一瞬だけ出射して一部のフレームに入れ込み、表示させる画像の現時点でのずれ量ｄ２を測量して定期的にキャリブレーションを行う。測定したずれ量ｄ２に基づいて、補正量を演算し、シフトした画像表示光ＳＯＬを移動させて瞳孔１２１の中心に照射させる。

【0083】

以上より、本実施形態では、積み上げ誤差を小さくしているため、アイトラッキングの精度を向上させることができる。なお、本実施形態の場合、瞳孔１２１に照射されない画像表示光ＯＬとその共役光ＣＬとの組合せでアイトラッキングを行うことが望ましい。

【0084】

７．その他の適用用途
上記実施形態では、画像表示装置を片眼に適用した場合について説明しているが、本技術に係る画像表示装置は、片眼に限定されるものではなく、両眼に対して適用することもできる。本技術に係る画像表示装置を両眼に使用した場合には、両眼のデータからより精度の高い視線や瞳位置を導出することができるため、さらに精度を高めた眼球回転量、注視点ひいては輻輳、調整量を推定することができる。

【0085】

なお、本技術では、以下の構成を取ることができる。
（１）
画像を表示させる画像表示光および前記画像表示光の共役光を出射する光源部と、
前記光源部から出射された前記画像表示光をユーザの眼の瞳孔に投射し、前記光源部から出射された前記共役光を前記ユーザの眼の瞳孔周辺に投射する光学系と、
前記光学系から投射された前記共役光が前記瞳孔周辺で反射した反射光を検出する検出部と、
前記検出部で検出した反射光に基づいて、表示させる画像の位置を制御する制御部と、を備える画像表示装置。
（２）
前記光学系は、前記画像表示光および前記共役光の方向を変化させて前記ユーザの眼へ集光させる集光部と、前記画像表示光および前記共役光の振幅または位相を空間的に変調させる変調部と、を有する、（１）に記載の画像表示装置。
（３）
前記検出部は、前記画像表示光が前記瞳孔へ入射して網膜上で結像した結像画像と、前記共役光が前記瞳孔周辺で反射した反射画像と、を撮像する撮像部を有し、
前記制御部は、前記撮像部で撮像した前記結像画像および前記反射画像に基づいて、表示させる画像のずれ量および補正量を演算する、（１）または（２）に記載の画像表示装置。
（４）
前記制御部は、前記表示させる画像のずれ量および補正量を演算することにより、前記ユーザの現在の視線方向および光軸方向を算出する、（３）に記載の画像表示装置。
（５）
前記瞳孔周辺は、虹彩、強膜、前記瞳孔と前記虹彩との境界、および、前記虹彩と前記強膜との境界、のいずれか一つである、（１）から（４）のいずれか一つに記載の画像表示装置。
（６）
前記制御部は、前記共役光のフーリエ像の前記瞳孔周辺での位置に基づいて、前記表示させる画像の初期位置からの前記眼の視線方向に垂直な平面内のずれを算出する、（１）から（５）のいずれか一つに記載の画像表示装置。
（７）
前記制御部は、前記共役光のフーリエ像のデフォーカス量に基づいて、前記表示させる画像の初期位置からの前記眼の視線方向のずれを算出する、（１）から（６）のいずれか一つに記載の画像表示装置。
（８）
前記制御部は、前記表示させる画像の初期位相を調整することで、前記表示させる画像のフーリエ像の大きさや分離幅を変更する、（１）から（７）のいずれか一つに記載の画像表示装置。
（９）
前記光学系は、共軸光学系である、（１）から（８）のいずれか一つに記載の画像表示装置。
（１０）
前記検出部は、両眼から前記画像表示光および前記共役光の情報を取得する、（１）から（９）のいずれか一つに記載の画像表示装置。
（１１）
前記集光部は、前記共役光を反射させる光学素子に回折光学素子を用いている、（２）に記載の画像表示装置。
（１２）
前記光学系は、フーリエ面に光束シフトおよび／または分割デバイスを有する、（１）から（１１）のいずれか一つに記載の画像表示装置。
（１３）
前記光源部は、複数の光源を用いている、（１）から（１２）のいずれか一つに記載の画像表示装置。
（１４）
前記光学系は、初期位置の出射パターンを一部のフレームに入れ込み、前記表示させる画像のずれ量を測量し定期的にキャリブレーションを行う、（１）から（１３）のいずれか一つに記載の画像表示装置。
（１５）
画像を表示させる画像表示光および前記画像表示光の共役光を出射するステップと、
出射された前記画像表示光および前記共役光を、それぞれユーザの眼の瞳孔および前記ユーザの眼の瞳孔周辺に投射するステップと、
投射された前記共役光が前記瞳孔周辺で反射した反射光を検出するステップと、
検出した前記反射光に基づいて、表示させる画像の位置を制御するステップと、
を含む画像表示方法。

【符号の説明】

【0086】

１００、２００、３００、４００、５００ 画像表示装置
１０１、４０１、５０１ 光学部
１０２ コンバイナ（集光部）
１０３ 撮像部
１０４ 制御部
１０５ 眼球（右眼）
１１１ 光源部
１１２ ＳＬＭ
１２１ 瞳孔
１２２ 虹彩
１２３ 強膜
１３１ ＣＰＵ
１３２ 演算部
１３３ 判定部
１３４ 記憶部
２０１ 接眼レンズ
３０１ 画像面（イメージ面）
４１１ 光束シフトおよび／または分割デバイス
５０２ 反射鏡
５０３ プリズム
５１１ 光源１からの光線
５１２ 光源２からの光線
ＯＬ、ＯＬ１～ＯＬ３、ＳＯＬ 画像表示光（物体光）
ＣＬ、ＣＬ１～ＣＬ４、ＳＣＬ 共役光
ｄ１、ｄ２ ずれ量
Ｌ１～Ｌ３ レンズ
ＦＰ１、ＦＰ２ フーリエ面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】