(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】表示装置、表示制御方法、及び表示制御プログラム
(51)【国際特許分類】
G02B 30/54 20200101AFI20241217BHJP
G02B 30/26 20200101ALI20241217BHJP
G02B 27/02 20060101ALI20241217BHJP
G09G 5/00 20060101ALI20241217BHJP
G09F 9/00 20060101ALI20241217BHJP
H04N 13/344 20180101ALI20241217BHJP
H04N 13/366 20180101ALI20241217BHJP
H04N 5/64 20060101ALI20241217BHJP
H04N 13/122 20180101ALI20241217BHJP
【FI】
G02B30/54
G02B30/26
G02B27/02 Z
G09G5/00 550C
G09F9/00 313
G09F9/00 366G
H04N13/344
H04N13/366
H04N5/64 511A
H04N13/122
(21)【出願番号】P 2021046052
(22)【出願日】2021-03-19
【審査請求日】2023-12-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】伊藤 文彦
【審査官】近藤 幸浩
(56)【参考文献】
【文献】特開平06-235885(JP,A)
【文献】特開平09-297282(JP,A)
【文献】特開2003-334221(JP,A)
【文献】特表2017-515162(JP,A)
【文献】HU, Xinda , et al.,High-resolution optical see-through multi-focal-plane head-mounted display using freeform optics,Optics Express,米国,2014年,Vol.22, No.11,13896-13903,DOI: 10.1364/OE.22.013896
【文献】陶山史朗,液晶可変焦点レンズを利用した体積型三次元表示,光学,日本,2011年,第40巻、第12号,616-621
(58)【調査した分野】(Int.Cl.,DB名)
G02B 30/54
G02B 30/26
G02B 27/02
G02B 27/01
G09G 5/36
G09G 5/00
G09F 9/00
H04N 13/122
H04N 13/344
H04N 13/366
H04N 5/64
(57)【特許請求の範囲】
【請求項1】
光を照射することでユーザに画像を提供する表示部と、
前記表示部よりも前記ユーザ側に設けられ、焦点を変更可能なレンズと、
前記ユーザの視線の検出結果を取得する視線情報取得部と、
前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記レンズの焦点を設定する焦点位置設定部と、
を含
み、
前記視線情報取得部は、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
前記焦点位置設定部は、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、
前記レンズの焦点の位置を、所定の周期で移動させる駆動制御部と、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するタイミング設定部と、
をさらに含む、
表示装置。
【請求項2】
表示部から光を照射することでユーザに画像を提供する表示ステップと、
前記ユーザの視線の検出結果を取得する視線情報取得ステップと、
前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設
定ステップと、
を含
み、
前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、
前記レンズの焦点の位置を、所定の周期で移動させるステップと、
前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、
をさらに含む、
表示制御方法。
【請求項3】
表示部から光を照射することでユーザに画像を提供する表示ステップと、
前記ユーザの視線の検出結果を取得する視線情報取得ステップと、
前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設
定ステップと、
を、コンピュータに実行させ、
前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、
前記レンズの焦点の位置を、所定の周期で移動させるステップと、
前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、
をさらに含む、
表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【0002】
ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる表示装置が知られている。このような表示装置としては、ユーザの頭部に搭載されるいわゆるヘッドマウントディスプレイ(HMD)がある。例えば特許文献1には、ディスプレイと光学系との間にマイクロレンズアレイを配置するヘッドマウントディスプレイが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、画像を表示する表示装置においては、ユーザに適切に画像を提供することが求められている。
【0005】
本発明は、上記課題に鑑み、ユーザに適切に画像を提供可能な表示装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様にかかる表示装置は、光を照射することでユーザに画像を提供する表示部と、前記表示部よりも前記ユーザ側に設けられ、焦点を変更可能なレンズと、前記ユーザの視線の検出結果を取得する視線情報取得部と、前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記レンズの焦点を設定する焦点位置設定部と、を含み、前記視線情報取得部は、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、前記焦点位置設定部は、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、前記レンズの焦点の位置を、所定の周期で移動させる駆動制御部と、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するタイミング設定部と、をさらに含む。
【0007】
本発明の一態様にかかる表示制御方法は、表示部から光を照射することでユーザに画像を提供する表示ステップと、前記ユーザの視線の検出結果を取得する視線情報取得ステップと、前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設定ステップと、を含み、前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、前記レンズの焦点の位置を、所定の周期で移動させるステップと、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、をさらに含む。
【0008】
本発明の一態様にかかる表示制御プログラムは、表示部から光を照射することでユーザに画像を提供する表示ステップと、前記ユーザの視線の検出結果を取得する視線情報取得ステップと、前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設定ステップと、を、コンピュータに実行させ、前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、前記レンズの焦点の位置を、所定の周期で移動させるステップと、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、をさらに含む。
【発明の効果】
【0009】
本発明によれば、ユーザに適切に画像を提供できる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、輻輳調節矛盾を説明するための模式図である。
【
図2】
図2は、第1実施形態に係る表示装置の模式図である。
【
図3】
図3は、第1実施形態に係る表示装置の各構成の模式図である。
【
図4】
図4は、第1実施形態に係る制御装置の模式的なブロック図である。
【
図5】
図5は、照射タイミングの設定を説明するための模式図である。
【
図6】
図6は、照射タイミングの設定を説明するための模式図である。
【
図7】
図7は、照射タイミングの設定を説明するための模式図である。
【
図8】
図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。
【
図9】
図9は、第2実施形態に係る制御装置の模式的なブロック図である。
【
図10】
図10は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。
【
図11】
図11は、第3実施形態に係る表示装置の各構成の模式図である。
【
図12】
図12は、第3実施形態に係る制御装置の模式的なブロック図である。
【
図13】
図13は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。
【発明を実施するための形態】
【0011】
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
【0012】
(輻輳調節矛盾)
図1は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、
図1の例に示すように、立体画像においては、立体画像の奥行き方向であるZ方向における焦点位置PO1と輻輳位置PO2との位置がずれることがある。焦点位置PO1と輻輳位置PO2との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる3D酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、
図1の(A)は、焦点位置PO1が輻輳位置PO2よりもユーザの眼EY側にあり、
図1の(B)は、輻輳位置PO2が焦点位置PO1よりもユーザの眼EY側にある例を示している。
【0013】
(第1実施形態)
(表示装置の全体構成)
図2は、第1実施形態に係る表示装置の模式図である。第1実施形態に係る表示装置1は、立体画像を表示する表示装置である。
図2に示すように、表示装置1は、ユーザUの頭部に装着される、いわゆるHMD(Head Mount Display)である。例えば、表示装置1は、ユーザUの眼EYに面した位置に表示部10が装着される。そして、表示装置1は、表示部10に画像を表示させて、ユーザUにコンテンツを提供する。なお、
図2に示した表示装置1の構成は一例である。例えば、表示装置1は、ユーザUの耳に装着される音声出力部(スピーカ)を備えていてもよい。
【0014】
表示装置1は、このようにユーザUに装着されるため、ユーザUの眼EYに対する位置が固定される。表示装置1は、ユーザUに装着されるHMDであることに限られず、設備に固定された表示装置などであってもよい。このような場合でも、表示装置1は、例えばユーザUの座席に対する位置が固定されるなど、ユーザUの眼EYに対する位置が固定されることが好ましい。
【0015】
図3は、第1実施形態に係る表示装置の各構成の模式図である。
図3に示すように、表示装置1は、表示部10と、接眼レンズ20と、レンズ30と、視線検出部40と、制御装置50とを有する。
【0016】
(表示部)
表示部10は、立体画像を表示する装置である。表示部10は、表示パネル12と光源部14とを有する。表示パネル12は、マトリクス状に並ぶ複数の画素を有するディスプレイである。本実施形態の例では、表示パネル12は、マトリクス状に並ぶ複数の画素電極と、液晶素子が充填される液晶層とを有する液晶表示パネルである。表示パネル12で画像が表示される面を表示面10Aとする。以下、表示面10AからユーザUの眼EYへ向かう方向を、方向Z1とし、方向Z1と反対方向を、すなわちユーザUの眼EYから表示面10Aに向かう方向を、方向Z2とする。方向Z1、Z2を区別しない場合は、方向Zと記載する。なお、
図3では、表示パネル12のユーザUの眼EY側の表面を表示面10Aとしているが、表示面10Aは、ユーザUの眼EY側の表面であることに限られず、ユーザUの眼EY側の表面よりも内側にあってもよい。なお、表示部10は、後述する制御装置50から表示パネル12を駆動させる駆動信号や光源部14の光の照射タイミングを制御する制御信号を受信する。
【0017】
光源部14は、表示パネル12に光を照射する光源である。本実施形態では、光源部14は、表示パネル12の表示面10Aとは反対側の表面に設けられる、いわゆるバックライドである。光源部14の設けられる位置はこれに限られず任意であり、例えば表示パネル12の横にあるサイドライトであってもよい。本実施形態では、光源部14は、表示パネル12の全ての画素に対して一様に光を照射するものであり、言い換えれば、画素毎に個別に光の照射を制御するものではない。ただし、光源部14は、表示パネル12の全ての画素に一様に光を照射するものに限られず、例えば複数の画素毎に光の照射を調整可能な、例えば画面全体をいくつかの区画に分け区画ごとに光の強度を調整可能な、いわゆるローカルディミングの方式のものであってもよい。
【0018】
このように、表示部10は、表示パネル12と光源部14とを有する。表示部10は、光源部14から表示パネル12に照射された光である画像光LをユーザUの眼EYに到達させることで、ユーザUに立体画像を提供する。本実施形態の例では、光源部14から照射された光は、表示パネル12の各画素を透過して、画像光LとしてユーザUの眼EYに入射する。より詳しくは、表示パネル12は、左眼用画像と右眼用画像とが提供されるように、例えば画素電極の電圧が制御されつつ、表示パネル12に向けて光源部14からの光が照射される。光源部14からの光のうち、左眼用画像に対応する画素を透過した画像光LがユーザUの左眼に入射し、右眼用画像に対応する画素を透過した画像光LがユーザUの左眼に入射することで、ユーザUに立体画像が提供される。
【0019】
なお、表示部10の構成は以上のものに限られず、例えば、OLED(Organic Light Emitting Diode)やいわゆるマイクロLEDなど、画素毎に点灯制御が可能な自発光型のディスプレイであってよい。また、表示部10が反射型の液晶表示装置であってもよい。
【0020】
(接眼レンズ)
接眼レンズ20は、表示部10のZ1方向側に設けられる。接眼レンズ20は、光(画像光)を透過する光学素子である。さらに言えば、接眼レンズ20は、レンズ30を除き、表示装置1で最もユーザUの眼EY側にある光学素子(レンズ)である。表示パネル12から出射された画像光Lは、接眼レンズ20及びレンズ30を通って、ユーザUの眼EYに入射する。なお、本実施形態では、レンズ30からユーザUの眼EYまでの画像光Lの光路における光軸方向が、方向Zともいえる。
【0021】
なお、
図3の例では、表示部10のZ1方向側の光学素子として、接眼レンズ20とレンズ30のみが示されているが、それに限られず、それら以外の光学素子が設けられていてもよい。
【0022】
(レンズ)
レンズ30は、画像光Lの光軸方向において、表示部10よりもユーザU側に設けられている。さらに言えば、レンズ30は、接眼レンズ20よりもユーザU側に設けられている。ただしそれに限られず、レンズ30は、接眼レンズ20よりも表示部10側に設けられてもよい。レンズ30は、Z方向(画像光Lの光軸方向)における焦点の位置(レンズ30から焦点までの距離)を変化可能な、いわゆる可変焦点レンズである。レンズ30は、任意の構造であってよいが、例えば電圧の印加によりレンズ30の厚みを変化させることで、焦点の位置を変化可能なものであってよい。より詳しくは、例えば、レンズ30は、弾性ポリマー膜で封入された光学リキッドで構成されるレンズコアと、レンズコアに取り付けられる電磁式のアクチュエータとを有し、アクチュエータへの電圧印加によりアクチュエータが駆動し、アクチュエータによりレンズコアが圧力を受けて変形することで、レンズ30の厚みを変化させて、焦点の位置を変化させるものであってよい。なお、レンズ30のアクチュエータは、後述する制御装置50から、焦点の位置の制御を行う信号を取得する。
【0023】
(視線検出部)
視線検出部40は、ユーザUの眼EYが向いている方向、すなわちユーザUの視線を検出する。視線検出部40は、ユーザUの視線を検出可能な任意のセンサであってよいが、例えば、ユーザUの眼EYを撮像するカメラであってよい。視線検出部40は、制御装置50へ視線の検出結果を送出する。
【0024】
(制御装置)
制御装置50は、表示装置1の各部を制御する装置である。
図4は、第1実施形態に係る制御装置の模式的なブロック図である。制御装置50は、本実施形態ではコンピュータであり、記憶部52と制御部54とを有する。記憶部52は、制御部54の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部52が記憶する制御部54用のプログラムは、制御装置50が読み取り可能な記録媒体に記憶されていてもよい。
【0025】
制御部54は、演算装置であり、例えばCPU(Central Processing Unit)などの演算回路を含む。制御部54は、画像情報取得部60と、視線情報取得部62と、照射制御部64と、焦点位置設定部66と、駆動制御部68とを含む。制御部54は、記憶部52からプログラム(ソフトウェア)を読み出して実行することで、画像情報取得部60と視線情報取得部62と照射制御部64と焦点位置設定部66と駆動制御部68とを実現して、それらの処理を実行する。なお、制御部54は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、画像情報取得部60と視線情報取得部62と照射制御部64と焦点位置設定部66と駆動制御部68との少なくとも1つを、ハードウェア回路で実現してもよい。
【0026】
(画像情報取得部)
画像情報取得部60は、表示部10が表示する立体画像の画像データを取得する。すなわち、画像情報取得部60は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部60は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面10Aに画像を表示した際にユーザUに視認される虚像の、奥行き方向における位置を指す。奥行き方向とは、表示部10の表示面10Aに直交する方向であるとも言え、本実施形態ではZ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、1フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面10A上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部60は、立体画像についての、表示面10A上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素毎に奥行き方向における位置が設定されているが、1つの画像を構成する複数の画素に対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部60は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部52に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部60は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
【0027】
(視線情報取得部)
視線情報取得部62は、視線検出部40を制御して、視線検出部40にユーザUの視線を検出させ、視線検出部40による視線の検出結果を取得する。本実施形態では、視線情報取得部62は、視線の検出結果に基づき、ユーザUが注視している注視位置を検出する。注視位置とは、立体画像のうちでユーザUが注視している画像の表示面10A上での位置を指し、言い換えれば、表示面10Aの全域のうちでユーザUが注視している位置を指す。本実施形態では、視線情報取得部62は、ユーザUの視線の検出結果からユーザUの輻輳位置を検出し、輻輳位置と重なる位置にある虚像に対応する画像の、表示面10Aでの位置を、注視位置として検出する。すなわち例えばユーザUの輻輳位置が、立体画像における車の虚像に重なっている場合には、その車の画像の表示面10Aでの位置が、注視位置とされる。ただし、注視位置の検出方法はそれに限られず、ユーザUの視線の検出結果から任意の方法で検出してよい。
【0028】
(照射制御部)
照射制御部64は、画像データに基づき、表示部10からユーザUに向けて画像光Lを照射させる。本実施形態においては、照射制御部64は、画像データに基づいて表示パネル12の各画素を駆動しつつ、光源部14から光を照射させることで、各画素からユーザUに向けて画像光Lを照射させて、ユーザUに立体画像を提供する。さらに言えば、照射制御部64は、画像データに基づいて、表示パネル12の画素電極毎の印加電圧を制御して液晶素子を配向させつつ、光源部14から光を照射させる。これにより、光源部14からの光が液晶層を透過して、立体画像用の画像光LとしてユーザYの眼EYに向けて出射される。なお、例えば表示部10が自発光式である場合、照射制御部64は、画像データに基づき各画素を発光させて、各画素から画像光Lを照射させる。
【0029】
(焦点位置設定部)
焦点位置設定部66は、ユーザUの視線の検出結果に基づき、画像光Lの光軸方向(方向Z)におけるレンズ30の焦点の位置とする設定焦点位置を設定する。さらに言えば、焦点位置設定部66は、ユーザUの視線の検出結果と立体画像の奥行き情報とに基づき、設定焦点位置を設定する。以下、設定焦点位置の設定についてより具体的に説明する。
【0030】
図5から
図7は、照射タイミングの設定を説明するための模式図である。例えば
図5に示すように、表示部10から出射された画像光Lは、所定の開き角をもつ光束として、ユーザUの眼EYに入射する。この場合、ユーザUは、この光束の開き角に合うように、眼球の水晶体の厚さを無意識に変えて、網膜に焦点が合うように調節している。輻輳調節矛盾は、左右の眼の輻輳度合い(左右の眼のより度合い)と、光束の開き角に焦点を合わせた状態とが、合致していないことを指す。それに対して、本実施形態の表示装置1は、虚像(輻輳位置)から光が出射されて眼EYに入射したと仮定した場合の開き角である虚像開き角(
図5の例では角度θ1A)と、実際に表示部10から画像光Lが出射されて眼EYに入射した場合の画像光Lの開き角との差分が小さくなるように、画像光Lを出射させる。ここで、画像光Lは、レンズ30を通る際に光束の開き角が変化するため(すなわち屈折するため)、光束の開き角の変化度合いは、レンズ30の焦点の位置に応じて決まる。従って、焦点位置設定部66は、虚像開き角と画像光Lの開き角との差分が小さくなるレンズ30の焦点位置を、設定焦点位置として設定する。
【0031】
より詳しくは、焦点位置設定部66は、視線情報取得部62が検出した注視位置における、奥行き情報を取得する。すなわち、焦点位置設定部66は、注視位置の奥行き方向(Z方向)における位置の情報を取得する。言い換えれば、焦点位置設定部66は、ユーザUが注視している虚像のZ方向における位置の情報を取得する。そして、焦点位置設定部66は、注視位置における奥行き情報に基づき、設定焦点位置を設定する。焦点位置設定部66は、注視位置での奥行き方向の位置(ユーザUが注視している虚像の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)に、画像光Lの開き角が一致する際の、Z方向におけるレンズ30の焦点の位置を、設定焦点位置として設定する。ただし、虚像開き角と実際の画像光Lの開き角が厳密に一致する位置を、設定焦点位置とすることに限られない。例えば、虚像開き角と実際の画像光Lの開き角との差分が所定範囲内となる際のレンズ30の焦点位置を、設定焦点位置としてよい。ここでの所定範囲は任意に設定してよいが、輻輳調節矛盾を小さくするために、虚像開き角と画像光Lの開き角との差分が小さくなるような値に、設定されることが好ましい。また、焦点位置設定部66は、奥行き方向を量子化した値を、設定焦点位置の設定に用いる注視位置の奥行き方向における位置として用いてよい。すなわち例えば、奥行き方向を複数の数値範囲に区分し、それぞれの数値範囲に対して、その数値範囲内にある所定値を基準位置として設定しておく。そして、焦点位置設定部66は、取得した注視位置の奥行き方向における位置が含まれる数値範囲を抽出し、その数値範囲に対する基準位置を、設定焦点位置の設定に用いる注視位置の奥行き方向における位置として扱う。
【0032】
駆動制御部68は、レンズ30を制御して、レンズ30の焦点の位置をZ方向に移動させる。駆動制御部68は、例えば、レンズ30が有するアクチュエータに対する電圧の印加を制御することで、レンズ30の焦点の位置をZ方向に移動させる。駆動制御部68は、レンズ30の焦点のZ方向の位置を、設定焦点位置に移動させる。そのため、眼EYに入射する画像光Lの光束の開き角は、注視位置(ユーザUが注視している虚像)からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。
【0033】
以上説明した設定焦点位置の設定の例を、
図5から
図7を用いて説明する。以下では、家の画像と車の画像とヘリコプタの画像とが立体画像として表示され、車の画像、家の画像、ヘリコプタの画像の順で、奥行き方向(Z方向)の位置がユーザUの眼EYから遠くなる場合を例にする。すなわち、車の画像の虚像P2は、家の画像の虚像P1よりもZ1方向側に位置し、ヘリコプタの画像の虚像P3は、家の画像の虚像P1よりもZ2方向側に位置する。
【0034】
図5は、ユーザUが家の画像の虚像P1を注視している場合の例である。
図5の例では、虚像P1(注視位置の奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)を、角度θ1Aとする。そして、Z方向におけるレンズ30の焦点の位置が第1位置である場合に、家の画像を構成する画素からの画像光Lの光束の開き角が、角度θ1Aとなるとする。この場合、第1位置が設定焦点位置となり、焦点位置設定部66は、レンズ30の焦点を第1位置に移動させる。これにより、家の画像の虚像P1からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが一致し、輻輳調節矛盾を小さくすることができる。なお、本実施形態では、表示パネル12の全体に光が照射されるため、車の画像の虚像P2やヘリコプタの画像の虚像P3もユーザUに視認される。この場合、虚像P2、P3に対する虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが一致しないこととなる。しかし、虚像P2、P3はユーザUの注視している領域の範囲外であるためユーザUへの影響が少なく、ユーザUの注視している領域の範囲内である虚像P1の虚像開き角とは一致しているため、ユーザUへの負担を小さくできる。なお、以上の説明では、虚像開き角と画像光Lの開き角が一致する第1位置を設定焦点位置としていたが、それに限られず、虚像開き角と画像光Lの開き角との差分が所定範囲となる位置を設定焦点位置としてよい。
【0035】
図6は、ユーザUが車の画像の虚像P2を注視している場合の例である。
図6の例では、虚像P2(車の画像を構成する画素Pの奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)を、角度θ2Aとする。そして、Z方向におけるレンズ30の焦点の位置が第2位置である場合に、車の画像を構成する画素Pからの画像光Lの光束の開き角が、角度θ2Aとなるとする。なお、虚像P2は虚像P1よりもZ1方向に視認されるため、角度θ2Aは
図5の角度θ1Aより大きく、第1位置が焦点である場合よりも第2位置が焦点である場合の方が、レンズ30による光束の開き角の拡大度合いが大きくなる(又は縮小度合いが小さくなる)。この場合、第2位置が設定焦点位置となり、焦点位置設定部66は、レンズ30の焦点を第2位置に移動させる。これにより、車の画像の虚像P2からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが一致し、輻輳調節矛盾を小さくすることができる。なお、以上の説明では、虚像開き角と画像光Lの開き角が一致する第2位置を設定焦点位置としていたが、それに限られず、虚像開き角と画像光Lの開き角との差分が所定範囲となる位置を設定焦点位置としてよい。
【0036】
図7は、ユーザUがヘリコプタの画像の虚像P3を注視している場合の例である。
図7の例では、虚像P3(ヘリコプタの画像を構成する画素Pの奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)を、角度θ3Aとする。そして、Z方向におけるレンズ30の焦点の位置が第3位置である場合に、ヘリコプタの画像を構成する画素Pからの画像光Lの光束の開き角が、角度θ3Aとなるとする。なお、虚像P3は虚像P1よりもZ2方向に視認されるため、角度θ3Aは、
図5の角度θ1Aより小さく、第1位置が焦点である場合よりも第3位置が焦点である場合の方が、レンズ30による光束の開き角の拡大度合いが小さくなる(又は縮小度合いが大きくなる)。この場合、第3位置が設定焦点位置となり、焦点位置設定部66は、レンズ30の焦点を第3位置に移動させる。これにより、車の画像の虚像P2からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。この場合、第3位置が設定焦点位置となり、焦点位置設定部66は、レンズ30の焦点を第3位置に移動させる。
【0037】
(処理フロー)
次に、以上説明した制御装置50の処理フローを説明する。
図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置50は、照射制御部64により、画像データに基づき表示パネル12の画素を駆動しつつ、光源部14から光を照射させる。制御装置50は、視線情報取得部62により、ユーザUの視線の検出結果を取得し(ステップS10)、視線の検出結果に基づき、注視位置を検出する(ステップS12)。そして、制御装置50は、焦点位置設定部66により、注視位置の奥行き情報から、設定焦点位置を設定する(ステップS14)。制御装置50は、駆動制御部68により、レンズ30の焦点の位置を、設定焦点位置とする(ステップS16)。処理を終了しない場合は(ステップS18;No)、ステップS10に戻り処理を続け、処理を終了する場合(ステップS18;Yes)、本処理を終了する。
【0038】
(効果)
以上説明したように、本実施形態に係る表示装置1は、ユーザUに立体画像を提供するものであって、表示部10と、レンズ30と、視線情報取得部62と、焦点位置設定部66と、駆動制御部68とを含む。表示部10は、複数の画素を含み、画像光LをユーザUに到達させることでユーザUに立体画像を提供する。視線情報取得部62は、ユーザUの視線の検出結果を取得する。焦点位置設定部66は、ユーザUの視線の検出結果と立体画像の奥行き方向の位置を示す奥行き情報とに基づき、画像光Lの光軸方向におけるレンズ30の焦点の位置とする設定焦点位置を設定する。駆動制御部68は、レンズ30の焦点の位置を設定焦点位置に移動させる。
【0039】
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、ユーザUの視点と立体画像の奥行き方向の位置とに基づき設定した設定焦点位置に、レンズ30の焦点位置を移動させる。従って、本実施形態によると、ユーザUの視線と立体画像の奥行き方向の位置に基づいた適切な光束の開き角でユーザUに画像光Lを到達させることが可能となり、ユーザUに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
【0040】
また、視線情報取得部62は、視線の検出結果に基づき、立体画像のうちでユーザUが注視している注視位置を検出する。そして、焦点位置設定部66は、注視位置の奥行き情報に基づき、画像光Lの光束の開き角と、注視位置の奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(注視位置からの虚像開き角)との差分が所定範囲内となるような、画像光Lの光軸方向におけるレンズ30の焦点の位置を、設定焦点位置として設定する。本実施形態によると、画像光Lの光束の開き角を、ユーザUが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
【0041】
また、表示装置1は、ヘッドマウントディスプレイである。そのため、ヘッドマウントディスプレイにより立体画像を適切に提供できる。
【0042】
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態においては、レンズ30の焦点位置を所定周期で変化させる点で、第1実施形態とは異なる。第2実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。
【0043】
図9は、第2実施形態に係る制御装置の模式的なブロック図である。
図9に示すように、第2実施形態に係る制御装置50aの制御部54aは、画像情報取得部60と、視線情報取得部62と、照射制御部64aと、タイミング設定部66aと、駆動制御部68aとを含む。制御部54aは、記憶部52からプログラム(ソフトウェア)を読み出して実行することで、画像情報取得部60と視線情報取得部62と照射制御部64aとタイミング設定部66aと駆動制御部68aとを実現して、それらの処理を実行する。なお、制御部54aは、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、画像情報取得部60と視線情報取得部62と照射制御部64aとタイミング設定部66aと駆動制御部68aとの少なくとも1つを、ハードウェア回路で実現してもよい。
【0044】
(駆動制御部)
第2実施形態においては、駆動制御部68aは、レンズ30の焦点の位置を、Z方向に沿って所定の周期で移動させる。駆動制御部68aは、レンズ30の焦点の位置がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、レンズ30の焦点の位置を移動させる。言い換えれば、駆動制御部68aは、レンズ30の焦点のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期(焦点がZ方向において元の位置に戻ってくるまでの時間)は一定であるが、一定であることに限られず、周期を変化させてもよい。
【0045】
(タイミング設定部及び照射制御部)
タイミング設定部66aは、光源部14の光の照射タイミングを設定する。照射制御部64aは、タイミング設定部66aが設定した照射タイミングで、光源部14に光を照射させる。タイミング設定部66aは、ユーザUの視線の検出結果と、レンズ30の焦点のZ方向(画像光Lの光軸方向)における位置とに基づき、照射タイミングを設定する。さらに言えば、タイミング設定部66aは、ユーザUの視線の検出結果と、立体画像の奥行き情報と、レンズ30の焦点のZ方向における位置とに基づき、照射タイミングを設定する。以下、タイミング設定部66aの設定についてより具体的に説明する。
【0046】
タイミング設定部66aは、注視位置からの虚像開き角と画像光Lの開き角との差分が小さくなる位置にレンズ30の焦点が到達したタイミングを、照射タイミングとして設定する。より詳しくは、タイミング設定部66aは、視線情報取得部62が検出した注視位置における、奥行き情報を取得する。すなわち、タイミング設定部66aは、注視位置の奥行き方向(Z方向)における位置の情報を取得する。そして、タイミング設定部66aは、注視位置の奥行き情報に基づき、光源部14に光の照射を開始させる際のレンズ30の焦点の位置である照射位置を設定する。タイミング設定部66aは、注視位置での奥行き方向の位置(ユーザUが注視している虚像の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)に、その画素Pからレンズ30を通って眼EYに実際に入射する画像光Lの開き角が一致する際の、Z方向におけるレンズ30の焦点の位置を、照射位置として設定する。そして、タイミング設定部66aは、照射位置との距離が所定距離範囲内となる位置にレンズ30の焦点が到達するタイミングを、照射タイミングとして設定する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、注視位置からの虚像開き角と画像光Lの開き角との差分が小さくなるような距離に、設定されることが好ましい。
【0047】
本実施形態では、タイミング設定部66aは、Z方向におけるレンズ30の焦点の位置の情報を逐次取得し、Z方向におけるレンズ30の焦点の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。タイミング設定部66aは、Z方向におけるレンズ30の焦点の位置の情報を任意の方法で取得してよい。例えば、レンズ30の焦点を所定の周期でZ方向に往復運動させている場合には、時刻毎のレンズ30の焦点のZ方向における位置(予測位置)を把握できる。従って、タイミング設定部66aは、時刻情報からレンズ30の焦点のZ方向における位置の情報を取得してもよい。この場合、タイミング設定部66aは、時刻毎のレンズ30の焦点の予測位置の情報と照射位置の情報とに基づき、レンズ30の焦点が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、レンズ30の焦点が照射位置に到達したと判断して、光源部14に画像光Lを照射させてもよい。
【0048】
タイミング設定部66aは、このようにして照射タイミングを設定する。さらに、タイミング設定部66aは、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部64aは、タイミング設定部66aによって照射タイミングに到達したと判断されたら、光源部14に光の照射を開始させる。照射制御部64aは、照射タイミングから照射停止タイミングまでの間、光源部14に光を照射させ、照射停止タイミングに到達したら、光源部14に光の照射を停止させる。なお、照射停止タイミングは任意に設定してよく、例えば照射タイミングから所定時間後を照射停止タイミングとして設定してもよいし、照射タイミングの直後に、レンズ30の焦点と照射位置との距離が所定距離範囲外となるタイミングを、照射停止タイミングとして設定してもよい。
【0049】
第2実施形態では、このように、照射タイミングに到達したら光源部14に光を照射させ、照射停止タイミングに到達したら光の照射を停止させる。画像光Lは、照射タイミングから照射停止タイミングの間に、ユーザUの眼EYに入射する。従って、眼EYに入射する画像光Lの光束の開き角は、注視位置(ユーザUが注視している虚像)からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。なお、レンズ30の焦点は、Z方向に往復運動するため、照射位置との距離が所定距離範囲内になることと所定距離範囲外になることとを繰り返す。制御装置50aは、レンズ30の焦点と照射位置との距離が所定距離範囲となる度に、すなわち照射タイミングに到達する度に、光源部14に光を照射させる。そのため、ユーザUには、立体画像が動画像として視認される。また、レンズ30の焦点はZ方向に往復移動するため、往復移動の1周期で、照射位置との距離が所定距離になるタイミングが2回ある。そのため、レンズ30の焦点の往復移動の振動数は、立体画像のフレームレートの1/2倍以上にすることが望ましい。ただし、レンズ30の焦点の往復移動の振動数(周期)は任意に設定してよい。
【0050】
(処理フロー)
次に、以上説明した制御装置50aの処理フローを説明する。
図10は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置50aは、照射制御部64aにより、画像データに基づき表示パネル12の画素を駆動しつつ、駆動制御部68aにより、レンズ30の焦点を所定周期でZ方向に往復移動させる。制御装置50aは、画素を駆動させつつレンズ30の焦点を往復移動させながら、視線情報取得部62により、ユーザUの視線の検出結果を取得し(ステップS20)、視線の検出結果に基づき、注視位置を検出する(ステップS22)。そして、制御装置50aは、タイミング設定部66aにより、注視位置の奥行き情報から、照射位置を設定する(ステップS24)。制御装置50aは、レンズ30の焦点のZ方向における位置を逐次取得し、レンズ30の焦点が照射位置から所定距離内に到達したかを判断する(ステップS26)。レンズ30の焦点が照射位置から所定距離内に到達したら(ステップS26;Yes)、タイミング設定部66aは、照射タイミングに到達したと判断し、照射制御部64aは、光源部14に光を照射させる(ステップS28)。その後、照射停止タイミングで光の照射を停止させ、処理を終了しない場合は(ステップS30;No)、ステップS20に戻り処理を続ける。一方、レンズ30の焦点が照射位置から所定距離内に到達していない場合には(ステップS26;No)、ステップS26に戻り、レンズ30の焦点が照射位置から所定距離内に到達するまで光源部14に光を照射させない。なお、レンズ30の焦点が照射位置から所定距離内に到達していない場合、すなわちステップS26でNoの場合も、ステップS20に戻ってよい。ステップS30で処理を終了する場合(ステップS30;Yes)、本処理を終了する。
【0051】
(効果)
以上説明したように、第2実施形態に係る表示装置1aは、ユーザUに立体画像を提供するものであって、表示部10と、レンズ30と、視線情報取得部62と、駆動制御部68aと、タイミング設定部66aと、照射制御部64aとを含む。表示部10は、複数の画素を含む表示パネル12と、表示パネル12に光を照射する光源部14とを有し、光源部14から表示パネル12に照射された光である画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。レンズ30は、画像光Lの光軸方向において表示部10よりもユーザU側に設けられ、焦点を変更可能である。視線情報取得部62は、ユーザUの視線の検出結果を取得する。駆動制御部68aは、レンズ30の焦点を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部66aは、ユーザUの視線の検出結果と、レンズ30の焦点の光軸方向(本実施形態ではZ方向)における位置とに基づき、光源部14の光の照射タイミングを設定する。照射制御部64aは、照射タイミングで、光源部14に光を照射させる。
【0052】
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、レンズ30の焦点を光軸方向に移動させておき、ユーザUの視点とレンズ30の焦点の光軸方向の位置とに基づき、光の照射タイミングを設定する。従って、本実施形態によると、ユーザUの視点とレンズ30の焦点の光軸方向の位置とに基づいて、適切なタイミングでユーザUに画像光Lを到達させることが可能となり、ユーザUに立体画像を適切に提供できる。さらに言えば、本実施形態においては、レンズ30の焦点を光軸方向に移動させつつ、ユーザUの視点とレンズ30の焦点の位置とに基づき、光の照射タイミングを設定することで、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに言えば、本実施形態においては、画像光Lの光束の開き角が適切となる位置にレンズ30の焦点をその都度移動させずに、レンズ30の焦点は所定周期で移動させておき、画像光Lの光束の開き角が適切となるタイミングで光源部14の光照射を制御している。このように光照射を制御することで、制御遅れが抑制されて、画像光Lの光束の開き角を適切に調整できる。
【0053】
また、タイミング設定部66aは、立体画像の奥行き方向(本実施形態ではZ方向)の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Lの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。
【0054】
また、視線情報取得部62は、視線の検出結果に基づき、立体画像のうちでユーザが注視している注視位置を検出する。タイミング設定部66aは、注視位置の奥行き情報に基づき、画像光Lの光束の開き角が、注視位置での奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(虚像開き角)に対応するような、レンズ30の焦点の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部66aは、レンズ30の焦点が照射位置に対して所定距離範囲内となるタイミングを、照射タイミングとして設定する。本実施形態によると、画像光Lの光束の開き角を、ユーザUが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
【0055】
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態は、表示部が自発光型である点で、第2実施形態とは異なる。第3実施形態において第2実施形態と構成が共通する箇所は、説明を省略する。
【0056】
図11は、第3実施形態に係る表示装置の各構成の模式図である。
図11に示すように、第3実施形態に係る表示装置1bは、表示部10bを有する。なお、表示装置1bには、視線検出部40が設けられてない。表示部10bは、マトリクス状に並び自発光する複数の画素P(表示素子)を有するディスプレイである。表示部10bが有する各画素Pは自発光するため、表示部10bは、画素P毎に個別に発光(光の照射)の制御が可能である。表示部10bの各画素Pは、例えば有機発光ダイオードであってもよいし、無機発光ダイオードであってもよい。第3実施形態においては、表示部10bは、制御装置50bから画素Pの光の照射タイミングを制御する制御信号を受信する。また、レンズ30のアクチュエータは、制御装置50bから、焦点の位置の制御を行う信号を取得する。
【0057】
図12は、第3実施形態に係る制御装置の模式的なブロック図である。
図12に示すように、第3実施形態に係る制御装置50bの制御部54bは、画像情報取得部60と、照射制御部64bと、タイミング設定部66bと、駆動制御部68bとを含む。第3実施形態においては、視線情報取得部62が含まれない。
【0058】
(駆動制御部)
駆動制御部68bは、第2実施形態と同様に、レンズ30の焦点の位置を、Z方向に沿って所定の周期で移動させる。
【0059】
(タイミング設定部及び照射制御部)
タイミング設定部66bは、画像光Lの照射タイミングを、画素P毎に設定する。照射制御部64bは、画像データに基づき、画素Pを制御して画素Pに画像光Lを照射させる。照射制御部64bは、タイミング設定部66bが設定した画素P毎の照射タイミングで、画素P毎に画像光Lを照射させる。すなわち、照射制御部64bは、画素Pについて設定された照射タイミングで、その画素Pに画像光Lを照射させる。タイミング設定部66bは、Z方向(画像光Lの光軸方向)におけるレンズ30の焦点の位置に基づき、照射タイミングを設定する。さらに言えば、タイミング設定部66bは、立体画像の奥行き情報と、Z方向におけるレンズ30の焦点の位置とに基づき、照射タイミングを設定する。以下、より詳しく説明する。
【0060】
タイミング設定部66bは、画素P毎の奥行き情報を取得する。すなわち、タイミング設定部66bは、画素P毎の奥行き方向(Z方向)における位置の情報を取得する。そして、タイミング設定部66bは、画素Pの奥行き情報に基づき、その画素Pに画像光Lの照射を開始させる際のレンズ30の焦点の位置である照射位置を設定する。タイミング設定部66bは、画素Pによって表示される立体画像の部分の奥行き方向の位置(その画素Pによって形成される虚像の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)に、その画素Pからレンズ30を通って眼EYに実際に入射する画像光Lの開き角が一致する際の、Z方向におけるレンズ30の焦点の位置を、その画素Pについての照射位置として設定する。そして、タイミング設定部66bは、照射位置との距離が所定距離範囲内となる位置にレンズ30の焦点が到達するタイミングを、その画素Pについての照射タイミングとして設定する。タイミング設定部66bは、画素P毎に照射位置を設定し、画素P毎に照射タイミングを設定する。このように、タイミング設定部66bは、画素P毎に照射位置や照射タイミングを設定するが、画素P毎に照射位置や照射タイミングが異なることに限られず、例えば1つの画像を構成する一群の画素P(例えば
図5の家の画像を表示する一群の画素Pなど)の照射位置や照射タイミングを、同じに設定してよい。
【0061】
なお、第3実施形態では、画素P毎に照射タイミングを設定するため、1フレームでは一部の画素Pしか点灯しない場合もあり、例えば
図5のタイミングでは家の画像のみが表示され、
図6のタイミングでは車の画像のみが表示され、
図7のタイミングではヘリコプタの画像のみが表示される。ただし、複数フレームを連続させることによる残像効果で、ユーザUには家、車、ヘリコプタの一つの画像に写っていると認識される。また、1フレームの表示時間内で画像全体(ここでは家、車、ヘリコプタの全て)を表示する構成にしてもよい。この場合、駆動制御部68bは、1フレームの表示時間内でレンズ30の焦点の位置を少なくとも往復移動の半周期分移動させればよい。これにより、1フレームの表示時間内で、往復移動内における全ての焦点の位置を網羅することができ、画像全体を表示することが可能となる。
【0062】
(処理フロー)
次に、以上説明した制御装置50bの処理フローを説明する。
図13は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置50bは、駆動制御部68bにより、レンズ30の焦点の位置を所定周期でZ方向に往復移動させる。制御装置50bは、タイミング設定部66bにより、画素P毎の奥行き情報から、画素P毎の照射位置を設定する(ステップS40)。制御装置50bは、レンズ30の焦点のZ方向における位置を逐次取得し、レンズ30の焦点が照射位置から所定距離内に到達したかを、画素P毎に判断する(ステップS42)。レンズ30の焦点が照射位置から所定距離内に到達したら(ステップS42;Yes)、すなわちレンズ30の焦点が照射位置から所定距離内に到達したと判断される画素Pがある場合には、タイミング設定部66bは、その画素Pが照射タイミングに到達したと判断し、照射制御部64bは、画像データに基づき、その画素Pに画像光Lを照射させる(ステップS44)。その後、照射停止タイミングで画像光Lの照射を停止させ、処理を終了しない場合は(ステップS46;No)、ステップS40に戻り処理を続ける。一方、レンズ30の焦点が照射位置から所定距離内に到達していない場合には(ステップS42;No)、すなわちレンズ30の焦点が照射位置から所定距離内に到達したと判断される画素Pが無い場合には、ステップS42に戻り、レンズ30の焦点が照射位置から所定距離内に到達するまで画素Pに光を照射させない。ステップS46で処理を終了する場合(ステップS46;Yes)、本処理を終了する。
【0063】
(効果)
以上説明したように、第3実施形態に係る表示装置1bは、ユーザUに立体画像を提供するものであって、表示部10と、レンズ30と、駆動制御部68bと、タイミング設定部66bと、照射制御部64bとを含む。表示部10は、自発光する複数の画素Pを含み、画素Pからの画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。レンズ30は、画像光Lの光軸方向において表示部10よりもユーザU側に設けられ、焦点を変更可能である。駆動制御部68bは、レンズ30の焦点の位置を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部66bは、レンズ30の焦点の光軸方向(本実施形態ではZ方向)における位置に基づき、画像光Lの照射タイミングを画素P毎に設定する。照射制御部64bは、照射タイミングで、画素Pに画像光Lを照射させる。
【0064】
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、レンズ30の焦点を光軸方向に移動させておき、焦点の位置に基づき、画像光Lの照射タイミングを設定する。従って、本実施形態によると、焦点の光軸方向の位置に基づいた適切なタイミングでユーザUに画像光Lを到達させることが可能となり、ユーザUに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、レンズ30の焦点を光軸方向に移動させつつ、焦点の光軸方向の位置に基づき、画像光Lの照射タイミングを設定することで、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
【0065】
また、タイミング設定部66bは、立体画像の奥行き方向(本実施形態ではZ方向)の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Lの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。
【0066】
また、タイミング設定部66bは、画素Pからの画像光Lの光束の開き角が、その画素Pによって表示される立体画像の部分での奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(虚像開き角)に対応するような、レンズ30の焦点の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部66bは、レンズ30の焦点が照射位置に対して所定距離範囲内となるタイミングを、その画素Pについての照射タイミングとして設定する。本実施形態によると、光束の開き角と虚像開き角とが近い画素Pに発光させて、光束の開き角と虚像開き角とが遠い画素Pに発光させないことが可能となるため、輻輳調節矛盾を適切に小さくすることができる。
【0067】
(変形例)
次に、変形例について説明する。変形例に係る表示装置1cは、接眼レンズ20の替わりに凹面鏡20Cでディスプレイを拡大する点で、第1実施形態とは異なる。変形例において第1実施形態と構成が共通する箇所は、説明を省略する。
【0068】
図14は、変形例に係る表示装置の模式図である。
図14に示すように、変形例に係る表示装置1cは、接眼レンズ20が設けられておらず、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、ハーフミラー20Bと凹面鏡20Cとが設けられている。ハーフミラー20Bと凹面鏡20Cも、光学素子であるといえる。変形例においては、表示部10から出射された画像光Lは、ハーフミラー20Bで反射されて凹面鏡20Cに入射する。凹面鏡20Cに入射した画像光Lは、凹面鏡20Cで若干の広がり角を持ちつつほぼ平行光になって、ハーフミラー20Bを透過してユーザUの眼EYに入射する。
【0069】
変形例においては、第1実施形態と同様にレンズ30の焦点位置を制御する。そのため、変形例のような構成であっても、第1実施形態と同様に、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
【0070】
なお、変形例は、第2実施形態及び第3実施形態にも適用可能である。また、表示装置の構成は、各実施形態や
図12で挙げた変形例以外のものであってもよい。
【0071】
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0072】
1 表示装置
10 表示部
20 接眼レンズ
30 レンズ
50 制御装置
60 画像情報取得部
62 視線情報取得部
64 照射制御部
66 焦点位置設定部
68 駆動制御部
L 画像光
U ユーザ