(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071316
(43)【公開日】2024-05-24
(54)【発明の名称】画像表示装置
(51)【国際特許分類】
G02B 30/56 20200101AFI20240517BHJP
G02B 5/08 20060101ALI20240517BHJP
【FI】
G02B30/56
G02B5/08 Z
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022202359
(22)【出願日】2022-12-19
(31)【優先権主張番号】P 2022181965
(32)【優先日】2022-11-14
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000226057
【氏名又は名称】日亜化学工業株式会社
(74)【代理人】
【識別番号】100108062
【弁理士】
【氏名又は名称】日向寺 雅彦
(74)【代理人】
【識別番号】100168332
【弁理士】
【氏名又は名称】小崎 純一
(74)【代理人】
【識別番号】100172188
【弁理士】
【氏名又は名称】内田 敬人
(72)【発明者】
【氏名】秋元 肇
(72)【発明者】
【氏名】宮入 洋
(72)【発明者】
【氏名】大野 恵子
(72)【発明者】
【氏名】山脇 正恵
【テーマコード(参考)】
2H042
2H199
【Fターム(参考)】
2H042DB07
2H042DD04
2H042DE00
2H199BA32
2H199BA48
2H199BA49
2H199BB17
2H199BB18
2H199BB59
2H199BB65
2H199BB67
(57)【要約】
【課題】簡素な構造で空中に画像を表示できる画像表示装置を提供する。
【解決手段】実施形態に係る画像表示装置は、結像素子と、光源と、位置検出部と、駆動部と、制御部と、を備える。前記結像素子は、第1面を有する基材と、前記基材上のリフレクタアレイと、を備える。前記リフレクタアレイは、第1方向に沿って、複数の2面直交リフレクタを含む複数のリフレクタ行を含む。前記複数のリフレクタ行は、前記第1方向に交差する第2方向に平行に配列される。前記複数の2面直交リフレクタは、第1反射面と、前記第1反射面に直交する第2反射面と、をそれぞれ含む。前記第2直交リフレクタの傾きは、前記第1面側に結像するように設定される。前記光透過部材は、前記結像素子での2回反射光を透過するように設けられる。前記遮光部材は、前記2回反射光以外の光の一部を遮光する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
結像により画像を形成する結像素子と、
前記画像を形成する光を、前記結像素子に照射する光源と、
前記結像を観測する観測者の観測位置を検出する位置検出部と、
前記結像素子および前記光源のうちの少なくとも一方の光の出射の向きを変更する駆動部と、
前記観測位置に応じて前記結像を形成するように前記駆動部を制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面とが交差する直線と、前記第1方向および前記第1方向に交差する第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に離れるほど大きい値に設定された画像表示装置。
【請求項2】
結像により画像を形成する結像素子と、
前記画像を形成する光を、前記結像素子に照射する光源と、
前記結像を観測する観測者の観測位置を検出する位置検出部と、
前記結像素子および前記光源のうちの少なくとも一方の光の出射の向きを変更する駆動部と、
前記観測位置に応じて前記結像を形成するように前記駆動部を制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数のリフレクタ行は、前記第1方向に交差する第2方向に互いに間隔をあけて平行に配列され、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面が交差する直線と、前記第1方向および前記第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に沿って一方向に離れるほど大きい値に設定された画像表示装置。
【請求項3】
前記位置検出部は、
前記観測者の目を含む第1画像データを取得する撮像部と、
前記第1画像データを画像処理して、前記観測位置のうち前記観測者の目の位置を検出する画像処理部と、
を含む請求項1または2に記載の画像表示装置。
【請求項4】
前記結像素子および前記光源を収納する筐体をさらに備え、
前記撮像部は、前記筐体内に配置された請求項3記載の画像表示装置。
【請求項5】
前記筐体は、結像素子から出射される光を透過させる窓部材を含み、
前記撮像部は、前記窓部材を介して前記第1画像データを取得する請求項4記載の画像表示装置。
【請求項6】
前記基材は、透光性を有し、
前記撮像部は、前記基材を介して前記第1画像データを取得する請求項4記載の画像表示装置。
【請求項7】
前記撮像部は、第1期間で前記第1画像データを取得し、
前記光源は、前記第1期間に重複しない第2期間で前記結像素子に光を照射する請求項3記載の画像表示装置。
【請求項8】
前記観測位置と前記結像素子との間に配置されたハーフミラーをさらに備え、
前記撮像部は、前記ハーフミラーに写った前記観測者の反射像を撮像する請求項4記載の画像表示装置。
【請求項9】
前記観測位置に向かって光を放射する照明光源をさらに備え、
前記照明光源は、前記光源が出射する光の波長とは異なる第1波長の光を照射し、
前記撮像部は、前記第1波長の光で照射された前記観測位置の前記第1画像データを取得する請求項4記載の画像表示装置。
【請求項10】
前記第1波長のピーク波長は、700nm以上である請求項9記載の画像表示装置。
【請求項11】
前記位置検出部は、前記観測者が着席する座席の位置の情報を取得する座席位置検出部を含み、
前記制御部は、前記座席位置検出部によって取得された前記座席の位置の情報にもとづいて、前記観測位置を補正する請求項3記載の画像表示装置。
【請求項12】
前記位置検出部は、前記観測者の音声を収集する集音部を含み、
前記制御部は、前記集音部によって収集されたデータにもとづいて、前記観測位置を補正する請求項3記載の画像表示装置。
【請求項13】
前記撮像部によって取得された前記観測者の少なくとも一部を含む第2画像データを画像処理して、前記観測者を識別する観測者情報を抽出し、前記観測者を含むすべての利用者のそれぞれを識別する利用者識別情報を含むデータベースから前記観測者情報を検索して前記観測者を認証する認証処理部をさらに備え、
前記認証処理部が前記観測者を認証した場合に、前記光源は、光を前記結像素子に光を照射可能とし、前記制御部は、前記駆動部を制御可能とする請求項3記載の画像表示装置。
【請求項14】
前記利用者識別情報は、前記利用者ごとの識別記号に関連付けられた、顔認証データ、虹彩認証データ、指紋認証データおよび静脈認証データのうちの少なくとも1つを含む請求項13記載の画像表示装置。
【請求項15】
前記光源は、基板と、前記基板上に配置された複数の半導体発光素子と、を含む請求項1または2に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像表示装置に関する。
【背景技術】
【0002】
被観察物の実像を空中に表示する反射型結像光学素子およびこれを応用した画像表示装置が提案されている(たとえば、特許文献1参照)。
【0003】
このような画像表示装置は、利用者の必要なときに画像を表示し、その他の場合には、画像を非表示にすることが可能である。また、このような画像表示装置は、空中に画像を表示することから、表示部分の装置が不要である。そのため、自動車内などの限られた空間をより有効に活用できる等のメリットがある。
【0004】
また、このような画像表示装置を応用することにより、非接触型の操作パネルを実現することができる。そのため、自動車内などの利用に加えて、応用分野の広がりが期待される。
【0005】
空中に画像表示できる反射型結像光学素子として、2面直交リフレクタを用いたものや、コーナーキューブリフレクタと呼ばれる再帰性反射機能を有する光学素子を用いたものが実用化されている(たとえば、特許文献2等参照)。それぞれの動作原理により、問題点が指摘されている。たとえば、2面直交リフレクタを用いる結像素子を用いた画像表示装置では、利用者の意図しない場所に虚像が表示されることを回避することが困難であるとされている。
【0006】
コーナーキューブリフレクタを用いた画像表示装置では、光源および結像素子に加えて光学素子を用いることにより、結像の形成位置を比較的自由に設定することができる。一方で、そのための光学素子の構成が複雑になる。
【0007】
簡素な構造で空中に画像を表示できる画像表示装置が望まれている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2015-146009号公報
【特許文献2】国際公開第2016/199902号
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の一実施形態は、簡素な構造で空中に画像を表示できる画像表示装置を提供する。
【課題を解決するための手段】
【0010】
本発明の一実施形態に係る画像表示装置は、結像により画像を形成する結像素子と、前記画像を形成する光を、前記結像素子に照射する光源と、前記結像を観測する観測者の観測位置を検出する位置検出部と、前記結像素子および前記光源のうちの少なくとも一方の光の出射の向きを変更する駆動部と、前記観測位置に応じて前記結像を形成するように前記駆動部を制御する制御部と、を備える。前記結像素子は、第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含む。前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含む。前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含む。前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面とが交差する直線と、前記第1方向および前記第1方向に交差する第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定される。前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定される。前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含む。前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に離れるほど大きい値に設定される。
【0011】
本発明の一実施形態に係る画像表示装置は、結像により画像を形成する結像素子と、前記画像を形成する光を、前記結像素子に照射する光源と、前記結像を観測する観測者の観測位置を検出する位置検出部と、前記結像素子および前記光源のうちの少なくとも一方の光の出射の向きを変更する駆動部と、前記観測位置に応じて前記結像を形成するように前記駆動部を制御する制御部と、を備える。前記結像素子は、第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含む。前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含む。前記複数のリフレクタ行は、前記第1方向に交差する第2方向に互いに間隔をあけて平行に配列される。前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含む。前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面が交差する直線と、前記第1方向および前記第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定される。前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定される。前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含む。前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に沿って一方向に離れるほど大きい値に設定される。
【発明の効果】
【0012】
本発明の一実施形態によれば、簡素な構造で空中に画像を表示できる画像表示装置が実現される。
【図面の簡単な説明】
【0013】
【
図1】第1の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図2】第1の実施形態に係る画像表示装置の一部である表示装置の可動範囲を説明するための模式図である。
【
図3A】第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な平面図である。
【
図4A】
図3BのIVA-IVA線における模式的な矢視断面図である。
【
図4B】第1の実施形態に係る画像表示装置の一部である表示装置の変形例を例示する模式的な断面図である。
【
図5】第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な等価回路図である。
【
図6】画像表示装置の一部である結像素子を例示する模式的な平面図である。
【
図7】
図6の結像素子の一部である基材を例示する模式的な斜視図である。
【
図9A】
図8の結像素子の一部である2面直交リフレクタを例示する模式的な平面図である。
【
図9B】
図9AのIXB-IXB線における模式的な矢視断面図の例である。
【
図9C】
図9Aの2面直交リフレクタの動作を説明するための模式的な斜視図である。
【
図9D】
図9Aの2面直交リフレクタの動作を説明するための模式的な斜視図である。
【
図10】
図6の結像素子を例示する模式的な側面図である。
【
図11】
図6の結像素子を例示する模式的な側面図である。
【
図12A】第1の実施形態に係る画像表示装置の一部である結像素子の変形例を例示する模式的な側面図である。
【
図12B】第1の実施形態に係る画像表示装置の一部である結像素子の他の変形例を例示する模式的な側面図である。
【
図13】第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な平面図である。
【
図14】第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な側面図である。
【
図15】第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な側面図である。
【
図16】第1の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図17】第1の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
【
図18】第1の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
【
図19】第2の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図20】第2の実施形態に係る画像表示装置の一部である結像素子の可動範囲を説明するための模式図である。
【
図21】第2の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図22】第3の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図23】第3の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図24】第3の実施形態に係る画像表示装置の動作を説明するための模式的なタイミングチャートの例である。
【
図25】第4の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図26】第5の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図27】第5の実施形態に係る画像表示装置の動作を説明するためのブロック線図の例である。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ、本発明の実施形態について説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して詳細な説明を適宜省略する。
【0015】
(第1の実施形態)
図1は、第1の実施形態に係る画像表示装置を例示する模式的な断面図である。
図1に示すように、本実施形態に係る画像表示装置1000は、結像素子310aと、表示装置1100と、位置検出部1430と、制御部1410と、駆動部1420と、を備える。第1の実施形態では、結像素子310a、表示装置1100、位置検出部1430、制御部1410および駆動部1420は、筐体1300内に配置されている。筐体1300には、開口が設けられ、筐体1300の開口には窓部材1320が配置されている。
【0016】
画像表示装置1000では、光源である表示装置1100から出射された光Lは、結像素子310aで反射される。結像素子310aは、光Lを入射して反射光Rを出射する。反射光Rは、窓部材1320を介して、筐体1300の外部に出射され、筐体1300の外部の空中に結像I1を形成する。
【0017】
画像表示装置1000では、結像素子310aが配置される位置は固定されている。画像表示装置1000では、表示装置1100が配置される位置は変更することができ、表示装置1100が光を出射する角度は変更することができる。表示装置1100が配置される位置および光を出射する角度の適切な変更により、画像表示装置1000は、所望の位置で結像I1を形成することができる。
【0018】
画像表示装置1000では、位置検出部1430は、画像表示装置1000が形成する結像I1を観測する観測者O1が、その結像I1を観測する観測位置を検出する。制御部1410および駆動部1420は、位置検出部1430によって検出された観測者O1の観測位置に応じて、結像I1が形成される位置を変更する。画像表示装置1000は、たとえば、観測者O1が結像I1を見やすくなるように、結像I1が形成される位置を変更する。
【0019】
より具体的には、位置検出部1430は、撮像部1432を含んでおり、撮像部1432は、観測者O1の「瞳」の画像を含むように、観測者O1を撮像する。撮像部1432は、観測者O1の瞳の位置に関する情報を含む画像データを生成する。位置検出部1430は、生成された画像データにもとづいて、観測者O1の瞳の位置を検出する。制御部1410は、検出された観測者O1の瞳の位置にもとづいて、結像I1が形成される位置および結像I1までの光路を演算し、算出した位置で結像I1を形成するように駆動信号を生成する。駆動部1420は、駆動信号にもとづいて、表示装置1100が配置される位置および表示装置1100が出射する光の向きを変更する。
【0020】
なお、
図1を用いた上記の説明は情報の流れの概略であって、制御装置1400の実際の構成には、
図16を用いて後述する通信ネットワーク等が設けられている。その他の実施形態の説明でも同様である。また、
図16に関連して後述するように、第1の実施形態では、位置検出部1430は、位置検出部1430から観測者O1までの距離および瞳の位置の情報を含む画像データにもとづいて、観測者O1の瞳の位置を検出する。位置検出部1430から観測者O1までの距離は、観測者O1が座るシートのシートポジション位置を検出することによって、設定され得る。位置検出部1430から観測者O1までの距離は、画像データのフォーカスによって設定してもよいし、位置検出部1430に複数のカメラを設けて撮像することによって設定されてもよい。
【0021】
図2は、第1の実施形態に係る画像表示装置の一部である表示装置の可動範囲を説明するための模式図である。
図2に示すように、表示装置1100は、可動であり、X1Y1Z1座標の任意の位置に配置される。3次元座標軸の各軸の定義については、後述する。表示装置1100は、基板1110と、基板1110上に形成された画素形成領域1112Rと、を有する。画素形成領域1112Rは、X1Y1平面に平行な面に形成されるものとし、画素形成領域1112Rに形成された画素を構成するLED素子が主として出射する光の向きは、Z1軸の負方向である。
【0022】
表示装置1100は、第1自由度として、X1軸に平行な方向に可動である。表示装置1100は、第2自由度として、Y1軸に平行な方向に可動である。表示装置1100は、第3自由度として、Z1軸方向に可動である。表示装置1100は、第1自由度から第3自由度までを有することによって、X1Y1Z1座標空間を任意の位置に移動することができる。
【0023】
表示装置1100は、さらに、各軸を中心に回転することができる。表示装置1100は、第4自由度として、X1軸を中心に回転可能である。表示装置1100は、第5自由度として、Y1軸を中心に回転可能である。表示装置1100は、第6自由度として、Z1軸を中心に回転可能である。表示装置1100の画素形成領域1112Rは、任意の方向を向くことができる。表示装置1100は、主として画素形成領域1112Rの法線方向に光を出射する。
【0024】
表示装置1100の6つの自由度の下の制御を6軸制御という。画像表示装置1000では、制御部1410および駆動部1420は、6軸制御に適応した制御システムを構築する。たとえば、6軸制御に適応した駆動部1420は、多関節アームを含み、表示装置1100は、多関節アームの先端に設けられる。
【0025】
画像表示装置1000では、6軸制御に適応した制御部1410および駆動部1420を備えることによって、表示装置1100は、任意の位置で、かつ、任意の方向に向けて光を出射することができる。表示装置1100が出射する光は、結像素子310aに照射される。結像素子310aを固定して、表示装置1100を6軸制御することによって、画像表示装置1000は、表示装置1100から出射された光を、結像素子310aを介して、空中の所望の位置で結像させることができる。
【0026】
図1に戻って説明を続ける。
制御部1410および駆動部1420は、第1の実施形態では、制御装置1400を構成する。制御装置1400は、たとえば、制御部1410および駆動部1420を一体で構成しており、筐体1300内に配置される。
【0027】
制御部1410は、たとえば、演算処理装置(CPU)を含んでいる。制御部1410は、位置検出部1430によって検出された観測者O1の瞳の位置にもとづいて、結像I1が形成される位置を演算する。結像I1が形成される位置を演算する場合には、たとえば、制御部1410は、観測者O1の「目」の画像中の「瞳」の位置にもとづいて、観測者O1の視線の方向を推定する。制御部1410は、観測者O1の視線の方向を推定する場合に、機械学習や深層学習を用いることができる。観測者O1の視線の方向の情報は、たとえば結像I1の輝度制御などにも用いることができる。観測者O1の視線の方向が結像I1に向いていないときには、表示装置1100の輝度を低減して消費電力を低減することなどができる。
【0028】
撮像部1432は、観測者O1に対向する位置に配置されている。撮像部1432では、観測者O1の少なくとも目および瞳の位置に関する情報を含むように撮像領域が設定される。
【0029】
より鮮明に観測者O1の画像を撮像するために、カメラ用照明1440を配置してもよい。カメラ用照明1440は、撮像部1432が観測者O1を撮像する際に点灯される。画像表示装置1000が動作中に常時点灯するようにしてもよい。撮像部1432およびカメラ用照明1440の動作は、たとえば制御部1410によって制御される。
【0030】
画像表示装置1000は、筐体1300をさらに備えている。表示装置1100、制御装置1400および結像素子310aは、筐体1300の内部に配置されている。第1の実施形態では、表示装置1100および制御装置1400は、筐体1300内の上部に配置され、結像素子310aは、筐体1300の下部に配置されている。
【0031】
第1の実施形態の画像表示装置1000では、結像素子310aは、第1面311aおよび仮想平面P0が筐体1300の底面に対して傾斜するように配置されている。結像素子310aは、表示装置1100が出射した光Lを入射して、斜め上方に向かう反射光Rとして出射する。反射光Rは、第1面311aおよび仮想平面P0の法線方向に出射される。結像素子310aは、反射光Rを出射する方向に第1面311aを支持するように設けられた結像素子設置部1330に配置されて固定される。仮想平面P0については、
図7に関連して後述する。
【0032】
筐体1300は、結像素子310a、表示装置1100、制御装置1400、撮像部1432およびカメラ用照明1440を内部の適切な位置に配置するように、任意の適切な外形形状を有する。撮像部1432の一部およびカメラ用照明1440の一部は、筐体1300の外部に配置されていてもよく、観測者O1を撮像し、照射できるように観測者O1対向する位置に配置される。
【0033】
筐体1300は、遮光部材1310を有する。遮光部材1310は、第1の実施形態では、筐体1300の一部である。遮光部材1310は、たとえば、筐体1300の内壁に配置された光吸収層である。光吸収層は、たとえば黒色の塗料の塗布層である。画像表示装置1000では、筐体1300の内壁に遮光部材1310を配置することによって、表示装置1100および結像素子310aから出射される光の一部が筐体1300内で反射して迷光となることを防止する。なお、遮光部材1310は塗料の塗布層であり、筐体1300の構成材の厚さに比べて十分に薄いため、
図1では、筐体1300の内壁の面として表されている。
【0034】
窓部材1320は、筐体1300の一部に設けられている。窓部材1320は、筐体1300の一部に形成された開口である窓枠1322の位置に配置されている。窓枠1322は、結像素子310aの第1面311aに対向する位置に開口されている。窓部材1320は、結像素子310aが反射光Rを画像表示装置1000の外部に出射できるように、ガラスや透明樹脂等の透光性の材料で形成されている。
【0035】
結像素子310aは、第1面311a上に行列状に配置された複数の2面直交リフレクタ30を有している。第1面311aは、窓枠1322の開口および窓部材1320とほぼ平行に配置される。2面直交リフレクタ30は、第1反射面31と第2反射面32とを有しており、それぞれの反射面で1回ずつ反射して、2面直交リフレクタ30の2回反射光が反射光Rとして出射される。結像素子310aの構成については、
図6~
図15に関連して後述する。窓部材1320および窓枠1322は、結像素子310aの2回反射光を透過するように設けられる。
【0036】
第1の実施形態では、結像素子310aの直上に結像I1を形成するように、表示装置1100および結像素子310aが配置されている。結像素子310aの直上とは、第1面311aの法線方向の位置である。このような配置の場合には、結像素子310aは、1回反射光の一部も第1面311a側に出射され、第1面311aの側で虚像やゴーストを形成することがある。また、結像素子310aの構成によっては、いずれの反射面でも反射されない光が第1面311a側に出射される場合もある。したがって、遮光部材1310は、筐体1300の内壁のうち、少なくとも、表示装置1100からの漏れ光や、結像素子310aの2回反射光以外の光を遮光する位置に配置される。
【0037】
結像素子310aから出射される反射光Rは、窓部材1320を透過して、筐体1300の外部で結像I1を形成する。窓部材1320は、結像素子310aと、結像I1が形成される位置との間に配置される。観測者O1がいる場合には、結像I1は、観測者O1と窓部材1320との間に形成される。
【0038】
上述の具体例では、筐体1300の内壁に遮光部材1310を配置するものとしたが、表示装置1100や結像素子310aから放射される漏れ光を遮ることができれば遮光部材1310を内壁に配置するものに限らない。たとえば、表示装置1100の周囲を黒色塗装した筒体で囲むことによって、表示装置1100からの漏れ光を遮光することができる。結像素子310aの基材を黒色樹脂等で形成することによって、結像素子310aの漏れ光を遮光することができる。
【0039】
表示装置1100の構成について、詳細に説明する。
図3Aは、第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な平面図である。
図3Bは、
図3AのIIIB部の模式的な拡大図である。
図4Aは、
図3BのIVA-IVA線における模式的な矢視断面図である。
表示装置1100の説明に際しては、3次元直交座標系を用いて説明することがある。表示装置1100の説明のための3次元直交座標系は、X1軸、Y1軸およびZ1軸を含む直交座標系である。X1軸に平行な方向を「X1方向」といい、Y1軸に平行な方向を「Y1方向」といい、Z1軸に平行な方向を「Z1方向」ということがある。X1軸およびY1軸を含むX1Y1平面は、表示装置1100の基板の第1面1111aに平行な面であるものとする。第1面1111aは、LED素子が配置され、画素形成領域1112Rが設けられた面である。X1軸は、表示装置1100の画素の行に平行である。Y1軸は、X1軸に直交する。Z1軸は、X1軸およびY1軸に直交し、第1面1111aから第2面1111bに向かって正方向とする。第2面1111bは、基板1110の第1面1111aの反対側に位置する面である。
【0040】
X1Y1Z1直交座標系によれば、表示装置1100は、主として、Z1軸の負方向に向かって光を出射する。
図1に示したように、結像素子310aは、表示装置1100が光を出射する側に配置されている。つまり、結像素子310aは、表示装置1100のZ1軸の負方向の側に配置されている。
【0041】
図3Aに示すように、表示装置1100は、X1Y1平面視でほぼ矩形の基板1110を有している。基板1110は、たとえばガラスやポリイミド等の樹脂を用いることができ、Si基板を用いてもよい。表示装置1100においては、光軸C1は、X1Y1平面視において、基板1110の外周がなす形状の中心と一致する。光軸C1は、Z1軸に平行な軸である。光軸C1をZ1軸に一致するものとすると、表示装置1100は、6軸制御により、光軸C1を中心に回転することができる。
【0042】
光軸C1を中心にして、基板1110上に画素形成領域1112Rが設けられている。画素形成領域1112Rには、
図3Bに示す画素1112が行列状に配置されている。
図3Aに示す例では、画素形成領域1112Rは、ほぼ正方形であるが、任意の形状とすることができる。つまり、画素1112の配列が形成する外周は、任意の形状とすることができる。
【0043】
図3Bに示すように、表示装置1100は、光源となる複数の画素1112を含んでいる。表示装置1100は、複数の画素1112により、所望の画像を表示する。表示装置1100は、図示しない表示コントローラに電気的に接続される。表示コントローラは、筐体1300内や筐体1300外に設けられ、表示装置1100が表示する画像に関するデータを表示装置1100に供給する。表示装置1100は、表示コントローラから供給される画像に関するデータにもとづいて、静止画や動画等を表示する。
【0044】
表示装置1100は、基板1110と、複数の画素1112と、走査回路1130と、複数の走査線1140と、複数の点灯制御線1150と、駆動回路1160と、複数の信号線1170と、を含む。画素1112は、LED素子1120と、個別回路1180と、を含む。なお、
図3Bでは、LED素子1120、走査回路1130、駆動回路1160、および個別回路1180は、図示の煩雑さを避けるため、それぞれ四角形で簡易的に示されている。
【0045】
複数のLED素子1120は、行列状に配列されている。以下、X1方向に1行で並ぶ複数のLED素子1120を「行1120i」という。
【0046】
図4Aに示すように、基板1110は、第1面1111aと第2面1111bとを有する。第2面1111bは、第1面1111aの反対側の面である。LED素子1120は、第1面1111a上に行列状に配置されている。LED素子1120は、第1面1111a上にフェースダウン実装される。LED素子は、フェースダウン実装に限らず、第1面1111a上にフェースアップ実装されてもよい。
【0047】
LED素子1120は、半導体積層体1121と、アノード電極1125と、カソード電極1126と、を有する。半導体積層体1121は、p型半導体層1122と、p型半導体層1122上に配置された活性層1123と、活性層1123上に配置されたn型半導体層1124と、を有する。半導体積層体1121には、たとえばInXAlYGa1-X-YN(0≦X、0≦Y、X+Y<1)で表される窒化ガリウム系化合物半導体が用いられる。LED素子1120が発光する光は、本実施形態では可視光である。
【0048】
アノード電極1125は、p型半導体層1122に電気的に接続される。また、アノード電極1125は、
図5に関連して後述する個別回路1180の配線1181に電気的に接続される。なお、
図4Aおよび
図4Bに示す例では、個別回路1180は、Si基板に形成されている。カソード電極1126は、n型半導体層1124に電気的に接続される。また、カソード電極1126は、個別回路1180の別の配線1182に電気的に接続される。アノード電極1125およびカソード電極1126には、たとえば金属材料を用いることができる。
【0049】
図4Aに示す例では、LED素子1120の光出射面1124Sには、複数の凹部1124Tが設けられている。以下では、「LED素子の光出射面」とは、LED素子の表面のうち、主として光が出射する面を意味する。
図4Aに示す例では、光出射面1124Sは、n型半導体層1124の一方の面である。より具体的には、光出射面1124Sは、n型半導体層1124が活性層1123に対向する面の反対側に位置する面である。
【0050】
光出射面1124Sに複数の凹部1124Tを形成する方法は、凸部が形成された成長基板上にn型半導体層を成長させる方法やn型半導体層の表面異方性エッチングにより粗面加工する方法等がある。なお、成長基板は所定のタイミングで剥離され得る。
【0051】
このように、LED素子1120の光出射面1124Sに複数の凹部1124Tが設けられているので、LED素子1120は、より大きな配光角を有する光を出射することができる。
【0052】
LED素子の構成は、上記に限定されない。たとえば、LED素子の光出射面には複数の凹部ではなく複数の凸部が設けられていてもよいし、複数の凹部および複数の凸部の両方が設けられていてもよい。また、成長基板が透光性を有する場合、半導体積層体から成長基板を剥離せず、光出射面に相当する成長基板の表面に複数の凹部および複数の凸部の少なくとも一方を設けてもよい。
【0053】
また、表示装置1100の構造も、上記に限定されない。上記ではLED素子1120は個別回路1180を設けた基板1110上に個別実装されているが、LED素子1120は個別回路1180を設けた基板1110上にボンディングされた半導体積層体から個別に加工され配線されてもよい。
【0054】
図4Bは、第1の実施形態に係る画像表示装置の一部である表示装置の変形例を例示する模式的な断面図である。
図4Bは、
図3BのIVA-IVA線における矢視断面図に対応しており、
図4Aに示した位置と同じ位置における矢視断面図を表している。
図4Bに示すように、画素1112aは、LED素子1120aと、波長変換部材1128とを含んでいる。画素1112aは、
図3Bに示した画素1112と同様に、個別回路1180を含んでいる。画素1112aは、
図4Bに示す例のように、カラーフィルタ1129をさらに含んでもよい。
【0055】
この変形例では、LED素子1120aは、半導体積層体1121aと、アノード電極1125と、カソード電極1126と、を有する。半導体積層体1121aは、p型半導体層1122と、活性層1123と、n型半導体層1124aと、を有する。活性層1123はp型半導体層1122上に配置され、n型半導体層1124aは活性層1123上に配置されている。n型半導体層1124aは、光出射面1124aSを有する。光出射面1124aSは、凹部や凸部を有しておらず平坦な面である。
【0056】
画素1112aでは、保護層1127は、LED素子1120a、配線1181、1182および基板1110の第1面1111aを覆っている。保護層1127には、たとえば、硫黄(S)含有置換基もしくはリン(P)原子含有基を有する高分子材料、または、ポリイミド等の高分子マトリックスに高屈折率の無機ナノ粒子を導入した高屈折率ナノコンポジット材料等の透光性材料を用いることができる。
【0057】
波長変換部材1128は、保護層1127上に配置される。波長変換部材1128は、一般的な蛍光体材料、ペロブスカイト蛍光体材料または量子ドット(Quantum Dot、QD)等の波長変換材料を1種以上含む。LED素子1120aから出射した光は、波長変換部材1128に入射する。波長変換部材1128に含まれる波長変換材料は、LED素子1120aから出射した光のピーク波長を異なるピーク波長の光に変換して出射する。波長変換部材1128に入射された光は、波長変換部材1128内で散乱されるので、波長変換部材1128が発する光は、より広い配光角で出射される。
【0058】
カラーフィルタ1129は、波長変換部材1128上に配置される。カラーフィルタ1129は、LED素子1120aから出射し、波長変換部材1128で波長変換されなかった光の大部分を遮断可能である。これにより、画素1112aからは、主に波長変換部材1128が発する光が出射する。
【0059】
この変形例においては、LED素子1120aの発光ピーク波長は、紫外光の領域であってもよいし、可視光の領域であってもよい。なお、少なくとも1つの画素1112aから青色光を出射させたい場合には、その画素1112aには、波長変換部材1128およびカラーフィルタ1129を設けずに、その画素1112aに属するLED素子1120aから青色光を出射させてもよい。
【0060】
また、LED素子において基板と対向するようにn型半導体層を設け、その上に活性層およびp型半導体層をこの順で積層し、p型半導体層において活性層と対向する面の反対側の面を、LED素子の光出射面としてもよい。
【0061】
図3Bに示すように、走査回路1130は、たとえば、平面視において行列状に配列された複数のLED素子1120とX1方向において隣り合うように基板1110に配置されている。つまり、走査回路1130は、
図2に示した画素形成領域1112RのX1方向に平行な外縁に隣り合うように配置されている。走査回路1130は、駆動する行1120iをY1方向に順次切り替え可能な回路である。走査回路1130からは、複数の走査線1140がX1方向に延びている。また、走査回路1130からは、複数の点灯制御線1150がX1方向に延びている。複数の走査線1140および複数の点灯制御線1150は、Y1方向に交互に並んでいる。
【0062】
駆動回路1160はX1Y1平面視において、行列状に配列された複数のLED素子1120とY1方向において隣り合うように基板1110に配置されている。つまり、駆動回路1160は、
図2に示した画素形成領域1112RのY1方向に平行な外縁に隣り合うように配置されている。駆動回路1160は、駆動させる行1120iに属するLED素子1120のそれぞれの出力を制御可能な回路である。駆動回路1160からは、複数の信号線1170がY1方向に延びている。複数の信号線1170は、X1方向に並んでいる。駆動回路1160は、ICチップにより構成し、このICチップを基板1110上に実装してもよい。
【0063】
走査回路1130、複数の走査線1140、複数の点灯制御線1150、駆動回路1160、複数の信号線1170および個別回路1180は、たとえば、基板1110上に低温ポリシリコン(LTPS:Low Temperature Polycrystalline Silicon)プロセスで形成され得る。
【0064】
この例では、1つの画素1112は、1つの個別回路1180と1つのLED素子1120とを含んでいる。1つの画素1112内に、複数のLED素子1120を含んでもよい。1つの画素1112内に複数のLED素子1120を含む場合には、1つの個別回路が複数のLED素子に対応してもよい。あるいは、個別回路1180は、1つの画素1112内でLED素子1120ごとに設けられてもよい。
【0065】
図5は、第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な等価回路図である。
図5に示すように、個別回路1180は、第1トランジスタT1と、第2トランジスタT2と、第3トランジスタT3と、キャパシタCmと、複数の配線1181~1185と、を含む。第1トランジスタT1および第3トランジスタT3は、nチャネルのMOSFETである。第2トランジスタT2は、pチャネルのMOSFETである。
【0066】
LED素子1120のカソード電極1126は、配線1182を介して接地線1191に電気的に接続される。接地線1191には、たとえば基準となる電圧が印加される。LED素子1120のアノード電極1125は、配線1181を介して第1トランジスタT1のソース電極に電気的に接続される。
【0067】
第1トランジスタT1のゲート電極は、点灯制御線1150に電気的に接続される。第1トランジスタT1のドレイン電極は、配線1183を介して第2トランジスタT2のドレイン電極に電気的に接続される。第2トランジスタT2のソース電極は、配線1184を介して電源線1192に電気的に接続される。電源線1192には、基準となる電圧よりも十分に高い電圧が印加される。図示しないが、電源線1192および接地線1191には直流電源が接続され、電源線1192と接地線1191との間には、接地線1191に印加される基準の電圧に対して正の直流電圧が印加される。
【0068】
第2トランジスタT2のゲート電極は、配線1185を介して第3トランジスタT3のドレイン電極に電気的に接続される。第3トランジスタT3のソース電極は、信号線1170に電気的に接続される。第3トランジスタT3のゲート電極は、走査線1140に電気的に接続される。
【0069】
配線1185は、キャパシタCmの一方の端子に電気的に接続される。キャパシタCmの他方の端子は、電源線1192に電気的に接続される。
【0070】
走査回路1130は、複数の行1120iのうちの1行を選択し、この行1120iに電気的に接続される走査線1140に、ON信号を出力する。これにより、この行1120iに対応する個別回路1180の第3トランジスタT3がON可能な状態になる。駆動回路1160は、各信号線1170に、この行1120iに属する各LED素子1120の設定出力に応じた駆動信号電圧を有する駆動信号を出力する。これにより、キャパシタCmに駆動信号電圧が保持される。また、この駆動信号電圧により、この行1120iに対応する個別回路1180の第2トランジスタT2がON可能な状態になる。
【0071】
また、走査回路1130は、この行1120iに電気的に接続される点灯制御線1150に、この行1120iの第1トランジスタT1のONとOFFを順次切り替える制御信号を出力する。第1トランジスタT1がONの状態では、この行1120iに属する各LED素子1120に、キャパシタCmに保持されている駆動信号電圧に応じた電流が流れることでLED素子1120の発光輝度が制御される。また、第1トランジスタT1のONとOFFが切り替わることにより、LED素子1120の発光期間が行1120iごとに制御される。
【0072】
走査回路1130は、ON信号を出力する走査線1140および制御信号を出力する点灯制御線1150をY1方向に順次切り替える。これにより、駆動される行1120iがY1方向に順次切り替わる。
【0073】
走査回路、複数の走査線、複数の点灯制御線、駆動回路、複数の信号線および複数の個別回路等の構成は、上記に限定されない。たとえば、個別回路は、第2トランジスタ、第3トランジスタ、キャパシタ、および配線からなり、第1トランジスタが設けられておらず、走査回路からは、複数の走査線が延び、点灯制御線は設けられていなくてもよい。また、各走査線、各点灯制御線、各信号線、および各個別回路における配線等は、基板の表面上ではなく、基板の中に設けられてもよい。また、駆動回路に含まれるトランジスタやキャパシタ等の電気的な素子は、基板上に形成するのではなく別途製造されたものを、基板上に実装してもよい。また、LED素子は、別途製造されたものを基板に実装するのではなく、基板にSi等の半導体材料を用い、LED素子を基板上に形成してもよい。この場合は、各トランジスタ素子はガラス基板上に設けられた低温ポリシリコン素子ではなく、シリコン基板上に設けられたシリコン半導体素子でよい。
【0074】
上述のようなLED素子を有する表示装置は、小さな消費電力で十分な発光輝度が実現される点で好ましいが、これに限るものではない。上述のようなLED素子を用いたLEDディスプレイに代えて、表示装置は、OLEDディスプレイや液晶ディスプレイ等としてもよい。
【0075】
次に、結像素子310aの構成について、詳細に説明する。
図6は、画像表示装置の一部である結像素子を例示する模式的な平面図である。
図1に示したように、本実施形態に係る画像表示装置1000は、結像素子310aを備える。結像素子は、その構成によりさまざまなバリエーションがあり、
図1に示した結像素子310aは、そのうちの1つである。以下では、空中に結像を形成する結像素子の動作原理を含めて説明する。まず、結像素子10の構成および動作について説明する。
【0076】
図6に示すように、結像素子10は、基材12と、リフレクタアレイ20と、を備える。基材12は、第1面11aを有しており、リフレクタアレイ20は、第1面11a上に設けられている。
図6に示す例では、リフレクタアレイ20は、第1面11aのリフレクタ形成領域14内に設けられている。リフレクタアレイ20は、複数のリフレクタ行22を含む。なお、リフレクタアレイ20は基材12に設けられていてもよい。つまりリフレクタアレイ20と基材12とは一体であってもよい。この場合、基材12の第1面11aが後述するリフレクタアレイ20の2面直交リフレクタとなる。
【0077】
基材12の構成について説明する。
図7は、
図6の結像素子の一部である基材を例示する模式的な斜視図である。
図7に示すように、基材12は、第1面11aおよび第2面11bを有している。第2面11bは、第1面11aの反対側に位置する面である。
【0078】
結像素子に関する説明では、
図3A等で示した表示装置1100の説明における3次元直交座標系とは異なる3次元直交座標系を用いることがある。結像素子の説明のための3次元直交座標系は、X2軸、Y2軸およびZ2軸を含む直交座標系である。X2軸に平行な方向を「X2方向」といい、Y2軸に平行な方向を「Y2方向」といい、Z2軸に平行な方向を「Z2方向」ということがある。X2軸およびY2軸を含むX2Y2平面は、仮想平面P0に平行な平面として定義される。第1面11aは、第2面11bよりもZ2軸の正方向の側に設けられる。第1面11aは、Y2Z2平面視で、Z2軸の負方向側に凸となる円弧の一部を含んでいる。以下で説明する具体例では、仮想平面P0は、この円弧の一部のうち、Z2軸のもっとも負方向側に位置する点に接する接平面に平行な仮想的な面である。
【0079】
上述したように、第1面11aは曲面であり、リフレクタアレイ20は、曲面上に設けられている。仮想平面P0は、リフレクタ行22のY2軸方向の傾きを設定するときの基準面となる。換言すると、リフレクタ行22は、仮想平面P0に対して設定された角度で、第1面11a上に設けられている。
【0080】
基材12は、透光性を有する材料で形成されており、たとえば、透明樹脂で形成される。
【0081】
結像素子10では、基材12を基準にして第1面11a側に光源を配置すると、第2面11b側ではなく、光源を配置した第1面11a側に結像が形成される。結像が形成される位置は、光源が設けられた位置から十分に離れた位置であって、光源が設けられた位置とは異なる位置とすることができる。
【0082】
図6に戻って説明を続ける。
リフレクタ行22は、X2方向に沿って設けられている。複数のリフレクタ行22は、Y2方向に沿って、互いにほぼ平行になるように設けられている。複数のリフレクタ行22は、隣り合ったリフレクタ行22ごとにY2方向に間隔23をあけて、ほぼ等間隔で配列されている。リフレクタ行22の間隔23のY2方向の長さは、任意の長さとすることができ、たとえば、リフレクタ行22のY2方向の長さ程度とすることができる。リフレクタ行22の間隔23を形成する領域には、第1面11a側に光源を配置した場合に、リフレクタ行22で反射しない光線やリフレクタ行22で1回反射した反射光等が入射される。これらの光線等は、結像に寄与しないため、この間隔23を広くとると、結像素子10に入射される光線のうち結像に寄与する割り合いが小さくなる。そのため、間隔23のY2方向の長さは、
図8に関連して後述する2面直交リフレクタの寸法や反射面の効率等に応じて、適切な長さとされる。
【0083】
リフレクタ行22のそれぞれは、X2方向に接続された多数の2面直交リフレクタを含んでいるため、
図6では、煩雑さを回避するために塗りつぶされて示されている。
図6に示す例では、結像素子10はX2方向に横長の形状をしている。これは、結像を両眼で視認するためには有利だからである。結像素子10のX2Y2平面視での形状は、これに限らず、用途に応じて、Y2方向に縦長の形状を選択してもよい。
【0084】
なお、
図1に示した画像表示装置1000のように、結像素子310aの第1面311aの法線方向に空中画像を結像させる場合には、隣り合うリフレクタ行22の間隔を設けなくてもよい。また、隣り合うリフレクタ行22の間隔を設ける場合に、設けたリフレクタ行の間隔を反射面にしてもよい。
【0085】
図8は、
図6のVIII部の模式的な拡大図である。
図8に示すように、リフレクタ行22は、複数の2面直交リフレクタ30を含む。複数の2面直交リフレクタ30は、X2方向に沿って相互に接続され、連続して設けられている。2面直交リフレクタ30は、第1反射面31および第2反射面32を含む。2面直交リフレクタ30は、
図6に示した第1面11a上に形成された基部36上に設けられている。第1反射面31および第2反射面32は、それぞれの正面視で、ほぼ正方形とされ、正方形のそれぞれの1辺で反射面同士が谷の向きにほぼ直交するように接続されている。
【0086】
以下、2面直交リフレクタ30において、第1反射面31と第2反射面32との接続線を、谷側接続線33というものとする。谷側接続線33の反対側の位置の第1反射面31の辺、および、谷側接続線33の反対側の位置の第2反射面32の辺をそれぞれ山側接続線34というものとする。
【0087】
2面直交リフレクタ30の第1反射面31は、山側接続線34で、X2軸の負方向側に隣接する2面直交リフレクタ30の第2反射面32に接続される。2面直交リフレクタ30の第2反射面32は、山側接続線34で、X2軸の正方向側に隣接する他方の2面直交リフレクタ30の第1反射面31に接続される。このようにして、複数の2面直交リフレクタ30は、X2方向に沿って相互に接続され、連続して設けられている。
【0088】
本実施形態の結像素子10では、第1反射面31および第2反射面32の寸法は、たとえば、数μmから数100μmとすることができる。たとえば、表示する空中画像の大きさや解像度等に応じて、2面直交リフレクタ30の集積数が設定される。たとえば、1つの結像素子10の中には、数10~数1000個の2面直交リフレクタ30が集積される。たとえば100μm角の反射面を有する1000個の2面直交リフレクタを、Y2方向14cm程度にわたって配列することができる。
【0089】
結像素子10のリフレクタ行22は、
図8に示した拡大図のように、谷側接続線33および山側接続線34のX2軸方向の位置が同じになるように配置されている。これに限らず、リフレクタ行22ごとに谷側接続線33および山側接続線34のX2軸方向の位置をずらしてもよい。
【0090】
図9Aは、
図8の結像素子の一部である2面直交リフレクタを例示する模式的な平面図である。
図9Bは、
図9AのIXB-IXB線における模式的な矢視断面図の例である。
図9Aおよび
図9Bに示すように、2面直交リフレクタ30は、第1反射面31および第2反射面32を含んでおり、第1反射面31および第2反射面32は、基部36上に設けられている。基部36は、第1反射面31および第2反射面32が、第1面11aの接平面Pに対して所望の角度となるように設けられている。
【0091】
基部36は、V字状に成形された透光性を有する部材であり、たとえば透明樹脂で形成され、基材12と一体で成形される。第1反射面31および第2反射面32は、基材12のV字形に成形された箇所に光反射性を有する金属材料等の薄膜形成等により形成される。このような例に限らず、第1反射面31、第2反射面32、基部36および基材12は、それぞれあるいは一部が別体で形成されて、それらを1つに組み立てて、結像素子10を形成するようにしてもよい。また、透明樹脂の表面がたとえば鏡面加工等されており、透明樹脂の表面反射率が十分に高い場合には、第1反射面31および第2反射面32は、透明樹脂の表面のままとすることもできる。間隔23や基部36は、虚像観測防止等のために、光透過性や光吸収性をもたせることが好ましい。
【0092】
2面直交リフレクタ30は、以下のように形成してもよい。透明樹脂の表面に第1反射面31および第2反射面32を形成する。形成した第1反射面31および第2反射面32が空気中に露出し、第1反射面31および第2反射面32を形成した面の反対の面から光が入射するように配置する。こうすることで、透明樹脂と空気の屈折率差によって、第1反射面31および第2反射面32を全反射面として機能させることができる。
【0093】
第1反射面31および第2反射面32は、谷側接続線33でほぼ直交するように接続されている。第1反射面31において、谷側接続線33の反対側の位置に山側接続線34があり、第2反射面32において、谷側接続線33の反対側の位置に山側接続線34がある。
【0094】
谷側接続線33の端部を頂点33a、33bと呼ぶ。頂点33aの位置は、頂点33bの位置よりも、Z2軸の正方向の側とされる。つまり、頂点33aは、頂点33bよりも基材12から離れた位置とされている。山側接続線34の端部を頂点34a、34bと呼ぶ。頂点34aの位置は、頂点34bの位置よりも、Z2軸の正方向の側とされる。つまり、頂点34aは、頂点34bよりも基材12から離れた位置とされている。したがって、頂点34aは、もっとも基材12から離れた位置となり、頂点33bは、もっとも基材12に近い位置に配置されることとなる。
【0095】
図9Bには、2面直交リフレクタ30、第1面11aと接平面Pとの関係が示されている。2面直交リフレクタ30は、谷側接続線33の下側の頂点33bで第1面11aに接している。接平面Pは、頂点33bの位置における第1面11aに接する平面である。2面直交リフレクタ30は、谷側接続線33が接平面Pと角度θをなすように第1面11a上に設けられる。
【0096】
図9Cおよび
図9Dは、
図9Aの2面直交リフレクタの動作を説明するための模式的な斜視図である。
図9Cに示すように、光線LLが第1反射面31に入射すると、光線LLは、第1反射面31によって反射される。第1反射面31によって反射された1回反射光LR1は、第2反射面32によって再度反射される。第2反射面32によって反射された2回反射光LR2は、入射光の光源と同じ側に出射される。このようにして、2面直交リフレクタ30は、第1面11a側からの入射光を第1面11a側であって、光源の位置とは異なる位置に向かって出射する。2面直交リフレクタ30は、このように、2つの反射面で2回反射して、入射する光線LLの進行してきた側に2回反射光LR2を反射する。
【0097】
2面直交リフレクタ30の反射動作は、可逆的である。2面直交リフレクタ30に入射する光線は、
図9Cにおいて、2回反射光LR2に沿って逆方向から入射した場合には、入射する光線LLに沿って逆方向に反射される。具体的には、
図9Dに示すように、2面直交リフレクタ30に入射した光線LLは、第2反射面32で反射され、1回反射光LR1として、第1反射面31に入射する。1回反射光LR1は、第1反射面31で反射されて2回反射光LR2として出射する。
【0098】
図8や
図9Aに示したように、2面直交リフレクタ30は、谷側接続線33を基準に線対称であり、接平面Pに対する第1反射面31の角度は、接平面Pに対する第2反射面32の角度とほぼ等しくなるように配置される。そのため、2面直交リフレクタ30は、光線が最初に第1反射面31に入射する場合と、光線が最初に第2反射面32に入射する場合とでは、同様の動作をして反射光を出射する。たとえば、
図9Cでは、光線LLは、最初に第1反射面31に入射し反射されるものとしたが、最初に第2反射面32に入射し反射される場合であっても、2面直交リフレクタ30の動作は、上述と同様に説明することができる。また、
図9Dでは、光線LLは、最初に第1反射面31に入射して、第1反射面31による1回反射光が第2反射面32で反射されて第2反射光として出射されてもよい。以下では、結像素子の動作を説明する場合には、特に断らない限り、最初に第1反射面31で反射する場合について説明することとする。
【0099】
図10は、
図6の結像素子を例示する模式的な側面図である。
図10では、リフレクタアレイ20は、
図9Aおよび
図9Bに示した2面直交リフレクタ30の頂点33aを結んだ包絡線で示されている。以降、結像素子を表す側面図において、2面直交リフレクタ30の構成を示して説明する必要がない場合には、
図10に示したように、リフレクタアレイ20は、2面直交リフレクタ30の頂点33aの包絡線を1点鎖線にして表すこととする。
【0100】
図10に示すように、結像素子10では、第1面11aが曲面であるため、リフレクタアレイ20は、曲面状に設けられている。第1面11aは、Y2Z2平面視でZ2軸の負方向側に凸となる円弧の一部を含んでおり、リフレクタアレイ20もこの円弧状に設けられ、頂点の包絡線も円弧となる。円弧の半径は、結像素子10と結像素子10の第1面11a側に設けられる光源との距離にもとづいて設定される。たとえばリフレクタアレイ20の円弧の半径は、結像素子10と光源との間の距離の2倍程度とされる。
【0101】
図9Cおよび
図9Dに関連して説明したように、結像素子10は、光線の入射および反射の方向について、可逆性を有している。結像素子10において、入射および反射の方向を逆にした場合には、円弧の半径は、結像素子10と第1面11a側に形成される結像との距離にもとづいて設定される。上述と同様に、リフレクタアレイ20の円弧の半径は、結像素子10と結像との間の距離の2倍程度とされる。
【0102】
結像素子10では、第1面11aに接する接平面のうち、Z2軸方向の負方向側のもっとも低い位置に接する接平面は、XY平面に平行な仮想平面P0である。
【0103】
図11は、
図6の結像素子を例示する模式的な側面図である。
図11には、
図6および
図8に示したリフレクタ行22を構成する1つの2面直交リフレクタが示されている。
図6および
図8に関連して説明したように、複数のリフレクタ行22のそれぞれは、X2方向に沿って設けられ、Y2方向にほぼ等間隔で配列されている。1つのリフレクタ行22を構成する複数の2面直交リフレクタの仮想平面P0に対する角度は、ほぼ同じとされる。したがって、仮想平面P0に対する2面直交リフレクタ30の角度は、その2面直交リフレクタ30が属するリフレクタ行22の仮想平面P0に対する角度を表す。
【0104】
図11では、Y2方向に配列された多数個の2面直交リフレクタのうち、5個の2面直交リフレクタ30-1~30-5が拡大されて模式的に示されている。Y2軸における位置を区別するために符号を変えてあるが、2面直交リフレクタ30-1~30-5の構成は、
図9Aおよび
図9Bに関連して説明した2面直交リフレクタ30と同じである。
図9Bに示した基部36の表記は、図示の煩雑さを回避するために図示を省略している。
【0105】
図11に示すように、2面直交リフレクタ30-1~30-5は、第1面11aのY2軸における位置に応じて、仮想平面P0に対する角度Θ1~Θ5が異なっている。2面直交リフレクタ30-1~30-5のそれぞれの角度Θ1~Θ5は、仮想平面P0に対する谷側接続線(直線)33-1~33-5の角度で表される。
【0106】
図11に示す例では、2面直交リフレクタ30-1~30-5は、Y2軸の正方向に向かって、この順に配置されている。2面直交リフレクタ30-1~30-5の角度Θ1~Θ5は、この順に大きな値に設定される。つまり、角度Θ1~Θ5の大きさは、Θ1<Θ2<Θ3<Θ4<Θ5とされる。
【0107】
より一般化して換言すると、2面直交リフレクタ30-1~30-5の角度Θ1~Θ5は、もっとも小さい値に設定された2面直交リフレクタのリフレクタ行(第1リフレクタ行)22を基準にして、Y2軸上を一方向に向かって離れるほど大きい値である。また、角度Θ1~Θ5は、基準とされたリフレクタ行22からY2軸上を他方向に向かって離れるほど小さい値である。
図11の例では、もっとも小さい角度に設定された2面直交リフレクタ30-1の位置を基準とすると、Y2軸の正方向に向かって、角度Θ1~Θ5の大きさは、Θ1<Θ2<Θ3<Θ4<Θ5となる。
【0108】
2面直交リフレクタの角度Θ1~Θ5は、0°<Θ1~Θ5<90°とすることができる。第1反射面31と仮想平面P0とのなす角は、角度Θ1~Θ5にそれぞれ連動して決定されるが、45°<(第1反射面31と仮想平面P0とのなす角)<90°とすることができる。第2反射面32と仮想平面P0とのなす角は、第1反射面31と仮想平面P0とのなす角と等しい。したがって、45°<(第2反射面32と仮想平面P0とのなす角)<90°となる。
【0109】
2面直交リフレクタ30-1~30-5のそれぞれの傾きは、2面直交リフレクタ30-1~30-5が配置された第1面11aにおける接平面P1~P5に対する角度でも設定される。2面直交リフレクタ30-1~30-5の接平面P1~P5に対する角度は、2面直交リフレクタ30-1~30-5のY2軸における位置によらず、一定の角度θとされる。たとえば、角度θは、コーナーキューブリフレクタの各反射面が水平面となす角度にもとづいており、30°程度とされ、より詳細には、35.3°とされる。
【0110】
この例の結像素子10では、2面直交リフレクタ30-1~30-5の角度Θ1~Θ5は、基材12を基準としたときに、第1面11a側に設けられた光源から入射される光線を、第1面11a側に結像させるように適切に設定される。結像位置は、光源の位置と異なる空中とされる。仮想平面P0に対する2面直交リフレクタの角度は、たとえば実験やシミュレーション等によって決定される。
【0111】
仮想平面P0に対する2面直交リフレクタの角度は、Y2軸における位置に応じて大きくなるように設定され、あるいは、Y2軸における位置に応じて小さくなるように設定されればよいので、第1面11aは真円の円弧の一部でなくてもよい。たとえば、第1面11aは、楕円の円弧の一部であってもよいし、リフレクタ行の行数に応じた多角形の一部であってもよい。また、2面直交リフレクタの角度は、2面直交リフレクタのY2軸における位置に応じて角度を設定できればよいので、仮想平面P0を基準とせずに、仮想平面P0に対して任意の角度をなす他の平面を基準にしてもよい。
【0112】
結像素子の変形例について説明する。
図12Aは、第1の実施形態に係る画像表示装置の一部である結像素子の変形例を例示する模式的な側面図である。
図12Bは、第1の実施形態に係る画像表示装置の一部である結像素子の他の変形例を例示する模式的な側面図である。
仮想平面P0に対する2面直交リフレクタの角度を、
図6に示した結像素子10と同様に設定できれば、リフレクタアレイ20は、曲面上に形成される必要はなく、1つの平面上に設けられるようにしてもよい。
図12Aおよび
図12Bでは、
図11に関連して説明した場合と同様に、5個の2面直交リフレクタ30-1~30-5が拡大されて模式的に示されている。5個の2面直交リフレクタ30-1~30-5は、それぞれが配置された位置に応じた傾きが併せて示されている。
【0113】
図12Aに示すように、本変形例の結像素子310は、リフレクタアレイ20と、基材312と、を備える。基材312は、第1面311aおよび第2面311bを有する。第2面311bは、第1面311aの反対側の位置に設けられている。第1面311aは、X2Y2平面にほぼ平行な平面である。第1面311aは、仮想平面P0としてもよい。基材312は、
図11に示した例の場合と同様に、たとえば透光性を有する材料で形成される。
【0114】
仮想平面P0に対する2面直交リフレクタ30-1~30-5の角度は、それぞれΘ1~Θ5であり、角度Θ1~Θ5の大きさは、Θ1<Θ2<Θ3<Θ4<Θ5となる。2面直交リフレクタ30-1~30-5のY2軸における位置は、
図11に示した2面直交リフレクタ30-1~30-5のY2軸における位置と同じである。したがって、
図11の場合のY2軸における位置に応じた円弧の接平面P1~P5とした場合に、2面直交リフレクタ30-1~30-5と接平面P1~P5のなす角は、すべて同じ値の角度θとなる。
【0115】
図12Bに示すように、本変形例の結像素子310aは、リフレクタアレイ20と、基材312と、を備え、保護層314をさらに備える。リフレクタアレイ20および基材312の構成は、
図12Aに関連して説明した結像素子310と同じである。保護層314は、リフレクタアレイ20および第1面311aを覆うように設けられる。
【0116】
保護層314は、保護層314を介して光線が結像素子310aに入射された場合に、光線の透過量がほぼ一定となるように、光透過性の高い材料が用いられる。保護層314の表面313aも入射された光線の屈折角がほぼ一定となるように、十分な平坦性を有することが好ましい。
【0117】
本変形例では、基材312を平板とすることができるので、第1面や第2面を曲面とすることにともなう基材の厚みを低減することができるので、結像素子310、310aを薄型化することが可能になる。
図12Aに示した結像素子310は、基材312の第1面311aにリフレクタアレイ20が形成され、第2面311bは、フラットな面を有する部材である。そのため、樹脂基材を用いたプレス機による生産に好適である。また、結像素子310は、ロール・ツー・ロール方式による生産が容易であるなど、生産面における優位性を有している。ロール・ツー・ロール方式とは、ロール状に巻かれた基材の材料を連続的に工程に供給して加工や処理等を行う生産方式である。ロール・ツー・ロール方式は、板状やフィルム状の樹脂成型品の生産等に一般的に利用されている。
【0118】
本実施形態に係る画像表示装置1000では、
図12Bに示した結像素子310aを備える。これに限らず、画像表示装置は、上述した結像素子10、310のいずれかを備えるようにしてもよい。なお、結像素子10、310、310aの構成要素は、適宜組み合わせることができる。たとえば、結像素子10の第1面11a側に保護層314を設けるようにしてもよい。
【0119】
次に、結像素子の動作について動作原理を含めて説明する。以下では、特に断らない限り、
図6~
図11に関連して説明した結像素子10について説明する。変形例の結像素子310、310aの動作は、結像素子10の場合と同様に理解することができる。
【0120】
図13は、第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な平面図である。
図13に示すように、第1反射面31および第2反射面32は、ほぼ直交して配置され谷側接続線33で接続されている。頂点33bは、Z2軸方向の最小値となるように配置されている。
【0121】
第1反射面31に入射する光線LLは、第1反射面31で反射される。第1反射面31で反射された1回反射光LR1は、第2反射面32で反射される。2面直交リフレクタ30では、コーナーキューブリフレクタ(たとえば、特許文献2)とは異なり、3つ目の反射面を有していないので、第2反射面32によって反射された2回反射光LR2は、そのまま直進する。ここで、谷側接続線33は、X2Y2平面に対して所定の角度で設けられているので、2面直交リフレクタ30から出射される2回反射光LR2は、光線LLが入射される側と同じ側に出射される。
【0122】
図14および
図15は、第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な側面図である。
図14の例では、光源Sは、第1面11aの側であって、仮想平面P0の法線方向に配置される。なお、
図12Aおよび
図12Bに示した変形例の結像素子310、310aの場合には、光源は、第1面311aの側であって、第1面311aの法線方向に配置される。
図14に示すように、結像素子10では、第1面11aは、YZ平面視でZ2軸の負方向側に凸となるように、円弧の一部として設定される。2面直交リフレクタ30-1~30-3は、第1面11a上に配置される。仮想平面P0に対する2面直交リフレクタ30-1~30-3の傾きを表す角度Θ1~Θ3は、
図14に示す例では、Y2軸の正方向に向かって大きくなるように設定されている。このように角度Θ1~Θ3を設定することによって、2面直交リフレクタ30によって2回反射された2回反射光LR2は、光源Sが設けられた第1面11a側で結像Iを形成する。
【0123】
結像素子10は、光源Sの位置と結像Iの位置とを入れ替えても動作する。
図15では、2面直交リフレクタ30-1~30-3の構成や、2面直交リフレクタ30-1~30-3、第1面11aおよび仮想平面P0の関係は、
図14に関連して説明した場合と同じである。
図15に示すように、光源Sは、
図14に関連して説明した場合の結像Iの位置に設けられており、このときには、
図14の場合の光源Sの位置に結像Iが形成される。光源Sから出射された光線LLは、2面直交リフレクタ30-1~30-3でそれぞれ2回反射されて、2回反射光LR2は、結像Iの位置で結像する。つまり、
図15に示す例では、結像Iは、第1面11aの側であって、仮想平面P0の法線方向に形成される。なお、
図12Aおよび
図12Bに示した変形例の結像素子310、310aの場合には、結像は、第1面311aの側であって、第1面311aの法線方向に形成される。
【0124】
光源Sがいずれの位置の場合であっても、実験やシミュレーション等を用いることによって、2面直交リフレクタに入射した光線を2回反射して所望の位置に結像させるように、2面直交リフレクタの角度を適切に設定することができる。たとえば、
図14に示した実施形態の場合では、光源Sは、リフレクタアレイのほぼ直上とされ、
図15に示した実施形態の場合では、結像Iが形成される位置が、リフレクタアレイのほぼ直上とされている。2面直交リフレクタの仮想平面P0に対する角度を適宜調整して設けることで、これらの光源Sや結像Iの位置を適宜変更することも可能である。このような設計変更に際しては、光線追跡シミュレーションなどの光線解析ツールを有効に活用することができる。
【0125】
本実施形態に係る画像表示装置1000では、リフレクタアレイの直上に結像が形成される。この場合においても、光源である表示装置1100の位置と結像Iが形成される位置とを入れ替えることが可能である。なお、
図1の画像表示装置1000において、表示装置1100の位置と結像が形成される位置とを入れ替えた場合には、入れ替え後の光路に応じて、筐体および光透過部材の構成を変更する必要があることはいうまでもないことである。
【0126】
本実施形態に係る画像表示装置1000の動作について説明する。
図16は、第1の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
図16に示すように、画像表示装置1000の制御システム1001は、位置検出部1430と、制御部1410と、駆動部1420と、を有する。位置検出部1430は、撮像部1432と画像処理部1434とを含む。撮像部1432は、たとえば、観測者O1を撮像する少なくとも1つのカメラである。撮像部1432は、観測者O1の瞳の位置に関する情報を含む画像データ(第1画像データ)を取得する。画像処理部1434は、画像データを画像処理して、観測者O1の瞳の位置を検出する。
【0127】
位置検出部1430、制御部1410および駆動部1420は、通信ネットワーク1500を介して、通信可能に接続されている。たとえば、画像表示装置1000は、自家用車等の輸送用の車両に搭載され、
図1に示した観測者O1は、たとえば、画像表示装置1000が搭載された車両の運転者である。通信ネットワーク1500は、たとえば、車載用イーサネット等である。
【0128】
この例では、カメラ用照明1440、シートポジション検出部1450、ユーザインタフェース1460およびユーザ認証インタフェース1470が通信ネットワーク1500に通信可能に接続されている。
【0129】
シートポジション検出部1450は、観測者O1が着席したシートの位置を検出して検出値を画像処理部1434に送信する。観測者O1が着席するシートは、たとえば前後にスライドするスライド式シートである。
【0130】
撮像部1432が撮像する観測者O1の画像には、観測者O1と画像表示装置1000との間の距離に関する情報は、直接には含まれない場合がある。観測者O1の瞳の位置を演算するためには、観測者O1の位置と画像表示装置1000の位置との距離の情報が必要である。観測者O1の立つ位置や座る位置が固定されていれば、その固定値が観測者O1の位置と画像表示装置1000の位置との距離としてあらかじめ設定される。車両内のシートのように位置が変動する場合には、この例のように、画像処理部1434は、シートポジション検出部1450によって、シートの位置を検出し、観測者O1の位置を算出して観測者O1の瞳の位置を検出する。
【0131】
ユーザインタフェース1460は、観測者や同乗者が画像表示装置を操作するためのスイッチやレバー等である。ユーザインタフェース1460は、機械式のスイッチ等に限らず、タッチパネル式でもよいし、音声認識や空中画像によるものであってもよい。観測者O1がスイッチ等の操作をすることによって、操作に応じた信号が制御部1410に送信される。たとえば、観測者O1がスイッチを操作することによって、空中画像の表示と非表示とを切り替えたり、観測者O1がレバーを操作することによって、空中画像の表示位置を変更したりすることができる。
【0132】
ユーザ認証インタフェース1470は、観測者O1があらかじめ登録されたユーザであるか否かを判定するためのインタフェースである。ユーザ認証インタフェース1470は、画像表示装置1000のユーザが、あらかじめ登録されたユーザであるか否かを、撮像部1432によって取得された画像データ(第2画像データ)を用いて判定する。
【0133】
図17は、第1の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
図17のフローチャートは、画像表示装置1000が観測者O1の瞳の位置を演算して、空中に結像I1を形成する一連の手順を表している。
【0134】
図17に示すように、ステップS1において、撮像部1432は、観測者O1の瞳の位置を含む画像を撮像し、所定の形式の画像データを取得する。
【0135】
ステップS2において、制御部1410は、ユーザインタフェース1460からの割込みの有無を監視する。制御部1410は、ユーザインタフェース1460からの割込みがない場合には、観測者O1によるマニュアル操作がなかったとして、処理をステップS3に遷移させる。
【0136】
ステップS3において、画像処理部1434は、画像データを画像解析し、シートポジション検出部1450によって検出されたシートポジションの情報も用いて、観測者O1の瞳の位置を検出する。
【0137】
ステップS4において、制御部1410は、検出された瞳の位置にもとづいて、結像I1の形成位置を演算する。
【0138】
ステップS5において、制御部1410は、結像I1が形成される位置にもとづいて、表示装置1100の位置および表示装置1100が出射する光の角度を演算し、算出した位置および角度に対応する駆動信号を生成して駆動部1420に送信する。
【0139】
ステップS6において、駆動部1420は、制御部1410から送信された駆動信号にしたがって、表示装置1100の位置および角度を変更する。
【0140】
ステップS2でユーザインタフェース1460からの割込みがある場合には、制御部1410は、観測者O1によるマニュアル操作があったとして、処理をステップS7に遷移させる。ステップS7において、制御部1410は、マニュアル操作により入力された結像I1の位置を演算し、処理をステップS5に遷移させる。ステップS5以降は、上述と同様に処理が進められる。
【0141】
ステップS1~ステップS7の一連の処理は、ステップS1~ステップS7の処理を1サイクルとして、たとえば、一定の周期で繰り返し実行される。画像表示装置1000が車両に搭載され、車両が振動する場合であっても、結像I1の形成位置を各周期で適切に調整することが可能になる。
【0142】
制御システム1001は、通信ネットワーク1500を介して、他のインタフェースを接続するようにしてもよい。他のインタフェースは、たとえば、車両のエンジンの始動に応じて始動信号を生成し、車両の停止に応じて停止信号を生成し、制御部1410は、これらの信号に応じて結像I1の位置の設定を行うようにしてもよい。このようなインタフェースとすることによって、結像I1の形成位置の変更動作を車両が停止しているときに行うことができ、位置検出部1430の撮像時のぶれを抑制し、観測者O1の瞳の位置の検出精度を向上させることができる。
【0143】
上述のフローチャートの各ステップは、一例であり、画像表示装置1000の動作はこれに限定されない。たとえば、ステップS2の判断は、ステップS1の画像データを取得する前に実行してもよいし、ステップS3の瞳の位置を検出した後でもよい。
【0144】
このようにして、本実施形態に係る画像表示装置1000は、観測者O1の位置に応じて、結像I1が形成される位置を変更し、観測者O1が見やすい位置に結像I1を形成することができる。
【0145】
上述の具体例では、画像表示装置1000の制御システム1001は、観測者O1の瞳の位置により、観測者O1が見る結像I1の位置を算出する。より簡便に、観測者O1をとらえた画像データの中から、観測者O1の顔の中での目の位置によって、観測者O1が向いている方向を推定して、結像I1が形成される位置を演算してもよい。さらに簡便に、撮像部1432によって、観測者O1の全体を撮像し、観測者O1の立つ位置や座った位置を演算して、結像I1の形成位置を調整することもできる。また、さらに簡便に、観測者O1の立つ位置に、位置検出部としてあらかじめ複数のスイッチを配置しておき、どのスイッチがオンしたかによって、観測者O1の立った位置を判断し、結像I1の形成位置を設定するようにしてもよい。この場合には、結像I1の形成位置があらかじめ決められているので、撮像部も不要とすることができる。
【0146】
図18は、第1の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
図18には、
図16に示したユーザ認証インタフェース1470によるユーザ認証のための手順が示されている。ユーザ認証インタフェース1470により提供されるユーザ認証は、たとえば車両に搭載された画像表示装置1000の撮像部1432で取得した、画像表示装置1000のユーザの画像データを用いて、たとえば、そのユーザの顔認証を行う。ユーザ認証インタフェース1470は、たとえば、顔認証のためのデータベースを含んでいる。
【0147】
以下の動作の具体例では、制御部1410はユーザ認証インタフェース1470が有する顔認証のためのデータベースを検索し、顔認証の判定を行うものとする。なお、制御部1410に代えて、ユーザ認証インタフェース1470が顔認証のための制御機能を有するようにしてもよい。いずれの場合であっても、位置検出部1430を共通にすることによって、ユーザ認証機能を別に設けることによる重複を回避し、効率的な制御システムを構築することが可能になる。
【0148】
図18に示すように、位置検出部1430は、ステップS11において、ユーザの顔の情報を含む画像データ(第2画像データ)を取得する。ここで、ユーザとは、顔認証において認証OKとされた場合に、観測者O1となる者である。なお、顔認証の判定が合格するまで、制御システム1001はインタロックされるものとする。
【0149】
たとえば、制御部1410は、ステップS11以降の処理を、ユーザがシートへ着席を検出した後に開始する。また、ステップS11以前においては、制御部1410は、車両の運転制御システムの起動を禁止し、ユーザ認証がOKと判定された場合に運転制御システムの起動の禁止を解除するようにしてもよい。たとえば、運転制御システムの起動とは、エンジンをスタート可能とすることである。
【0150】
ステップS12において、画像処理部1434は、取得した画像データを画像解析し、顔認証のためのデータを抽出し、結果を制御部1410に送信する。顔認証のためのデータは、たとえば、画像データから取得した特徴量であり、目、鼻、口等の位置の情報や大きさ、比率の情報、これらの形の情報等を含んでいる。
【0151】
ステップS13において、制御部1410は、ユーザ認証インタフェース1470中のデータベースを検索する。
【0152】
ステップS14において、制御部1410は、画像データから抽出したデータに一致するデータの有無を判定し、一致するデータを発見した場合には、処理をステップS15に遷移させる。一致するデータがない場合には、処理をステップS16に遷移させ、認証不可であったとして、処理を終了する。
【0153】
ステップS15において、制御部1410は、顔認証のためのデータを発見したとし、認証OKと判定し、制御システム1001のインタロックを解除する。以降、制御部1410は、
図17に示したフローチャートの手順を実行して、結像I1の形成位置を調整する。
【0154】
上述では、位置検出部1430で取得したユーザの体の一部に関する情報を有する画像データを取得できれば、ユーザ認証として顔認証に限らない。たとえば、ユーザ認証は、虹彩認証や指紋認証、静脈認証としてもよい。
【0155】
上述のユーザ認証インタフェースは、本実施形態に係る画像表示装置1000に適用する場合に限らず、後述する他の実施形態に係る画像表示装置に適用することができる。
【0156】
たとえば、
図22および
図25に関連して後述する第3および第4の実施形態に係る画像表示装置3000、4000では、撮像部1432は、ユーザが結像を覗き込む姿を撮像する。撮像部1432は、結像を見るときの瞳をユーザのほぼ正面から撮像し、ユーザの瞳の全体を含む画像を取得することができる。そのため、画像表示装置3000、4000では、虹彩を含む画像を鮮明に撮像することが可能であり、ユーザ認証の精度を向上させることができる。
【0157】
指紋認証や静脈認証では、赤外線照射によって撮像された画像データを用いる必要がある。
図26に関連して後述する第5の実施形態に係る画像表示装置5000では、赤外線に感応する撮像部5432を備えているので、これをそのまま利用して、ユーザ認証することができる。
【0158】
本実施形態に係る画像表示装置1000の効果について説明する。
本実施形態に係る画像表示装置1000は、結像素子310aを備える。
図8および
図12B等に示したように、結像素子310aでは、仮想平面P0に対する2面直交リフレクタ30の角度は、0°よりも大きく、90°よりも小さく設定される。その上で、仮想平面P0に対する2面直交リフレクタ30の角度は、2面直交リフレクタ30がY2軸方向に配置された位置に応じて、異なるように設定され、基準の位置の2面直交リフレクタ30からY2軸方向の一方向に離れるにしたがって、大きくなるように設定され、Y2軸方向の他方向に離れるにしたがって、小さくなるように設定される。このように設定することによって、基材312を基準にしたときに、第1面311a側からの光線を2回反射して、第1面311a側に結像させることができる。
【0159】
結像素子310aでは、2面直交リフレクタ30の仮想平面P0に対する角度を適切に設定することによって、基材312を基準に第1面311a側の任意の位置に表示装置1100を配置し、リフレクタアレイの直上の所望の位置に結像I1を形成することができる。
【0160】
本実施形態に係る画像表示装置1000は、位置検出部1430と、制御部1410と、駆動部1420と、を備える。位置検出部1430は、観測者O1の瞳の位置の情報を含む画像データにもとづいて、観測者O1の瞳の位置を検出する。制御部1410は、瞳の位置にもとづいて、結像I1が形成される適切な位置を演算し、駆動部1420は、算出された位置に結像I1が形成されるように、表示装置1100の位置および角度を変更する。そのため、画像表示装置1000は、観測者O1の瞳の位置に応じて、適切な位置で結像I1を形成することができる。
【0161】
本実施形態に係る画像表示装置1000は、画像データを連続して取得し、画像データごとに瞳の位置を演算して、表示装置1100の位置および角度を設定する駆動信号を生成することができる。これにより、画像表示装置1000は、観測者O1の瞳の動きに応じて、結像I1が形成される位置をリアルタイムに変更することができる。
【0162】
画像表示装置1000では、結像素子310aの直上に結像I1を形成するように、表示装置1100および結像素子310aを配置する。そのため、観測者O1が結像I1を見る位置によっては、結像I1が形成された位置とは別の位置にゴーストが見える場合がある。画像表示装置1000では、上述のように、観測者O1の位置に応じて、結像I1が形成される位置を適切に変更し設定するので、観測者O1には、安定して鮮明な空中画像を結像I1として表示することができる。
【0163】
画像表示装置1000は、ユーザインタフェース1460をさらに備える。ユーザインタフェース1460は、観測者O1の操作によって生成された信号を制御部1410に送信する。制御部1410は、ユーザインタフェース1460が生成した信号に応じて、表示装置1100の動作または非動作をすることができる。そのため、画像表示装置1000は、観測者O1の操作に応じて、結像I1の表示または非表示を切り替えることができる。また、ユーザインタフェース1460は、表示装置1100の位置および角度を設定する駆動信号を生成することができる。そのため、画像表示装置1000は、観測者O1が設定した位置に結像I1を形成することができる。
【0164】
表示装置1100は、LED素子を画素に含み、LED素子を窒化ガリウム系化合物半導体により形成することができる。窒化ガリウム系化合物半導体により形成されたLED素子は、少ない消費電力で高い輝度での発光が可能である。そのため、表示装置1100から出射された光が長い光路を経由する場合であっても、鮮明な画像を空中表示することが可能である。
【0165】
(第2の実施形態)
図19は、第2の実施形態に係る画像表示装置を例示する模式的な断面図である。
図19に示すように、本実施形態に係る画像表示装置2000は、表示装置1100を6軸制御することに代えて、結像素子310aを6軸制御することにより、結像素子310aの位置および反射光Rを出射する角度を変更する。これにより、画像表示装置2000は、結像I2が形成される位置を変更する。
【0166】
画像表示装置2000は、結像素子310aと、表示装置1100と、位置検出部1430と、制御部2410と、駆動部2420と、を備える。画像表示装置2000では、6軸制御により、結像素子310aの位置および反射光Rを出射する角度を変更する点で、第1の実施形態に係る画像表示装置1000と相違する。画像表示装置2000では、撮像部1432は、窓部材1320を介して観測者O1の画像を撮像する点でも相違する。画像表示装置2000は、他の点では、第1の実施形態に係る画像表示装置1000と同じ構成を有する。同一の構成要素には、同一の符号を付して詳細な説明を適宜省略する。
【0167】
画像表示装置2000では、
図1に示した画像表示装置1000の場合と同様に、表示装置1100、結像素子310a、制御部2410、駆動部2420および位置検出部1430は、筐体1300内に配置される。筐体1300の内壁に遮光部材1310が配置されることも、画像表示装置1000の同様である。表示装置1100は、筐体1300内の上部に配置され、結像素子310aは、筐体1300内の下部に配置される。
【0168】
結像素子310aは、表示装置1100が出射した光Lを入射し、結像素子310aの第1面311aおよび仮想平面P0の法線方向に向かう反射光Rを出射する。結像素子310aは、反射光Rを出射する方向に支持するように設けられた結像素子設置部2330に配置される。
【0169】
図20は、第2の実施形態に係る画像表示装置の一部である結像素子の可動範囲を説明するための模式図である。
図20に示すように、結像素子310aは、制御部2410および駆動部2420によって6軸制御され、6つの自由度の下で可動である。たとえば、6軸制御に適応した駆動部2420は、多関節アームであり、結像素子310aは、多関節アームの先端に設けられる。
【0170】
具体的には、結像素子310aは、第1自由度として、X2軸に平行な方向に可動である。結像素子310aは、第2自由度として、Y2軸に平行な方向に可動である。結像素子310aは、第3自由度として、Z2軸方向に可動である。結像素子310aは、第1自由度から第3自由度までを有することによって、X2Y2Z2座標空間を任意の位置に移動することができる。
【0171】
結像素子310aは、第4自由度として、X2軸を中心に回転可能である。結像素子310aは、第5自由度として、Y2軸を中心に回転可能である。結像素子310aは、第6自由度として、Z2軸を中心に回転可能である。結像素子310aの第1面311aは、任意の方向を向くことができ、任意の方向に向かって反射光Rを反射して結像I2を形成することができる。
【0172】
画像表示装置2000は、6軸制御に適応した制御部2410および駆動部2420を備えることによって、結像素子310aは、任意の位置で任意の方向に向けて反射光Rを出射することが可能である。結像素子310aを6軸制御することによって、画像表示装置1000は、表示装置1100から出射された光Lを結像素子310aで反射して、空中の所望の位置に結像I2を形成することができる。
【0173】
撮像部1432は、観測者O2から見た場合に、結像I2が形成される位置の背後に配置されるので、観測者O2が撮像部1432を見た場合の瞳の位置を、観測者O2が結像I2を見るときの瞳の位置とほぼ一致させることができる。そのため、画像表示装置2000は、小さな誤差で観測者O2の瞳の位置に応じた結像I2の位置とすることができる。
【0174】
第2の実施形態では、観測者O2と画像表示装置2000との間の距離に関する情報は、観測者O2が発する音声にもとづいて算出されてもよい。マイクロフォン2472L、2472Rが配置され、画像表示装置2000は、マイクロフォン2472L、2472Rに接続される。マイクロフォン2472L、2472Rは、観測者O2が発する音声を観測者O2の位置の左右で集音し、左右の音声データDSL、DSRに変換して、画像表示装置2000に送信する。画像表示装置2000は、左右の音声データDSL、DSRにもとづいて、観測者O2の位置を演算する。画像表示装置2000は、観測者O2の位置のデータおよび観測者O2の瞳の位置の情報を含む画像データにもとづいて、観測者O2の瞳の位置を検出する。
【0175】
第2の実施形態では、制御部2410および駆動部2420は、結像素子設置部2330内に配置されている。また、表示装置1100は、表示装置1100の画像表示を制御する表示コントローラ1415とともに、表示モジュール2400内に配置されている。表示モジュール2400は、表示装置1100を筐体1300内の上部に配置され、表示装置1100を支持している。
【0176】
図21は、第2の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
本実施形態に係る画像表示装置2000の動作について説明する。
図21に示すように、画像表示装置2000の制御システム2001は、位置検出部1430と、制御部2410と、駆動部2420と、表示コントローラ1415と、音源位置演算部2470と、ユーザインタフェース1460と、を有する。位置検出部1430、制御部2410、駆動部2420、表示コントローラ1415、音源位置演算部2470およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。
図1に示した画像表示装置1000と同様に、画像表示装置2000は、自家用車等の輸送用の車両に搭載される。観測者O2は、たとえば、画像表示装置2000が搭載された車両の運転者である。通信ネットワーク1500は、たとえば、車載用イーサネット等である。
【0177】
位置検出部1430およびユーザインタフェース1460は、第1の実施形態に係る画像表示装置1000の場合と同様であり、詳細な説明を省略する。制御部2410および駆動部2420は、第1の実施形態に係る画像表示装置1000の制御部1410および駆動部1420にそれぞれ対応している。画像表示装置2000では、表示装置1100を6軸制御することに代えて、結像素子310aを6軸制御する点で相違する。表示装置1100を6軸制御するか、結像素子310aを6軸制御するかの相違については、光路の演算手順の相違であり、動作としては変わりがないため詳細な説明を省略する。
【0178】
この具体例では、
図1および
図16に示したカメラ用照明1440に代えて、表示コントローラ1415および表示装置1100が、撮像時の観測者O2への照明を提供する。表示コントローラ1415は、表示装置1100に表示する画像のデータを供給する表示期間の間の期間に、たとえば表示装置1100の全画素を所定の輝度で全点灯させる点灯期間を設けている。制御部2410は、点灯期間を観測者O2の撮像の期間に同期させることによって、観測者O2の画像を鮮明に取得することができる。
【0179】
音源位置演算部2470は、マイクロフォン2472L、2472Rに接続され、観測者O2の音声に関する情報を、左右の音声データDSL、DSRとして取得する。音源位置演算部2470は、観測者O2が発した左右の音声データDSL、DSRにもとづいて、観測者O2の位置を演算する。画像処理部1434は、音源位置として推定された観測者O2の位置および観測者O2の瞳の位置の情報を含む画像データにもとづいて、観測者O2の瞳の位置を検出する。
【0180】
音源位置演算部2470は、
図16に関連して説明したユーザ認証インタフェース1470と連動させてもよい。たとえば、ユーザ認証インタフェース1470は、声紋認証のためのインタフェースを提供し、観測者O2の音声をユーザ認証した場合に、その際の音声データを用いて、観測者O2の位置を検出するようにしてもよい。音源位置演算部2470は、観測者O2の位置を演算するために、3個以上のマイクロフォンからの音声データを利用するようにしてもよい。
【0181】
第1の実施形態の場合と同様に、制御部2410は、画像処理部1434によって検出された観測者O2の瞳の位置にもとづいて、結像I2の位置を演算する。その後、制御部2410は、算出された位置に結像I2を形成するように駆動信号を生成し、駆動部2420は、駆動信号にもとづいて、結像素子310aの位置および反射光Rを出射する角度を変更する。
【0182】
本実施形態に係る画像表示装置2000の効果について説明する。
本実施形態に係る画像表示装置2000は、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。すなわち、画像表示装置2000は、観測者O2の瞳の位置に応じて、適切な位置に結像I2を形成することができる。結像素子310aを6軸制御としても、表示装置1100を6軸制御とした場合と同様の効果を得ることが可能である。
【0183】
そのほか、本実施形態に係る画像表示装置2000では、撮像部1432は、結像素子310aの反射光Rが出射される窓部材1320を介して、観測者O2を撮像する位置に配置されている。そのため、観測者O2が撮像部1432を見る視線は、結像I2を見る視線とほぼ一致させることができ、画像表示装置2000は、より正確に結像I2が形成される位置を演算することが可能になる。
【0184】
上述した具体例では、画像表示装置2000は、観測者O2の音声データによる音源位置の演算によって観測者O2の位置を演算するものとしたが、これに限らない。たとえば、
図16に関連して説明したように、シートポジションを検出することによって、観測者O2の位置を設定するようにしてもよい。
【0185】
(第3の実施形態)
図22は、第3の実施形態に係る画像表示装置を例示する模式的な断面図である。
図22に示すように、本実施形態に係る画像表示装置3000は、結像素子310aと、表示装置1100と、位置検出部1430と、制御部1410と、駆動部1420と、を備える。結像素子310a、表示装置1100、位置検出部1430、制御部1410および駆動部1420は、筐体1300内に配置されている。画像表示装置3000では、撮像部1432の配置が、第1の実施形態に係る画像表示装置1000の場合と相違する。他の点では、画像表示装置3000の構成要素は、第1の実施形態に係る画像表示装置1000の構成要素と同じであり、同一の構成要素には、同一の符号を付して詳細な説明を適宜省略する。
【0186】
画像表示装置3000では、結像素子310aは、結像I3が形成される位置と撮像部1432が配置される位置との間に配置される。そのため、撮像部1432は、結像素子310aを介して、観測者O3を撮像する。結像素子310aの基材312は、撮像部1432が観測者O3を撮像できるように、透光性を有する材料で形成されている。
【0187】
上述のように撮像部1432を配置することによって、撮像部1432は、観測者O3が結像I3を覗き込む様子を撮像することができる。撮像部1432は、観測者O3が結像I3を見ている瞳の位置を含む画像を撮像することができる。そのため、位置検出部1430は、より正確な瞳の位置の情報を有する画像データを取得することができる。
【0188】
画像表示装置3000では、撮像部1432は、結像素子310aを介して、観測者O3を撮像する。一方、結像素子310aは、表示装置1100からの光Lを入射して反射光Rを観測者O3に向けて出射する。観測者O3の撮像のタイミングと、結像素子310aの反射光Rの出射のタイミングとが重なると、撮像部1432は、反射光Rの照射を受けた観測者O3を撮像することとなる。そのため、観測者O3に照射された反射光Rが取得される画像データのノイズとなり、観測者O3の瞳の位置に関する情報が不明確になるおそれがある。
【0189】
そこで、画像表示装置3000では、制御部1410は、撮像のタイミングと、表示装置1100が光を出射するタイミングとが重ならないように制御する。具体的には、制御部1410は、第1期間T1で観測者O3の撮像を実行し、他の期間では、撮像を停止する。制御部1410は、第1期間T1に重ならない第2期間T2で表示装置1100を動作させ、他の期間では、表示装置1100の動作を停止させる。画像表示装置3000は、より正確な観測者O3の瞳の位置に関する情報を有する画像データを取得することができる。
【0190】
図23は、第3の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
図23に示すように、画像表示装置3000の制御システム3001は、位置検出部1430と、制御部1410と、駆動部1420と、表示コントローラ1415と、ユーザ認証インタフェース1470と、ユーザインタフェース1460と、を有する。位置検出部1430、制御部1410、駆動部1420、表示コントローラ1415、ユーザ認証インタフェース1470およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。たとえば、画像表示装置は、自家用車等の輸送用の車両に搭載され、
図22に示した観測者O3は、たとえば、画像表示装置3000が搭載された車両の運転者である。
【0191】
制御システム3001では、制御部1410は、観測者O3の画像を撮像するタイミングを設定する撮像信号DCMを撮像部1432に送信する。撮像部1432は、撮像信号の第1期間で観測者O3を撮像する。制御部1410は、表示装置1100が光を出射するタイミングを設定する点灯信号DDPを表示コントローラ1415に送信する。表示コントローラ1415は、点灯信号DDPの第2期間で表示装置1100を動作させる。
【0192】
ユーザ認証インタフェース1470は、
図16に関連して説明したユーザの顔認証のためのインタフェースである。この例では、ユーザ認証インタフェース1470は、登録データベース3472を有しており、登録データベース3472には、顔認証のための特徴量データのほか、登録者の両目の位置に関するデータを含んでいる。観測者O3がユーザ認証された場合には、制御部1410は、観測者O3の瞳の位置の情報を含む画像データおよび両目の位置に関するデータにもとづいて、観測者O3の瞳の位置を演算する。
【0193】
制御部1410は、第1の実施形態の場合と同様に、画像処理部1434によって検出された観測者O3の瞳の位置にもとづいて、結像I3の位置を演算する。制御部1410は、算出した位置に結像I3を形成するように駆動信号を生成し、駆動部1420は、駆動信号にもとづいて、表示装置1100を移動させる。
【0194】
図24は、第3の実施形態に係る画像表示装置の動作を説明するための模式的なタイミングチャートの例である。
図24には、第1期間T1と第2期間T2との関係が示されている。
図24の上の図は、制御部1410が位置検出部1430に画像を撮像させるための指令である撮像信号DCMの時間変化を表している。
図24の下の図は、制御部1410が表示コントローラ1415に表示装置1100を動作させるための指令である点灯信号DDPの時間変化を表している。
【0195】
図24に示すように、撮像信号DCMは、第1期間T1でONであり、観測者O3を撮像する。第1期間T1以外の期間では、撮像信号DCMはOFFとされ、撮像動作を停止する。点灯信号DDPは、第2期間T2でONであり、表示コントローラ1415は、表示装置1100に動作許可信号を出力する。表示装置1100は動作許可信号にしたがって、設定された画像を表示する。第2期間T2以外の期間では、点灯信号DDPはOFFとされ、表示コントローラ1415は、表示装置1100に動作停止信号を出力する。表示装置1100は、動作停止信号にしたがって、設定された画像の表示を停止する。第2期間T2は、第1期間T1と重ならないように設定される。
【0196】
撮像信号DCMおよび点灯信号DDPにおいて、第1期間T1および第2期間T2は、
図24に示す例のように、繰り返しONとなるように設定されてもよい。第1期間T1および第2期間T2がONとなる周期は、たとえば一定である。撮像と画像の表示を一定周期で繰り返すことによって、観測者O3の瞳の動きに応じて、適切な位置に結像I3を移動させて表示させることができる。
【0197】
上述の具体例では、6軸制御により、表示装置1100の位置や角度を変更して結像I3が形成される位置を変更するものとしたが、これに限らず、結像素子310aの6軸制御による位置や角度の変更によって、結像の形成位置を変更するようにしてもよい。
【0198】
瞳の位置の演算のために、登録者ごとの目の位置に関するデータベースを用いることに代えて、シートポジションを用いたり、観測者O3の音声データを用いたりしてもよい。
【0199】
本実施形態に係る画像表示装置3000の効果について説明する。
本実施形態に係る画像表示装置3000では、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。そのほか、結像素子310aを介して観測者O3を撮像する位置に位置検出部1430を配置することによって、位置検出部1430は、観測者O3の瞳の位置をより正確に反映した画像を撮像することが可能になる。観測者O3の瞳の位置をより正確に演算することによって、観測者O3からより鮮明に見える結像I3の形成位置を演算することができる。
【0200】
(第4の実施形態)
図25は、第4の実施形態に係る画像表示装置を例示する模式的な断面図である。
図25に示すように、本実施形態に係る画像表示装置4000は、結像素子310aと、表示装置1100と、位置検出部1430と、制御部1410と、駆動部1420と、ハーフミラー4200と、を備える。
【0201】
ハーフミラー4200は、結像素子310a、表示装置1100、制御部1410および駆動部1420とともに、筐体1300内に配置される。ハーフミラー4200は、観測者O4の位置と結像素子310aの位置との間に配置される。ハーフミラー4200は、面4201a、4201bを有する。面4201bは、面4201aの反対側に位置する面である。
【0202】
ハーフミラー4200は、面4201aが筐体1300の外側を向き、面4201bが筐体1300の内側を向くように配置される。そのため、ハーフミラー4200は、筐体1300の内側から外側に向かう光を透過し、筐体1300の外側から内側に向かう光の少なくとも一部を反射する。
【0203】
結像素子310aは、ハーフミラー4200の面4201bの側に配置される。そのため、結像素子310aが出射する反射光Rは、ハーフミラー4200を介して、筐体1300の外部に出射され、観測者O4は、結像素子310aの反射光Rによる結像I4を観測することができる。
【0204】
観測者O4は、ハーフミラー4200の面4201aの側に位置するので、面4201aは、観測者O4の反射像を形成する。撮像部1432は、ハーフミラー4200の面4201aの側に配置されているので、面4201a上の観測者O4の反射像を撮像する。観測者O4の反射像に観測者O4の瞳を含む画像を撮像するように撮像領域を設定することによって、撮像部1432は、観測者O4の瞳の位置の情報を有する画像データを生成することができる。位置検出部1430は、観測者O4の瞳の位置の情報を有する画像データにもとづいて、観測者O4の瞳の位置を演算することができる。
【0205】
この例では、撮像部1432を筐体1300の内部に配置することによって、撮像部1432を観測者O4から見えないようにすることができる。撮像部1432は、観測者O4が結像I4を見る姿を撮像する。
【0206】
制御部1410および駆動部1420は、第1の実施形態に係る画像表示装置1000の場合と同様に動作する。すなわち、制御部1410は、観測者O4の瞳に位置にもとづいて、結像I4が形成される位置を演算し、駆動部1420は、算出された位置となるように、表示装置1100の位置および光を出射する角度を変更する。
【0207】
制御部1410が観測者O4の瞳の位置を演算する際には、上述した他の実施形態に係る画像表示装置1000~3000のように、シートポジションや観測者O4の音声、瞳の位置に関する顔認証データベースの特徴量を用いてもよい。
【0208】
表示装置1100を6軸制御することに代えて、第2の実施形態に係る画像表示装置2000の場合と同様に、結像素子310aを6軸制御して、結像I4が形成される位置を変更するようにしてもよい。
【0209】
本実施形態に係る画像表示装置4000の効果について説明する。
本実施形態に係る画像表示装置4000は、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。そのほか、本実施形態に係る画像表示装置4000では、撮像部1432は、観測者O4が位置する側に配置され、観測者O4の反射像を撮像する。撮像部1432の撮像領域を適切に設定することによって、観測者O4が結像I4を見ている姿を観測者O4のほぼ正面から撮像することができる。そのため、観測者O4の瞳の位置を、結像I4を見ているときの瞳の位置とほぼ一致させることができ、制御部1410は、より正確に結像I4が形成される位置を演算することができる。
【0210】
撮像部1432は、筐体1300の内部であり、観測者O4から見えないところに配置することが可能である。観測者O4の意識が撮像部1432に向くことがなくなり、観測者O4の瞳の位置が結像I4を見ている位置からずれないようにすることができるので、位置検出部1430は、より正確に観測者O4の瞳の位置を演算することができる。
【0211】
(第5の実施形態)
図26は、第5の実施形態に係る画像表示装置を例示する模式的な断面図である。
図26に示すように、本実施形態に係る画像表示装置5000は、結像素子310と、表示装置1100と、撮像部5432と、カメラ用照明5440と、制御部1410と、駆動部1420と、を備える。第5の実施形態では、結像素子310、表示装置1100、撮像部5432の一部、カメラ用照明5440の一部、制御部1410および駆動部1420は、筐体5300内に配置されている。筐体5300には、開口が設けられ、筐体5300の開口には窓部材5320が配置されている。撮像部5432は、筐体5300の外部に位置する観測者O5を撮像するように配置されている。カメラ用照明5440は、観測者O5を照射するように配置されている。
【0212】
上述した他の実施形態に係る画像表示装置1000~4000の撮像部1432は、表示装置1100が出射する光Lの波長の範囲と同じか、光Lの波長の少なくとも一部を含む範囲の波長の光に感応する。これに対して、本実施形態に係る画像表示装置5000の撮像部5432は、表示装置1100が出射する光Lの波長の範囲と異なる波長(第1波長)の光に感応する。カメラ用照明5440は、表示装置1100が出射する光Lの波長の範囲と異なる波長であって、撮像部5432が感応する波長の光を観測者O5に照射する。
【0213】
表示装置1100は、可視光を出射し、撮像部5432は、たとえばピーク波長が700nm以上の赤外線に感応する。カメラ用照明5440は、ピーク波長が700nm以上の赤外線を放射する。なお、表示装置1100が可視光のうち一部の波長からなる光を出射する場合には、撮像部5432が感応する光の波長およびカメラ用照明5440が放射する光の波長は、表示装置1100が出射する光の波長と異なっていればよく、700nm以上に限らない。
【0214】
なお、表示装置1100から出射された光Lの波長の範囲は、筐体5300の内外の空気、窓部材5320および結像素子310での反射によって、ずれることがある。撮像部5432が感応し、カメラ用照明5440が放射する光の波長の範囲は、これらのシフト分を考慮して設定される。
【0215】
画像表示装置5000では、結像素子310が上述の他の実施形態の場合の結像素子310aと相違する。
図12Aおよび
図12Bに関連して説明したように、結像素子は、筐体内のスペースや画像表示装置の設置場所等に応じて、結像素子10、310、310aを適宜選択することができる。
【0216】
画像表示装置5000では、表示装置1100の位置と結像素子310の位置との関係が上述の他の実施形態の場合と相違する。画像表示装置5000では、表示装置1100が結像素子310の直上に配置されている。そのため、表示装置1100が出射した光Lは、表示装置1100の下方に進行して結像素子310に照射される。結像素子310は、入射した光の一部を2面直交リフレクタ30で2回反射して、反射光Rを出射する。窓部材5320は、結像素子310で2回反射された反射光Rを透過する位置に配置される。
【0217】
結像素子310の2面直交リフレクタ30で1回だけ反射された光や2面直交リフレクタ30で反射されなかった光は、
図6に示した、隣り合うリフレクタ行22の間隔23から第2面311b側に抜けていく。したがって、結像素子310は、2回反射光以外の光を第1面311a側に出射することがない。本実施形態に係る画像表示装置5000では、光源となる表示装置1100が結像素子310の第1面311aの法線方向に配置されるので、結像素子310では、隣り合うリフレクタ行22の間隔23が設けられる。
【0218】
第2面311b側に抜けていく光は、筐体5300の内部で再度反射して迷光とならないように、この例では、筐体5300内の底面に遮光部材5310が配置されている。遮光部材5310は、筐体5300の内部の側壁面にも配置されている。遮光部材5310は、
図1に示した遮光部材1310と同様に、たとえば筐体5300の底面および壁面に形成された黒色の塗料の塗布膜であり得る。遮光部材5310は、筐体5300の構成材の厚さに比べて十分に薄いため、
図26では、筐体5300の内部の面として表されている。
【0219】
画像表示装置5000では、結像素子310は、入射した光Lの2回反射光Rのみを出射し、その他の光を第1面311a側に反射等しない。そのため、
図14に関連して説明したように、結像素子310は、第1面311aの側に実像以外のゴースト画像が形成されることが低減される。
【0220】
図27は、第5の実施形態に係る画像表示装置の動作を説明するためのブロック線図の例である。
図27に示すように、画像表示装置5000の制御システム5001は、位置検出部5430と、カメラ用照明5440と、制御部1410と、駆動部1420と、シートポジション検出部1450と、ユーザインタフェース1460と、を有する。位置検出部5430は、撮像部5432と画像処理部1434とを含む。画像処理部1434は、撮像部5432によって取得された画像データにもとづいて、観測者O5の瞳の位置を演算する。
【0221】
位置検出部5430、カメラ用照明5440、制御部1410、駆動部1420、シートポジション検出部1450およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。制御部1410、駆動部1420、シートポジション検出部1450およびユーザインタフェース1460は、第1の実施形態に係る画像表示装置1000の場合と同様であり、詳細な説明を省略する。
【0222】
本実施形態に係る画像表示装置5000の制御システム5001では、制御部1410は、通信ネットワーク1500を介して、位置検出部5430およびカメラ用照明5440を動作させる。本実施形態に係る画像表示装置5000では、位置検出部5430およびカメラ用照明5440が表示装置1100が出射する光の波長の範囲とは異なる範囲の波長の光によって観測者O5を撮像する以外では、第1の実施形態に係る画像表示装置1000の場合と同様である。
【0223】
本実施形態に係る画像表示装置5000の効果について説明する。
本実施形態に係る画像表示装置5000では、カメラ用照明5440は、表示装置1100が出射する光Lの波長の範囲とは異なる範囲の波長の光を放射する。また、位置検出部5430は、表示装置1100が出射する光Lの波長の範囲とは異なる範囲の波長の光に感応する撮像部5432で観測者O5を撮像する。そのため、観測者O5の瞳の位置に関する情報を含む画像データは、表示装置1100が出射する光の影響を受けにくくなる。位置検出部5430は、ノイズの影響を低減された環境下で観測者O5の瞳の位置を演算することができ、より正確な値を算出することができる。
【0224】
本実施形態に係る画像表示装置5000では、光源である表示装置1100は、結像素子310の直上に配置されている。そのため、結像素子310は、表示装置1100から出射された光Lの2回反射光のみを結像I5を形成するための反射光Rとして出射する。このため、結像素子310は、結像I5以外に第1面311a側に虚像やゴーストとなるような光を放射することがない。
【0225】
上述した他の実施形態に係る画像表示装置1000~4000に、表示装置と結像素子との配置の構成を適用してもよい。すなわち、画像表示装置1000~4000の場合に、表示装置を結像素子の直上に配置することができ、これによって、結像素子の第1面側に虚像やゴーストとなる光が放射することを低減することができる。
【0226】
上述した各具体例では、表示装置および結像素子のいずれか一方を6軸制御することとしたが、これに限らず、表示装置および結像素子の両方を6軸制御して、結像が形成される位置を変更してもよい。また、表示装置および結像素子のいずれかまたは両方を6軸制御によって、結像が形成される位置を変更する場合にも限らない。観測者が結像を見る位置や、結像が形成される位置がより限定的な範囲等である場合には、6軸制御のうちの一部の自由度での制御としてもよい。
【0227】
上述した各実施形態は、適宜組み合わせて適用することができる。
実施形態は、以下の態様を含む。
【0228】
(付記1)
結像により画像を形成する結像素子と、
前記画像を形成する光を、前記結像素子に照射する光源と、
前記結像を観測する観測者の観測位置を検出する位置検出部と、
前記結像素子および前記光源のうちの少なくとも一方の光の出射の向きを変更する駆動部と、
前記観測位置に応じて前記結像を形成するように前記駆動部を制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面とが交差する直線と、前記第1方向および前記第1方向に交差する第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に離れるほど大きい値に設定された画像表示装置。
【0229】
(付記2)
結像により画像を形成する結像素子と、
前記画像を形成する光を、前記結像素子に照射する光源と、
前記結像を観測する観測者の観測位置を検出する位置検出部と、
前記結像素子および前記光源のうちの少なくとも一方の光の出射の向きを変更する駆動部と、
前記観測位置に応じて前記結像を形成するように前記駆動部を制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数のリフレクタ行は、前記第1方向に交差する第2方向に互いに間隔をあけて平行に配列され、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面が交差する直線と、前記第1方向および前記第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に沿って一方向に離れるほど大きい値に設定された画像表示装置。
【0230】
(付記3)
前記位置検出部は、
前記観測者の目を含む第1画像データを取得する撮像部と、
前記第1画像データを画像処理して、前記観測位置のうち前記観測者の目の位置を検出する画像処理部と、
を含む付記1または2に記載の画像表示装置。
【0231】
(付記4)
前記結像素子および前記光源を収納する筐体をさらに備え、
前記撮像部は、前記筐体内に配置された付記3記載の画像表示装置。
【0232】
(付記5)
前記筐体は、結像素子から出射される光を透過させる窓部材を含み、
前記撮像部は、前記窓部材を介して前記第1画像データを取得する付記4記載の画像表示装置。
【0233】
(付記6)
前記基材は、透光性を有し、
前記撮像部は、前記基材を介して前記第1画像データを取得する付記4記載の画像表示装置。
【0234】
(付記7)
前記撮像部は、第1期間で前記第1画像データを取得し、
前記光源は、前記第1期間に重複しない第2期間で前記結像素子に光を照射する付記3~6のいずれか1つに記載の画像表示装置。
【0235】
(付記8)
前記観測位置と前記結像素子との間に配置されたハーフミラーをさらに備え、
前記撮像部は、前記ハーフミラーに写った前記観測者の反射像を撮像する付記3~7のいずれか1つに記載の画像表示装置。
【0236】
(付記9)
前記観測位置に向かって光を放射する照明光源をさらに備え、
前記照明光源は、前記光源が出射する光の波長とは異なる第1波長の光を照射し、
前記撮像部は、前記第1波長の光で照射された前記観測位置の前記第1画像データを取得する付記3~8のいずれか1つに記載の画像表示装置。
【0237】
(付記10)
前記第1波長のピーク波長は、700nm以上である付記9記載の画像表示装置。
【0238】
(付記11)
前記位置検出部は、前記観測者が着席する座席の位置の情報を取得する座席位置検出部を含み、
前記制御部は、前記座席位置検出部によって取得された前記座席の位置の情報にもとづいて、前記観測位置を補正する付記3~10のいずれか1つに記載の画像表示装置。
【0239】
(付記12)
前記位置検出部は、前記観測者の音声を収集する集音部を含み、
前記制御部は、前記集音部によって収集されたデータにもとづいて、前記観測位置を補正する付記3~10のいずれか1つに記載の画像表示装置。
【0240】
(付記13)
前記撮像部によって取得された前記観測者の少なくとも一部を含む第2画像データを画像処理して、前記観測者を識別する観測者情報を抽出し、前記観測者を含むすべての利用者のそれぞれを識別する利用者識別情報を含むデータベースから前記観測者情報を検索して前記観測者を認証する認証処理部をさらに備え、
前記認証処理部が前記観測者を認証した場合に、前記光源は、光を前記結像素子に光を照射可能とし、前記制御部は、前記駆動部を制御可能とする付記3~12のいずれか1つに記載の画像表示装置。
【0241】
(付記14)
前記利用者識別情報は、前記利用者ごとの識別記号に関連付けられた、顔認証データ、虹彩認証データ、指紋認証データおよび静脈認証データのうちの少なくとも1つを含む付記13記載の画像表示装置。
【0242】
(付記15)
前記光源は、基板と、前記基板上に配置された複数の半導体発光素子と、を含む付記1~14のいずれか1つに記載の画像表示装置。
【0243】
以上説明した実施形態によれば、簡素な構造で空中に画像を表示できる画像表示装置を実現することができる。
【0244】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明およびその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【0245】
10、310、310a…結像素子、12、312…基材、20…リフレクタアレイ、22…リフレクタ行、23…間隔、30…2面直交リフレクタ、31…第1反射面、32…第2反射面、1000、2000、3000、4000、5000…画像表示装置、1100…表示装置、1112…画素、1120…LED素子、1300、5300…筐体、1310、5310…遮光部材、1320、5320…窓部材、1410、2410…制御部、1415…表示コントローラ、1420、2420…駆動部、1430、5430…位置検出部、1432、5432…撮像部、1434…画像処理部、1440、5440…カメラ用照明、1450…シートポジション検出部、1460…ユーザインタフェース、1470…ユーザ認証インタフェース、2470…音源位置演算部、2472L、2472R…マイクロフォン、4200…ハーフミラー