(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024080553
(43)【公開日】2024-06-13
(54)【発明の名称】画像表示装置
(51)【国際特許分類】
G02B 30/56 20200101AFI20240606BHJP
G02B 5/08 20060101ALI20240606BHJP
【FI】
G02B30/56
G02B5/08 Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022202454
(22)【出願日】2022-12-19
(31)【優先権主張番号】P 2022192950
(32)【優先日】2022-12-01
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000226057
【氏名又は名称】日亜化学工業株式会社
(74)【代理人】
【識別番号】100108062
【弁理士】
【氏名又は名称】日向寺 雅彦
(74)【代理人】
【識別番号】100168332
【弁理士】
【氏名又は名称】小崎 純一
(74)【代理人】
【識別番号】100172188
【弁理士】
【氏名又は名称】内田 敬人
(72)【発明者】
【氏名】秋元 肇
(72)【発明者】
【氏名】田中 寿典
(72)【発明者】
【氏名】坂本 考史
(72)【発明者】
【氏名】小谷 正和
【テーマコード(参考)】
2H042
2H199
【Fターム(参考)】
2H042DB07
2H042DD04
2H042DE00
2H199BA32
2H199BA48
2H199BA49
2H199BB17
2H199BB59
2H199BB65
2H199BB67
(57)【要約】
【課題】簡素な構造で空中に画像を表示できる画像表示装置を提供する。
【解決手段】実施形態に係る画像表示装置は、結像素子と、光源と、検出部と、制御部と、を備える。前記結像素子は、第1面を有する基材と、前記基材上のリフレクタアレイと、を備える。前記リフレクタアレイは、第1方向に沿って、複数の2面直交リフレクタを含む複数のリフレクタ行を含む。前記複数のリフレクタ行は、前記第1方向に交差する第2方向に平行に配列される。前記複数の2面直交リフレクタは、第1反射面と、前記第1反射面に直交する第2反射面と、をそれぞれ含む。前記第2直交リフレクタの傾きは、前記第1面側に結像するように設定される。前記光透過部材は、前記結像素子での2回反射光を透過するように設けられる。前記遮光部材は、前記2回反射光以外の光の一部を遮光する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
結像により画像を形成する結像素子と、
前記画像を形成する光を前記結像素子に照射する光源と、
車両に設けられ、前記画像を観測する観測者の周囲情報を検出する第1検出部と、
前記周囲情報にもとづいて前記画像を形成する位置、前記光源が出射する光の出力、色度のうちの少なくとも1つを含む光のパラメータを制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面とが交差する直線と、前記第1方向および前記第1方向に交差する第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に離れるほど大きい値に設定された画像表示装置。
【請求項2】
結像により画像を形成する結像素子と、
前記画像を形成する光を、前記結像素子に照射する光源と、
車両に設けられ、前記画像を観測する観測者の周囲情報を検出する第1検出部と、
前記周囲情報にもとづいて前記画像を形成する位置、前記光源が出射する光の出力、色度のうちの少なくとも1つを含む光のパラメータを制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数のリフレクタ行は、前記第1方向に交差する第2方向に互いに間隔をあけて平行に配列され、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面が交差する直線と、前記第1方向および前記第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に沿って一方向に離れるほど大きい値に設定された画像表示装置。
【請求項3】
前記第1検出部は、前記画像を含む第1画像データを取得する第1撮像部を含み、
前記制御部は、
前記第1画像データにもとづいて、前記画像の位置を検出し、前記画像の位置をあらかじめ設定された基準位置となるように前記画像の位置を制御し、
前記第1画像データにもとづいて、前記画像の画質を判定し、前記画像の画質をあらかじめ設定された基準画質となるように前記光のパラメータを制御する請求項1または2に記載の画像表示装置。
【請求項4】
前記第1検出部は、前記第1撮像部とは異なる位置から前記画像を含む第2画像データを取得する第2撮像部を含み、
前記制御部は、前記第1画像データおよび前記第2画像データにもとづいて、前記画像の位置を検出する請求項3記載の画像表示装置。
【請求項5】
前記第1検出部は、前記車両が進行する方向の外景を含む第3画像データを取得する第3撮像部を含み、
前記制御部は、前記第3画像データにもとづいて、前記光のパラメータを補正する請求項1または2に記載の画像表示装置。
【請求項6】
前記制御部は、前記車両の位置を含む地図情報または前記車両の位置における天気情報の少なくとも一方にもとづいて前記光のパラメータを補正する請求項5記載の画像表示装置。
【請求項7】
前記第1検出部は、前記画像および前記車両よりも前方の景色の両方を含む第4画像データを取得する第4撮像部を含み、
前記制御部は、
前記第4画像データにもとづいて、前記画像の位置を検出し、前記画像の位置をあらかじめ設定された基準位置となるように前記画像の位置を制御し、
前記第4画像データにもとづいて、前記画像の画質をあらかじめ設定された基準画質となるように前記光のパラメータを制御する請求項1または2に記載の画像表示装置。
【請求項8】
前記制御部は、第1期間において、前記観測者が認識できる映像を出力するように前記光源を制御し、第2期間において、前記基準画質として設定された校正用画像パターンの画像を出力するように前記光源を制御し、
前記第2期間において、前記第1画像データにもとづいて、前記画像の画質を判定し、前記画像の画質をあらかじめ設定された前記基準画質となるように前記光のパラメータを制御する請求項3記載の画像表示装置。
【請求項9】
前記観測者の前方に配置され、前記観測者の瞳を含む第5画像データを取得する第2検出部をさらに備え、
前記制御部は、前記第5画像データにもとづいて、前記観測者の瞳の位置を検出し、
前記観測者の瞳の位置と前記画像の位置との距離が所定値よりも短い場合に、前記観測者を保護する処理を実行する請求項1または2に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像表示装置に関する。
【背景技術】
【0002】
被観察物の実像を空中に表示する反射型結像光学素子およびこれを応用した画像表示装置が提案されている(たとえば、特許文献1参照)。
【0003】
このような画像表示装置は、利用者の必要なときに画像を表示し、その他の場合には、画像を非表示にすることが可能である。また、このような画像表示装置は、空中に画像を表示することから、表示部分の装置が不要である。そのため、自動車内などの限られた空間をより有効に活用できる等のメリットがある。
【0004】
また、このような画像表示装置を応用することにより、非接触型の操作パネルを実現することができる。そのため、自動車内などの利用に加えて、応用分野の広がりが期待される。
【0005】
空中に画像表示できる反射型結像光学素子として、2面直交リフレクタを用いたものや、コーナーキューブリフレクタと呼ばれる再帰性反射機能を有する光学素子を用いたものが実用化されている(たとえば、特許文献2等参照)。それぞれの動作原理により、問題点が指摘されている。たとえば、2面直交リフレクタを用いる結像素子を用いた画像表示装置では、利用者の意図しない場所に虚像が表示されることを回避することが困難であるとされている。
【0006】
コーナーキューブリフレクタを用いた画像表示装置では、光源および結像素子に加えて光学素子を用いることにより、結像の形成位置を比較的自由に設定することができる。一方で、そのための光学素子の構成が複雑になる。
【0007】
簡素な構造で空中に画像を表示できる画像表示装置が望まれている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2015-146009号公報
【特許文献2】国際公開第2016/199902号
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の一実施形態は、簡素な構造で空中に画像を表示できる画像表示装置を提供する。
【課題を解決するための手段】
【0010】
本発明の一実施形態に係る画像表示装置は、結像により画像を形成する結像素子と、前記画像を形成する光を前記結像素子に照射する光源と、車両に設けられ、前記画像を観測する観測者の周囲情報を検出する第1検出部と、前記周囲情報にもとづいて前記画像を形成する位置、前記光源が出射する光の出力、色度のうちの少なくとも1つを含む光のパラメータを制御する制御部と、を備える。前記結像素子は、第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含む。前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含む。前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含む。前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面とが交差する直線と、前記第1方向および前記第1方向に交差する第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定される。前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定される。前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含む。前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に離れるほど大きい値に設定される。
【0011】
本発明の一実施形態に係る画像表示装置は、結像により画像を形成する結像素子と、前記画像を形成する光を、前記結像素子に照射する光源と、車両に設けられ、前記画像を観測する観測者の周囲情報を検出する第1検出部と、前記周囲情報にもとづいて前記画像を形成する位置、前記光源が出射する光の出力、色度のうちの少なくとも1つを含む光のパラメータを制御する制御部と、を備える。前記結像素子は、第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含む。前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含む。前記複数のリフレクタ行は、前記第1方向に交差する第2方向に互いに間隔をあけて平行に配列される。前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含む。前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面が交差する直線と、前記第1方向および前記第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定される。前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定される。前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含む。前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に沿って一方向に離れるほど大きい値に設定される。
【発明の効果】
【0012】
本発明の一実施形態によれば、簡素な構造で空中に画像を表示できる画像表示装置が実現される。
【図面の簡単な説明】
【0013】
【
図1】第1の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図2】第1の実施形態に係る画像表示装置の一部である表示装置の可動範囲を説明するための模式図である。
【
図3A】第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な平面図である。
【
図4A】
図3BのIVA-IVA線における模式的な矢視断面図である。
【
図4B】第1の実施形態に係る画像表示装置の一部である表示装置の変形例を例示する模式的な断面図である。
【
図5】第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な等価回路図である。
【
図6】画像表示装置の一部である結像素子を例示する模式的な平面図である。
【
図7】
図6の結像素子の一部である基材を例示する模式的な斜視図である。
【
図9A】
図8の結像素子の一部である2面直交リフレクタを例示する模式的な平面図である。
【
図9B】
図9AのIXB-IXB線における模式的な矢視断面図の例である。
【
図9C】
図9Aの2面直交リフレクタの動作を説明するための模式的な斜視図である。
【
図9D】
図9Aの2面直交リフレクタの動作を説明するための模式的な斜視図である。
【
図10】
図6の結像素子を例示する模式的な側面図である。
【
図11】
図6の結像素子を例示する模式的な側面図である。
【
図12A】第1の実施形態に係る画像表示装置の一部である結像素子の変形例を例示する模式的な側面図である。
【
図12B】第1の実施形態に係る画像表示装置の一部である結像素子の他の変形例を例示する模式的な側面図である。
【
図13】第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な平面図である。
【
図14】第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な側面図である。
【
図15】第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な側面図である。
【
図16】第1の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図17】第1の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
【
図18】第2の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図19】第2の実施形態に係る画像表示装置の一部である結像素子の可動範囲を説明するための模式図である。
【
図20】第2の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図21】第3の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図22】第3の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図23】第3の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
【
図24】第4の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図25】第4の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図26】第4の実施形態に係る画像表示装置の動作を説明するための模式的なタイミングチャートの例である。
【
図27】第5の実施形態に係る画像表示装置を例示する模式的な断面図である。
【
図28】第5の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
【
図29】第5の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ、本発明の実施形態について説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して詳細な説明を適宜省略する。
【0015】
(第1の実施形態)
図1は、第1の実施形態に係る画像表示装置を例示する模式的な断面図である。
図1に示すように、本実施形態に係る画像表示装置1000は、結像素子310aと、表示装置1100と、撮像部(第1検出部)1432、1434と、制御部1410と、を備える。
【0016】
結像素子310a、表示装置1100および制御部1410は、筐体1300内に配置されている。制御部1410は、制御装置1400内に配置され、制御装置1400は、表示装置1100とともに筐体1300内の上部に配置されている。結像素子310aは、筐体1300内の下部に配置された結像素子設置部1330上に配置されている。筐体1300には、開口が設けられ、筐体1300の開口には窓部材1320が配置されている。
【0017】
光源である表示装置1100は、光Lを結像素子310aに向けて出射する。結像素子310aは、光Lを入射して反射光Rを出射する。結像素子310aは、窓部材1320を介して、反射光Rを筐体1300の外部に出射する。結像素子310aは、出射した反射光Rを、筐体1300の外部の空中で結像して、画像I1を形成する。
【0018】
画像表示装置1000は、たとえば、車両1に配置されている。車両1は、自家用車や貨物車等の輸送用車両である。観測者O1は、車両1の乗員である。観測者O1は、たとえば車両1の運転者である。観測者O1は、車両1が進行する方向に向かって着席し、画像表示装置1000は、観測者O1の前方に配置される。車両1が進行する方向は、
図1の太線の矢印で示す方向である。後述する他の実施形態に係る画像表示装置の場合も同様である。観測者O1は、たとえば車両1を運転しながら、空中に結像した画像I1を観測する。
【0019】
撮像部1432、1434は、車両1に設けられている。撮像部1432、1434は、観測者O1の周囲の環境の情報である周囲情報を検出する検出部である。より具体的には、撮像部1432、1434は、以下の周囲情報を検出する。すなわち、撮像部1432は、観測者O1が観測している画像I1に関する情報を検出する。撮像部1434は、車両1が進行する方向の外景に関する情報を検出する。
【0020】
撮像部1432は、観測者O1が観測している画像I1を撮像できるように、観測者O1の上方かつ後方に配置される。撮像部1432は、たとえば車両1の天井部に配置される。
【0021】
撮像部1432は、観測者O1が観測している画像I1の情報を含む画像データ(第1画像データ)を生成する。画像I1の情報は、画像I1が形成された位置の情報および画像I1を形成する光のパラメータの情報である。光のパラメータは、光の出力および光の色度のうちの少なくとも1つを含んでいる。光の出力は、たとえば光の強さや輝度等で表される量で適切なパラメータが任意に設定される。光の色度は、たとえば、CIE(Commission internationale de l'eclairage)で規定された色度図で表される。撮像部1432が生成する画像データは、画像I1の位置の情報と、画像I1の光のパラメータの情報と、を含んでいる。
【0022】
撮像部1434は、車両1が進行する方向の外景の情報を含む画像データ(第3画像データ)を生成する。
図1に示した例では、撮像部1434は、観測者O1の前方で、車両1の進行方向に向けて配置されている。撮像部1434は、たとえば車両1のダッシュボード上に配置される。外景の情報は、外景の光のパラメータの情報である。撮像部1434が生成する画像データの光のパラメータは、撮像部1432が生成する画像データの場合と同じである。撮像部1432が生成する画像データの光のパラメータが光の出力に設定された場合には、撮像部1434が生成する画像データの光のパラメータは光の出力に設定される。撮像部1432が生成する画像データの光のパラメータが光の色度に設定された場合には、撮像部1434が生成する画像データの光のパラメータは光の色度に設定される。
【0023】
制御部1410は、撮像部1432が生成した画像データにもとづいて、画像I1が形成される位置があらかじめ設定された位置に追従するようにフィードバック制御を実行する。制御部1410は、撮像部1432が取得した画像データにもとづいて、画像I1を形成する光のパラメータがあらかじめ設定された基準値に追従するようにフィードバック制御を実行する。制御部1410は、撮像部1434が生成した画像データから、外景の光のパラメータを抽出し、あらかじめ設定された基準値を補正する。
【0024】
制御部1410がこのように動作することによって、観測者O1は、観測者O1が置かれた環境に応じて、より適切な位置で、より適切な光の出力や色度を有する画像I1を観測することができる。
図1を用いた上述の説明は、画像表示装置1000の概略の構成にもとづく動作である。より詳細には、画像表示装置1000は、
図16を用いて後述する通信ネットワークで接続された各要素の動作することによって動作する。後述するその他の実施形態に係る画像表示装置の説明についても同様である。
【0025】
制御部1410は、表示装置1100が配置される位置および表示装置1100が出射する光の角度を設定する。制御部1410は、たとえば6軸制御によって、表示装置1100の位置や角度を設定する。表示装置1100の6軸制御について説明する。
図2は、第1の実施形態に係る画像表示装置の一部である表示装置の可動範囲を説明するための模式図である。
図2に示すように、表示装置1100は、可動であり、X1Y1Z1座標の任意の位置に配置される。3次元座標軸の各軸の定義については、後述する。表示装置1100は、基板1110と、基板1110上に形成された画素形成領域1112Rと、を有する。画素形成領域1112Rは、X1Y1平面に平行な面に形成されるものとし、画素形成領域1112Rに形成された画素を構成するLED素子が主として出射する光の向きは、Z1軸の負方向である。
【0026】
表示装置1100は、第1自由度として、X1軸に平行な方向に可動である。表示装置1100は、第2自由度として、Y1軸に平行な方向に可動である。表示装置1100は、第3自由度として、Z1軸方向に可動である。表示装置1100は、第1自由度から第3自由度までを有することによって、X1Y1Z1座標空間を任意の位置に移動することができる。
【0027】
表示装置1100は、さらに、各軸を中心に回転することができる。表示装置1100は、第4自由度として、X1軸を中心に回転可能である。表示装置1100は、第5自由度として、Y1軸を中心に回転可能である。表示装置1100は、第6自由度として、Z1軸を中心に回転可能である。表示装置1100の画素形成領域1112Rは、任意の方向を向くことができる。表示装置1100は、主として画素形成領域1112Rの法線方向に光を出射する。
【0028】
表示装置1100の6つの自由度の下の制御を6軸制御と言う。画像表示装置1000では、制御部1410は、6軸制御に適応した制御システムを構築する。たとえば、6軸制御に適応した制御部1410は、多関節アームを含み、表示装置1100は、多関節アームの先端に設けられる。
【0029】
画像表示装置1000では、6軸制御に適応した制御部1410を備えることによって、表示装置1100は、任意の位置で、かつ、任意の方向に向けて光を出射することができる。表示装置1100が出射する光は、結像素子310aに照射される。結像素子310aを固定して、表示装置1100を6軸制御することによって、画像表示装置1000は、表示装置1100から出射された光を、結像素子310aを介して、空中の所望の位置で結像させることができる。画像I1が形成される位置の調整範囲に応じて、制御軸の自由度を6種類から減じてもよい。
【0030】
制御部1410は、たとえば、演算処理装置(CPU)を含んでいる。制御部1410は、あらかじめ設定された基準位置と実際に画像I1が形成されている位置との差分を演算し、差分が0に近づくようにフィードバック制御を実行する。また、制御部1410は、画像データに現れた光のパラメータとあらかじめ設定された基準値との差分を演算し、差分が0に近づくようにフィードバック制御を実行する。これらのフィードバック制御を実行するにあたり、機械学習や深層学習を用いることによって、より緻密な制御が可能になる。
【0031】
図1に戻って説明を続ける。
結像素子310aは、第1面311aおよび仮想平面P0が筐体1300の底面に対して傾斜するように結像素子設置部1330上に配置されている。結像素子310aは、表示装置1100が出射した光Lを入射して、斜め上方に向かう反射光Rとして出射する。反射光Rは、第1面311aおよび仮想平面P0の法線方向に出射される。結像素子310aは、反射光Rを出射する方向に第1面311aを支持するように設けられた結像素子設置部1330に配置されて固定される。仮想平面P0については、
図7に関連して後述する。
【0032】
筐体1300は、結像素子310a、表示装置1100および制御装置1400を内部の適切な位置に配置するように、任意の適切な外形形状を有する。
【0033】
筐体1300は、遮光部材1310を有する。画像表示装置1000では、遮光部材1310は、筐体1300の一部である。遮光部材1310は、たとえば、筐体1300の内壁に配置された光吸収層である。光吸収層は、たとえば黒色の塗料の塗布層である。画像表示装置1000では、筐体1300の内壁に遮光部材1310を配置することによって、表示装置1100および結像素子310aから出射される光の一部が筐体1300内で反射して迷光となることを低減する。なお、遮光部材1310は塗料の塗布層であり、筐体1300の構成材の厚さに比べて十分に薄いため、
図1では、筐体1300の内壁の面として表されている。
【0034】
窓部材1320は、筐体1300の一部に設けられている。窓部材1320は、筐体1300の一部に形成された開口である窓枠1322の位置に配置されている。窓枠1322は、結像素子310aの第1面311aに対向する位置に開口されている。窓部材1320は、結像素子310aが反射光Rを画像表示装置1000の外部に出射できるように、ガラスや透明樹脂等の透光性を有する材料で形成されている。
【0035】
結像素子310aは、第1面311a上に行列状に配置された複数の2面直交リフレクタ30を有している。第1面311aは、窓枠1322の開口および窓部材1320とほぼ平行に配置される。2面直交リフレクタ30は、第1反射面31と第2反射面32とを有しており、それぞれの反射面で1回ずつ反射して、2面直交リフレクタ30の2回反射光が反射光Rとして出射される。結像素子310aの構成については、
図6~
図15に関連して後述する。窓部材1320および窓枠1322は、結像素子310aの2回反射光を透過するように設けられる。
【0036】
画像表示装置1000では、結像素子310aの直上に画像I1を形成するように、表示装置1100および結像素子310aが配置されている。結像素子310aの直上とは、第1面311aの法線方向の位置である。このような配置の場合には、結像素子310aは、1回反射光の一部も第1面311a側に出射され、第1面311aの側で虚像やゴーストを形成することがある。また、結像素子310aの構成によっては、いずれの反射面でも反射されない光が第1面311a側に出射される場合もある。したがって、遮光部材1310は、筐体1300の内壁のうち、少なくとも、表示装置1100からの漏れ光や、結像素子310aの2回反射光以外の光を遮光する位置に配置される。
【0037】
結像素子310aから出射される反射光Rは、窓部材1320を透過して、筐体1300の外部で画像I1を形成する。窓部材1320は、結像素子310aと、画像I1が形成される位置との間に配置される。観測者O1がいる場合には、画像I1は、観測者O1と窓部材1320との間に形成される。
【0038】
上述の具体例では、筐体1300の内壁に遮光部材1310を配置するものとしたが、表示装置1100や結像素子310aから放射される漏れ光を遮ることができれば遮光部材1310を内壁に配置する場合に限らない。たとえば、表示装置1100の周囲を黒色塗装した筒体で囲むことによって、表示装置1100からの漏れ光を遮光することができる。結像素子310aの基材を黒色樹脂等で形成することによって、結像素子310aの漏れ光を遮光することができる。
【0039】
表示装置1100の構成について、詳細に説明する。
図3Aは、第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な平面図である。
図3Bは、
図3AのIIIB部の模式的な拡大図である。
図4Aは、
図3BのIVA-IVA線における模式的な矢視断面図である。
表示装置1100の説明に際しては、3次元直交座標系を用いて説明することがある。表示装置1100の説明のための3次元直交座標系は、X1軸、Y1軸およびZ1軸を含む直交座標系である。X1軸に平行な方向を「X1方向」といい、Y1軸に平行な方向を「Y1方向」といい、Z1軸に平行な方向を「Z1方向」ということがある。X1軸およびY1軸を含むX1Y1平面は、表示装置1100の基板の第1面1111aに平行な面であるものとする。第1面1111aは、LED素子が配置され、画素形成領域1112Rが設けられた面である。X1軸は、表示装置1100の画素の行に平行である。Y1軸は、X1軸に直交する。Z1軸は、X1軸およびY1軸に直交し、第1面1111aから第2面1111bに向かって正方向とする。第2面1111bは、基板1110の第1面1111aの反対側に位置する面である。
【0040】
X1Y1Z1直交座標系によれば、表示装置1100は、主として、Z1軸の負方向に向かって光を出射する。
図1に示したように、結像素子310aは、表示装置1100が光を出射する側に配置されている。つまり、結像素子310aは、表示装置1100のZ1軸の負方向の側に配置されている。
【0041】
図3Aに示すように、表示装置1100は、X1Y1平面視でほぼ矩形の基板1110を有している。基板1110は、たとえばガラスやポリイミド等の樹脂を用いることができ、Si基板を用いてもよい。表示装置1100においては、光軸C1は、X1Y1平面視において、基板1110の外周がなす形状の中心と一致する。光軸C1は、Z1軸に平行な軸である。光軸C1をZ1軸に一致するものとすると、表示装置1100は、6軸制御により、光軸C1を中心に回転することができる。
【0042】
光軸C1を中心にして、基板1110上に画素形成領域1112Rが設けられている。画素形成領域1112Rには、
図3Bに示す画素1112が行列状に配置されている。
図3Aに示す例では、画素形成領域1112Rは、ほぼ正方形であるが、任意の形状とすることができる。つまり、画素1112の配列が形成する外周は、任意の形状とすることができる。
【0043】
図3Bに示すように、表示装置1100は、光源となる複数の画素1112を含んでいる。表示装置1100は、複数の画素1112により、所望の画像を表示する。表示装置1100は、
図16に関連して説明する表示制御部1416に電気的に接続される。表示制御部1416は、筐体1300内や筐体1300外に設けられ、表示装置1100が表示する画像に関するデータを表示装置1100に供給する。表示装置1100は、表示制御部1416から供給される画像に関するデータにもとづいて、静止画や動画等を表示する。
【0044】
表示装置1100は、基板1110と、複数の画素1112と、走査回路1130と、複数の走査線1140と、複数の点灯制御線1150と、駆動回路1160と、複数の信号線1170と、を含む。画素1112は、LED素子1120と、個別回路1180と、を含む。なお、
図3Bでは、LED素子1120、走査回路1130、駆動回路1160、および個別回路1180は、図示の煩雑さを避けるため、それぞれ四角形で簡易的に示されている。
【0045】
複数のLED素子1120は、行列状に配列されている。以下、X1方向に1行で並ぶ複数のLED素子1120を「行1120i」と言う。
【0046】
図4Aに示すように、基板1110は、第1面1111aと第2面1111bとを有する。第2面1111bは、第1面1111aの反対側の面である。LED素子1120は、第1面1111a上に行列状に配置されている。LED素子1120は、第1面1111a上にフェースダウン実装される。LED素子は、フェースダウン実装に限らず、第1面1111a上にフェースアップ実装されてもよい。
【0047】
LED素子1120は、半導体積層体1121と、アノード電極1125と、カソード電極1126と、を有する。半導体積層体1121は、p型半導体層1122と、p型半導体層1122上に配置された活性層1123と、活性層1123上に配置されたn型半導体層1124と、を有する。半導体積層体1121には、たとえばInXAlYGa1-X-YN(0≦X、0≦Y、X+Y<1)で表される窒化ガリウム系化合物半導体が用いられる。LED素子1120が発光する光は、本実施形態では可視光である。
【0048】
アノード電極1125は、p型半導体層1122に電気的に接続される。また、アノード電極1125は、
図5に関連して後述する個別回路1180の配線1181に電気的に接続される。なお、
図4Aおよび
図4Bに示す例では、個別回路1180は、Si基板に形成されている。カソード電極1126は、n型半導体層1124に電気的に接続される。また、カソード電極1126は、個別回路1180の別の配線1182に電気的に接続される。アノード電極1125およびカソード電極1126には、たとえば金属材料を用いることができる。
【0049】
図4Aに示す例では、LED素子1120の光出射面1124Sには、複数の凹部1124Tが設けられている。以下では、「LED素子の光出射面」とは、LED素子の表面のうち、主として光が出射する面を意味する。
図4Aに示す例では、光出射面1124Sは、n型半導体層1124の一方の面である。より具体的には、光出射面1124Sは、n型半導体層1124が活性層1123に対向する面の反対側に位置する面である。
【0050】
光出射面1124Sに複数の凹部1124Tを形成する方法は、凸部が形成された成長基板上にn型半導体層を成長させる方法やn型半導体層の表面異方性エッチングにより粗面加工する方法等がある。なお、成長基板は所定のタイミングで剥離され得る。
【0051】
このように、LED素子1120の光出射面1124Sに複数の凹部1124Tが設けられているので、LED素子1120は、より大きな配光角を有する光を出射することができる。
【0052】
LED素子の構成は、上記に限定されない。たとえば、LED素子の光出射面には複数の凹部ではなく複数の凸部が設けられていてもよいし、複数の凹部および複数の凸部の両方が設けられていてもよい。また、成長基板が透光性を有する場合、半導体積層体から成長基板を剥離せず、光出射面に相当する成長基板の表面に複数の凹部および複数の凸部の少なくとも一方を設けてもよい。
【0053】
また、表示装置1100の構造も、上記に限定されない。上記ではLED素子1120は個別回路1180を設けた基板1110上に個別実装されているが、LED素子1120は個別回路1180を設けた基板1110上にボンディングされた半導体積層体から個別に加工され配線されてもよい。
【0054】
図4Bは、第1の実施形態に係る画像表示装置の一部である表示装置の変形例を例示する模式的な断面図である。
図4Bは、
図3BのIVA-IVA線における矢視断面図に対応しており、
図4Aに示した位置と同じ位置における矢視断面図を表している。
図4Bに示すように、画素1112aは、LED素子1120aと、波長変換部材1128とを含んでいる。画素1112aは、
図3Bに示した画素1112と同様に、個別回路1180を含んでいる。画素1112aは、
図4Bに示す例のように、カラーフィルタ1129をさらに含んでもよい。
【0055】
この変形例では、LED素子1120aは、半導体積層体1121aと、アノード電極1125と、カソード電極1126と、を有する。半導体積層体1121aは、p型半導体層1122と、活性層1123と、n型半導体層1124aと、を有する。活性層1123はp型半導体層1122上に配置され、n型半導体層1124aは活性層1123上に配置されている。n型半導体層1124aは、光出射面1124aSを有する。光出射面1124aSは、凹部や凸部を有しておらず平坦な面である。
【0056】
画素1112aでは、保護層1127は、LED素子1120a、配線1181、1182および基板1110の第1面1111aを覆っている。保護層1127には、たとえば、硫黄(S)含有置換基もしくはリン(P)原子含有基を有する高分子材料、または、ポリイミド等の高分子マトリックスに高屈折率の無機ナノ粒子を導入した高屈折率ナノコンポジット材料等の透光性材料を用いることができる。
【0057】
波長変換部材1128は、保護層1127上に配置される。波長変換部材1128は、一般的な蛍光体材料、ペロブスカイト蛍光体材料または量子ドット(Quantum Dot、QD)等の波長変換材料を1種以上含む。LED素子1120aから出射した光は、波長変換部材1128に入射する。波長変換部材1128に含まれる波長変換材料は、LED素子1120aから出射した光のピーク波長を異なるピーク波長の光に変換して出射する。波長変換部材1128に入射された光は、波長変換部材1128内で散乱されるので、波長変換部材1128が発する光は、より広い配光角で出射される。
【0058】
カラーフィルタ1129は、波長変換部材1128上に配置される。カラーフィルタ1129は、LED素子1120aから出射し、波長変換部材1128で波長変換されなかった光の大部分を遮断可能である。これにより、画素1112aからは、主に波長変換部材1128が発する光が出射する。
【0059】
この変形例においては、LED素子1120aの発光ピーク波長は、紫外光の領域であってもよいし、可視光の領域であってもよい。なお、少なくとも1つの画素1112aから青色光を出射させたい場合には、その画素1112aには、波長変換部材1128およびカラーフィルタ1129を設けずに、その画素1112aに属するLED素子1120aから青色光を出射させてもよい。
【0060】
また、LED素子において基板と対向するようにn型半導体層を設け、その上に活性層およびp型半導体層をこの順で積層し、p型半導体層において活性層と対向する面の反対側の面を、LED素子の光出射面としてもよい。
【0061】
図3Bに示すように、走査回路1130は、たとえば、平面視において行列状に配列された複数のLED素子1120とX1方向において隣り合うように基板1110に配置されている。つまり、走査回路1130は、
図2に示した画素形成領域1112RのX1方向に平行な外縁に隣り合うように配置されている。走査回路1130は、駆動する行1120iをY1方向に順次切り替え可能な回路である。走査回路1130からは、複数の走査線1140がX1方向に延びている。また、走査回路1130からは、複数の点灯制御線1150がX1方向に延びている。複数の走査線1140および複数の点灯制御線1150は、Y1方向に交互に並んでいる。
【0062】
駆動回路1160はX1Y1平面視において、行列状に配列された複数のLED素子1120とY1方向において隣り合うように基板1110に配置されている。つまり、駆動回路1160は、
図2に示した画素形成領域1112RのY1方向に平行な外縁に隣り合うように配置されている。駆動回路1160は、駆動させる行1120iに属するLED素子1120のそれぞれの出力を制御可能な回路である。駆動回路1160からは、複数の信号線1170がY1方向に延びている。複数の信号線1170は、X1方向に並んでいる。駆動回路1160は、ICチップにより構成し、このICチップを基板1110上に実装してもよい。
【0063】
走査回路1130、複数の走査線1140、複数の点灯制御線1150、駆動回路1160、複数の信号線1170および個別回路1180は、たとえば、基板1110上に低温ポリシリコン(LTPS:Low Temperature Polycrystalline Silicon)プロセスで形成され得る。
【0064】
この例では、1つの画素1112は、1つの個別回路1180と1つのLED素子1120とを含んでいる。1つの画素1112内に、複数のLED素子1120を含んでもよい。1つの画素1112内に複数のLED素子1120を含む場合には、1つの個別回路が複数のLED素子に対応してもよい。あるいは、個別回路1180は、1つの画素1112内でLED素子1120ごとに設けられてもよい。
【0065】
図5は、第1の実施形態に係る画像表示装置の一部である表示装置を例示する模式的な等価回路図である。
図5に示すように、個別回路1180は、第1トランジスタT1と、第2トランジスタT2と、第3トランジスタT3と、キャパシタCmと、複数の配線1181~1185と、を含む。第1トランジスタT1および第3トランジスタT3は、nチャネルのMOSFETである。第2トランジスタT2は、pチャネルのMOSFETである。
【0066】
LED素子1120のカソード電極1126は、配線1182を介して接地線1191に電気的に接続される。接地線1191には、たとえば基準となる電圧が印加される。LED素子1120のアノード電極1125は、配線1181を介して第1トランジスタT1のソース電極に電気的に接続される。
【0067】
第1トランジスタT1のゲート電極は、点灯制御線1150に電気的に接続される。第1トランジスタT1のドレイン電極は、配線1183を介して第2トランジスタT2のドレイン電極に電気的に接続される。第2トランジスタT2のソース電極は、配線1184を介して電源線1192に電気的に接続される。電源線1192には、基準となる電圧よりも十分に高い電圧が印加される。図示しないが、電源線1192および接地線1191には直流電源が接続され、電源線1192と接地線1191との間には、接地線1191に印加される基準の電圧に対して正の直流電圧が印加される。
【0068】
第2トランジスタT2のゲート電極は、配線1185を介して第3トランジスタT3のドレイン電極に電気的に接続される。第3トランジスタT3のソース電極は、信号線1170に電気的に接続される。第3トランジスタT3のゲート電極は、走査線1140に電気的に接続される。
【0069】
配線1185は、キャパシタCmの一方の端子に電気的に接続される。キャパシタCmの他方の端子は、電源線1192に電気的に接続される。
【0070】
走査回路1130は、複数の行1120iのうちの1行を選択し、この行1120iに電気的に接続される走査線1140に、ON信号を出力する。これにより、この行1120iに対応する個別回路1180の第3トランジスタT3がON可能な状態になる。駆動回路1160は、各信号線1170に、この行1120iに属する各LED素子1120の設定出力に応じた駆動信号電圧を有する駆動信号を出力する。これにより、キャパシタCmに駆動信号電圧が保持される。また、この駆動信号電圧により、この行1120iに対応する個別回路1180の第2トランジスタT2がON可能な状態になる。
【0071】
また、走査回路1130は、この行1120iに電気的に接続される点灯制御線1150に、この行1120iの第1トランジスタT1のONとOFFを順次切り替える制御信号を出力する。第1トランジスタT1がONの状態では、この行1120iに属する各LED素子1120に、キャパシタCmに保持されている駆動信号電圧に応じた電流が流れることでLED素子1120の発光輝度が制御される。また、第1トランジスタT1のONとOFFが切り替わることにより、LED素子1120の発光期間が行1120iごとに制御される。
【0072】
走査回路1130は、ON信号を出力する走査線1140および制御信号を出力する点灯制御線1150をY1方向に順次切り替える。これにより、駆動される行1120iがY1方向に順次切り替わる。
【0073】
走査回路、複数の走査線、複数の点灯制御線、駆動回路、複数の信号線および複数の個別回路等の構成は、上記に限定されない。たとえば、個別回路は、第2トランジスタ、第3トランジスタ、キャパシタ、および配線からなり、第1トランジスタが設けられておらず、走査回路からは、複数の走査線が延び、点灯制御線は設けられていなくてもよい。また、各走査線、各点灯制御線、各信号線、および各個別回路における配線等は、基板の表面上ではなく、基板の中に設けられてもよい。また、駆動回路に含まれるトランジスタやキャパシタ等の電気的な素子は、基板上に形成するのではなく別途製造されたものを、基板上に実装してもよい。また、LED素子は、別途製造されたものを基板に実装するのではなく、基板にSi等の半導体材料を用い、LED素子を基板上に形成してもよい。この場合は、各トランジスタ素子はガラス基板上に設けられた低温ポリシリコン素子ではなく、シリコン基板上に設けられたシリコン半導体素子でよい。
【0074】
上述のようなLED素子を有する表示装置は、小さな消費電力で十分な発光輝度が実現される点で好ましいが、これに限るものではない。上述のようなLED素子を用いたLEDディスプレイに代えて、表示装置は、OLEDディスプレイや液晶ディスプレイ等としてもよい。
【0075】
次に、結像素子310aの構成について、詳細に説明する。
図6は、画像表示装置の一部である結像素子を例示する模式的な平面図である。
図1に示したように、本実施形態に係る画像表示装置1000は、結像素子310aを備える。結像素子は、その構成によりさまざまなバリエーションがあり、
図1に示した結像素子310aは、そのうちの1つである。以下では、空中に結像を形成する結像素子の動作原理を含めて説明する。まず、結像素子10の構成および動作について説明する。
【0076】
図6に示すように、結像素子10は、基材12と、リフレクタアレイ20と、を備える。基材12は、第1面11aを有しており、リフレクタアレイ20は、第1面11a上に設けられている。
図6に示す例では、リフレクタアレイ20は、第1面11aのリフレクタ形成領域14内に設けられている。リフレクタアレイ20は、複数のリフレクタ行22を含む。なお、リフレクタアレイ20は基材12に設けられていてもよい。つまりリフレクタアレイ20と基材12とは一体であってもよい。この場合、基材12の第1面11aが後述するリフレクタアレイ20の2面直交リフレクタとなる。
【0077】
基材12の構成について説明する。
図7は、
図6の結像素子の一部である基材を例示する模式的な斜視図である。
図7に示すように、基材12は、第1面11aおよび第2面11bを有している。第2面11bは、第1面11aの反対側に位置する面である。
【0078】
結像素子に関する説明では、
図3A等で示した表示装置1100の説明における3次元直交座標系とは異なる3次元直交座標系を用いることがある。結像素子の説明のための3次元直交座標系は、X2軸、Y2軸およびZ2軸を含む直交座標系である。X2軸に平行な方向を「X2方向」といい、Y2軸に平行な方向を「Y2方向」といい、Z2軸に平行な方向を「Z2方向」ということがある。X2軸およびY2軸を含むX2Y2平面は、仮想平面P0に平行な平面として定義される。第1面11aは、第2面11bよりもZ2軸の正方向の側に設けられる。第1面11aは、Y2Z2平面視で、Z2軸の負方向側に凸となる円弧の一部を含んでいる。以下で説明する具体例では、仮想平面P0は、この円弧の一部のうち、Z2軸のもっとも負方向側に位置する点に接する接平面に平行な仮想的な面である。
【0079】
上述したように、第1面11aは曲面であり、リフレクタアレイ20は、曲面上に設けられている。仮想平面P0は、リフレクタ行22のY2軸方向の傾きを設定するときの基準面となる。換言すると、リフレクタ行22は、仮想平面P0に対して設定された角度で、第1面11a上に設けられている。
【0080】
基材12は、透光性を有する材料で形成されており、たとえば、透明樹脂で形成される。
【0081】
結像素子10では、基材12を基準にして第1面11a側に光源を配置すると、第2面11b側ではなく、光源を配置した第1面11a側に結像が形成される。結像が形成される位置は、光源が設けられた位置から十分に離れた位置であって、光源が設けられた位置とは異なる位置とすることができる。
【0082】
図6に戻って説明を続ける。
リフレクタ行22は、X2方向に沿って設けられている。複数のリフレクタ行22は、Y2方向に沿って、互いにほぼ平行になるように設けられている。複数のリフレクタ行22は、隣り合ったリフレクタ行22ごとにY2方向に間隔23をあけて、ほぼ等間隔で配列されている。リフレクタ行22の間隔23のY2方向の長さは、任意の長さとすることができ、たとえば、リフレクタ行22のY2方向の長さ程度とすることができる。リフレクタ行22の間隔23を形成する領域には、第1面11a側に光源を配置した場合に、リフレクタ行22で反射しない光線やリフレクタ行22で1回反射した反射光等が入射される。これらの光線等は、結像に寄与しないため、この間隔23を広くとると、結像素子10に入射される光線のうち結像に寄与する割り合いが小さくなる。そのため、間隔23のY2方向の長さは、
図8に関連して後述する2面直交リフレクタの寸法や反射面の効率等に応じて、適切な長さとされる。
【0083】
リフレクタ行22のそれぞれは、X2方向に接続された多数の2面直交リフレクタを含んでいるため、
図6では、煩雑さを回避するために塗りつぶされて示されている。
図6に示す例では、結像素子10はX2方向に横長の形状をしている。これは、結像を両眼で視認するためには有利だからである。結像素子10のX2Y2平面視での形状は、これに限らず、用途に応じて、Y2方向に縦長の形状を選択してもよい。
【0084】
なお、
図1に示した画像表示装置1000のように、結像素子310aの第1面311aの法線方向に画像を結像させる場合には、隣り合うリフレクタ行22の間隔を設けなくてもよい。また、隣り合うリフレクタ行22の間隔を設ける場合に、設けたリフレクタ行の間隔を反射面にしてもよい。
【0085】
図8は、
図6のVIII部の模式的な拡大図である。
図8に示すように、リフレクタ行22は、複数の2面直交リフレクタ30を含む。複数の2面直交リフレクタ30は、X2方向に沿って相互に接続され、連続して設けられている。2面直交リフレクタ30は、第1反射面31および第2反射面32を含む。2面直交リフレクタ30は、
図6に示した第1面11a上に形成された基部36上に設けられている。第1反射面31および第2反射面32は、それぞれの正面視で、ほぼ正方形とされ、正方形のそれぞれの1辺で反射面同士が谷の向きにほぼ直交するように接続されている。
【0086】
以下、2面直交リフレクタ30において、第1反射面31と第2反射面32との接続線を、谷側接続線33というものとする。谷側接続線33の反対側の位置の第1反射面31の辺、および、谷側接続線33の反対側の位置の第2反射面32の辺をそれぞれ山側接続線34というものとする。
【0087】
2面直交リフレクタ30の第1反射面31は、山側接続線34で、X2軸の負方向側に隣接する2面直交リフレクタ30の第2反射面32に接続される。2面直交リフレクタ30の第2反射面32は、山側接続線34で、X2軸の正方向側に隣接する他方の2面直交リフレクタ30の第1反射面31に接続される。このようにして、複数の2面直交リフレクタ30は、X2方向に沿って相互に接続され、連続して設けられている。
【0088】
本実施形態の結像素子10では、第1反射面31および第2反射面32の寸法は、たとえば、数μmから数100μmとすることができる。たとえば、表示する画像の大きさや解像度等に応じて、2面直交リフレクタ30の集積数が設定される。たとえば、1つの結像素子10の中には、数10~数1000個の2面直交リフレクタ30が集積される。たとえば100μm角の反射面を有する1000個の2面直交リフレクタを、Y2方向14cm程度にわたって配列することができる。
【0089】
結像素子10のリフレクタ行22は、
図8に示した拡大図のように、谷側接続線33および山側接続線34のX2軸方向の位置が同じになるように配置されている。これに限らず、リフレクタ行22ごとに谷側接続線33および山側接続線34のX2軸方向の位置をずらしてもよい。
【0090】
図9Aは、
図8の結像素子の一部である2面直交リフレクタを例示する模式的な平面図である。
図9Bは、
図9AのIXB-IXB線における模式的な矢視断面図の例である。
図9Aおよび
図9Bに示すように、2面直交リフレクタ30は、第1反射面31および第2反射面32を含んでおり、第1反射面31および第2反射面32は、基部36上に設けられている。基部36は、第1反射面31および第2反射面32が、第1面11aの接平面Pに対して所望の角度となるように設けられている。
【0091】
基部36は、V字状に成形された透光性を有する部材であり、たとえば透明樹脂で形成され、基材12と一体で成形される。第1反射面31および第2反射面32は、基材12のV字形に成形された箇所に光反射性を有する金属材料等の薄膜形成等により形成される。このような例に限らず、第1反射面31、第2反射面32、基部36および基材12は、それぞれあるいは一部が別体で形成されて、それらを1つに組み立てて、結像素子10を形成するようにしてもよい。また、透明樹脂の表面がたとえば鏡面加工等されており、透明樹脂の表面反射率が十分に高い場合には、第1反射面31および第2反射面32は、透明樹脂の表面のままとすることもできる。間隔23や基部36は、虚像観測防止等のために、光透過性や光吸収性をもたせることが好ましい。
【0092】
2面直交リフレクタ30は、以下のように形成してもよい。透明樹脂の表面に第1反射面31および第2反射面32を形成する。形成した第1反射面31および第2反射面32が空気中に露出し、第1反射面31および第2反射面32を形成した面の反対の面から光が入射するように配置する。こうすることで、透明樹脂と空気の屈折率差によって、第1反射面31および第2反射面32を全反射面として機能させることができる。
【0093】
第1反射面31および第2反射面32は、谷側接続線33でほぼ直交するように接続されている。第1反射面31において、谷側接続線33の反対側の位置に山側接続線34があり、第2反射面32において、谷側接続線33の反対側の位置に山側接続線34がある。
【0094】
谷側接続線33の端部を頂点33a、33bと呼ぶ。頂点33aの位置は、頂点33bの位置よりも、Z2軸の正方向の側とされる。つまり、頂点33aは、頂点33bよりも基材12から離れた位置とされている。山側接続線34の端部を頂点34a、34bと呼ぶ。頂点34aの位置は、頂点34bの位置よりも、Z2軸の正方向の側とされる。つまり、頂点34aは、頂点34bよりも基材12から離れた位置とされている。したがって、頂点34aは、もっとも基材12から離れた位置となり、頂点33bは、もっとも基材12に近い位置に配置されることとなる。
【0095】
図9Bには、2面直交リフレクタ30、第1面11aと接平面Pとの関係が示されている。2面直交リフレクタ30は、谷側接続線33の下側の頂点33bで第1面11aに接している。接平面Pは、頂点33bの位置における第1面11aに接する平面である。2面直交リフレクタ30は、谷側接続線33が接平面Pと角度θをなすように第1面11a上に設けられる。
【0096】
図9Cおよび
図9Dは、
図9Aの2面直交リフレクタの動作を説明するための模式的な斜視図である。
図9Cに示すように、光線LLが第1反射面31に入射すると、光線LLは、第1反射面31によって反射される。第1反射面31によって反射された1回反射光LR1は、第2反射面32によって再度反射される。第2反射面32によって反射された2回反射光LR2は、入射光の光源と同じ側に出射される。このようにして、2面直交リフレクタ30は、第1面11a側からの入射光を第1面11a側であって、光源の位置とは異なる位置に向かって出射する。2面直交リフレクタ30は、このように、2つの反射面で2回反射して、入射する光線LLの進行してきた側に2回反射光LR2を反射する。
【0097】
2面直交リフレクタ30の反射動作は、可逆的である。2面直交リフレクタ30に入射する光線は、
図9Cにおいて、2回反射光LR2に沿って逆方向から入射した場合には、入射する光線LLに沿って逆方向に反射される。具体的には、
図9Dに示すように、2面直交リフレクタ30に入射した光線LLは、第2反射面32で反射され、1回反射光LR1として、第1反射面31に入射する。1回反射光LR1は、第1反射面31で反射されて2回反射光LR2として出射する。
【0098】
図8や
図9Aに示したように、2面直交リフレクタ30は、谷側接続線33を基準に線対称であり、接平面Pに対する第1反射面31の角度は、接平面Pに対する第2反射面32の角度とほぼ等しくなるように配置される。そのため、2面直交リフレクタ30は、光線が最初に第1反射面31に入射する場合と、光線が最初に第2反射面32に入射する場合とでは、同様の動作をして反射光を出射する。たとえば、
図9Cでは、光線LLは、最初に第1反射面31に入射し反射されるものとしたが、最初に第2反射面32に入射し反射される場合であっても、2面直交リフレクタ30の動作は、上述と同様に説明することができる。また、
図9Dでは、光線LLは、最初に第1反射面31に入射して、第1反射面31による1回反射光が第2反射面32で反射されて第2反射光として出射されてもよい。以下では、結像素子の動作を説明する場合には、特に断らない限り、最初に第1反射面31で反射する場合について説明することとする。
【0099】
図10は、
図6の結像素子を例示する模式的な側面図である。
図10では、リフレクタアレイ20は、
図9Aおよび
図9Bに示した2面直交リフレクタ30の頂点33aを結んだ包絡線で示されている。以降、結像素子を表す側面図において、2面直交リフレクタ30の構成を示して説明する必要がない場合には、
図10に示したように、リフレクタアレイ20は、2面直交リフレクタ30の頂点33aの包絡線を1点鎖線にして表すこととする。
【0100】
図10に示すように、結像素子10では、第1面11aが曲面であるため、リフレクタアレイ20は、曲面状に設けられている。第1面11aは、Y2Z2平面視でZ2軸の負方向側に凸となる円弧の一部を含んでおり、リフレクタアレイ20もこの円弧状に設けられ、頂点の包絡線も円弧となる。円弧の半径は、結像素子10と結像素子10の第1面11a側に設けられる光源との距離にもとづいて設定される。たとえばリフレクタアレイ20の円弧の半径は、結像素子10と光源との間の距離の2倍程度とされる。
【0101】
図9Cおよび
図9Dに関連して説明したように、結像素子10は、光線の入射および反射の方向について、可逆性を有している。結像素子10において、入射および反射の方向を逆にした場合には、円弧の半径は、結像素子10と第1面11a側に形成される結像との距離にもとづいて設定される。上述と同様に、リフレクタアレイ20の円弧の半径は、結像素子10と結像との間の距離の2倍程度とされる。
【0102】
結像素子10では、第1面11aに接する接平面のうち、Z2軸方向の負方向側のもっとも低い位置に接する接平面は、XY平面に平行な仮想平面P0である。
【0103】
図11は、
図6の結像素子を例示する模式的な側面図である。
図11には、
図6および
図8に示したリフレクタ行22を構成する1つの2面直交リフレクタが示されている。
図6および
図8に関連して説明したように、複数のリフレクタ行22のそれぞれは、X2方向に沿って設けられ、Y2方向にほぼ等間隔で配列されている。1つのリフレクタ行22を構成する複数の2面直交リフレクタの仮想平面P0に対する角度は、ほぼ同じとされる。したがって、仮想平面P0に対する2面直交リフレクタ30の角度は、その2面直交リフレクタ30が属するリフレクタ行22の仮想平面P0に対する角度を表す。
【0104】
図11では、Y2方向に配列された多数個の2面直交リフレクタのうち、5個の2面直交リフレクタ30-1~30-5が拡大されて模式的に示されている。Y2軸における位置を区別するために符号を変えてあるが、2面直交リフレクタ30-1~30-5の構成は、
図9Aおよび
図9Bに関連して説明した2面直交リフレクタ30と同じである。
図9Bに示した基部36の表記は、図示の煩雑さを回避するために図示を省略している。
【0105】
図11に示すように、2面直交リフレクタ30-1~30-5は、第1面11aのY2軸における位置に応じて、仮想平面P0に対する角度Θ1~Θ5が異なっている。2面直交リフレクタ30-1~30-5のそれぞれの角度Θ1~Θ5は、仮想平面P0に対する谷側接続線(直線)33-1~33-5の角度で表される。
【0106】
図11に示す例では、2面直交リフレクタ30-1~30-5は、Y2軸の正方向に向かって、この順に配置されている。2面直交リフレクタ30-1~30-5の角度Θ1~Θ5は、この順に大きな値に設定される。つまり、角度Θ1~Θ5の大きさは、Θ1<Θ2<Θ3<Θ4<Θ5とされる。
【0107】
より一般化して換言すると、2面直交リフレクタ30-1~30-5の角度Θ1~Θ5は、もっとも小さい値に設定された2面直交リフレクタのリフレクタ行(第1リフレクタ行)22を基準にして、Y2軸上を一方向に向かって離れるほど大きい値である。また、角度Θ1~Θ5は、基準とされたリフレクタ行22からY2軸上を他方向に向かって離れるほど小さい値である。
図11の例では、もっとも小さい角度に設定された2面直交リフレクタ30-1の位置を基準とすると、Y2軸の正方向に向かって、角度Θ1~Θ5の大きさは、Θ1<Θ2<Θ3<Θ4<Θ5となる。
【0108】
2面直交リフレクタの角度Θ1~Θ5は、0°<Θ1~Θ5<90°とすることができる。第1反射面31と仮想平面P0とのなす角は、角度Θ1~Θ5にそれぞれ連動して決定されるが、45°<(第1反射面31と仮想平面P0とのなす角)<90°とすることができる。第2反射面32と仮想平面P0とのなす角は、第1反射面31と仮想平面P0とのなす角と等しい。したがって、45°<(第2反射面32と仮想平面P0とのなす角)<90°となる。
【0109】
2面直交リフレクタ30-1~30-5のそれぞれの傾きは、2面直交リフレクタ30-1~30-5が配置された第1面11aにおける接平面P1~P5に対する角度でも設定される。2面直交リフレクタ30-1~30-5の接平面P1~P5に対する角度は、2面直交リフレクタ30-1~30-5のY2軸における位置によらず、一定の角度θとされる。たとえば、角度θは、コーナーキューブリフレクタの各反射面が水平面となす角度にもとづいており、30°程度とされ、より詳細には、35.3°とされる。
【0110】
この例の結像素子10では、2面直交リフレクタ30-1~30-5の角度Θ1~Θ5は、基材12を基準としたときに、第1面11a側に設けられた光源から入射される光線を、第1面11a側に結像させるように適切に設定される。結像位置は、光源の位置と異なる空中とされる。仮想平面P0に対する2面直交リフレクタの角度は、たとえば実験やシミュレーション等によって決定される。
【0111】
仮想平面P0に対する2面直交リフレクタの角度は、Y2軸における位置に応じて大きくなるように設定され、あるいは、Y2軸における位置に応じて小さくなるように設定されればよいので、第1面11aは真円の円弧の一部でなくてもよい。たとえば、第1面11aは、楕円の円弧の一部であってもよいし、リフレクタ行の行数に応じた多角形の一部であってもよい。また、2面直交リフレクタの角度は、2面直交リフレクタのY2軸における位置に応じて角度を設定できればよいので、仮想平面P0を基準とせずに、仮想平面P0に対して任意の角度をなす他の平面を基準にしてもよい。
【0112】
結像素子の変形例について説明する。
図12Aは、第1の実施形態に係る画像表示装置の一部である結像素子の変形例を例示する模式的な側面図である。
図12Bは、第1の実施形態に係る画像表示装置の一部である結像素子の他の変形例を例示する模式的な側面図である。
仮想平面P0に対する2面直交リフレクタの角度を、
図6に示した結像素子10と同様に設定できれば、リフレクタアレイ20は、曲面上に形成される必要はなく、1つの平面上に設けられるようにしてもよい。
図12Aおよび
図12Bでは、
図11に関連して説明した場合と同様に、5個の2面直交リフレクタ30-1~30-5が拡大されて模式的に示されている。5個の2面直交リフレクタ30-1~30-5は、それぞれが配置された位置に応じた傾きが併せて示されている。
【0113】
図12Aに示すように、本変形例の結像素子310は、リフレクタアレイ20と、基材312と、を備える。基材312は、第1面311aおよび第2面311bを有する。第2面311bは、第1面311aの反対側の位置に設けられている。第1面311aは、X2Y2平面にほぼ平行な平面である。第1面311aは、仮想平面P0としてもよい。基材312は、
図11に示した例の場合と同様に、たとえば透光性を有する材料で形成される。
【0114】
仮想平面P0に対する2面直交リフレクタ30-1~30-5の角度は、それぞれΘ1~Θ5であり、角度Θ1~Θ5の大きさは、Θ1<Θ2<Θ3<Θ4<Θ5となる。2面直交リフレクタ30-1~30-5のY2軸における位置は、
図11に示した2面直交リフレクタ30-1~30-5のY2軸における位置と同じである。したがって、
図11の場合のY2軸における位置に応じた円弧の接平面P1~P5とした場合に、2面直交リフレクタ30-1~30-5と接平面P1~P5のなす角は、すべて同じ値の角度θとなる。
【0115】
図12Bに示すように、本変形例の結像素子310aは、リフレクタアレイ20と、基材312と、を備え、保護層314をさらに備える。リフレクタアレイ20および基材312の構成は、
図12Aに関連して説明した結像素子310と同じである。保護層314は、リフレクタアレイ20および第1面311aを覆うように設けられる。
【0116】
保護層314は、保護層314を介して光線が結像素子310aに入射された場合に、光線の透過量がほぼ一定となるように、光透過性の高い材料が用いられる。保護層314の表面313aも入射された光線の屈折角がほぼ一定となるように、十分な平坦性を有することが好ましい。
【0117】
本変形例では、基材312を平板とすることができるので、第1面や第2面を曲面とすることにともなう基材の厚みを低減することができるので、結像素子310、310aを薄型化することが可能になる。
図12Aに示した結像素子310は、基材312の第1面311aにリフレクタアレイ20が形成され、第2面311bは、フラットな面を有する部材である。そのため、樹脂基材を用いたプレス機による生産に好適である。また、結像素子310は、ロール・ツー・ロール方式による生産が容易であるなど、生産面における優位性を有している。ロール・ツー・ロール方式とは、ロール状に巻かれた基材の材料を連続的に工程に供給して加工や処理等を行う生産方式である。ロール・ツー・ロール方式は、板状やフィルム状の樹脂成型品の生産等に一般的に利用されている。
【0118】
本実施形態に係る画像表示装置1000では、
図12Bに示した結像素子310aを備える。これに限らず、画像表示装置は、上述した結像素子10、310のいずれかを備えるようにしてもよい。なお、結像素子10、310、310aの構成要素は、適宜組み合わせることができる。たとえば、結像素子10の第1面11a側に保護層314を設けるようにしてもよい。
【0119】
次に、結像素子の動作について動作原理を含めて説明する。以下では、特に断らない限り、
図6~
図11に関連して説明した結像素子10について説明する。変形例の結像素子310、310aの動作は、結像素子10の場合と同様に理解することができる。
【0120】
図13は、第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な平面図である。
図13に示すように、第1反射面31および第2反射面32は、ほぼ直交して配置され谷側接続線33で接続されている。頂点33bは、Z2軸方向の最小値となるように配置されている。
【0121】
第1反射面31に入射する光線LLは、第1反射面31で反射される。第1反射面31で反射された1回反射光LR1は、第2反射面32で反射される。2面直交リフレクタ30では、コーナーキューブリフレクタ(たとえば、特許文献2)とは異なり、3つ目の反射面を有していないので、第2反射面32によって反射された2回反射光LR2は、そのまま直進する。ここで、谷側接続線33は、X2Y2平面に対して所定の角度で設けられているので、2面直交リフレクタ30から出射される2回反射光LR2は、光線LLが入射される側と同じ側に出射される。
【0122】
図14および
図15は、第1の実施形態に係る画像表示装置の一部である結像素子の動作を説明するための模式的な側面図である。
図14の例では、光源Sは、第1面11aの側であって、仮想平面P0の法線方向に配置される。なお、
図12Aおよび
図12Bに示した変形例の結像素子310、310aの場合には、光源は、第1面311aの側であって、第1面311aの法線方向に配置される。
図14に示すように、結像素子10では、第1面11aは、YZ平面視でZ2軸の負方向側に凸となるように、円弧の一部として設定される。2面直交リフレクタ30-1~30-3は、第1面11a上に配置される。仮想平面P0に対する2面直交リフレクタ30-1~30-3の傾きを表す角度Θ1~Θ3は、
図14に示す例では、Y2軸の正方向に向かって大きくなるように設定されている。このように角度Θ1~Θ3を設定することによって、2面直交リフレクタ30によって2回反射された2回反射光LR2は、光源Sが設けられた第1面11a側で結像Iを形成する。
【0123】
結像素子10は、光源Sの位置と結像Iの位置とを入れ替えても動作する。
図15では、2面直交リフレクタ30-1~30-3の構成や、2面直交リフレクタ30-1~30-3、第1面11aおよび仮想平面P0の関係は、
図14に関連して説明した場合と同じである。
図15に示すように、光源Sは、
図14に関連して説明した場合の結像Iの位置に設けられており、このときには、
図14の場合の光源Sの位置に結像Iが形成される。光源Sから出射された光線LLは、2面直交リフレクタ30-1~30-3でそれぞれ2回反射されて、2回反射光LR2は、結像Iの位置で結像する。つまり、
図15に示す例では、結像Iは、第1面11aの側であって、仮想平面P0の法線方向に形成される。なお、
図12Aおよび
図12Bに示した変形例の結像素子310、310aの場合には、結像は、第1面311aの側であって、第1面311aの法線方向に形成される。
【0124】
光源Sがいずれの位置の場合であっても、実験やシミュレーション等を用いることによって、2面直交リフレクタに入射した光線を2回反射して所望の位置に結像させるように、2面直交リフレクタの角度を適切に設定することができる。たとえば、
図14に示した実施形態の場合では、光源Sは、リフレクタアレイのほぼ直上とされ、
図15に示した実施形態の場合では、結像Iが形成される位置が、リフレクタアレイのほぼ直上とされている。2面直交リフレクタの仮想平面P0に対する角度を適宜調整して設けることで、これらの光源Sや結像Iの位置を適宜変更することも可能である。このような設計変更に際しては、光線追跡シミュレーションなどの光線解析ツールを有効に活用することができる。
【0125】
本実施形態に係る画像表示装置1000では、リフレクタアレイの直上に結像が形成される。この場合においても、光源である表示装置1100の位置と結像Iが形成される位置とを入れ替えることが可能である。なお、
図1の画像表示装置1000において、表示装置1100の位置と結像が形成される位置とを入れ替えた場合には、入れ替え後の光路に応じて、筐体および光透過部材の構成を変更する必要があることは言うまでもないことである。
【0126】
本実施形態に係る画像表示装置1000の動作について説明する。画像表示装置1000は、以下で説明する制御システムにしたがって動作する。
図16は、第1の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
図16に示すように、画像表示装置1000の制御システム1001は、検出部1430と、制御部1410と、ユーザインタフェース1460と、を有する。検出部(第1検出部)1430は、撮像部1432、1434を含む。制御部1410は、画像処理部1412と、位置制御部1414と、表示制御部1416と、駆動部1420と、を有する。
【0127】
撮像部1432、1434、画像処理部1412、位置制御部1414、表示制御部1416、駆動部1420およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。通信ネットワーク1500は、たとえば、車載用イーサネット等である。
【0128】
撮像部1432は、観測者O1が観測している画像I1を撮像する少なくとも1つのカメラである。撮像部1432は、観測者O1が観測している画像I1に関する情報を含む画像データ(第1画像データ)を生成する。撮像部1432は、生成した画像データを画像処理部1412に送信する。
【0129】
撮像部1434は、車両1が進行する方向の外景を撮像する少なくとも1つのカメラである。撮像部1434は、車両1が進行する方向の外景に関する情報を含む画像データ(第3画像データ)を生成する。撮像部1434は、生成した画像データを画像処理部1412に送信する。
【0130】
画像処理部1412は、撮像部1432が生成した画像データを画像処理して、画像I1の位置を検出する。画像処理部1412は、検出した画像I1の位置の情報を位置制御部1414に送信する。画像処理部1412は、撮像部1432が生成した画像データを画像処理して、画像I1の光のパラメータを抽出する。画像処理部1412は、抽出した画像I1の光のパラメータの情報を表示制御部1416に送信する。画像処理部1412は、撮像部1434が生成した画像データを画像処理して、車両1の進行方向の外景の光のパラメータを抽出する。画像処理部1412は、抽出した外景の光のパラメータの情報を表示制御部1416に送信する。
【0131】
位置制御部1414は、画像I1を形成している位置である形成位置の情報を有する。形成位置は、あらかじめ設定されている。位置制御部1414は、あらかじめ設定されている画像I1の形成位置と、撮像部1432によって生成された画像データから検出された画像I1の位置と、の差分を演算し、差分が0に近づくように、駆動信号を生成する。位置制御部1414は、生成した駆動信号を駆動部1420に送信する。
【0132】
駆動部1420は、受信した駆動信号にもとづいて、表示装置1100が配置される位置を調整し、表示装置1100が出射する光の角度を調整する。駆動部1420は、たとえば6軸制御に対応した多関節アームを有しており、各関節の角度および回転角度を調整することによって、表示装置1100の位置および角度を調整する。
【0133】
表示制御部1416は、画像I1の光のパラメータの基準値を有する。基準値はあらかじめ設定されている。表示装置1100は、撮像部1434によって生成された画像データから抽出された外景の光のパラメータを用いて、あらかじめ設定された基準値を補正する。たとえば、外景の光のパラメータのうち、光の出力が大きい場合には、表示制御部1416は、基準値をより大きな値となるように補正する。外景の光のパラメータに対する補正値は、たとえば、テーブルや関数形式であらかじめ設定され、図示しない記憶部に格納されている。表示制御部1416は、撮像部1432によって取得された画像I1の光のパラメータが補正された基準値に追従するようにフィードバック制御を行う。
【0134】
ユーザインタフェース1460は、観測者や同乗者が画像表示装置を操作するためのスイッチやレバー等である。ユーザインタフェース1460は、機械式のスイッチ等に限らず、タッチパネル式でもよいし、音声認識や空中に形成される空中画像によるものであってもよい。観測者O1がスイッチ等の操作をすることによって、操作に応じた信号が制御部1410に送信される。たとえば、観測者O1がスイッチを操作することによって、画像I1の表示と非表示とを切り替えたり、観測者O1がレバーを操作することによって、画像I1の表示位置を変更したりすることができる。ユーザインタフェース1460は、画像I1が形成される位置に関する情報を操作する場合に限らず、画像I1の光のパラメータに関する情報を操作するものであってもよい。
【0135】
図17は、第1の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
図17のフローチャートは、画像表示装置1000が観測者O1が観測する画像I1の位置を調整し、画像I1の光のパラメータを調整する一連の手順を表している。
【0136】
図17に示すように、ステップS1において、撮像部1432は、観測者O1が観測している画像I1を撮像し、所定の形式の画像データを生成する。
【0137】
ステップS2において、位置制御部1414は、ユーザインタフェース1460からの割込みの有無を監視する。制御部1410は、ユーザインタフェース1460からの割込みがない場合には、観測者O1によるマニュアル操作がなかったとして、処理をステップS3に遷移させる。
【0138】
ステップS3において、画像処理部1412は、撮像部1432によって生成された画像データを画像解析し、画像I1が形成された位置を検出する。画像処理部1412は、画像I1の位置の情報を位置制御部1414に送信する。
【0139】
ステップS2で位置制御部1414がユーザインタフェース1460からの割込みがあった場合には、ステップS4において、位置制御部1414は、マニュアル操作による画像I1の形成位置を演算する。位置制御部1414は、処理をステップS5に遷移させる。
【0140】
ステップS5において、位置制御部1414は、検出された画像I1の位置が、あらかじめ設定された基準位置になるように駆動信号を生成する。位置制御部1414は、生成した駆動信号を駆動部1420に送信する。
【0141】
ステップS6において、駆動部1420は、位置制御部1414から受信した駆動信号にしたがって、表示装置1100の位置および角度を変更する。
【0142】
ステップS7において、画像処理部1412は、撮像部1432が生成した画像データから観測者O1が観測している画像I1の光のパラメータを抽出する。
【0143】
ステップS8において、撮像部1434は、観測者O1の前方の外景を撮像し、所定の形式の画像データを生成する。
【0144】
ステップS9において、画像処理部1412は、撮像部1434が生成した画像データを画像解析して、外景の光のパラメータを抽出する。画像処理部1412は、抽出した光のパラメータを表示制御部1416に送信する。
【0145】
表示制御部1416は、外景の画像データにもとづく光のパラメータを用いて、あらかじめ設定された光のパラメータに関する基準値を補正する。表示制御部1416は、撮像部1432によって生成された画像I1の光のパラメータが、補正された基準に追従するように光のパラメータをフィードバック制御する。
【0146】
車両1がトンネルに入るときやトンネルから出るとき、あるいは、街路灯が連続的に並んでおり、街路灯による明暗が繰り返されるとき等は、外景の光のパラメータが急激に変動することがある。この場合に、画像I1の光のパラメータを補正された基準値にリアルタイムで追従させると、観測者O1は、急激なパラメータ変動をフリッカとして観測することとなり、観測者O1に不快感をもたらすことがある。そのため、画像I1の光のパラメータを、補正された基準値に追従させる場合には、観測者O1がフリッカとして認識しない程度になめらかに追従させることが好ましい。たとえば、このようななめらかなフィードバック制御は、外景の急激な変動のパターンを学習させて、学習結果に応じた時定数を設定する等により実現することができる。
【0147】
なお、画像I1の光のパラメータを、補正された基準値に追従させる場合には、基準値自体をなめらかに補正してもよいし、画像I1の光のパラメータの追従をなめらかに制御するようにしてもよい。
【0148】
ステップS10において、表示制御部1416は、フィードバック制御により生成した光のパラメータを表示装置1100に送信する。
【0149】
ステップS1~ステップS10の一連の処理は、ステップS1~ステップS10の処理を1サイクルとして、たとえば、一定の周期で繰り返し実行される。周期を適切に設定することによって、画像表示装置1000を搭載する車両1が振動する場合であっても、画像I1の形成位置を各周期で適切に調整することが可能になる。
【0150】
図17に示したフローチャートの各ステップは、一例であり、画像表示装置1000の動作はこれに限定されない。
図17に示したフローチャートでは、制御システム1001は、画像I1の位置を設定した後に、画像I1の光のパラメータを調整するものとしたが、光のパラメータを調整した後に画像I1の位置を設定してもよい。制御システム1001は、画像I1の位置の設定および画像I1の光のパラメータの調整を同時並行して実行するようにしてもよい。
【0151】
図17に示したフローチャートでは、マニュアル操作によって画像I1の位置を設定するものとしたが、マニュアル操作によって画像I1の光のパラメータの調整をしてもよい。この場合、観測者O1が画像I1を観測しながら、光のパラメータの基準値を調整することによって実現することができる。
【0152】
制御システム1001は、通信ネットワーク1500を介して、他のインタフェースを接続するようにしてもよい。他のインタフェースは、たとえば、車両のエンジンの始動に応じて始動信号を生成し、車両の停止に応じて停止信号を生成し、制御部1410は、これらの信号に応じて画像I1の位置の設定を行うようにしてもよい。このようなインタフェースとすることによって、画像I1の形成位置の変更動作を車両が停止しているときに行うことができ、検出部1430の撮像時のぶれを抑制し、画像I1の位置の検出精度および画像I1の光のパラメータの検出精度を向上させることができる。
【0153】
上述した具体例では、光のパラメータは、光の出力および光の色度のうちの少なくとも一方を含み、制御部は、これらを基準値に追従するようにフィードバック制御するものとした。これに限らず、制御部は、画像データ中の輝度の変化の大きさにより画像の境界であるエッジを検出して、画像I1の焦点が合っているか否かを判定するようにしてもよい。その場合には、制御部では、画像処理部が画像のエッジの検出を行い、位置制御部が画像I1の焦点が合うように表示装置1100の位置等を調整する駆動信号を生成する。
【0154】
本実施形態に係る画像表示装置1000の効果について説明する。
本実施形態に係る画像表示装置1000は、結像素子310aを備える。
図8および
図12B等に示したように、結像素子310aでは、仮想平面P0に対する2面直交リフレクタ30の角度は、0°よりも大きく、90°よりも小さく設定される。その上で、仮想平面P0に対する2面直交リフレクタ30の角度は、2面直交リフレクタ30がY2軸方向に配置された位置に応じて、異なるように設定され、基準の位置の2面直交リフレクタ30からY2軸方向の一方向に離れるにしたがって、大きくなるように設定され、Y2軸方向の他方向に離れるにしたがって、小さくなるように設定される。このように設定することによって、基材312を基準にしたときに、第1面311a側からの光線を2回反射して、第1面311a側に結像させることができる。
【0155】
結像素子310aでは、2面直交リフレクタ30の仮想平面P0に対する角度を適切に設定することによって、基材312を基準に第1面311a側の任意の位置に表示装置1100を配置し、リフレクタアレイの直上の所望の位置に画像I1を形成することができる。
【0156】
本実施形態に係る画像表示装置1000は、撮像部1432、1434と、制御部1410と、を備える。撮像部1432は、画像I1の情報を含む画像データを取得する。画像I1の情報は、画像I1が形成されている位置の情報と、画像I1の光のパラメータに関する情報と、を含んでいる。撮像部1434は、車両1が進行する外景の情報を含む画像データを取得する。車両1の外景の情報は、観測者O1および車両1の周囲の環境の光のパラメータに関する情報を含んでいる。
【0157】
制御部1410は、画像データにもとづいて画像I1の位置を検出し、検出した位置があらかじめ設定された位置となるようにフィードバック制御する。そのため、観測者O1は、あらかじめ設定された位置に形成された画像I1を観測することができる。制御部1410は、画像データにもとづいて、検出した画像I1の光のパラメータをあらかじめ設定された基準値に追従するようにフィードバック制御することができる。そのため、観測者O1は、あらかじめ設定された光のパラメータに追従して表示される画像I1を観測することができる。あらかじめ設定された光のパラメータは、所望の情報をより正確かつ明確に表示するように設定されることができるので、観測者O1は、適切な光のパラメータで形成された画像I1を観測することができる。
【0158】
制御部1410は、周囲の環境の光のパラメータを用いて、あらかじめ設定された基準値を補正する。制御部1410は、画像I1の光のパラメータを、補正された基準値に追従するように、フィードバック制御することができる。観測者O1は、周囲の環境の光のパラメータで補正された基準値に追従する光のパラメータを有する光で形成された画像I1を観測する。そのため、観測者O1は、観測者O1にとってより見やすい光のパラメータを有する光で形成された画像I1を観測することができる。
【0159】
画像表示装置1000では、結像素子310aの直上に画像I1を形成するように、表示装置1100および結像素子310aを配置する。そのため、観測者O1が画像I1を見る位置によっては、画像I1が形成された位置とは別の位置にゴーストが見える場合がある。画像表示装置1000では、上述のように、観測者O1の位置に応じて、画像I1が形成される位置を適切に変更し設定するので、観測者O1には、安定して鮮明な空中画像を画像I1として表示することができる。
【0160】
表示装置1100は、LED素子を画素に含み、LED素子を窒化ガリウム系化合物半導体により形成することができる。窒化ガリウム系化合物半導体により形成されたLED素子は、少ない消費電力で高い輝度での発光が可能である。そのため、表示装置1100から出射された光が長い光路を経由する場合であっても、鮮明な画像を空中表示することが可能である。
【0161】
(第2の実施形態)
図18は、第2の実施形態に係る画像表示装置を例示する模式的な断面図である。
図18に示すように、本実施形態に係る画像表示装置2000は、結像素子310aと、表示装置1100と、撮像部2432L、2432R、1434と、制御部2410と、を備える。画像表示装置2000は、第1の実施形態に係る画像表示装置1000の制御部1410とは異なる制御部2410を備える。画像表示装置2000は、複数の撮像部2432L、2432Rを備える点でも第1の実施形態に係る画像表示装置1000と相違する。画像表示装置2000は、他の点では、第1の実施形態に係る画像表示装置1000と同じ構成を有する。同一の構成要素には、同一の符号を付して詳細な説明を適宜省略する。
【0162】
画像表示装置2000では、
図1に示した画像表示装置1000の場合と同様に、表示装置1100、結像素子310aおよび制御部2410は、筐体1300内に配置される。筐体1300の内壁に遮光部材1310が配置されることも、画像表示装置1000の同様である。表示装置1100は、筐体1300内の上部に配置された表示装置設置部1340に配置され、結像素子310aは、筐体1300内の下部に配置される。制御部2410は、制御装置2400内に配置されている。制御装置2400は、筐体1300の下部に配置されている。
【0163】
結像素子310aは、表示装置1100が出射した光Lを入射し、結像素子310aの第1面311aおよび仮想平面P0の法線方向に向かう反射光Rを出射する。結像素子310aは、制御装置2400のケース上に配置され、反射光Rを出射する方向を維持するようにケースに支持されている。
【0164】
本実施形態に係る画像表示装置2000では、制御部2410によって、結像素子310aを6軸制御することによって、画像I2が形成される位置を設定する。
結像素子310aの6軸制御について説明する。
図19は、第2の実施形態に係る画像表示装置の一部である結像素子の可動範囲を説明するための模式図である。
図19に示すように、結像素子310aは、制御部2410によって6軸制御され、6つの自由度の下で可動である。たとえば、6軸制御に適応した制御部2410は、多関節アームを含んでおり、結像素子310aは、多関節アームの先端に設けられる。
【0165】
具体的には、結像素子310aは、第1自由度として、X2軸に平行な方向に可動である。結像素子310aは、第2自由度として、Y2軸に平行な方向に可動である。結像素子310aは、第3自由度として、Z2軸方向に可動である。結像素子310aは、第1自由度から第3自由度までを有することによって、X2Y2Z2座標空間を任意の位置に移動することができる。
【0166】
結像素子310aは、第4自由度として、X2軸を中心に回転可能である。結像素子310aは、第5自由度として、Y2軸を中心に回転可能である。結像素子310aは、第6自由度として、Z2軸を中心に回転可能である。結像素子310aの第1面311aは、任意の方向を向くことができ、任意の方向に向かって反射光Rを反射して画像I2を形成することができる。
【0167】
画像表示装置2000は、6軸制御に適応した制御部2410を備えることによって、結像素子310aは、任意の位置で任意の方向に向けて反射光Rを出射することが可能である。結像素子310aを6軸制御することによって、画像表示装置1000は、表示装置1100から出射された光Lを結像素子310aで反射して、空中の所望の位置に画像I2を形成することができる。
【0168】
図18に戻って説明を続ける。
図18に示すように、撮像部2432L、2432Rは、観測者O2が観測している画像I2を撮像するように、観測者O2の上方かつ後方に配置される。撮像部(第2撮像部)2432Rは、撮像部(第1撮像部)2432Lとは異なる位置から画像I2を撮像する。撮像部2432L、2432Rは、たとえば、観測者O2の左右の目の視差に応じて左右に配置される。撮像部2432L、2432Rを左右の異なる位置に配置することによって、制御部2410は、画像I2の位置をより正確に検出することができる。空中に表示されている画像I2の位置を正確に検出するために、左右に配置された2台の撮像部に限らず、3台以上を適切な位置に配置してもよい。
【0169】
撮像部2432L、2432Rは、観測者O2が観測している画像I2の情報を含む画像データDL、DRをそれぞれ生成する。画像I2の情報は、第1の実施形態に係る画像表示装置1000の場合と同様に、画像I2の位置の情報および画像I2の光のパラメータの情報である。撮像部2432L、2432Rは、生成した画像データDL、DRを制御部2410に送信する。
【0170】
図1に示した画像表示装置1000と同様に、画像表示装置2000は、自家用車等の輸送用の車両に配置される。撮像部1434は、第1の実施形態に係る画像表示装置1000の場合と同様に、車両1が進行する方向の外景の情報を含む画像データを生成する。
【0171】
本実施形態に係る画像表示装置2000の動作について説明する。画像表示装置2000は、以下で説明する制御システムにしたがって動作する。
図20は、第2の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
図20に示すように、画像表示装置2000の制御システム2001は、検出部2430と、制御部2410と、ユーザインタフェース1460と、を有する。検出部(第1検出部)2430は、撮像部2432L、2432R、1434を含む。制御部2410は、画像処理部1412と、位置制御部2414と、駆動部2420と、表示制御部1416と、を含む。撮像部2432L、2432R、1434、画像処理部1412、位置制御部2414、駆動部2420、表示制御部1416およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。観測者O2は、たとえば、画像表示装置2000が配置された車両の運転者である。通信ネットワーク1500は、たとえば、車載用イーサネット等である。
【0172】
撮像部2432L、2432Rは、観測者O2が観測している画像I2を撮像して、画像I2の位置の情報および画像I2の光のパラメータの情報を含む画像データ(第1画像データ、第2画像データ)DL、DRをそれぞれ生成する。画像処理部1412は、撮像部2432L、2432Rによって生成された画像データDL、DRにもとづいて、画像I2の位置を検出し、画像I2の光のパラメータを抽出する。
【0173】
位置制御部2414は、画像処理部1412によって検出された画像I2の位置を、あらかじめ設定された画像I2の位置に追従するように駆動信号を生成して、駆動部2420に送信する。駆動部2420は、駆動信号にもとづいて、結像素子310aを6軸制御して、画像I2の形成位置を調整する。
【0174】
表示制御部1416は、撮像部2432L、2432Rによって生成された画像データから抽出された光のパラメータを、あらかじめ設定された基準値に追従するようにフィードバック制御する。表示制御部1416が撮像部1434によって生成された画像データにもとづいて抽出された外景の光のパラメータを用いて基準値を補正するのは、第1の実施形態に係る画像表示装置1000の場合と同様である。
【0175】
本実施形態に係る画像表示装置2000の効果について説明する。
本実施形態に係る画像表示装置2000は、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。すなわち、画像表示装置2000は、観測者O2が観測している画像I2の位置があらかじめ設定された位置となるようにフィードバック制御する。そのため、観測者O2は、あらかじめ設定された位置に形成された画像I2を観測することができる。結像素子310aを6軸制御としても、表示装置1100を6軸制御とした場合と同様の効果を得ることが可能である。
【0176】
そのほか、本実施形態に係る画像表示装置2000は、複数の撮像部2432L、2432Rを備えることによって、画像I2が形成される位置をより正確に検出することができる。そのため、画像表示装置2000は、より適切な位置に画像I2を形成することができる。
【0177】
画像表示装置2000における表示装置1100と結像素子310aとの配置の関係は、第1の実施形態に係る画像表示装置1000にも適用することによって、同様の効果を得ることができる。また、画像表示装置2000における表示装置1100と結像素子310aとの配置の関係は、後述する第3~第5の実施形態に係る画像表示装置にも適用して、同様の効果を得ることができる。
【0178】
画像表示装置2000における複数の撮像部を設けることについても、第1、後述の第3、第5の実施形態に係る画像表示装置に適用して、同様の効果を得ることができるのは言うまでもない。なお、第4の実施形態に係る画像表示装置では、単一の検出部に複数の撮像部を含んでおり、詳細は後述する。
【0179】
(第3の実施形態)
図21は、第3の実施形態に係る画像表示装置を例示する模式的な断面図である。
図21に示すように、本実施形態に係る画像表示装置3000は、結像素子310aと、表示装置1100と、撮像部1432、1434と、制御部3410と、を備える。画像表示装置3000は、第1の実施形態に係る画像表示装置1000の制御部1410とは異なる制御部3410を備えている。他の点では、画像表示装置3000の構成要素は、第1の実施形態に係る画像表示装置1000の構成要素と同じであり、同一の構成要素には、同一の符号を付して詳細な説明を適宜省略する。
【0180】
表示装置1100、結像素子310aおよび制御部3410は、筐体1300内に配置される。制御部3410は、筐体1300内に配置された制御装置3400内に配置されている。制御部3410は、外部情報ソースMT1と通信可能に接続される。制御部3410は、外部情報ソースMT1から必要な情報を検索し、検索した情報を受信する。受信する情報は、将来、車両1が遭遇する環境に関する情報であり、たとえば、車両1の位置の情報、その位置を含む地図情報およびその位置における天候情報等である。
【0181】
制御部3410は、撮像部1434で生成された画像データにもとづいて、外景の光のパラメータを抽出する。制御部3410は、車両1の位置を含む地図情報および天候情報を用いて、外景の光のパラメータの変化を予測して、光のパラメータの補正値の算出に適用する。このようにフィードフォワード的に制御することによって、より柔軟に光のパラメータを補正することが可能になり、観測者O3はより自然な画像I3を観測することができる。
【0182】
本実施形態に係る画像表示装置3000の動作について説明する。画像表示装置3000は、以下で説明する制御システムにしたがって動作する。
図22は、第3の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
図22に示すように、画像表示装置3000の制御システム3001は、検出部1430と、制御部3410と、ユーザインタフェース1460と、を有する。制御部3410は、画像処理部1412と、位置制御部1414と、駆動部1420と、表示制御部3416と、を有する。画像処理部1412、位置制御部1414および駆動部1420は、第1の実施形態に係る画像表示装置1000の場合と同じであり、詳細な説明を省略する。検出部1430は、第1の実施形態に係る画像表示装置1000の検出部1430と同じであり、詳細な説明を省略する。なお、検出部1430に代えて、
図20に関連して説明した検出部2430を適用することができるのは、上述したとおりである。
【0183】
表示制御部3416および外部情報インタフェース3440は、通信可能に通信ネットワーク1500に接続されている。外部情報インタフェース3440は、外部情報ソースMT1と通信可能に接続されている。外部情報ソースMT1は、たとえば、車両1の現在の位置にもとづく地図情報および天候情報を提供するインタネットの情報源等である。車両1の現在の位置を示すために、外部情報ソースMT1は、GPS(Global Positioning System)による位置情報を利用する。
【0184】
外部情報インタフェース3440は、外部情報ソースMT1に適宜アクセスして、車両1の現在の位置を取得する。外部情報インタフェース3440は、外部情報ソースMT1から現在の車両1の位置を含む地図情報および天候情報を取得する。
【0185】
表示制御部3416は、外部情報インタフェース3440を介して取得した地図情報、天候情報および車両1の走行速度にもとづいて、時刻ごとの光のパラメータの基準値に対する補正値を演算する。
【0186】
たとえば、現在位置から何分後にトンネルに入ると予想される場合には、トンネルに入る所定時間前から周囲の明るさが暗くなるものとして、光のパラメータの基準値を補正する。このようにすることによって、実際の明るさの急変に対して、観測者O3が観測する画像I3の表示の明るさの変化に遅れが生じないようにしたり、フリッカとして観測しないように、なめらかに明るさを変化させたりすることができる。
【0187】
たとえば、トンネルの通過により山越えをする場合には、季節によっては、トンネル通過後に雪道による明るさの急激な変化が生じることもある。外部情報インタフェース3440を介して、天候情報を取得して、このような状況を想定した光のパラメータの基準値を補正することができる。
【0188】
図23は、第3の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
ステップS1~S7、S10の処理は、
図17に関連して説明した第1の実施形態に係る画像表示装置1000の制御システム1001の動作を同じであり、詳細な説明を省略する。
【0189】
図23に示すように、ステップS38において、表示制御部3416は、外部情報インタフェース3440を介して、外部情報ソースMT1から、現在の車両1の位置を含む地図情報および天候情報を取得する。
【0190】
ステップS39において、表示制御部3416は、車両1の速度、地図情報および天候情報にもとづいて、時刻ごとに光のパラメータの基準値の補正値を演算する。表示制御部3416は、演算した光のパラメータの基準値の補正値の時刻ごとの補正値に逐次適用して光のパラメータを補正する。
【0191】
上述の具体例では、表示制御部3416は、地図情報および天候情報の両方を取得して適用するものとしたが、いずれか一方を適用するようにしてもよい。
【0192】
本実施形態に係る画像表示装置3000の効果について説明する。
本実施形態に係る画像表示装置3000では、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。そのほか、制御部3410は、適時に外部情報ソースMT1にアクセスして、外部情報ソースMT1から、車両1の現在の位置における地図情報および天候情報のうち少なくとも一方を取得する。制御部3410は、車両1が走行する速度、取得した地図情報および天候情報にもとづいて、光のパラメータの基準値を補正する。光のパラメータの補正値は、時間変化をともなって演算されるので、画像I3の観測者O3は、観測者O3の周囲環境に応じて設定された、より自然な表示の画像I3を観測することができる。
【0193】
外部情報ソースMT1から光のパラメータに関する所定の情報を取得して、基準値の補正値に適用することは、第1、第2、第4、第5の実施形態に係る画像表示装置にも適用して同様の効果を得ることができる。
【0194】
(第4の実施形態)
図24は、第4の実施形態に係る画像表示装置を例示する模式的な断面図である。
図24に示すように、本実施形態に係る画像表示装置4000は、結像素子310と、表示装置1100と、検出部4430と、制御部1410と、を備える。画像表示装置4000は、第1の実施形態に係る画像表示装置1000の撮像部1432、1434とは異なる構成を有する検出部4430を備える点で画像表示装置1000の場合と相違する。画像表示装置4000は、第1の実施形態に係る画像表示装置1000の制御部1410とは異なる制御部4410を備える点で画像表示装置1000の場合と相違する。画像表示装置4000は、第1の実施形態に係る画像表示装置1000の結像素子310aとは異なる結像素子310を備える点で画像表示装置1000の場合と相違する。画像表示装置4000は、表示装置1100および結像素子310の配置が、画像表示装置1000の場合と相違する。他の点では、画像表示装置4000の構成要素は、画像表示装置1000の構成要素と同じであり、同一の構成要素には同一の符号を付して詳細な説明を適宜省略する。
【0195】
検出部(第4撮像部)4430は、観測者O4が観測している画像I4を撮像するように、観測者O1の上方かつ後方に配置される。検出部4430は、観測者O4の上方かつ後方から、車両1が進行する方向の外景も撮像する。検出部4430は、画像I4および車両1の外景を撮像し、画像I4の情報および車両1が進行する方向の外景の情報を含む画像データ(第4画像データ)D40を生成する。画像I4の情報は、画像I4が形成されている位置の情報および画像I4を形成する光のパラメータの情報である。車両1の外景の情報は、外景の光のパラメータの情報である。
【0196】
検出部4430は、たとえば、画像I4の情報および外景の情報を含む1つの画像データD40を生成して、制御部1410に送信する。制御部1410は、受信した画像データD40にもとづいて、画像I4の位置、画像I4の光のパラメータおよび外景の光のパラメータを検出し、抽出する。検出部4430は、画像I4および外景を同時に撮像できる広角レンズを有する1つのカメラである。
図24の破線は、このカメラの画角を表しており、この画角には、画像I4および車両1の進行方向の外景が含まれる。
【0197】
検出部4430は、複数のカメラを含んでもよい。たとえば、検出部4430は、画像I4を撮像する狭角レンズを有するカメラと、外景を撮像する広角レンズを有するカメラとを含み、これらのカメラは、たとえば一体のケースに収納され、観測者O4の上方かつ後方に配置される。また、広角レンズを有するカメラを用いる場合や、複数のカメラを用いる場合にも、車両1の内部の明るさに応じて、カメラの輝度に対する感度を切り替えるようにしてもよい。
【0198】
制御部4410は、表示装置1100に対して、画像I4の光のパラメータを校正する校正画像パターンを周期的に出力させ、空中に表示された校正画像パターンにもとづいて、画像I4の画質を判定する。制御部1410が周期的に画像I4の表示画質を判定することによって、観測者O4は、見やすい状態で画像I4を観測することができる。
【0199】
画像表示装置4000では、結像素子310、表示装置1100および制御部1410は、筐体4300内に配置されている。筐体4300には、開口が設けられ、筐体4300の開口には窓部材4320が配置されている。
【0200】
画像表示装置4000では、結像素子310が上述の他の実施形態の場合の結像素子310aと相違する。
図12Aおよび
図12Bに関連して説明したように、結像素子は、筐体内のスペースや画像表示装置の設置場所等に応じて、結像素子10、310、310aを適宜選択することができる。
【0201】
画像表示装置4000では、表示装置1100が結像素子310の直上に配置されている。そのため、表示装置1100が出射した光Lは、表示装置1100の下方に進行して結像素子310に照射される。結像素子310は、入射した光の一部を2面直交リフレクタ30で2回反射して、反射光Rを出射する。窓部材4320は、結像素子310で2回反射された反射光Rを透過する位置に配置される。
【0202】
結像素子310の2面直交リフレクタ30で1回だけ反射された光や2面直交リフレクタ30で反射されなかった光は、
図6に示した、隣り合うリフレクタ行22の間隔23から第2面311b側に抜けていく。したがって、結像素子310は、2回反射光以外の光を第1面311a側に出射することがない。本実施形態に係る画像表示装置4000では、光源となる表示装置1100が結像素子310の第1面311aの法線方向に配置されるので、結像素子310では、隣り合うリフレクタ行22の間隔23が設けられる。
【0203】
第2面311b側に抜けていく光は、筐体4300の内部で再度反射して迷光とならないように、この例では、筐体4300内の底面に遮光部材4310が配置されている。遮光部材4310は、筐体4300の内部の側壁面にも配置されている。遮光部材4310は、
図1に示した遮光部材1310と同様に、たとえば筐体4300の底面および壁面に形成された黒色の塗料の塗布膜であり得る。遮光部材4310は、筐体4300の構成材の厚さに比べて十分に薄いため、
図24では、筐体4300の内部の面として表されている。
【0204】
画像表示装置4000では、結像素子310は、入射した光Lの2回反射光Rのみを出射し、その他の光を第1面311a側に反射しない。そのため、
図14に関連して説明したように、結像素子310は、第1面311aの側に実像以外のゴースト画像が形成されることが低減される。
【0205】
本実施形態に係る画像表示装置4000の動作について説明する。
図25は、第4の実施形態に係る画像表示装置の動作を説明するためのブロック線図の例である。
図25に示すように、画像表示装置4000の制御システム4001は、検出部4430と、制御部4410と、ユーザインタフェース1460と、を有する。検出部4430は、広角レンズを有するカメラである。制御部4410は、画像処理部1412と、位置制御部1414と、駆動部1420と、表示制御部4416と、を有する。検出部4430、画像処理部1412、位置制御部1414、駆動部1420、表示制御部4416およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。
【0206】
検出部4430は、観測者O4が観測している画像I4の情報および車両1が進行する方向の外景の情報を含む画像データを生成し、画像処理部1412に送信する。画像処理部1412は、画像データを画像解析し、画像I4が形成されている位置を検出し、画像I4の光のパラメータおよび外景の光のパラメータを抽出する。
【0207】
図16に示した画像表示装置1000の制御システム1001の場合と同様に、位置制御部1414は、画像I4の基準位置と、画像データから検出された画像I4の位置と、の差分を演算し、差分が0に追従するように、駆動信号を生成する。位置制御部1414は、生成した駆動信号を駆動部1420に送信する。駆動部1420は、駆動信号にもとづいて、表示装置1100の位置および角度を調整する。
【0208】
表示制御部4416は、通常点灯信号DDP1および校正点灯信号DDP2を表示装置1100に送信する。通常点灯信号DDP1がアクティブの期間は、校正点灯信号DDP2がアクティブの期間とは重複しないように設定されている。表示装置1100は、通常点灯信号DDP1がアクティブの期間では、観測者O4が観測する画像I4を出力する。表示装置1100は、校正点灯信号DDP2がアクティブの期間では、あらかじめ設定された校正用画像パターンを出力する。
【0209】
通常点灯信号DDP1は、観測者O4が画像I4を観測するために、人間が視認できる十分な長さの期間にアクティブとされる。校正点灯信号DDP2は、観測者O4に視認されないように、人間が視認できる長さよりも十分に短い期間にアクティブとされる。
【0210】
表示制御部4416は、通常点灯信号DDP1および校正点灯信号DDP2のそれぞれがアクティブの期間にアクティブとなる撮像信号DCMを検出部4430に送信する。検出部4430は、撮像信号DCMがアクティブの期間に対象を撮像する。
【0211】
ユーザインタフェース1460は、第1の実施形態に係る画像表示装置1000の場合と同様であり、詳細な説明を省略する。
【0212】
図26は、第4の実施形態に係る画像表示装置の動作を説明するための模式的なタイミングチャートの例である。
図26の最上段の図は、通常点灯信号DDP1の時間変化を表している。
図26の2段目の図は、校正点灯信号DDP2の時間変化を表している。
図26の最下段の図は、撮像信号DCMの時間変化を表している。
通常点灯信号DDP1、校正点灯信号DDP2および撮像信号DCMは、いずれも
図26中にONと記載されている期間がアクティブの期間であり、OFFと記載されている期間が非アクティブの期間である。
【0213】
図26に示すように、通常点灯信号DDP1は、期間(第1期間)T1でアクティブとなる。通常点灯信号DDP1は、期間T1以外の期間で非アクティブである。校正点灯信号DDP2は、期間(第2期間)T2でアクティブとなる。校正点灯信号DDP2は、期間T2以外の期間で非アクティブである。期間T1は、期間T2と重複することはない。たとえば、通常点灯信号DDP1および校正点灯信号DDP2の周期は同じである。
【0214】
撮像信号DCMは、期間T3でアクティブとなる。
図26の例では、撮像信号DCMは、期間T3以外の期間では、非アクティブとなっている。撮像信号DCMは、通常点灯信号DDP1がアクティブの期間T1において画像I4を撮像し、校正点灯信号DDP2がアクティブの期間T2において校正画像パターンを撮像する。
図26の例では、撮像信号DCMの周期は、通常点灯信号DDP1および校正点灯信号DDP2の周期の1/2とされている。
【0215】
本実施形態に係る画像表示装置4000の効果について説明する。
本実施形態に係る画像表示装置4000では、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。そのほか、画像表示装置4000は、検出部4430を備えており、検出部4430を広角レンズを有するカメラとすることによって、画像表示装置4000が出力した画像I4の情報と車両1が進行する方向の外景の情報の両方を有する画像データを1つのカメラで生成することができる。
【0216】
画像表示装置4000では、表示制御部4416は、校正画像パターンを表示装置1100に表示させるように動作する。表示制御部4416は、校正画像パターンの情報を含む画像データにもとづいて、画像表示装置4000が出力する画像I4の画質を判定し、適切な画質となるように光のパラメータを調整する。そのため、観測者O4は、校正画像パターンによる画像I4の画質調整後に、より適切な画質の画像I4を観測することができる。
【0217】
画像表示装置4000では、校正画像パターンを用いた画質校正動作は、周期的に行うことができる。そのため、通常の画像I4を表示する動作において、周囲の明るさ等の環境の変化が生じても、観測者O4は、適切に調整された画質の画像I4を観測することができる。
【0218】
本実施形態に係る画像表示装置4000では、光源である表示装置1100は、結像素子310の直上に配置されている。結像素子310は、表示装置1100から出射された光Lの2回反射光のみを画像I4を形成するための反射光Rとして出射する。そのため、結像素子310は、画像I4以外に第1面311a側に虚像やゴーストとなるような光を放射することを低減できる。
【0219】
上述した第1~第3の実施形態に係る画像表示装置1000~3000および後述する第5の実施形態に係る画像表示装置に、表示装置と結像素子との配置の構成を適用してもよい。表示装置を結像素子の直上に配置することによって、結像素子の第1面側に虚像やゴーストとなる光が放射することを低減できるとの本実施形態に係る画像表示装置4000の場合と同様の効果を得ることができる。
【0220】
(第5の実施形態)
図27は、第5の実施形態に係る画像表示装置を例示する模式的な断面図である。
図27に示すように、本実施形態に係る画像表示装置5000は、結像素子310aと、表示装置1100と、撮像部1432、1434と、制御部5410と、検出部(第2検出部)5430と、を備える。画像表示装置5000は、第1の実施形態に係る画像表示装置1000の制御部1410とは異なる制御部5410を備える。画像表示装置1000は、検出部5430をさらに備える点で、第1の実施形態に係る画像表示装置1000と相違する。その他の点では、画像表示装置5000の構成要素は、画像表示装置1000の構成要素と同じであり、同一の構成要素には、同一の符号を付して詳細な説明を適宜省略する。
【0221】
検出部5430は、たとえば、カメラであり、観測者O5に対向する位置に配置されている。検出部5430では、観測者O5の少なくとも目および瞳の位置に関する情報を含むように撮像領域が設定される。
図27の例では、検出部5430は、筐体1300内に配置されている。検出部5430は、窓部材1320を介して観測者O5を撮像する。検出部5430は、画像I5を観測する観測者O5を撮像して、観測者O5の瞳の位置の情報を含む画像データ(第5画像データ)D50を生成し、制御部5410に送信する。
【0222】
検出部5430は、観測者O5の瞳の位置を検出するために、正面から観測者O5の画像を撮像することが好ましい。このような位置から観測者O5を撮像できれば、検出部5430は、筐体1300内に限らず、筐体1300の外部に配置してもよい。
【0223】
制御部5410は、画像データD50にもとづいて、観測者O5の瞳の位置を検出する。制御部5410は、観測者O5の瞳の位置と画像I5の位置との間の距離d1、d2を監視する。距離d2は、たとえば、観測者O5が画像I5を覗き込む動作をしたときの瞳の位置と画像I5の位置との距離である。距離d2は、距離d1よりも短い。制御部5410は、観測者O5の瞳の位置と画像I5の位置との間の距離が、あらかじめ設定されたしきい値よりも短いと判断した場合には、観測者O5のための保護動作を実行する。たとえば、
図27の距離d2がしきい値とされる。観測者O5のための保護動作は、たとえば、制御部5410が画像I5を形成する光の出力を低減させるように表示装置1100を制御する。観測者O5の瞳の位置が画像I5に近過ぎると、観測者O5の瞳に過大な光量が入射することによって、観測者O5の視力を一時的に低下させる可能性が懸念されるからである。
【0224】
本実施形態に係る画像表示装置5000の動作について説明する。
図28は、第5の実施形態に係る画像表示装置の制御システムを例示する模式的なブロック線図の例である。
図28に示すように、画像表示装置5000の制御システム5001は、検出部1430、5430と、制御部5410と、ユーザインタフェース1460と、を有する。検出部(第1検出部)1430は、撮像部1432、1434を含む。制御部5410は、画像処理部1412と、位置制御部1414と、駆動部1420と、表示制御部5416と、を有する。撮像部1432、1434、検出部(第2検出部)5430、画像処理部1412、位置制御部1414、駆動部1420、表示制御部5416およびユーザインタフェース1460は、通信ネットワーク1500を介して、通信可能に接続されている。
【0225】
撮像部1432、1434、画像処理部1412、位置制御部1414、駆動部1420およびユーザインタフェース1460の動作については、第1の実施形態に係る画像表示装置1000の場合と同じであり詳細な説明を省略する。
【0226】
図29は、第5の実施形態に係る画像表示装置の動作を説明するためのフローチャートの例である。
図29には、
図27および
図28に示した検出部5430および表示制御部5416により、観測者O5の瞳の位置と画像I5の形成位置との間の距離を監視して、観測者O5の保護動作を行う場合の一連の動作の例が示されている。
図29に示すように、ステップS51において、検出部5430は、観測者O5の画像を撮像し、観測者O5の瞳の位置の情報を含む画像データを生成する。検出部5430は、画像データを画像処理部1412に送信する。
【0227】
ステップS52において、画像処理部1412は、画像データを画像処理して、観測者O5の瞳の位置を検出する。画像処理部1412は、検出した瞳の位置の情報を表示制御部5416に送信する。
【0228】
ステップS53において、表示制御部5416は、瞳の位置と画像I5が形成されている位置との間の距離を演算する。画像I5が形成されている位置は、位置制御部1414が表示装置1100および結像素子310aを含む光路の演算により算出される。
【0229】
ステップS54において、表示制御部5416は、瞳の位置と画像I5の位置との間の距離をあらかじめ設定されたしきい値と比較する。表示制御部5416は、瞳の位置と画像I5の位置との間の距離がしきい値以上と判定した場合には、処理をステップS55に遷移させる。表示制御部5416は、瞳の位置と画像I5の位置との間の距離がしきい値よりも短いと判定した場合には、処理をステップS57に遷移させる。
【0230】
ステップS55において、表示制御部5416は、あらかじめ設定されている基準値を適用する。
【0231】
ステップS56において、表示制御部5416は、適用した基準値を表示装置1100に出力する。
【0232】
ステップS57において、表示制御部5416は、設定されている基準値を所定値まで低下させて適用する。なお、低下させる所定値は、固定値でもよいし、距離に応じて変化させてもよい。
【0233】
ステップS57では、光の出力の基準値を低下させることに限らず、他の方法で観測者O5を保護する動作を実行してもよい。たとえば、警告音声により観測者O5が画像I5に近づき過ぎていることを知らせる等してもよい。
【0234】
本実施形態に係る画像表示装置5000の効果について説明する。
本実施形態に係る画像表示装置5000は、第1の実施形態に係る画像表示装置1000と同様の効果を奏する。そのほか、画像表示装置5000は、検出部5430および制御部5410を備えることによって、観測者O5の瞳の位置を検出し、観測者O5が画像I5に近づき過ぎていないか監視することができる。制御部5410は、観測者O5の瞳の位置と画像I5の位置との距離を監視して、距離があらかじめ設定された距離よりも近い場合には、画像I5を形成するための光の出力を抑制、遮断したり、その他の警告動作を実行したりすることができる。そのため、観測者O5は、画像表示装置5000を利用して、空中に表示される画像I5を安全に観測することができる。
【0235】
上述した各実施形態においては、表示装置および結像素子のいずれか一方を6軸制御することとしたが、これに限らず、表示装置および結像素子の両方を6軸制御して、結像が形成される位置を変更してもよい。また、表示装置および結像素子のいずれかまたは両方を6軸制御によって、結像が形成される位置を変更する場合にも限らない。観測者が結像を見る位置や、結像が形成される位置がより限定的な範囲等である場合には、6軸制御のうちの一部の自由度での制御としてもよい。
【0236】
上述した各実施形態は、適宜組み合わせて適用することができる。
実施形態は、以下の態様を含む。
【0237】
(付記1)
結像により画像を形成する結像素子と、
前記画像を形成する光を前記結像素子に照射する光源と、
車両に設けられ、前記画像を観測する観測者の周囲情報を検出する第1検出部と、
前記周囲情報にもとづいて前記画像を形成する位置、前記光源が出射する光の出力、色度のうちの少なくとも1つを含む光のパラメータを制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面とが交差する直線と、前記第1方向および前記第1方向に交差する第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に離れるほど大きい値に設定された画像表示装置。
【0238】
(付記2)
結像により画像を形成する結像素子と、
前記画像を形成する光を、前記結像素子に照射する光源と、
車両に設けられ、前記画像を観測する観測者の周囲情報を検出する第1検出部と、
前記周囲情報にもとづいて前記画像を形成する位置、前記光源が出射する光の出力、色度のうちの少なくとも1つを含む光のパラメータを制御する制御部と、
を備え、
前記結像素子は、
第1面および前記第1面の反対側に位置する第2面を有する基材と、前記基材上に設けられたリフレクタアレイと、を含むか、第1面および前記第1面の反対側に位置する第2面を有する基材に設けられたリフレクタアレイと、を含み、
前記リフレクタアレイは、第1方向に沿って設けられた複数の2面直交リフレクタを含む複数のリフレクタ行を含み、
前記複数のリフレクタ行は、前記第1方向に交差する第2方向に互いに間隔をあけて平行に配列され、
前記複数の2面直交リフレクタは、前記第1面の側からの光を反射するように設けられた第1反射面と、前記第1反射面に直交するように設けられ、前記第1反射面からの反射光を前記第1面の側に反射するように設けられた第2反射面と、をそれぞれ含み、
前記複数のリフレクタ行のそれぞれでは、前記第1反射面と前記第2反射面が交差する直線と、前記第1方向および前記第2方向を含む仮想平面と、の間の角度は、0°よりも大きく、90°よりも小さい値に設定され、
前記第1反射面と前記仮想平面との間の角度は、45°よりも大きく、90°よりも小さい値に設定され、
前記複数のリフレクタ行は、前記複数のリフレクタ行のうち、前記直線と前記仮想平面との間の角度が、もっとも小さい値に設定された第1リフレクタ行を含み、
前記複数のリフレクタ行のうち、残りのリフレクタ行は、前記直線と前記仮想平面との間の角度が、前記第1リフレクタ行から前記第2方向に沿って一方向に離れるほど大きい値に設定された画像表示装置。
【0239】
(付記3)
前記第1検出部は、前記画像を含む第1画像データを取得する第1撮像部を含み、
前記制御部は、
前記第1画像データにもとづいて、前記画像の位置を検出し、前記画像の位置をあらかじめ設定された基準位置となるように前記画像の位置を制御し、
前記第1画像データにもとづいて、前記画像の画質を判定し、前記画像の画質をあらかじめ設定された基準画質となるように前記光のパラメータを制御する付記1または2に記載の画像表示装置。
【0240】
(付記4)
前記第1検出部は、前記第1撮像部とは異なる位置から前記画像を含む第2画像データを取得する第2撮像部を含み、
前記制御部は、前記第1画像データおよび前記第2画像データにもとづいて、前記画像の位置を検出する付記3記載の画像表示装置。
【0241】
(付記5)
前記第1検出部は、前記車両が進行する方向の外景を含む第3画像データを取得する第3撮像部を含み、
前記制御部は、前記第3画像データにもとづいて、前記光のパラメータを補正する付記1~4のいずれか1つに記載の画像表示装置。
【0242】
(付記6)
前記制御部は、前記車両の位置を含む地図情報または前記車両の位置における天気情報の少なくとも一方にもとづいて前記光のパラメータを補正する付記5記載の画像表示装置。
【0243】
(付記7)
前記第1検出部は、前記画像および前記車両よりも前方の景色の両方を含む第4画像データを取得する第4撮像部を含み、
前記制御部は、
前記第4画像データにもとづいて、前記画像の位置を検出し、前記画像の位置をあらかじめ設定された基準位置となるように前記画像の位置を制御し、
前記第4画像データにもとづいて、前記画像の画質をあらかじめ設定された基準画質となるように前記光のパラメータを制御する付記1または2に記載の画像表示装置。
【0244】
(付記8)
前記制御部は、第1期間において、前記観測者が認識できる映像を出力するように前記光源を制御し、第2期間において、前記基準画質として設定された校正用画像パターンの画像を出力するように前記光源を制御し、
前記第2期間において、前記第1画像データにもとづいて、前記画像の画質を判定し、前記画像の画質をあらかじめ設定された前記基準画質となるように前記光のパラメータを制御する付記3記載の画像表示装置。
【0245】
(付記9)
前記観測者の前方に配置され、前記観測者の瞳を含む第5画像データを取得する第2検出部をさらに備え、
前記制御部は、前記第5画像データにもとづいて、前記観測者の瞳の位置を検出し、
前記観測者の瞳の位置と前記画像の位置との距離が所定値よりも短い場合に、前記観測者を保護する処理を実行する付記1~8のいずれか1つに記載の画像表示装置。
【0246】
以上説明した実施形態によれば、簡素な構造で空中に画像を表示できる画像表示装置を実現することができる。
【0247】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明およびその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【0248】
10、310、310a…結像素子、12、312…基材、20…リフレクタアレイ、22…リフレクタ行、23…間隔、30…2面直交リフレクタ、31…第1反射面、32…第2反射面、1000、2000、3000、4000、5000…画像表示装置、1100…表示装置、1112、1112a…画素、1120、1120a…LED素子、1300、4300…筐体、1310、4310…遮光部材、1320、4320…窓部材、1410、2410、3410、4410、5410…制御部、1430、5430…検出部、1432、1434…撮像部、1460…ユーザインタフェース