(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明に係るヘッドアップディスプレイ装置について具体化した一実施形態について図面を参照しつつ詳細に説明する。
【0012】
先ず、本実施形態に係るヘッドアップディスプレイ装置(以下、HUDという)1の構成について
図1を用いて説明する。
図1は本実施形態に係るHUD1の車両2への設置態様を示した図である。
【0013】
図1に示すようにHUD1は、車両2のダッシュボード3内部に設置されており、内部にプロジェクタ4やプロジェクタ4からの映像が投射されるスクリーン5を有する。そして、スクリーン5に投射された映像を、後述のようにHUD1が備えるミラーやフレネルレンズを介し、更に運転席の前方のフロントウィンドウ6に反射させて車両2の乗員7に視認させるように構成されている。尚、スクリーン5に投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
【0014】
また、本実施形態のHUD1では、フロントウィンドウ6を反射して乗員7がスクリーン5に投射された映像を視認した場合に、乗員7にはフロントウィンドウ6の位置ではなく、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が虚像8として視認されるように構成される。尚、乗員7が視認できる虚像8はスクリーン5に投射された映像であるが、ミラーを介するので上下方向は反転する。また、フレネルレンズを介することによってサイズも変更する。
【0015】
ここで、虚像8を生成する位置、より具体的には乗員7から虚像8までの距離(以下、生成距離という)Lについては、HUD1が備えるミラーやフレネルレンズの形状や位置、光路に対するスクリーン5の位置等によって適宜設定することが可能である。特に、本実施形態では後述のようにスクリーン5の位置を光路に沿って前後方向に移動可能に構成する。その結果、生成距離Lを適宜変更することが可能となる。例えば生成距離Lを2.5m〜20mの間で変更することが可能である。
【0016】
また、車両2のフロントバンパの上方にはフロントカメラ9が設置される。ここで、フロントカメラ9は、例えばCCD等の固体撮像素子を用いたカメラにより構成され、光軸方向を乗員7の視線方向に向けて設置される。そして、乗員7側から虚像8が生成される位置を撮像する。より具体的にはHUD1によって虚像が生成可能な範囲を撮像するように光軸と撮像範囲が設計される。尚、HUD1は、後述のようにフロントカメラ9により撮像した撮像画像に基づいて虚像が生成される位置の周辺環境を特定し、乗員7が虚像8を視認し易いように虚像8の表示補正を行う。
【0017】
次に、
図2を用いてHUD1のより具体的な構成について説明する。
図2は、本実施形態に係るHUD1の内部構成を示した図である。
【0018】
図2に示すようにHUD1は、プロジェクタ4と、スクリーン5と、反射ミラー10と、ミラー11と、フレネルレンズ12と、制御回路部13と、CANインターフェース14とから基本的に構成されている。
【0019】
ここで、プロジェクタ4は光源としてLED光源やランプ光源を用いた映像投射装置であり、例えばDLPプロジェクタとする。尚、プロジェクタ4としては液晶プロジェクタやLCOSプロジェクタを用いても良い。
【0020】
図3はプロジェクタ4の構成を示した図である。
図3に示すようにプロジェクタ4は、内部に光源19を備えており、例えば単板式のDLPプロジェクタでは光源19から出力される光を不図示のカラーホイールに通過させた後にデジタルミラーデバイスで反射させ、投射レンズ15を通してスクリーン5へと映像を投射する。また、本実施形態に係るプロジェクタ4は、光源19の輝度を予め設定された範囲内で調整可能に構成されている。更に、投射する映像を構成する各ピクセルを表現する赤、緑、青の各要素の明度についても調整可能に構成されている。
【0021】
また、プロジェクタ4は映像を投射する為の投射レンズ15を備えているが、本実施形態では投射レンズ15は第1投射レンズ16と第2投射レンズ17の2つの投射レンズから構成され、それぞれ異なる映像を投射可能に構成する。
【0022】
図3に示すように第1投射レンズ16及び第2投射レンズ17は、一の円形状のレンズを上下方向に分割した分割形状を有する。更に、下方にある第2投射レンズ17は、光路に沿って前後方向に移動可能に構成されている。一方、第1投射レンズ16の位置は固定とする。具体的には、第2投射レンズ17の背面側にあるレンズ駆動モータ18を駆動させることによって、
図4に示すように第2投射レンズ17を光路に沿って前後方向に移動させることが可能となる。特に、本実施形態では、後述のようにスクリーン5を光路に沿って前後方向に移動させる場合において、第2投射レンズ17から投射される映像の焦点を移動後のスクリーン5の位置に一致させる為に、第2投射レンズ17も追従して移動させる構成とする。
【0023】
また、レンズ駆動モータ18はステッピングモータからなる。そして、HUD1は、制御回路部13から送信されるパルス信号に基づいてレンズ駆動モータ18を制御し、第2投射レンズ17の位置を設定位置に対して適切に位置決めすることが可能となる。
【0024】
また、スクリーン5は、プロジェクタ4から投射された映像が投射される被投射媒体であり、例えばすりガラス等の拡散板やマイクロレンズアレイ等からなる透過型スクリーンが用いられる。また、本実施形態ではスクリーン5は、第1スクリーン20と第2スクリーン21の2枚のスクリーンから構成される。ここで、
図5は第1スクリーン20と第2スクリーン21をそれぞれ示した図である。
【0025】
図5に示すように第1スクリーン20は、上方に映像が投射される被投射エリア22を有しており、通常時においては
図6に示すようにプロジェクタ4の第1投射レンズ16から投射された映像が表示される。一方、第2スクリーン21は、下方に映像が投射される被投射エリア23を有しており、通常時においては
図6に示すようにプロジェクタ4の第2投射レンズ17から投射された映像が表示される。即ち、プロジェクタ4による映像の投射範囲は第1スクリーン20と第2スクリーン21に跨って設定される。また、後述のように本実施形態では第1スクリーン20と第2スクリーン21は一体に光路に対して交差する方向に移動可能に構成されており、その結果、第1投射レンズ16から投射された映像の一部が第2スクリーン21に投射されたり、第2投射レンズ17から投射された映像の一部が第1スクリーン20に投射される場合もある(
図10参照)。
【0026】
また、第1スクリーン20と第2スクリーン21は、
図2及び
図6に示すように被投射エリア22、23が重ならないように、光路に沿って前後方向に所定間隔で並べて配置される。従って、本実施形態では虚像8は、第1スクリーン20に投射された映像の虚像(以下、第1虚像8Aという)と、第2スクリーン21に投射された映像の虚像(以下、第2虚像8Bという)から構成されることとなる。
【0027】
また、第2スクリーン21は、光路に沿って前後方向に移動可能に構成されている。一方、第1スクリーン20の位置は前後方向に対して固定とする。具体的には、第2スクリーン21の背面側にあるスクリーン前後駆動モータ24を駆動させることによって、
図7に示すように第1スクリーン20と第2スクリーン21との間の距離を変更し、第2スクリーン21を光路に沿って前後方向に移動させることが可能となる。その結果、第2スクリーン21に投射された映像の虚像である第2虚像8Bが生成される位置(具体的には乗員7から第2虚像8Bまでの距離である生成距離L2)を変更することが可能である。尚、生成距離L2は、ミラー11から第2スクリーン21までの距離に依存する。即ち、生成距離L2は、ミラー11から第2スクリーン21までの距離に応じて長短を変更される。例えば、ミラー11から第2スクリーン21までの距離が長くなると生成距離L2が長くなり、ミラー11から第2スクリーン21までの距離が短くなると生成距離L2が短くなる。
【0028】
例えば、第2スクリーン21をプロジェクタ4側(ミラー11までの距離が長くなる側)に移動させると、生成距離L2が長くなる(即ち、乗員7からはより遠くに第2虚像8Bが視認されるようになる)。一方、第2スクリーン21をプロジェクタ4と反対側(ミラー11までの距離が短くなる側)に移動させると、生成距離L2が短くなる(即ち、乗員7からはより近くに第2虚像8Bが視認されるようになる)。尚、第1スクリーン20の位置は前後方向に対して固定であるので、第1スクリーン20に投射された映像の虚像である第1虚像8Aが生成される位置(具体的には乗員7から第1虚像8Aまでの距離である生成距離L1)は固定である。即ち、生成距離L2を変更することによって、第1虚像8Aから第2虚像8Bまでの距離(|L2−L1|)が変更されることとなる。
【0029】
従って、仮に第1スクリーン20と第2スクリーン21が光路に沿ってミラー11から同距離にある場合には、車両2の前方の同位置に第1虚像8Aと第2虚像8Bが生成されることとなるが、第1スクリーン20と第2スクリーン21がミラー11から光路に沿って異なる距離にある場合には、
図8に示すように第1虚像8Aと第2虚像8Bとがそれぞれ異なる位置に生成されることとなる。また、
図5及び
図6に示すように、第1スクリーン20の被投射エリア22は、第2スクリーン21の被投射エリア23よりも上方に位置するように各スクリーンは配置されるが、ミラー11によって映像が上下反転されるので、光路に対して交差する方向を基準にして、第2虚像8Bが第1虚像8Aの上方に生成されることとなる。
【0030】
また、本実施形態では第1スクリーン20及び第2スクリーン21を、光路に交差する方向に一体に移動可能に構成されている。具体的には、第1スクリーン20の側面にあるスクリーン上下駆動モータ25を駆動させることによって、
図9に示すように第1スクリーン20と第2スクリーン21とスクリーン前後駆動モータ24とを一体に光路に交差する方向(より具体的には第1スクリーン20と第2スクリーン21の並び方向である鉛直方向)に移動させることが可能となる。その結果、
図10に示すように、第1スクリーン20と第2スクリーン21を対象としてプロジェクタ4からの映像を投射する第1投射態様と、第1スクリーン20のみを対象としてプロジェクタ4からの映像を投射する第2投射態様との間で、スクリーン5への画像の投射態様を切り換えることが可能となる。
【0031】
そして、HUD1は、投射態様が第1投射態様にある場合には、基本的に第1投射レンズ16と第2投射レンズ17とで異なる種類の映像(例えば、第1投射レンズ16では車両の現在車速の映像、第2投射レンズ17では案内情報や警告情報の映像)をそれぞれ各スクリーンに投射する。一方、投射態様が第2投射態様にある場合には、基本的に第1投射レンズ16と第2投射レンズ17とでそれぞれ投射された映像を組み合わせた一の映像(例えば、第1投射レンズ16ではテレビ画面の下半分の映像、第2投射レンズ17ではテレビ画面の上半分の映像)を第1スクリーン20に投射する。それによって、第2投射態様では、分割線の無いより大きいサイズの映像を虚像として生成することが可能となる。尚、第2投射態様であっても第1投射レンズ16と第2投射レンズ17とで異なる種類の映像を投射する構成とすることも可能である。
【0032】
また、スクリーン前後駆動モータ24及びスクリーン上下駆動モータ25はそれぞれステッピングモータからなる。そして、HUD1は、制御回路部13から送信されるパルス信号に基づいてスクリーン前後駆動モータ24を制御し、第2スクリーン21の前後位置を設定位置に対して適切に位置決めすることが可能となる。また、HUD1は、制御回路部13から送信されるパルス信号に基づいてスクリーン上下駆動モータ25を制御し、第1スクリーン20及び第2スクリーン21の上下位置を設定位置に対して適切に位置決めすることが可能となる。
【0033】
一方、反射ミラー10は、
図2に示すようにプロジェクタ4から投射された映像を反射して光路を変更し、スクリーン5へと投射する反射板である。
【0034】
また、ミラー11は、
図2に示すようにスクリーン5からの映像光を反射させ、フロントウィンドウ6を介してスクリーン5の映像を乗員7に視認させることにより、乗員7の前方に虚像8(
図1参照)を生成する虚像生成手段である。ミラー11としては、球面凹面鏡や、非球面凹面鏡、若しくは投影映像の歪みを補正するための自由曲面鏡が用いられる。尚、第1スクリーン20や第2スクリーン21に対して投射された映像は、反射ミラー10やミラー11によって反射されるので、生成される虚像は第1スクリーン20や第2スクリーン21に対して投射された映像と上下左右がそれぞれ反転した像となる。
【0035】
また、フレネルレンズ12は、
図2に示すようにスクリーン5に投射された映像を拡大して虚像8を生成する為の拡大鏡である。そして、本実施形態に係るHUD1では、スクリーン5に投射された映像を、ミラー11やフレネルレンズ12を介し、更にフロントウィンドウ6に反射させて乗員7に視認させることによって、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が拡大され、虚像8として乗員に視認される(
図1参照)。
【0036】
また、制御回路部13は、HUD1の全体の制御を行う電子制御ユニットである。ここで、
図11は本実施形態に係るHUD1の構成を示したブロック図である。
【0037】
図11に示すように制御回路部13は、演算装置及び制御装置としてのCPU31、並びにCPU31が各種の演算処理を行うにあたってワーキングメモリとして使用されるRAM32、制御用のプログラムのほか、後述の表示補正処理プログラム(
図12参照)等が記録されたROM33、ROM33から読み出したプログラムや後述の輝度設定テーブルを記憶するフラッシュメモリ34等の内部記憶装置を備えている。また、制御回路部13は、プロジェクタ4、レンズ駆動モータ18、スクリーン前後駆動モータ24、スクリーン上下駆動モータ25とそれぞれ接続され、プロジェクタ4や各種モータの駆動制御を行う。
【0038】
また、CAN(コントローラエリアネットワーク)インターフェース14は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるCANに対して、データの入出力を行うインターフェースである。そして、HUD1は、CANを介して、各種車載器や車両機器の制御装置(例えば、ナビゲーション装置48、AV装置49等)と相互通信可能に接続される。それによって、HUD1は、ナビゲーション装置48やAV装置49等の出力画面を投影可能に構成する。
【0039】
また、HUD1には、前述のフロントカメラ9に加えて照度センサ50についても接続されている。ここで、照度センサ50は車両の外壁に設置され、車両の周辺(即ち虚像が生成される位置)の照度を検出するセンサである。そして、HUD1は、後述のように照度センサ50の検出結果に基づいて虚像が生成される位置の周辺環境を特定し、乗員7が虚像8を視認し易いように虚像8の表示補正を行う。
【0040】
続いて、前記構成を有するHUD1においてCPU31が実行する表示補正処理プログラムについて
図12及び
図13に基づき説明する。
図12及び
図13は本実施形態に係る表示補正処理プログラムのフローチャートである。ここで、表示補正処理プログラムは車両のACCがオンされた後に実行され、乗員7から視認対象となる虚像8を生成するとともに、乗員7が虚像を視認し易いように虚像8の表示補正を行うプログラムである。以下の
図12及び
図13にフローチャートで示されるプログラムは、HUD1が備えているRAM32やROM33に記憶されており、CPU31により実行される。尚、以下の説明では、スクリーン5への画像の投射態様は常に第1投射態様(
図10)にあるとして説明する。
【0041】
先ず、表示補正処理プログラムではステップ(以下、Sと略記する)1において、CPU31は、HUD1により虚像を表示する条件を満たしたか否か判定する。ここで、HUD1により生成される虚像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。従って、前記S1では、上記いずれかの虚像を表示する条件を満たしたか否かが判定される。例えば、案内交差点から所定距離(例えば300m)以内に車両が接近した場合には、案内情報に関する虚像を表示する条件を満たしたと判定され、車両の前方に障害物(歩行者や他車両)が接近した場合には、障害物に対する警告に関する虚像を表示する条件を満たしたと判定される。
【0042】
そして、虚像を表示する条件を満たしたと判定された場合(S1:YES)には、S2へと移行する。それに対して、虚像を表示する条件を満たしていないと判定された場合(S1:NO)には、HUD1による虚像の生成を行うことなく当該表示補正処理プログラムを終了する。
【0043】
次に、S2においてCPU31は、車両に設置された照度センサ50の検出結果から虚像が生成される位置周辺の照度を取得する。尚、照度の検出は照度センサ50以外の手段を用いても良い。例えば、フロントカメラ9により撮像された画像から検出する構成としても良い。
【0044】
続いて、S3においてCPU31は、前記S2で取得された虚像が生成される位置周辺の照度が、所定の基準照度未満であるか否か判定する。ここで、後述のようにCPU31はプロジェクタ4の光源19の輝度が上限値に到達するまでは、前記S2で取得された照度が高い程、プロジェクタ4の光源19の輝度が高くなるように調整する(S4、S5)。そして、前記S3で判定基準となる基準照度は、プロジェクタ4の光源19の輝度が上限値に到達する照度とする(
図14参照)。
【0045】
そして、前記S2で取得された虚像が生成される位置周辺の照度が、所定の基準照度未満であると判定された場合(S3:YES)には、S4へと移行する。それに対して、前記S2で取得された虚像が生成される位置周辺の照度が、所定の基準照度以上であると判定された場合(S3:NO)には、S8へと移行する。
【0046】
S4においてCPU31は、フラッシュメモリ34から輝度設定テーブルを読み出し、前記S2で取得された照度に対応するプロジェクタ4の光源19の輝度を特定する。ここで、輝度設定テーブルは、虚像が生成される位置周辺の照度とプロジェクタ4の光源19の輝度との対応関係が規定されたテーブルであり、虚像が生成される位置周辺の照度に対して、車両の乗員から生成された虚像が最も見易くなる輝度が規定される。具体的には、
図14に示すように虚像が生成される位置周辺の照度が高い程、プロジェクタ4の光源19の輝度が高くなるように規定する。尚、虚像が生成される位置周辺の照度が基準照度以上の場合には、後述のようにプロジェクタ4の光源19の輝度は上限値が設定されることとなる(S8)。また、
図14に示す例では、虚像が生成される位置周辺の照度とプロジェクタ4の光源19の輝度とは直線状の正比例の対応関係となっているが、指数曲線を描く対応関係としても良い。
【0047】
その後、S5においてCPU31は、プロジェクタ4へと信号を送信し、前記S4で特定された輝度にプロジェクタ4の光源19の輝度を設定する。その結果、虚像が生成される位置周辺の照度が高い場合でも、照度に応じた輝度で虚像を表示することが可能であり、乗員に生成された虚像を明確に視認させることが可能となる。
【0048】
続いて、S6においてCPU31は、プロジェクタ4へと信号を送信し、前記S4で設定された光源19の輝度で、プロジェクタ4による第1スクリーン20及び第2スクリーン21への映像の投射を開始する。例えば、案内交差点等の走行案内を行う必要がある地点が接近した状況では走行案内情報(案内交差点の右左折を示す矢印や車線変更を示す矢印等)に関する映像を投射する。また、割り込み車両等の障害物が車両の前方に新たに出現した状況では障害物への警告情報(障害物を囲む枠等)に関する映像を投射する。また、本実施形態に係るHUD1では、前述したように第2スクリーン21の位置を光路に沿って移動させることによって、第2スクリーン21に基づいて生成される第2虚像8Bの位置(具体的には車両の乗員7から第2虚像8Bまでの距離である生成距離L2)を変更することが可能である。
【0049】
例えば、
図15に示すように右左折対象となる交差点60が接近し、第2虚像8Bとして右左折を示す案内矢印を表示する場合について説明する。先ず、乗員7から右左折対象となる交差点60までの距離をナビゲーション装置から取得した車両位置や地図情報に基づいて算出し、算出した距離を生成距離L2に設定する。本実施形態に係るHUD1は、前記したように第2スクリーン21を光路に沿って前後方向に移動させることによって生成距離L2を変更することが可能である(
図7参照)。従って、CPU31は乗員7から生成距離L2だけ離れた位置に第2虚像8Bが生成されるように第2スクリーン21の位置を制御する。その結果、第2虚像8Bが生成される位置は、乗員7から設定された生成距離L2前方の位置(
図15に示す例では左折対象となる交差点60の位置)となる。従って、乗員7が視認する前方の風景と第2虚像8Bの位置を対応させることが可能となり、乗員7は、第2虚像8Bを視認する際にも視線移動を極力少なくすることが可能である。また、
図15に示すように交差点が複数ある場合でも右左折対象となる交差点を容易に識別することが可能となる。尚、その後に車両が移動することによって乗員7から右左折対象となる交差点までの距離が変化すれば、それに伴って生成距離L2も変更するように構成する。
【0050】
その後、S7においてCPU31は、虚像の表示を終了する条件を満たしたか否か判定する。尚、虚像の表示を終了する条件は、表示対象となる虚像の種類によって異なる。例えば、案内交差点の案内情報(右左折方向を示す矢印等)を示す虚像については、車両が案内交差点を通過すると虚像の表示を終了する条件を満たしたと判定される。また、障害物に対する警告を示す虚像については、虚像を表示してから所定時間経過した場合、又は該当する障害物が車両から離れた場合に虚像の表示を終了する条件を満たしたと判定する。
【0051】
そして、虚像の表示を終了する条件を満たしたと判定された場合(S7:YES)には、HUD1による虚像の生成を終了する。それに対して、虚像の表示を終了する条件を満たしていないと判定された場合(S7:NO)には、S2へと戻り、継続してHUD1による虚像の生成を行う。尚、虚像の表示開始後に周辺環境(照度等)が変われば、それに応じてS2以降の処理により表示中の虚像の表示補正が行われる。
【0052】
一方、S8においてCPU31は、プロジェクタ4へと信号を送信し、設定可能な上限値にプロジェクタ4の光源19の輝度を設定する。
【0053】
次に、S9においてCPU31は、フロントカメラ9の撮像画像を取得する。尚、フロントカメラ9は、
図1に示すように乗員7側から虚像が生成される位置(より具体的にはHUD1によって虚像が生成可能な範囲)を撮像するように光軸と撮像範囲が設計されている。
【0054】
続いて、S10においてCPU31は、前記S9で取得したフロントカメラ9の撮像画像から、該撮像画像を構成する各ピクセルの輝度成分を抽出する。
【0055】
そして、S11においてCPU31は、前記S10において取得された輝度成分の平均値を算出する。尚、前記S11で算出された輝度成分の平均値はフラッシュメモリ34等に格納される。
【0056】
その後、S12においてCPU31は、前記S9で取得したフロントカメラ9の撮像画像から、該撮像画像を構成する各ピクセルを表現するR(赤)、G(緑)、B(青)の各要素(以下、色成分という)の明度を抽出する。
【0057】
続いて、S13においてCPU31は、前記S12において取得された各色成分の明度の内、撮像画像において最も明度が高い色成分をR(赤)、G(緑)、B(青)の内から特定する。具体的には、撮像画像内の各色成分の明度の平均値を算出し、最も平均値が高い色成分を特定する。尚、前記S13で特定された色成分はフラッシュメモリ34等に格納される。
【0058】
次に、S14においてCPU31は、前記S11で算出された撮像画像の輝度成分の平均値が、所定の閾値以上であるか否かを判定する。尚、前記S14で判定基準となる閾値は、車両周辺の太陽による照り返しが特に強く、通常の表示補正では乗員7から虚像が視認できない状態となる輝度の下限値とする。また、閾値は、基本的に照度センサ50により検出された照度が基準照度の場合においてフロントカメラ9により撮像された撮像画像の輝度よりも高い値とする。
【0059】
そして、前記S11で算出された撮像画像の輝度成分の平均値が、所定の閾値以上であると判定された場合(S14:YES)には、S22へと移行する。それに対して、前記S11で算出された撮像画像の輝度成分の平均値が、所定の閾値未満であると判定された場合(S14:NO)には、S15へと移行する。
【0060】
S15においてCPU31は、前記S13で特定された撮像画像において最も明度が高い色成分が、R(赤)であるか否か判定する。
【0061】
そして、撮像画像において最も明度が高い色成分がR(赤)であると判定された場合(S15:YES)には、S16へと移行する。それに対して、撮像画像において最も明度が高い色成分がR(赤)以外であると判定された場合(S15:NO)には、S17へと移行する。
【0062】
S16においてCPU31は、プロジェクタ4へと信号を送信し、撮像画像において最も明度が高いと判定された色成分以外の色成分であるG(緑)、B(青)について投射映像の明度が高くなるように調整する。具体的には、G(緑)、B(青)については投射映像の明度が最大値となるように設定する。その結果、虚像が生成される位置周辺の照度が特に高い場合でも、乗員が、重畳する背景から虚像を識別し易い色成分(緑や青が強い色彩)で虚像を表示することができ、乗員に生成された虚像を明確に視認させることが可能となる。その後、S20へと移行する。
【0063】
また、S17においてCPU31は、前記S13で特定された撮像画像において最も明度が高い色成分が、G(緑)であるか否か判定する。
【0064】
そして、撮像画像において最も明度が高い色成分がG(緑)であると判定された場合(S17:YES)には、S18へと移行する。それに対して、撮像画像において最も明度が高い色成分がG(緑)でもない、即ちB(青)であると判定された場合(S17:NO)には、S19へと移行する。
【0065】
S18においてCPU31は、プロジェクタ4へと信号を送信し、撮像画像において最も明度が高いと判定された色成分以外の色成分であるR(赤)、B(青)について投射映像の明度が高くなるように調整する。具体的には、R(赤)、B(青)については投射映像の明度が最大値となるように設定する。その結果、虚像が生成される位置周辺の照度が特に高い場合でも、乗員が、重畳する背景から虚像を識別し易い色成分(赤や青が強い色彩)で虚像を表示することができ、乗員に生成された虚像を明確に視認させることが可能となる。その後、S20へと移行する。
【0066】
一方、S19においてCPU31は、プロジェクタ4へと信号を送信し、撮像画像において最も明度が高いと判定された色成分以外の色成分であるR(赤)、G(緑)について投射映像の明度が高くなるように調整する。具体的には、R(赤)、G(緑)については投射映像の明度が最大値となるように設定する。その結果、虚像が生成される位置周辺の照度が特に高い場合でも、乗員が、重畳する背景から虚像を識別し易い色成分(赤や緑が強い色彩)で虚像を表示することができ、乗員に生成された虚像を明確に視認させることが可能となる。その後、S20へと移行する。
【0067】
S20においてCPU31は、プロジェクタ4へと信号を送信し、上限値に設定された光源19の輝度、且つ前記S16、S18、S19で設定された色成分の明度で、プロジェクタ4による第1スクリーン20及び第2スクリーン21への映像の投射を開始する。尚、詳細はS6と同様であるので説明は省略する。
【0068】
その後、S21においてCPU31は、虚像の表示を終了する条件を満たしたか否か判定する。
【0069】
そして、虚像の表示を終了する条件を満たしたと判定された場合(S21:YES)には、HUD1による虚像の生成を終了する。それに対して、虚像の表示を終了する条件を満たしていないと判定された場合(S21:NO)には、S2へと戻り、継続してHUD1による虚像の生成を行う。尚、虚像の表示開始後に周辺環境(照度等)が変われば、それに応じてS2以降の処理により表示中の虚像の表示補正が行われる。
【0070】
一方、S22においてCPU31は、プロジェクタ4へと信号を送信し、投射映像を構成する各ピクセルを表現する各色成分の明度を2値化処理することによって、投射映像を白又は黒のピクセルのみで構成するように調整する。即ち、R(赤)、G(緑)、B(青)の明度を全て最大値としたピクセルは白となり、R(赤)、G(緑)、B(青)の明度を全て最小値としたピクセルは黒となる。尚、2値化処理する際の閾値の決定には、例えば判別識別法、モード法、Kittler法、3σ法、p−タイル法等を用いる。
【0071】
その後、S20においてCPU31は、プロジェクタ4へと信号を送信し、上限値に設定された光源19の輝度、且つ前記S22で2値化処理された色成分の明度で、プロジェクタ4による第1スクリーン20及び第2スクリーン21への映像の投射を開始する。その結果、
図17に示すように第1虚像8A及び第2虚像8Bは、白又は黒の2階調で表示される。従って、虚像が生成される位置周辺の照度が特に高く、通常の表示補正では乗員7から虚像が視認できない場合であっても、乗員が最も識別し易い白と黒の2階調で虚像を表示することができ、乗員に生成された虚像を適切に視認させることが可能となる。その後、S21へと移行し、前述したように虚像の表示を終了する条件を満たしたか否か判定される。
【0072】
以上詳細に説明した通り、本実施形態に係るHUD1によれば、プロジェクタ4から、第1投射レンズ16及び第2投射レンズ17を介して夫々映像を第1スクリーン20及び第2スクリーン21に投射し、第1スクリーン20及び第2スクリーン21に投射された映像を車両2のフロントウィンドウ6に反射させて車両の乗員7に視認させることによって、車両の乗員7が視認する映像の虚像を生成する。また、虚像を生成する際には虚像が生成される位置の周辺環境を取得し(S2、S9〜S13)、取得された周辺環境に基づいて、プロジェクタ4の光源19の輝度及び投射する映像の各色成分(R(赤)、G(緑)、B(青))の明度の調整を行う(S5、S8、S16、S18、S19、S22)ので、従来に比べてより広い範囲で虚像の表示補正を行うことが可能となる。その結果、周辺環境に関わらずユーザに明確に虚像を視認させることが可能となる。特に虚像が生成される位置が太陽の強い照り返し等によって極めて明るい状態にあっても、生成された虚像をユーザに適切に視認させることが可能となる。
【0073】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではHUD1によって車両2のフロントウィンドウ6の前方に虚像を生成する構成としているが、フロントウィンドウ6以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD1により映像を反射させる対象はフロントウィンドウ6自身ではなくフロントウィンドウ6の周辺に設置されたバイザー(コンバイナー)であっても良い。
【0074】
また、本実施形態では車両2に対してHUD1を設置する構成としているが、車両2以外の移動体に設置する構成としても良い。例えば、船舶や航空機等に対して設置することも可能である。また、アミューズメント施設に設置されるライド型アトラクションに設置しても良い。その場合には、ライドの周囲に虚像を生成し、ライドの乗員に対して虚像を視認させることが可能となる。
【0075】
また、本実施形態で実施される表示補正処理プログラム(
図12)の内、S14〜S19の処理を実施せず、照度センサ50で検出された照度が基準照度以上の場合(S3:NO)には常にS22の処理を行う構成としても良い。或いは、S14、S22の処理を実施せず、照度センサ50で検出された照度が基準照度以上の場合(S3:NO)には常にS15〜S19の処理を行う構成としても良い。
【0076】
また、本実施形態の表示補正処理プログラム(
図12)のS16、S18、S19では、撮像画像において最も明度が高いと判定された色成分以外の色成分について投射映像の明度が最大値となるように調整しているが、必ずしも最大値まで高くする必要はない。例えば50%高くするように構成しても良い。
【0077】
また、本実施形態では第2スクリーンの可動範囲を、生成距離L2が2.5m〜20mの間で変位するように設定しているが、生成距離L2の下限や上限は適宜変更することが可能である。
【0078】
また、本実施形態では、第2スクリーン21のみを光路に沿って前後方向に移動可能に構成しているが、第1スクリーン20についても移動可能に構成しても良い。同様に、第1投射レンズ16についても移動可能に構成しても良い。一方で、第1スクリーン20と第2スクリーン21を共に位置が固定された固定スクリーンとしても良い。また、第2スクリーン21のみを光路に沿って前後方向に移動可能に構成し、第2投射レンズ17については位置を固定する構成としても良い。
【0079】
また、本実施形態では、スクリーンを第1スクリーン20と第2スクリーン21の2枚のスクリーンから構成し、プロジェクタ4のレンズを第1投射レンズ16と第2投射レンズ17の2つのレンズから構成しているが、スクリーンとレンズの数は1対又は3対以上としても良い。また、プロジェクタ4の光源としてはLED以外に、ランプやレーザを用いても良い。
【0080】
また、本発明に係るヘッドアップディスプレイ装置を具体化した実施例について上記に説明したが、ヘッドアップディスプレイ装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
【0081】
例えば、第1の構成は以下のとおりである。
スクリーンと、光源から出力される光に基づいて生成される映像を前記スクリーンに投射するプロジェクタと、前記スクリーンに投射された前記映像から前記映像の虚像を生成する虚像生成手段と、前記光源の輝度を調整する光源調整手段と、前記映像を構成する各ピクセルを表現する赤、緑、青の各要素の明度を調整するRGB調整手段と、前記虚像が生成される位置の周辺環境を取得する環境取得手段と、を有し、前記光源調整手段及び前記RGB調整手段は、前記環境取得手段により取得された周辺環境に基づいて、前記光源の輝度及び前記各要素の明度の調整を行うことを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、虚像が生成される位置の周辺環境に基づいて、光源の輝度に加えて映像を構成する各ピクセルを表現する赤、緑、青の各要素の明度についても調整するので、従来に比べてより広い範囲で虚像の表示補正を行うことが可能となる。その結果、周辺環境に関わらずユーザに明確に虚像を視認させることが可能となる。特に虚像が生成される位置が太陽の強い照り返し等によって極めて明るい状態にあっても、生成された虚像をユーザに適切に視認させることが可能となる。
【0082】
また、第2の構成は以下のとおりである。
前記環境取得手段は、前記周辺環境として照度を取得し、前記光源調整手段は、前記環境取得手段により取得された照度が高い程、前記光源の輝度が高くなるように調整することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、虚像が生成される位置周辺の照度が高い場合でも、照度に応じた輝度で虚像を表示することが可能であり、ユーザに生成された虚像を明確に視認させることが可能となる。
【0083】
また、第3の構成は以下のとおりである。
前記光源調整手段は、前記光源の輝度が上限値に到達するまでは、前記環境取得手段により取得された照度が高い程、前記光源の輝度が高くなるように調整し、前記環境取得手段により取得された照度が、前記光源の輝度が上限値に到達する照度である基準照度以上の場合には、前記光源の輝度が上限値となるように調整し、前記RGB調整手段は、前記環境取得手段により取得された照度が前記基準照度未満である場合には、各要素の明度を調整せず、前記環境取得手段により取得された照度が前記基準照度以上である場合に、前記環境取得手段により取得された周辺環境に基づいて各要素の明度を調整することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、虚像が生成される位置周辺の照度が特に高い場合でも、映像を構成する各ピクセルを表現する赤、緑、青の各要素の明度を調整することによって、ユーザが重畳する背景から虚像を識別し易くなるように虚像の表示色を補正することが可能となる。その結果、ユーザに生成された虚像を明確に視認させることが可能となる。
【0084】
また、第4の構成は以下のとおりである。
前記環境取得手段は、前記周辺環境として前記虚像を視認するユーザ側から前記虚像が生成される位置を撮像した撮像画像について、該撮像画像を構成する各ピクセルを表現する赤、緑、青の各要素の明度を取得し、前記RGB調整手段は、前記環境取得手段により取得された各要素の明度に基づいて、前記撮像画像において最も明度が高い要素を特定し、前記映像を構成する各ピクセルを表現する各要素の内、前記特定された要素以外の2色の要素についてより明度を高くなるように調整することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、虚像が生成される位置周辺の照度が特に高い場合でも、ユーザが重畳する背景から虚像を識別し易い色成分で虚像を表示することができ、ユーザに生成された虚像を明確に視認させることが可能となる。
【0085】
また、第5の構成は以下のとおりである。
前記環境取得手段は、前記周辺環境として前記虚像を視認するユーザ側から前記虚像が生成される位置を撮像した撮像画像の輝度を取得し、前記RGB調整手段は、前記環境取得手段により取得された前記撮像画像の輝度が閾値以上の場合に、前記映像を構成する各ピクセルを表現する各要素の明度を2値化処理することによって前記映像を白又は黒のピクセルで構成するように調整することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、虚像が生成される位置周辺の照度が特に高く、通常の表示補正ではユーザから虚像が視認できない場合であっても、ユーザが最も識別し易い白と黒の2階調で虚像を表示することができ、ユーザに生成された虚像を視認させることが可能となる。