【実施例】
【0015】
次に、本発明の実施例について説明する。
図1は、第1の実施例に係る投射表示装置(HUD)の構成例を示すブロック図である。投射表示装置100は、視線検出部110、画像データ生成部120、照明光学系130、投射光学系140、光変調部150、外部インターフェース(I/F)160、記憶部170、および制御部180を含んで構成される。但し、ここに示す構成は、一例である。
【0016】
視線検出部100は、運転者の視線方向を検出する。視線検出部110は、例えば、車内の空間において運転者の顔を撮像する撮像カメラを含み、撮像カメラからの撮像データから運転者の眼球の動きを検出する。撮像カメラの取付け位置は、例えば、ルームミラー、ハンドル、アームレストなどである。視線検出部110は、検出結果を制御部180等に提供する。
【0017】
画像データ生成部120は、投射表示装置によって投射される画像データを生成する。画像データ生成部120は、例えば、ナビゲーションに関する画像データ、オーディオ再生に関する画像データなどを生成する。より具体的には、画像データ生成部120は、
図9で説明したように、運転者に提示すべき種々の案内画像Pを含む画像データを生成する。さらに画像データ生成部120は、後述するように、制御部180によって案内画像の表示位置の変更を指示されたとき、案内画像Pの位置が変更されるように画像データを変更する。
【0018】
光変調部150は、例えば、DMD(Digital Mirror Device)あるいは液晶素子のような光変調素子を含み、画像データ生成部120によって生成された画像データに従い照明光学系130から照射された光を空間変調し、空間変調された光を投射光学系140へ提供する。投射光学系140は、車両のフロントガラスまたはそこに設置された透明なスクリーン上に画像を結像する。
【0019】
外部インターフェース160は、外部との電気的な接続を可能にする。好ましい例では、外部インターフェース160は、例えば、車内バスなどを介して、車両の状態に関する情報を取得する。車両の状態に関する情報とは、車両の速度に関する情報、車両のパーキングブレーキのオン/オフ情報、ウィンカー情報、車両の周囲の明るさを検知する照度センサの出力情報などである。取得された車両の状態に関する情報は、制御部180へ提供される。
【0020】
記憶部170は、投射表示装置によって投射される画像データや、制御部180によって実行可能なプログラムなどを記憶することができる。制御部180は、好ましい態様では、ROM、RAMなどを含むマイクロコントローラ等から構成され、ROMまたはRAMは、投射表示装置100の投射表示を制御するためのプログラムを格納することができる。第1の実施例では、制御部180は、投射表示を制御するための投射表示プログラムを実行する。
【0021】
図2に、投射表示プログラム200の機能的な構成例を示す。本実施例に係る投射表示プログラム200は、走行判定部210、視線方向取得部220、視線方向移動判定部230、案内画像重複判定部240および案内画像位置決定部250を含んで構成される。
【0022】
走行判定部210は、外部インターフェース160から取得された車両に関する情報、例えば、車速情報やパーキングブレーキ情報に基づき、投射表示装置100を搭載した車両が走行中であるか否かを判定する。走行判定部210は、例えば、速度が一定以上であるとき、走行中と判定したり、パーキングブレーキがオンであるとき、車両が停止していると判定する。
【0023】
視線方向取得部220は、視線検出部110の検出結果を取得する。視線方向移動判定部230は、取得された視線方向に基づき運転者の視線方向が移動されたか否かを判定する。運転者の視線方向は、常に一定ではなく、走行中、瞬時に周囲の安全確認のために変化する。例えば、直進道路を走行中、運転者の視線方向は、常にフロントガラスの中央部分に向けられるのではなく、周辺部分へも向けられる。通常の走行中の視線方向の変化と、運転者が特定の方向の安全確認(交差点での右左折など)のための視線方向の変化とを区別するため、視線方向移動判定部230は、好ましくは、運転者の視線方向の変化が一定角度以上であり、かつその変化した状態が一定時間継続されたとき、視線方向に移動があったと判定することができる。
【0024】
図3(A)は、視線方向とフロントガラスとの関係を模式的に表した図である。1つの例として、運転者の視線方向の基準方向が予め設定され、これとの比較において視線方向の移動があったか否かを判定する。
図3(A)に示すように、フロントガラス300を概ねXY平面とし、例えば、その中心線(X/2の位置)が基準方向Cに設定される。好ましくは、基準方向Kは、運転者が直進道路を走行するときに頻繁に向けられる視線方向である。運転者の視線方向が基準方向Kに対してどれくらい離れているか否かは、運転者の顔を撮像する撮像カメラの設置位置等から算出することが可能である。視線方向移動判定部230は、基準方向Kと検出された視線方向Sa/Sbとを比較し、基準方向Kに対して視線方向Saが閾値θaより大きい角度であるとき、または検出された視線方向Sbが閾値θbより大きい角度であるとき、運転者の視線方向に移動が生じたと判定する。つまり、運転者は、特定の方向の安全確認をするために意図的に視線を移動させたものと判定する。視線方向移動判定部230は、視線方向に移動があったと判定した場合には、移動された視線方向Sa/Sbを案内画像重複判定部240へ提供する。
【0025】
案内画像重複判定部240は、視線方向移動判定部230により視線方向の移動があったと判定されたとき、移動された視線方向Sa/Sbが案内画像Pと重複する位置関係にあるか否かを判定する。
図3(B)に案内画像の重複判定の一例を示す。視線方向Saが基準方向Kから角度θaだけ移動され、フロントガラス300上に、ナビゲーションの状況を表す1つまたは複数の案内画像P1、P2、P3、P4が表示されるものと仮定する。案内画像重複判定部240は、案内画像P1、P2、P3、P4のX、Y座標から案内画像P1、P2、P3、P4が基準方向Kと成す角度θ
p1、θ
p2、θ
p3、θ
p4を算出する(図には、角度θ
p1、θ
p2のみが示されている)。例えば、案内画像P1が矩形状であるとき、案内画像P1の4つのコーナーの座標から中心の座標を求め、当該中心の座標が基準方向Kと成す角度θ
p1を算出することができる。あるいは、案内画像P1に含まれる任意の座標を代表座標に使用し、当該代表座標が基準方向Kとなす角度θ
p1を算出するようにしてもよい。
【0026】
案内画像重複判定部240は、案内画像P1、P2、P3、P4のそれぞれの成す角度θ
p1、θ
p2、θ
p3、θ
p4と、視線方向Saの成す角度θaとを比較し、両者の差分(θp−θa)が一定以下であれば、案内画像と視線方向Saとが重複すると判定する。図の例では、案内画像P1、P2が視線方向Saに重複すると判定され、案内画像P3、P4は、重複しないと判定される。
【0027】
案内画像位置決定部250は、案内画像重複判定部240の判定結果に基づき、案内画像の表示位置を変更する。すなわち、案内画像重複判定部240により、案内画像が視線方向と重複すると判定された場合、案内画像位置決定部250は、重複すると判定された案内画像の表示位置を視線方向と重複しない位置に変更する。案内画像の表示位置の変更方法は、任意であるが、1つの例では、案内画像が視線方向と重複すると判定された場合には、基準方向Kに関して線対称となるような位置に案内画像の表示位置を変更することができる。例えば、
図3(B)の例では、案内画像P1、P2が視線方向Saと重複すると判定されたとき、基準方向Kに対して線対称となる位置(図中、破線で示す)に、案内画像P1、P2の位置が変更される。また、他の方法では、少なくとも1つの案内画像が重複すると判定された場合には、すべての案内画像の表示位置が変更されるようにしてもよい。
図3(B)の例であれば、案内画像P1、P2が重複すると判定された場合に、案内画像P1、P2、P3、P4のすべての表示位置を、視線方向Saと重複しない位置に変更するようにしてもよい。例えば、案内画像P1、P2、P3、P4は、基準方向Kに対して線対称となる位置に変更される。さらに他の方法では、案内画像位置決定部250は、視線方向Saと重複する範囲を表示禁止領域に設定し、これ以外の領域に案内画像の表示位置を変更するようにしてもよい。
【0028】
案内画像位置決定部250により案内画像の表示位置の変更が決定されると、制御部180は、画像データ生成部120に画像データの変更を指示する。画像データ生成部120は、案内画像位置決定部250の決定に従い、視線方向と重複すると判定された案内画像の表示位置が、視線方向と異なる位置に表示されるように画像データを変更する。仮に、
図3(B)に示すような案内画像P1〜P4のすべての表示位置を変更するのであれば、画像データ生成部120は、画像データの左右が反転されるような処理を実施し、案内画像P1〜P4を基準方向Kに関して線対称の位置に一括して変更させることができる。
【0029】
次に、本実施例の投射表示装置の動作について説明する。
図4は、本実施例に係る投射表示装置の表示動作を示すフローである。ここでは、投射表示装置100によって既に1つ以上の案内画像が表示されているものとする。先ず、走行判定部210によって走行中か否かが判定される(S100)。走行中であると判定された場合、視線方向取得部220によって視線検出部110からの視線方向が取得される(S102)。次に、視線方向移動判定部230によって、視線方向に移動が生じたか否かが判定される(S104)。つまり、走行中、視線方向の移動の判定が継続的に行われる。視線方向に移動が生じたと判定された場合、案内画像重複判定部240によって、移動された視線方向と案内画像とが重複するか否かが判定される(S106)。案内画像重複判定部240によって、案内画像が視線方向に重複すると判定された場合、案内画像位置決定部250は、案内画像が視線方向と重複しない位置となるように、案内画像の表示位置の変更が決定される(S108)。画像データ生成部120は、案内画像位置決定部250の決定を受けて、案内画像の表示位置が視線方向と異なるように画像データを変更する(S110)。こうして、変更された画像データが光変調部150へ提供され、光変調部150は、変更された画像データに応じて照明光学系で照射された光を変調し、変調された光が投射光学系140によってフロントガラス上に投射され、視線方向と異なる位置に案内画像が表示される(S112)。
【0030】
図5は、本実施例の投射表示の一例である。
図5(A)に示すように、直線道路を走行中、運転者の視線方向は、概ねフロントガラス300の中央近辺の基準方向Kに向けられる。また、フロントガラス300の、例えば左側には、案内画像P1、P2、P3、P4が表示される。このような状態から、
図5(B)に示すように、運転者の視線方向Saが基準方向Kから左側に移動されたと判定され、案内画像P1、P2が視線方向Saに重複すると判定された場合、案内画像P1、P2は、視線方向Saと重複しない位置に移動される。ここでは、案内画像P1、P2は、基準方向Kに関して線対称となる位置に移動される。
【0031】
図6(A)、(B)は、具体的な表示例であり、これは、
図9の表示例に対応する。
図6(A)は、直進道路を走行中、運転者の視線方向が基準方向に向けられているときの表示例であり、スクリーン14上に、次の交差点までの距離を示す案内画像20、目的地までの予想到着時間を示す案内画像30、進行方向を示す案内画像40、およびオーディオリストの再生ボタンを示す案内画像50が表示されている。次に、運転者の視線方向が左側に移動したと判定され、案内画像20と30が視線方向に重複すると判定された場合、案内画像20と30が視線方向と異なる位置、例えば、右方向へ移動される。
【0032】
このように本実施例によれば、安全確認等のために運転者が特定の方向に視線を向けたとき、その方向に存在する案内画像を他の位置へ移動させるようにしたので、運転者の視線方向に案内画像が表示されなくなり、運転者にとっての煩わしさを解消させることができる。さらに本実施例では、投射表示装置の投射光学系を変更することなく画像データを変更することより案内画像の表示位置を変更することができ、投射表示装置の小型化、軽量化を図ることができる。
【0033】
上記実施例では、基準方向Kに対する視線方向の移動を判定したが、本発明は、必ずしもこれに限定されるものではない。すなわち、視線方向移動判定部230は、視線方向取得部220によって取得された視線方向に基づき視線方向を判定し、次に、視線方向取得部220によって取得された視線方向に基づき視線方向を判定し、前回判定された視線方向と今回判定された視線方向とを比較し、両者の差分から視線方向に移動があったと判定することも可能である。
【0034】
この場合、視線方向移動判定部230は、前回判定の視線方向と今回判定の視線方向とを比較し、視線方向の移動ベクトルまたは移動方向を算出するようにしてもよい。案内画像位置決定部250は、案内画像が視線方向と重複すると判定された場合には、前記移動ベクトルまたは移動方向と異なる方向に案内画像の表示位置を変更させるようにしてもよい。
【0035】
次に、本発明の第2の実施例について説明する。運転者の視線方向は、常に一定方向に向けられているのではなく、周囲の安全確認等のために視線方向が瞬時に変化する。第1の実施例では、視線方向の移動を判定するために、すなわち運転者が特定の方向を視認したことを判定するために、視線方向が基準方向から一定角度以上変化し、かつ視線方向が変化した状態を一定時間継続することを条件としたが、第2の実施例は、この視線方向の移動の判定精度を高めるものである。すなわち、第2の実施例は、運転者の視線方向の移動の判定に、運転者の操作情報を考慮する。
【0036】
図7は、第2の実施例に係る投射表示プログラム200Aの機能的な構成例を示す図である。本実施例の投射表示プログラム200Aは、第1の実施例のものに右左折判定部215を追加している。右左折判定部215は、外部インターフェース160から、例えば車内バスを介してウィンカー情報を取得し、当該ウィンカー情報に基づき右左折を判定する。
【0037】
図8は、第2の実施例に係る投射表示動作を示すフローである。同フローは、新たに右左折方向と一致するか否かを判定するステップ(S105)以外は、
図4に示すフローと同じである。すなわち、視線方向移動判定部230は、第1の実施例のときと同様に視線方向の移動を判定し、さらに視線方向の移動が右左折方向に一致するか否かを判定する。具体的には、視線方向が基準方向Kに対して左側に移動され、右左折判定部215により左折と判定された場合には、視線方向に移動が生じたことが最終判定され、左折と判定されなかった場合には、視線方向に移動が生じなかったと最終判定される。視線方向が基準方向Kに対して右側に移動された場合も同様に右折が判定されなければ、視線方向に移動が生じなかったと最終判定される。
【0038】
このように第2の実施例によれば、視線方向の移動判定に右左折方向の判定を加えることで、運転者の視線方向の移動をより正確に判定することができる。
【0039】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。