【実施例】
【0014】
図1は、本発明の実施例に係る表示システムの構成を示すブロック図である。本実施例に係る表示システム100は、座席に関する座席情報を取得する座席情報取得部110、運転者の顔を撮像する撮像カメラ120、AR表示を行うHUD130、種々のデータを記憶可能な記憶部140、音声出力を行う音声出力部150、ナビゲーション装置等の画像ソースとの接続を行うインターフェース(I/F)部160、および各部を制御する制御部170を含んで構成される。
【0015】
撮像カメラは、例えば、ステアリング近傍、あるいはインスツルメンツパネル内に設けられ、運転者の顔を正面方向から撮像する。撮像カメラによって撮像された撮像データは、制御部170へ出力され、制御部170は、撮像データに基づき運転者のアイポイント(眼の位置)を検出する。座席情報取得部120は、例えば、運転者の座席(シート)の前後位置、背もたれの角度、ヘッドレストの高さ方向の位置に関する座席情報を取得する。この座席情報は、座席に着座した運転者のアイポイント等を補正するために利用することができる。
【0016】
HUD130は、車両のフロントウィンドウにAR表示用の画像を投射し、運転者は、視線方向に投射された画像の虚像を見ることができる。
図2は、HUDの構成の一例を示す図である。HUD130は、光源131、光源131からの光を集光する光学系132、光学系132から入射された光を画像データに基づき変調する光変調手段133、光変調手段133により変調された画像を投射する投射光学系134、投射光学系134の光学系(例えば、光軸や焦点距離など)を調整するためのアクチュエータ135を含む。
【0017】
光変調手段133は、例えば、液晶デバイス、あるいは複数の可変ミラーが2次元的に配置されたディジタルミラーデバイス(DMD)などから構成される。光変調手段133は、例えば、I/F部160を介してナビゲーション装置から提供された画像データに基づき入射光を変調し、投射画像を生成する。
【0018】
投射光学系134は、例えば、レンズやミラー等の光学部材を含み、アクチュエータ135は、例えば、投射光学系134のレンズの位置やミラーの角度等を調整する。投射光学系134の焦点距離を可変することで、運転者が見る虚像の位置を変化させることができる。1つの例では、制御部170は、HUDの初期設定時、座席情報取得部120によって取得された座席情報に基づきアクチュエータ135を介して投射光学系134の初期調整を行う。なお、表示システム100は、複数のHUD130を搭載し、それぞれ拡張現実用の画像を表示するものであってもよい。
【0019】
記憶部140は、表示システム100にとって必要な情報などを格納する。例えば、AR表示用の画像データを格納したり、その他、表示システム100が表示するための画像データや音声出力用の音声データ等を格納することができる。音声出力部150は、必要に応じて記憶部140に記憶された音声データを音声出力する。I/F部160は、ナビゲーション装置、車内バス、その他の装置との接続を可能にし、制御部170は、I/F部に接続された装置と表示システム100との動作を連携させる。例えば、ナビゲーション装置が接続されている場合には、表示システム100は、ナビゲーション装置から提供された情報に基づき交差点案内の画像や速度情報等を表示する。
【0020】
制御部170は、表示システム100の各部を制御し、好ましい態様では、制御部170は、ROM、RAMなどを含むマイクロコントローラ等を含み、表示システム100の動作を制御するための表示制御プログラムを実行する。
【0021】
図3に、表示制御プログラム200の機能的な構成を示す図である。表示制御プログラム200は、撮像データ取得部210、アイポイント検出部220、アイポイント逸脱判定部230、および投射画像制御部240を含む。
【0022】
撮像データ取得部210は、撮像カメラ110から出力された運転者の撮像データを取得する。アイポイント検出部220は、撮像データ取得部210によって取得された撮像データを画像処理し、顔画像の中から眼球を抽出し、運転者のアイポイントを検出する。
図4(A)は、アイポイントの検出例である。アイポイント検出部220は、運転者Uの顔画像から右目PRと左目PLを抽出する。次に、アイポイント検出部220は、左右の目PR、PLの中点を運転者UのアイポイントPとして検出する。好ましい例では、アイポイントPは、2次元空間におけるXY座標を有するものであり、アイポイント検出部220は、撮像カメラ110の取り付け位置、座席情報に基づく座席位置に着座したときの運転者の頭の推定位置等に基づきある2次元空間におけるアイポイントPを検出する。なお、上記の例では、運転者の右目と左目の中点をアイポイントとして検出しているが、これに限定されず、例えば、運転者の右目または左目の位置のいずれか一方をアイポイントとして検出するようにしても良い。
【0023】
アイポイント逸脱判定部230は、アイポイント検出部220によって検出された運転者のアイポイントがアイボックスから逸脱しているか否かを判定する。アイボックスとは、上記したように、ある2次元空間において運転者Uが投射画像(AR画像)の虚像を見ることができる可視範囲であり、アイボックスは、HUD130の光学的特性から決定される。つまり、運転者が投射画像の虚像を見るためには、運転者の視線方向のフロントウィンドウに画像が投射されなければならないが、そのフロントウィンドウへの画像の投射位置および投射角度は、投射光学系134により概ね決定される。従って、投射光学系134の光学系により、運転者が投射画像の虚像を見ることができる範囲が決定される。
【0024】
アイポイント逸脱判定部230の判定動作例を
図5に示す。同図において、EBは、運転席側からフロントウィンドウを見たときのアイボックスを模式的に示している。アイボックスEBは、好ましくは、アイポイント検出部220により検出されるアイポイントと同じ2次元空間上の座標によって特定される。ここでは、一例としてアイボックスEBが矩形状を有しているが、その理由の1つは、アイポイントがアイボックスEB内に位置しているか否かの判定を容易にするためである。従って、アイボックスEBの平面形状は、必ずしも矩形状に限られるものではなく、投射光学系134の光学的特性により決定される可視範囲に概ね一致するような形状であってもよい。
【0025】
アイポイント逸脱判定部230は、検出されたアイポイントとアイボックスEBとを比較し、アイポイントがアイボックスEB内にあるか否かを判定する。本実施例では、アイポイントがアイボックスEB内にあるか否かを複数レベルで判定する。すなわち、
図5に示すように、アイポイントPがアイボックスEBよりさらに狭い最適範囲T1内にあるか否か、アイポイントPが最適範囲T1より外れるがアイボックスEBより内側の準最適範囲T2にあるか否か、アイポイントPがアイボックスEBの外側の逸脱範囲T3にあるか否かを判定する。
【0026】
最適範囲T1は、アイボックスEBの境界からさらに内側の境界を規定し、例えば、アイボックスEBを一定の割合で縮小した矩形状の範囲である。最適範囲T1は、この範囲内にアイポイントPがあるとき、運転者Uが投射画像の虚像を完全に見ることができることを保証する。
【0027】
準最適範囲T1は、最適範囲T1の境界とアイボックスEBの境界との間の範囲であり、準最適範囲T1内にアイポイントPがあるとき、運転者Uは、投射画像の虚像を完全に見ることができるが、その虚像の一部が欠ける前段階、あるいは、虚像が最適位置からずれて見える状態、あるいは、投射画像の虚像の一部が欠けて見える状態である。つまり、視線領域Pが準最適領域T2にあるとき、投射画像の虚像を視認することはできるが、同時に、アイボックスEBを逸脱する可能性を備えている。
【0028】
逸脱範囲T3は、アイボックスEBの境界の外側であり、アイポイントPが逸脱範囲T3にあるとき、運転者Uは、投射画像の虚像を見ることができないか、あるいは大部分が欠けた虚像を見ることになり、投射画像の内容を認識することができない状態である。
【0029】
アイポイント逸脱判定部230は、一定の周期であるいは常時、アイポイントがアイボックスEBの最適範囲T1、準最適範囲T2、あるいは逸脱範囲T3にあるか否かを判定し、その判定結果を投射画像制御部240へ提供する。投射画像制御部240は、アイポイント逸脱判定部230の判定結果に基づき投射画像の制御を行う。好ましい態様では、投射画像制御部240は、アイポイントが最適範囲T1内にあると判定された場合には、別段、特別な制御を行わず、つまり、通常通りの投射画像を表示させる。
【0030】
アイポイントが準最適範囲T2内にあると判定された場合には、運転者は、投射画像を認識できる状態にある。しかし、アイポイントが逸脱範囲T3に接近しており、さらにアイポイントが移動すれば、逸脱範囲T3に進入し、投射画像の全体を見ることができなくなる状況にあることを運転者に知らせる必要がある。このため、投射画像制御部240は、アイポイントが準最適範囲T2のどの方向に位置するかを識別し、その識別結果に基づき運転者の顔がどの方向に移動すれば、投射画像を見ることができなくなるのかを知らせる表示を行う。例えば、投射画像制御部240は、アイポイントが準最適範囲T2の4辺(上側、下側、左側、右側)のいずれかに該当するかを識別し、そのアイポイントが存在する側に強調表示が生成されるように画像データの加工を行う。
【0031】
アイポイントが逸脱範囲T3にあると判定された場合には、運転者は、投射画像の全体またはその大部分を見ることができず、運転者は、投射画像の内容を理解することができない。このため、投射画像制御部240は、例えば、欠損した投射画像に含まれる機能を非提供にしたり、欠損した投射画像を別のエリアに移動させたり、HUDによる表示をオフにするように画像データの加工を行う。
【0032】
次に、本実施例の表示システムの動作を
図6に示すフローチャートを参照して説明する。表示システム100の動作が開始されると、撮像カメラ110により運転者の顔が撮像され、その撮像データが撮像データ取得部210によって取得される(S100)。アイポイント検出部220は、撮像データ取得部210により取得された撮像データを解析し、運転者のアイポイントを検出する(S102)。次に、アイポイント逸脱判定部230は、
図5に示したようにアイポイントとアイボックスとを比較し、アイポイントが最適範囲T1、準最適範囲T2あるいは逸脱範囲T3にあるのかを判定し(S104)、その判定結果が投射画像制御部240へ提供される。
【0033】
投射画像制御部240は、判定結果に基づき、投射画像の制御を行う。アイポイントが最適範囲T1内にあるとき(S106)、HUD130の光変調手段133は、提供される画像データに基づき光学的変調を行い、通常通りの画像を表示させる(S108)。例えば、表示システム100がナビゲーション装置と連携し、表示システム100が、
図7(A)に示すような交差点案内画像300を表示させる場合を想定する。交差点案内画像300には、右折矢印と交差点までの距離(200m)との情報が含まれる。アイポイントPが最適範囲T1内であれば、運転者は、交差点案内画像300を完全に見ることができ、その情報を認識することができる。
【0034】
アイポイントPが準最適範囲T2にあるとき(S110)、投射画像制御部240は、画像データの一部を加工し、アイポイントがさらに移動すれば、表示が欠損するであろう方向を識別し、そのことを知らせるための強調表示を行う。さらに、これに加えて、アイポイントが最適範囲になる方向を知らせるためのヒント表示を行う(S112)。
図7(B)に示すように、例えば、アイポイントPがアイボックスEBの準最適範囲T2の左辺側にあるとき、アイポイントPがさらに左方向に移動すれば、交差点案内画像300が欠損する。このため、投射画像制御部240は、交差点案内画像300の右辺側に強調表示310が生成されるように画像データを加工する(なお、アイボックスEBの左右方向と、投射画像の左右方向とは反転する関係にある)。同様に、アイポイントPがアイボックスEBの準最適位置T2の右辺側にあれば、投射画像制御部240は、交差点案内画像300の左辺側に強調表示が生成されるように画像データを加工する。また、アイポイントPがアイボックスEBの準最適位置T2の上辺側にあれば、画像制御部240は、交差点案内画像300の上辺側に強調表示が生成されるように画像データを加工し、アイポイントPがアイボックスEBの準最適位置T2の下辺側にあれば、画像制御部240は、交差点案内画像300の下辺側に強調表示が生成されるように画像データを加工する。
【0035】
強調表示310の態様は、特に限定されないが、交差点案内画像300の辺全体の表示に限らず、辺の一部に表示されるようにしてもよい。また、強調表示310の形状も任意である。さらに強調表示310は、例えば、黄色のような注意を喚起するような色、背景色と異なる色、あるいは点滅表示であることができる。さらに、強調表示310は、テキストを含むようにしてもよく、例えば、「これ以上、頭を移動させると、HUDの表示を見ることができなくなります」等の警告であってもよい。さらに制御部170は、音声出力部150から上記の警告の音声出力をさせるようにしてもよい。
【0036】
また、投射画像制御部240は、運転者が頭をどの方向にむければ最適範囲T1になるのかを知らせるようなヒント表示(案内表示)を行うことができる。例えば、
図7(C)に示すように、強調表示310と併せて、投射画像が欠損しないようにするための頭(アイポイント)の移動方向を示すヒント表示320が生成されるように画像データデータを加工する。すなわち、ファインポジションになるための方向を示すヒント表示320が、例えば、矢印の下方に表示させる。
図7(C)のヒント表示320は、運転者に頭を右側へ移動させるための誘導矢印を含んでいる。
【0037】
また、
図7(D)に示すように、表示システム100が2つのHUD130を搭載している場合には、一方のHUDに交差点案内画像300と強調表示310を生成させ、他方のHUDにヒント表示320を生成させるように画像データを加工するようにしても良い。2つのHUDを搭載する場合、交差点案内画像300と異なる焦点距離でヒント表示320を生じさせるようにすることができる。また、制御部170は、ヒント表示320の内容を音声出力部150から音声出力させるようにしてもよい。
【0038】
再び
図6のフローに戻り、投射画像制御部240は、アイポイントがアイボックスEBの外側にあるとき(S110)、投射画像の表示態様が切替わるように画像データを加工する(S114)。具体的な表示態様の切替例について説明する。
図8(A)は、アイポイントPが最適範囲T1内にあるときの交差点案内画像400の例であり、交差点案内画像400は、左側の領域410に右折矢印と交差点までの距離(200m)を表示し、右側の領域420に、自車位置周辺の道路地図を表示している。いわゆる2つの機能が2画面で表示される態様である。アイポイントPが最適範囲T1内であれば、運転者は、2つの画面を完全に見ることができる。
【0039】
アイポイントPが逸脱範囲T3になると、例えば、
図8(B)に示すように交差点案内画像400の左側の領域420の一部の画像が欠損して見ることができなくなる。画像が欠損されてしまうと、運転者は、それが何を意味するのかを認識することができない。このような場合には、欠損された画像を残すことは好ましくないので、欠損した画像を含む機能が非提供となるように画像データを加工する。投射画像制御部240は、アイボックスとアイポイントとの相対的な関係から、投射画像のどの領域がどの程度欠損するかを判定し、欠損する領域の画像が非表示となるように画像データを加工する。その結果、
図8(C)に示すように、交差点案内画像400の左側の領域の矢印画像が非表示にされ、右側の領域420の画像のみが表示される。
【0040】
他の表示態様の切り換えでは、投射画像制御部240は、
図8(D)に示すように、交差点案内画像400を縮小して全体が表示されるように画像データを加工する。さらに他の表示態様として、欠損すると推測される画像の表示位置を変更するようにしても良い。例えば、
図8(E)に示すように、交差点案内画像400の左側の領域410の画像が、欠損されない右側の領域420に表にされるように画像データを加工する。さらには、表示システム100が2つのHUDを搭載する場合には、一方のHUDに道理地図画像を表示させ、他方のHUDに右折矢印Y等を表示させるようにしてもよい。さらに、他の表示態様として、アイポイントPが逸脱範囲T3にある場合には、投射画像制御部240は、光変調手段133への画像データの提供を停止させ、HUDによる画像投射をOFFにするようにしてもよい。この場合、HUDによるAR画像は完全に表示されない。
【0041】
以上説明したように本実施例によれば、運転者のアイポイントが最適範囲、準最適範囲、または逸脱範囲であるか否かに基づき投射画像の表示態様を制御し、運転者の頭部の位置に関する注意喚起および適正位置への誘導を行うようにしたので、運転者は、アイボックス(最適範囲)の位置がわからなくとも、投射画像を見ることで適正位置へ頭部を容易に戻すことが可能になる。
【0042】
さらには、アイポイントがアイボックスから完全に逸脱した場合には、不完全な表示を非提示にすることで、運転者に誤った情報を与えたり、あるいは誤解が生じるのを防止することができる。さらに、不完全となり得る画像の表示位置をシフトさせることで、投射画像の一部が欠損されることことなく全体を表示させることができる。これにより、全体としては、HUDによる投射画像を見ることへの煩わしさが軽減され、運転による疲労を軽減することができる。
【0043】
上記実施例では、運転者のアイポイントの逸脱を判定する範囲として、T1、T2、T3の3段階を定義したが、これに限らず、例えば、4段階または5段階の範囲を定義し、それぞれの範囲に応じて、投射画像の表示態様を制御するようにしてもよい。
【0044】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。