(58)【調査した分野】(Int.Cl.,DB名)
前記ヘッドアップディスプレイ装置または前記表示装置のいずれか一方が、特定の対象に対する前記情報虚像または前記情報画像を非表示にした後、前記特定の対象が他方の表示領域に移動した場合、他方は、前記特定の対象に対して同じ表示形態で前記情報虚像または前記情報画像を表示させる、
ことを特徴とする請求項1乃至4のいずれかに記載の運転支援情報表示システム。
【発明を実施するための形態】
【0011】
(第一実施形態)
図1に第一実施形態に係る運転支援情報表示システム1のシステム構成を示す。
本実施形態に係る運転支援情報表示システム1は、情報虚像Vを表す表示光Lを車両2のフロントガラス3に投影し、情報虚像Vを車両2の乗員(観察者)Eに視認させるヘッドアップディスプレイ装置(以下、HUD装置)10と、インストルメントパネル4内に配置され、後述する第一撮像部210が撮像する車両2の右後側方の撮像画像を表示する右後側方表示部20と、後述する第二撮像部220が撮像する車両2の左後側方の撮像画像を表示する左後側方表示部30と、車両2の前方状況を検出する前方状況検出部100と、車両2の右後後方を撮像する第一撮像部210と、車両2の左後後方を撮像する第二撮像部220と、HUD装置10の表示を制御する第一表示制御部300と、右後側方表示部20及び左後側方表示部30の表示を制御する第二表示制御部400と、から構成される。
【0012】
HUD装置10は、後述する第一表示制御部300の制御の下、車両2のフロントガラス3に表示光Lを投影することで、フロントガラス3を通した実景の特定対象Wに合わせた情報虚像Vを観察者Eに視認させるものである(
図2参照)。情報虚像Vは、具体的に例えば、
図3(a)に示すような車両2に接近してくるまたは距離が近い前方車両(特定対象)W1に対して表示され、前方車両W1を強調するような情報虚像V1,
図3(b)に示すような車線(特定対象)W2に対して表示され、進路を誘導するような情報虚像V2などであり、知らせたい内容が異なる複数のカテゴリーに分類されている。
【0013】
本実施形態におけるHUD装置10は、図示しない観察者Eの視点位置を検出する視点位置検出部を備え、観察者Eの視点位置に応じて情報虚像Vを視認させる位置を調整することで、体格の異なる観察者Eが車両2
に搭乗した場合や、観察者Eの姿勢が変化した場合であっても、
図2に示すように、情報虚像Vを実景の特定対象Wに重畳表示することが可能である。
【0014】
右後側方表示部20は、例えば、TFTなどの表示素子からなり、インストルメントパネル4内に配置される。右後側方表示部20は、後述する第二表示制御部400の制御の下、後述する第一撮像部210が撮像した車両2の右後側方の撮像画像と、この撮像画像に情報を付加する情報画像Mと、を表示するものである。情報画像Mは、具体的に例えば、
図4(a)に示すような車両2に接近してくるまたは距離が近い後方車両(特定対象)W3に対して表示され、後方車両W3を強調する情報画像M1,
図4(b)に示すような車線(特定対象)W2に対して表示される進路を誘導するような情報画像M2などであり、知らせたい内容が異なる複数のカテゴリーに分類されている。左後側方表示部30は、後述する第二撮像部220が左後側方を撮像して、車両2の左後側方の撮像画像を表示する点以外は、上記右後側方表示部20と同様であるので説明は省略する。
【0015】
前方状況検出部100は、車両2の前方側を撮像するステレオカメラなどであり、撮像した車両2の前方の画像を図示しない画像解析部で画像解析することで、車両2の前方の状況を検出することができる。前方状況検出部100が検出する車両2の前方状況に関する情報は、道路形状に関する情報(車線,白線,停止線,横断歩道,道路の幅員,車線数,交差点,カーブ,分岐路等)や道路上の物体に関する情報(前方車両や障害物)などであり、さらに前方状況検出部100は、撮像された対象と車両2との間の距離を算出することが可能である。
【0016】
すなわち、本実施形態において、前方状況検出部100は、ステレオカメラで撮像した撮像データから解析した道路上の物体(特定対象W)に関する情報、及び撮像された特定対象Wと車両2との距離に関する情報などを後述する第一表示制御部300に出力する。ちなみに、前方状況検出部100は、ステレオカメラなどの可視光線カメラではなく、赤外線カメラやミリ波レーザ等の近距離検出用レーダ、超音波等を用いたソナー、可視光線カメラ、赤外線カメラなどの撮像カメラ等で構成されていてもよい。また、前方状況検出部100は、車両2の前方の状況を把握できればよいので、車両2の位置を特定し、車両2が走行する道路に関する情報を取得可能なナビゲーションシステムで構成されていてもよい。また、前方状況検出部100を外部と通信可能な通信手段で構成し、道路交通情報通信システムなどの外部通信装置と車両2との間で通信を行うことによって、自車両2の前方の状況を推定してもよい。
【0017】
第一撮像部210(第二撮像部220)は、可視光線カメラや赤外線カメラなどであり、車両2の左後側方(右後側方)を撮像し、撮像した撮像画像を後述する第二表示制御部400に出力する。
【0018】
第一表示制御部300は、HUD装置10の表示を制御するコントローラであり、HUD装置10,前方状況検出部100,第二表示制御部400と、に電気的に接続される。第一表示制御部300は、前方状況検出部100から入力した車両2の前方状況に応じてHUD装置10を制御することで、情報虚像Vを表示させる。情報虚像Vは、上述したように観察者Eに報知する情報の種類に応じた複数のカテゴリーに分類されており、第一表示制御部300は、情報虚像Vを表示する際、表示する情報虚像Vのカテゴリーに関する情報を第二表示制御部400に出力する。
【0019】
第二表示制御部400は、右後側方表示部20及び左後側方表示部30の表示を制御するコントローラであり、右後側方表示部20,左後側方表示部30,第一撮像部210,第二撮像部220,第一表示制御部300に電気的に接続される。第二表示制御部400は、第一撮像部210,第二撮像部220から入力した撮像画像を適宜加工編集して、右後側方表示部20,左後側方表示部30に表示させる。また、第二表示制御部400は、撮像した車両2の右後側方(左後側方)の画像を図示しない画像解析部で画像解析することで、車両2の右後側方(左後側方)の状況を検出することができる。具体的には、第二表示制御部400は、撮像画像中の車線や後方側方に存在する他車両などを検出することができる。第二表示制御部400は、右後側方(左後側方)の状況に応じて、撮像画像に情報を付加する情報画像Mを撮像画像に合成して右後側方表示部20(左後側方表示部30)に表示させる。
【0020】
第二表示制御部400は、HUD装置10が情報虚像Vを表示する際、第一表示制御部300から情報虚像Vのカテゴリーに関する情報を入力する。情報虚像Vのカテゴリーに関する情報を入力した場合、第二表示制御部400は、情報虚像Vのカテゴリーと同じカテゴリーの情報画像Mが表示可能かを判断し、表示が可能であった場合、右後側方表示部20(左後側方表示部30)に情報画像Mを表示させる。
【0021】
以上が本実施形態における運転支援情報表示システム1の構成であり、これより、本実施形態の第二表示制御部400が情報虚像Vのカテゴリーに合わせて情報画像Mを表示させる表示処理について、
図5のフロー図を用いて説明する。
【0022】
まず、第一表示制御部300は、ステップA1において、前方状況検出部100から車両2の前方状況を検出する。次に、ステップA2において、第一表示制御部300は、前方状況検出部100から入力した車両2の前方状況に応じて、情報虚像Vの表示が必要か判断する。情報虚像Vの表示が必要でないと判定した(ステップA2でNO)場合、第一表示制御部300は、ステップA1に戻って、前方状況検出部100から車両2の前方状況の入力を行う。
【0023】
情報虚像Vの表示が必要であると判定した(ステップA2でYES)場合、第一表示制御部300は、ステップA3に移行し、HUD装置10に表示する情報虚像Vのカテゴリー情報を第二表示制御部400へ出力する。そして、ステップA4において、第一表示制御部300は、HUD装置10に情報虚像Vを表示させる。
【0024】
第二表示制御部400は、ステップB1において、第一表示制御部300から情報虚像Vのカテゴリー情報を入力する。次いで、第二表示制御部400は、情報虚像Vと同じカテゴリーの情報画像Mを表示可能かどうか判断する。情報虚像Vと同じカテゴリーの情報画像Mを表示できないと判定した(ステップB2でNO)場合、第二表示制御部400は、ステップB1に戻って、再び情報虚像Vのカテゴリーを入力する。情報虚像Vのカテゴリーに変化がなければ、ステップB2に移行し、後側方の状況の変化により、情報虚像Vと同じカテゴリーの情報画像Mが表示可能になるか判定を再び行う。
【0025】
情報虚像Vと同じカテゴリーの情報画像Mを表示できると判定した(ステップB2でYES)場合、第二表示制御部400は、ステップB3に移行し、右後側方表示部20または左後側方表示部30に情報虚像Vと同じカテゴリーの情報画像Mを表示させる。
【0026】
(実施例1)
上述した情報画像Mの表示処理の実施例1を、
図3(a),
図4(a),
図5,
図6を用いて説明する。
図6は、車線を俯瞰した図であり、車両2の前後に前方車両W1,後方車両W3が存在する場合を示している。
【0027】
図6に示すように、車両2の前後に前方車両W1,後方車両W3が存在する場合、まず、第一表示制御部300は、前方状況検出部100から前方車両W1を検出する(ステップA1)。次に、第一表示制御部300は、前方車両W1が注意すべき対象であるかを判定し、情報虚像V1の表示の要否を判定する(ステップA2)。
【0028】
情報虚像V1の表示が必要であると判定した(ステップA2でYES)場合、第一表示制御部300は、HUD装置10に表示させる情報虚像V1のカテゴリー情報を出力する(ステップA3)。ちなみに、情報虚像V1は、車両2の右車線に存在する前方車両W1(他車両)に関する情報画像であるので、車両2の右車線に存在する他車両に関するカテゴリーとして分類され、この車両2の右車線に存在する他車両に関するカテゴリー情報が第二表示制御部400に出力される。そして、第一表示制御部300は、
図3(a)に示すように、HUD装置10に前方車両W1を強調する情報虚像V1を表示させる(ステップA4)。
【0029】
第二表示制御部400は、第一表示制御部300から車両2の右車線に存在する他車両に関するカテゴリー情報を入力する(ステップB1)。すると、第二表示制御部400は、情報虚像V1と同じカテゴリーの情報画像M1を表示可能かどうか判断する(ステップB2)。本表示例では、
図6に示すように、車両2の右車線を走行する後方車両W3が存在するので(第一撮像部210が撮像する車両2の右後側方の撮像画像に、後方車両W3が撮像されているので)、第二表示制御部400は、HUD装置10が表示する情報虚像V1と同じカテゴリーの情報画像M1を表示可能と判断する(ステップB2でYES)。
【0030】
情報虚像V1と同じカテゴリーの情報画像M1を表示できると判定した場合、第二表示制御部400は、
図4(a)に示すように、右後側方表示部20に情報虚像V1と同じカテゴリーの情報画像M1を表示させる。
【0031】
(実施例2)
さらに、
図3(b),
図4(b),
図5を用いて、情報画像M2の表示処理の実施例を以下に説明する。
【0032】
第一表示制御部300は、前方状況検出部(ナビゲーションシステム)100から車両2が走行している車線情報を検出する(ステップA1)。次に、第一表示制御部300は、観察者Eに車線変更を促すための情報虚像V2の表示が必要かを判定する(ステップA2)。
【0033】
情報虚像V2の表示が必要であると判定した(ステップA2でYES)場合、第一表示制御部300は、HUD装置10に表示させる情報虚像V2のカテゴリー情報を出力する(ステップA3)。ちなみに、情報虚像V2は、車両2の右車線に進路を誘導する情報画像であるので、右車線に進路誘導するカテゴリーとして分類され、この右車線に進路誘導するカテゴリー情報が第二表示制御部400に出力される。そして、第一表示制御部300は、
図3(b)に示すように、HUD装置10に右車線に進路変更するように促す情報虚像V2を表示させる(ステップA4)。
【0034】
第二表示制御部400は、第一表示制御部300から車両2の右車線に進路誘導するカテゴリー情報を入力する(ステップB1)。すると、第二表示制御部400は、情報虚像V2と同じカテゴリーの情報画像M2を表示可能かどうか判断する(ステップB2)。第二表示制御部400は、右後側方画像に進路変更を阻害する可能性があるものが存在するかを判定し、阻害するものがなければ、情報画像M2を表示可能と判断する(ステップB2でYES)。
【0035】
情報虚像V2と同じカテゴリーの情報画像M2を表示できると判定した場合、第二表示制御部400は、
図4(b)に示すように、右後側方表示部20に右車線に進路変更するように促す情報虚像V2と同じ内容の情報画像M2を表示させる。
【0036】
なお、第二表示制御部400は、右後側方画像に進路変更を阻害する可能性があるものが存在すると判定した場合、情報虚像V2と同じ内容の進路変更を促す情報画像M2は表示できないと判断するが、情報虚像V2は、右車線に関するカテゴリーでもあるため、右車線に存在する後方車両の存在を強調する情報画像M2を表示可能と判断してもよい(ステップB2でYES)。この場合、第二表示制御部400は、
図4(a)に示すように、右後側方表示部20に情報虚像V2と同じ右車線に関するカテゴリーの情報画像M1を表示させる。
【0037】
以上に説明したように、第一実施形態における運転支援情報表示システム1は、車両前方に関する情報を有する情報虚像Vを表示可能なHUD装置10と、車両2の左右後側方の撮像画像と、撮像画像に情報を付加する情報画像Mと、を表示する右後側方表示部20(左後側方表示部30)と、を備え、情報虚像V及び情報画像Mは、表示する情報が複数のカテゴリー毎に分類されており、HUD装置10または右後側方表示部20(左後側方表示部30)のいずれか一方が、情報虚像Vを表示する際、表示される情報虚像Vと同じカテゴリーの情報を右後側方表示部20(左後側方表示部30)に表示させるものであり、斯かる構成により、HUD装置10と右後側方表示部20(左後側方表示部30)との複数の表示装置で、同じカテゴリーの表示をしているので、統一感のある情報を観察者Eに対して提供し、情報を観察者Eに認識させやすくすることができる。
【0038】
また、第一実施形態における運転支援情報表示システム1は、車両2の右後側方を撮像した撮像画像を表示する右後側方表示部20と、車両2の左後側方を撮像した撮像画像を表示する左後側方表示部30と、を有し、情報虚像V及び情報画像Mは、車両2の右車線に関する情報か車両2の左車線に関する情報かのカテゴリーに分類されているので、例えば、HUD装置10が右車線について情報虚像Vにより情報を付加した際、右後側方表示部20にも情報を付加するので、観察者Eが、HUD装置10の表示を視認した際も右後側方表示部20の表示を視認した際も観察者Eの意識を共通して注意すべき右車線側に向けさせることができるため、安全な車両運行に寄与することができる。
【0039】
また、情報虚像V及び情報画像Mは、同じ表示形態で表示することで、HUD装置10に表示される情報虚像Vと右後側方表示部20(左後側方表示部30)に表示される情報画像Mが関連した表示であることを、直感的に認識させることができる。なお、同じ表示形態にするとは、情報虚像Vと情報画像Mとの意匠または/および色または/および動画時の動きなどを同じにすることである。
【0040】
本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。以下に変形例の一例を示す。
【0041】
(第二実施形態)
上記第一実施形態では、HUD装置10を制御する第一表示制御部300から右後側方表示部20(左後側方表示部30)を制御する第二表示制御部400に対して、HUD装置10が表示する情報虚像Vのカテゴリー情報を送ることで、情報虚像Vと同じカテゴリーの情報画像Mを右後側方表示部20(左後側方表示部30)が表示していたが、第二実施形態における運転支援情報表示システム1は、第二表示制御部400から第一表示制御部300に対して、右後側方表示部20(左後側方表示部30)が表示する情報画像Mのカテゴリー情報を送ることで、情報画像Mと同じカテゴリーの情報虚像VをHUD装置10が表示する点で異なる。また、第二実施形態における運転支援情報表示システム1は、車両2の左右後側方の状況をより正確に検出するため、後側方状況検出部500をさらに備える点で第一実施形態における運転支援情報表示システム1とは異なる。この第二実施形態における運転支援情報表示システム1について、
図7のシステム構成図と、
図8のフロー図を用いて説明する。なお、第一実施形態と同じ構成については、同じ符号を付して説明は省略する。
【0042】
第二実施形態における運転支援情報表示システム1は、
図7に示すように、後側方状況検出部500をさらに備える。
後側方状況検出部500は、右後側方の状況を検出する
右後側方検出部510と、左後側方の状況を検出する
左後側方検出部520と、から構成される。後側方状況検出部500は、車両2の後方から左右側方に存在する後方車両W3との距離を測距する測距センサであり、例えば、測距カメラやレーダセンサ等によって構成される。後側方状況検出部500は、車両2に接近する後方車両W3を認識可能であり、車両2と後方車両W3との距離を連続的または断続的に検出し、その時間差分などの比較により車両2の速度を基準とした後方車両W3の相対速度を算出することができる。すなわち、後側方状況検出部500は、前述した第二表示制御部400に車両2に接近する後方車両W3の相対距離及び相対速度を出力する。また、後側方状況検出部500は、車車間通信や路上の通信インフラを介した路車間通信等の通信手段を有し、互いの車両位置とその時間的差分によって相対距離や相対速度を求めてもよい。
【0043】
第二表示制御部400は、後側方状況検出部500が検出した後方車両W3の相対距離や相対速度に基づいて、後方車両W3を強調する情報画像M3を表示する必要があるかを判断する。第二表示制御部400は、情報画像M3を表示する必要があると判断した場合、表示する情報画像M3のカテゴリーに関する情報を左後側方表示部30に出力する。
【0044】
まず、第二表示制御部400は、ステップB11において、後側方状況検出部500から車両2の左右の後側方に関する状況を検出する。次に、ステップB12において、第二表示制御部400は、後側方状況検出部500から入力される後側方状況に応じて、情報画像Mの表示が必要か判断する。情報画像Mの表示が必要でないと判定した(ステップB12でNO)場合、第二表示制御部400は、ステップB11に戻って、後側方状況検出部500から車両2の後側方状況の入力を行う。
【0045】
情報画像Mの表示が必要であると判定した(ステップB12でYES)場合、第二表示制御部400は、ステップB13に移行し、第一表示制御部300に表示する情報画像Mのカテゴリー情報を出力する。そして、ステップB14において、第二表示制御部400は、右後側方表示部20または左後側方表示部30に情報画像Mを表示させる。
【0046】
第一表示制御部300は、ステップA11において、第二表示制御部400から情報画像Mのカテゴリー情報を入力する。次いで、第一表示制御部300は、情報画像Mと同じカテゴリーの情報虚像Vを表示可能かどうか判断する。情報画像Mと同じカテゴリーの情報虚像Vを表示できないと判定した(ステップA12でNO)場合、第一表示制御部300は、ステップA11に戻って、再び情報画像Mのカテゴリーを入力する。情報画像Mのカテゴリーに変化がなければ、ステップB2に移行し、前方状況の変化により、情報画像Mと同じカテゴリーの情報虚像Vが表示可能になるか判定を再び行う。
【0047】
情報画像Mと同じカテゴリーの情報虚像Vを表示できると判定した(ステップA12でYES)場合、第一表示制御部300は、ステップA13に移行し、HUD装置10に情報画像Mと同じカテゴリーの情報虚像Vを表示させる。斯かる構成により、HUD装置10と右後側方表示部20(左後側方表示部30)との複数の表示装置で、同じカテゴリーの表示をしているので、統一感のある情報を観察者Eに対して提供し、情報を観察者Eに認識させやすくすることができる。
【0048】
また、変形例として、本発明における運転支援情報表示システム1は、他車両が、HUD装置10の表示エリアや右後側方表示部20(左後側方表示部30)の表示エリアではない死角領域に存在する場合、
図9に示すように、HUD装置10に死角領域を指示する矢印状の情報虚像V3と、この情報虚像V3と同じ対象を指示するように右後側方表示部20(左後側方表示部30)に矢印状の情報画像M3と、を表示してもよい。斯かる構成により、HUD装置10または右後側方表示部20(左後側方表示部30)を視認した場合であっても同じ対象に関して注意を促すことができる。なお、
図9に示すような矢印状の画像は、死角領域に他車両が存在することを示すアイコン画像などであってもよい。
【0049】
また、上記実施形態では、HUD装置10の表示を制御する第一表示制御部300と、右後側方表示部20(左後側方表示部30)の表示を制御する第二表示制御部400とを別々に設けていたが、共通の表示制御部でHUD装置10及び右後側方表示部20(左後側方表示部30)の表示を制御してもよい。
【0050】
また、上記実施形態において、車両2の周囲に前方車両W1と後方車両W3とが存在する場合、情報虚像V1と情報画像M1とを同じ表示形態としていた(
図3(a),
図4(a))が、
図10に示すように、前方車両W1の接近を強調する情報虚像V1と、後方車両W3の接近を強調する情報画像M1aとを異なる意匠(表示態様)で表示させてもよい。
【0051】
また、
図11に示すように右後側方表示部20に映っていた後方車両W3が車両2を追い越した場合、
図12(a)に示すような後方車両W3に対して表示していた情報画像M1を非表示にした後、HUD装置10は、HUD装置10の表示領域に移動した同一の対象W3に対して情報画像M1と同じ表示形態である情報虚像V1を表示させてもよい(
図12(b))。斯かる構成により、異なる車両周辺領域について情報を付加するHUD装置10と右後側方表示部20(左後側方表示部30)との複数の表示装置で、同じ特定対象Wに対して情報虚像Vと情報画像Mとの表示態様を同じにしているので、統一感のある情報を観察者Eに対して提供し、情報を観察者Eに認識させやすくすることができる。