知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6642972
(24)【登録日】2020年1月8日
(45)【発行日】2020年2月12日
(54)【発明の名称】車輌用画像表示システム及び方法
(51)【国際特許分類】
B60K 35/00 20060101AFI20200130BHJP
G01C 21/26 20060101ALI20200130BHJP
G08G 1/16 20060101ALI20200130BHJP
【ＦＩ】
B60K35/00 A
B60K35/00 Z
G01C21/26 A
G08G1/16 C
【請求項の数】4
【全頁数】31
(21)【出願番号】特願2015-64298(P2015-64298)
(22)【出願日】2015年3月26日
(65)【公開番号】特開2016-182891(P2016-182891A)
(43)【公開日】2016年10月20日
【審査請求日】2018年3月14日
(73)【特許権者】
【識別番号】515042421
【氏名又は名称】田山 修一
(73)【特許権者】
【識別番号】500322088
【氏名又は名称】株式会社イマージュ
(74)【代理人】
【識別番号】100098589
【弁理士】
【氏名又は名称】西山 善章
(74)【代理人】
【識別番号】100098062
【弁理士】
【氏名又は名称】梅田 明彦
(74)【代理人】
【識別番号】100147599
【弁理士】
【氏名又は名称】丹羽 匡孝
(72)【発明者】
【氏名】田山 修一
(72)【発明者】
【氏名】渡部 幸生
【審査官】
稲村 正義
(56)【参考文献】
【文献】
特開平１０−１０５８８５（ＪＰ，Ａ）
【文献】
特開２００５−２９７８１０（ＪＰ，Ａ）
【文献】
国際公開第２０１４／０８０４８０（ＷＯ，Ａ１）
【文献】
国際公開第２００８／１５２７８４（ＷＯ，Ａ１）
【文献】
特開２０１２−１３２７８９（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１２／０１７３０６９（ＵＳ，Ａ１）
【文献】
米国特許第０７０８８２６２（ＵＳ，Ｂ１）
【文献】
特開２００６−２８４４５８（ＪＰ，Ａ）
【文献】
特開２００６−１９０２３７（ＪＰ，Ａ）
【文献】
特開２０１０−１９８５７８（ＪＰ，Ａ）
【文献】
特開２０１２−１７６７４８（ＪＰ，Ａ）
【文献】
特開２００７−２７２３５０（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｂ６０Ｋ ３５／００，
Ｂ６０Ｒ ２１／００−２１／３８，
Ｇ０２Ｂ ２７／０１，
Ｇ０１Ｃ ２１／００−２１／３６，２３／００−２５／００，
Ｇ０９Ｇ ９／００−９／４６
(57)【特許請求の範囲】
【請求項1】
予め設定された目的地までの走行予定ルートに沿って、予定した走行行動に従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用画像表示システムであって、
前記自動運転システムによって、前記予定の走行行動に沿って予め決められた道路上の予定走行コースから外れて予定外の走行コースを走行する走行行動を取らせようとする場合に、前記自車輌の前記予定外の走行行動を仮想的に動画で示すイメージ画像、前記予定外の走行コースを示す移動経路、及び前記予定外の走行行動をとる原因である障害物を示す注意喚起マークを前記自車輌のフロントウインドシールド面に表示するヘッドアップディスプレイ装置と、
前記自車輌の前方の風景を撮影するフロントカメラと、
前記フロントカメラの撮影画像に前記イメージ画像と前記移動経路と前記注意喚起マークとを重ねて表示する前記自車輌のダッシュボードに装着されるモニター装置と、
前記自動運転システムからの入力に基づいて前記ヘッドアップディスプレイ装置及び前記モニター装置における前記イメージ画像、前記移動経路、及び前記注意喚起マークの表示を制御するためのディスプレイ制御部と、を備える車輌用画像表示システム。
前記自動運転システムによって、前記予定の走行行動に沿って予め決められた道路上の予定走行コースから外れて予定外の走行コースを走行する走行行動を取らせようとする場合に、前記自車輌の前記予定外の走行行動を仮想的に動画で示すイメージ画像、前記予定外の走行コースを示す移動経路、及び前記予定外の走行行動をとる原因である障害物を示す注意喚起マークを前記自車輌のフロントウインドシールド面に表示するヘッドアップディスプレイ装置と、
前記自車輌の前方の風景を撮影するフロントカメラと、
前記フロントカメラの撮影画像に前記イメージ画像と前記移動経路と前記注意喚起マークとを重ねて表示する前記自車輌のダッシュボードに装着されるモニター装置と、
前記自動運転システムからの入力に基づいて前記ヘッドアップディスプレイ装置及び前記モニター装置における前記イメージ画像、前記移動経路、及び前記注意喚起マークの表示を制御するためのディスプレイ制御部と、を備える車輌用画像表示システム。
【請求項2】
予め設定された目的地までの走行予定ルートに沿って、予定した走行行動に従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用画像表示システムであって、
前記自動運転システムによって、駐停車する行動を取らせようとする場合に、前記自車輌の走行行動を仮想的に動画で示すイメージ画像、駐停車するまでの走行コースを示す移動経路、及び駐車予定スペースのシンボル画像を前記自車輌のフロントウインドシールド面に表示するヘッドアップディスプレイ装置と、
前記自車輌の前方の風景を撮影するフロントカメラと、
前記フロントカメラの撮影画像に前記イメージ画像と前記移動経路と前記駐車予定スペースのシンボル画像とを重ねて表示する前記自車輌のダッシュボードに装着されるモニター装置と、
前記自動運転システムからの入力に基づいて前記ヘッドアップディスプレイ装置及び前記モニター装置における前記イメージ画像、前記移動経路、及び前記駐車予定スペースのシンボル画像の表示を制御するためのディスプレイ制御部と、を備える車輌用画像表示システム。
前記自動運転システムによって、駐停車する行動を取らせようとする場合に、前記自車輌の走行行動を仮想的に動画で示すイメージ画像、駐停車するまでの走行コースを示す移動経路、及び駐車予定スペースのシンボル画像を前記自車輌のフロントウインドシールド面に表示するヘッドアップディスプレイ装置と、
前記自車輌の前方の風景を撮影するフロントカメラと、
前記フロントカメラの撮影画像に前記イメージ画像と前記移動経路と前記駐車予定スペースのシンボル画像とを重ねて表示する前記自車輌のダッシュボードに装着されるモニター装置と、
前記自動運転システムからの入力に基づいて前記ヘッドアップディスプレイ装置及び前記モニター装置における前記イメージ画像、前記移動経路、及び前記駐車予定スペースのシンボル画像の表示を制御するためのディスプレイ制御部と、を備える車輌用画像表示システム。
【請求項3】
予め設定された目的地までの走行予定ルートに従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用表示方法であって、
前記自動運転システムが前記自車輌に前記予定した走行行動と異なる予定外の走行行動を取らせようとする場合に、前記自車輌の前記予定外の走行行動を仮想的に動画で示すイメージ画像、前記予定外の走行コースを示す移動経路、及び前記予定外の走行行動をとる原因である障害物を示す注意喚起マークを生成して、前記自車輌のフロントウインドシールド面及び前記自車輌の前方の風景を撮影するフロントカメラの撮像画像を表示するモニター装置の表示画面に表示させる車輌用画像表示方法。
前記自動運転システムが前記自車輌に前記予定した走行行動と異なる予定外の走行行動を取らせようとする場合に、前記自車輌の前記予定外の走行行動を仮想的に動画で示すイメージ画像、前記予定外の走行コースを示す移動経路、及び前記予定外の走行行動をとる原因である障害物を示す注意喚起マークを生成して、前記自車輌のフロントウインドシールド面及び前記自車輌の前方の風景を撮影するフロントカメラの撮像画像を表示するモニター装置の表示画面に表示させる車輌用画像表示方法。
【請求項4】
予め設定された目的地までの走行予定ルートに従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用表示方法であって、
前記自動運転システムが駐停車する行動を取らせようとする場合に、前記自車輌の走行行動を仮想的に動画で示すイメージ画像、駐停車するまでの走行コースを示す移動経路、及び駐車予定スペースのシンボル画像を生成して、前記自車輌のフロントウインドシールド面及び前記自車輌の前方の風景を撮影するフロントカメラの撮像画像を表示するモニター装置の表示画面に表示させる車輌用画像表示方法。
前記自動運転システムが駐停車する行動を取らせようとする場合に、前記自車輌の走行行動を仮想的に動画で示すイメージ画像、駐停車するまでの走行コースを示す移動経路、及び駐車予定スペースのシンボル画像を生成して、前記自車輌のフロントウインドシールド面及び前記自車輌の前方の風景を撮影するフロントカメラの撮像画像を表示するモニター装置の表示画面に表示させる車輌用画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に自動車等の車輌の自動運転に使用される車輌用画像表示システム及びその方法に関する。
【背景技術】
【0002】
近年、道路交通の安全をより一層向上させるために、自動車等の車輌を運転者による手動操作無しで自動運転させるための様々な技術が開発提案されている。一般に自動運転では、道路地図上における自車輌の位置を検出しながら、予め設定した目的地までの走行ルートに従って道路上を自動走行し、該走行ルート及び自車輌位置は、車載されているナビゲーションシステムのモニター画面にリアルタイムで表示される。
【0003】
しかしながら、乗員は、例えば自動運転による走行中に自車輌及び周囲の車輌の行動を事前に把握できない場合、不安感や不快感に悩まされる虞がある。かかる不安感等を解消するために、予め設定した走行計画に伴って自動走行中の自車輌がとる次の行動と、車車間通信等によって取得した周囲の他車の行動とを乗員に報知する手段を有する自動走行車が提案されている（例えば、特許文献１を参照）。
【0004】
また、車輌の自動運転と運転者による手動運転とを切換可能な自動走行車輌において、自動運転制御による走行状態を画面表示することによって、予め乗員に手動運転に切り換える心構えや準備ができるようにする走行状態提示装置が知られている（例えば、特許文献２を参照）。この装置では、自動運転制御の安定度が、ステアリングホイールを模した画像によって表示され、該ステアリングホイールの傾き及び表示面積が、車輌の周囲の環境情報と自車輌の状態とに基づいて変わるように構成されている。
【0005】
他方、自動車の車庫入れや縦列駐車のための駐車支援装置や自動運転制御システムが既に実用化されている。或る自動車庫入れ装置では、自車輌と駐車スペースとの間にある障害物と接触しない最短経路を導き出し、それと実際に撮像した画像とを重ねて表示装置に表示する（例えば、特許文献３を参照）。これを運転者が確認し、必要に応じて修正した後に、自動運転による車庫入れが開始される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平１０−１０５８８５号公報
【特許文献2】特開２００１−１９９２９５号公報
【特許文献3】国際公開第２００６／０６４５４４号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献１に記載される従来の自動走行車は、表示部の画面上に車輌が、その進行方向を表す二等辺三角形の底辺に矩形を足した記号により、車線変更の方向が湾曲した矢印により模擬的に表されている。これらの簡単な記号では、具体的な自車輌及び他車の走行状態、即ち走行速度や車間距離等、車線変更の具体的な走路を乗員に認識させることが困難である。そのため、乗員の不安感を十分に解消又は軽減できない虞がある。
【0008】
上記特許文献２記載の走行状態提示装置では、自動運転制御の安定度をステアリングホイールを模した画像の傾き及び表示面積に置き換えて表示している。具体的には、安定度が良好で手動運転への切換可能性が低いほど、ステアリングホイールの傾きが大きくかつ表示面積が小さくなり、逆に安定度が低く、手動運転への切換可能性が高いほど、ステアリングホイールの傾きが小さくかつ表示面積が大きくなる。しかしながら、このような画像表示では、乗員に手動運転への切換を必要とする自車輌の走行状態を具体的にかつ直感的に理解又は想像させることは困難である。そのため、特に緊急時には、乗員の判断や対応が遅れたり十分でない虞がある。
【0009】
特許文献３記載の自動車庫入れ装置では、ＧＰＳ装置や各種センサ等により取得した位置データに基づく自車輌、障害物及び駐車スペースと、演算した車庫入れの候補経路とを、車載カメラが撮像した実際の画像に重ね合わせて表示することができる。しかしながら、障害物及び駐車スペースは、その輪郭又は面積を表す図形に置き換えて、候補経路は複数の格子点を繋ぐ折れ線で表示される。そのため、自車輌がどのように障害物を回避して駐車スペースに入るのかを、ドライバに十分認識させることは難しい。ましてや、初めての又は普段馴れていない駐車スペースに入れる場合には、自車輌に対して駐車スペースが十分に広いのか、どのように駐車するのかを想像することは非常に困難である。
【0010】
そこで、本発明は、上述した従来の問題点を解消するためになされたもので、その目的は、自動車等の車輌の自動運転において、自車輌が次に取ろうとしている走行行動を、画像表示によって運転者及び他の乗員に短時間で直感的に、具体的に分かり易く予告する車輌用画像表示システム、及びそのための方法を提供することにある。
【課題を解決するための手段】
【0011】
本発明の車輌用画像表示システムは、予め設定された目的地までの走行予定ルートに沿って、予定した走行行動に従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用画像表示システムであって、前記自動運転システムによって、前記予定の走行行動に沿って予め決められた道路上の予定走行コースから外れて予定外の走行コースを走行する走行行動を取らせようとする場合に、前記予定外の前記自車輌の走行行動を仮想的に動画で示すイメージ画像、前記予定外の走行コースを示す移動経路、及び予定外の走行行動をとる原因である障害物を示す注意喚起マークを前記自車輌のフロントウインドシールド面に表示するヘッドアップディスプレイ装置と、前記自車輌の前方の風景を撮影するフロントカメラと、前記フロントカメラの撮影画像に前記イメージ画像と前記移動経路と前記注意喚起マークとを重ねて表示する前記自車輌のダッシュボードに装着されるモニター装置と、前記自動運転システムからの入力に基づいて前記ヘッドアップディスプレイ装置及び前記モニター装置における前記イメージ画像、前記移動経路、及び前記注意喚起マークの表示を制御するためのディスプレイ制御部と、を備えることを特徴とする。
【0012】
注意喚起マークが表示されることで、搭乗するユーザーは、自動運転システムが採る予定外の走行行動の原因を知ることができるため不安が解消され、自動運転システムへの信頼感が高まる。
【0013】
また、本発明の車輌用画像表示システムは、予め設定された目的地までの走行予定ルートに沿って、予定した走行行動に従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用画像表示システムであって、前記自動運転システムによって、駐停車する行動を取らせようとする場合に、動画で前記自車輌の走行行動を仮想的に示すイメージ画像、駐停車するまでの走行コースを示す移動経路、及び駐車予定スペースのシンボル画像を前記自車輌のフロントウインドシールド面に表示するヘッドアップディスプレイ装置と、前記自車輌の前方の風景を撮影するフロントカメラと、前記フロントカメラの撮影画像に前記イメージ画像と前記移動経路と前記駐車予定スペースのシンボル画像とを重ねて表示する前記自車輌のダッシュボードに装着されるモニター装置と、前記自動運転システムからの入力に基づいて前記ヘッドアップディスプレイ装置及び前記モニター装置における前記イメージ画像、前記移動経路、及び前記駐車予定スペースのシンボル画像の表示を制御するためのディスプレイ制御部とを備えることを特徴とする。
【0014】
自車輌を駐車させようとする移動経路と駐車スペースを表示することで、搭乗するユーザーは、自動運転システムがとろうとする駐車行動を事前に知ることができるため、安心感を与えることができる。
【0015】
本発明の別の側面によれば、予め設定された目的地までの走行予定ルートに従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用表示方法であって、前記自動運転システムが前記自車輌に前記予定した走行行動と異なる予定外の走行行動を取らせようとする場合に、前記予定外の前記自車輌の走行行動を仮想的に動画で示すイメージ画像、前記予定外の走行コースを示す移動経路、及び予定外の走行行動をとる原因である障害物を示す注意喚起マークを生成して、前記自車輌のフロントウインドシールド面及び前記自車輌の前方の風景を撮影するフロントカメラの撮像画像を表示するモニター装置の表示画面に表示させることを特徴とする。
【0016】
また、本発明の車輌用表示方法は、予め設定された目的地までの走行予定ルートに従って自車輌を自動運転により走行させる自動運転システムについて使用するための車輌用表示方法であって、前記自動運転システムが駐停車する行動を取らせようとする場合に、前記自車輌の走行行動を仮想的に動画で示すイメージ画像、駐車するまでの走行コースを示す移動経路、及び駐車予定スペースのシンボル画像を生成して、前記自車輌のフロントウインドシールド面及び前記自車輌の前方の風景を撮影するフロントカメラの撮像画像を表示するモニター装置の表示画面に表示させることを特徴とする。
【0021】
このように自車輌が次に取ろうとしている予定外の走行行動を、視覚的なイメージ画像としてフロントウインドシールド面及びモニター装置の表示の画面に予告表示させることによって、その行動内容を事前に自車輌の乗員に短時間で直感的に認識させることができる。
【0023】
このように、予定される自車輌の移動経路を注意喚起マークや駐車予定スペースのシンボル画像と共にフロントウインドシールド面上及びモニター装置の表示画面上に表示することにより、自車輌が次の走行行動を乗員に、より具体的に正確に認識させることができる。
【図面の簡単な説明】
【0029】
【図1】本発明の好適な実施形態による車輌用画像表示システムの構成全体を示すブロック図。
【図2】カメラ及びセンサーを配置した自動車の一例を示す平面図。
【図3】本発明の車輌用画像表示システムを備える自動車のフロントウインドシールド及びダッシュボード上部を運転席側から見た概念図。
【図4】（ａ）図及び（ｂ）図は運転席側から見たフロントウインドシールドの表示領域を示す説明図。
【図6】（ａ）図及び（ｂ）図はモニター装置の表示画面を拡大して示す説明図。
【図7】（ａ）図及び（ｂ）図は、自動運転時の第１及び第２ディスプレイ装置の標準画面表示を示す模式図。
【図8】第２ディスプレイ装置の標準画面表示の変形例を示す模式図。
【図9】第２ディスプレイ装置の標準画面表示の別の変形例を示す模式図。
【図10】（ａ）図及び（ｂ）図は走行コースのシンボル画像の変形例を示す図。
【図11】（ａ）図及び（ｂ）図は追越車線から走行車線へ車線変更する場合の画面表示を示す模式図。
【図12】（ａ）〜（ｄ）図は、フロントウインドシールドに表示される仮想車輌の車線変更を時間経過順に示す模式図。
【図15】（ａ）〜（ｃ）図はそれぞれ後続車輌を示すリアビューの表示画像。
【図16】（ａ）図及び（ｂ）図は別の車線変更のフロントウインドシールドへの画面表示を時間経過順に示す模式図。
【図18】（ａ）図及び（ｂ）図は更に別の車線変更の画面表示を示す模式図。
【図19】（ａ）図〜（ｃ）図はＵターンする場合のフロントウインドシールドへの画面表示を時間経過順に示す模式図。
【図21】（ａ）図及び（ｂ）図は道路の路側帯に駐停車する場合のフロントウインドシールドへの画面表示を時間経過順に示す模式図。
【図23】（ａ）図及び（ｂ）図は道路の路側帯に縦列駐車する場合のフロントウインドシールドへの画面表示を時間経過順に示す模式図。
【図25】（ａ）図及び（ｂ）図は駐車スペースに後進で駐車する場合のフロントウインドシールドへの画面表示を時間経過順に示す模式図。
【発明を実施するための形態】
【0030】
我が国では、自動車等の車輌の自動走行システムについて、その自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は、加速・操舵・制動のいずれかを自動車が行い、安全運転支援システムと呼ばれる。レベル２は、加速・操舵・制動の内複数の操作を同時に自動車が行い、準自動走行システムと呼ばれる。レベル３は、加速・操舵・制動を全て自動車が行い、緊急時のみドライバーが対応する状態で、これも準自動走行システムと呼ばれる。レベル４は、加速・操舵・制動を全てドライバー以外が行い、ドライバーが全く関与しない状態で完全自動走行システムと呼ばれる。また、レベル２からレベル４までを自動走行システムとも呼んでいる（「SIP（戦略的イノベーション創造プログラム）自動走行システム研究開発計画」、2014年11月13日、内閣府、政策統括官（科学技術・イノベーション担当））。これに従って、本明細書において「自動運転」は、特に明言しない限り、基本的に上記レベル１からレベル４まで全自動化レベルの自動走行を含むものとする。
【0031】
以下に、添付図面を参照しつつ、本発明による画像表示システムの好適な実施形態について詳細に説明する。尚、本実施形態における自動運転は、上記レベル３の自動走行をいうものとする。また、添付図面において、同一又は類似の構成要素には、同一又は類似の参照符号を付して表すものとする。
【0032】
図１は、本実施形態の自動車の車輌用画像表示システム１、及びそれと組み合わせて使用する自動運転システム２の構成全体を概念的に示している。車輌用画像表示システム１は、自動車のフロントウインドシールドを画面表示に利用した第１ティスプレイ装置３、自動車のダッシュボードにインダッシュ又はオンダッシュで搭載されるモニター装置からなる第２ディスプレイ装置４、ディスプレイ制御部５、及びディスプレイ情報記憶部６を備える。
【0033】
自動運転システム２は、自動運転制御部７、情報入力部８、及び自動走行情報記憶部９を備える。自動運転制御部７は、車輌用画像表示システム１のディスプレイ制御部５と、自動車の加速系１０、操舵系１１、制動系１２及び指示系１３とに接続されている。更に自動運転制御部７は、図示しない燃料系やバッテリー等の電気系にも接続されている。
【0034】
一般に、加速系１０は、原動機の回転数を上げたりギアチェンジをして自動車を発進させ、その速度を増加又は維持する働きを行う。操舵系１１は、自動車のステアリングホイールを操作する働きを行う。制動系１２は、原動機の回転数を下げたりギアチェンジをして自動車の速度を減少又は走行を停止させる働きを行う。指示系１３は、自動車の方向指示器、駐車灯、非常点滅表示灯、前照灯、尾灯、後退灯等を点灯又は消灯させる働きを行う。
【0035】
情報入力手段８には、自車輌の位置や走行状態等の自車輌情報を取得するために、自車輌に設置された各種センサーや外部との通信機器等が接続されている。例えば、自車輌位置を精度良く把握するために、地球を周回している衛星から送信されてくる信号や画像データをグローバル・ポジショニング・システム（ＧＰＳ）装置により受信し、又は道路上に設置されたアンテナや通信チップとの路車間通信により情報を入手することができる。
【0036】
また、情報入力手段８は、自車輌の操舵系１１に設置されたシフトポジションセンサー、加速系１０に設置された原動機の回転センサー、制動系１２に設置されたブレーキセンサー、車輪等に設置された速度センサー等から、自車輌の走行状態に関する情報を入手することができる。更に、運転者又は他の乗員からの直接的又は間接的な入力を受けることもできる。
【0037】
更に情報入力手段８には、自車輌の周囲の交通状況に関する情報を取得するために、自車輌に設置されたカメラ、各種センサーや外部との通信機器等が接続されている。例えば、自車輌の周囲を走行又は駐停車している他車との車車間通信により、当該他車の位置や進路、走行状態を、道路上のアンテナや通信チップとの路車間通信及び／又はインターネットや公共放送を通じた交通情報センターとの無線通信により、他車輌の走行状況や道路状況等に関する最新の交通情報を入手することができる。
【0038】
図２に例示するように、自動車１４の真直及び左右前方の対象物を認識するために、フロントウインドシールド１５に左右一対のフロントカメラ１６，１６を設け、左右後方の対象物を認識するために、左右のドアミラー１７ａ，１７ｂの下部に左右一対のリアカメラ１８ａ，１８ｂをそれぞれ設けることができる。別の実施形態では、これらのカメラに別のカメラを追加して、３６０°カメラを備えることもできる。
【0039】
更に図２では、自動車１４の真直後方を検知するために、リヤウインドシールド１９の上部中央に、例えばミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサー、超音波センサー等からなるレーダーセンサー２０が装着されている。また、濃霧や大雨等の天候不良や夜間に対応するために、同様のレーダーセンサーを自動車１４の前部中央（例えば、ラジエーターグリル又はボンネット内）に装着することもできる。別の実施形態では、レーダーセンサー２０に代えて又はそれに加えて、自動車４の後部中央に中央リアカメラを装着することもできる。
【0040】
自動走行情報記憶部９には、道路地図、車線情報、制限速度や道路標識等の交通規制のような、目的地までの走行ルートを選定しかつ必要に応じて変更するため、及び決定された走行ルートに従って自動運転で走行するために必要な地図道路情報が予め記憶されている。更に自動走行情報記憶部９には、情報入力手段８が取得した情報から、自車輌の周囲に存在する自動車等の車輌や歩行者を対象物として検出しかつ認識するために使用する、様々な対象物の画像又は形状特徴のデータを蓄積した基準データファイルを記憶させることができる。
【0041】
自動運転制御部７は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むマイクロコンピュータで構成されており、前記ＣＰＵは、前記ＲＯＭに格納されているプログラムを実行して、自動車の自動運転を行う。自動運転の開始に先立って、運転者又は他の乗員が目的地を入力すると、自動運転制御部７は、該目的地までの走行ルートを演算して１つ又はそれ以上の候補を提示する。提示された走行ルートの１つを乗員が確認又は選択すると、その走行ルートに従って自動運転制御部７は加速系１０、操舵系１１、制動系１２及び指示系１３を駆動制御し、自動運転を開始する。また、自動運転制御部７は、乗員による切換操作に従って、自動運転モードと手動運転モードとの切換を行う。
【0042】
本実施形態の車輌用画像表示システム１において、第１及び第２ティスプレイ装置３，４の画像表示は、ディスプレイ制御部５によって制御される。ディスプレイ制御部５は、自動運転システム２の自動運転制御部７から受ける指示や情報に基づいて、必要な画像を第１及び／又は第２ティスプレイ装置３，４の画面に表示する。ディスプレイ情報記憶部６には、自車輌の自動運転中の行動又は挙動予告を表す画像の様々な表示パターンのデータファイルや、その表示方法のプログラムが予め記憶されている。
【0043】
図３は、車輌用画像表示システム１を備えた自動車のフロントウインドシールド１５及びダッシュボード２１上部を運転席側から概念的に示している。ダッシュボード２１の上部には、第１ディスプレイ装置３としてのフロントウインドシールド１５に画像を投影するためのヘッドアップディスプレイ（ＨＵＤ）装置２２が設けられている。ＨＵＤ装置２２は、ダッシュボード２１内に組み込むことができる。前記ＨＵＤ装置は、ダッシュボード２１上面や、運転席天井部のサンバイザー２３の位置に装着することもできる。更に、これら及び／又は他の位置の複数箇所から投影できるように設けることもできる。
【0044】
一般にＨＵＤ装置は、フロントウインドシールド自体をスクリーンとしたり、フロントウインドシールドと乗員の眼との間若しくはフロントウインドシールドの表面に設けられた透明スクリーンに表示画像を投影するタイプ等、様々な構造のものが使用され、開発されている。本発明のＨＵＤ装置は、従来から知られた如何なる構造、仕組みのものであっても良い。
【0045】
ダッシュボード２１の正面略中央には、第２ディスプレイ装置４としてのモニター装置２４がインダッシュで即ちダッシュボード２１内に一体に組み込まれている。前記モニター装置は、オンダッシュで即ちダッシュボード２１上に取り付けることもできる。更に、フロントウインドシールド１５の中央上部に、バックミラー２５が取り付けられている。バックミラー２５は、後述するように車輌用画像表示システム１の第３ディスプレイ装置として機能させることも可能である。
【0046】
フロントウインドシールド１５は、その全面又は一部を第１ディスプレイ装置３として使用するために、いくつかの表示領域に区分けすることができる。例えば、図４（ａ）に例示するように、フロントウインドシールド１５を通して見える現実風景に重ねて表示する画像を投影するために、該フロントウインドシールドの中央部分を含む広い視野領域に主表示領域３１を設定する。主表示領域３１は、後述するように、自動車１４が自動運転での走行中に予定されている道路上の走行コース、及び、例えば車線変更のために予定の走行コースから外れて走行するような、予定外の走行行動を予告する画像を表示するために使用される。
【0047】
主表示領域３１の下側には、フロントウインドシールド１５の下辺に沿って、左右及び中央に副表示領域３２ａ〜３２ｃを配置する。左右副表示領域３２ａ，３２ｂは、それぞれ左右リアカメラ１８ａ，１８ｂが撮像したリアビューの映像／又はそれを処理した画像を投影するために使用することができる。中央副表示領域３２ｃは、自動車１４後部のレーダーセンサー２０が検出した対象を加工処理した画像、又は該レーダーセンサーに代わる前記中央リアカメラが撮像した映像若しくはそれを処理した画像を投影することができる。
【0048】
別の実施例では、図４(ｂ)に示すように、左右副表示領域３２ａ，３２ｂが、それぞれフロントウインドシールド１５の左右側辺に沿ってその上部寄りに配置されている。これにより、図４(ａ)の場合よりも広い主表示領域３１を確保することができる。
【0049】
図４(ａ)、（ｂ）は、いずれもフロントウインドシールド１５から自車輌のボンネットが見えない場合に適用するのが好ましい。これに対し、図５は、フロントウインドシールド１５から自車輌のボンネット３３の前部が見える場合を例示している。この場合、左右及び中央副表示領域３２ａ〜３２ｃは、図示するように、現実風景の道路及びその周辺環境が見えない視野領域、即ちボンネット３３が見える範囲に配置される。
【0050】
また別の実施例では、バックミラー２５を車輌用画像表示システム１の第３ディスプレイ装置として使用し、レーダーセンサー２０又は前記中央リアカメラからの画像を表示させることができる。この場合、中央副表示領域３２ｃを省略することができるので、その分だけ主表示領域３１を広くし、又は第１ディスプレイ装置３として使用しないフロントウインドシールド１５の視野領域を広くすることができる。
【0051】
当然ながら、フロントウインドシールド１５における第１ディスプレイ装置３の表示領域は、上記図４(ａ)、（ｂ）及び図５に限定されるものではない。前記主副表示領域は、表示される画像の内容や大きさ、形態、位置等によって、その大きさ、輪郭又は配置を様々に設定することができる。
【0052】
図６（ａ）、（ｂ）は、モニター装置２４の表示画面３４を拡大して示している。モニター装置２４は、自動車１４に搭載されているカーナビゲーションシステムのディスプレイ装置として通常使用されるものである。その場合、表示画面３４は、図６（ａ）に例示するように、その略全体が、走行時に現在位置や目的地への経路案内を行なうための、様々な道路情報を含む地図データを表示する情報表示領域３４ａで占められ、その下辺に沿ってタッチパネル式の操作領域３４ｂを配するように構成することができる。
【0053】
しかしながら、モニター装置２４の表示画面３４は、図６（ａ）のように領域を区分けしたものに限定されない。例えば、操作領域３４ｂを省略して表示画面３４全体を１つの表示領域とし、その中にタッチパネル式の操作ボタンを適当に配置することができる。
【0054】
図６（ｂ）は、モニター装置２４を第２ディスプレイ装置４として使用する場合の、表示画面３４の構成を例示している。同図の表示画面３４は、図６（ａ）の情報表示領域３４ａが、第１ディスプレイ装置３の主表示領域３１と同様に、自動車１４が自動運転で走行中に予定されている道路上の走行コース、及び道路上で予定の走行コースから外れて走行する場合等にその予定外の走行行動を予告する画像を表示するための行動表示領域３５ａと、前記カーナビゲーションシステムのディスプレイ装置として地図データを表示するためのナビゲーション表示領域３５ｂとに２分割されている。
【0055】
図６（ｂ）では、ナビゲーション表示領域３５ｂが、地図データを表示するために必要な最小面積に制限され、行動表示領域３５ａが大きく設定されている。行動表示領域３５ａ及びナビゲーション表示領域３５ｂの下側には、タッチパネル式の操作領域３４ｂが残されている。別の実施例では、上述したように操作領域３４ｂを省略し、タッチパネル式の操作ボタンを行動表示領域３５ａ及び／又はナビゲーション表示領域３５ｂ内に適当に配置することができる。
【0056】
図６（ｂ）は、行動表示領域３５ａ及びナビゲーション表示領域３５ｂの画面構成を同図の区分け表示に限定するものではない。これらの表示領域は、必要に応じて拡大又は縮小し、その輪郭及び／又は配置を変更することができ、更に必要に応じて別の表示領域（例えば、地図以外の道路情報の表示）を設定することができる。
【0057】
また、表示画面３４には、必要に応じてフロントウインドシールド１５の左右及び中央副表示領域３２ａ〜３２ｃに対応するリアビューの画像を表示させることができる。それらリアビューの画像は、必ずしも常時表示する必要はない。表示画面３４の大きさの都合上、必要な場合のみ一時的に表示させることが好ましい。
【0058】
モニター装置２４の表示画面３４は、その画面構成を図６（ａ）のものと図６（ｂ）のものとで切り換えて表示することができる。例えば、自動運転による走行中は、常時図６（ｂ）の画面構成で表示し、手動運転による走行中は、常時図６（ａ）の画面構成で表示させることができる。当然ながら、自動運転中及び／又は手動運転中に図６（ａ）のものと図６（ｂ）のものとを必要に応じて自動的に又は手動により切り換えて表示させることも可能である。
【0059】
図７（ａ），（ｂ）は、自動運転による走行中に、第１及び第２ディスプレイ装置３，４にそれぞれ表示される標準画面表示の一例を示している。自動車１４の自動運転は、例えば次のように行われるが、これに限定されるものではない。
【0060】
先ず、事前に乗員が入力した目的地と、情報入力手段８により取得される自車輌の現在位置情報、自動走行情報記憶部９に保存されている該目的地までの地図データ、及び目的地入力時に前記情報入力手段を介して取得される道路交通情報等に基づいて、自動運転制御部７が、目的地までの走行ルートの候補を１つ又は複数演算し、乗員に提示する。乗員の確認又は承認により決定された走行ルートは、走行予定ルートとして自動走行情報記憶部９に保存される。乗員による自動運転開始の指示によって、自動運転制御部７は、加速系１０、操舵系１１、制動系１２及び指示系１３を駆動制御し、前記走行予定ルートに沿って自車輌を自動運転で走行させる。ここで、走行予定ルートとは、予め設定された目的地までの道順をいうものとする。
【0061】
第１ディスプレイ装置３は、例えば図７（ａ）に示すように、フロントウインドシールド１５を通して見える現実風景３６の道路上に、自車輌の走行コースを表すシンボル画像３７を重ねて表示する。ここで、走行コースとは、実際に道路上の車線を自車輌が操舵されて走行するコースをいうものとする。シンボル画像３７は、自動運転システム２の自動運転制御部７から自車輌の走行情報を入手したディスプレイ制御部５が、ディスプレイ情報記憶部６から入手した画像データを加工処理し、ＨＵＤ装置２２からフロントウインドシールド１５上の主表示領域３１に表示させる。
【0062】
自動運転制御部７からの前記走行情報には、例えば自車輌の現在位置、その周辺の地図並びに道路情報及び車線等の路線情報、自車輌の走行速度、ステアリング操舵角等を含むことができる。それによって、シンボル画像３７を現実風景３６中の追越車線３８に対して適正に位置合わせして投影させることができる。特に、自動運転制御部７又はＨＵＤ装置２２が、運転席にいる乗員の眼の位置を事前に確認しておくと、シンボル画像３７を現実風景３６に対してより正確に表示できるので好ましい。
【0063】
第２ディスプレイ装置４は、例えば図７（ｂ）に示すように、モニター装置２４の行動表示領域３５ａに、フロントカメラ１６，１６により撮像した自車前方の風景をリアルタイムで動画表示する。この撮像風景３９の追越車線３８’に重ねて、自車輌の走行コースのシンボル画像３７’が表示される。走行中の自車輌の前方の車線位置は、フロントカメラ１６，１６によって高精度に把握できるので、行動表示領域３５ａに投影される撮像風景３９にシンボル画像３７’を正確に位置合わせすることは、比較的容易である。
【0064】
モニター装置２４のナビゲーション表示領域３５ｂには、前記カーナビゲーションシステムによって通常表示されるナビゲーション情報、即ち自車輌の周辺の道路地図、該地図上における走行予定ルート、及び自車輌位置等が表示される。上述したように、行動表示領域３５ａ又はナビゲーション表示領域３５ｂを表示画面３４全体に拡大して表示し、また元の２分割表示に戻すことも可能である。
【0065】
図８は、モニター装置２４の行動表示領域３５ａに表示される標準画面の変形例を示している。この変形例では、行動表示領域３５ａに走行中の自車輌を表すイメージ画像４０が追加されている。イメージ画像４０は、自車輌の全体を道路上に情報少し斜め後方から見た形態を模した画像であり、予め準備されてディスプレイ情報記憶部６に保存されている。
【0066】
このようにフロントカメラ１６，１６による撮像風景３９に自車輌のイメージ画像４０を重ねることによって、乗員は、比較的小さい表示画面３４上で、自車輌が道路上を予定の走行コースに沿って走行している様子（例えば、位置関係や向き等）を視覚的により分かり易く認識することができる。従って、図８の場合、自車輌の走行コースを表すシンボル画像３７’を省略しても差し支えない。
【0067】
図９は、図８の更に変形例を示している。この変形例では、行動表示領域３５ａに追加される自車輌のイメージ画像４１が、車体の一部即ち運転席側から見たボンネット前端部分のみを表している。これにより、図８の場合よりも、モニター装置２４の行動表示領域３５ａに写される撮像風景３９の範囲を広くすることができる。イメージ画像４１も、同様に予め準備されてディスプレイ情報記憶部６に保存されている。この場合も、自車輌の進行方向及び走行コースが視覚的に分かり易いから、シンボル画像３７’を省略することができる。
【0068】
図７（ａ），（ｂ）の実施例では、走行コースのシンボル画像３７，３７’が、矢じり部分と軸部分とからなる矢印マークで構成されている。前記軸部分は、進行方向を一目で分かり易くするために、軸部分が自車側から前方に向けて先細に、それに合わせて前記矢じり部分も前方に向けて先細に描写される。図７（ａ），（ｂ）では、走行コースが直線のため、シンボル画像３７，３７’が真っ直ぐな矢印マークになっている。走行コースが湾曲している場合、それに合わせて矢印マークを湾曲させることは言うまでもない。
【0069】
図１０（ａ），（ｂ）は、シンボル画像３７，３７’の変形例をそれぞれ示している。図１０（ａ）のシンボル画像４２は、進行方向に向けて徐々に寸法が小さくなる複数の同形の三角形を連続して配置したものである。図１０（ｂ）のシンボル画像４３は、同様に進行方向に向けて徐々に寸法が小さくなる複数の同形の矢じり形を連続して配置したものである。当然ながら、シンボル画像３７は、図７又は図１０（ａ），（ｂ）のものに限定されるものでなく、他の様々な形態のものが考えられる。
【0070】
走行コースのシンボル画像３７，３７’は、図７及び図１０（ａ），（ｂ）のものを含むいずれの形態であっても、その色は、道路上に標識等として通常使用されている色とは明確に異なることが好ましい。シンボル画像３７，３７’が通常の予定された走行コースを表していることを考慮すると、乗員に比較的安心感を与えるであろう青系や緑系の色が好ましい。
【0071】
自動車１４が、走行予定ルートに従って道路上を自動運転により走行中に、何らかの原因によって、第１及び第２ディスプレイ装置３，４の標準画面表示に表れるシンボル画像３７の走行コースから逸れたり外れて走行しようとする場合の画面表示について説明する。そのような場合としては、例えば、追い越し車線から走行車線に、走行車線から追越車線又は対向車線に車線変更したり、Ｕターンしたり、道路の路肩帯に駐停車したり、駐車スペースに後進で駐車したりする場合が考えられる。当然ながら、本発明はこれらの場合に限定されるものではない。
【0072】
本発明は、自動運転中の自動車が通常の予定された走行コースから逸れたり外れた走行行動をする前に、その取ろうとしている次の走行行動を、運転者及び他の乗員に直感的かつ瞬間的に分かり易い表現方法で予告する。本実施形態において、予定の走行行動と異なる走行行動を取るべきか、どのように行動すべきかは、自動運転システム２の自動運転制御部７が、予め設定されかつ自動走行情報記憶部９に保存されているプログラムに従って判断し、決定する。
【0073】
自動運転制御部７の判断及び決定は、情報入力手段８を介して入手する様々な情報、例えば自車輌の現在位置及び走行状態、周辺の道路状況及び他車又は他の対象物の状況等に基づいて行われる。自動運転制御部７が決定した次の予定外の走行行動は、第１及び／又は第２ディスプレイ装置３，４に表示される予告を見た乗員が取り消したり、手動運転に切り換えない限り、実行される。
【0074】
図１１（ａ）及び（ｂ）は、自車輌が自動運転中に、追越車線から走行車線へ車線変更する場合に、それに先立って第１及び第２ディスプレイ装置３，４にそれぞれ表示される予告のための画面を模式的に示している。第１ディスプレイ装置３には、予定走行コースのシンボル画像３７に加えて、車線変更の走行コースを表すシンボル画像４４が表示される。第２ティスプレイ装置４にも同様に、予定走行コースのシンボル画像３７’に加えて、車線変更の走行コースを表すシンボル画像４４’が表示される。シンボル画像４４，４４’は、シンボル画像３７を消してそれに代えて表示させることもできる。
【0075】
第１ディスプレイ装置３において、シンボル画像４４は、現実風景３６の追越車線３８上の位置から、移動先の隣接する走行車線４５上の位置まで、自車輌が自動走行すると予測される軌跡に沿って湾曲する矢印マークで構成されている。第２ディスプレイ装置４においても、シンボル画像４４’は、撮像風景３９の追越車線３８’上の位置から、移動先の隣接する走行車線４５’上の位置まで、自車輌の自動走行が予測される軌跡に沿って湾曲する矢印マークで構成されている。
【0076】
これらの矢印マークも、シンボル画像３７，３７’と同様に、自車側から前方に向けて先細の軸部分と、それに合わせて前方に向けて先細の矢じり部分とからなる。シンボル画像４４，４４’の矢印とシンボル画像３７，３７’の矢印とは、互いに自車側の端部を同じ位置に重ねて配置し、かつそこから始まるように表示することができる。それによって、乗員は、現在走行中の実際のコースに関して、車線変更の走行コースをより明確に、直感的かつ具体的に認識することができる。
【0077】
更に、シンボル画像４４，４４’の矢印とシンボル画像３７，３７’の矢印とは、明確に識別し得る異なる色で描写することが好ましい。例えば、上述したシンボル画像３７，３７’の青系又は緑系の色に対して、車線変更の行動予告を注意喚起するように、黄系又は橙系の色を用いることができる。更にシンボル画像４１は、全体を輝度表示したり、自車側から前方に向けて高輝度部分が移動するように表示することによって、より目立たせることができる。
【0078】
更に第１ディスプレイ装置３には、車線変更する自車輌の仮想車輌が、仮想画像４６として動画で表示される。同様に、第２ティスプレイ装置４にも、車線変更する自車輌の仮想車輌が、仮想画像４６’として動画で表示される。仮想画像４６，４６’は、後述するように、車線変更の走行コースを表すシンボル画像４４，４４’の矢印を軌跡として、その上を自車輌の仮想車輌が走行するように表示される。
【0079】
仮想画像４６，４６’は、乗員が現実の車輌と誤認したり混同しないように、例えば全体が白色又は淡色の半透明で、少なくとも自車輌の外観が認識される程度に表示することが好ましい。それによって、乗員は、これから行われる自車輌の車線変更を、視覚でより具体的にかつ直感的に予想することができる。
【0080】
自動運転システム２の自動運転制御部７は、上述した追越車線３８から走行車線４１への車線変更を決定すると、車輌用画像表示システム１のディスプレイ制御部５に前記車線変更の予告表示を指示する。ディスプレイ制御部５は、車線変更の予告表示に必要な画像データをディスプレイ情報記憶部６から入手し、必要な処理をしてシンボル画像４４，４４’及び仮想画像４６，４６’を生成し、第１及び第２ティスプレイ装置３，４に送って表示させる。
【0081】
図１２（ａ）〜（ｄ）は、フロントウインドシールド１５に表示される自車輌の仮想画像４６が車線変更する経過を時間順に示している。仮想画像４６は、先ずフロントウインドシールド１５の直前を走行しているかの如き外観及び大きさの仮想車輌を表す図１２（ａ）の仮想画像４６１から開始する。前記仮想車輌は、フロントウインドシールド１５の直ぐ前方位置から、図１２（ｂ），（ｃ）の仮想画像４６２及び４６３で示すように、シンボル画像４４の走行コースに沿って、実車と同様に車体の向きを変えかつ遠離るように走行車線４５に移動する。そして、前記仮想車輌は、図１２（ｄ）に示すように、走行車線４５を直進する向きの仮想画像４６４となって、移動を終了する。
【0082】
図１３（ａ）〜（ｄ）は、モニター装置２４に表示される自車輌の仮想画像４６’が車線変更する経過を時間順に示している。仮想画像４６’は、先ず撮像画像３９上で、自車輌の直前を走行しているかの如き外観及び大きさの仮想車輌を表す図１３（ａ）の仮想画像４６１’から開始する。前記仮想車輌は、自車輌の直前位置から、図１３（ｂ），（ｃ）の仮想画像４６２’及び４６３’で示すように、シンボル画像４４’の走行コースに沿って、実車と同様に車体の向きを変えかつ遠離るように走行車線４５’に移動する。そして、前記仮想車輌は、図１３（ｄ）に示すように、走行車線４５’を直進する向きの仮想画像４６４’となって、移動を終了する。
【0083】
前記仮想車輌の仮想画像４６１，４６１’から仮想画像４６４，４６４’までの移動は、自車輌の実際の走行速度よりも高速で表示することが好ましい。それにより、車線変更を予告した後、自動運転システム２の自動運転制御部７が予定している車線変更のタイミングまでの間に、乗員に車線変更の中止や手動運転への切換を判断させ、必要があれば準備させる時間的余裕を持たせることができる。
【0084】
図１２（ｄ），図１３（ｄ）の仮想画像４６４，４６４’は、前記仮想車輌の移動終了後直ちに消滅させることができ、又はそれぞれフロントウインドシールド１５及びモニター装置２４上の同じ位置に表示させた状態で、或る短い時間維持することもできる。また、仮想画像４６１，４６１’から仮想画像４６４，４６４’までの動画を繰り返して表示させることもできる。
【0085】
車線変更の走行コースを表すシンボル画像４４，４４’は、仮想画像４６，４６’の表示と連動させることができ、例えば実際に自動運転による車線変更が開始するまでの間、両方とも表示させ続けることができる。また、シンボル画像４４，４４’と仮想画像４６，４６’とは、互いに関係なく、それぞれ適当な時間表示させることができる。
【0086】
例えば、シンボル画像４４，４４’は、自動運転による車線変更の開始から一定の間、又は終了するまで、表示させ続けることができる。この場合、実際の自車輌を、車線変更の開始時点で表示されているシンボル画像４４，４４’の走行コースを追従するように走行させることができる。
【0087】
また、図１２（ｄ），図１３（ｄ）の仮想画像４６４，４６４’は、自動運転による車線変更が終了するまで、表示させ続けることができる。この場合、仮想画像４６４，４６４’は、シンボル画像４４，４４’の矢印の先端付近に表示される。従って、実際に車線変更の開始時点で表示されているシンボル画像４４，４４’を追従するように走行すると、フロントウインドシールド１５及びモニター装置２４上の各画面には、自車輌が徐々に仮想画像４６４，４６４’に接近していくように表示される。そして、車線変更の終了時には、前記各画面の中に吸収されるように消滅させることが可能である。
【0088】
図１４（ａ）〜（ｃ）は、第２ディスプレイ装置４であるモニター装置２４に表示される画面の変形例である。この変形例では、モニター装置２４の行動表示領域３５ａに走行中の自車輌のイメージ画像４０が表示される図８の表示画面に、車線変更の予告表示を行う。
【0089】
自動運転システム２の自動運転制御部７から車線変更の予告表示を指示された車輌用画像表示システム１のディスプレイ制御部５は、ディスプレイ情報記憶部６からの画像データを処理し、車線変更の走行コースを表すシンボル画像４４”を生成し、図８の標準画面に重ねて表示する。シンボル画像４４”は、図１２（ｂ）の実施例と同様に、少なくとも予告表示の間、更に自動運転による車線変更の開始から一定の間又は終了するまで、継続して表示させることができる。
【0090】
シンボル画像４４”は、撮像風景３９の追越車線３８’上の位置から、移動先の隣接する走行車線４５’上の位置まで至る矢印マークで構成されている。シンボル画像４４”の矢印は、自車輌のイメージ画像４０の先端から開始し、自車輌の自動走行が予測される軌跡に沿って湾曲している。シンボル画像４４，４４’と同様に、シンボル画像４４”は、シンボル画像３７，３７’とは異なる色及び／又は輝度表示で、明確に識別し得るように描写することが好ましい。
【0091】
更にモニター装置２４の行動表示領域３５ａには、車線変更する自車輌の仮想車輌が仮想画像４６”として動画で表示される。仮想画像４６”は、車線変更の走行コースを表すシンボル画像４４”の矢印を軌跡として、その上を自車輌の仮想車輌が走行するように表示される。図１４（ａ）〜（ｃ）は、図１３（ａ）〜（ｄ）と同様に、自車輌の仮想画像４６”がモニター装置２４の表示画面上で車線変更する経過を時間順に示している。
【0092】
仮想画像４６”は、先ず撮像画像３９上で、自車輌のイメージ画像４０と略同じ大きさで該イメージ画像から走行車線４５’に向けて飛び出す仮想車輌を表す図１４（ａ）の仮想画像４６１”から開始する。前記仮想車輌は、更にシンボル画像４４”の走行コースに沿って、図１４（ｂ）の仮想画像４６２”で示すように、実車と同様に車体の向きを変えかつ遠離るように走行車線４５’に移動する。そして、前記仮想車輌は、図１４（ｃ）に示すように、走行車線４５’を直進する向きの仮想画像４６３”となって、移動を終了する。仮想画像４６”に関する他の説明は、図１３（ａ）〜（ｄ）の場合と同様であるので、省略する。
【0093】
図１１（ａ）及び（ｂ）の車線変更が必要になる原因の１つとして、後方から他車が高速で接近してくる場合が考えられる。自動運転中の乗員は、手動運転時に比べて、後続車輌への関心及び／又は注意の度合いが低いと考えられる。そこで、車線変更の予告表示と同時に、第１及び／又は第２ディスプレイ装置３，４に、後続車輌の急接近を注意喚起する表示を行うことが好ましい。
【0094】
図１５（ａ）〜（ｃ）は、このような後続車輌の急接近を第１ディスプレイ装置３に示すリアビューの表示画像を例示している。図１５（ａ）は、フロントウインドシールド１５の右副表示領域３２ｂに投影された後続車輌４８の画像を示している。この画像は、右リアカメラ１８ｂが後続車輌４８を正面から捕らえたリアルタイムの撮像画像である。
【0095】
後続車輌４８には、その輪郭を囲むように概ね四角い太枠線の注意喚起マーク４９が追加されている。注意喚起マーク４９には、四角い太枠線以外の様々な形や表示を用いることができる。例えば、図１５（ｂ）に示す変形例の注意喚起マーク４９’は、丸い太枠線で構成されている。図１５（ｃ）の注意喚起マーク４９”は、路面上で後続車輌４８を囲む円のように、一部が欠けた楕円の太枠線で構成されている。
【0096】
注意喚起マーク４９、４９’、４９”は、この後続車輌４８が後方から自車輌に急接近中の車輌であることを識別し、乗員の注意を喚起するための表示である。そのため、前記注意喚起マークは、例えば赤又は橙等の目立つ色で表示することが好ましい。また、自車輌と後続車輌４８との距離によって、色を変更することができる。例えば、自車輌との離間距離が縮まるに連れて、黄から橙、赤へと変化させることもできる。更に、前記注意喚起マークを点滅させることによって、より乗員の注意を喚起することができる。
【0097】
第１ディスプレイ装置３における後続車輌４８の表示は、フロントウインドシールド１５の右副表示領域３２ｂに代えて、中央副表示領域３２ｃに行うこともできる。自車輌が中央リアカメラを備えていない場合、後続車輌４８は撮像画像ではなく、イメージ画像として中央副表示領域３２ｃに表示される。また、別の実施例では、第３ディスプレイ装置としてのバックミラー２５に表示させることもできる。
【0098】
次に、自動運転による走行中に予定走行コースの前方に障害物がある場合に、これを回避するための車線変更を予告する画面表示について説明する。自動運転システム２の自動運転制御部７は、フロントカメラ１６の撮像画像から、及び／又は前記車車間通信や路車間通信等の外部との無線通信から情報入力手段８を介して入力する情報に基づいて、自車輌の予定走行コース上に存在する障害物を事前に検知することができる。
【0099】
かかる障害物を回避するために、走行車線から追越車線又は対向車線への車線変更を決定すると、車輌用画像表示システム１のディスプレイ制御部５に前記車線変更の予告表示を指示する。ディスプレイ制御部５は、車線変更の予告表示に必要な画像データをディスプレイ情報記憶部６から入手し、必要な処理をして表示画像を生成し、第１及び第２ティスプレイ装置３，４に表示させる。
【0100】
図１６（ａ）〜（ｃ）は、走行車線５１から対向車線５２に車線変更する場合に、第１ディスプレイ装置３即ちフロントウインドシールド１５上にされる予告表示の一例を時間経過順で模式的に例示している。図１７（ａ）〜（ｃ）は、その場合に第２ディスプレイ装置４即ちモニター装置２４上にされる予告表示を、同じ時間経過順で模式的に示している。
【0101】
フロントウインドシールド１５には、図１６（ａ）に示すように、予定走行コースを表すシンボル画像３７の矢印に加えて、対向車線への車線変更の走行コースを表すシンボル画像５３が表示される。シンボル画像５３は、図１１（ａ）のシンボル画像４４と同様に矢印マークで構成されるが、これに限定されるものではない。シンボル画像５３は、上記実施形態と同様に、シンボル画像３７とは異なる、それよりも目立つ色で表示することが好ましい。シンボル画像５３は、シンボル画像３７を消してそれに代えて表示させることもできる。
【0102】
更にフロントウインドシールド１５には、車線変更する自車輌の仮想車輌が、仮想画像５４として動画で表示される。仮想画像５４は、車線変更の走行コースであるシンボル画像５３の矢印を軌跡として、その上を自車輌の仮想車輌が走行するように表示される。仮想画像５４も、上記実施形態と同様に、乗員が現実の車輌と誤認したり混同しないように、例えば全体が白色又は淡色の半透明で、少なくとも自車輌の外観が認識される程度に表示することが好ましい。
【0103】
また、フロントウインドシールド１５には、予定走行コース上の障害物を乗員に認識させるための注意喚起マークを追加することができる。図１６（ａ）では、道路上に駐停車する大型車輌５５の後部位置に、×印の注意喚起マーク５６が表示されている。注意喚起マーク５６は、その目的を考慮して、好ましくは例えば赤又は橙等の目立つ色で、更に好ましくは点滅させて表示することができる。
【0104】
自動運転システム２の自動運転制御部７は、対向車線への車線変更を決定して、ディスプレイ制御部５に図１６（ａ）の予告表示をさせた後又はさせる前に、対向車線５２上に対向車輌５７の接近を検知することができる。自動運転制御部７は、車線変更する前に走行車線５１上で一旦停止し、対向車輌５７の通過を待つ必要があると判断すると、一旦停止しようとする位置と、そのための必要な予告表示をするように、ディスプレイ制御部５に指示する。
【0105】
ディスプレイ制御部５は、フロントウインドシールド１５を通して見える現実風景の道路上で停止しようとする位置に合わせて、例えば図１６（ｂ）に示すような停止線マーク５８を表示させる。車線変更の走行コースを表すシンボル画像５３の矢印は、その先端が停止線マーク５８に一致するように修正される。停止線マーク５８は、図１６（ｂ）に限定されず、それ以外の様々な形態のものを採用することができる。
【0106】
この場合、車線変更する自車輌の仮想画像５４は、図１６（ａ）と同様に、フロントウインドシールド１５の直ぐ前方位置から前方へ飛び出すように、シンボル画像５３の走行コース上を走行し始めるが、例えば図１６（ｃ）に示すように、停止線マーク５８の位置で停止する。このとき、仮想画像５４の仮想車輌は、後部のブレーキ灯５９を赤く点灯又は点滅するように表示させることにより、乗員に一旦停止を認識させることができる。
【0107】
図１７（ａ）は、図１６（ａ）のフロントウインドシールド１５に対応してモニター装置２４に表示される予告画面である。同図に示すように、モニター装置２４の行動表示領域３５ａには、前記フロントカメラの撮像画像３９を背景として、予定走行コースのシンボル画像３７’に加えて、車線変更の走行コースを表す矢印マークからなるシンボル画像５３’が表示される。シンボル画像５３’は、シンボル画像３７を消してそれに代えて表示させることもできる。
【0108】
モニター装置２４にも、車線変更する自車輌の仮想車輌が仮想画像５４’として動画で表示される。仮想画像５４’は、車線変更の走行コースであるシンボル画像５３の矢印を軌跡として、その上を走行するように表示される。仮想画像５４’も、乗員が現実の車輌と誤認したり混同しないように、例えば全体が白色又は淡色の半透明で、少なくとも自車輌の外観が認識される程度に表示される。
【0109】
更にモニター装置２４にも、図１７（ａ）に示すように、道路上に駐停車中の大型車輌５５’の後部位置に×印の注意喚起マーク５６’が表示され、これが予定走行コース上の障害物であることを乗員に認識させる。注意喚起マーク５６は、同様に例えば赤又は橙等の目立つ色で、更に点滅させて表示することが好ましい。
【0110】
対向車線５２’上を接近してくる対向車輌５７’の通過を待つ必要がある場合、モニター装置２４の撮像画像３９上で、自車輌を停止させようとする位置に合わせて、図１７（ｂ）に示すような停止線マーク５８’を表示させる。シンボル画像５３’の矢印は、その先端が停止線マーク５８’に一致するように修正される。停止線マーク５８には、図１７（ｂ）以外の様々な形態のものを採用することができる。
【0111】
この場合、車線変更する自車輌の仮想画像５４は、図１６（ａ）と同様に、モニター装置２４の画面直ぐ前方の位置から前方へ飛び出すように、シンボル画像５３’の走行コース上を走行し始めるが、図１７（ｃ）に示すように、停止線マーク５８’の位置で停止する。このとき、仮想画像５４’の仮想車輌が後部のブレーキ灯５９’を赤く点灯又は点滅させるように表示することにより、乗員に一旦停止を認識させることができる。
【0112】
自動運転システム２の自動運転制御部７は、湾曲した道路上を自動運転中に、予定走行コース上の障害物を建物等の陰で視認できない場合でも、かかる障害物の存在を上述した車車間通信や路車間通信等の外部との無線通信によって、事前に検知することができる。図１８（ａ）図及び（ｂ）は、そのような障害物を回避するために走行車線３７、３７’から追越車線６０，６０’に車線変更する場合に、それに先立って第１及び第２ディスプレイ装置３，４にそれぞれ表示される予告画面を模式的に示している。
【0113】
第１ディスプレイ装置３には、フロントウインドシールド１５上に予定走行コースのシンボル画像３７に加えて、車線変更の走行コースを表すシンボル画像６１が表示される。第２ティスプレイ装置４も同様に、モニター装置２４の行動表示領域３５ａに予定走行コースのシンボル画像３７’に加えて、車線変更の走行コースを表すシンボル画像６１’が表示される。シンボル画像６１，６１’は、図示する矢印マークに限定されるものではなく、シンボル画像３７を消してそれに代えて表示させることができる。
【0114】
更に第１ディスプレイ装置３には、車線変更する自車輌の仮想車輌が、仮想画像５４として動画で表示される。同様に、第２ティスプレイ装置４にも、車線変更する自車輌の仮想車輌が、仮想画像５４’として動画で表示される。仮想画像５４，５４’は、図１６（ａ）〜（ｃ）及び図１７（ａ）〜（ｃ）と同様に表示されるので、更なる説明は省略する。
【0115】
更に第１及び第２ディスプレイ装置３，４には、予定走行コース上の障害物を乗員に認識させるために、×印の注意喚起マーク６２，６２’が表示される。フロントウインドシールド１５には、建物６３の陰に障害物の大型車輌６４が駐停車していることを示すために、建物６３付近の走行車線５１上の位置に注意喚起マーク６２が配置される。モニター装置２４にも、同様に建物６３’付近の走行車線５１’上の位置に合わせて注意喚起マーク６２’が表示される。注意喚起マーク６２，６２’は、例えば赤、橙等の目立つ色で、更に点滅させて表示することが好ましい。
【0116】
図１６乃至図１８の実施形態は、予定走行コース上の障害物が駐停車中の車輌の場合に限定されない。例えば、予定走行コース上で工事が行われていたり、事故があったり、又は予定走行コースの前方を少なくとも自車輌より低速で走行している車輌を自動運転で追い抜く場合にも、同様に適用することができる。
【0117】
図１９（ａ）〜（ｃ）及び図２０（ａ）〜（ｃ）は、走行車線６６を自動運転で走行中の自車輌が、予定走行コース３７を外れて対向車線６７をＵターンする場合に、それに先立って第１及び第２ディスプレイ装置３，４にそれぞれ表示される予告画面を模式的に示している。先ず、第１ディスプレイ装置３には、予定走行コースのシンボル画像３７に加えて、Ｕターンの走行コースを表すシンボル画像６８が表示される。第２ティスプレイ装置４にも同様に、予定走行コースのシンボル画像３７’に加えて、Ｕターンの走行コースを表すシンボル画像６８’が表示される。
【0118】
第１ディスプレイ装置３において、シンボル画像６８は、現実風景３６の走行車線６６上の位置から隣接する対向車線６７上の位置まで、自車輌がＵターン走行すると予測される軌跡に沿って湾曲する矢印マークで構成されている。第２ディスプレイ装置４においても、シンボル画像６８’は、撮像風景３９の走行車線６６’上の位置から隣接する対向車線６７’上の位置まで、自車輌のＵターン走行が予測される軌跡に沿って湾曲する矢印マークで構成されている。シンボル画像６８，６８’は、シンボル画像３７を消してそれに代えて表示させることもできる。
【0119】
更に第１ディスプレイ装置３には、Ｕターン走行する自車輌の仮想車輌が、仮想画像６９として現実風景３６に重ねて動画で表示される。仮想画像６９は、シンボル画像６８の矢印を軌跡として、その上を自車輌の仮想車輌がＵターン走行するように表示される。具体的には、図１９（ａ）に示すように、フロントウインドシールド１５から前方へ飛び出すように表れ、図１９（ｂ）に示す転回位置まで高速で移動し、図１９（ｃ）に示すように、対向車線６７を自車輌側に向けて走行する。
【0120】
同様に第２ティスプレイ装置４にも、Ｕターン走行する自車輌の仮想車輌が、仮想画像６９’として撮像風景３９に重ねて動画で表示される。仮想画像６９’は、シンボル画像６８’の矢印を軌跡として、その上を自車輌の仮想車輌がＵターン走行するように表示される。具体的には、図２０（ａ）に示すように、フロントウインドシールド１５の直ぐ前方位置から前方へ飛び出すように表れ、図２０（ｂ）に示す転回位置まで高速で移動し、図２０（ｃ）に示すように、対向車線６７’を自車側に向けて走行する。
【0121】
自動運転システム２の自動運転制御部７は、例えば緊急事態の場合に、走行中の道路の路側帯に駐停車スペースを見つけて、自車輌を駐停車させることができる。自動運転制御部７は、路側帯への駐停車を決定すると、車輌用画像表示システム１のディスプレイ制御部５に前記路側帯への駐停車の予告表示を指示する。前記路側帯の駐停車の判断は、例えばフロントカメラ１６及び自車輌に搭載されている各種センサーから取得される自車輌周辺の道路状況、自動走行情報記憶部９に保存されている道路交通情報、及び／又は路車間通信等の外部との無線通信による道路情報に基づいて、安全に駐停車可能なスペースがあることを確認して行われる。
【0122】
図２１（ａ）、（ｂ）及び図２２（ａ）、（ｂ）は、自動運転で走行中の自車輌が、予定走行コース３７を外れて道路７０，７０’の路側帯７１，７１’に駐停車する場合に、それに先立って第１及び第２ディスプレイ装置３，４にそれぞれ表示される予告画面を模式的に示している。第１ディスプレイ装置３には、図２１（ａ）に示すように、予定走行コースのシンボル画像３７に加えて、駐停車予定スペース、駐停車するための走行コース、駐停車の停止線マークをそれぞれ表すシンボル画像７２，７３，７４が、現実風景３６の路側帯７１の位置に合わせて表示される。駐停車予定スペースのシンボル画像７２は、外枠線で表すことができる。
【0123】
第２ティスプレイ装置４にも同様に、図２２（ａ）に示すように、予定走行コースのシンボル画像３７’に加えて、駐停車予定スペース、駐停車するための走行コース、駐停車の停止線マークをそれぞれ表すシンボル画像７２’，７３’，７４’が、撮像風景３９の路側帯７１’の位置に合わせて表示される。駐停車予定スペースのシンボル画像７２は、外枠線で表すこともできるが、比較的小さいモニター装置２４の画面上で位置を分かり易くするため、駐停車予定スペース全体を点灯又は点滅させることもできる。
【0124】
更に第１ディスプレイ装置３には、路側帯７１に駐停車する自車輌の仮想車輌が、仮想画像７５として現実風景３６に重ねて動画で表示される。仮想画像７５は、シンボル画像７３の矢印を軌跡として、その上を仮想車輌が走行するように表示される。具体的には、図２１（ａ）に示すように、仮想画像７５がフロントウインドシールド１５の直ぐ前方位置から前方へ飛び出すように表れ、図２１（ｂ）にシンボル画像７２で示す駐停車予定スペース上に移動して停止する。
【0125】
同様に第２ティスプレイ装置４にも、路側帯７１’に駐停車する自車輌の仮想車輌が、仮想画像７５’として撮像風景３９に重ねて動画で表示される。仮想画像７５’は、シンボル画像７３’の矢印を軌跡として、その上を仮想車輌が走行するように表示される。具体的には、図２２（ａ）に示すように、仮想画像７５’が、モニター装置２４の画面直ぐ前方の位置から前方へ飛び出すように表れ、図２２（ｂ）にシンボル画像７２’で示す駐停車予定スペース上に移動して停止する。
【0126】
このように仮想画像７５、７５’の仮想車輌がシンボル画像７２、７２’の駐停車予定スペース上に停止することによって、路側帯７１に自車輌が駐停車するのに必要な十分なスペースがあるかどうかを、乗員は事前に確認することができる。更に、乗員は、駐停車予定スペースまでの走行コース上に、障害物が無いかどうかを事前に確認することもできる。
【0127】
図２３（ａ）、（ｂ）及び図２４（ａ）、（ｂ）は、自動運転で走行中の自車輌が、予定走行コース３７を外れて道路７０，７０’の路側帯７１，７１’に縦列駐車する場合に、それに先立って第１及び第２ディスプレイ装置３，４にそれぞれ表示される予告画面を模式的に示している。第１ディスプレイ装置３には、図２３（ａ）に示すように、予定走行コースの前記シンボル画像に代えて、縦列駐車予定スペース、縦列駐車するまでの走行コース、縦列駐車する際の第１及び第２停止線マークをそれぞれ表すシンボル画像７７，７８，７９，８０が、現実風景３６の路側帯７１の位置に合わせて表示される。
【0128】
シンボル画像７９の第１停止線マークは、自車輌が縦列駐車の切り返しのために停車する際の予定先端位置を、シンボル画像８０の第２停止線マークは、自車輌が後進して縦列駐車予定スペース上に停車する際の予定後端位置を、それぞれ表している。シンボル画像７８の走行コースの矢印マークは、フロントウインドシールド１５の直ぐ前方位置からシンボル画像７９まで略真っ直ぐに延長する第１部分と、そこから逆向きに進んで路側帯７１側に車線変更し、先端がシンボル画像８０に到達するまで延長する第２部分とから構成される。縦列駐車予定スペースのシンボル画像７７は、同様に外枠線だけで表すことができる。
【0129】
第２ティスプレイ装置４にも同様に、図２４（ａ）に示すように、予定走行コースの前記シンボル画像に代えて、縦列駐車予定スペース、縦列駐車するまでの走行コース、縦列駐車の切り返しのための第１停止線マーク、縦列駐車予定位置の第２停止線マークをそれぞれ表すシンボル画像７７’，７８’，７９’，８０’が、撮像風景３９の路側帯７１’の位置に合わせて表示される。
【0130】
シンボル画像７８’の走行コースの矢印マークは、モニター装置２４の画面直ぐ前方の位置からシンボル画像７９’まで略真っ直ぐに延長する第１部分と、そこから逆向きに進んで路側帯７１’側に車線変更し、先端がシンボル画像８０’に到達するまで延長する第２部分とから構成される。縦列駐車予定スペースのシンボル画像７７’は、外枠線だけで表すこともできるが、比較的小さいモニター装置２４の画面上で位置を分かり易くするため、駐停車予定スペース全体を点灯又は点滅させることもできる。
【0131】
更に第１ディスプレイ装置３には、路側帯７１に縦列駐車する自車輌の仮想車輌が、仮想画像８１として現実風景３６に重ねて動画で表示される。仮想画像８１は、シンボル画像７８の矢印を軌跡として、その上を仮想車輌が走行するように表示される。
【0132】
具体的には、図２３（ａ）に示すように、仮想画像８１がフロントウインドシールド１５の直ぐ前方位置から前方へ飛び出すように表れ、シンボル画像７８の前記第１部分に沿って第１停止線マークのシンボル画像７９の位置まで直進する。図２３（ｂ）に示すように、シンボル画像７９の位置で一旦停止した仮想画像８１１は、シンボル画像７８の前記第２部分に沿って後進して路側帯７１側に車線変更し、シンボル画像７７で示す縦列駐車予定スペース上に移動して、第２停止線マークのシンボル画像８０の位置で停止する。
【0133】
同様に第２ティスプレイ装置４にも、路側帯７１’に縦列駐車する自車輌の仮想車輌が、仮想画像８１’として撮像風景３９に重ねて動画で表示される。仮想画像８１’は、シンボル画像７８’の矢印を軌跡として、その上を仮想車輌が走行するように表わされる。
【0134】
具体的には、図２４（ａ）に示すように、仮想画像８１’が、モニター装置２４の画面直ぐ前方の位置から前方へ飛び出すように表れ、シンボル画像７８’の前記第１部分に沿って第１停止線マークのシンボル画像７９’の位置まで直進する。図２４（ｂ）に示すように、シンボル画像７９’の位置で一旦停止した仮想画像８１１’は、シンボル画像７８’の前記第２部分に沿って後進して路側帯７１’側に車線変更し、シンボル画像７７’の縦列駐車予定スペース上に移動して、第２停止線マークのシンボル画像８０’の位置で停止する。
【0135】
このようにシンボル画像７７、７７’の縦列駐車予定スペース上に停止した仮想画像８１２、８１２’の仮想車輌を見ることによって、乗員は、路側帯７１に自車輌が縦列駐車するのに十分なスペースがあるかどうかを、事前に確認することができる。更に、乗員は、シンボル画像７９，７９’での切り返しから縦列駐車予定スペースまでの走行コース上に障害物の有無を事前に確認することもできる。
【0136】
図２５（ａ）〜（ｃ）及び図２６（ａ）〜（ｃ）は、自動運転で走行中の自車輌が、予定走行コース３７を外れて道路７０，７０’に面した駐車スペース８２，８２’に後進で駐車する場合に、それに先立って第１及び第２ディスプレイ装置３，４にそれぞれ表示される予告画面を時間経過順で模式的に示している。第１ディスプレイ装置３には、図２５（ａ）に示すように、予定走行コースの前記シンボル画像に代えて、後進駐車までの走行コース、後進駐車の切り返しのための停止線マークをそれぞれ表すシンボル画像８３，８４が、現実風景３６の道路７０及び駐車スペース８２に合わせて表示される。
【0137】
シンボル画像８３の走行コースの矢印マークは、フロントウインドシールド１５の直ぐ前方位置からシンボル画像８４まで略真っ直ぐに延長する第１部分と、そこから逆向きに進んで道路７０の側方に向きを９０°変更し、先端が駐車スペース８２内に到達するまで延長する第２部分とから構成される。駐車スペース８２は、その位置を乗員に分かり易くするために、例えば外枠線を現実風景３６に追加して重ねることもできる。
【0138】
第２ティスプレイ装置４にも同様に、図２６（ａ）に示すように、予定走行コースの前記シンボル画像に代えて、後進駐車するまでの走行コース、後進駐車の切り返しのための停止線マークをそれぞれ表すシンボル画像８３’，８４’が、撮像風景３９の道路７０’及び駐車スペース８２’の位置に合わせて表示される。
【0139】
シンボル画像８３’の走行コースの矢印マークは、モニター装置２４の画面直ぐ前方の位置からシンボル画像８４’まで略真っ直ぐに延長する第１部分と、そこから逆向きに進んで道路７０’の側方へ向きを９０°変更し、先端が駐車スペース８２’内に到達するまで延長する第２部分とから構成される。駐車スペース８２’は、モニター装置２４の表示画面が比較的小さいので、その位置を乗員に分かり易くするために、例えば外枠線を追加することが好ましく、更にその位置を点灯又は点滅表示させることもできる。
【0140】
更に第１ディスプレイ装置３には、駐車スペース８２に後進駐車する自車輌の仮想車輌が、仮想画像８５として現実風景３６に重ねて動画で表示される。仮想画像８５は、シンボル画像８３の矢印を軌跡として、その上を仮想車輌が走行するように表示される。
【0141】
具体的には、図２５（ａ）に示すように、仮想画像８５がフロントウインドシールド１５の直ぐ前方位置から前方へ飛び出すように表れ、シンボル画像８３の前記第１部分に沿ってシンボル画像８４の停止線マークの位置まで直進し、図２５（ｂ）に示すように、シンボル画像８４の位置で一旦停止する。次に図２５（ｃ）に示すように、仮想画像８５１は、シンボル画像８３の前記第２部分に沿って後進しかつ道路７０の側方へ向きを９０°変更し、駐車スペース８２内に移動して停止する。
【0142】
同様に第２ティスプレイ装置４にも、駐車スペース８２’に後進駐車する自車輌の仮想車輌が、仮想画像８５’として撮像風景３９に重ねて動画で表示される。仮想画像８５’は、シンボル画像８３’の矢印を軌跡として、その上を仮想車輌が走行するように表わされる。
【0143】
具体的には、図２６（ａ）に示すように、仮想画像８５’が、モニター装置２４の画面直ぐ前方の位置から前方へ飛び出すように表れ、シンボル画像８３’の前記第１部分に沿ってシンボル画像８４’の停止線マークの位置まで直進し、図２６（ｂ）に示すように、シンボル画像８４’の位置で一旦停止する。次に図２６（ｃ）に示すように、仮想画像８５１’は、シンボル画像８３’の前記第２部分に沿って後進しかつ道路７０’の側方へ向きを９０°変更し、駐車スペース８２’内に移動して停止する。
【0144】
このように仮想画像８５、８５’の仮想車輌が、第１及び第２ディスプレイ装置３，４上で仮想的に駐車することによって、駐車スペース８２，８２’が自車輌を駐車させるのに十分なスペースを有するかどうかを、乗員は事前に確認することができる。更に、乗員は、シンボル画像８４，８４’での切り返しから駐車スペース８２，８２’までの走行コース上に障害物の有無を事前に確認することもできる。
【0145】
第２ディスプレイ装置４であるモニター装置２４は、撮像画像３９を背景としているので、上述した予告表示の走行コースや停止線マーク等を表すシンボル画像、自車輌の仮想画像、後続車両のリアビューの表示だけでなく、現実風景が背景では困難な加工や画像処理、様々な画像表示を比較的容易に追加することができる。例えば、車線変更や駐停車の際に移動先の路面を、その周辺とは異なる色に彩色したり点灯又は点滅させて目立たせるようにしたり、建物等の陰で見えない障害物の外形をイメージ画像で追加表示したり、駐停車スペースに箱形等の立体的な枠表示を重ねたりすることができる。
【0146】
別の実施形態では、自動運転中の自車輌が取ろうとしている次の予定外の走行行動を予告するために、上述した視覚的なイメージ画像を第１及び第２ディスプレイ装置３，４に表示することに加えて、そのような予告表示がされたことを自車輌の乗員に知らせる予告音を発生させることができる。前記予告音は、例えば「ピッ」、「ピッピッ」等の信号音であっても、「車線変更します」等の音声によるものであっても良い。
【0147】
前記予告音は、第１及び第２ディスプレイ装置３，４における予告表示と同時に行うことが好ましい。前記予告音の発生は、例えば図２に示すように、自動車１４内に運転席を囲むように配置された複数のスピーカー８８を用いて行うことができ、自動運転システム２の自動運転制御部７によって制御される。スピーカー８８は、車内に立体的な音場を形成するサラウンドステレオ音響システムの一部として構成することができる。
【0148】
また、上記実施形態では、自動化レベルが「レベル３」である、自動車の加速、操舵、制動の全部を行う自動運転システム２に適用される場合の車輌用画像表示システム１について説明した。しかしながら、本発明の車輌用画像表示システムは、加速、操舵、制動のいずれかを自動的に行うレベル1のシステムや、加速、操舵、制動のいずれか複数の操作を自動的に行うレベル２のシステム、システムからの運転モード切換要請に乗員が適切に応じない場合にも自動運転を継続するレベル４のシステムについても、同様に適用することができる。
【0149】
例えば、自動運転システム２は、レベル１の場合に、上述した車線変更、Ｕターン、駐停車等の予定外の走行行動の可能性を判断し、車輌用画像表示システム１により予告表示して、運転者の選択を促すことができる。自動運転システム２は、加速のみを行う場合、運転者が車線変更等を選択すると、運転者の操舵及び／又は制動操作に合わせて加速操作を行う。また、レベル１の自動運転システム２は、操舵のみを行う場合、運転者の加速及び／又は制動操作に合わせて操舵し、制動のみを行う場合は、運転者の加速及び／又は操舵操作に合わせて制動操作し、運転者が選択した予定外の走行行動を支援する。
【0150】
また、自動運転システム２がレベル２であって、加速及び操舵を行う場合、運転者が車線変更等の予定外の走行行動を選択すると、運転者が必要に応じて制動操作する以外は、加速及び操舵を操作する。また、レベル２の自動運転システム２は、加速及び制動を行う場合、運転者が必要に応じて操舵する以外は、加速及び制動操作を行い、操舵及び制動を行う場合は、運転者が必要に応じて加速する以外は、操舵及び制動操作して、運転者が選択した予定外の走行行動を実現する。
【0151】
また、レベル３の上記実施形態においても、前記予定外の走行行動の予告表示を受けた運転者又は他の乗員が手動で、例えば車線変更に対応した方向指示器の操作、又は他の操作をすることによって、自動運転システム２に前記予定外の走行行動を開始させることができる。更に、自動運転で走行中に、運転者が車線変更等の予定外の走行行動をしたいと考えて方向指示器等を操作すると、自動運転システム２が、そのような予定外の走行行動の可否や危険性等を判断し、車輌用画像表示システム１に予告表示させることもできる。尚、自動運転システム２がレベル４の場合、上記実施形態のレベル３の場合と実質的に同様に動作するので、これ以上の説明は省略する。
【0152】
以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものでなく、その技術的範囲内において、様々な変形又は変更を加えて実施することができる。例えば、ディスプレイ制御部５を自動運転 制御部７内に設けることができる。更に、ディスプレイ情報記憶部６と自動走行記憶部９とを１つの記憶装置に統合することも可能である。
【符号の説明】
【0153】
１ 車輌用画像表示システム２ 自動運転システム
３ 第１ティスプレイ装置
４ 第２ディスプレイ装置
５ ディスプレイ制御部
６ ディスプレイ情報記憶部
７ 自動運転制御部
８ 情報入力部
９ 自動走行情報記憶部
１０ 加速系
１１ 操舵系
１２ 制動系
１３ 指示系
１４ 自動車
１５ フロントウインドシールド
１６ フロントカメラ
１８ａ，１８ｂ リアカメラ
２０ レーダーセンサー１８
２１ ダッシュボード
２２ ヘッドアップディスプレイ装置
２４ モニター装置
３１ 主表示領域
３４ 表示画面
３５ａ 行動表示領域
３６ 現実風景
３７，３７’，４４，４４’，５３，５３’，６１，６１’，６８，６８’，７２、７２’，７３，７３’，７４，７４’，７７，７７’，７８，７８’，７９，７９’，８０，８０’，８３，８３’，８４，８４’ シンボル画像
３８，３８’，６０，６０’ 追越車線
３９ 撮像風景
４０ イメージ画像
４５，４５’，５１ 走行車線
４６，４６’，５４，５４’，６９，６９’，７５，７５’，８１，８１’，８５、８５’ 仮想画像
４９，４９’，４９”，５６，５６’，６２，６２’ 注意喚起マーク
５２，５２’，６７，６７’ 対向車線
５８，５８’ 停止線マーク
７１，７１’ 路側帯
８２，８２’ 駐車スペース