特許 7484132 重畳画像表示装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】重畳画像表示装置及びコンピュータプログラム

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240509BHJP

   B60K 35/23 20240101ALI20240509BHJP

【ＦＩ】

G01C21/36

B60K35/23

【請求項の数】 8

(21)【出願番号】P 2019200358

(22)【出願日】2019-11-04

(65)【公開番号】P2020085897

(43)【公開日】2020-06-04

【審査請求日】2022-10-14

(31)【優先権主張番号】P 2018214317

(32)【優先日】2018-11-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110000992

【氏名又は名称】弁理士法人ネクスト

(72)【発明者】

【氏名】渡邊 賢二

(72)【発明者】

【氏名】竹内 鋭典

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２００７－１９８９６２（ＪＰ，Ａ）

【文献】特開２０１８－１７３３９９（ＪＰ，Ａ）

【文献】特開２００５－０６９７９９（ＪＰ，Ａ）

【文献】特開２０１８－１７３３１５（ＪＰ，Ａ）

【文献】独国特許出願公開第１０２０１４００８１５３（ＤＥ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０９Ｂ ２９／００ － ２９／１０

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｋ ３５／００

(57)【特許請求の範囲】

【請求項1】

車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、
車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、
現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、
前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、
前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す黒色の画像である対象物画像とを一体の画像として車両に設けられた画像表示面に表示し、前記画像表示面に表示された一体の画像である前記案内画像及び前記対象物画像を車両のフロントガラスに反射して車両の乗員に視認させることで、車両前方の風景に前記案内画像の虚像を重畳して視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像の虚像を車両の乗員が視認できない態様で重畳させる画像表示手段と、を有する重畳画像表示装置。

【請求項2】

車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、
車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、
現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、
前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、
前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す透過色の画像である対象物画像とを一体の画像として車両に設けられて前記車両前方の風景が表示された画像表示面に表示することで、車両前方の風景に前記案内画像を重畳して車両の乗員に視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像を車両の乗員が視認できない態様で重畳させる画像表示手段と、を有する重畳画像表示装置。

【請求項3】

前記画像表示手段は、前記案内画像を所定の重畳位置に重畳して視認させる為の前記画像表示面の表示位置に表示する請求項１又は請求項２に記載の重畳画像表示装置。

【請求項4】

前記画像表示手段は、前記対象物画像を前記対象物に重畳して視認させる為の前記画像表示面の表示位置に表示する請求項１又は請求項２に記載の重畳画像表示装置。

【請求項5】

前記仮想体配置手段は、前記対象物よりも大きいサイズを有する前記仮想体を配置する請求項１乃至請求項４のいずれかに記載の重畳画像表示装置。

【請求項6】

前記画像表示手段は、車両の周辺に存在する対象物の内、前記案内画像と重複して車両の乗員から視認される前記対象物に対応する前記対象物画像を表示する請求項１乃至請求項５のいずれかに記載の重畳画像表示装置。

【請求項7】

コンピュータを、
車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、
車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、
現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、
前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、
前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す黒色の画像である対象物画像とを一体の画像として車両に設けられた画像表示面に表示し、前記画像表示面に表示された一体の画像である前記案内画像及び前記対象物画像を車両のフロントガラスに反射して車両の乗員に視認させることで、車両前方の風景に前記案内画像の虚像を重畳して視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像の虚像を車両の乗員が視認できない態様で重畳させる画像表示手段と、
して機能させる為のコンピュータプログラム。

【請求項8】

コンピュータを、
車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、
車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、
現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、
前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、
前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す透過色の画像である対象物画像とを一体の画像として車両に設けられて前記車両前方の風景が表示された画像表示面に表示することで、車両前方の風景に前記案内画像を重畳して車両の乗員に視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像を車両の乗員が視認できない態様で重畳させる画像表示手段と、して機能させる為のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の走行支援を行う重畳画像表示装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、運転者の周辺環境（風景、実景）に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。

【0003】

例えば、特開２００５－６９８００号公報には、車両用のヘッドアップディスプレイ装置において、右左折する対象となる交差点の位置に丸印や人のマークの虚像を重畳して視認させることによって、右左折対象となる交差点の位置を車両の乗員に正確に把握させる技術について開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－６９８００号公報（図４、図７）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記特許文献１に記載の技術では、丸印や人のマークの虚像を右左折対象となる案内交差点の位置に重畳して視認されるように表示を行っている。しかしながら、重畳対象となる案内交差点の周辺には、対象物（例えば、人工的な構造物、他車両、歩行者等）が存在する場合も多くあり、その場合において虚像とそれらの対象物が重なって視認される場合もある。例えば図１３に示すように車両の進行方向前方にある案内交差点で右折することを示す矢印の虚像１０１を表示する場合において、右折の対象となる案内交差点周辺に他車両１０２が存在する場合には、矢印の虚像１０１と他車両１０２が重なって視認されることとなる。

【0006】

その場合には、矢印の虚像１０１は他車両１０２よりも手前側に存在するように視認されるので、矢印の虚像１０１によって示す案内交差点の退出路１０３が他車両１０２よりも奥側にあるにもかかわらず、他車両１０２よりも手前側で右折するものと誤認識されたり、右折する位置が特定できなくなる等の問題があった。尚、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して矢印の画像を表示する場合も同様の問題がある。

【0007】

本発明は前記従来における問題点を解消するためになされたものであり、案内画像を車両前方の風景に重畳して視認させる場合において、案内画像と対象物との位置関係を正確に認識させることが可能となり、案内画像を用いた案内をより適切に行うことを可能にした重畳画像表示装置及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

前記目的を達成するため本発明に係る第１の重畳画像表示装置は、車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す黒色の画像である対象物画像とを一体の画像として車両に設けられた画像表示面に表示し、前記画像表示面に表示された一体の画像である前記案内画像及び前記対象物画像を車両のフロントガラスに反射して車両の乗員に視認させることで、車両前方の風景に前記案内画像の虚像を重畳して視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像の虚像を車両の乗員が視認できない態様で重畳させる画像表示手段と、を有する。
また、本発明に係る第２の重畳画像表示装置は、車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す透過色の画像である対象物画像とを一体の画像として車両に設けられて前記車両前方の風景が表示された画像表示面に表示することで、車両前方の風景に前記案内画像を重畳して車両の乗員に視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像を車両の乗員が視認できない態様で重畳させる画像表示手段と、を有する。
尚、「対象物」とは、車両の周辺に存在する静止物や動体物を含む。静止物としては例えば人工的な構造物（建築物、道路標識、看板等）や自然物（樹木等）があり、動体物としては例えば他車両、人、自転車等がある。
また、「風景」とは、実際に車両から視認される風景（実景）に加えて、風景を撮像した画像、風景を再現した画像等も含む。

【0009】

また、本発明に係る第１のコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、コンピュータを、車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す黒色の画像である対象物画像とを一体の画像として車両に設けられた画像表示面に表示し、前記画像表示面に表示された一体の画像である前記案内画像及び前記対象物画像を車両のフロントガラスに反射して車両の乗員に視認させることで、車両前方の風景に前記案内画像の虚像を重畳して視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像の虚像を車両の乗員が視認できない態様で重畳させる画像表示手段と、して機能させる。
また、本発明に係る第２のコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、コンピュータを、車両の周辺に対応した３次元空間内に案内画像を配置する案内画像配置手段と、車両の周辺に存在する対象物について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体を配置する仮想体配置手段と、現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段と、前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段と、前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す透過色の画像である対象物画像とを一体の画像として車両に設けられて前記車両前方の風景が表示された画像表示面に表示することで、車両前方の風景に前記案内画像を重畳して車両の乗員に視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像を車両の乗員が視認できない態様で重畳させる画像表示手段と、して機能させる。

【発明の効果】

【0010】

前記構成を有する本発明に係る第１及び第２の重畳画像表示装置及びコンピュータプログラムによれば、案内画像を車両前方の風景に重畳して視認させる場合において、案内画像よりも車両側に位置する対象物と重複する範囲については車両の乗員から案内画像を視認させないことができるので、案内画像と対象物との位置関係を正確に示す案内画像を車両の乗員に視認させることが可能となる。その結果、案内画像の虚像を用いた案内をより適切に行うことが可能となる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る重畳画像表示装置の概略構成図である。

【図2】第１実施形態に係るナビゲーション装置を示したブロック図である。

【図3】第１実施形態に係る走行支援処理プログラムのフローチャートである。

【図4】３次元地図情報に基づいて生成される３次元立体地図を示した図である。

【図5】３次元地図情報に配置される案内画像の一例を示した図である。

【図6】３次元地図情報に配置される対象物仮想体の一例を示した図である。

【図7】３次元地図情報の車両位置から視認される案内画像の形状と重複対象物仮想体の形状を示した図である。

【図8】案内画像と黒色画像の表示例を示した図である。

【図9】車両の乗員から視認される案内画像の虚像の例を示した図である。

【図10】表示範囲決定処理のサブ処理プログラムのフローチャートである。

【図11】第２実施形態に係る重畳画像表示装置において液晶ディスプレイに対して表示される案内画像の一例を示した図である。

【図12】案内画像と透過画像の表示例を示した図である。

【図13】従来技術の問題点について説明した図である。

【発明を実施するための形態】

【0012】

以下、本発明に係る重畳画像表示装置を具体化した第１実施形態及び第２実施形態について図面を参照しつつ詳細に説明する。

【0013】

［第１実施形態］
先ず、第１実施形態に係る重畳画像表示装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係る重畳画像表示装置１の概略構成図である。

【0014】

図１に示すように重畳画像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたフロントディスプレイ４とを基本的に有する。尚、フロントディスプレイ４は後述のように車両２のフロントガラス５とともにヘッドアップディスプレイとして機能し、車両２の乗員６に対して様々な情報の提供を行う情報提供手段となる。

【0015】

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内や障害物に対する警告等をフロントディスプレイ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも案内経路に沿った走行案内や障害物に対する警告等を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

【0016】

一方、フロントディスプレイ４は、車両２のダッシュボード７内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばＣＣＦＬ（冷陰極管）や白色ＬＥＤが用いられる。尚、フロントディスプレイ４としては、液晶ディスプレイ以外に、有機ＥＬディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。

【0017】

そして、フロントディスプレイ４は車両２のフロントガラス５とともにヘッドアップディスプレイとして機能し、フロントディスプレイ４から出力される画像を、運転席の前方のフロントガラス５に反射させて車両２の乗員６に視認させるように構成されている。尚、フロントディスプレイ４に表示される画像としては、車両２に関する情報や乗員６の運転の支援の為に用いられる各種情報がある。例えば乗員６に対して警告対象となる対象物（他車両、歩行者、案内標識）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

【0018】

また、フロントガラス５を反射して乗員６がフロントディスプレイ４に表示された映像を視認した場合に、乗員６にはフロントガラス５の位置ではなく、フロントガラス５の先の遠方の位置にフロントディスプレイ４に表示された映像が虚像１０として視認されるように構成される。また、虚像１０は車両前方の周辺環境（風景、実景）に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物（路面、建築物、警告対象となる物等）に重畳させて表示させることも可能である。

【0019】

ここで、虚像１０を生成する位置、より具体的には乗員６から虚像１０までの距離（以下、結像距離という）Ｌについては、フロントディスプレイ４の位置によって決定される。例えば、フロントディスプレイ４において映像の表示された位置からフロントガラス５までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが１．５ｍとなるように光路長が設定されている。

【0020】

また、第１実施形態では車両周辺の風景に重畳する画像を表示する手段としてダッシュボード７内部に設置されたフロントディスプレイ４を用いているが、他の手段を用いても良い。例えば、ヘッドアップディスプレイ（ＨＵＤ）装置を車載器として有しても良いし、フロントガラス５に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。ＷＳＤでは、フロントガラス５をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラス５を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントガラス５に対して表示された画像は、ＨＵＤと同様に車両周辺の風景に重畳する画像となる。

【0021】

更に、後述のフロントカメラ１１で撮像した車両周辺の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、ＨＵＤと同様に車両周辺の風景に重畳する画像となる。

【0022】

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員６に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。

【0023】

また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲（車内カメラ１２の撮像範囲）として設定し、運転席に座った乗員６の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員６の左右の目の位置（視線開始点）や視線方向を検出する。

【0024】

次に、上記重畳画像表示装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は第１実施形態に係るナビゲーション装置３を示したブロック図である。

【0025】

図４に示すように第１実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したフロントディスプレイ４、フロントカメラ１１及び車内カメラ１２等が接続されている。

【0026】

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

【0027】

また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

【0028】

ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置３において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。

【0029】

一方、３次元地図情報３４は、平面だけではなく高さ情報についても有し、３次元で地図を表現する為の地図情報である。特に第１実施形態では３次元で道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等を表現する為の地図情報とする。尚、３次元地図情報３４としては上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板以外の情報についても含めても良い。例えば、街路樹や路面標示等についても３次元で表現する為の情報を含めても良い。また、３次元地図情報３４としては３次元空間上に上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の各オブジェクトを配置した地図そのものを記憶しても良いし、３次元で地図を表現する為に必要な情報（道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の３次元の座標データなど）を記憶しても良い。３次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置３は、必要なタイミングで３次元地図情報３４として記憶された情報を用いて、対象エリアを３次元で表現した地図を生成する。

【0030】

そして、ナビゲーション装置３は、液晶ディスプレイ１７における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように案内画像の表示に係る処理については２次元地図情報３３に加えて３次元地図情報３４についても用いて行う。

【0031】

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図３）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、案内画像配置手段は、車両の周辺に対応した３次元空間内に案内画像を配置する。仮想体配置手段は、車両の周辺に存在する対象物について、３次元空間内において対象物が存在する位置に対象物を模した仮想体を配置する。視点設定手段は、現在の車両の位置に対応する３次元空間内の位置に視点を設定する。形状取得手段は、視点から視認される案内画像と仮想体の形状を夫々取得する。案内画像表示手段は、形状取得手段によって取得された形状の案内画像を、車両前方の風景に重畳して表示する。対象物画像表示手段は、形状取得手段によって取得された仮想体の形状を示す画像である対象物画像を、車両の乗員が視認できない態様で車両前方の風景に重畳して表示する。

【0032】

操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

【0033】

また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、第１実施形態では情報の表示手段としてフロントディスプレイ４を備えているので、上記地図画像等の表示をフロントディスプレイ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。

【0034】

また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

【0035】

また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

【0036】

また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

【0037】

続いて、前記構成を有する重畳画像表示装置１の内、特にナビゲーション装置３において実行する走行支援処理プログラムについて図３に基づき説明する。図３は第１実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、フロントディスプレイ４に表示された画像を車両周辺の周辺環境に重畳して視認させることによって、車両の乗員に対する各種情報の提供を行うプログラムである。尚、以下の図３及び図１０にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

【0038】

以下の説明では特にフロントディスプレイ４を用いて、ナビゲーション装置３で設定された案内経路に沿った車両の進行方向を示す案内矢印の提供を行う例について説明する。但し、上記以外の案内や情報提供を行うことも可能である。例えば、車両２の乗員６への警告対象となる対象物（例えば他車両、歩行者、案内標識）に対する警告、路面に表示する警告（追突注意、制限速度等）、車両が走行する車線の区画線、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組の表示等が可能である。

【0039】

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１においてＣＰＵ４１は、フロントカメラ１１によって車両前方の風景を撮像した撮像画像を取得する。更に、ＣＰＵ４１は、地図情報ＤＢ３１から車両の現在位置周辺の３次元地図情報３４を読み出す。尚、３次元地図情報３４には、３次元で地図を表現する為に必要な情報（道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の３次元の座標データなど）が記憶される。

【0040】

次に、Ｓ２においてＣＰＵ４１は、前記Ｓ１で読み出した３次元地図情報３４に基づいて、車両の現在位置周辺を示す３次元立体地図（３次元で建物や道路等を表現した地図）を生成する。具体的には、以下の処理を実行することにより３次元立体地図を生成する。

【0041】

先ず、ＣＰＵ４１は、３次元地図情報３４から３次元空間上に道路、建築物、道路標識、看板等をモデリングしたオブジェクト（形状データ）を取得する。尚、ＣＰＵ４１は、予めモデリングしてＤＢに格納しておいたオブジェクトの内、該当するオブジェクトを取得する構成としても良いし、Ｓ２においてモデリングを実施してオブジェクトを新たに作成する構成としても良い。モデリングを実施する場合には、３次元地図情報３４から道路及び道路周辺にある構造物（建築物、道路標識、看板等）の形状や位置を特定する情報を取得し、取得した情報に基づいてモデリング処理を行う。但し、道路、建築物、道路標識、看板の全てをモデリングする必要は無く、例えば道路のみ、或いは道路と建築物のみをモデリングしても良い。

【0042】

ここで、モデリングとは３次元空間上においてモデル（物体）の形状を作成する処理であり、より具体的には各頂点の座標の決定や、境界線、面を表現する方程式のパラメータの決定などを行う。尚、モデリングについては公知の技術であるので詳細は省略する。そして、モデリングされたオブジェクト（形状データ）は、用途に応じて辺のみ表示する「ワイヤーフレームモデル」、面を表示する「サーフィスモデル」等の形で表現される。そして各オブジェクトが形成された３次元空間を３次元立体地図とする。

【0043】

尚、前記Ｓ２においてＣＰＵ４１は３次元地図情報３４を用いずに、一般的な２次元地図情報３３と車両の現在位置とに基づいて車両の現在位置周辺（特に車両進行方向の前方）に対応した３次元空間を生成し、３次元立体地図としても良い。また、フロントカメラ１１で撮像した画像に基づいて３次元空間を生成しても良い。例えばフロントカメラ１１で撮像した撮像画像に対して点群マッチングを行うことによって、道路や道路周辺にある構造物を検出し、３次元空間を生成することが可能である。

【0044】

また、前記Ｓ２でＣＰＵ４１は、現在位置検出部１３で検出されたパラメータに基づいて、生成された３次元立体地図における自車両の現在位置及び方位についても特定する。尚、後述の３次元立体地図と撮像画像との照合の処理を容易化する為に、自車両の現在位置は特に自車両に設置されたフロントカメラ１１の設置位置とし、自車両の方位はフロントカメラ１１の光軸方向とするのが望ましい。また、３次元空間内の自車両の現在位置や方位は自車両の移動に伴って適宜更新される。

【0045】

更に、ＣＰＵ４１は、前記Ｓ１で取得した車両前方の風景を撮像した撮像画像に対して画像処理を行うことによって、車両前方周辺に存在する静止物や動体物の位置や形状について検出する。尚、静止物としては例えば人工的な構造物（建築物、道路標識、看板等）や自然物（樹木等）が該当し、動体物としては例えば他車両、人、自転車等が該当する。そして、３次元地図情報３４に対して含まれない静止物や動体物が検出された場合には、検出された静止物や動体物について、位置や形状を特定する情報を３次元立体地図に含める。尚、Ｓ２では検出された静止物や動体物について３次元立体地図上にモデリングする必要は無いが、モデリングまで行っても良い。

【0046】

ここで、図４は前記Ｓ２で生成される３次元立体地図５１の一例を示した図である。図４に示すように３次元立体地図５１には、３次元空間に対して、道路や構造物（建築物、道路標識、看板等）を示す各オブジェクト５２が配置される。特に車両の現在位置周辺に位置する道路や構造物を示す各オブジェクト５２が配置される。また、３次元立体地図５１には自車両の現在位置と方位を示す自車位置マーク５３についても配置される。

【0047】

続いてＳ３においてＣＰＵ４１は、前記Ｓ１で取得した撮像画像と前記Ｓ２で生成された３次元立体地図とを照合し、両者の間にズレが生じていないかを判定する。具体的にはＣＰＵ４１は、３次元立体地図に設定されている自車両の現在位置（より具体的にはフロントカメラ１１の設置位置であり高さも考慮する）を視点とし、自車両の方位を視線方向に設定し、設定された視点及び視線方向によって３次元立体地図を視認した際の像と、撮像画像とを照合する。尚、３次元立体地図には、歩行者や他車両等の動体物、樹木などの一部の固定物については含まれないので、それらに起因するズレは基本的には無視して判定する。また、ズレが生じていないとは両者が完全に一致する場合のみに限らず、ある程度の許容範囲内のズレが生じている場合においてもズレが生じていないとみなすのが望ましい。

【0048】

そして、前記Ｓ１で取得した撮像画像と前記Ｓ２で生成された３次元立体地図との間にズレが生じていないと判定された場合（Ｓ３：ＹＥＳ）には、Ｓ５へと移行する。それに対して、前記Ｓ１で取得した撮像画像と前記Ｓ２で生成された３次元立体地図との間にズレが生じていると判定された場合（Ｓ３：ＮＯ）には、Ｓ４へと移行する。

【0049】

Ｓ４においてＣＰＵ４１は、前記Ｓ２で生成された３次元立体地図について、前記Ｓ１で取得した撮像画像と間のズレが小さくなるように３次元立体地図内に設定された自車両の現在位置及び方位を補正する。尚、３次元立体地図における自車両の現在位置及び方位は固定してオブジェクト側を補正しても良い。それによって、３次元立体地図内における正確な自車両の現在位置及び方位（より具体的にはフロントカメラ１１の設置位置と光軸方向）を特定することが可能となる。その後、Ｓ３へと戻る。

【0050】

一方、Ｓ５においてＣＰＵ４１は、ナビゲーション装置３で設定されている案内経路を取得し、前記Ｓ２で生成された３次元立体地図に基づいて車両の今後の進行方向を示す案内矢印を、フロントディスプレイ４に表示する対象となる案内画像として生成する。尚、第１実施形態では案内画像は車両の案内経路に沿って道路の路面上（例えば車両の現在位置から１００ｍ先までの道路の路面上）に配置される矢印の画像とする。例えば、図５に示すように車両の今後の進行方向が進行方向前方にある案内交差点５４で右折する場合には、案内交差点５４までは直進し、案内交差点５４で右折して退出道路へと進む矢印が案内画像５５として生成されることとなる。尚、案内画像の形状は適宜変更可能であり、例えば矢印ではなく案内経路に沿って配置される線分としても良い。

【0051】

続いて、Ｓ６においてＣＰＵ４１は、Ｓ５で生成された案内画像を、前記Ｓ２で生成された３次元立体地図に対して配置する。尚、案内画像を配置する位置は、案内画像を重畳して視認させる位置であり、例えば案内経路に沿って車両の現在位置から１００ｍ先までの道路（案内交差点がある場合には案内交差点も含む）の路面とする。その結果、図５に示すように３次元立体地図５１に案内画像５５が配置されることとなる。

【0052】

次に、Ｓ７においてＣＰＵ４１は、３次元立体地図に含まれる各オブジェクト（建築物、道路標識、看板、案内画像、歩行者、他車両、案内画像等）の内、案内画像以外のオブジェクトについて、車両周辺に存在する対象物として抽出する。尚、対象物には人工的な構造物（建築物、道路標識、看板等）や自然物（樹木等）等の静止物に加えて、他車両、人、自転車等の動体物も含む。但し、道路（路面）については抽出対象となる対象物から除外する。

【0053】

続いて、Ｓ８においてＣＰＵ４１は、前記Ｓ７で抽出された対象物のモデル（対象物の仮想体であり、以下、対象物仮想体という）を、前記Ｓ２で生成された３次元立体地図に対して該当の対象物が存在する位置に配置する。対象物の位置を特定する情報は対象物が動体物である場合を含めて３次元立体地図に格納されている。尚、３次元立体地図に対して配置される対象物仮想体は実際の対象物の形状を模した形状とする。例えば歩行者であれば人の形状を有する対象物仮想体とし、車両であれば車両の形状を有する対象物仮想体とする。サイズについても実際の対象物のサイズと対応させる。

【0054】

但し、車両に生じる振動等によって乗員から視認できる対象物の位置がブレることを考慮して、対象物仮想体のサイズは実際の対象物のサイズよりもやや大きいサイズ（例えば１１０％）とするのが望ましい。また、全体的に均等にサイズを広げるのではなく、相対的な移動方向（車両の乗員からみて対象物が移動する方向）に対して大きくサイズを広げるのが望ましい。尚、対象物が不定形である（形状や種類を特定できない）場合には、例外的に対象物仮想体は該対象物の全てを含む最小の直方体とする。

【0055】

次に、Ｓ９においてＣＰＵ４１は、先ず案内画像や対象物仮想体が配置された３次元立体地図を、車両（乗員）の視点から車両の進行方向に視認した画像（以下、視認画像という）を取得する。特に車両の視点は車両の乗員の目の位置とする。尚、乗員の目の位置については車内カメラ１２によって検出することが可能である。即ち、取得された視認画像は３次元立体地図に配置された各オブジェクト（案内画像、対象物仮想体等）を車両（乗員）の視点から車両の進行方向に視認した際に視認できる像であり、車両の乗員の視界に相当する。尚、視認画像については車両（乗員）の視点から視認した画像であれば、必ずしも車両の進行方向に視認した画像である必要は無い。但し、少なくとも視認画像に案内画像と案内画像の周辺にある対象物仮想体が含まれる必要はある。

【0056】

その後、Ｓ９においてＣＰＵ４１は、前記Ｓ８で３次元立体地図に配置された対象物仮想体の内、視認画像において案内画像と重複する対象物仮想体、即ち案内画像と重複して車両の乗員から視認される対象物に対応する対象物仮想体（以下、重複対象物仮想体という）があるか否かを判定する。そして、重複対象物仮想体があると判定された場合には、重複対象物仮想体を黒色で表示する。尚、案内画像よりも手前側（自車両側）に位置するか奥側に位置するかについては問わず、視認画像において少なくとも一部が案内画像と重複する対象物仮想体は重複対象物仮想体とする。

【0057】

ここで、図６は３次元立体地図５１に対して案内画像５５及び対象物仮想体５６～５９を配置した図である。例えば、図６に示すように３次元立体地図５１に建物の対象物仮想体５６、他車両の対象物仮想体５７、自転車の対象物仮想体５８、道路標識の対象物仮想体５９がそれぞれ配置されている場合には、他車両の対象物仮想体５７が案内画像５５と重複して視認されることとなる。従って、他車両の対象物仮想体５７が重複対象物仮想体に該当し、黒色で表示されることとなる。

【0058】

続いて、Ｓ１０においてＣＰＵ４１は、視認画像に含まれる案内画像の形状及び重複対象物仮想体の形状を、フロントディスプレイ４により表示対象とする画像の形状として夫々記憶する。ここで、前記Ｓ１０で記憶される案内画像の形状は、３次元立体地図に配置された各オブジェクト（案内画像、対象物仮想体等）を車両（乗員）の視点から視認した際に視認できる案内画像の形状である。一方、視認画像に含まれる重複対象物仮想体の形状は、３次元立体地図に配置された各オブジェクト（案内画像、対象物仮想体等）を車両（乗員）の視点から視認した際に視認できる重複対象物仮想体の形状である。従って、例えば前記Ｓ１０で記憶される案内画像の形状は、図７に示すように案内画像５５よりも手前側に位置する重複対象物仮想体５７と重なって視認される場合には、重なる部分については除かれた形状となる。一方、前記Ｓ１０で記憶される重複対象物仮想体の形状は、重複対象物仮想体よりも手前側に位置する案内画像と重なって視認される場合には、重なる部分については除かれた形状となる。

【0059】

更に、Ｓ１１においてＣＰＵ４１は、３次元立体地図において配置された案内画像の位置を取得する。例えば車両の現在位置から１００ｍ先までの道路の路面上となる。同じく、ＣＰＵ４１は３次元立体地図において配置された重複対象物仮想体の位置についても取得する。具体的には案内画像と重複して視認される対象物が存在する位置となる。

【0060】

その後、Ｓ１２においてＣＰＵ４１は、後述の表示範囲決定処理（図１０）を行う。表示範囲決定処理では、フロントディスプレイ４において案内画像及び黒色画像を表示する範囲（フロントガラス５に対して案内画像及び黒色画像を投影する範囲、或いはフロントディスプレイ４に対して案内画像及び黒色画像を表示する範囲）を決定する。

【0061】

続いて、Ｓ１３においてＣＰＵ４１は、フロントディスプレイ４に対して制御信号を送信し、フロントディスプレイ４に対して前記Ｓ１０で記憶された形状の案内画像を、前記Ｓ１２で決定された表示範囲に表示する。同じく、ＣＰＵ４１は前記Ｓ１０で記憶された重複対象物仮想体の形状を有する黒色画像（対象物画像）を、前記Ｓ１２で決定された表示範囲に表示する。尚、案内画像と黒色画像は基本的に一体の画像として表示する。また、３次元立体地図に対して配置される重複対象物仮想体は必ずしも黒色である必要は無いが、その場合であっても重複対象物仮想体に応じてフロントディスプレイ４に表示する画像は黒色の画像とする。

【0062】

ここで、フロントディスプレイ４に表示された画像を車両の乗員が視認する場合において、フロントディスプレイ４に表示された画像が黒色画像である場合には黒色画像の虚像は視認できない（透過状態となる）。従って、黒色画像が対象物と重畳する位置に表示されていたとしても、車両の乗員からは黒色画像の虚像は視認されず（より正確には透過状態で視認される）、対象物のみが視認されることとなる。

【0063】

その結果、図８に示すようにフロントディスプレイ４に表示された案内画像５５及び黒色画像６６を車両の乗員が視認した場合には、黒色画像６６に対応する部分（即ち実景の対象物と重複する部分）については虚像が視認されない（透過状態となる）。また、案内画像５５の虚像６７については、対象物６８に隠れて視認できない部分（図８右図の破線部分）については黒色画像６６によって視認できない一方、それ以外の部分（図８右図の実線部分）については視認される。

【0064】

それによって、車両の乗員は案内画像５５の虚像６７を視認した場合に、虚像６７の形状から虚像６７と重複して視認される対象物６８との間で、前後関係を認識することが可能となる。例えば、図９はフロントディスプレイ４に表示される画像と、車両の乗員からフロントガラス５を介して視認される案内画像５５の虚像６７の一例である。図９に示す例では、案内画像５５の虚像６７は対象物（図９に示す例では他車両）６８よりも奥側（遠方側）にある案内交差点６９に重畳していることが明確となる。従って、案内画像５５の虚像６７によって示される右左折対象となる案内交差点６９の位置や、案内交差点６９における退出道路を正確に把握できる。

【0065】

尚、フロントディスプレイ４に対して案内画像及び黒色画像を描画する場合に、異なるレイヤで描画するようにしても良い。順序として、手前側（自車両側）に位置するものをより上位（上層）のレイヤで描画する。例えば図９に示す例では、重複対象物仮想体よりも奥側（自車両から離れた側）に位置する案内画像５５を最も下位のレイヤで描画する。次に重複対象物仮想体に対応する黒色画像６６をより上位のレイヤで描画する。その場合には、案内画像５５や黒色画像６６の全形を描画したとしても、図９に示す案内画像５５の虚像６７を車両の乗員に視認させることが可能となる。

【0066】

次に、前記Ｓ１２において実行される表示範囲決定処理のサブ処理について図１０に基づき説明する。図１０は表示範囲決定処理のサブ処理プログラムのフローチャートである。

【0067】

先ず、Ｓ２１においてＣＰＵ４１は、車両の乗員の目の位置を車内カメラ１２で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は３次元の位置座標で特定される。

【0068】

次に、Ｓ２２においてＣＰＵ４１は、フロントディスプレイ４の表示がＯＮになっているか否かを判定する。尚、フロントディスプレイ４の表示のＯＮ又はＯＦＦの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてＯＮ又はＯＦＦを自動で切り替えても良い。

【0069】

そして、フロントディスプレイ４の表示がＯＮになっていると判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２３へと移行する。一方、フロントディスプレイ４の表示がＯＦＦになっていると判定された場合（Ｓ２２：ＮＯ）には、フロントディスプレイ４による案内画像の表示を行うことなく終了する。

【0070】

Ｓ２３においてＣＰＵ４１は、フロントディスプレイ４によって画像を投影する対象となるフロントガラス５の位置座標を取得する。尚、フロントガラス５の位置座標は３次元の位置座標で特定される。

【0071】

次に、Ｓ２４においてＣＰＵ４１は、前記Ｓ１１で取得された３次元立体地図において配置された案内画像と重複対象物仮想体の位置を特定する座標を、案内画像と重複対象物仮想体の位置座標として夫々取得する。尚、案内画像と重複対象物仮想体の位置座標は同じく３次元の位置座標で特定される。

【0072】

続いて、Ｓ２５においてＣＰＵ４１は、前記Ｓ２１、Ｓ２３及びＳ２４で取得された各位置座標に基づいて、フロントガラス５における案内画像と黒色画像の投影範囲を決定する。更に、決定された投影範囲からフロントディスプレイ４における案内画像と黒色画像の表示範囲についても決定する。尚、案内画像の表示範囲は、前記Ｓ１０で記憶される形状を有する案内画像が、車両の乗員から３次元立体地図において配置された案内画像と重畳して視認される範囲となる。また、黒色画像の表示範囲は、前記Ｓ１０で記憶される重複対象物仮想体の形状を有する黒色画像が、車両の乗員から３次元立体地図において配置された重複対象物仮想体（即ち実景の対象物）と重畳して視認される範囲となる。その後、Ｓ１３へと移行し、決定された投影範囲や表示範囲に基づいてフロントディスプレイ４を用いた虚像の表示を行う。尚、フロントディスプレイ４の表示がオフになるまで繰り返しＳ６～Ｓ１３の処理を行うこととなる。

【0073】

以上詳細に説明した通り、第１実施形態に係る重畳画像表示装置１及び重畳画像表示装置１で実行されるコンピュータプログラムによれば、案内画像の虚像を車両前方の風景に重畳して視認させる場合に、３次元空間内に案内画像とともに車両の周辺に存在する対象物を模した仮想体を配置し（Ｓ８）、３次元空間内における車両の位置から案内画像及び仮想体を視認した場合の案内画像と仮想体の形状を夫々取得し（Ｓ１０）、取得された形状の案内画像とともに、取得された仮想体の形状を示す黒色画像をフロントディスプレイ４に表示する（Ｓ１３）ので、案内画像の虚像と対象物との位置関係を正確に示す案内画像の虚像を車両の乗員に視認させることが可能となる。その結果、案内画像の虚像を用いた案内をより適切に行うことが可能となる。

【0074】

［第２実施形態］
次に、第２実施形態に係る重畳画像表示装置について図１１及び図１２に基づいて説明する。尚、以下の説明において上記図１乃至図１０の第１実施形態に係る重畳画像表示装置１の構成と同一符号は、前記第１実施形態に係る重畳画像表示装置１等の構成と同一あるいは相当部分を示すものである。

【0075】

この第２実施形態に係る重畳画像表示装置の概略構成は、第１実施形態に係る重畳画像表示装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る重畳画像表示装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る重畳画像表示装置１が、車両周辺の風景に重畳する画像を表示する手段としてフロントディスプレイ４によるヘッドアップディスプレイシステムを用いているのに対して、第２実施形態に係る重畳画像表示装置はナビゲーション装置３の液晶ディスプレイ１７に対してフロントカメラ１１で撮像した撮像画像を表示し、表示した撮像画像に案内画像を重畳させて表示する点で異なる。尚、撮像画像を表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ１７以外のディスプレイであっても良い。

【0076】

図１１は第２実施形態に係る重畳画像表示装置において、液晶ディスプレイ１７に表示される走行案内画面９１の一例を示した図である。図１１に示すように液晶ディスプレイ１７には、フロントカメラ１１により撮像された現時点の車両前方の風景が表示される。そして、車両前方の風景に対して前記Ｓ１０で記憶された形状の案内画像９２を表示する。尚、案内画像９２の表示範囲は、車両の乗員の位置から３次元立体地図において配置された案内画像が視認される範囲となる。また、車両前方の風景に対して前記Ｓ１０で記憶された重複対象物仮想体の形状を有する透過画像（対象物画像）９３についても表示する。尚、透過画像９３の表示範囲は、車両の乗員の位置から３次元立体地図において配置された重複対象物仮想体が視認される範囲、即ち液晶ディスプレイ１７に表示された対象物９４と重畳する範囲となる。尚、透過画像９３は透過率１００％の画像であり、車両の乗員には視認できない画像とする。

【0077】

ここで、液晶ディスプレイ１７に表示された画像を車両の乗員が視認する場合において、液晶ディスプレイ１７に表示された透過画像９３は視認できない（透過状態となる）。従って、透過画像９３が対象物９４と重畳する位置に表示されていたとしても、車両の乗員からは透過画像９３は視認されず（より正確には透過状態で視認される）、対象物９４のみが実質的に視認されることとなる。

【0078】

その結果、図１２に示すように液晶ディスプレイ１７に表示された案内画像９２及び透過画像９３を車両の乗員が視認した場合には、透過画像９３に対応する部分（即ち実景の対象物と重複する部分）については画像が視認されない（透過状態となる）。また、案内画像９２については、対象物に隠れて視認できない部分（図１２右図の破線部分）については透過画像９３によって視認できない（透過される）一方、それ以外の部分（図１２右図の実線部分）については視認される。

【0079】

それによって、車両の乗員は案内画像９２を視認した場合に、案内画像９２の形状から案内画像９２と重複して視認される対象物９４との間で、前後関係を認識することが可能となる。例えば、図１１に示す例では、案内画像９２は対象物（図１１に示す例では他車両）９４よりも奥側（遠方側）にある案内交差点９５に重畳していることが明確となる。従って、案内画像９２によって示される右左折対象となる案内交差点９５の位置や、案内交差点９５における退出道路を正確に把握できる。

【0080】

尚、液晶ディスプレイ１７に対して案内画像及び透過画像を描画する場合に、異なるレイヤで描画するようにしても良い。順序として、手前側（自車両側）に位置するものをより上位（上層）のレイヤで描画する。例えば図１１に示す例では、重複対象物仮想体よりも奥側（自車両から離れた側）に位置する案内画像９２を最も下位のレイヤで描画する。次に重複対象物仮想体に対応する透過画像９３をより上位のレイヤで描画する。その場合には、案内画像９２や透過画像９３の全形を描画したとしても、図１１に示す案内画像９２を車両の乗員に視認させることが可能となる。

【0081】

尚、第２実施形態に係る重畳画像表示装置では、Ｓ１２の表示範囲決定処理は不要であり、液晶ディスプレイ１７における案内画像の表示範囲は、上述したように車両の乗員の位置から３次元立体地図において配置された案内画像が視認される範囲となる。また、液晶ディスプレイ１７における透過画像の表示範囲は、車両の乗員の位置から３次元立体地図において配置された重複対象物仮想体が視認される範囲となる。

【0082】

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記第１実施形態では、フロントディスプレイ４によって車両２のフロントガラス５の前方に虚像を生成する構成としているが、フロントガラス５以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ４により映像を反射させる対象はフロントガラス５自身ではなくフロントガラス５の周辺に設置されたバイザー（コンバイナー）であっても良い。

【0083】

また、第１実施形態では、車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いているが、フロントガラス５に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。その場合には、重複対象物仮想体に対応して表示する対象物画像は黒色画像ではなく第２実施形態のように透過画像とするのが望ましい。

【0084】

また、第１実施形態及び第２実施形態では案内画像はナビゲーション装置３で設定された案内経路に沿った車両の進行方向を示す矢印の画像としているが、他の画像としても良い。例えば、車両の乗員への警告対象となる対象物（例えば他車両、歩行者、案内標識）に対する警告画像、車両が走行する車線の区画線の画像などでも良い。

【0085】

また、第１実施形態及び第２実施形態では案内画像は、車両から視認される風景に含まれる特定の対象物（例えば路面）に重畳した状態を維持することが必要な画像としているが、特定の対象物に重畳した状態を維持することが不要な画像（例えばスマートフォンの画像、地図画像等）としても良い。

【0086】

また、第１実施形態及び第２実施形態では、車両の周辺に存在する対象物の内、案内画像と重複して車両の乗員から視認される対象物に対応する黒色画像又は透過画像のみをフロントディスプレイ４又は液晶ディスプレイ１７に表示しているが、車両の周辺に存在する全ての対象物に対応する黒色画像又は透過画像をフロントディスプレイ４又は液晶ディスプレイ１７に表示しても良い。

【0087】

また、第１実施形態では、フロントディスプレイ４に表示する対象物画像としては透過率０％の黒色画像を表示することとしているが、半透過（例えば透過率５０％）の黒色画像を表示しても良い。更に、その場合には黒色画像によって隠れる位置にある案内画像（図８右図の破線部分）についても同じく半透過で表示する。その結果、対象物によって隠れる位置にある案内画像の虚像についても車両の乗員に視認させることが可能となる。また、特に重要度の高い案内画像（例えば右左折を示す矢印）を表示する場合にのみ、上述した半透過による画像表示を行うようにしても良い。

【0088】

一方、第２実施形態では、液晶ディスプレイ１７に表示する対象物画像としては透過率１００％の画像を表示することとしているが、半透過（例えば透過率８０％）或いは不透過（透過率０％）の画像を表示しても良い。尚、対象物画像を不透過の画像とすると液晶ディスプレイ１７に表示された風景に含まれる対象物が対象物画像に隠れて視認できなくなるが、車両の乗員はフロントガラス越しに対象物を視認できるので大きな問題はない。

【0089】

また、第１実施形態及び第２実施形態では、走行支援処理プログラム（図３）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、フロントディスプレイ４の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、フロントディスプレイ４の制御部が実行する場合には、本発明に係る重畳画像表示装置はフロントディスプレイ４のみで構成することも可能である。

【0090】

また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、重畳画像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

【0091】

例えば、第１の構成は以下のとおりである。
車両（２）の周辺に対応した３次元空間内（５１）に案内画像（５５、９２）を配置する案内画像配置手段（４１）と、車両の周辺に存在する対象物（６８、９４）について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体（５７）を配置する仮想体配置手段（４１）と、現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段（４１）と、前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段（４１）と、前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す黒色の画像である対象物画像（６６、９３）とを一体の画像として車両に設けられた画像表示面に表示し、前記画像表示面に表示された一体の画像である前記案内画像及び前記対象物画像を車両のフロントガラスに反射して車両の乗員に視認させることで、車両前方の風景に前記案内画像の虚像を重畳して視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像の虚像を車両の乗員が視認できない態様で重畳させる画像表示手段（４１）と、を有する。
上記構成を有する重畳画像表示装置によれば、案内画像を車両前方の風景に重畳して視認させる場合において、案内画像よりも車両側に位置する対象物と重複する範囲については車両の乗員から案内画像を視認させないことができるので、案内画像と対象物との位置関係を正確に示す案内画像を車両の乗員に視認させることが可能となる。その結果、案内画像の虚像を用いた案内をより適切に行うことが可能となる。

【0092】

また、上記構成を有する重畳画像表示装置によれば、案内画像の虚像を車両前方の風景に重畳して視認させる場合において、対象物の実像に対応する範囲に黒色画像を表示することによって、案内画像の虚像と対象物との位置関係を正確に示す案内画像の虚像を車両の乗員に視認させることが可能となる。その結果、案内画像の虚像を用いた案内をより適切に行うことが可能となる。

【0093】

また、第２の構成は以下のとおりである。
車両（２）の周辺に対応した３次元空間内（５１）に案内画像（５５、９２）を配置する案内画像配置手段（４１）と、車両の周辺に存在する対象物（６８、９４）について、前記３次元空間内において前記対象物が存在する位置に前記対象物を模した仮想体（５７）を配置する仮想体配置手段（４１）と、現在の車両の位置に対応する前記３次元空間内の位置に視点を設定する視点設定手段（４１）と、前記３次元空間内に前記案内画像及び前記仮想体を配置した状態で、前記視点から視認される前記案内画像及び前記仮想体の形状を取得する形状取得手段（４１）と、前記形状取得手段によって取得された形状の前記案内画像と前記形状取得手段によって取得された前記仮想体の形状を示す透過色の画像である対象物画像（６６、９３）とを一体の画像として車両に設けられて前記車両前方の風景が表示された画像表示面に表示することで、車両前方の風景に前記案内画像を重畳して車両の乗員に視認させるとともに、車両前方の風景の前記対象物の位置に前記対象物画像を車両の乗員が視認できない態様で重畳させる画像表示手段（４１）と、を有する。
上記構成を有する重畳画像表示装置によれば、案内画像を車両前方の風景に重畳して視認させる場合において、案内画像の内、車両側にある対象物と重複するに範囲については透過させることによって、案内画像と対象物との位置関係を正確に示す案内画像を車両の乗員に視認させることが可能となる。その結果、案内画像を用いた案内をより適切に行うことが可能となる。

【0094】

また、第３の構成は以下のとおりである。
前記画像表示手段（４１）は、前記案内画像を所定の重畳位置に重畳して視認させる為の前記画像表示面の表示位置に表示する。
上記構成を有する重畳画像表示装置によれば、車両前方の風景において案内画像を重畳させたい位置に案内画像を重畳して視認させることが可能となる。

【0095】

また、第４の構成は以下のとおりである。
前記画像表示手段（４１）は、前記対象物画像（６６、９３）を前記対象物（６８、９４）に重畳して視認させる為の前記画像表示面（４）の表示位置に表示する。
上記構成を有する重畳画像表示装置によれば、対象物に関しては対象物画像によって視認性が阻害されることなく、車両の乗員に対象物を視認させることが可能となる。また、案内画像については、対象物に隠れて視認できない部分については対象物画像によって視認できない一方、それ以外の部分については視認させることが可能となる。その結果、案内画像と対象物との位置関係を正確に示す案内画像を車両の乗員に視認させることが可能となる。

【0096】

また、第５の構成は以下のとおりである。
前記仮想体配置手段（４１）は、前記対象物（６８）よりも大きいサイズを有する前記仮想体（５７）を配置する。
上記構成を有する重畳画像表示装置によれば、車両に生じる振動等によって乗員から視認できる対象物の位置にブレが生じたとしても、案内画像と対象物との位置関係を正確に示す案内画像を車両の乗員に視認させることが可能となる。

【0097】

また、第６の構成は以下のとおりである。
前記画像表示手段（４１）は、車両の周辺に存在する対象物の内、前記案内画像と重複して車両の乗員から視認される前記対象物に対応する前記対象物画像を表示する。
上記構成を有する重畳画像表示装置によれば、案内画像と関連する対象物のみを対象として対象物画像の表示処理を行うので、対象物画像の表示処理に係る処理負担を軽減することが可能となる。

【符号の説明】

【0098】

１ 重畳画像表示装置
２ 車両
３ ナビゲーション装置
４ フロントディスプレイ
５ フロントガラス
６ 乗員
７ ダッシュボード
１７ 液晶ディスプレイ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５５ 案内画像
５６～５９ 対象物仮想体
６６ 黒色画像
６８ 対象物
９１ 走行案内画面
９２ 案内画像
９３ 透過画像
９４ 対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】