特許 6855350 ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6855350

(24)【登録日】2021年3月19日

(45)【発行日】2021年4月7日

(54)【発明の名称】ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20210329BHJP

   G08G 1/09 20060101ALI20210329BHJP

   G08G 1/16 20060101ALI20210329BHJP

【ＦＩ】

   G01C21/26 A

   G08G1/09 D

   G08G1/16 C

【請求項の数】13

【全頁数】25

(21)【出願番号】特願2017-153648(P2017-153648)

(22)【出願日】2017年8月8日

(65)【公開番号】特開2019-32243(P2019-32243A)

(43)【公開日】2019年2月28日

【審査請求日】2020年3月6日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】木村 豪

(72)【発明者】

【氏名】田部田 隆行

【審査官】 秋山 誠

(56)【参考文献】

【文献】 特開２０１６−１０５２５６（ＪＰ，Ａ）

【文献】 特開２０１４−１８１９２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／２６

Ｇ０８Ｇ １／０９

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の前方に虚像を表示するヘッドアップディスプレイ装置であって、
撮像装置が撮像した車両前方の画像データから認識された対象物に関する情報を取得する情報取得手段と、
虚像として投影される投影画像を生成する画像生成手段と、
前記情報取得手段が取得した前記対象物に関する情報に基づいて、前記対象物を基準にして車両の進行方向における前記投影画像の表示位置を決定する画像位置決定手段と、
前記投影画像を所定方向から見た支援画像に変換する画像変換手段と、
前記支援画像を投影する投影手段と、を有し、
車両の進行方向の前記投影画像の長さは前記対象物の長さより小さく、前記画像位置決定手段は１つの前記対象物を基準に複数の前記投影画像の表示位置を決定するものであり、
前記画像位置決定手段は、複数の前記投影画像のうち１つ目の前記投影画像の始点と前記対象物の始点を一致させ、最期の前記投影画像の終点と前記対象物の終点を一致させることを特徴とするヘッドアップディスプレイ装置。

【請求項2】

車両の前方に虚像を表示するヘッドアップディスプレイ装置であって、
撮像装置が撮像した車両前方の画像データから認識された対象物に関する情報を取得する情報取得手段と、
虚像として投影される投影画像を生成する画像生成手段と、
前記情報取得手段が取得した前記対象物に関する情報に基づいて、前記対象物を基準にして車両の進行方向における前記投影画像の表示位置を決定する画像位置決定手段と、
前記投影画像を所定方向から見た支援画像に変換する画像変換手段と、
前記支援画像を投影する投影手段と、を有し、
前記対象物は等間隔で繰り返し形成されており、
前記画像位置決定手段は、前記画像データにおける最も手前の前記対象物に関する情報に含まれる前記対象物の位置を用いて、前記対象物の長さ及び前記対象物と前記対象物の間隔を算出し、
前記対象物の長さ及び前記間隔に基づき最も手前の前記対象物よりも遠方の前記対象物の位置を推定し、推定した前記対象物の位置を基準に前記投影画像の表示位置を決定することを特徴とするヘッドアップディスプレイ装置。

【請求項3】

前記画像位置決定手段は、前記対象物の位置から求めた前記対象物の路面上の位置を前記投影画像の表示位置に決定することを特徴とする請求項１又は２に記載のヘッドアップディスプレイ装置。

【請求項4】

前記対象物に関する情報は路面上に形成された前記対象物の位置を含み、
前記画像位置決定手段は、車両の進行方向における前記対象物の始点を前記投影画像の始点に一致させるか、又は、車両の進行方向における前記対象物の終点を前記投影画像の始点に一致させることを特徴とする請求項１又は２に記載のヘッドアップディスプレイ装置。

【請求項5】

前記画像位置決定手段は、車両の進行方向における前記対象物の終点を前記投影画像の終点に一致させることを特徴とする請求項４に記載のヘッドアップディスプレイ装置。

【請求項6】

前記対象物は少なくとも道路の一部に繰り返し形成されており、
前記画像位置決定手段は、前記対象物のそれぞれの前記対象物の始点、若しくは、前記対象物の終点を前記投影画像の始点に一致させるか、又は、
前記対象物のそれぞれの前記対象物の終点を前記投影画像の終点に一致させることを特徴とする請求項４又は５に記載のヘッドアップディスプレイ装置。

【請求項7】

前記対象物は少なくとも道路の一部に繰り返し等間隔で形成されており、
前記画像位置決定手段は、所定数の前記対象物ごとに、車両の進行方向における前記対象物の始点を前記投影画像の始点に一致させるか、又は、車両の進行方向における前記対象物の終点を前記投影画像の始点に一致させることを特徴とする請求項４〜６のいずれか１項に記載のヘッドアップディスプレイ装置。

【請求項8】

前記画像位置決定手段は、撮像装置から前記画像データが取得されるごとに、前記投影画像の表示位置を更新することで、前記対象物が車両に対して接近してくる速度と同じ速度で前記支援画像を車両に対して接近させることを特徴とする請求項３〜７のいずれか１項に記載のヘッドアップディスプレイ装置。

【請求項9】

前記対象物は道路に敷設された看板であり、
前記画像生成手段は、前記看板に含まれる情報を含む前記投影画像を生成することを特徴とする請求項３に記載のヘッドアップディスプレイ装置。

【請求項10】

前記対象物は走行レーンを区切るための車線境界線、距離板、又は、ガードレールであることを特徴とする請求項１、請求項２又は請求項６に記載のヘッドアップディスプレイ装置。

【請求項11】

請求項１〜１０のいずれか１項に記載のヘッドアップディスプレイ装置を有し、
前記ヘッドアップディスプレイ装置が搭載された車両の乗員に目的地までの経路を案内するナビゲーション装置。

【請求項12】

ヘッドアップディスプレイ装置が車両の前方に虚像を表示する表示方法であって、
情報取得手段が、撮像装置が撮像した車両前方の画像データから認識された対象物に関する情報を取得するステップと、
画像生成手段が、虚像として投影される投影画像を生成するステップと、
画像位置決定手段が、前記情報取得手段が取得した前記対象物に関する情報に基づいて、前記対象物を基準にして車両の進行方向における前記投影画像の表示位置を決定するステップと、
画像変換手段が、前記投影画像を所定方向から見た支援画像に変換するステップと、
投影手段が、前記支援画像を車両の前方に投影するステップと、を有し、
車両の進行方向の前記投影画像の長さは前記対象物の長さより小さく、前記画像位置決定手段は１つの前記対象物を基準に複数の前記投影画像の表示位置を決定するものであり、
前記画像位置決定手段は、複数の前記投影画像のうち１つ目の前記投影画像の始点と前記対象物の始点を一致させ、最期の前記投影画像の終点と前記対象物の終点を一致させることを特徴とする表示方法。

【請求項13】

ヘッドアップディスプレイ装置が車両の前方に虚像を表示する表示方法であって、
情報取得手段が、撮像装置が撮像した車両前方の画像データから認識された対象物に関する情報を取得するステップと、
画像生成手段が、虚像として投影される投影画像を生成するステップと、
画像位置決定手段が、前記情報取得手段が取得した前記対象物に関する情報に基づいて、前記対象物を基準にして車両の進行方向における前記投影画像の表示位置を決定するステップと、
画像変換手段が、前記投影画像を所定方向から見た支援画像に変換するステップと、
投影手段が、前記支援画像を車両の前方に投影するステップと、を有し、
前記対象物は等間隔で繰り返し形成されており、
前記画像位置決定手段は、前記画像データにおける最も手前の前記対象物に関する情報に含まれる前記対象物の位置を用いて、前記対象物の長さ及び前記対象物と前記対象物の間隔を算出し、
前記対象物の長さ及び前記間隔に基づき最も手前の前記対象物よりも遠方の前記対象物の位置を推定し、推定した前記対象物の位置を基準に前記投影画像の表示位置を決定することを特徴とする表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドアップディスプレイ装置、ナビゲーション装置、及び、表示方法に関する。

【背景技術】

【0002】

車両前方の実景にヘッドアップディスプレイ装置の映像を重畳して表示することで、実景と運転を支援する情報を同時に提供する拡張現実（ＡＲ：Augmented Reality）という技術が知られている。運転者は前方の状況を把握しながら前方の状況と一体に表示された情報を、車内のディスプレイを見る場合よりも少ない視線移動で確認できる。

【0003】

拡張現実を利用して、道路上の対象物を強調する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、道路上の白線を検出して、実景に重畳して白線の壁面画像を表示する車両用表示システムが開示されている。

【0004】

また、車両の車速に合わせて実景に重ねる映像を更新する技術が知られている（例えば、非特許文献１参照。）。図１を用いて説明する。

【0005】

図１は非特許文献１のように、車両の車速に合わせて実景に重ねる映像を更新する拡張現実の映像の表示例を説明する図である。図１（ａ）では走行レーンの路面上に車速に合わせて誘導線２０１が次々と生成される映像を示す。誘導線２０１は、三角アイコン２０２が次々と表示されることで形成される。１つ１つの三角アイコン２０２をＡＲ支援画像と称する。車両が移動しているのに仮にＡＲ支援画像が更新されないと、実景は後方に流れるのに対し、ＡＲ支援画像が車両の前方に静止したままになってしまう。そこで、従来技術では、車速が速いほど速く三角アイコン２０２が車両の後方に移動するように誘導線２０１を描画することで、実景の流れに対し少ない違和感で三角アイコン２０２が車両の後方に流れるように表示する。

【0006】

図１（ｂ）はレーンからの逸脱を警告するＡＲ支援画像が重畳された実景を示す。図１（ｂ）の例では検出された実景の白線２０５（車両から見て左の白線）に重畳するように警告線２０３を構成する円アイコン２０４のＡＲ支援画像が表示される。この場合も、車速が速いほど速く円アイコン２０４が車両の後方に移動するように映像が表示される。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１５−２１０６４４号公報

【非特許文献1】Continental Automotive Japan、「拡張現実ヘッドアップディスプレイでドライブ」、「２０１５年０１月１４日」［平成２９年７月１９日検索］、インターネット（https://www.youtube.com/watch?v=zMdkgr2cw5U）

【非特許文献2】神田準史郎、外２名、「車載カメラ画像処理による道路白線測位方式の開発」、社団法人 情報処理学会、２００６年３月７日

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来の技術では車速に応じてＡＲ支援画像の表示速度を変更するに過ぎないため、実景の対象物に合わせてＡＲ支援画像を表示できないという問題があった。すなわち、白線を例にすると白線はほぼ等間隔で路面に形成されているが、従来の表示方法では、白線の間隔（ピッチ）に関係なくＡＲ支援画像が表示されてしまう。このため、運転者が見にくいと感じる場合があったり、ＶＲ（Virtual Reality）酔いを生じさせたりするおそれがあった（実景と映像（自分の感覚）とのずれによって生じる動揺病（乗り物酔い））。補足すると、運転者は視界に見えている白線などの道路構造物と一緒にＡＲ支援画像を視認するが、これらの位置関係がずれていたり、流れてくる量が異なっていたり、同期して流れてこない場合、それらがＶＲ酔いに繋がる。

【0009】

本発明は上記課題に鑑み、実景の対象物に合わせて映像を表示できるヘッドアップディスプレイ装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、車両の前方に虚像を表示するヘッドアップディスプレイ装置であって、撮像装置が撮像した車両前方の画像データから認識された対象物に関する情報を取得する情報取得手段と、虚像として投影される投影画像を生成する画像生成手段と、前記情報取得手段が取得した前記対象物に関する情報に基づいて、前記対象物を基準にして車両の進行方向における前記投影画像の表示位置を決定する画像位置決定手段と、前記投影画像を所定方向から見た支援画像に変換する画像変換手段と、前記支援画像を投影する投影手段と、を有し、車両の進行方向の前記投影画像の長さは前記対象物の長さより小さく、前記画像位置決定手段は１つの前記対象物を基準に複数の前記投影画像の表示位置を決定するものであり、前記画像位置決定手段は、複数の前記投影画像のうち１つ目の前記投影画像の始点と前記対象物の始点を一致させ、最期の前記投影画像の終点と前記対象物の終点を一致させることを特徴とする。

【発明の効果】

【0011】

実景の対象物に合わせて映像を表示できるヘッドアップディスプレイ装置を提供することができる。

【図面の簡単な説明】

【0012】

【図1】従来の拡張現実を用いた映像の表示例を説明する図である。

【図2】ヘッドアップディスプレイ装置が表示するＡＲ支援画像の一例を示す図である。

【図3】ヘッドアップディスプレイ装置の構成例を示す図である。

【図4】映像投影装置の機能をブロック状に示す機能ブロック図の一例である。

【図5】ヘッドアップディスプレイ装置が取得する白線座標を説明する図の一例である。

【図6】カメラ座標系を説明する図の一例である。

【図7】車両座標系とカメラ座標系の変換を説明する図の一例である。

【図8】検出された白線に合わせて表示されるＡＲ支援画像を説明する図の一例である。

【図9】運転者から見た三角アイコンのＡＲ支援画像の一例を示す図である。

【図10】ＡＲ支援画像の作成について説明する図の一例である。

【図11】路面に形成された投影画像の投影面への透視投影変換を説明する図の一例である。

【図12】ヘッドアップディスプレイ装置の動作手順を示すフローチャート図の一例である。

【図13】等間隔に現れる構造物を用いた他の表示例を説明する図である。

【図14】１つの白線につき３つのＡＲ支援画像が表示される場合の表示例等を示す図である。

【図15】１つの白線につき複数のＡＲ支援画像を映像投影装置が表示する手順のフローチャート図である。

【図16】白線に合わせて表示された道路標識アイコンのＡＲ支援画像の一例を示す図である。

【図17】距離板に合わせて表示された距離板アイコンのＡＲ支援画像の一例を示す図である。

【図18】運転者から見た本実施例のＡＲ支援画像の一例を示す図である。

【図19】ヘッドアップディスプレイ装置がＡＲ支援画像を表示する際の動作を説明するフローチャート図の一例である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。

【実施例1】

【0014】

＜ＡＲ支援画像の表示の概略＞
図２は、本実施形態のヘッドアップディスプレイ装置が表示するＡＲ支援画像の一例を示す図である。図２（ａ）は走行レーンを区切る白線２０５を示す平面図であり、図２（ｂ）は左右の白線２０５の幅員方向の中央に三角アイコン２０２のＡＲ支援画像が表示された平面図である。なお、三角アイコン２０２のＡＲ支援画像はヘッドアップディスプレイ装置が投影するものであり、実際に路面に形成されるものではない。図２（ｂ）は運転者からこのように見えるようにヘッドアップディスプレイ装置がＡＲ支援画像を表示することを説明する図である。

【0015】

図２（ｂ）に示すように、ヘッドアップディスプレイ装置は繰り返し現れる構造物のピッチ（間隔）に合わせて三角アイコン２０２のＡＲ支援画像を表示する。例えば、図２（ｂ）では、白線の始点Ｓに合わせて三角アイコン２０２が表示されている。また、白線２０５の終点Ｅに三角アイコン２０２の終点が一致するように三角アイコン２０２が表示される。すなわち、白線が車両８の進行方向におけるＡＲ支援画像の表示位置を決定する基準になる。

【0016】

このようなＡＲ支援画像によれば、運転者からは白線と同じ間隔でＡＲ支援画像が現れるように見える。また、構造物に合わせて表示することで、車両８が走行すると白線と同じ早さでＡＲ支援画像が後方に移動する。したがって、実景とＡＲ支援画像の一体感を高めることができ、運転者がより見やすい映像を表示できる。また、ＶＲ（Virtual Reality）酔いが生じる可能性を低減できる。

【0017】

＜用語について＞
白線には道路の左端と右端にある実線の車道外側線と、片側に複数の走行レーンがある場合に走行レーンを区切る車線境界線がある。車線境界線は破線であり路面に繰り返し等間隔に形成されている。本実施形態では主にこの車線境界線を例にして説明する。なお、白線は、白色に限らずその他の色（例えば黄色）で路面にペイントされていてよい。また、白線は完全な平面である必要はない。例えば、ボッツドッツ又は反射板（キャッツアイ）が含まれる。

【0018】

特許請求の範囲の対象物とは、画像データから認識可能な有体物であればよい。例えば、地物、敷設物、自然物、移動体、人、動物などである。本実施形態ではＡＲ支援画像の表示位置の基準となる有体物といってもよい。

【0019】

対象物に関する情報は、どのような対象物がどこにあるかという情報である。あるいはＡＲ支援画像の内容と表示位置を決めるために必要な対象物の情報である。

【0020】

進行方向における表示位置の進行方向とは道なりの方向である。縁石や白線に並行な方向といってもよい。

【0021】

＜ヘッドアップディスプレイ装置の構造例＞
図３は、ヘッドアップディスプレイ装置１００の構成例を示す図である。ヘッドアップディスプレイ装置１００は、映像投影装置２１、ディフューザ２２、反射ミラー２３、凹面ミラー２４、及び、コンバイナー２５を有する。コンバイナー２５以外の部品は、車両８のダッシュボード１９の内部に埋め込まれている。凹面ミラー２４が反射した映像は射出窓１８を通過してウィンドウシールド１３に形成されたコンバイナー２５に向けて投影される。投影された映像はウィンドウシールド１３よりも前方に虚像１０として表示される。運転者９はこの虚像１０を視認することができる。したがって、ヘッドアップディスプレイ装置１００は表示装置の一態様である。運転者９は視線を前方の車両８や路面に保ったまま（少ない視線移動で）運転を支援する情報を目視できる。

【0022】

映像投影装置２１は、車両８に搭載された車載装置から取得した運転を支援する情報に基づいて虚像として投影される映像を生成する。具体的には例えば路面に進行方向を表すマークが描画されているかのように見えるＡＲ支援画像を生成する。この場合、映像投影装置２１は三次元座標系に何らかの投影画像（コンピュータグラフィックではオブジェクトと呼ばれる）を配置して運転者の視界に相当する投影面に投影画像を透視投影変換することで、ＡＲ支援画像を生成する。あるいは、ＡＲ支援画像を生成するのでなく、単に車速などの情報を生成してもよい。

【0023】

また、映像投影装置２１は映像を投影する機能を有する。投影の方式としてはＬＣＤ（液晶ディスプレイ）、ＤＬＰ（Digital Light Processing）、レーザプロジェクタなどがある。本実施形態では投影の方式は制限されない。

【0024】

ディフューザ２２は映像投影装置２１が投影した映像（光）を拡大する役割を有する。ディフューザ２２の映像投影装置２１側の面には隙間なくマイクロレンズが形成されている。マイクロレンズは通常のレンズと比較して物像間距離を小さくできるため、距離Ｌ１を稼ぎやすい。なお、映像が広がる角度は、マイクロレンズのサイズ、各レンズの焦点距離などから決定される。

【0025】

映像投影装置２１から見てディフューザ２２の背面（映像の投影方向）には反射ミラー２３が配置されている。反射ミラー２３は映像投影装置２１が投影する映像を凹面ミラー２４に向けて折り返す。映像投影装置２１が直接、凹面ミラー２４に映像を投影してもよい。しかし、映像投影装置２１から凹面ミラー２４までの距離が長い方が、コンバイナー２５から虚像１０までの距離が長くなるため、運転者は少ない視線移動で虚像１０を視認できる。したがって、反射ミラー２３は１つだけに限らず、３枚以上の反射ミラー２３が光路を折り返すことで距離を稼いでもよい。

【0026】

凹面ミラー２４は、映像を拡大してコンバイナー２５に向けて反射すると共に虚像を結像させるためのレンズの役割を果たす。凹面ミラー２４が反射した映像はダッシュボード１９の前方の射出窓１８を通過してコンバイナー２５に到達する。凹面ミラー２４は映像の全体がコンバイナー２５に到達するように大きさ、角度、及び、位置が設計される。

【0027】

コンバイナー２５は２つの機能を有する。１つは凹面ミラー２４で反射された映像を運転者側に反射させる機能である（反射部材の機能）。もう１つはコンバイナー２５を介して運転者９が得る視界を確保する機能（透過機能）である。コンバイナー２５の運転者側の面にはビームスプリッターが形成されているため、入射する映像の少なくとも一部を運転者９に向けて反射する。また、外光の少なくとも一部が透過して運転者９の目に到達する。これにより、運転者９は虚像と前方の実景の両方を同時に見ることができる。

【0028】

なお、コンバイナー２５の車外側の面は車内側の面とほぼ同じ曲率を有しているため、コンバイナー２５を透過する光に対してレンズ効果を持たず、実景が歪むことはない。

【0029】

＜機能について＞
図４は、映像投影装置２１の機能をブロック状に示す機能ブロック図の一例である。映像投影装置２１には、カメラＥＣＵ３２とナビゲーション装置３１が接続される。カメラＥＣＵ３２は車両８の前方を撮像するカメラ３３を制御するＥＣＵ（Electronic Control Unit）である。カメラ３３は、静止画又は動画を撮像可能な撮像装置であり、例えばルームミラーの車両前方側、車両８の天井の前方部、又は、フロントバンパの中央若しくは左右のコーナ等、前方の白線を撮像可能な位置に配置される。

【0030】

カメラは単眼カメラでもステレオカメラでもよい。本実施形態では路面の白線の座標が検出されるが、この機能は単眼カメラでも実現可能である。ただし、ステレオカメラ（又は距離情報を取得できる単眼カメラ）であれば路面に限らず撮像範囲の距離情報が得られる。なお、カメラは所定の周期で繰り返し前方の撮像範囲を撮像している。

【0031】

カメラＥＣＵ３２はカメラ３３が撮像した画像データに各種の画像処理を施す。例えば、白線を認識する処理、交通標識を認識する処理、信号機の状態を認識する処理、及び、対象物（歩行者や先行車等）の検出等を行う。本実施形態では、主に繰り返し等間隔に現れる構造物を認識する。具体的には白線、ガードレール、及び、距離標（キロポスト）が挙げられる。カメラＥＣＵ３２はカメラ座標系で構造物を検出する。

【0032】

なお、交通標識等を認識するためカメラＥＣＵ３２はパターン認識を行う。パターン認識とは特徴量のパターンを予め定められたクラスの１つに対応させる情報処理である。パターン認識では、ニューラルネットワーク、ディープラーニング、又はサポートベクターマシンなどのアルゴリズムが知られており、予め対象物とそうでない物の特徴が学習される。特徴量は対象物の特徴を表す指標として適宜設定される。一例としては、勾配方向ヒストグラム (HOG)、スピードアップロバスト特性 (SURF)、局所２値パターン（ＬＢＰ）、カラーヒストグラムなどがある。

【0033】

ナビゲーション装置３１は各種の運転支援を行う装置である。例えば、ＧＮＳＳ（Global Navigation Satellite System）などで自車位置を検出すると共に道路地図に自車位置を表示する。また、道路地図に目的地までの経路を表示したり、進路変更の手前で進行方向を案内したりすることで目的地まで運転者を誘導する。片道に複数のレーン（車線）がある道路では、右折専用又は左折専用のレーンなど適切なレーンを運転者９に案内する。ヘッドアップディスプレイ装置１００はこれらの案内情報に基づいてＡＲ支援画像を生成して表示することができる。

【0034】

図４ではナビゲーション装置３１は、ヘッドアップディスプレイ装置１００と別体であるが、ナビゲーション装置３１がヘッドアップディスプレイ装置１００の機能を有していてもよい。あるいは、ヘッドアップディスプレイ装置１００がナビゲーション装置３１を有していてもよい。

【0035】

映像投影装置２１は、映像を投影する機能の他、情報処理装置としての機能を有している。映像投影装置２１は、カメラ情報ＩＦ３５、ナビ情報ＩＦ３４、投影画像生成部３６、座標変換部３７、画像位置決定部３８、画像変形部３９、及び、映像投影部４０の各機能ブロックを有している。

【0036】

カメラ情報ＩＦ３５は、カメラＥＣＵ３２から画像の認識結果を取得する。本実施例では一例として構造物の座標（白線座標）を取得する。ナビ情報ＩＦ３４はナビゲーション装置３１から案内情報を取得する。本実施例では一例としてレーンガイド、進行方向などの情報を取得する。なお、レーンガイドとは、走行すべきレーンを案内することをいう。なお、カメラ情報ＩＦ３５とナビ情報ＩＦ３４はＣＡＮ（Controller Area Network）などの車載ネットワークを介して通信する。

【0037】

投影画像生成部３６は、カメラ情報ＩＦ３５が取得する画像認識結果、又は、ナビ情報ＩＦ３４が取得する案内情報に基づいて投影画像を生成する。例えば、走行レーンの移動という案内情報が得られた場合、現在の走行レーンから次の走行レーンに誘導する投影画像を生成する。直進のままであれば上向きの三角アイコン２０２や矢印アイコンを、右側レーンへの移動であれば右向きの三角アイコン２０２や右向きの矢印アイコンを、左側レーンへの移動であれば左向きの三角アイコン２０２や矢印アイコンを投影画像として生成する。また、画像認識結果が車線逸脱警告であれば、白線を強調する投影画像を生成する。この投影画像が変形されてＡＲ支援画像になる。投影画像とＡＲ支援画像は実質的に同じ物であるため、本実施形態でも支障のない範囲では明確に区別しない場合がある。

【0038】

なお、投影画像を生成するためのセンサはカメラ３３だけである必要はなく、車両の周囲の障害物を検出するレーダ、ソニックセンサ、又は、後方カメラ等の検出結果に基づき投影画像生成部３６が投影画像を生成する場合もある。

【0039】

投影画像と画像認識結果又は案内情報の対応が予め決まっている場合、投影画像生成部３６は案内情報又は画像認識結果に対応づけられた投影画像を決定すればよい。これに対し、画像認識結果が看板の内容であるような場合、投影画像生成部３６は内容を含む投影画像を逐次、生成する。例えば、カメラ情報ＩＦ３５が交通標識から認識された制限速度を取得した場合、交通標識を模倣した投影画像を生成する。

【0040】

座標変換部３７はカメラ座標系の構造物の座標を車両座標系に変換する。カメラ座標系はカメラの撮像素子の中心を原点とする座標系であり、車両座標系は、例えば車両８の中心（又は重心）を原点とする座標系である。映像投影装置２１は車両座標系で映像を投影する。なお、車両座標系でなく映像投影装置２１にとって好適な座標系に変換してもよい。

【0041】

画像位置決定部３８は、繰り返し等間隔で現れる構造物（白線、ガードレール又は距離板など）等を基準に、車両の進行方向における投影画像を配置する位置を決定する。車幅方向（左右方向）については、車両の正面、白線の中央、構造物の近く、などのように決定される。また、高さ方向については本実施形態では、投影画像は路面に配置される。

【0042】

画像変形部３９は、路面に配置された投影画像を透視投影変換することでＡＲ支援画像を生成する。路面に配置する投影画像は構造物の始点や終点と合わせられている。ＡＲ支援画像は運転者から見て路面にペイントされているかのように変形されているため、運転者は実景に対し違和感が少ないＡＲ支援画像を視認できる。

【0043】

映像投影部４０は、画像変形部３９が生成したＡＲ支援画像を映像の投影機能を使って投影する。具体的にはＬＣＤ、ＤＬＰ、レーザプロジェクタなどのエンジン部分である。

【0044】

＜白線の認識について＞
白線認識に関する画像処理は各種提案されているため、以下の説明はあくまで一例である。なお、カメラＥＣＵ３２は白線と道路の境界の座標を検出する。

【0045】

１．エッジ抽出
カメラＥＣＵ３２はカメラが撮像した画像データの各フレームからエッジ抽出を行う。エッジ抽出には、Sobelフィルタ、Laplacianフィルタ、Cannyフィルタなど、エッジ抽出に適したフィルタを用いればよい。水平方向の輝度の変化に基づいて、暗→明（路面から白線）と明→暗（白線から路面）の２つのパターンのエッジを分けて抽出する。

【0046】

２．線分抽出
次に、画像データの下方部分（白線が映っている可能性がある）を水平ブロックに分割し、各ブロックにおいてエッジ点から線分を抽出する。線分の抽出には例えばハフ変換が使用される。

【0047】

３．グループ化
水平ブロック内で同じと見なせる傾きの線分を白線の一部の線分としてグループ化する。更に、線分の始点と終点に着目し、ある線分の延長上に存在する別の線分をグループ化する。

【0048】

４．白線の検出
水平ブロック間で同じ傾きの線分を１本の白線候補として検出する。この時、終点と始点が閾値以上はなれた線分（グループ化されている）は同じ白線候補にしない。複数の白線候補から以下の条件を満たす組み合わせを白線として検出する。
(i) 暗→明の白線候補と明→暗の白線候補の幅が白線と見なせる幅の閾値以下であること。
(ii) １本の白線候補が白線と見なせる程度の長さ以上であること。
(iii) 数フレーム前まで遡った場合に白線の位置が大きく異ならないこと。

【0049】

＜白線座標＞
図５は、本実施形態でヘッドアップディスプレイ装置１００が取得する白線座標を説明する図の一例である。カメラＥＣＵ３２は１本の白線の左右の外縁の座標を検出しているが、本実施形態では最も手前の白線の始点Ｓと終点Ｅの座標が得られていればよい。図示するように座標が設定された場合、始点Ｓは認識された１本の白線２０５のうちｚ座標が最も小さい座標、終点Ｅはｚ座標が最も大きい白線座標である。

【0050】

１本の白線２０５につき内側（路面→白線）と外側（白線→路面）それぞれの２点が決定されるので、ｘ座標、ｙ座標、ｚ座標は２点の平均とする。

【0051】

始点Ｓと終点Ｅの算出はカメラＥＣＵ３２が行ってもよいし、映像投影装置２１が行ってもよい。この場合、映像投影装置２１はカメラＥＣＵ３２が算出した白線の外縁の座標から始点Ｓと終点Ｅを算出する。

【0052】

＜路面の座標の算出＞
画像データにおける白線２０５の位置は検出されたが、白線の位置を基準にして路面に形成されているかのようにＡＲ支援画像を表示するにはカメラ座標系における白線２０５の座標が必要になる。以下では、カメラレンズの中心を原点とするカメラ座標系における白線２０５の座標を算出する方法を説明する。本実施形態では路面が平面であると仮定する。

【0053】

図６は、カメラ座標系を説明する図の一例である。カメラ座標系における平面の方程式は以下で表される。

【0054】

αｘ＋βｙ＋γｚ＝−ｈ …（１）
ｘ、ｙ、ｚは路面３０１上の点であり、α、β、γ、はカメラの傾きθにより決定される係数であり、ｈはカメラの路面３０１からの高さである。よく知られているようにα、β、γ、は路面３０１の法線ベクトルのｘ、ｙ、ｚ要素である。補足すると、カメラの傾きθがゼロであるとすると路面３０１の法線ベクトルが容易に求められる。この法線ベクトルを、Ｘ軸を中心にθだけ傾ける（回転させる）ことでカメラ座標系の路面３０１の法線ベクトルが算出される。したがって、α、β、γを求めることができる。

【0055】

次に、画像データの座標を距離ｚで正規化すると
ｘ_ｎ＝ｘ/ｚ、ｙ_ｎ＝ｙ/ｚ …（２）
の関係が得られる。この式（２）を式（１）に代入すると式（３）が得られる。

【0056】

【数1】

式（３）は正規化された画像データの白線位置から、カメラ座標系の白線座標を求める式である。したがって、路面３０１上の白線の三次元座標が得られる。なお、式（３）の導出は非特許文献２を参照されたい。

【0057】

＜カメラ座標系と車両座標系の変換＞
式（３）で求められた白線の三次元座標はカメラ座標系であるのに対し、映像投影装置２１は車両座標系で投影画像をＡＲ支援画像に変換する。このため、カメラ座標系の白線の座標を車両座標系の白線の座標に変換する。

【0058】

図７は、車両座標系３０３とカメラ座標系３０２の変換を説明する図の一例である。車両座標系３０３はどのように設定されてもよいが一例として車両８の中心を原点とする。カメラ座標系３０２の原点はレンズの中心である。したがって、実測すれば、Ｘ方向、Ｙ方向、Ｚ方向それぞれの平行移動量が分かる。

【0059】

また、カメラ座標系３０２の傾きθは実測されているので、その傾きだけカメラ座標系３０２の白線座標を回転させればよい。

【0060】

＜白線を構造物としたＡＲ支援画像の表示＞
図８は、検出された白線に合わせて表示されるＡＲ支援画像を説明する図の一例である。カメラＥＣＵ３２は撮像範囲に含まれる白線座標をヘッドアップディスプレイ装置１００に送出する。映像投影装置２１は最も手前の白線座標に基づいて、例えば三角アイコン２０２のようなＡＲ支援画像の表示位置を決定する。

【0061】

白線２０５の始点Ｓから終点ＥまでをＯＮと称し、終点Ｅから次の白線２０５の始点ＳまでをＯＦＦとする。１つの白線２０５の長さをｄＯＮ、白線２０５の間隔をｄＯＦＦと称する。図５に示したようにｄＯＮは始点Ｓと終点Ｅのｚ座標の差である。ｄＯＦＦは終点Ｅと次の白線２０５の始点Ｓのｚ座標の差である。白線２０５の始点Ｓから白線２０５の任意の点までの距離をオフセット２０６と称する。

【0062】

ｄＯＮは一般道路又は高速道路のそれぞれで一定であり、ｄＯＦＦも一般道路又は高速道路のそれぞれで一定である。したがって、カメラＥＣＵが少なくとも１つの白線２０５の長さｄＯＮと次の白線２０５までの間隔ｄＯＦＦを測定できれば、それよりも車両８から遠方の白線２０５のｄＯＮとｄＯＦＦも推定できる。最も手前の白線２０５の長さｄＯＮと次の白線２０５までの間隔ｄＯＦＦを合わせてセンシングゾーン２０８という。

【0063】

したがって、映像投影装置２１は最も手前の白線２０５のｄＯＮとｄＯＦＦを測定すれば、それよりも遠方の白線２０５の始点Ｓ又は終点Ｅに合わせてＡＲ支援画像を表示できる。図８では最も手前の白線２０５の次の白線２０５から３つ目までの白線２０５の始点に合わせて三角アイコン２０２のＡＲ支援画像が表示されている。

【0064】

遠方のいくつの白線２０５までＡＲ支援画像を表示するかは予め定められている。ＡＲ支援画像が表示される白線２０５の範囲をＨＵＤディスプレイゾーン２０７という。ＨＵＤディスプレイゾーン２０７は例えばコンバイナー２５と実景が重畳される範囲である。ＨＵＤディスプレイゾーン２０７は撮像範囲よりも広くすることができるので、本実施形態のヘッドアップディスプレイ装置１００は白線２０５が等間隔であることを利用して撮像範囲の一部のセンシングゾーン２０８の白線２０５で遠方の白線２０５にＡＲ支援画像を表示できる。

【0065】

図９は、運転者から見た三角アイコン２０２のＡＲ支援画像の一例を示す。ＡＲ支援画像の始点Ｓが白線の始点と一致しているため、運転者が違和感を感じることを抑制できる。なお、図９の横線２０９は説明のための線であり、ヘッドアップディスプレイ装置１００が実際に表示するものではない。

【0066】

＜ＡＲ支援画像の作成について＞
図１０はＡＲ支援画像の作成について説明する図の一例である。図１０（ａ）はＡＲ支援画像に変換される投影画像５３が仮に車両８の前方の路面３０１にペイントされている場合の想定図である。このような投影画像５３が路面３０１に実際にペイントされていると仮定すると、運転者９からは遠方ほど小さい右向きの三角形（レーン移動誘導の投影画像）が見える。一例として、車両８の車幅方向をｘ軸、鉛直方向をｙ軸、進行方向をｚ軸とする。三角形の頂点の１つの座標を（ｘ_１，ｙ_１，ｚ_１）とする。

【0067】

図１０（ｂ）は同様に路面３０１にペイントされた投影画像５３と車両８の側面図である。車両８と共に移動する所定の原点（例えば車両の中心）をとると、路面３０１までの高さｙ_１は既知になる。また、レーン移動誘導の投影画像５３が表示されるｚ方向の距離は白線の始点である。したがって、前方までの距離ｚ_１は白線座標から算出される。車両８の中心から車幅方向のどのくらいの距離にレーン移動誘導の投影画像５３が表示されることが運転を支援する上で効果的かは実験的に定められている（例えば白線の中央、又は、車両８の正面）。白線の中央に表示した場合、白線内で車両が移動しても投影画像５３は常に白線の中央に表示されるので、投影画像５３が路面にペイントされるように見える。車両８の正面に表示した場合、白線内で車両が移動しても投影画像５３は常に車両８の正面に表示されるので見やすい。したがって、車幅方向の距離ｘ_１は設定値となる。以上から（ｘ_１，ｙ_１，ｚ_１）は既知である。

【0068】

図１１は、路面３０１にペイントされた投影画像５３の投影面５４への透視投影変換を説明する図の一例である。映像投影装置２１は投影画像の透視投影変換を行うが、透視投影変換には投影面５４の設定が必要になる。投影面５４とは投影画像５３が投影される２次元平面である。投影面５４は運転者９の視界を表す。ヘッドアップディスプレイ装置１００がＡＲ支援画像を表示する場合、運転者はコンバイナー２５越しに前方を見るため、コンバイナー２５の付近のほぼ垂直な平面が投影面５４として設定される。したがって、投影面５４の中心座標（ｘ_０，ｙ_０，ｚ_０）は投影面５４がどこに設定されるかにより上記のｘ、ｙ、ｚ座標系で算出される。投影面５４の大きさもコンバイナー２５の大きさ等から適宜、決定されている。

【0069】

映像投影装置２１はこの投影面５４に対し透視投影変換を行う。これにより、投影画像５３が運転者から見たＡＲ支援画像に変換される。助手席にコンバイナー２５が形成されているような場合は、運転席からの映像でなく助手席からの映像に変換されてもよい。投影面５４が設定されれば所定方向から見たＡＲ支援画像に変換可能である。

【0070】

投影面５４に投影された投影画像５３の座標をｘ_２，ｙ_２，ｚ_２とすると、同次座標系の透視投影変換は以下で表すことができる。

【0071】

【数2】

この変換を投影画像の各画素ごとに行うことで、映像投影装置２１はＡＲ支援画像を作成できる。左辺の第４成分でｘ_２，ｙ_２を割ることで投影面５４の座標が得られる。

【0072】

＜動作手順＞
図１２は、ヘッドアップディスプレイ装置１００の動作手順を示すフローチャート図の一例である。図１２の処理は１つの画像データごとに実行される。

【0073】

まず、カメラ情報ＩＦ３５がカメラＥＣＵ３２から白線座標を取得する（Ｓ１０）。同様に、ナビ情報ＩＦ３４がナビゲーション装置３１から案内情報を取得する（Ｓ２０）。例えば、現在走行中の走行レーンから右側レーンへの移動を誘導する案内情報を取得したものとする。なお、カメラＥＣＵ３２が障害物を検出した場合などは案内情報でなく画像認識結果から投影画像５３が生成されるため、この場合、案内情報は不要になる。

【0074】

そして、投影画像生成部３６は案内情報に応じて投影画像を生成する（Ｓ３０）。右側レーンへの移動を誘導する案内情報に対しては、三角アイコン２０２の投影画像５３を生成する。

【0075】

座標変換部３７は、カメラ座標系の白線座標を車両座標系の座標に変換する（Ｓ４０）。

【0076】

次に、画像位置決定部３８は白線座標に基づいて、ｄＯＮとｄＯＦＦをモニターする（Ｓ５０）。モニターとは白線２０５が安定して検出されていることを確認し、検出されている場合の過去の数フレームの画像データから平均的なｄＯＮを求めておくことをいう。平均的なｄＯＮは最も手前の白線の全体が映っていない場合に使用される。また、このモニターは過去の数フレームに対し繰り返し、行われているものとする。

【0077】

画像位置決定部３８は最も手前の白線の全体が映っているか否かを判断する（Ｓ６０）。すなわち、画像データの下側の端部で白線２０５が見切れていないかどうかを判断する。この判断は、例えば白線２０５の始点Ｓの座標が画像データの最下部と一致するかどうかにより判断できる。

【0078】

ステップＳ６０の判断がＹｅｓの場合、画像位置決定部３８は最も手前の白線２０５のｄＯＮとｄＯＦＦを算出する（Ｓ７０）。最も新しく検出された白線２０５でｄＯＮとｄＯＦＦを更新することで、実景の白線２０５の始点とＡＲ支援画像の始点を一致させやすくなる。

【0079】

次に、画像位置決定部３８は最も手前の白線２０５のＯＦＦの終点を１つ目の投影画像５３の始点Ｓに決定する（Ｓ８０）。つまり、図８のセンシングゾーンでｄＯＮとｄＯＦＦが算出されたので、ＨＵＤディスプレイゾーン２０７の最初の白線２０５の始点Ｓを決定する。

【0080】

また、画像位置決定部３８は最も手前の白線２０５のＯＦＦの終点にｄＯＮとｄＯＦＦを加えた座標を２つ目の投影画像５３の始点Ｓに決定する（Ｓ９０）。つまり、センシングゾーンの２つめの白線２０５に合わせて投影画像５３を決定する。

【0081】

また、画像位置決定部３８は最も手前の白線２０５のＯＦＦの終点にｄＯＮとｄＯＦＦをそれぞれ２つ分加えた座標を３つ目の投影画像５３の始点に決定する（Ｓ１００）。つまり、センシングゾーンの３つ目の白線２０５に合わせて投影画像５３を決定する。

【0082】

このように、最も手前の白線２０５の白線座標に基づいて更に遠方の３つの白線２０５の始点に合わせてＡＲ支援画像を表示できる。カメラの撮像範囲に遠方までの多くの白線が含まれる場合は、撮像範囲の全ての白線座標から直接、投影画像の位置を決定できる。しかしながら、カメラの搭載位置がバンパーなどの低い位置だと撮像範囲に多くの白線を含めることが困難な場合がある。本実施例のヘッドアップディスプレイ装置１００はこのような状況でも最も手前の白線２０５の白線座標を測定することでより遠方の白線２０５に合わせてＡＲ支援画像を表示できる。

【0083】

次に、画像変形部３９は、決定した座標に投影画像を配置して透視投影変換を行う（Ｓ１１０）。そして、映像投影部４０がＡＲ支援画像を表示する（Ｓ１２０）。

【0084】

ステップＳ６０の判断がＮｏの場合、画像位置決定部３８はモニターにより得られている平均的なｄＯＮを使用する（Ｓ１３０）。また、ｄＯＦＦを測定する（Ｓ１４０）。以降はステップＳ８０〜Ｓ１２０が実行される。なお、最も手前の白線２０５の全体が映っていない場合、次に手前にある全体が映っている白線２０５を利用してもよい。

【0085】

なお、遠方３つ分の白線２０５に対しＡＲ支援画像を表示すると説明したのは説明の便宜上に過ぎず、４つ分以上の白線２０５に対しＡＲ支援画像を表示してもよい。また、最も手前の白線２０５のｄＯＮとｄＯＦＦだけでなく、撮像範囲の全ての白線２０５のｄＯＮとｄＯＦＦを測定してもよい。また、最も手前から所定個の白線２０５のｄＯＮとｄＯＦＦを測定して平均を算出してもよい。

【0086】

映像投影装置２１は白線２０５が検出された画像データごとに、遠方の３つの白線２０５のＡＲ支援画像を更新するので路面にペイントされた白線２０５の実際のｄＯＮとｄＯＦＦに基づいて常に正確なＡＲ支援画像を表示できる。また、ＡＲ支援画像は白線２０５に合わせて表示されているので、白線２０５と同じ速度で後方に移動する。また、等間隔に現れる構造物とＡＲ支援画像のピッチが一致しているので、運転者が違和感を感じたり、ＶＲ酔いしたりすることを抑制できる。

【0087】

＜等間隔に現れる構造物を用いた他の表示例＞
図１３は、等間隔に現れる構造物を用いた他の表示例を説明する図である。図１３（ａ）では白線２０５の終点Ｅにレーン移動誘導のＡＲ支援画像の終点が一致している。このような表示でも同様の効果が得られる。

【0088】

図１３（ｂ）では白線２０５の終点ＥにＡＲ支援画像の始点が一致している。この場合も、ＡＲ支援画像は白線２０５に合わせて現れるため同様の効果が得られる。

【0089】

また、図１３（ｃ）に示すように、白線２０５の始点Ｓ又は終点Ｅに合わせるのでなく、始点Ｓと終点Ｅの中央（白線の進行方向の真ん中）にＡＲ支援画像が表示されてもよい。始点Ｓと終点Ｅの中点にＡＲ支援画像の中心を一致させればよい。

【0090】

また、白線２０５の任意の位置にＡＲ支援画像を表示することもできる。すなわち、始点Ｓから一定のオフセットの位置にＡＲ支援画像を表示する。

【0091】

図１３では１つの白線２０５に１つのＡＲ支援画像しか配置されていないが、１つの白線２０５に複数のＡＲ支援画像が配置される場合もある。この場合は、図１にて説明したように、１つ目のＡＲ支援画像の始点と白線２０５の始点を一致させ、最期のＡＲ支援画像の終点と白線の終点Ｅを一致させることが好ましい。

【0092】

図１４（ａ）は１つの白線２０５につき３つのＡＲ支援画像が表示される場合の表示例を示す。１つ目のＡＲ支援画像の始点と白線２０５の始点Ｓが一致し、３つ目のＡＲ支援画像の終点と白線２０５の終点Ｅが一致している。このような表示は、図１５に示す手順にしたがって行われる。

【0093】

三角アイコン２０２以外のＡＲ支援画像についても同様に表示できる。図１４（ｂ）は白線２０５に合わせて表示された車線逸脱警告の円アイコン２０４のＡＲ支援画像の一例を示す。図１４（ｂ）では、車線逸脱警告を表す円アイコン２０４が白線２０５の内側に白線と平行に（白線に沿って）表示されている。車線逸脱警告とは、車両８が白線２０５を逸脱するおそれがある場合に運転者にその旨を通知する警告である。例えば、車両８の中心が左右の白線２０５の中央から閾値以上ずれると発動される。このようなＡＲ支援画像の表示の手順も図１５と同様になる。

【0094】

また、図１４（ｃ）に示すように、車線逸脱警告の円アイコン２０４が白線２０５を補間するように表示されることも有効である。こうすることで、白線２０５が存在しない部分を運転者が逸脱することを抑制できる。

【0095】

図１５は、１つの白線２０５につき複数のＡＲ支援画像を映像投影装置２１が表示する手順のフローチャート図である。
Ｓ１：画像位置決定部３８は、白線の長さｄＯＮを１つのＡＲ支援画像の長さＤで割って、商Ｐと余りＱを算出する。
Ｓ２：ＡＲ支援画像とＡＲ支援画像の間に間隔を設けるため、商から１を減算する。これが１つの白線につき表示されるＡＲ支援画像の数である。ＡＲ支援画像の間隔を大きくしたい場合などのために２以上の整数を減算してもよい。
Ｓ３：１つの白線２０５のＡＲ支援画像の数（例えば３つ）とＡＲ支援画像の長さＤの積を、白線の長さｄＯＮから引いて値Ｖとする。
Ｓ４：値Ｖを「ＡＲ支援画像の数−１」で割って、ＡＲ支援画像の間隔Ｗを算出する。
Ｓ５：白線２０５の始点Ｓを１つ目のＡＲ支援画像の始点に決定する。
Ｓ６：白線２０５の始点ＳにＡＲ支援画像の長Ｄさと間隔Ｗを加えた値を２つ目のＡＲ支援画像の始点に決定する。
Ｓ７：白線２０５の始点ＳにＡＲ支援画像の長さＤと間隔Ｗをそれぞれ２つ分、加えた値を３つ目のＡＲ支援画像の始点に決定する。

【0096】

このような決定方法により、１つ目のＡＲ支援画像の始点と白線の始点を一致させ、最期のＡＲ支援画像の終点と白線の終点を一致させることができる。

【0097】

なお、白線と白線の間隔（ｄＯＦＦ）に複数のＡＲ支援画像を配置する場合も、同様の手順でＡＲ支援画像の位置を決定できる。

【0098】

図１６は白線２０５に合わせて表示された道路標識アイコン３０５のＡＲ支援画像の一例を示す。道路標識を全ての白線２０５に合わせて表示すると運転者にとって紛らわしいので、ヘッドアップディスプレイ装置１００は所定数の白線２０５ごとに道路標識アイコン３０５のＡＲ支援画像を表示する。図１６（ａ）では一例として１００ピッチ（１００個の白線）ごとに道路標識が表示されている。数十ピッチごとに表示してもよい。

【0099】

図１６（ｂ）は運転席から見た実景に重畳して表示された道路標識アイコン３０５のＡＲ支援画像の一例を示す。図１６に示すように、道路標識が白線２０５の始点に合わせて表示されるため、運転者が違和感を感じにくく、ＶＲ酔い等を抑制できる。

【0100】

なお、図１６のような表示は、映像投影部４０（例えば画像位置決定部３８）が道路標識アイコン３０５を投影してから１００個の白線２０５をカウントするごとに次の道路標識アイコン３０５を表示することで実現される。

【0101】

図１６の道路標識アイコン３０５は速度制限（５０ｋｍ/ｈ）であるが、この他の道路標識（警笛ならせ、最低速度規制、登坂車線等）も同様に表示可能である。カメラＥＣＵ３２が画像認識する場合、カメラＥＣＵ３２は文字認識機能により道路標識から数字や文字を認識してもよいし、パターンマッチングにより道路標識を識別してもよい。パターンマッチングや文字認識などで検出される限り、同様に各種の道路標識を表示できる。なお、道路標識に関する情報は、カメラＥＣＵ３２が画像認識で検出する他、路車間通信で取得してもよい。この場合は任意の構造物を基準に道路標識のＡＲ支援画像を表示する。

【0102】

また、図１６のような表示は道路標識に限られず、任意の道路に関する情報又は運転を支援する情報にも適用できる。例えば、各種看板や電光表示板の情報（「この先事故」「車線が減少」）を白線２０５に合わせて表示してもよい。また、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）から取得された情報を白線２０５に合わせて表示してもよい。また、ナビゲーション装置３１から取得した「目的地まであと○メートル」などの情報を白線２０５に合わせて表示できる。

【0103】

＜白線以外の等間隔で繰り返し現れる構造物について＞
白線以外の等間隔で繰り返し現れる構造物としては、ガードレールや距離板がある。ガードレールは、種々のデザインがあるが例えば支柱が等間隔に配置されている。ガードレールに設置されることが多い反射板も等間隔に配置される。したがって、カメラＥＣＵ３２がこれらを検出できれば、ヘッドアップディスプレイ装置１００は白線２０５と同様にＡＲ支援画像を構造物に合わせて表示できる。

【0104】

また、図１７は、距離板３１０に合わせて表示された距離板アイコン３１１のＡＲ支援画像の一例を示す。距離板３１０とは、ある起点からの距離を示す看板である。道路のアドレス（住所）と呼ばれる場合がある。区間にもよるが距離板３１０は例えば１００メートル間隔などの等間隔で設定されている。図１７は「７０．０」ｋｍと「７０．１」ｋｍの距離板３１０を示している。また、それぞれの距離板アイコン３１１は「７０．０」と「７０．１」という距離数を表している。

【0105】

図１７のような表示は以下のようにして行われる。
(i) カメラＥＣＵ３２が画像認識により距離板３１０を認識し、文字認識などで得られた距離情報を映像投影装置２１に送出する。
(ii) 映像投影装置２１は、距離情報に１００メートルを加算したＡＲ支援画像を生成する。１００メートル加算するのは、映像投影装置２１が生成するＡＲ支援画像は１００メートル先のものになるためである。また、「１００メートル」という値は連続した２つの看板から取得した距離情報の差分である。
(iii) 映像投影装置２１は、生成したＡＲ支援画像を距離板から１００メートル前方に表示する。

【0106】

こうすることで、距離板３１０のように数値が変化する構造物でも、距離板３１０が表示する距離情報とＡＲ支援画像の距離情報を一致させ、構造物にあわせて表示できる。

【0107】

なお、車両８の移動に応じて車両８から距離板アイコン３１１までの距離も短くなるため、映像投影装置２１は車両８の移動量を車速パルスなどから検出して、移動した距離だけ距離板アイコン３１１像の表示位置を手前に更新する。あるいは、ＧＮＳＳにより検出した位置情報で移動量を検出してもよい。

【0108】

＜まとめ＞
以上説明したように、本実施例のヘッドアップディスプレイ装置１００は繰り返し等間隔で現れる構造物を利用することで、構造物との一体感があるＡＲ支援画像の表示が可能になる。運転者の視界に入る白線などの道路構造物と一緒に視認されるＡＲ支援画像の位置関係がずれることがなく、流れてくる量も同じになり、同期して流れて来るため、従来の課題の全てを解決できる。このため、運転者がヘッドアップディスプレイ装置１００の映像に違和感を感じたり、ＶＲ酔いを感じたりすることを抑制できる。

【実施例2】

【0109】

実施例１では繰り返し等間隔で現れる構造物に合わせてＡＲ支援画像をヘッドアップディスプレイ装置１００が表示したが、本実施例では道路上の特徴物に合わせてＡＲ支援画像を表示するヘッドアップディスプレイ装置１００について説明する。

【0110】

＜本実施例の表示例＞
図１８は、運転者から見た本実施例のＡＲ支援画像の一例を示す図である。図１８（ａ）〜図１８（ｃ）は徐々に車両８が特徴物に接近する際のＡＲ支援画像の変化を示している。

【0111】

図１８（ａ）では、特徴物として道路標識３２０（速度制限）が検出されている。本実施例のヘッドアップディスプレイ装置１００は特徴物の路面レベルでの位置Ｐを基準にＡＲ支援画像を表示する。したがって、ヘッドアップディスプレイ装置１００はまず道路標識３２０を認識する。道路標識３２０の場合、支柱と路面の交点が道路標識の路面レベルの位置Ｐである。図では説明のため、道路標識３２０の路面レベルの位置Ｐから水平に道路を横切る直線３２２が描かれている。直線３２２は実際には表示されない。道路標識３２０の路面における位置Ｐであって車両８の前方（又は走行レーンの中央）に道路標識アイコン３０５が表示されている。

【0112】

図１８（ａ）〜（ｃ）の道路標識アイコン３０５が表示する情報は、実施例１の道路標識アイコン３０５が表示する情報と同じ情報であるが、本実施例では白線でなく特徴物に合わせて表示される。速度制限が「５０ｋｍ/ｈ」の場合、例えば「５０」という数字を含む画像（アイコン）がＡＲ支援画像になる。

【0113】

図１８（ｂ）（ｃ）でも道路標識アイコン３０５のＡＲ支援画像の表示方法が同じであり、道路標識３２０の路面レベルの位置Ｐに道路標識アイコン３０５が表示されている。ＡＲ支援画像が生成される際、上記の透視投影変換の投影画像のサイズは一定である。つまり、図１８（ａ）〜（ｃ）でＡＲ支援画像に変換される前の投影画像５３のサイズは一定である。しかし、車両８が投影画像に接近するので、道路標識アイコン３０５は徐々に大きくなる。

【0114】

このような道路標識３２０を基準とするＡＲ支援画像の表示のためにはカメラ３３が距離情報を取得できることが好ましい。したがって、カメラ３３はステレオカメラ、又は、単眼でも距離を検出できるカメラであるものとする（例えばMobileye（登録商標）、カラーフィルターにより生じるボケを利用したカメラ等）。なお、距離情報の取得には、レーザーやＬＩＤＡＲ（Light Detection and Ranging）を使用してもよい。これにより、道路標識３２０までの距離が分かる。路面３０１の高さは既知であるため（又はカメラ３３が測定可能）、図１８に示すように道路標識３２０の路面レベルの位置ＰにＡＲ支援画像を表示できる。

【0115】

＜動作手順＞
図１９は、ヘッドアップディスプレイ装置１００がＡＲ支援画像を表示する際の動作を説明するフローチャート図の一例である。図１９の処理は画像データごとに繰り返し実行される。

【0116】

カメラ情報ＩＦ３５はカメラＥＣＵ３２から特徴物の情報を取得する（Ｓ１０）。特徴物の情報は特徴物の種類、内容、座標等である。例えば、道路標識３２０で制限速度が５０ｋｍ/ｈであること、及び、カメラ座標系のどの座標に道路標識３２０（看板部分）があるかが得られる。

【0117】

次に、投影画像生成部３６は特徴物の情報に基づいて投影画像５３を生成する（Ｓ２０）。例えば、道路標識３２０であると判断し道路標識に応じた投影画像５３を生成する。速度制限の場合は、数値が含まれる投影画像５３を生成する。

【0118】

座標変換部３７は、カメラ座標系における道路標識３２０の座標を車両座標系における道路標識３２０の座標に変換する（Ｓ３０）。

【0119】

画像位置決定部３８は道路標識３２０の座標を用いて投影画像５３の位置を決定する（Ｓ４０）。投影画像の位置のｘ座標は左右の白線２０５の中心又は車両８の正面、ｙ座標は路面３０１と同じ高さ、ｚ座標は道路標識３２０までの距離である。

【0120】

画像変形部３９は決定した座標に投影画像５３を配置して透視投影変換を行い、ＡＲ支援画像を生成する（Ｓ５０）。

【0121】

映像投影部４０は投影画像５３が変換されたＡＲ支援画像を表示する(Ｓ６０)。

【0122】

車両８が前方に進行するにつれて道路標識３２０との距離が狭まるが、同じ速度で道路標識アイコン３０５も車両８に接近するので、運転者から見ると道路標識３２０と共に路面上の道路標識アイコン３０５が徐々に接近する（大きくなる）ように見える。したがって、運転者が速度制限等の道路標識を見落とすことを低減できる。

【0123】

なお、本実施例の表示方法は道路上で一般的に認識される特徴物に適用可能である。例えば、高速道路の出口予告、各方面の予告、パーキングの予告、渋滞情報、料金所の予告、非常駐車帯の看板、非常電話の看板、距離板等を基準にＡＲ支援画像を表示できる。また、一般道では、交差点の停止線、信号機、各種の道路標識、横断歩道等を基準にＡＲ支援画像を表示できる。

【0124】

＜まとめ＞
以上説明したように、本実施例のヘッドアップディスプレイ装置１００は道路上の特徴物を基準にＡＲ支援画像の表示が可能になる。このため、運転者は特徴物と同じ路面上の位置でＡＲ支援画像を視認できるため、ヘッドアップディスプレイ装置１００の映像に違和感を感じたり、重要な情報を見落としたりすることを抑制できる。

【0125】

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0126】

例えば、本実施形態では白線座標の検出をカメラＥＣＵ３２が行ったが、映像投影装置が画像データから白線座標を算出してもよい。

【0127】

また、本実施形態では路面３０１に投影画像を配置してＡＲ支援画像に変換すると説明したが、路面３０１より上方又は下方に投影画像を配置して、ＡＲ支援画像を強調したり目立たなくしたりすることも可能である。

【0128】

また、繰り返し等間隔で現れる構造物として白線、ガードレール及び距離板を例示したが、等間隔に形成された段差舗装（音や振動で速度の抑制等を促す舗装）、ランブルストリップス（車線を逸脱した場合に音や振動によって運転者に警告する路面の凸凹）、道路鋲（路面に埋め込む金属製の鋲であり電灯や反射材を組み入れセンターライン、分・合流帯、カーブ、中央分離帯などの視認性を高める）などでもよい。

【0129】

また、路面３０１に関係なく構造物を基準に車両前方の空間に虚像が投影されてもよい。また、構造物を基準にすれば道路外にＡＲ支援画像が表示されてもよい。例えば、縁石上、縁石の外側、中央分離帯、ガードレールの上等に表示してもよい。また、ＡＲ支援画像は白線に重畳していてもよいし、白線の外側でもよい。

【0130】

また、ＡＲ支援画像の形状は様々なものが考えられており、本実施形態の三角形状や円形に限られるものではない。

【0131】

また、本実施形態の白線は直線形状であったが、白線が湾曲していてもよい。すなわち、カーブを走行中でも白線等を基準にＡＲ支援画像を投影できる。

【0132】

また、ヘッドアップディスプレイ装置はダッシュボードの内部に埋め込まれている必要はなく、ダッシュボード上に配置されていていてもよい。あるいは、天井に取り付けられていてもよいし、サンバイザにと取り付けられていてもよい。また、ヘッドアップディスプレイ装置は車両への脱着が可能でもよい。

【0133】

また、本実施形態ではヘッドアップディスプレイ装置１００が車両８に搭載された例を説明したが、車両８以外の移動体に搭載されてもよい。例えば、飛行機、電車、船舶、自動二輪車、又は、車椅子などに搭載できる。

【0134】

なお、カメラ情報ＩＦ３５は情報取得手段の一例であり、投影画像生成部３６は画像生成手段の一例であり、画像位置決定部３８は画像位置決定手段の一例であり、画像変形部３９は画像変換手段の一例であり、映像投影部４０は投影手段の一例である。

【符号の説明】

【0135】

１０ 虚像
２１ 映像投影装置
３１ ナビゲーション装置
３３ カメラ
１００ ヘッドアップディスプレイ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】