特許 6952899 ヘッドアップディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6952899

(24)【登録日】2021年9月30日

(45)【発行日】2021年10月27日

(54)【発明の名称】ヘッドアップディスプレイ

(51)【国際特許分類】

   B60K 35/00 20060101AFI20211018BHJP

   G01C 21/36 20060101ALI20211018BHJP

   G08G 1/0968 20060101ALI20211018BHJP

【ＦＩ】

   B60K35/00 A

   G01C21/36

   G08G1/0968

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2020-530057(P2020-530057)

(86)(22)【出願日】2019年6月17日

(86)【国際出願番号】JP2019023955

(87)【国際公開番号】WO2020012879

(87)【国際公開日】20200116

【審査請求日】2020年11月10日

(31)【優先権主張番号】特願2018-133706(P2018-133706)

(32)【優先日】2018年7月13日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】317015179

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】米田 晴彦

(72)【発明者】

【氏名】佐藤 壮太

(72)【発明者】

【氏名】下田 望

【審査官】 菅野 京一

(56)【参考文献】

【文献】 国際公開第２０１７／１３４８６６（ＷＯ，Ａ１）

【文献】 特開２０１４−２３４１３９（ＪＰ，Ａ）

【文献】 国際公開第２０１８／０４３５５８（ＷＯ，Ａ１）

【文献】 特開２０１６−１１８８５１（ＪＰ，Ａ）

【文献】 国際公開第２０１８／０７０２５２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｋ ３５／００

Ｇ０１Ｃ ２１／００

Ｇ０８Ｇ １／０９６８

(57)【特許請求の範囲】

【請求項1】

表示オブジェクトを含む映像光を被投射部材に照射し、前記表示オブジェクトを虚像として表示するヘッドアップディスプレイであって、
光源及び表示面を含み、前記光源から発生した光が前記表示面に表示された表示オブジェクトを透過して生成された映像光を出力する映像表示装置と、
前記映像光を拡大投射する虚像光学系と、
前記映像表示装置に接続された主制御装置と、を備え、
前記主制御装置は、
前記ヘッドアップディスプレイが備えられた乗り物に搭載された路面検出センサにより検出された、前記乗り物の進行方向前方に位置する前方路面上にある複数の計測点に基づいて前記前方路面の路面情報を取得し、
前記表示オブジェクトの虚像が表示される虚像面において、前記前方路面に沿って前記虚像を表示させるための前記虚像の表示位置である虚像面位置を、前記路面情報を用いて演算し、
前記虚像面位置に対応する前記表示面の表示位置を演算し、当該表示面の表示位置に前記表示オブジェクトを表示させるための制御信号を前記映像表示装置に対して出力する、
ことを特徴とするヘッドアップディスプレイ。

【請求項2】

請求項１に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記検出された複数の計測点のそれぞれについての、実空間における３軸直交座標系で定義された３次元座標に基づいて前記前方路面の路面情報を取得する、
ことを特徴とするヘッドアップディスプレイ。

【請求項3】

請求項１に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記虚像の実空間における虚像面位置を、前記虚像面における座標と前記表示面における座標とを紐づけた虚像面―表示面対応データを参照して、前記虚像面位置に対応する前記表示面の表示位置を演算する、
ことを特徴とするヘッドアップディスプレイ。

【請求項4】

請求項１に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記虚像を視認する運転者の視点と前記前方路面とを結ぶ視線が前記虚像面に交差する点の位置を、前記虚像の虚像面位置として演算する、
ことを特徴とするヘッドアップディスプレイ。

【請求項5】

請求項２に記載のヘッドアップディスプレイにおいて、
前記３軸直交座標系は、前記乗り物に搭載された走行体の接地面に含まれるｘ−ｚ軸直交座標系及び当該ｘ−ｚ軸直交座標系に直交するｙ軸を含む３軸直交座標系であり、
前記主制御装置は、前記虚像面に前記虚像を表示させる前記接地面からの高さを前記虚像面位置として演算する、
ことを特徴とするヘッドアップディスプレイ。

【請求項6】

請求項５に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記路面情報として前記複数の計測点を含む平面の推定式を取得し、当該推定式に基づいて前記虚像面位置を演算する、
ことを特徴とするヘッドアップディスプレイ。

【請求項7】

請求項５に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記路面情報として前記接地面に対する前記複数の計測点を含む平面がなす角度である路面角度を更に取得または演算し、
前記接地面に表示する際の前記表示オブジェクトの形状を基本形状とし、前記路面角度を用いて前記基本形状を回転させた形状からなる回転後の表示オブジェクトを、前記映像表示装置における前記表示オブジェクトの表示位置に表示させる、
ことを特徴とするヘッドアップディスプレイ。

【請求項8】

請求項５に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記路面情報として前記接地面に対する前記複数の計測点を含む平面がなす角度である路面角度を取得し、前記路面角度を用いて前記虚像の虚像面位置を演算すると共に、前記接地面に表示する際の前記表示オブジェクトの形状を基本形状とし、前記路面角度を用いて前記基本形状を回転させた形状からなる回転後の表示オブジェクトを、前記映像表示装置における前記表示オブジェクトの表示位置に表示させる、
ことを特徴とするヘッドアップディスプレイ。

【請求項9】

請求項１に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記乗り物に搭載されたカメラが前記前方路面を撮像した撮像画像に写った虚像表示対象物の位置情報を取得し、
実空間における３軸直交座標系の座標とカメラ座標系の２次元座標とを紐づけたカメラ‐実空間対応データを参照し、前記虚像表示対象物の位置情報を前記３軸直交座標系の座標に変換し、
変換後の前記虚像表示対象物の位置情報と前記路面情報とを参照し、前記虚像表示対象物の近傍にある複数の計測点を含む平面を演算し、当該平面に沿って前記虚像表示対象物に付加する表示オブジェクトの虚像を表示させるための虚像面位置を演算し、
前記虚像の実空間における虚像面位置を、前記虚像面における座標と前記表示面における座標とを紐づけた虚像面―表示面対応データを参照して、前記虚像面―表示面対応データを参照し、前記虚像表示対象物に付加する表示オブジェクトの虚像面位置を前記表示面の表示位置を変換し、
当該表示面の表示位置に前記虚像表示対象物に付加する表示オブジェクトを表示させるための制御信号を前記映像表示装置に対して出力する、
ことを特徴とするヘッドアップディスプレイ。

【請求項10】

請求項１に記載のヘッドアップディスプレイにおいて、
前記映像表示装置は、
光源と、
表示素子と、
前記光源及び前記表示素子の間に配置された照明光学系であって、前記光源から出射した光を前記表示素子に導く照明光学系と、を含む液晶ディスプレイである、
ことを特徴とするヘッドアップディスプレイ。

【請求項11】

請求項１に記載のヘッドアップディスプレイにおいて、
前記映像表示装置は、
レーザ光源と、
前記レーザ光源が発したレーザ光を反射するスキャニングミラー、及び当該スキャニングミラーの鏡面の向きを変えるスキャニングミラー駆動部と、
前記スキャニングミラーで反射されレーザ光を結像させる拡散板と、
前記拡散板で結像した前記表示オブジェクトの映像情報を含む映像光が入射されるリレー光学系と、を含む微小電気機械システムである、
ことを特徴とするヘッドアップディスプレイ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）に関する。

【背景技術】

【0002】

特許文献１には「表示オブジェクトを有する映像を含む光束を観視者の片目に向けて投影する映像投影部と、前記観視者が搭乗する車両の姿勢及び方位の少なくともいずれかの角度に関する車両角度情報、及び、前記車両の外界の背景における前記表示オブジェクトのターゲットの位置での背景物の角度に関する外界角度情報の少なくともいずれかを取得する角度情報取得部と、を備え、前記映像投影部は、前記角度情報取得部によって取得された前記車両角度情報及び前記外界角度情報の少なくともいずれかに基づいて、前記表示オブジェクトの前記映像内における角度を変化させる（要約抜粋）」車載用表示システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１５６６０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的な単眼カメラによるセンシングでは道路上にひかれた平行な白線が交差して見える点（消失点）を基準として、消失点からの高さ（角度）を元に計算することで距離を推定する。この計算は視界内の全てが同じ高さことを前提としているので、前方に勾配があるような平坦ではない路面に上記の高さの計算手法を適用すると、消失点からの距離だけではなく、勾配による路面の高さまで含まれてしまう。そのため、勾配路面の座標は消失点を基に算出された高さに勾配による路面の高さが加算され、勾配路面の座標に小さくない誤差が生じる。従って、前方路面の形状に合わせたＡＲ表示を行うためには路面の三次元座標が必要となるが、単眼カメラだけでは平坦な路面でしか正確に座標を算出することができないことから、路面の勾配に沿ったＡＲ表示をさせることはできないという課題が残る。

【0005】

本発明は上記実情に鑑みてなされたものであり、勾配路面に対するＡＲ表示をより好適に行えるＨＵＤを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例をあげるならば、表示オブジェクトを含む映像光を被投射部材に照射し、前記表示オブジェクトを虚像として表示するヘッドアップディスプレイであって、光源及び表示面を含み、前記光源から発生した光が前記表示面に表示された表示オブジェクトを透過して生成された映像光を出力する映像表示装置と、前記映像光を拡大投射する虚像光学系と、前記映像表示装置に接続された主制御装置と、を備え、前記主制御装置は、前記ヘッドアップディスプレイが備えられた乗り物に搭載された路面検出センサにより検出された、前記乗り物の進行方向前方に位置する前方路面上にある複数の計測点に基づいて前記前方路面の路面情報を取得し、前記表示オブジェクトの虚像が表示される虚像面において、前記前方路面に沿って前記虚像を表示させるための前記虚像の表示位置である虚像面位置を、前記路面情報を用いて演算し、前記虚像面位置に対応する前記表示面の表示位置を演算し、当該表示面の表示位置に前記表示オブジェクトを表示させるための制御信号を前記映像表示装置に対して出力する、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、勾配路面に対するＡＲ表示をより好適に行えるＨＵＤを提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】ＨＵＤの概略構成図

【図2】ＨＵＤのシステム構成図

【図3】ＨＵＤによる虚像表示処理の流れを示すフローチャート

【図4A】前方路面の推定処理の概要を示す図（ｙ−ｚ平面）

【図4B】前方路面の推定処理の概要を示す図（ｘ−ｙ平面）

【図5】表示オブジェクトを描画したい実空間における３次元位置を示す図（ｙ−ｚ平面）

【図6A】接地面に平行な表示オブジェクトの形状（図中左；基本形状）と、基本形状を路面角度に応じて回転させた回転後の表示オブジェクトの形状（図中右；回転形状）とを示す図

【図6B】前方路面に沿って表示オブジェクトを表示させた状態を示す図（ｙ−ｚ平面）

【図7】前方路面に沿って回転後の表示オブジェクトの虚像を表示させるために、虚像面に虚像を表示させる位置（虚像面位置Ｐ^’’’_ｏｉ）を示す図（ｙ−ｚ平面）

【図8】虚像面位置と表示素子の表示面上の位置との位置関係を示す図

【図9】勾配変化のない前方路面に対してＡＲ表示を行った例を示す図

【図10】勾配変化がある前方路面に対して勾配を考慮することなくＡＲ表示を行った例を示す図

【図11】勾配変化がある前方路面に対して勾配を考慮してＡＲ表示を行った例を示す図

【図12A】障害物をＬｉＤＡＲ系で見た状態を示す図

【図12B】図１２Ａと同じ障害物をカメラ座標系で見た状態を示す図

【図13A】カメラ座標上の路面位置からカメラ投影面上の位置に変換する処理を示す図

【図13B】カメラ投影面から画像の位置に変換する処理を示す図

【図14】障害物の虚像面位置を示す図（ｙ−ｚ平面）

【図15A】前方路面の勾配を考慮することなく障害物に対してＡＲ表示を行った例を示す図

【図15B】前方路面の勾配を考慮して障害物に対してＡＲ表示を行った例を示す図

【図16】第３実施形態に係る表示オブジェクトの実空間上の高さを求める処理を示す図

【図17】第４実施形態に係るＨＵＤのシステム構成図

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下に示す各実施形態では、ヘッドアップディスプレイ（ＨＵＤ）が搭載される乗り物として自動車を例に挙げて説明するが、乗り物は、電車や油圧ショベルのような作業機械でもよい。また本実施形態では乗り物として車両を例に挙げるため走行体はタイヤであるが、電車の場合は車輪であり、作業機械の場合はクローラであってもよい。

【0010】

＜第１実施形態＞
図１及び図２を参照して本実施形態に係るＨＵＤ１の構成について説明する。図１はＨＵＤ１の概略構成図である。図２はＨＵＤ１のシステム構成図である。

【0011】

図１に示すように、ＨＵＤ１は、車両２に備えられたダッシュボード４内に備えられる。ダッシュボード４はＨＵＤ１から出射した映像光Ｌを通過させるためのダッシュボード開口部７を備える。映像光Ｌは車両２のウィンドシールド３で反射されて運転者５の目に入射する。運転者５は、その映像光Ｌによる矢印表示オブジェクトの虚像１０１をウィンドシールド３よりも更に前方に視認する。なお、被投射部材はウィンドシールド３に限られず、映像光Ｌが投射される部材であれば、コンバイナなど他の部材を用いてもよい。

【0012】

ＨＵＤ１は、外装筐体５０と、外装筐体５０に装着されるＨＵＤ制御装置２０及び映像表示装置３０と、映像表示装置３０から出射される映像光Ｌを拡大投影する虚像光学系４０とを含んで構成される。

【0013】

外装筐体５０の上面には、映像光Ｌの出射口となる筐体開口部５１が形成される。筐体開口部５１は、外装筐体５０に塵やほこりが侵入することを防ぐための防眩板５２で覆われている。防眩板５２は、可視光を透過する部材により構成される。

【0014】

映像表示装置３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を用いて構成される。より詳しくは、映像表示装置３０は光源３１、照明光学系３２、及び表示オブジェクトを含む映像光Ｌを出射する表示素子３３を含んで形成される（図２参照）。照明光学系３２は、光源３１及び表示素子３３の間に配置され、光源３１から出射した光を表示素子３３に導くものである。

【0015】

虚像光学系４０は、映像表示装置３０に近い位置から順に、映像光Ｌの出射方向に沿ってレンズユニット４３と凹面ミラー４１とが配置されて構成される。更に本実施形態に係る虚像光学系４０は、凹面ミラー４１を回転させる凹面ミラー駆動部４２を含む。図１では図示しないが、レンズユニット４３と凹面ミラー４１との間に映像光Ｌの光路を折り返す折り返しミラーを設けてもよい。折返しミラーは、レンズユニット４３から出射した映像光Ｌを凹面ミラー４１に向けて反射するミラーである。折返しミラーを追加すると映像光Ｌの光路長をより長くし、虚像面１００をより前方に表示させることができる。図１では、虚像面１００に表示オブジェクトとして左折を示す矢印表示オブジェクトの虚像１０１が表示される。

【0016】

レンズユニット４３は、凹面ミラー４１と映像表示装置３０の光学的な距離を調整したりするための少なくとも一つ以上のレンズを含むレンズの集合体である。

【0017】

凹面ミラー４１は、レンズユニット４３を透過した映像光Ｌを筐体開口部５１に向けて反射させる部材である。凹面ミラー４１は凹面ミラー駆動部４２により回動する。凹面ミラー駆動部４２は、例えばミラー回転軸とこのミラー回転軸を回転させるモータを用いて構成され、モータの回転を凹面ミラー４１のミラー回転軸に伝達することで、凹面ミラー４１が回転し、映像光Ｌの反射角度を変えてウィンドシールド３に向けて反射する。その結果、映像光Ｌの投射方向を変化させ、ウィンドシールド３における映像光Ｌの反射角度が変化する。映像光Ｌの反射角度が変化することで、虚像面１００（図７参照）自体の高さが変化する。

【0018】

本実施形態に係るＨＵＤ１は、車両２の進行方向前方に位置する前方路面２１０（図４Ａ参照）の勾配に沿って表示オブジェクトを虚像としてＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示させる点に特徴がある。そのために、ＨＵＤ１は、虚像面１００（図７参照）において虚像１０１を表示する際の前輪６及び後輪の接地面２００からの高さ（実空間における高さである。以下「表示オブジェクト高さ」という）を調整する。本実施形態では、虚像面１００内における虚像１０１の表示位置（以下「虚像面位置」という）を変更することで表示オブジェクト高さの調整を実現する、なお、凹面ミラー４１の角度を変えて虚像面１００自体の高さが変化すると、異なる高さの虚像面１００において同一の虚像面位置に虚像１０１を表示した場合には、表示オブジェクト高さは虚像面１００自体の高低差分だけずれる。以下では説明の便宜のため、虚像面１００自体は変化させず、即ち凹面ミラー４１の角度は変えない前提で説明する。

【0019】

車両２の前面には、路面検出センサとしてのＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）６０が設置される。なお、図１に示したＬｉＤＡＲ６０の設置位置や高さは一例であり、異なる設置位置や高さであってもよい。

【0020】

ウィンドシールド３の上部車内側には、障害物検出センサとしてのカメラ７０が設置され、ダッシュボード４上に位置算出センサとしてのＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信機８０が設置される。なお、図１に示すカメラ７０の設置位置は一例にすぎず、車外に設置されてもよい。また、ＧＰＳ受信機８０の設置位置も一例に過ぎず、ダッシュボード４上には限定されない。

【0021】

図２に示すように、車両２において、自動運転システム９００とＨＵＤ１とが、車載ネットワーク（ＣＡＮ：Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）９０を介して接続される。

【0022】

自動運転システム９００は、主に走行駆動装置４００、走行制御装置５００、路面推定装置６００、画像処理装置７００、及びナビゲーション装置８００を含む。走行駆動装置４００は、エンジン制御装置４１０、ステアリングモータ４２０及びブレーキ４３０を含む。走行制御装置５００はＣＡＮ９０を介して路面推定装置６００、画像処理装置７００、及びナビゲーション装置８００の其々から路面情報、障害物情報、地図情報やナビゲーション情報を取得し、これを用いて自動運転するための制御信号、例えばエンジン制御信号、操舵角信号、及び制動信号を走行駆動装置４００に出力する。

【0023】

前方路面２１０を表す推定式を演算する処理（路面推定処理）は、ＨＵＤ１が実行してもよいが、本実施形態では、自動運転システム９００の一構成要素となる路面推定装置６００がＬｉＤＡＲ６０からの計測点データを基に前方路面２１０の平面の推定式を演算し、これを含む路面情報をＨＵＤ１に出力する場合を例に挙げて説明する。また、カメラ７０、画像処理装置７００、ＧＰＳ受信機８０、及びナビゲーション装置８００の其々も、自動運転システム９００の一構成要素であると共に、ＨＵＤ１において表示オブジェクトの虚像１０１の表示処理に用いられる場合を例に挙げて説明する。なお、路面推定装置６００と同様に、カメラ７０、ＧＰＳ受信機８０等をＨＵＤ１の専用品として構成してもよい。

【0024】

第１実施形態では、ＬｉＤＡＲ６０が前方路面２１０上の複数の計測点（例えば図４Ａにおける計測点Ｐ_１，Ｐ_２，Ｐ_３）までの距離及び位置を計測して計測点データを生成し、路面推定装置６００がそれらの計測点データを含む平面を実空間における３軸直交座標系で定義した推定式を演算する。そして、この推定式を路面情報としてＨＵＤ１に出力する。更に路面推定装置６００は、接地面２００に対する前方路面２１０の平面がなす角（路面角度θ_ｒ：図４Ａ参照）を演算し、これも路面情報としてＨＵＤ１に出力してもよいし、路面角度θ_ｒはＨＵＤ制御装置２０が演算してもよい。なお、後述する第３実施形態では、路面情報は、路面角度θ_ｒだけである。

【0025】

上記「実空間における３軸直交座標系」は、接地面２００に含まれる２軸直交座標系（ｘ−ｚ座標系）とこの２軸直交座標系に直交するｙ軸とにより定義される。ｘ軸は車両２の左右方向軸、ｚ軸は車両２の進行方向に沿った前後方向軸、ｙ軸は接地面２００を基準とする高さ方向軸に相当する。

【0026】

またＨＵＤ１は、画像処理装置７００がカメラ７０からの出力（撮像画像）を基に車両２の前方に位置する障害物を検知し、その障害物の種類及び位置を示した虚像表示対象物情報を取得する。

【0027】

更にＨＵＤ１は、ナビゲーション装置８００がＧＰＳ受信機８０からの出力（ＧＰＳ電波）を基に車両２の現在位置を算出し、車両２の位置情報を取得する。

【0028】

ＨＵＤ制御装置２０は、第１ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２１と、これにシステムバスを介して接続された第１不揮発性メモリ（ＲＯＭ）２２、メモリ（ＲＡＭ）２３、光源調整部２４、歪み補正部２５、表示素子制御部２６、第１ＣＡＮ通信部２７、及び凹面ミラー制御部２８を含む。第１ＣＡＮ通信部２７は、路面推定装置６００、画像処理装置７００、及びナビゲーション装置８００の其々にＣＡＮ９０を介して接続される。光源調整部２４は光源３１に、歪み補正部２５は表示素子制御部２６に、表示素子制御部２６は表示素子３３に接続される。更に凹面ミラー制御部２８は凹面ミラー駆動部４２に接続される。

【0029】

路面推定装置６００は、第２ＥＣＵ６０１、第２ＣＡＮ通信部６０２、及びＬｉＤＡＲ制御部６０３を接続して構成される。第２ＥＣＵ６０１の入力段はＬｉＤＡＲ６０の出力段に接続され、ＬｉＤＡＲ６０の出力（計測点データ）が第２ＥＣＵ６０１に入力される。

【0030】

各計測点データは、ＬｉＤＡＲ６０が前方路面２１０にレーザを照射し、前方路面２１０にレーザが当たった地点（計測点）からの反射波を受光し、受光した反射波の光強度及びレーザ飛行時間を基に計測点までの距離及び位置を演算した値を含む。

【0031】

第２ＥＣＵ６０１は、３つ以上の計測点データを含む平面の推定式及びこの平面が接地面２００となす角（路面角度θ_ｒ）を演算し、その演算結果を路面情報として第２ＣＡＮ通信部６０２からＨＵＤ制御装置２０へ送信する。

【0032】

第２ＥＣＵ６０１の出力段はＬｉＤＡＲ制御部６０３を介して、ＬｉＤＡＲ６０の入力段に接続される。第２ＥＣＵ６０１はＬｉＤＡＲ制御部６０３を介してＬｉＤＡＲ６０に制御信号を出力する。

【0033】

画像処理装置７００は、第３ＥＣＵ７０１、第３ＣＡＮ通信部７０２、及びカメラ制御部７０３を接続して構成される。第３ＥＣＵ７０１の入力段はカメラ７０の出力段に接続され、カメラ７０が生成した撮像画像が第３ＥＣＵ７０１に入力される。第３ＥＣＵ７０１は、撮像画像に対して画像認識処理を行い、被写体に虚像表示対象物、例えば進路表示対象物や障害物が含まれているか否かを判断する。そして、被写体が虚像表示対象物である場合は、その種類と位置とを示す虚像表示対象物情報を第３ＣＡＮ通信部７０２からＨＵＤ制御装置２０へ送信する。

【0034】

第３ＥＣＵ７０１の出力段はカメラ制御部７０３を介してカメラ７０の入力段に接続される。第３ＥＣＵ７０１はカメラ制御部７０３を介してカメラ７０に制御信号を出力する。

【0035】

ナビゲーション装置８００は、第４ＥＣＵ８０１、第４ＣＡＮ通信部８０２、及び第４不揮発性メモリ８０３を接続して構成される。第４ＥＣＵ８０１の入力段はＧＰＳ受信機８０に接続され、ＧＰＳ受信機８０が受信したＧＰＳ電波を基に第４ＥＣＵ８０１が車両２の現在位置を演算し位置情報を第４ＣＡＮ通信部８０２からＨＵＤ制御装置２０へ送信する。また、第４ＥＣＵ８０１は車両２の目的地までの経路を演算し、経路情報をＨＵＤ制御装置２０に送信してもよい。位置情報や経路情報を総称して進路情報という。

【0036】

第４ＥＣＵ８０１の出力段は第４不揮発性メモリ８０３にも接続され、位置信号が時系列に沿って蓄積される。第４ＥＣＵ８０１は、過去の位置情報を読出し、位置情報の時系列変化を求めることで車両２の進行方向を算出してもよい。また、第４ＥＣＵ８０１は、過去の位置情報を基にデッドレコニング処理を実行して、その結果を用いてＧＰＳ電波から求めた現在位置に対して補正を行い、補正された現在位置をＨＵＤ制御装置２０に出力してもよい。第４不揮発性メモリ８０３は地図情報を格納してもよい。

【0037】

走行制御装置５００は、第５ＥＣＵ５０１及び第５ＣＡＮ通信部５０２を含む。そして第５ＥＣＵ５０１は第５ＣＡＮ通信部５０２からＣＡＮ９０を介して路面情報、虚像表示対象物情報、進路情報を取得し、走行駆動装置４００に対する制御信号を出力する。また、走行制御装置５００にアラーム４５０を接続してもよい。そして、第５ＥＣＵ５０１が虚像表示対象物情報を用いて衝突可能性判定処理を実行し、衝突の危険性がある場合は警報信号をアラーム４５０に対して出力してもよい。この場合、アラーム４５０による警報発報と後述するＨＵＤ１の障害物に対する虚像表示とを同期させてもよい。上記光源調整部２４、歪み補正部２５、表示素子制御部２６、凹面ミラー制御部２８、ＬｉＤＡＲ制御部６０３、カメラ制御部７０３の其々、また後述する第４実施形態で用いられるスキャニングミラー制御部２６aは、ＣＰＵやＭＰＵなどの演算素子と、当該演算素子が実行するプログラムとを協調させて構成してもよいし、各部の機能を実現する制御回路として構成してもよい。また第１ＣＡＮ通信部２７から第５ＣＡＮ部５０２までの各通信部は、ＣＡＮ９０に接続するための通信器、通信インターフェース、ドライバソフトを適宜組み合わせて構成される。

【0038】

図３はＨＵＤ１による虚像表示（ＡＲ表示）処理の流れを示すフローチャートである。

【0039】

ＨＵＤ１の主電源がＯＮになると（Ｓ０１／Ｙｅｓ）、カメラ７０が撮像を開始し（Ｓ１０）、ＬｉＤＡＲ６０による路面計測が開始し（Ｓ２０）、ＧＰＳ受信機８０がＧＰＳ電波を受信し、ナビゲーション装置８００による進路情報の取得が開始する（Ｓ３０）。ＨＵＤ１の主電源がＯＮになるまでは（Ｓ０１／Ｎｏ）待機する。

【0040】

画像処理装置７００は、カメラ７０からの撮像画像を読込、画像認識処理（Ｓ１１）を行う。ここでの画像認識処理とは、撮像画像に映り込んだ被写体を検出し、その被写体はＨＵＤ１が虚像表示対象物とする被写体であるかを認識する処理である。第１実施形態の虚像表示対象物は進路表示対象物とする。よって第３ＥＣＵ７０１は、被写体として進路表示対象物、例えば前方路面、交差点、分岐点、合流点、曲がり角の少なくとも一つが撮像画像に映っているかを判定し、写っている場合は虚像表示対象物情報をＣＡＮ９０に出力する。

【0041】

路面推定装置６００は、ＬｉＤＡＲ６０から計測点データを取得し前方路面を推定する（Ｓ２１）。そして車両２の接地面２００に対する前方路面２１０の路面情報をＨＵＤ制御装置２０に出力する。

【0042】

ナビゲーション装置８００は、ＧＰＳ受信機８０からのＧＰＳ電波を基に車両２の現在位置及び進行方向を含む進路情報を生成しＨＵＤ制御装置２０に出力する。

【0043】

ＨＵＤ制御装置２０は虚像表示対象物情報に基づいて虚像表示対象物があると判断すると（Ｓ４０／Ｙｅｓ）、路面推定装置６００が推定した前方路面２１０の接地面２００に対する路面角度θ_ｒを演算する（Ｓ４１）。路面角度θ_ｒ（図４参照）は、接地面２００に対する前方路面２１０の勾配と同義である。

【0044】

そしてＨＵＤ制御装置２０は、ステップＳ４１で求めた路面角度θ_ｒを基に表示オブジェクトの実空間上の高さを算出する（Ｓ４２）。またＨＵＤ制御装置２０は、勾配を有する前方路面２１０に沿って表示オブジェクトの虚像１０１（図１参照）を表示させるための表示オブジェクト回転角を算出する（Ｓ４３）。表示オブジェクト回転角の詳細は後述する。

【0045】

更にＨＵＤ制御装置２０は、ステップＳ４１で求めた勾配を基に、虚像面１００において表示オブジェクトの虚像１０１を表示させる位置である虚像面位置Ｐ^’’’_ｏｉ（図７参照）を算出する（Ｓ４４）。各ステップの処理内容の詳細は後述する。

【0046】

その後ＨＵＤ制御装置２０は、虚像面位置Ｐ^’’’_ｏｉに相当する表示素子３３の表示面上の位置に表示オブジェクトを表示し、映像光Ｌを出射し、表示オブジェクトを虚像１０１として表示（ＡＲ表示相当）する（Ｓ４５）。この虚像１０１は、運転者５が虚像表示対象物を見る視線と虚像面１００との交点上に表示されるので、虚像表示対象物（例えば路面や障害物）に表示オブジェクトを重畳又は近接させてＡＲ表示させることができる。

【0047】

ＨＵＤ１の電源がＯＦＦでなければ（Ｓ４６／Ｎｏ）、ステップＳ１０、Ｓ２０及びステップＳ３０へ戻り、処理を継続する。一方、ＨＵＤ１の電源がＯＦＦになると（Ｓ４６／Ｙｅｓ）、処理を終了する。

【0048】

（ステップＳ２１：前方路面推定処理）
図４Ａは前方路面２１０の推定処理の概要を示す図（ｙ−ｚ平面）、図４Ｂは前方路面２１０の推定処理の概要を示す図（ｘ−ｙ平面）である。図４Ａ、図４Ｂにおけるｘ軸，ｙ軸，ｚ軸の各軸は、既述の実空間における３軸直交座標系を構成する各軸である。この３軸直交座標系の原点は、車両２の最前方の路面、即ち接地面２００を無限遠に延長した面上にある。

【0049】

ＬｉＤＡＲ６０で測定された前方路面２１０の３次元実空間上の計測点をｐ_ｉ（ｉ＝１，２，３，・・・）とする。計測点Ｐ_ｉの座標は（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）からなる。図４Ａ，図４Ｂは３つの計測点Ｐ_１，Ｐ_２，Ｐ_３を示す。各計測点Ｐ_１，Ｐ_２，Ｐ_３を含む平面Ａをａｘ＋ｂｙ＋ｃｚ＝ｄとすると、ａ，ｂ，ｃ，ｄは次式（１）で計算できる。

【数1】

但しＰ_１２はＰ_１とＰ_２から成るベクトル、Ｐ_１３はＰ_１とＰ_３から成るベクトル。×は外積演算を示す。

【0050】

（Ｓ４１：前方路面２１０の接地面２００に対する路面角度θ_ｒの演算処理）
ｚ軸は接地面２００に含まれるので、図４Ａにおいて、接地面２００に対する前方路面２１０の傾き、即ち路面角度θ_ｒは、ｚ軸とのなす傾きで表せる。前方路面２１０を含む平面Ａの法線ベクトルはｎ＝（ａ，ｂ，ｃ）^Ｔとなるので、前方路面２１０の路面角度θ_ｒは以下の式（２）で計算できる。

【数2】

【0051】

（Ｓ４２：表示オブジェクトの実空間上の高さ）
図５は表示オブジェクトを描画したい実空間における３次元位置を示す図（ｙ−ｚ平面）である。図５では、表示オブジェクト１２０が前方路面２１０には沿っておらず、勾配を考慮せずに接地面２００と同様の形状で表示されている。表示オブジェクト高さは、路面角度θ_ｒを使って求めることもできるが、平面の推定式から求めたほうがわかりやすいので、以下では平面の推定式を使って表示オブジェクト高さを求める処理を説明する。

【0052】

図５において、表示オブジェクトを描画したい実空間における３次元位置Ｐ_ｏの奥行き方向の位置をｚ_ｏ、横方向の位置をｘ_ｏ、高さ方向の位置をｙ_ｏ、とすると平面Ａの推定式から高さ方向の位置ｙ_ｏは下式（３）で計算できる。

【数3】

但し、表示オブジェクトを描画したい実空間における３次元位置をＰ_ｏ＝（ｘ_ｏ，ｙ_ｏ，ｚ_ｏ）とする。

【0053】

（Ｓ４３：表示オブジェクトの回転角算出）
図６Ａは接地面２００に平行な表示オブジェクトの形状（図中左；基本形状）と、基本形状を路面角度に応じて回転させた回転後の表示オブジェクトの形状（図中右；回転形状）とを示す図である。図６Ｂは前方路面２１０に沿って表示オブジェクト１２０を表示させた状態を示す図（ｙ−ｚ平面）である。

【0054】

図６Ａに示すように、接地面２００に表示される表示オブジェクト１２０（基本形状）上の点Ｐ_ｏｉ＝（ｘ_ｏｉ，ｙ_ｏｉ，ｚ_ｏｉ）^Ｔ（ｉ＝１，２，３，・・・）を、路面角度θ_ｒで傾いた前方路面２１０に沿わせて表示させるために、下式（４）により路面角度θ_ｒに基づいて回転させて点Ｐ^’_ｏｉの座標を求める。点Ｐ^’_ｏｉは、回転後の表示オブジェクト１２０ａ上の各点である。以下では、表示オブジェクト１２０の虚像の重心が原点にあるとする。

【数4】

【0055】

本ステップにより、車両２に搭載したＬｉＤＡＲ６０からの計測点データを用いて接地面２００に対する前方路面２１０の路面角度θ_ｒに合わせて表示オブジェクト１２０を回転させる。そして、図６Ｂに示すように、回転後の表示オブジェクト１２０ａを前方路面２１０における表示させたい位置Ｐ^’’_ｏｉに移動する。なお、位置Ｐ^’’_ｏｉは実空間における３軸直交座標系で表される座標である。Ｐ^’’_ｏｉの座標は下式（５）で表せる。

【数5】

【0056】

（Ｓ４４：表示オブジェクトの虚像面位置を算出）
図７は前方路面２１０に沿って回転後の表示オブジェクト１２０ａの虚像を表示させるために、虚像面１００に虚像を表示させる位置（虚像面位置Ｐ^’’’_ｏｉ）を示す図（ｙ−ｚ平面）である。実空間上での虚像面１００をｅｘ＋ｆｙ＋ｇｚ＝ｈとし、視点をＰ_Ｅとすると、虚像面上の表示オブジェクトの位置Ｐ^’’’_ｏｉは下式（６）で求められる。視点Ｐ_Ｅの実空間における３軸直交座標系における座標は車両２の運転者５の実際の視点の座標であることが好ましいが、本実施形態では説明の便宜のため固定値（例えばアイリプスの中心座標のような設計値でもよい）を用い、予め視点Ｐ_Ｅの実空間における３軸直交座標は与えられているものとする。但し、別態様として運転者５の視点を検出する視点検出装置をＨＵＤ１に接続し、視点検出装置が検出した３軸直交座標系で定義された視点Ｐ_Ｅの座標を用いてもよい。

【数6】

【0057】

（Ｓ４５：虚像表示）
図８は虚像面位置と表示素子３３の表示面３３ａ上の位置との位置関係を示す図である。後述する虚像面―表示面対応データとは、図８の関係性、即ち虚像面におけるｘ−ｚ座標と表示面内のｓ−ｔ座標とを紐づけたデータである。

【0058】

虚像を含む映像光Ｌは、光源３１から出射した光が表示素子３３の表示面３３ａを透過することにより生成される。従って、映像光Ｌが拡散するに伴い虚像面１００の面積も拡張するが、虚像面１００内における表示位置(虚像面位置Ｐ^’’’_ｏｉ)と、それに対応する表示素子３３の表示面３３ａにおける表示位置とは一義に定まる。

【0059】

そこで、表示素子３３の表示面３３ａに表示オブジェクトを表示し、そのときの表示位置Ｐ^’’’’_ｏｉを表示面３３ａにおける２軸直交座標系（ｓ−ｔ座標系）で表す。また表示位置Ｐ^’’’’_ｏｉに表示した表示オブジェクトの虚像が表示される虚像面位置Ｐ^’’’_ｏｉの座標を、実空間における３軸直交座標系のうちのｘ−ｙ座標で表す。そして、表示位置Ｐ^’’’’_ｏｉのｓ−ｔ座標と、虚像面位置Ｐ^’’’_ｏｉのｘ−ｙ座標とを対応付けた虚像面―表示面対応データを生成する。

【0060】

虚像面―表示面対応データは、第１不揮発性メモリ２２の一部領域からなるキャリブレーションデータ記憶部２２ａに記憶する。

【0061】

そして第１ＥＣＵ２１は、式（６）により虚像面位置Ｐ^’’’_ｏｉを求めると、虚像面―表示面対応データを参照して表示面３３ａ上の表示位置Ｐ^’’’’_ｏｉに換算する。その後、第１ＥＣＵ２１は、回転後の表示オブジェクト１２０ａと表示素子３３上の表示位置Ｐ^’’’’_ｏｉとを歪み補正部２５に出力する。歪み補正部２５は歪み補正を行った回転後の表示オブジェクト１２０ａと表示面３３ａの表示位置Ｐ^’’’’_ｏｉとを表示素子制御部２６に出力する。表示素子制御部２６は、回転後の表示オブジェクト１２０ａを表示面３３ａの表示位置Ｐ^’’’’_ｏｉに表示するよう、表示素子３３を駆動する。

【0062】

次いで第１ＥＣＵ２１は、光源調整部２４に対して光源３１の点灯指示を出力し、光源調整部２４が光源３１を点灯する。これにより、光源３１から出射光が発せられ、表示面３３ａの表示位置Ｐ^’’’’_ｏｉに表示された表示オブジェクトを含む映像光ＬがＨＵＤ１から出射する。そしてこの映像光Ｌにより虚像面１００の位置Ｐ^’’’_ｏｉに回転後の表示オブジェクト１２０ａが虚像として表示される。なお、図８の虚像面―表示面対応データは、凹面ミラー４１がある角度、例えばφ_１の場合のデータ例を示している。凹面ミラー角度φ_ｉが変わると、虚像面１００の位置Ｐ^’’’_ｏｉが同じであっても、それに対応する表示面３３ａにおける表示オブジェクトの表示位置が変わる。例えば虚像面１００の位置Ｐ^’’’_ｏｉは、凹面ミラー角度φ₁では、Ｐ^’’’’_ｏｉのｓ−ｔ座標系で（s_a１,t_a1）と表せても、凹面ミラー角度φ₂では（s_a２,t_a２）と表せる。従って、予めキャリブレーションデータ記憶部２２ａに、凹面ミラー角度φ_ｉに応じた虚像面―表示面対応データ_ｉが複数格納されており、第１ＥＣＵ２１は凹面ミラー制御部２８に出力した凹面ミラー角度φ_ｉを制御する信号を参照して、虚像面―表示面対応データ_ｉを読み出し、表示面３３ａにおける表示オブジェクト１２０ａの表示位置を演算する。

【0063】

図９〜図１１を基に、従来技術との比較による効果説明を行う。

【0064】

図９は勾配変化のない前方路面にＡＲ表示を行った例（従来例）を示す図である。図９では進行方向を示す矢印は、接地面２００の同一平面上にある前方路面に沿って表示される。

【0065】

図１０は、勾配がある前方路面２１０に対して、勾配を考慮することなくＡＲ表示を行った例を示す図である。前方路面２１０は、接地面２００に対して上り勾配があり、接地面２００よりも実空間において高い位置に前方路面２１０は存在する。この前方路面２１０に勾配を考慮することなくＡＲ表示を行うと矢印の表示オブジェクトがあたかも前方路面２１０に突き刺さったり、突き抜けていくように見える。

【0066】

図１１は、勾配変化がある前方路面に対して勾配を考慮してＡＲ表示を行った例（本実施形態に相当する）を示す図である。図１１に示すように、勾配変化がある前方路面２１０に対して勾配（路面角度θ_ｒ）を考慮して表示オブジェクトの表示高さを変え、かつ表示オブジェクトを回転させて表示すると、前方路面２１０に突き刺さったり、突き抜けていくようには見えず、前方路面２１０に沿って矢印の表示オブジェクトを表示させることができる。

【0067】

本実施形態によれば、ＬｉＤＡＲ６０からの出力を用いて、前方路面２１０の路面角度θ_ｒを求め、路面角度θ_ｒを用いて表示オブジェクトの基本形状を回転させる。更に前方路面２１０の勾配に沿って表示させるための表示オブジェクト高さを求め、これを実現する表示オブジェクトの虚像面位置を算出する。そして、虚像面位置Ｐ^’’’_ｏｉに対応する表示面３３ａ上の表示位置Ｐ^’’’’_ｏｉに回転後の表示オブジェクトを表示して映像光Ｌを出射することにより、前方路面２１０が接地面２００に対して勾配を有していても、従来例に比べて、表示オブジェクトを前方路面２１０に沿って表示させることができる。

【0068】

また本実施形態では、車両２に搭載したＬｉＤＡＲ６０の出力を用いて接地面２００に対する前方路面２１０の路面角度θ_ｒを計測し、これに基づいて表示オブジェクトの表示位置及び回転角度を変更するが、この構成に替えて高精度地図の道路形状情報を用いても実現することも考えられる。しかし、地図の更新頻度によっては、道路状態と地図情報が一致しない可能性があり、地図情報が作成された時点から現時点までに道路状態や道路勾配が変化した場合には現状の正しい道路形状情報を取得できない可能性がある。これに対し、本実施形態によれば、逐次道路形状情報を取得することにより、リアルタイムに道路状態や道路勾配に追従させてＡＲ表示ができるので、例えば前方路面２１０に虚像がつきぬけて表示されるといった現実感が無いＡＲ表示を抑止し、より現実の風景に合ったＡＲ表示ができる。

【0069】

＜第２実施形態＞
第２実施形態は、虚像表示対象物が歩行者や車両等の障害物である点に特徴がある。画像処理装置７００にて歩行者や車両等の障害物を検出した場合は、カメラ投影面上の位置及び路面情報を用いて、検出した障害物の３次元座標を推定できるため、高精度にＡＲ表示をすることができる。

【0070】

第２実施形態では、第１実施形態と比較して以下の３つの処理に特徴がある。

【0071】

（処理１）ＬｉＤＡＲ６０により取得した路面情報とカメラ７０の撮像画像との対応付け

【0072】

（処理２）撮像画像上で検出された障害物（虚像表示対象物の一例である）の存在する計測点を取得

【0073】

（処理３）近傍の計測点を含む平面に沿って障害物に付加する表示オブジェクトの虚像を表示する

【0074】

（処理１について）
この処理１は、図３の処理が開始する以前に実行される処理であって、車両２からの距離が既知な位置に、既知の大きさの被写体を設置し、カメラ７０及びＬｉＤＡＲ６０のそれぞれで計測し、撮像画像に写った被写体とＬｉＤＡＲ６０が検出した被写体上の計測点の位置とを対応付けることにより、カメラ座標系の座標を実空間の３軸直交座標系の座標と紐づけたカメラ‐実空間対応データを生成する処理である。

【0075】

撮像画像に写った被写体はカメラ座標系の２次元座標で表せる。よって、ＬｉＤＡＲ６０が同一被写体上にある計測点を計測すると各計測点の実空間上の３軸直交座標系の座標が得られるので、３軸直交座標系の座標とカメラ座標系の２次元座標とを紐づけたカメラ‐実空間対応データが得られる。これにより、撮像画像に映った被写体のカメラ座標系で表した２次元座標と、ＬｉＤＡＲ６０が検出した被検出体の３軸直交座標とをカメラ‐実空間対応データを用いて同定し、撮像画像の被写体の３次元座標を算出することができる。

【0076】

カメラ‐実空間対応データは、キャリブレーションデータ記憶部２２ａに記憶され、表示オブジェクトの虚像面位置の決定処理等に用いられる。

【0077】

具体的には、カメラ‐実空間対応データではＬｉＤＡＲ６０で取得した計測点データ（ｘ，ｙ，ｚ成分から成る点群ｐ_ｌ）がカメラ７０の撮像画像のどの画素に位置するかを対応づける。一般的に、カメラ７０とＬｉＤＡＲ６０の設置位置が異なるため、カメラ位置を原点とするカメラ座標系と、ＬｉＤＡＲ位置を原点とするＬｉＤＡＲ座標系とを考える。図１２Ａ，図１２Ｂに処理１の概要を示す。図１２Ａは障害物６５０をＬｉＤＡＲ座標系で見た状態を示す。図１２Ｂは、図１２Ａと同じ障害物６５０をカメラ座標系で見た状態を示す。図１２Ａ，図１２Ｂにおいて、それぞれ、座標に添え字ｃとｌを付す。

【0078】

図１２Ａにおいて、ＬｉＤＡＲ６０で測定された路面の３次元位置Ｐ_ｌｉ（ｉ＝１，２，３）があるとする。図１２Ｂは、３次元位置Ｐ_cｉ（ｉ＝１，２，３）をカメラ座標系で表している。

【0079】

ＬｉＤＡＲ６０の位置とカメラ７０の位置との違いを並進ベクトルｔ、姿勢の違いを回転行列Ｒで表すと、カメラ座標系での路面位置Ｐ_ｃｉは下式（７）で計算できる。

【数7】

【0080】

次に図１３Ａ、図１３Ｂに示すように、カメラ座標上の路面位置ｐ_ｃｉをカメラ投影面上の位置Ｐ_ｐｉ、及び画像上の位置Ｐ_ｉｉ（図１３Ｂ）に変換する。カメラ投影面上の位置Ｐ_ｐｉはカメラ７０の焦点距離をｆとすると、下式（８）のように計算できる。

【数8】

【0081】

更に、画像上の位置Ｐ_ｉｉは、カメラのイメージセンサの幅をｗ_Ｓ、高さをｈ_Ｓとし、画像の幅をｗ_Ｉ、高さｈ_Ｉとすると、下式（９）のように計算できる。

【数9】

【0082】

（処理２について）
図１３Ｂに示すように、第２実施形態では、ステップＳ１１において第１ＥＣＵ２１が、撮像画像上の路面位置Ｐ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３の中に障害物Ｐ_ｉｖが存在するか確認する。第１ＥＣＵ２１は、下式（１０）〜（１２）がすべて満たされる場合、Ｐ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３の中に障害物Ｐ_ｉｖが存在すると判断する。

【数10】

【0083】

（処理３について）
上記の（処理２）が満たされた場合、第１ＥＣＵ２１は、ステップＳ４０において、Ｐ_ｌ１，Ｐ_ｌ２，Ｐ_ｌ３から成る平面Ａ上に障害物が存在すると判断する。

【0084】

カメラ原点とカメラ投影面上の障害物位置Ｐ_ｐｖを結ぶ直線と平面Ａの交点が障害物の実空間上の位置Ｐ_ｃｖとなるので、第１ＥＣＵ２１は、処理２で求めた障害物の実空間上の位置Ｐ_cｖ＝（ｘ_cｖ，ｙ_cｖ，ｚ_cｖ）を下式（１３）より算出する。なお、下式（１３）において、Ｐ_pｖ＝（ｘ_pｖ，ｙ_pｖ，ｚ_pｖ）はカメラ投影面の障害物の位置を示す。

【数11】

【0085】

（Ｓ４４：障害物の虚像面位置）
図１４は障害物の虚像面位置を示す図（ｙ−ｚ平面）である。ＨＵＤ制御装置２０の第１ＥＣＵ２１は、既述のステップＳ４４と同じ方法で虚像面での障害物の位置を求める。Ｐ_ｃｖはカメラ位置を原点とする障害物位置であるため、（処理１）で求めたカメラ‐実空間対応データを用いて、位置Ｐ_ｃｖを（処理１）で定めた座標系での位置Ｐ_ｖに変換する。カメラ座標と（処理１）で定めた座標系の位置と向きの違いを、並進ベクトルｔ_２、回転行列Ｒ_２とすると、位置Ｐ_ｖは下式（１４）で計算される。

【数12】

【0086】

実空間上での虚像面１００をｅｘ＋ｆｙ＋ｇｚ＝ｈとし、視点をＰ_Eとすると、虚像面１００上の障害物の位置Ｐ^′_ｖは下式（１５）により求められる。

【数13】

【0087】

第２実施形態によれば、障害物のように不定期に出現し、地図情報では定義できない対象物に対しても表示オブジェクトをＡＲ表示することができる。

【0088】

第２実施形態によるＡＲ表示効果を従来例と比較して説明する。図１５Ａは、前方路面の勾配を考慮することなく障害物に対してＡＲ表示を行った例を示す図である。図１５Ｂは、前方路面の勾配を考慮して障害物に対してＡＲ表示を行った例を示す図である。

【0089】

勾配を考慮しない場合、図１５Ａに示すように、前方車両からなる障害物６５０と表示オブジェクト６６０とが離間して表示される。これに対し、本実施形態によれば、図１５Ｂに示すように、障害物６５０に表示オブジェクト６６０を近接させて表示させることができる。図１５Ｂでは近接させただけであるが、障害物６５０に重畳させることも可能である。

【0090】

＜第３実施形態＞
第１実施形態は、表示オブジェクトの実空間上の高さを３軸直交座標系で表した前方路面の推定式を基に求めたが、３軸直交座標の内のｘ−ｚ軸（タイヤ接地面）に対する前方路面２１０の勾配（路面角度θ_ｒ）を用いて表示オブジェクトの実空間上の高さを求めてもよい。図１６は、第３実施形態に係る表示オブジェクトの実空間上の高さを求める処理を示す図である。

【0091】

図１６において、前方路面２１０の平面を表す式をａｘ+ｂｙ+ｃｚ＝ｄとする。平面と接地面２００との交線上の位置ｘ_０の点（ｘ_０，０，ｚ’）はａｘ_０+０+ｃｚ’＝ｄより下式（１６）で表せる。

【数14】

【0092】

次に表示オブジェクトの実空間上の高さｙ_０は下式（１７）により求める。

【数15】

【0093】

＜第４実施形態＞
第１〜３実施形態ではＬＣＤを用いた映像表示装置３０を用いたが、ＭＥＭＳ（Micro Electro Mechanical Systems：微小電気機械システム）を用いた映像表示装置３００であってもよい。図１７は、第４実施形態に係るＨＵＤのシステム構成図である。

【0094】

図１７に示すＨＵＤ１ａは、ＭＥＭＳを用いた映像表示装置３００を用いて構成される。ＭＥＭＳは、レーザ光源３０１と、レーザ光を反射するスキャニングミラー３０２及びスキャニングミラー３０２の鏡面の角度を変えるスキャニングミラー駆動部（モータ）３０２ａと、マイクロレンズアレーを用いた拡散板３０３と、拡散板３０３からの映像光を入力し、凹面ミラー４１に向けて出射するリレー光学系３０４を含む。リレー光学系３０４は、図２のレンズユニット４３に代わる部材である。

【0095】

レーザ光源３０１が照射したレーザ光は、スキャニングミラー３０２で反射され、拡散板３０３に到達する。スキャニングミラー３０２は反射角度を変えながらレーザ光を拡散板３０３に照射する。拡散板３０３では、レーザ光が一度結像し、表示オブジェクトが視認できる状態となる。よって拡散板３０３は、表示面３３ａに相当する。拡散板３０３からリレー光学系３０４へ向かう光は、結像した表示オブジェクトの映像情報を含むので、映像光Ｌに相当する。

【0096】

ＨＵＤ１ａが備えるＨＵＤ制御装置２０ａは、第１実施形態に係るＨＵＤ制御装置２０の表示素子制御部２６に代えてスキャニングミラー制御部２６ａを備える。光源調整部２４は、レーザ光源３０１に接続され、点滅制御及び光量調整を行う。

【0097】

スキャニングミラー制御部２６ａは、スキャニングミラー駆動部３０２ａを駆動制御し、スキャニングミラー３０２を回転させて鏡面の向きを変える。これにより、拡散板３０３において表示オブジェクトが表示される位置が変わる。

【0098】

更に、ＨＵＤ制御装置２０ａは、入力Ｉ／Ｆ２７ａを備える。ＬｉＤＡＲ６０、カメラ７０、及びナビゲーション装置８００の其々は、入力Ｉ／Ｆ２７ａに接続される。第１ＥＣＵ２１は、入力Ｉ／Ｆ２７ａを介してＬｉＤＡＲ６０、カメラ７０、及びナビゲーション装置８００の各出力を取得し、路面推定処理及び障害物検知等の画像処理を行い、第１実施形態と同様のＡＲ表示を実現する。

【0099】

また、ＨＵＤ制御装置２０ａは、ＣＡＮ９０を介して車両情報、例えば速度センサ９５０から走行速度を取得してＡＲ表示してもよい。

【0100】

本実施形態によれば、ＭＥＭＳを用いた映像表示装置３００においても、前方路面の勾配に合わせたＡＲ表示が行える。また、第１実施形態のように自動運転システム９００を搭載しない車両であっても、ＨＵＤ１ａに各種センサを取り付けることで、前方路面の勾配に合わせたＡＲ表示が行える。

【0101】

上記各実施形態は本発明を限定するものではなく、本発明の趣旨を逸脱しない範囲での様々な変更態様は本発明の技術的範囲に属する。例えば、各処理の説明で用いた計算式は、当該処理の一実施形態に過ぎず、当該処理に必要な算出結果をもたらす他の計算式を適用してもよい。

【0102】

また路面検出センサは、前方路面２１０上の計測点までの距離及び位置（車両２の左右方向の位置）が検出できるセンサであればＬｉＤＡＲ６０に限らず、ミリ波レーダやステレオカメラでもよい。

【0103】

更に第１〜第３実施形態のＬＣＤを用いた映像表示装置３０に代わり、ＭＥＭＳを用いた映像表示装置３００を用いてもよい。また第４実施形態のＭＥＭＳを用いた映像表示装置３００に代えて、ＬＣＤを用いた映像表示装置３０を用いてもよい。

【符号の説明】

【0104】

１ ：ＨＵＤ
２０ ：ＨＵＤ制御装置（主制御装置）
６０ ：ＬｉＤＡＲ
７０ ：カメラ
８０ ：ＧＰＳ受信機
１００ ：虚像面
１０１ ：虚像
２００ ：接地面
２１０ ：前方路面

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図14】

【図15A】

【図15B】

【図16】

【図17】