特許 6607128 虚像表示装置、虚像表示方法および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6607128

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】虚像表示装置、虚像表示方法および制御プログラム

(51)【国際特許分類】

   B60K 35/00 20060101AFI20191111BHJP

   G02B 27/01 20060101ALI20191111BHJP

   G09G 5/00 20060101ALI20191111BHJP

   G09G 5/36 20060101ALI20191111BHJP

   G09G 5/02 20060101ALI20191111BHJP

   G09G 5/377 20060101ALI20191111BHJP

【ＦＩ】

   B60K35/00 A

   G02B27/01

   G09G5/00 510B

   G09G5/00 550C

   G09G5/00 510G

   G09G5/36 520P

   G09G5/02 B

   G09G5/36 520L

   G09G5/36 520F

   G09G5/00 530M

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2016-75538(P2016-75538)

(22)【出願日】2016年4月5日

(65)【公開番号】特開2017-185878(P2017-185878A)

(43)【公開日】2017年10月12日

【審査請求日】2019年2月22日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】須永 領平

(72)【発明者】

【氏名】木村 朋子

【審査官】 稲村 正義

(56)【参考文献】

【文献】 特開２００５−１３８８０１（ＪＰ，Ａ）

【文献】 特開２０１３−２０３３７４（ＪＰ，Ａ）

【文献】 特開２００８−３０４５８０（ＪＰ，Ａ）

【文献】 特開２００９−２７４５４２（ＪＰ，Ａ）

【文献】 特開２０１３−１６７９２６（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１３８２９２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｋ ３５／００

Ｇ０２Ｂ ２７／０１

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

虚像として表示する表示データを生成する表示データ生成部と、
前記表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部と、
前記車両の前方の景色を撮影した映像データを取得する映像データ取得部と、
前記映像データにおいて前記虚像が重畳される範囲を特定する範囲特定部と、
前記範囲特定部において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する判定部と、
前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加する表示データ変更部と、
を備えることを特徴とする、虚像表示装置。

【請求項2】

前記表示データ変更部は、前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトに前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った外郭線を付加する、
請求項１に記載の虚像表示装置。

【請求項3】

前記表示データ変更部は、前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトに前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った中心線を付加する、
請求項１に記載の虚像表示装置。

【請求項4】

前記表示データ変更部は、前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示サイズを大きくする、
請求項２または３に記載の虚像表示装置。

【請求項5】

前記判定部は、前記特定された範囲の映像データにおいて、隣接した複数の画素からなるグループごとに映像の複雑さ度合いを判定する、
請求項１〜４のいずれか１項に記載の虚像表示装置。

【請求項6】

前記判定部は、映像の複雑さ度合いを、前記特定された範囲の映像データを構成する色および輝度のうちの少なくとも一方の統計分布に基づいて判定する、
請求項１〜４のいずれか１項に記載の虚像表示装置。

【請求項7】

虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を用いた虚像表示方法であって、
前記表示データを生成するステップと、
前記車両の前方の景色を撮影した映像データを取得するステップと、
前記映像データにおいて特定された前記虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定するステップと、
前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加するステップと、
を備えることを特徴とする虚像表示方法。

【請求項8】

虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を制御する制御プログラムであって、
コンピュータに、
前記表示データを生成する処理手順と、
前記車両の前方の景色を撮影した映像データを取得する処理手順と、
前記映像データにおいて特定された前記虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定する処理手順と、
前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加する処理手順と、
を実行させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用の虚像表示装置、虚像表示方法および制御プログラムに関する。
に関する。

【背景技術】

【0002】

近年では、ナビゲーション情報や走行速度など、車両の運行に関する情報を車両のウィンドシールドに表示させる車両用の虚像表示装置としてのヘッドアップデイスプレイ（以下、ＨＵＤと称す）が知られている。特許文献１には、自車の前方における景色（外景）の画像を撮影し、当該画像における虚像の表示部分の近傍に存在する前走車の色に基づいて当該虚像の表示色を設定するＨＵＤが記載されている。また、特許文献２には、外景と表示させる虚像とのコントラスト比を考慮して当該虚像の表示色を決定するＨＵＤが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２７４５４２号公報

【特許文献2】特開２０１５−１３４５２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＨＵＤによる虚像は、車両の運転中に運転者の視野に入るものであるため、当該虚像は、運転者が適切に認識できるよう、明瞭に表示されるとともに簡素な表示であることが求められる。しかしながら、特許文献１および２に記載のＨＵＤに関する技術のように、ＨＵＤによる虚像の表示色を外景の色調や外景と虚像とのコントラスト比に基づいて変化させると、外景が目まぐるしく変わるような状況では虚像の表示色が頻繁に変化することになり煩わしい。

【0005】

本発明は、以上の問題点に鑑みなされたものであり、本発明は、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる虚像表示装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明にかかる虚像表示装置は、虚像として表示する表示データを生成する表示データ生成部と、表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部と、車両の前方の景色を撮影した映像データを取得する映像データ取得部と、映像データにおいて虚像が重畳される範囲を特定する範囲特定部と、範囲特定部において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する判定部と、判定部にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する表示データ変更部と、を備えることを特徴とする。

【0007】

上述した課題を解決するために、本発明にかかる虚像表示方法は、虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を用いた虚像表示方法であって、表示データを生成するステップと、車両の前方の景色を撮影した映像データを取得するステップと、映像データにおいて特定された虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定するステップと、映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加するステップと、を備えることを特徴とする。

【0008】

上述した課題を解決するために、本発明にかかる制御プログラムは、虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を制御する制御プログラムであって、コンピュータに、表示データを生成する処理手順と、車両の前方の景色を撮影した映像データを取得する処理手順と、映像データにおいて特定された虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定する処理手順と、映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する処理手順と、を実行させるためのものである。

【0009】

本発明は、

【発明の効果】

【0010】

本発明によれば、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる。

【図面の簡単な説明】

【0011】

【図1】本実施の形態にかかる虚像表示装置の概略構成を模式的に示す図である。

【図2】本実施の形態にかかる虚像表示装置において、車両の運転者に視認される、ウィンドシールドに投影された映像光の一例を示す図である。

【図3】本実施の形態にかかる虚像表示装置の概略構成を示すブロック図である。

【図4】映像データ取得部が取得した車両前方の景色の映像データにおいて虚像が重畳される範囲の例を示す図である。

【図5】映像データにおける色調分布の例を示すヒストグラムである。

【図6】映像データにおける色調分布の他の例を示すヒストグラムである。

【図7】映像データにおける色調分布のさらに他の例を示すヒストグラムである。

【図8】映像データにおける輝度分布の例を示すヒストグラムである。

【図9】映像データにおける輝度分布の他の例を示すヒストグラムである。

【図10】映像データにおける輝度分布のさらに他の例を示すヒストグラムである。

【図11】特定された範囲の映像データにおける隣接した複数の画素からなるグループを示す図である。

【図12】通常時における、表示させる虚像の表示データに含まれる表示オブジェクト（表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加しない表示オブジェクト）の例を示す図である。

【図13】実施例１の表示オブジェクトの表示例について示す図である。

【図14】実施例２の表示オブジェクトの表示例について示す図である。

【図15】実施例３の表示オブジェクトの表示例について示す図である。

【図16】実施例４の表示オブジェクトの表示例について示す図である。

【図17】実施例５の表示オブジェクトの表示例について示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態について説明する。
本発明の実施の形態にかかる、車両用の虚像表示装置はヘッドアップディスプレイ装置である。まず、虚像表示装置１００の概略構成について説明する。
図１は、本実施の形態にかかる虚像表示装置１００の構成を模式的に示す側面図である。図１に示すように、虚像表示装置１００は、制御部１１０と、映像光投射部１２０と、反射部１４０と、コンバイナ１６０と、筐体１７０とを備えている。

【0013】

映像光投射部１２０は、車両の運転者前方に映像光Ｌ１を投射するプロジェクタを有している。映像光投射部１２０は投射映像に応じた映像光Ｌ１を、反射部１４０に向けて出射する、図１の例においては、後方斜め上方向に出射する。映像光投射部１２０の後方斜め上方向には、反射部１４０が配置されている。したがって、映像光投射部１２０からの映像光Ｌ１は、反射部１４０に入射する。映像光投射部１２０は、表示信号に応じて、映像光Ｌ１を投射する。

【0014】

反射部１４０は、映像光投射部１２０からの映像光Ｌ１を反射する。反射部１４０は、凹面鏡などを有しており、映像光Ｌ１を拡大する。反射部１４０は、映像光Ｌ１をコンバイナ１６０などの虚像投影面方向に反射する。図１の例においては、前方斜め上方向に向けて反射する。反射部１４０の前方斜め上方向には、コンバイナ１６０が配置されている。したがって、反射部１４０で反射した映像光Ｌ１は、コンバイナ１６０に入射する。なお、反射部１４０には、反射部１４０を駆動することで映像光Ｌ１の反射光路を変更する、サーボモータやギヤ等などの光路変更部が取り付けられていてもよい。

【0015】

コンバイナ１６０は、入射した映像光Ｌ１の一部を反射して、虚像を表示させる。したがって、コンバイナ１６０で反射した映像光Ｌ１は観察者の眼に入射する。図２に示すように、虚像表示装置１００が自動車１のダッシュボード１３上に設置された場合には、フロントガラス１２を透過した外界からの外光Ｌ２と虚像表示装置１００からの映像光Ｌ１とがオーバーレイ（重畳）し、運転者Ｐの視界には車両の前方の景色（外景）と虚像表示装置１００によって生成等された虚像とが同時に見えることになる。
本発明を適用する虚像表示装置は、図１に示すようなコンバイナ１６０を用いた虚像表示装置１００に加えて、コンバイナを用いずに車両のフロントガラスを虚像投影面とする虚像表示装置であってもよい。

【0016】

なお、以下の説明では、虚像表示装置１００が自動車１のダッシュボード１３上に置かれている状態での方向を基準に説明する。すなわち、自動車１の方向を基準の方向とする。例えば、フロントガラス１２側を前方として、運転者Ｐ側を後方として説明する。同様に、自動車１のルーフ側を上方とし、地面側を下方とし、自動車１の横方向（左右方向）を側方として説明する。

【0017】

次に、虚像表示装置１００の制御構成について説明する。
図３は、虚像表示装置１００の制御構成を示すブロック図である。図３に示すように、制御部１１０は、表示データ生成部４と、映像データ取得部５と、範囲特定部６と、判定部７と、表示データ変更部８と、投射制御部９と、を備えている。なお、制御部１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含むコンピュータなどである。

【0018】

表示データ生成部４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やナビゲーションシステムなどの表示情報供給手段１０からの表示情報に基づいて虚像として表示する表示データを生成する。映像データ取得部５は、撮像手段としての前方カメラ１１により車両前方の景色を撮影した映像データを取得する。前方カメラ１１は、運転者から見える車両前方の景色を撮影することができる任意の位置に配置される。例えば、図２に示すように、前方カメラ１１は、自車のフロントガラス１２の上部付近のルームミラー１４の裏側など、車両前方を撮影可能な位置に設置される。なお、前方カメラ１１は、虚像表示装置１００に一体的に配置されてもよい。

【0019】

範囲特定部６は、映像データ取得部５が取得した映像データにおいて虚像が重畳される範囲を特定する。判定部７は、範囲特定部６において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する。具体的な判定方法は後述する。表示データ変更部８は、判定部７にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する。

【0020】

映像光投射部１２０は、光を発生する光源１２１と、表示データに応じて光源で発生した光を変調する光変調素子などの投射画像表示部１２２、光を投射する投射レンズなどの光学部１２３を有している。例えば、光変調素子である液晶パネルがバックライト光源からの光を変調する。あるいは、光変調素子として、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ミラー等の走査ミラーを用いることができる。この場合、レーザダイオードやＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの光源からの光を、表示信号に応じて走査ミラーが走査する。投射制御部９は、映像光投射部１２０の光源１２１および投射画像表示部１２２を制御する。

【0021】

制御部１１０における各処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、制御部１１０において、プログラムメモリに格納されたプログラムを主記憶装置にロードし、ＣＰＵの制御によって当該プログラムを実行して実現する。また、制御部１１０は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。

【0022】

また、制御部１１０において実現される各機能は、虚像表示装置１００として単独の装置における制御部であってもよく、虚像表示装置１００と連携した他の装置における制御部を用いてもよい。例えば、虚像表示装置１００が単に受け取った映像データを表示するのみである構成の場合、制御部１１０における投射制御部９が虚像表示装置１００の制御部によって実現され、他の各機能は、車両のカメラや表示画像を制御する他の装置で実現される。このような場合、虚像表示装置は虚像表示システムと言い換え可能である。

【0023】

上述したように、運転者から見える車両前方の景色には、虚像表示装置１００によって生成等された虚像が重畳される。図４は、映像データ取得部５（図３参照）が取得した車両前方の景色の映像データにおいて虚像が重畳される範囲の例を示す図である。図４に示すように、破線で囲んだ範囲（虚像重畳範囲Ａ、Ｂ、Ｃ）が、映像データにおいて虚像が重畳される範囲である。

【0024】

運転者の目の位置は運転者の座高や運転姿勢等によって変わるので、虚像表示装置１００では、運転者から見える車両前方の景色において虚像を重畳させる範囲を変更できるようにしてもよい。このようにした場合、運転者から見える車両前方の景色における虚像を重畳させる範囲の変更に伴って、映像データにおいて虚像が実際に重畳されている範囲も変更される。範囲特定部６では、範囲特定部６で特定する、映像データにおいて虚像が重畳される範囲を、運転者から見える車両前方の景色において虚像を重畳させる範囲の設定と整合させるようにしてもよい。つまり、範囲特定部６で特定する、映像データにおいて虚像が重畳される範囲を、映像データにおいて虚像が実際に重畳されている範囲と一致させる。図４に示される虚像重畳範囲Ａ、Ｂは、運転者から見える車両前方の景色において虚像を重畳させる範囲の設定と整合させるようにしたときの、映像データにおける虚像が重畳される範囲の例である。このようにすると、表示データ変更部８（図３参照）にて表示オブジェクトの形状に沿った線を付加するタイミングをより適切に判断することができる。

【0025】

これに対し、範囲特定部６（図３参照）において、虚像重畳範囲Ａ、Ｂなど特定の運転者向けの設定範囲のいずれをもカバーできる、映像データにおける虚像が重畳される範囲が予め設定されていてもよい。図４に示される虚像重畳範囲Ｃは、特定の運転者向けの設定範囲のいずれをもカバーできる、映像データにおける虚像が重畳される範囲の例である。範囲特定部６で特定する、映像データにおいて虚像が重畳される範囲を、虚像重畳範囲Ｃに設定すると、運転者から見える車両前方の景色において虚像を重畳させる範囲がどのように設定されていても、虚像重畳範囲Ｃの範囲内に虚像を収めることができる。このようにすると、運転者から見える車両前方の景色における虚像を重畳させる範囲の変更に伴って、映像データにおいて虚像が実際に重畳されている範囲をいちいち変更する必要がない。

【0026】

ここで、範囲特定部６（図３参照）において特定された範囲の映像データに対して、判定部７（図３参照）が映像の複雑さ度合いを判定する方法について説明する。
判定部７は、範囲特定部６において特定された範囲内の映像データに対し、構成する色調または輝度の統計分布（ヒストグラム）に基づいて当該特定された範囲内の映像データの複雑さ度合いを判定する。

【0027】

図５から図７は、映像データにおける色調分布の例を示すヒストグラムである。このヒストグラムは、横軸に光の波長（右へいくほど波長が高い）、縦軸に波長ごとの画素数を積み上げたグラフである。つまり、映像データにおいて、波長の低い色の成分が多いほどグラフの左寄りに積み上げられ、波長の高い色の成分が多いほどグラフの右寄りに積み上げられて表示される。

【0028】

図５に示すヒストグラムでは、色の波長の大きなピークが１つである（ピークがある色の波長の近傍に集中している）。図５に示す例のように色の波長の大きなピークが１つである場合を、複雑さ度合いの基準とする。範囲特定部６（図３参照）において特定された範囲の映像データの色調分布のヒストグラムが図５に示すような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加しない。

【0029】

図５に示すヒストグラムは、範囲特定部６において特定された範囲内の映像データを構成する色が単色または同系色の割合が多い状態を示している。このような映像データに対応する外景を背景とした場合は、虚像の認識に困難性は無い。図５に示すヒストグラムのピーク近傍の色と、虚像の表示オブジェクトの色とが近接する場合は、虚像の表示オブジェクトの色を変更することで、適切に虚像を認識させることができる。

【0030】

具体例としては、範囲特定部６において特定された範囲内の映像データに、図５に示すような例として、波長６００ｎｍ前後である橙色および橙色近傍の色で構成される背景、例えば大型車両の後面が撮影されている場合、虚像の表示オブジェクトの色が橙色または橙色の近傍の色以外であれば、虚像の認識に困難性は無い。

【0031】

図６に示すヒストグラムでは、色の波長の大きなピークが２つである。図６に示す例のように色の波長の大きなピークが２つ以上である場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。

【0032】

図６に示すヒストグラムは、範囲特定部６において特定された範囲内の映像データを構成する色が、複数色または複数の色の同系色の割合が多い状態を示している。このような映像データに対応する外景を背景とした場合は、虚像の表示オブジェクトの色が、図６に示すヒストグラムのピークの色またはピーク近傍の色と同一または近接した色となる可能性が高い。図６に示す例は、ピークが２つであるが、さらにピークの数が多い場合は特に顕著である。このような場合は、虚像の表示オブジェクトの一部分または全体の視認性が悪化する。

【0033】

具体例としては、範囲特定部６において特定された範囲内の映像データに、図６に示すような例として、波長５５０ｎｍ前後である緑色および緑色近傍の色、および波長７５０ｎｍ前後の赤色および赤色近傍の色で構成される背景の場合である。このような場合、虚像の表示オブジェクト全体の色が背景色と異なる色である可能性は低くなる。例えば、範囲特定部６において特定された範囲に対応する外景に、緑色をおよび緑色近傍の色を中心とした森林等と赤色の車両が含まれている場合や、大型車両の後面に緑色と赤色によって構成された彩色が施されている場合などである。

【0034】

図７に示すヒストグラムでは、特定の色の波長において大きなピークは存在せず、色の波長が広範囲に分布している。図７に示す例のように色の波長が広範囲に分布している場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。

【0035】

図７に示すヒストグラムは、範囲特定部６において特定された範囲内の映像データを構成する色が、多数の色で構成されている状態を示す。このような映像データに対応する外景を背景とした場合は、虚像の表示オブジェクトの色が単色または複数の色で構成されていても、高い確率で図７に示すヒストグラムの範囲の色と同一または近接した色となる。図７に示すヒストグラムは、図６に示すヒストグラムの複数のピークがさらに多数存在するものと同様でもある。

【0036】

具体例としては、範囲特定部６において特定された範囲内の映像データに、図７に示すような例として、波長４８０ｎｍ前後である青緑色から波長７５０ｎｍ前後の赤色まで、多くの色が存在している場合である。例えば、範囲特定部６において特定された範囲に対応する外景に、様々な色の物体や車両が含まれている場合や、大型車両の後面に多くの色によって構成された彩色が施されている場合などである。

【0037】

図８から図１０は、映像データにおける輝度分布の例を示すヒストグラムである。このヒストグラムは、横軸に輝度（右へいくほど輝度が高い）、縦軸に輝度ごとの画素数を積み上げたグラフである。つまり、映像データにおいて、暗い成分が多いほどグラフの左寄りに積み上げられ、明るい成分が多いほどグラフの右寄りに積み上げられて表示される。

【0038】

図８に示すヒストグラムでは、輝度の大きなピークが１つである（ピークがある輝度の近傍に集中している）。図８に示す例のように輝度の大きなピークが１つである場合を、複雑さ度合いの基準とする。範囲特定部６（図３参照）において特定された範囲の映像データの輝度分布のヒストグラムが図８に示すような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加しない。

【0039】

図８に示すヒストグラムは、範囲特定部６において特定された範囲内の映像データを構成する画素の輝度が全体的に均一な輝度であることを示している。このような映像データに対応する外景を背景とした場合は、虚像の認識に困難性は無い。

【0040】

具体例としては、範囲特定部６において特定された範囲内の映像データを構成する１画素の輝度が８ビット（輝度値：０〜２５５）で表される場合、図８に示すような例として、構成色を問わず輝度値が１００から１５０前後など、狭い範囲に集中している場合は、虚像の認識に困難性は無い。

【0041】

図９に示すヒストグラムでは、輝度の大きなピークが２つである。図９に示す例のように輝度の大きなピークが２つ以上である場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。

【0042】

図９に示すヒストグラムは、範囲特定部６において特定された範囲内の映像データを構成する画素の輝度が複数の輝度値を中心とした分布となっていることを示す。このような映像データに対応する外景を背景とした場合、複数のピークに対する輝度値の差により、虚像の視認性が悪化する。

【0043】

具体例としては、範囲特定部６において特定された範囲内の映像データを構成する１画素の輝度が８ビット（輝度値：０〜２５５）で表される場合、図9に示すような例として、構成色を問わず輝度値が１００前後のピークと輝度値が２００前後のピークがある。例えば、範囲特定部６において特定された範囲に対応する外景に、陽光の当たった森林や、道路と自動車、コントラストの高い複数の配色を備えた大型車両の後面などである。

【0044】

図１０に示すヒストグラムでは、特定の輝度において大きなピークは存在せず、輝度が広範囲に分布している。図１０に示す例のように輝度が広範囲に分布している場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。

【0045】

図１０に示すヒストグラムは、範囲特定部６において特定された範囲内の映像データを構成する画素に様々な輝度値が含まれた分布となっていることを示す。このような映像データに対応する外景を背景とした場合、様々な輝度差により、虚像の視認性が悪化する。

【0046】

具体例としては、範囲特定部６において特定された範囲内の映像データを構成する１画素の輝度が８ビット（輝度値：０〜２５５）で表される場合、図１０に示すような例として、構成色を問わず輝度値が８０から２２０前後にほぼ均一に分布している場合である。例えば、範囲特定部６において特定された範囲に対応する外景が、様々な物体が範囲内に存在する遠景や、複雑な構成で描画された大型車両の後面などである。

【0047】

判定部７（図３参照）における映像の複雑さ度合いの判定において、範囲特定部６（図３参照）において特定された範囲の映像データにおいて、図１１に示す隣接した複数の画素からなるグループごとにするようにしてもよい。

【0048】

次に、判定部７（図３参照）にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データ変更部８が、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加した表示オブジェクトの実施例について以下で説明する。なお、通常時における、表示させる虚像の表示データに含まれる表示オブジェクト（表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加しない表示オブジェクト）の例を図１２に示す。

【0049】

[実施例１]
図１３は、実施例１の表示オブジェクトの表示例について示す図である。図１３に示すように、実施例１では、図１２に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトに表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った外郭線を付加する。表示オブジェクトの形状に沿った外郭線の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が１５０ｎｍ以上離れた色、輝度の異なる色などである。

【0050】

[実施例２]
図１４は、実施例２の表示オブジェクトの表示例について示す図である。図１４に示すように、実施例２では、図１２に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトに表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った中心線を付加する。表示オブジェクトの形状に沿った中心線の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が１５０ｎｍ以上離れた色、輝度の異なる色などである。

【0051】

[実施例３]
図１５は、実施例３の表示オブジェクトの表示例について示す図である。図１５に示すように、実施例３では、図１２に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトの表示サイズを大きくする。

【0052】

[実施例４]
図１６は、実施例４の表示オブジェクトの表示例について示す図である。図１６に示すように、実施例４では、表示オブジェクトは実施例１と同様にし、さらに表示オブジェクトの背景（表示データにおける表示オブジェクト以外の部分）を透明から色つきにする。なお、表示オブジェクトを実施例２または実施例３と同様にし、さらに表示オブジェクトの背景を透明から色つきにしてもよい。表示オブジェクトの背景の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が１５０ｎｍ以上離れた色、輝度の異なる色などである。

【0053】

[実施例５]
図１７は、実施例５の表示オブジェクトの表示例について示す図である。図１７に示すように、実施例５では、表示オブジェクトは実施例１と同様にし、さらに表示オブジェクトの周辺の背景を透明から色つきにする。なお、表示オブジェクトを実施例２または実施例３と同様にし、さらに表示オブジェクトの周辺の背景を透明から色つきにしてもよい。表示オブジェクトの周辺の背景の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が１５０ｎｍ以上離れた色、輝度の異なる色などである。

【0054】

以上より、本発明によれば、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる。

【0055】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記実施の形態においては、映像の複雑さ度合いを色または輝度を用いて定義したが、これらの組み合わせであっても、他のパラメータを用い、または組み合わせることも可能である。

【符号の説明】

【0056】

１ 自動車
４ 表示データ生成部
５ 映像データ取得部
６ 範囲特定部
７ 判定部
８ 表示データ変更部
９ 投射制御部
１０ 表示情報供給手段
１１ 前方カメラ
１２ フロントガラス
１３ ダッシュボード
１４ ルームミラー
１００ 虚像表示装置
１１０ 制御部
１２０ 映像光投射部
１４０ 反射部
１６０ コンバイナ
１７０ 筐体
Ｐ 運転者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】