特許 6624312 表示装置、制御方法、プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6624312

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】表示装置、制御方法、プログラム、及び記憶媒体

(51)【国際特許分類】

   G09G 5/10 20060101AFI20191216BHJP

   G09G 5/377 20060101ALI20191216BHJP

   G09G 5/00 20060101ALI20191216BHJP

   G01C 21/36 20060101ALI20191216BHJP

   H04N 5/74 20060101ALI20191216BHJP

【ＦＩ】

   G09G5/10 Z

   G09G5/36 520M

   G09G5/00 510D

   G09G5/00 550C

   G09G5/10 B

   G01C21/36

   H04N5/74 Z

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2019-1791(P2019-1791)

(22)【出願日】2019年1月9日

(62)【分割の表示】特願2014-196533(P2014-196533)の分割

【原出願日】2014年9月26日

(65)【公開番号】特開2019-91052(P2019-91052A)

(43)【公開日】2019年6月13日

【審査請求日】2019年1月9日

(73)【特許権者】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100134599

【弁理士】

【氏名又は名称】杉本 和之

(74)【代理人】

【識別番号】100195648

【弁理士】

【氏名又は名称】小林 悠太

(74)【代理人】

【識別番号】100175019

【弁理士】

【氏名又は名称】白井 健朗

(74)【代理人】

【識別番号】100104329

【弁理士】

【氏名又は名称】原田 卓治

(72)【発明者】

【氏名】中元 祥吾

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２０１２−２４７８４７（ＪＰ，Ａ）

【文献】 特開２００６−２８４４５８（ＪＰ，Ａ）

【文献】 特開２００７−１９８９６２（ＪＰ，Ａ）

【文献】 特開２００６−２８４１９５（ＪＰ，Ａ）

【文献】 特開２０１３−１０８８５２（ＪＰ，Ａ）

【文献】 特開平１０−２８１７９４（ＪＰ，Ａ）

【文献】 特開２００４−０３０２１２（ＪＰ，Ａ）

【文献】 特開２０１３−００９８２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／１０

Ｇ０１Ｃ ２１／３６

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

車両の周囲の風景を撮影した画像を取得する画像取得手段と、
前記画像の画素について、顕著性を算出する顕著性算出手段と、
風景に重ねて、又は風景を撮影した前記画像に重ねて表示する、ユーザーに視認させるための情報を含む表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定手段と、
を含み、
前記明るさ決定手段は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させることを特徴とする表示装置。

【請求項2】

前記明るさ決定手段は、前記顕著性が高い前記画像の画素に対応する前記表示画像の画素ほど、段階的又は連続的に、当該画素の明るさを低く設定することを特徴とする請求項１に記載の表示装置。

【請求項3】

前記明るさ決定手段は、前記表示画像の各々の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像ごとに画素の明るさを決定することを特徴とする請求項１に記載の表示装置。

【請求項4】

前記明るさ決定手段は、前記顕著性が極大値となる前記画像の画素に対応する前記表示画像の所定画素の周辺にある画素の明るさを、前記所定画素との距離が短いほど低く設定することを特徴とする請求項１に記載の表示装置。

【請求項5】

観察者の目点位置を検出する検出手段が検出した前記目点位置に応じて、前記画像の画素の位置と前記表示画像の各画素の表示位置との対応関係を認識する対応関係認識手段をさらに備え、
前記明るさ決定手段は、前記対応関係に基づき、前記表示画像の各画素の表示位置に対応する前記画像の画素の顕著性を認識することを特徴とする請求項１〜４のいずれか一項に記載の表示装置。

【請求項6】

運転者に前記表示画像を虚像として視認させるヘッドアップディスプレイであることを特徴とする請求項１〜５のいずれか一項に記載の表示装置。

【請求項7】

車両の周囲の風景を撮影した画像を取得する画像取得工程と、
前記画像の画素について、顕著性を算出する顕著性算出工程と、
風景に重ねて、又は風景を撮影した前記画像に重ねて表示する、ユーザーに視認させるための情報を含む表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定工程と、
を含み、
前記明るさ決定工程は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させることを特徴とする制御方法。

【請求項8】

コンピュータが実行するプログラムであって、
車両の周囲の風景を撮影した画像を取得する画像取得手段と、
前記画像の画素について、顕著性を算出する顕著性算出手段と、
風景に重ねて、又は風景を撮影した前記画像に重ねて表示する、ユーザーに視認させるための情報を含む表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定手段
として前記コンピュータを機能させ、
前記明るさ決定手段は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させることを特徴とするプログラム。

【請求項9】

請求項８に記載のプログラムを記憶したことを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を表示する技術に関する。

【背景技術】

【0002】

従来から、前方風景に重ねて虚像を表示するヘッドアップディスプレイにおいて、前方風景の視認性を考慮して虚像として表示する画像の輝度を調整する技術が知られている。例えば特許文献１には、フロントガラスを介して走行案内情報を示す画像を表示するヘッドアップディスプレイにおいて、前方風景中の障害物と重なる画像部分を非表示にする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４０８５９２８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のように、検出した障害物と重なる画像を非表示にすると、前方車両に接近している場合や、横断歩道前での停車時等では、画像の大部分が非表示になってしまう可能性がある。また、運転者が優先して視認すべき前方風景には、車両、看板などの他、道路の路面標示や落下物など種々の対象があり、これらを全て正確に検出するのは困難である。

【0005】

本発明は、上記のような課題を解決するためになされたものであり、注視すべき風景の対象を運転者に視認させつつ、画像を好適に表示することが可能な表示装置を提供することを主な目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、車両の周囲の風景を撮影した画像を取得する画像取得手段と、前記画像の画素について、顕著性を算出する顕著性算出手段と、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する、ユーザーに視認させるための情報を含む表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定手段と、を含み、前記明るさ決定手段は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させることを特徴とする。

【0007】

また、請求項７に記載の発明は、車両の周囲の風景を撮影した画像を取得する画像取得工程と、前記画像の画素について、顕著性を算出する顕著性算出工程と、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する、ユーザーに視認させるための情報を含む表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定工程と、を含み、前記明るさ決定工程は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させることを特徴とする。

【0008】

また、請求項８に記載の発明は、コンピュータが実行するプログラムであって、車両の周囲の風景を撮影した画像を取得する画像取得手段と、前記画像の画素について、顕著性を算出する顕著性算出手段と、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する、ユーザーに視認させるための情報を含む表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定手段として前記コンピュータを機能させ、前記明るさ決定手段は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させることを特徴とする。

【図面の簡単な説明】

【0009】

【図1】ヘッドアップディスプレイシステムの構成例を示す。

【図2】ヘッドアップディスプレイシステムの機能的な構成を表すブロック図である。

【図3】表示処理の概要を示すフローチャートである。

【図4】輝度低減処理の手順を示すフローチャートである。

【図5】対応点補正処理のフローチャートを示す。

【図6】各座標系の対応関係を示す図である。

【図7】前方画像及びその顕著性マップを示した画像である。

【図8】実施例に基づくフロントウィンドウの表示例である。

【図9】比較例に基づくフロントウィンドウの表示例である。

【図10】変形例の第１具体例における輝度低減処理のフローチャートである。

【図11】変形例の第２具体例における輝度低減処理のフローチャートである。

【図12】変形例の第３具体例における輝度低減処理のフローチャートである。

【図13】第３具体例において、運転者がフロントウィンドウを介して視認する風景を示す。

【図14】変形例に係る光源ユニットの構成例を示す。

【図15】変形例に係るナビゲーション装置の構成を示す。

【発明を実施するための形態】

【0010】

本発明の１つの好適な実施形態では、表示装置は、風景を撮影した画像を取得する画像取得手段と、前記画像の画素について、顕著性を算出する顕著性算出手段と、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定手段と、を含む。

【0011】

上記表示装置は、画像取得手段と、顕著性算出手段と、明るさ決定手段とを備える。画像取得手段は、風景を撮影した画像を取得する。顕著性算出手段は、取得した画像の画素について、顕著性を算出する。明るさ決定手段は、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する表示画像の各画素の表示位置に対応する画像の画素の顕著性に基づき、表示画像の各画素の明るさを決定する。この態様では、表示装置は、画像の画素の顕著性に基づき、表示画像と重なる風景の領域が注視すべき領域か否かを好適に判断し、表示画像の各画素の明るさを好適に決定することができる。

【0012】

上記表示装置の一態様では、前記明るさ決定手段は、前記顕著性が所定値より高い前記画像の画素に対応する前記表示画像の画素の明るさを低下させる。これにより、表示装置は、好適に、観察者が注視すべき領域と表示位置が重なる表示画像の画素の明るさを低下させて、観察者が注視すべき領域の視認性を向上させることができる。

【0013】

上記表示装置の他の一態様では、前記明るさ決定手段は、前記顕著性が高い前記画像の画素に対応する前記表示画像の画素ほど、段階的又は連続的に、当該画素の明るさを低く設定する。この態様によっても、表示装置は、好適に、観察者が注視すべき領域と表示位置が重なる表示画像の画素の明るさを低下させて、観察者が注視すべき領域の視認性を向上させることができる。

【0014】

上記表示装置の他の一態様では、前記明るさ決定手段は、前記表示画像の各々の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像ごとに画素の明るさを決定する。この態様では、表示装置は、表示画像の明るさを、表示画像ごとに好適に決定することができる。

【0015】

上記表示装置の他の一態様では、前記明るさ決定手段は、前記顕著性が極大値となる前記画像の画素に対応する前記表示画像の所定画素の周辺にある画素の明るさを、前記所定画素との距離が短いほど低く設定する。この態様によっても、表示装置は、好適に、観察者が注視すべき領域と表示位置が重なる表示画像の画素の明るさを低下させて、観察者が注視すべき領域の視認性を向上させることができる。

【0016】

上記表示装置の他の一態様では、表示装置は、観察者の目点位置を検出する検出手段が検出した前記目点位置に応じて、前記画像の画素の位置と前記表示画像の各画素の表示位置との対応関係を認識する対応関係認識手段をさらに備え、前記明るさ決定手段は、前記対応関係に基づき、前記表示画像の各画素の表示位置に対応する前記画像の画素の顕著性を認識する。この態様により、表示装置は、観察者の目点位置に応じて、観察者の画像の画素の位置と、表示画像の各画素の表示位置との対応関係を的確に認識し、画像の画素の顕著性に基づき、表示画像と重なる風景の領域が注視すべき領域か否かを好適に判断することができる。

【0017】

上記表示装置の好適な例では、表示装置は、運転者に前記表示画像を虚像として視認させるヘッドアップディスプレイである。この態様では、表示装置は、風景に重ねて表示画像を虚像として表示する際に、画像の画素の顕著性に基づき、表示画像と重なる風景の領域が注視すべき領域か否かを判断し、表示画像の各画素の明るさを好適に決定することができる。

【0018】

本発明の他の好適な実施形態では、制御方法は、風景を撮影した画像を取得する画像取得工程と、前記画像の画素について、顕著性を算出する顕著性算出工程と、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定工程と、を含む。表示装置は、この制御方法を実行することで、画像の画素の顕著性に基づき、表示画像と重なる風景の領域が注視すべき領域か否かを好適に判断し、表示画像の各画素の明るさを好適に決定することができる。

【0019】

本発明のさらに別の実施形態では、コンピュータが実行するプログラムであって、風景を撮影した画像を取得する画像取得手段と、前記画像の画素について、顕著性を算出する顕著性算出手段と、風景に重ねて、又は風景を撮影した前記画像に重ねて表示する表示画像の各画素の表示位置に対応する前記画像の画素の顕著性に基づき、前記表示画像の各画素の明るさを決定する明るさ決定手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、画像の画素の顕著性に基づき、表示画像と重なる風景の領域が注視すべき領域か否かを好適に判断し、表示画像の各画素の明るさを好適に決定することができる。好適には、上記プログラムは、記憶媒体に記憶される。

【実施例】

【0020】

以下、図面を参照して本発明の好適な実施例について説明する。

【0021】

［概略構成］
図１は、実施例に係るヘッドアップディスプレイシステムの構成例である。図１に示すように、本実施例に係るヘッドアップディスプレイシステムは、主に、光源ユニット４と、カメラ５と、凹面鏡８と、を備え、フロントウィンドウ２５と、天井部２７と、ボンネット２８と、ダッシュボード２９とを備える車両に取り付けられる。

【0022】

光源ユニット４は、ダッシュボード２９内に設けられ、現在地を含む地図情報や経路案内情報、走行速度、その他運転を補助する情報を示す画像（「表示画像Ｉａ」とも呼ぶ。）を構成する光を、ダッシュボード２９内に設けられた凹面鏡８に向けて出射する。この場合、凹面鏡８で反射した表示画像Ｉａを構成する光（単に「表示光」とも呼ぶ。）は、ダッシュボード２９に設けられた開口部８９を介してフロントウィンドウ２５へ到達し、さらにフロントウィンドウ２５で反射することで運転者の目の位置に到達する。このように、光源ユニット４は、表示光を運転者の目の位置へ到達させて、運転者に虚像「Ｉｖ」を視認させる。光源ユニット４は、本発明における「画像取得手段」、「顕著性算出手段」、「明るさ決定手段」、「対応関係認識手段」、及びプログラムを実行するコンピュータの一例である。

【0023】

カメラ５は、車両の前方に向けて設置されたステレオカメラである。カメラ５は、車両の前方風景を撮影した画像（「前方画像Ｉｂ」とも呼ぶ。）を、光源ユニット４へ送信する。

【0024】

凹面鏡８は、光源ユニット４から出射された表示光を、ダッシュボード２９に設けられた開口部８９に向けて反射し、フロントウィンドウ２５へ到達させる。この場合、凹面鏡８は、表示光が示す画像を拡大して反射する。

【0025】

［ブロック構成］
図２は、ヘッドアップディスプレイシステムの機能的な構成を表すブロック図である。図２に示すように、光源ユニット４は、カメラ５及び目点位置検出装置６と電気的に接続しており、表示画像生成部４１と、顕著性判断部４２と、表示制御部４３と、表示光を出射する光源部４４と、変換量算出部４５と、対応点算出部４６と、補正量算出部４７と、を有する。目点位置検出装置６は、例えば運転者の顔を撮影するカメラなどを含み、公知の画像認識技術等により、運転者の目の位置（「目点位置」とも呼ぶ。）を検出し、検出した情報を光源ユニット４へ送信する。

【0026】

次に、光源ユニット４の各要素について説明する。

【0027】

表示画像生成部４１は、虚像Ｉｖとして運転者に視認させる１又は複数の表示画像Ｉａを生成し、表示制御部４３へ供給する。表示画像生成部４１は、例えば、図示しない地図データや、図示しないＧＰＳ及び車速センサ等の種々の自立測位装置の出力信号に基づき、進行方向を示す矢印、次に通過する右左折地点の情報、車速などをそれぞれ表す１又は複数の表示画像Ｉａを生成する。表示画像Ｉａは、地図やナビゲーションに関する情報を示すものに限定されず、楽曲に関連する情報を示すものであってもよいし、ＳＮＳに関連する情報を示すものであってもよい。

【0028】

顕著性判断部４２は、カメラ５から供給された前方画像Ｉｂを対象にした顕著性マップを算出する。ここで、顕著性とは、人の視覚的特性に基づく注視のしやすさを示す指標であり、顕著性マップは、画像の各画素について顕著性を算出したものを指す。顕著性マップの算出方法は、種々の公知の算出方法が存在するが、本実施例では、一例として、顕著性判断部４２は、
（ア）特徴抽出によるガウシアンピラミッドの生成、
（イ）ガウシアンピラミッドの差分処理による特徴マップの生成、
（ウ）特徴マップの正規化及び重ね合わせによる顕著性マップの生成
の３ステップにより顕著性マップを生成するものとする。以後では、各画素の顕著性は、最も顕著性が低い場合に「０」をとり、最も顕著性が高い場合に「１」をとるものとする。そして、顕著性判断部４２は、生成した顕著性マップの情報を、表示制御部４３へ供給する。

【0029】

表示制御部４３は、光源部４４を制御することで、表示画像生成部４１から供給された表示画像Ｉａを構成する表示光を光源部４４に出射させ、フロントウィンドウ２５を介して表示画像Ｉａを虚像Ｉｖとして運転者に視認させる。また、表示制御部４３は、対応点算出部４６から供給される情報に基づき、表示画像Ｉａのフロントウィンドウ２５上での表示領域と重なる前方風景の領域を示した前方画像Ｉｂの画素を認識する。そして、表示制御部４３は、顕著性判断部４２から供給される顕著性マップを参照し、表示画像Ｉａの各画素の輝度を、当該画素に対応する前方画像Ｉｂの各画素の顕著性に基づき決定する。具体的には、表示制御部４３は、顕著性が所定の閾値（例えば０．８）以上となる前方画像Ｉｂの画素に対応する表示画像Ｉａの画素の輝度を「０」に設定する。これにより、表示制御部４３は、顕著性が高い前方風景と重なる部分の表示画像Ｉａを透過させて、障害物などの運転者が注視すべき対象を、運転者に好適に視認させる。

【0030】

変換量算出部４５は、目点位置検出装置６が最初に検出した運転者の目の位置に基づき、表示画像Ｉａの表示領域となるフロントウィンドウ２５上の２次元座標系（「ＨＵＤ座標系」とも呼ぶ。）から、前方画像Ｉｂの２次元座標系（単に「前方画像座標系」とも呼ぶ。）へ変換するための情報を生成する。本実施例では、一例として、変換量算出部４５は、ＨＵＤ座標系から前方画像座標系に変換するための座標変換行列を算出する。この座標変換行列の算出方法については、［対応点算出処理の具体例］のセクションで詳しく説明する。

【0031】

対応点算出部４６は、変換量算出部４５から通知された座標変換行列に基づき、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の座標位置（単に「対応点」とも呼ぶ。）を示すマップを生成する。また、対応点算出部４６は、補正量算出部４７から各対応点の補正量の情報が供給された場合には、当該補正量により各対応点を補正する。そして、対応点算出部４６は、対応点のマップの情報を、表示制御部４３へ供給する。

【0032】

補正量算出部４７は、目点位置検出装置６が検出した目点位置が所定距離以上変化したと判断した場合に、前方画像座標系の各座標点に対応するＨＵＤ座標系の対応点を補正するための補正量を算出する。

【0033】

［処理フロー］
次に、本実施例において、光源ユニット４が実行する処理について、図３〜図５のフローチャートを参照して説明する。

【0034】

（１）処理概要
図３は、本実施例において光源ユニット４が実行する表示画像Ｉａの表示処理の概要を示すフローチャートである。光源ユニット４は、図３のフローチャートの処理を、例えば目点位置検出装置６が運転者の目点位置を検出したときに実行する。

【0035】

まず、光源ユニット４は、最初に目点位置検出装置６が検出した運転者の目点位置に基づき、前方画像座標系の各座標点に対応するＨＵＤ座標系の対応点の初期値を算出する（ステップＳ１０１）。具体的には、変換量算出部４５は、最初に目点位置検出装置６が検出した運転者の目点位置に基づき、ＨＵＤ座標系から前方画像座標系への座標変換行列を算出し、対応点算出部４６は、変換量算出部４５が算出した座標変換行列に基づき、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の各対応点を算出する。

【0036】

次に、光源ユニット４は、カメラ５が生成した前方画像Ｉｂを取得する（ステップＳ１０２）。そして、光源ユニット４の顕著性判断部４２は、取得した前方画像Ｉｂの各画素の顕著性を示す顕著性マップを算出する（ステップＳ１０３）。そして、光源ユニット４の表示制御部４３は、顕著性判断部４２が生成した顕著性マップに基づき、顕著性が高い前方画像Ｉｂの画素に対応する表示画像Ｉａの画素の輝度を低減させる輝度低減処理を実行する（ステップＳ１０４）。輝度低減処理については、図４を参照して後述する。そして、光源ユニット４の表示制御部４３は、輝度低減処理を実行した表示画像Ｉａを表示するための表示光を光源部４４に出射させることで、フロントウィンドウ２５を介して表示画像Ｉａを虚像Ｉｖとして表示させる（ステップＳ１０５）。

【0037】

そして、光源ユニット４は、ユーザ入力等に基づき、表示画像Ｉａの表示を終了すべきか否か判定する（ステップＳ１０６）。そして、光源ユニット４は、表示画像Ｉａの表示を終了すべきと判断した場合（ステップＳ１０６；Ｙｅｓ）、フローチャートの処理を終了する。一方、光源ユニット４は、表示画像Ｉａの表示を引き続き行うべきと判断した場合（ステップＳ１０６；Ｎｏ）、ステップＳ１０１で算出した対応点を補正するための対応点補正処理を実行する（ステップＳ１０７）。対応点補正処理については、図５を参照して後述する。

【0038】

（２）輝度低減処理
図４は、図３のステップＳ１０４で光源ユニット４の表示制御部４３が実行する輝度低減処理の手順を示すフローチャートである。

【0039】

まず、表示制御部４３は、表示画像Ｉａの各画素のＨＵＤ座標系上の表示位置に対応する前方画像Ｉｂの画素の顕著性を認識する（ステップＳ２０１）。具体的には、表示制御部４３は、対応点算出部４６が算出した対応点のマップを参照することで、表示画像Ｉａの各画素のＨＵＤ座標系上の表示位置に対応する前方画像Ｉｂの画素を特定し、特定した画素に対応する顕著性を、顕著性マップから抽出する。

【0040】

そして、表示制御部４３は、顕著性が閾値以上の表示位置となる表示画像Ｉａの画素が存在するか否か判定する（ステップＳ２０２）。そして、表示制御部４３は、顕著性が閾値以上の表示位置となる表示画像Ｉａの画素が存在する場合（ステップＳ２０２；Ｙｅｓ）、当該画素の輝度を「０」に設定する（ステップＳ２０３）。これにより、顕著性が高い前方風景と重なる部分の表示画像Ｉａを非表示にし、顕著性が高い前方風景の部分を運転者に確実に視認させる。

【0041】

一方、表示制御部４３は、顕著性が閾値以上の表示位置となる表示画像Ｉａの画素が存在しない場合（ステップＳ２０２；Ｎｏ）、注視すべき前方風景の部分と表示画像Ｉａの表示領域とが重ならないと判断し、フローチャートの処理を終了する。即ち、この場合、表示制御部４３は、通常の輝度により表示画像Ｉａを表示させる。

【0042】

（３）対応点補正処理
図５は、図３のステップＳ１０７で光源ユニット４の対応点算出部４６及び補正量算出部４７が実行する対応点補正処理のフローチャートを示す。

【0043】

まず、補正量算出部４７は、目点位置検出装置６が検出した目点位置の情報を受信することで、目点位置を認識する（ステップＳ３０１）。そして、補正量算出部４７は、ステップＳ３０１で認識した目点位置が、目点位置検出装置６が前回検出した目点位置から変動したか否か判定する（ステップＳ３０２）。そして、補正量算出部４７は、目点位置が変動したと判断した場合（ステップＳ３０２；Ｙｅｓ）、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の対応点の補正量を算出する（ステップＳ３０３）。そして、対応点算出部４６は、ステップＳ３０３で算出された補正量により、現在の対応点を補正することで、対応点を再算出する（ステップＳ３０４）。これにより、光源ユニット４は、運転者の目点位置が移動した場合であっても、表示画像Ｉａと重なる前方風景を表示した前方画像Ｉｂの画素を、的確に認識することができる。

【0044】

［対応点算出処理の具体例］
次に、目点位置に基づくＨＵＤ座標系の各座標位置に対応する前方画像座標系の対応点の算出方法について説明する。まず、変換量算出部４５が算出するＨＵＤ座標系から前方画像座標系への座標変換行列の算出方法について説明する。以後では、前提として、カメラ５と、目点位置検出装置６と、表示光が投影されるフロントウィンドウ２５との相対位置は、予め測定されており、変換量算出部４５は、これらの相対位置の情報を、予め記憶しているものとする。

【0045】

図６（Ａ）は、前方画像座標系と、カメラ５の位置を原点とした３次元座標（「カメラ座標系」とも呼ぶ。）との関係を示す図である。図６（Ａ）では、空間上の位置Ｐ１、Ｐ２が示されている。

【0046】

変換量算出部４５は、ステレオカメラであるカメラ５から受信する一組の前方画像Ｉｂに基づき、前方画像Ｉｂの各画素に対応するカメラ座標系の３次元座標を認識する。これにより、変換量算出部４５は、前方画像座標系からカメラ座標系へと変換するための変換行列を算出する。

【0047】

図６（Ａ）の例では、変換量算出部４５は、一組の前方画像Ｉｂに基づき、カメラ５が生成する一組の前方画像Ｉｂのいずれかを基準とする前方画像座標系での座標が（ｘｐ１、ｙｐ１）である位置Ｐ１ｐが、カメラ座標系での座標（Ｘｃ１、Ｙｃ１、Ｚｃ１）に対応すると認識する。また、変換量算出部４５は、一組の前方画像Ｉｂに基づき、前方画像座標系での座標が（ｘｐ２、ｙｐ２）である位置Ｐ２ｐが、カメラ座標系での座標（Ｘｃ２、Ｙｃ２、Ｚｃ２）に対応すると認識する。変換量算出部４５は、このような前方画像座標系からカメラ座標系への変換を行う変換行列を算出する。

【0048】

図６（Ｂ）は、カメラ座標系と、目点位置を原点とした３次元座標系（「目点位置座標系」とも呼ぶ。）との関係を示す図である。変換量算出部４５は、予め記憶したカメラ５と目点位置検出装置６との相対位置、及び、目点位置検出装置６が検出した目点位置に基づき、カメラ座標系と目点位置座標系との対応関係を認識し、カメラ座標系から目点位置座標系へ変更するための変換行列を算出する。図６（Ｂ）の例では、変換量算出部４５は、カメラ座標系での３次元座標（Ｘｃ１、Ｙｃ１、Ｚｃ１）に存在する位置Ｐ１の目点位置座標系での座標位置が（Ｘｅ１、Ｙｅ１、Ｚｅ１）であると認識し、カメラ座標系での３次元座標（Ｘｃ２、Ｙｃ２、Ｚｃ２）に存在する位置Ｐ２の目点位置座標系での座標位置が（Ｘｅ２、Ｙｅ２、Ｚｅ２）であると認識する。変換量算出部４５は、このようなカメラ座標系から目点位置座標系への変換を行う変換行列を算出する。

【0049】

図６（Ｃ）は、目点位置座標系とＨＵＤ座標系との関係を示す図である。変換量算出部４５は、予め記憶した目点位置検出装置６とフロントウィンドウ２５との相対位置関係に基づき、目点位置座標系におけるフロントウィンドウ２５（即ちＨＵＤ座標系）の位置を認識する。さらに、変換量算出部４５は、目点位置座標系の原点から目点位置座標系の任意の座標とを結ぶ線分を認識し、当該線分がＨＵＤ座標系と交差するＨＵＤ座標系上の座標を、上述の目点位置座標系の座標に対応するＨＵＤ座標系の座標として認識する。

【0050】

図６（Ｃ）の例において、目点位置座標系の座標位置が（Ｘｅ１、Ｙｅ１、Ｚｅ１）である位置Ｐ１に対応するＨＵＤ座標系の座標を求める場合、変換量算出部４５は、まず、位置Ｐ１と目点位置座標系の原点とを結ぶ線分「Ｌ１」を認識する。そして、変換量算出部４５は、線分Ｌ１とＨＵＤ座標系で交差するＨＵＤ座標系上の位置Ｐ１ｈの座標（ｘｈ１、ｙｈ１）を、目点位置座標系の座標位置（Ｘｅ１、Ｙｅ１、Ｚｅ１）に対応すると認識する。変換量算出部４５は、このような目点位置座標系の座標からＨＵＤ座標系の座標へと変換する変換行列を算出する。

【0051】

そして、変換量算出部４５は、上述した前方画像座標系からカメラ座標系へ変換する変換行列と、カメラ座標系から目点位置座標系へ変換する変換行列と、目点位置座標系の座標からＨＵＤ座標系の座標へ変換する変換行列とに基づき、ＨＵＤ座標系から前方画像座標系への変換行列を算出する。そして、対応点算出部４６は、変換量算出部４５が算出したＨＵＤ座標系から前方画像座標系への変換行列に基づき、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の対応点のマップを算出する。また、補正量算出部４７は、目点位置検出装置６が検出した目点位置に変化があったことを検出した場合、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の各対応点の補正量を算出する。この場合、補正量算出部４７は、例えば、図６（Ａ）〜図６（Ｃ）で説明した手順によりＨＵＤ座標系から前方画像座標系への変換行列を再算出することで、上述の補正量を決定してもよく、カメラ座標系での目点位置の３次元位置の変化量と、各対応点の補正量とのマップ等を予め記憶しておき、当該マップを参照して上述の補正量を決定してもよい。

【0052】

［具体例］
次に、図３のフローチャートに基づく表示画像Ｉａの表示処理の具体例について、図７〜図９を参照して説明する。

【0053】

図７（Ａ）は、図３のステップＳ１０２で取得される前方画像Ｉｂの一例である。図７（Ａ）に示す前方画像Ｉｂには、矢印や車線位置を定める白線などの路面標示５１〜５３が表示されている。

【0054】

図７（Ｂ）は、ステップＳ１０３で顕著性判断部４２が図７（Ａ）の前方画像Ｉｂから算出した顕著性マップを示す。図７（Ｂ）では、顕著性が高いほど、各画素の輝度を高く設定している。図７（Ｂ）の例では、路面標示５１〜５３を表示する画素の顕著性が特に高くなっている。

【0055】

図８（Ａ）は、フロントウィンドウ２５上での表示例を示す。図８（Ａ）の例では、光源ユニット４は、道路と重なるフロントウィンドウ２５の下部に、走行中の道路の名称を示す表示画像Ｉａ１と、現在位置に関する表示である表示画像Ｉａ２を表示すると共に、上空と重なるフロントウィンドウ２５の上部に、次の案内地点での進行方向を示す表示画像Ｉａ３を表示している。また、見やすさのため、図８（Ａ）の前方風景に対してエッジ抽出を行って二値化した画像に表示画像Ｉａ１〜Ｉａ３を重ねた表示例を、図８（Ｂ）に示す。

【0056】

図８の例では、光源ユニット４は、表示画像Ｉａ１について、路面標示５１、５２と重なる部分の輝度を０に設定している。これにより、路面標示５１、５２の全体を運転者が視認できるように表示画像Ｉａ１の一部が透過されている。即ち、この場合、光源ユニット４は、図４の輝度低減処理のステップＳ２０２で、路面標示５１、５２と重なる表示画像Ｉａ１の画素に対応する顕著性が閾値以上であると判断し、ステップＳ２０３に基づき、これらの画素の輝度を「０」に設定している。同様に、光源ユニット４は、表示画像Ｉａ２について、路面標示５３と重なる部分の輝度を０に設定することで、路面標示５３の全体を運転者が視認できるように表示画像Ｉａ２の一部を透過表示している。一方、光源ユニット４は、表示画像Ｉａ３については、閾値以上となる顕著性に対応する画素が存在しないと判断し、輝度調整を行うことなく表示させている。

【0057】

図９（Ａ）、（Ｂ）は、仮に図４の輝度低減処理を実行しなかった場合の比較例に係るフロントウィンドウ２５上での表示例を示す。なお、図９（Ｂ）では、図８（Ｂ）と同様に、二値化した前方風景に表示画像Ｉａ１〜Ｉａ３を重ねている。

【0058】

図９の例では、表示画像Ｉａ１、Ｉａ２の全体が表示されているため、表示画像Ｉａ１、Ｉａ２に路面標示５１、５２の一部が遮蔽されてしまい、路面標示５１、５２が見えにくくなっている。このように、比較例では、運転者が注視すべき前方風景が表示画像Ｉａにより遮蔽されてしまい、運転者が注視すべき前方風景に対する視認性が十分に確保できない場合がある。

【0059】

以上を勘案し、本実施例では、光源ユニット４は、前方画像Ｉｂから算出した顕著性マップに基づき、人の視線が向きやすい部分のみに限定して表示画像Ｉａの表示を制限する。これにより、表示画像Ｉａを透過させる部分を最小限に抑制しつつ、運転者が注視すべき前方風景の対象物を、好適に運転者に視認させることができる。

【0060】

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

【0061】

（変形例１）
表示制御部４３は、図４のステップＳ２０３で設定する輝度を、０より大きい所定値としてもよい。この場合、表示制御部４３は、顕著性が閾値以上の表示位置となる表示画像Ｉａの画素の輝度を、当該画素に重なる前方風景を運転者が視認できる値まで低下させればよい。この場合、輝度を低下させる処理は、ＲＧＢ空間における各色の度数を均一に変化させる処理に限定されず、ガンマ補正値を変更するなどの最終的な表示輝度を変更する種々の処理であってもよい。

【0062】

（変形例２）
図４の輝度低減処理では、表示制御部４３は、顕著性が閾値以上の表示位置となる表示画像Ｉａの画素の輝度を低減させた。しかし、本発明が適用可能な方法は、これに限定されない。以後では、輝度低減処理の他の具体例（第１具体例〜第３具体例）について説明する。

【0063】

第１具体例では、表示制御部４３は、顕著性が高い前方画像Ｉｂの画素に対応する表示画像Ｉａの画素ほど、段階的又は連続的に、輝度を低く設定する。

【0064】

図１０は、第１具体例における輝度低減処理のフローチャートである。まず、表示制御部４３は、図４のステップＳ２０１と同様に、表示画像Ｉａの各画素のＨＵＤ座標系上の表示位置に対応する前方画像Ｉｂの画素の顕著性を認識する（ステップＳ４０１）。そして、表示制御部４３は、ステップＳ２０１で認識した顕著性が高い表示画像Ｉａの画素ほど、段階的又は連続的に、輝度を低く設定する（ステップＳ４０２）。例えば、この場合、表示制御部４３は、顕著性の値ごとに設定すべき輝度を示したマップ又は顕著性から設定すべき輝度を算出するための式を予め記憶しておき、当該マップ又は式を参照して、ステップＳ４０１で認識した顕著性に基づき、表示画像Ｉａの各画素の輝度を決定する。第１具体例では、光源ユニット４は、運転者が注意を惹きやすい前方風景に重なる表示画像Ｉａの輝度を、注意の惹きやすさの度合いに応じて低減させることができる。

【0065】

第２具体例では、表示制御部４３は、顕著性が極大値となる前方画像Ｉｂの画素に対応する表示画像Ｉａの所定画素の周辺にある画素の明るさを、当該所定画素との距離が短いほど低く設定する。即ち、表示制御部４３は、顕著性が極大値となる前方画像Ｉｂの画素に対応する表示画像Ｉａの画素から離れた画素ほど、輝度を高くする。

【0066】

図１１は、第２具体例における輝度低減処理のフローチャートである。このフローチャートの処理では、表示制御部４３は、一例として、顕著性が所定値（例えば０．９）以上となる画素を、顕著性が極大値となる画素とみなしている。

【0067】

まず、表示制御部４３は、図４のステップＳ２０１と同様に、表示画像Ｉａの各画素のＨＵＤ座標系上の表示位置に対応する前方画像Ｉｂの画素の顕著性を認識する（ステップＳ５０１）。そして、表示制御部４３は、顕著性が所定値以上の表示位置となる表示画像Ｉａの画素が存在する場合（ステップＳ５０２；Ｙｅｓ）、当該画素を顕著性が極大値となる画素であると認識する。そして、この場合、表示制御部４３は、顕著性が極大値となる画素の輝度を最小値（例えば０）に設定し（ステップＳ５０３）、輝度が最小値に設定された画素との距離に基づき、当該画素から所定距離以内にある周辺画素の輝度を設定する（ステップＳ５０４）。上述の所定距離は、例えば実験等に基づき予め設定される。例えば、表示制御部４３は、輝度が最小値に設定された画素から離れるほど、徐々に輝度が高く設定されるように、輝度が最小値に設定された画素の周辺画素の輝度を決定する。

【0068】

第３具体例では、表示制御部４３は、表示画像Ｉａの各々の表示位置に対応する前方画像Ｉｂの画素の顕著性に基づき、表示画像Ｉａごとに画素の輝度を決定する。

【0069】

図１２は、第３具体例における輝度低減処理のフローチャートである。まず、表示制御部４３は、個々の表示画像Ｉａごとに、表示画像Ｉａの表示位置に対応する前方画像Ｉｂの画素の顕著性の総和を算出する（ステップＳ６０１）。そして、表示制御部４３は、表示画像Ｉａごとに、ステップＳ４０１で算出した総和と、当該表示画像Ｉａを構成する画素数とに基づき、当該表示画像Ｉａの輝度を決定する（ステップＳ６０２）。例えば、表示制御部４３は、ステップＳ４０１で算出した総和を、当該表示画像Ｉａを構成する画素数で割ることで、各表示画像Ｉａの画素ごとの顕著性の平均値を算出する。そして、表示制御部４３は、当該顕著性の平均値が高い表示画像Ｉａほど、輝度を低く設定する。この場合、例えば、表示制御部４３は、顕著性の値ごとに、設定すべき輝度を示したマップ又は式を予め記憶しておき、当該マップを参照して、表示画像Ｉａごとに輝度を決定する。なお、表示制御部４３は、実施例と同様、顕著性の平均値が所定の閾値よりも高い表示画像Ｉａの輝度を０に設定してもよい。この場合、顕著性の平均値が所定の閾値よりも高い表示画像Ｉａは非表示となる。

【0070】

図１３は、第３具体例において、運転者がフロントウィンドウ２５を介して視認する風景を示す。なお、図１３では、前方風景に重ねて表示画像Ｉａ１〜Ｉａ３が表示されている。なお、図１３では、見やすさのため、前方風景に対し、エッジ抽出を行い二値化している。

【0071】

この例では、表示画像Ｉａ１、Ｉａ２は、顕著性が高い路面標示５１、５２と一部が重なることから、表示画像Ｉａ１、Ｉａ２に対応する顕著性の平均値は、表示画像Ｉａ３に対応する顕著性の平均値よりも高くなる。従って、図１３の例では、表示制御部４３は、表示画像Ｉａ１、Ｉａ２の全体の輝度を、表示画像Ｉａ３の全体の輝度よりも低く設定している。これにより、図１３の例では、表示画像Ｉａ１、Ｉａ２が相対的に薄く表示されるため、運転者は、表示画像Ｉａ１、Ｉａ２に重なる道路標識５１〜５３を視認することができる。よって、表示制御部４３は、運転者が視認すべき道路標識５１〜５３を好適に視認させることができる。

【0072】

（変形例３）
表示制御部４３は、顕著性が高い前方画像Ｉｂの画素が示す風景と表示位置が重なる表示画像Ｉａの画素について、ＲＧＢ空間におけるＲＧＢを均一に下げることで輝度を下げる態様の他、他の種々の方法により、対象となる表示画像Ｉａの画素の明るさを低下させてもよい。

【0073】

例えば、表示制御部４３は、ＨＬＳ空間における輝度（Ｌｉｇｈｔｎｅｓｓ）を下げることにより、又はＨＳＶ空間における明度（Ｖａｌｕｅ）を下げることにより、対象となる表示画像Ｉａの画素の明るさを低下させてもよい。その他、表示制御部４３は、上述の各色空間と変換可能な色空間における少なくとも１つの指標の度数を下げることにより、対象となる表示画像Ｉａの画素の明るさを低下させてもよい。

【0074】

（変形例４）
図２の構成例に代えて、光源ユニット４は、変換量算出部４５、対応点算出部４６、及び補正量算出部４７を有しなくともよい。

【0075】

図１４は、本変形例に係る光源ユニット４の構成例を示す。図１４の例では、光源ユニット４は、前方画像座標系の各座標点に対応するＨＵＤ座標系の対応点を算出する処理を行わない。例えば、この場合、光源ユニット４は、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の対応点のマップを予め記憶しておき、当該マップを参照してＨＵＤ座標系の各座標位置に対応する前方画像座標系の対応点を認識してもよい。他の例では、カメラ５が運転者の目点位置の近傍に設置される場合、光源ユニット４は、前方画像座標系とＨＵＤ座標系との座標のずれを無視できると判断し、前方画像座標系とＨＵＤ座標系とを同一座標系と見なし、座標変換処理を行わなくともよい。

【0076】

（変形例５）
図１のヘッドアップディスプレイは、フロントウィンドウ２５に表示光を投影することで、運転者に虚像Ｉｖを視認させた。これに代えて、ヘッドアップディスプレイは、前方風景と運転者との間に設置された透過性を有するコンバイナを有し、コンバイナを介して運転者に虚像Ｉｖを視認させてもよい。この場合、光源ユニット４は、表示光をコンバイナに投射し、コンバイナの反射光を運転者の目に到達させることで、運転者に虚像Ｉｖを視認させる。

【0077】

（変形例６）
本発明は、ヘッドアップディスプレイへの適用に限定されず、カメラ５が撮影した前方画像Ｉｂに重ねて表示画像Ｉａを表示する装置へ適用されてもよい。

【0078】

図１５は、本変形例におけるナビゲーション装置４Ａの構成を示す。図１５に示すナビゲーション装置４Ａは、光源部４４に代えてディスプレイ４４を有し、表示制御部４３は、カメラ５が生成した前方画像Ｉｂに重ねて表示画像Ｉａをディスプレイ４４Ａに表示させる。この場合、表示制御部４３は、例えば、図４の輝度低減処理のステップＳ２０１では、前方画像座標系を、表示画像Ｉａの表示座標系と同一とみなし、表示画像Ｉａの表示位置に対応する顕著性を顕著性マップから抽出する。そして、表示制御部４３は、ステップＳ２０３において、表示画像Ｉａの各画素に対応する顕著性に基づき、表示画像Ｉａの各画素の輝度を適宜調整する。

【0079】

この態様によっても、ナビゲーション装置４Ａは、実施例のヘッドアップディスプレイシステムと同様に、運転者が注視すべき前方風景を、ディスプレイ４４Ａ上で好適に運転者に視認させることができる。

【0080】

（変形例７）
カメラ５は、ステレオカメラでなくともよい。この場合、光源ユニット４は、図示しないレーダ等の前方風景の対象物との距離を計測するセンサと電気的に接続し、当該センサの検出信号に基づき、前方画像座標系の各画素に対応するカメラ座標系での座標を認識する。この態様によっても、光源ユニット４は、好適に、ＨＵＤ座標系から前方画像座標系への変換行列を算出し、ＨＵＤ座標系の各座標位置に対応する前方画像座標系の対応点を認識することができる。

【符号の説明】

【0081】

４ 光源ユニット
５ カメラ
６ 目点位置検出装置
２５ フロントウィンドウ
２８ ボンネット
２９ ダッシュボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】