特開 2024-143117 表示システム及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143117

(43)【公開日】2024-10-11

(54)【発明の名称】表示システム及び制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241003BHJP

   G08G 1/16 20060101ALI20241003BHJP

   H04N 13/363 20180101ALI20241003BHJP

   H04N 13/346 20180101ALI20241003BHJP

   B60K 35/23 20240101ALI20241003BHJP

【ＦＩ】

H04N7/18 J

G08G1/16 C

H04N7/18 U

H04N7/18 K

H04N13/363

H04N13/346

B60K35/00 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023055624

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】辻 勝長

(72)【発明者】

【氏名】森 俊也

【テーマコード（参考）】

3D344

5C054

5H181

【Ｆターム（参考）】

3D344AA26

3D344AA27

3D344AA30

3D344AC25

5C054CA04

5C054CC02

5C054CE00

5C054FA00

5C054FC12

5C054FC13

5C054FC16

5C054FE09

5C054FE14

5C054FE28

5C054HA30

5H181AA01

5H181BB13

5H181CC04

5H181FF23

5H181FF27

5H181FF33

5H181FF37

5H181LL01

5H181LL02

(57)【要約】

【課題】移動体の最終姿勢角に応じて、表示画像の表示位置を精度良く制御することができる表示システムを提供する。
【解決手段】表示システム２は、表示画像１２を示す光を車両４のフロントガラス１４に投射することにより、フロントガラス１４越しに表示画像１２を虚像として表示させる表示部６と、複数の周辺画像に基づいて、複数のカメラにそれぞれ対応する車両４の複数の仮姿勢角を推定する第１～第４の仮姿勢角推定部４２，４４，４６，４８と、複数のカメラにそれぞれ対応する複数の処理を決定する重み係数決定部５２と、複数の仮姿勢角にそれぞれ複数の処理を施すことにより、車両４の最終姿勢角を推定する最終姿勢角推定部５４と、推定された最終姿勢角に応じて、フロントガラス１４に対する表示画像１２の表示位置を変更する表示位置制御部５６とを備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

移動体に搭載されるヘッドアップディスプレイに用いられる表示システムであって、
表示画像を示す光を前記移動体の表示媒体に投射することにより、前記表示媒体越しに前記表示画像を虚像として表示させる表示部と、
前記移動体に搭載された複数の撮像部によりそれぞれ互いに異なる複数の方向から前記移動体の周辺を撮像した複数の周辺画像を取得する取得部と、
前記複数の周辺画像に基づいて、前記複数の撮像部にそれぞれ対応する前記移動体の複数の仮姿勢角を推定する仮姿勢角推定部と、
前記複数の撮像部にそれぞれ対応する複数の処理を決定する決定部と、
前記複数の仮姿勢角にそれぞれ前記複数の処理を施すことにより、前記移動体の最終姿勢角を推定する最終姿勢角推定部と、
推定された前記最終姿勢角に応じて、前記表示媒体に対する前記虚像の表示位置を変更する表示位置制御部と、を備える
表示システム。

【請求項2】

前記決定部は、前記複数の処理として、前記複数の撮像部にそれぞれ対応する複数の重み係数を決定し、
前記最終姿勢角推定部は、前記複数の仮姿勢角にそれぞれ前記複数の重み係数を乗じて加算する積和演算により、前記最終姿勢角を推定する
請求項１に記載の表示システム。

【請求項3】

前記決定部は、前記移動体に関する移動体情報に基づいて、前記複数の重み係数を決定する
請求項２に記載の表示システム。

【請求項4】

前記複数の撮像部のうち特定の撮像部は、前記移動体の移動方向と交差する方向である側方から前記移動体の周辺を撮像し、
前記移動体情報は、前記移動体の移動速度を示す速度情報であり、
前記決定部は、前記速度情報に基づいて、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を、前記移動体の移動速度が大きいほど当該特定の重み係数が小さくなるように決定する
請求項３に記載の表示システム。

【請求項5】

前記移動体情報は、前記複数の撮像部のうち特定の撮像部の撮像方向において前記移動体の周辺に存在する１以上の周辺移動体の数を示す周辺移動体数情報であり、
前記決定部は、前記周辺移動体数情報に基づいて、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を、前記周辺移動体の数が多いほど当該特定の重み係数が小さくなるように決定する
請求項３に記載の表示システム。

【請求項6】

前記決定部は、前記複数の周辺画像に基づいて、前記複数の重み係数をそれぞれ決定する
請求項２に記載の表示システム。

【請求項7】

前記複数の撮像部のうち特定の撮像部は、特定の方向から前記移動体の周辺を撮像し、
前記決定部は、前記特定の撮像部により撮像された特定の周辺画像における消失点の位置のばらつきが閾値以上である場合には、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を０とする
請求項６に記載の表示システム。

【請求項8】

前記複数の撮像部のうち特定の撮像部は、特定の方向から前記移動体の周辺を撮像し、
前記決定部は、前記特定の撮像部により撮像された特定の周辺画像の輝度又はコントラスト比が閾値以下である場合には、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を０とする
請求項６に記載の表示システム。

【請求項9】

移動体に搭載されるヘッドアップディスプレイに用いられる表示システムにおける制御方法であって、
表示画像を示す光を前記移動体の表示媒体に投射することにより、前記表示媒体越しに前記表示画像を虚像として表示させるステップと、
前記移動体に搭載された複数の撮像部によりそれぞれ互いに異なる複数の方向から前記移動体の周辺を撮像した複数の周辺画像を取得するステップと、
前記複数の周辺画像に基づいて、前記複数の撮像部にそれぞれ対応する前記移動体の複数の仮姿勢角を推定するステップと、
前記複数の撮像部にそれぞれ対応する複数の処理を決定するステップと、
前記複数の仮姿勢角にそれぞれ前記複数の処理を施すことにより、前記移動体の最終姿勢角を推定するステップと、
推定された前記最終姿勢角に応じて、前記表示媒体に対する前記虚像の表示位置を変更するステップと、を含む
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示システム及び制御方法に関する。

【背景技術】

【0002】

車両に搭載された複数のカメラでそれぞれ異なる複数の方向から車両の周辺を撮像し、撮像した複数の周辺画像を、車両を上方から見下ろした俯瞰画像に視点変換して車両内のディスプレイに表示する技術が知られている。

【0003】

この技術では、複数のカメラによりそれぞれ撮像された複数の周辺画像の各々から特徴点を抽出し、抽出した複数の特徴点の変化に基づいて、車両の姿勢が変化したかを判定する姿勢変化判定装置が用いられている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６１４０４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来の姿勢変化判定装置では、車両の走行状態又は車両の周辺環境等によっては、上述した複数の特徴点の変化を検出し難くなるため、車両の姿勢を精度良く判定することができないという課題が生じる。

【0006】

そこで、本開示は、移動体の姿勢角に応じて、表示画像の表示位置を精度良く制御することができる表示システム及び制御方法を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係る表示システムは、移動体に搭載されるヘッドアップディスプレイに用いられる表示システムであって、表示画像を示す光を前記移動体の表示媒体に投射することにより、前記表示媒体越しに前記表示画像を虚像として表示させる表示部と、前記移動体に搭載された複数の撮像部によりそれぞれ互いに異なる複数の方向から前記移動体の周辺を撮像した複数の周辺画像を取得する取得部と、前記複数の周辺画像に基づいて、前記複数の撮像部にそれぞれ対応する前記移動体の複数の仮姿勢角を推定する仮姿勢角推定部と、前記複数の撮像部にそれぞれ対応する複数の処理を決定する決定部と、前記複数の仮姿勢角にそれぞれ前記複数の処理を施すことにより、前記移動体の最終姿勢角を推定する最終姿勢角推定部と、推定された前記最終姿勢角に応じて、前記表示媒体に対する前記虚像の表示位置を変更する表示位置制御部と、を備える。

【0008】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本開示の一態様に係る表示システム等によれば、移動体の姿勢角に応じて、表示画像の表示位置を精度良く制御することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る表示システムを搭載した車両を示す図である。

【図2】実施の形態に係る表示システムにより表示画像が表示されるフロントガラスの表示領域を示す図である。

【図3】実施の形態に係る表示システムの構成を示す概略図である。

【図4】実施の形態に係る表示画像の一例を示す図である。

【図5】実施の形態に係る表示システムのコントローラの機能構成を示すブロック図である。

【図6】実施の形態に係る前方画像、右側方画像、左側方画像及び後方画像の一例を示す概略図である。

【図7】実施の形態に係る表示システムのコントローラの動作の流れを示すフローチャートである。

【図8】図７のフローチャートのステップＳ１０９の処理を説明するための図である。

【図9】図７のフローチャートのステップＳ１０７の処理を具体的に示すフローチャートである。

【発明を実施するための形態】

【0011】

本開示の第１の態様に係る表示システムは、移動体に搭載されるヘッドアップディスプレイに用いられる表示システムであって、表示画像を示す光を前記移動体の表示媒体に投射することにより、前記表示媒体越しに前記表示画像を虚像として表示させる表示部と、前記移動体に搭載された複数の撮像部によりそれぞれ互いに異なる複数の方向から前記移動体の周辺を撮像した複数の周辺画像を取得する取得部と、前記複数の周辺画像に基づいて、前記複数の撮像部にそれぞれ対応する前記移動体の複数の仮姿勢角を推定する仮姿勢角推定部と、前記複数の撮像部にそれぞれ対応する複数の処理を決定する決定部と、前記複数の仮姿勢角にそれぞれ前記複数の処理を施すことにより、前記移動体の最終姿勢角を推定する最終姿勢角推定部と、推定された前記最終姿勢角に応じて、前記表示媒体に対する前記虚像の表示位置を変更する表示位置制御部と、を備える。

【0012】

本態様によれば、仮姿勢角推定部は、複数の周辺画像に基づいて、複数の撮像部にそれぞれ対応する移動体の複数の仮姿勢角を推定する。最終姿勢角推定部は、複数の仮姿勢角にそれぞれ複数の処理を施すことにより、移動体の最終姿勢角を推定する。これにより、例えば移動体の移動状態又は移動体の周辺環境等を考慮して、移動体の最終姿勢角を精度良く推定することができる。その結果、移動体の最終姿勢角に応じて、表示画像の表示位置を精度良く制御することができる。

【0013】

例えば、第２の態様に係る表示システムでは、第１の態様において、前記決定部は、前記複数の処理として、前記複数の撮像部にそれぞれ対応する複数の重み係数を決定し、前記最終姿勢角推定部は、前記複数の仮姿勢角にそれぞれ前記複数の重み係数を乗じて加算する積和演算により、前記最終姿勢角を推定するように構成してもよい。

【0014】

本態様によれば、決定部は、例えば移動体の移動状態又は移動体の周辺環境等を考慮して、複数の撮像部にそれぞれ対応する複数の重み係数を決定することができる。その結果、最終姿勢角推定部は、複数の仮姿勢角にそれぞれ複数の重み係数を乗じて加算する積和演算により、例えば移動体の移動状態又は移動体の周辺環境等を考慮して、最終姿勢角を精度良く推定することができる。

【0015】

例えば、第３の態様に係る表示システムでは、第２の態様において、前記決定部は、前記移動体に関する移動体情報に基づいて、前記複数の重み係数を決定するように構成してもよい。

【0016】

本態様によれば、決定部は、移動体に関する移動体情報を考慮して、複数の重み係数を決定することができる。

【0017】

例えば、第４の態様に係る表示システムでは、第３の態様において、前記複数の撮像部のうち特定の撮像部は、前記移動体の移動方向と交差する方向である側方から前記移動体の周辺を撮像し、前記移動体情報は、前記移動体の移動速度を示す速度情報であり、前記決定部は、前記速度情報に基づいて、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を、前記移動体の移動速度が大きいほど当該特定の重み係数が小さくなるように決定するように構成してもよい。

【0018】

本態様によれば、移動体の移動速度が比較的大きい場合には、例えば特定の撮像部により側方から撮像された特定の周辺画像の特徴点を追跡するのが難しくなるため、当該特定の周辺画像に基づいて推定された特定の仮姿勢角の精度は比較的低くなる。そのため、決定部は、速度情報に基づいて、特定の撮像部に対応する特定の重み係数（すなわち、特定の仮姿勢角に乗じる特定の重み係数）を、移動体の移動速度が大きいほど当該特定の重み係数が小さくなるように決定することにより、最終姿勢角を精度良く推定することができる。

【0019】

例えば、第５の態様に係る表示システムでは、第３の態様において、前記移動体情報は、前記複数の撮像部のうち特定の撮像部の撮像方向において前記移動体の周辺に存在する１以上の周辺移動体の数を示す周辺移動体数情報であり、前記決定部は、前記周辺移動体数情報に基づいて、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を、前記周辺移動体の数が多いほど当該特定の重み係数が小さくなるように決定するように構成してもよい。

【0020】

本態様によれば、周辺移動体の数が比較的多い場合には、例えば特定の撮像部により撮像された特定の周辺画像の特徴点の数が比較的少なくなるため、当該特定の周辺画像に基づいて推定された特定の仮姿勢角の精度は比較的低くなる。そのため、決定部は、周辺移動体数情報に基づいて、特定の撮像部に対応する特定の重み係数（すなわち、特定の仮姿勢角に乗じる特定の重み係数）を、周辺移動体の数が多いほど当該特定の重み係数が小さくなるように決定することにより、最終姿勢角を精度良く推定することができる。

【0021】

例えば、第６の態様に係る表示システムでは、第２の態様において、前記決定部は、前記複数の周辺画像に基づいて、前記複数の重み係数をそれぞれ決定するように構成してもよい。

【0022】

本態様によれば、決定部は、複数の周辺画像を考慮して、複数の重み係数をそれぞれ決定することができる。

【0023】

例えば、第７の態様に係る表示システムでは、第６の態様において、前記複数の撮像部のうち特定の撮像部は、特定の方向から前記移動体の周辺を撮像し、前記決定部は、前記特定の撮像部により撮像された特定の周辺画像における消失点の位置のばらつきが閾値以上である場合には、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を０とするように構成してもよい。

【0024】

本態様によれば、特定の撮像部により撮像された特定の周辺画像における消失点の位置のばらつきが閾値以上である場合には、当該特定の周辺画像に基づいて推定された特定の仮姿勢角の精度は比較的低くなる。そのため、決定部は、特定の周辺画像における消失点の位置のばらつきが閾値以上である場合に、特定の撮像部に対応する特定の重み係数（す
なわち、特定の仮姿勢角に乗じる特定の重み係数）を０とすることにより、最終姿勢角を精度良く推定することができる。

【0025】

例えば、第８の態様に係る表示システムでは、第６の態様において、前記複数の撮像部のうち特定の撮像部は、特定の方向から前記移動体の周辺を撮像し、前記決定部は、前記特定の撮像部により撮像された特定の周辺画像の輝度又はコントラスト比が閾値以下である場合には、前記複数の重み係数のうち前記特定の撮像部に対応する特定の重み係数を０とするように構成してもよい。

【0026】

本態様によれば、特定の撮像部により撮像された特定の周辺画像が暗い場合、又は、特定の周辺画像全体の輝度が均一である場合には、例えば特定の周辺画像の特徴点を追跡するのが難しくなるため、当該特定の周辺画像に基づいて推定された特定の仮姿勢角の精度は比較的低くなる。そのため、決定部は、特定の周辺画像の輝度又はコントラスト比が閾値以下である場合に、特定の撮像部に対応する特定の重み係数（すなわち、特定の仮姿勢角に乗じる特定の重み係数）を０とすることにより、最終姿勢角を精度良く推定することができる。

【0027】

また、本開示の第９の態様に係る制御方法は、移動体に搭載されるヘッドアップディスプレイに用いられる表示システムにおける制御方法であって、表示画像を示す光を前記移動体の表示媒体に投射することにより、前記表示媒体越しに前記表示画像を虚像として表示させるステップと、前記移動体に搭載された複数の撮像部によりそれぞれ互いに異なる複数の方向から前記移動体の周辺を撮像した複数の周辺画像を取得するステップと、前記複数の周辺画像に基づいて、前記複数の撮像部にそれぞれ対応する前記移動体の複数の仮姿勢角を推定するステップと、前記複数の撮像部にそれぞれ対応する複数の処理を決定するステップと、前記複数の仮姿勢角にそれぞれ前記複数の処理を施すことにより、前記移動体の最終姿勢角を推定するステップと、推定された前記最終姿勢角に応じて、前記表示媒体に対する前記虚像の表示位置を変更するステップと、を含む。

【0028】

本態様によれば、上述した第１の態様に係る表示システムと同様に、移動体の最終姿勢角に応じて、表示画像の表示位置を精度良く制御することができる。

【0029】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0030】

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0031】

（実施の形態）
［１．表示システムの概要］
まず、図１～図４を参照しながら、実施の形態に係る表示システム２の概要について説明する。図１は、実施の形態に係る表示システム２を搭載した車両４を示す図である。図２は、実施の形態に係る表示システム２により表示画像１２が表示されるフロントガラス１４の表示領域１６を示す図である。図３は、実施の形態に係る表示システム２の構成を示す概略図である。図４は、実施の形態に係る表示画像１２の一例を示す図である。

【0032】

図１及び図２に示すように、実施の形態に係る表示システム２は、自動車等の車両４（移動体の一例）に搭載されている。図３に示すように、表示システム２は、表示部６と、コントローラ８とを備えている。

【0033】

表示部６は、ヘッドアップディスプレイ（ＨＵＤ）であり、車両４のダッシュボード１０の内部に配置されている。図１～図３に示すように、表示部６では、虚像である表示画像１２を表示するための表示光を、例えば車両４のフロントガラス１４（表示媒体の一例）における運転席寄りの表示領域１６に向けて投射することにより、表示光をフロントガラス１４の表示領域１６で運転者１８に向けて反射させる。これにより、運転者１８は、フロントガラス１４の表示領域１６越しに、虚像である表示画像１２をフロントガラス１４の前方の景色上に重ね合わせて見ることができる。すなわち、運転者１８にとっては、表示画像１２は、あたかもフロントガラス１４の前方の空間２０に表示されているかのように見える。

【0034】

図４に示すように、表示画像１２は、例えば車両４が走行している車線２２上において、車両４の前方に存在する障害物２４を強調表示するための矢印を示す画像である。表示画像１２は、当該表示画像１２により示される矢印の先端部が障害物２４の右隣りに位置するように、フロントガラス１４の表示領域１６に表示される。説明の都合上、図２では、表示画像１２の図示を省略してある。なお、表示画像１２は、上述した矢印を示す画像以外に、例えば前方車両又は歩行者を強調表示する画像や、車両４の進行方向を指し示す画像等、フロントガラス１４の前方の景色上に重ね合わせて表示できる他の画像であってもよい。

【0035】

図３に示すように、表示部６は、メインハウジング２６と、表示ユニット２８と、第１のミラー３０と、第２のミラー３２とを備えている。

【0036】

メインハウジング２６は、箱形状に形成されており、例えばアルミニウム等の金属で形成されている。メインハウジング２６は、車両４のダッシュボード１０の内部に配置されている。メインハウジング２６の内部には、表示ユニット２８、第１のミラー３０及び第２のミラー３２が配置されている。メインハウジング２６の上面は、フロントガラス１４に対向するように配置されている。メインハウジング２６の上面には、開口部３４が形成されている。この開口部３４は、例えば透明な樹脂で形成された板状のカバー部材３６で覆われている。

【0037】

表示ユニット２８は、表示画像１２を表示するための表示光を、第１のミラー３０及び第２のミラー３２に向けて投射するためのＰＧＵ（Ｐｉｃｔｕｒｅ Ｇｅｎｅｒａｔｉｏｎ Ｕｎｉｔ）である。表示ユニット２８は、表示パネル３８と、バックライト４０とを有している。表示パネル３８は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）であり、前面の表示面に表示画像１２の元になる画像を表示する。バックライト４０は、表示パネル３８の背面に向けて光を照射する。

【0038】

第１のミラー３０は、例えば凸面ミラーであり、表示ユニット２８からの表示光を第２のミラー３２に向けて反射する。第２のミラー３２は、例えば凹面ミラーであり、第１のミラー３０からの表示光をフロントガラス１４の表示領域１６に向けて反射する。第２のミラー３２からの表示光は、カバー部材３６を透過してフロントガラス１４の表示領域１６で反射した後に、運転者１８の目に入射する。

【0039】

コントローラ８は、車両４の最終姿勢角θを推定し、推定した最終姿勢角θに応じて、フロントガラス１４の表示領域１６における表示画像１２の表示位置を変更（補正）する。なお、車両４の最終姿勢角θとは、水平面に対する車両４のピッチング角である。コントローラ８の機能構成については、後述する。

【0040】

［２．コントローラの機能構成］
次に、図５及び図６を参照しながら、コントローラ８の機能構成について説明する。図５は、実施の形態に係る表示システム２のコントローラ８の機能構成を示すブロック図である。図６は、実施の形態に係る前方画像６０、右側方画像６８、左側方画像７４及び後方画像８０の一例を示す概略図である。

【0041】

なお、本明細書において、「前」、「後」、「左」及び「右」はそれぞれ、車両４の運転席に着座している運転者１８から見て前、後、左及び右を意味する。

【0042】

図５に示すように、コントローラ８は、機能構成として、第１の仮姿勢角推定部４２（取得部及び仮姿勢角推定部の一例）と、第２の仮姿勢角推定部４４（取得部及び仮姿勢角推定部の一例）と、第３の仮姿勢角推定部４６（取得部及び仮姿勢角推定部の一例）と、第４の仮姿勢角推定部４８（取得部及び仮姿勢角推定部の一例）と、車両情報取得部５０と、重み係数決定部５２（決定部の一例）と、最終姿勢角推定部５４と、表示位置制御部５６とを備えている。

【0043】

第１の仮姿勢角推定部４２は、車両４に搭載された前方カメラ５８（撮像部の一例）により撮像された前方画像６０（周辺画像の一例）を取得する。ここで、図６に示すように、前方カメラ５８は、例えば車両４のフロントバンパーに配置され、車両４の前進方向（図６において上方向）から車両４の前方（周辺の一例）を撮像する。第１の仮姿勢角推定部４２は、前方カメラ５８から取得した前方画像６０に基づいて、前方カメラ５８に対応する車両４の第１の仮姿勢角θ１（仮姿勢角の一例）を推定する。なお、車両４の第１の仮姿勢角θ１とは、水平面に対する車両４のピッチング角である。

【0044】

具体的には、第１の仮姿勢角推定部４２は、前方画像６０から複数の特徴点を抽出し、抽出した複数の特徴点を時間方向に追跡することにより、複数のオプティカルフロー６２を検出する。また、第１の仮姿勢角推定部４２は、検出した複数のオプティカルフロー６２に基づいて、前方画像６０における消失点６４の座標（平面座標）を推定する。そして、第１の仮姿勢角推定部４２は、推定した消失点６４の座標と基準座標との差分に基づいて、車両４の第１の仮姿勢角θ１を推定する。なお、第１の仮姿勢角推定部４２は、第１の仮姿勢角θ１を推定する際に、例えば特許第３７１９０９５等に記載の公知の方法を用いてもよい。このことは、後述する第２～第４の仮姿勢角θ２～θ４を推定する際も同様である。さらに、第１の仮姿勢角推定部４２は、前方画像６０に基づいて、（ａ）オプティカルフロー６２の数、（ｂ）消失点６４のばらつき（例えば分散）、（ｃ）前方画像６０の輝度、（ｄ）前方画像６０のコントラスト比を算出する。

【0045】

ここで、消失点６４のばらつきについて説明する。例えば、オプティカルフロー６２が一点に収束する場合は、消失点６４のばらつきが小さいと言える。逆に、オプティカルフロー６２が一点に収束せずある範囲にばらついている場合は、当該範囲が大きいほど消失点６４のばらつきが大きいと言える。また、消失点６４のばらつきが小さいほど消失点６４の精度が高く、消失点６４のばらつきが大きいほど消失点６４の精度が低いと言える。

【0046】

第２の仮姿勢角推定部４４は、車両４に搭載された右側方カメラ６６（撮像部の一例）により撮像された右側方画像６８（周辺画像の一例）を取得する。ここで、図６に示すように、右側方カメラ６６は、例えば車両４の右側ドアミラーに配置され、車両４の右方向から車両４の右側方（周辺の一例）を撮像する。車両４の右方向とは、図６において右方向であり、車両４の移動方向（前進方向又は後退方向）と交差する方向である。第２の仮姿勢角推定部４４は、取得した右側方画像６８に基づいて、右側方カメラ６６に対応する車両４の第２の仮姿勢角θ２（仮姿勢角の一例）を推定する。なお、車両４の第２の仮姿勢角θ２とは、水平面に対する車両４のピッチング角である。

【0047】

具体的には、第２の仮姿勢角推定部４４は、右側方画像６８から複数の特徴点を抽出し、抽出した複数の特徴点を時間方向に追跡することにより、複数のオプティカルフロー７０を検出する。また、第２の仮姿勢角推定部４４は、検出した複数のオプティカルフロー７０に基づいて、右側方画像６８における消失点（図示せず）の座標（高さ座標）を推定する。そして、第２の仮姿勢角推定部４４は、推定した消失点の座標と基準座標との差分に基づいて、車両４の第２の仮姿勢角θ２を推定する。さらに、第２の仮姿勢角推定部４４は、右側方画像６８に基づいて、（ａ）オプティカルフロー７０の数、（ｂ）消失点のばらつき、（ｃ）右側方画像６８の輝度、（ｄ）右側方画像６８のコントラスト比を算出する。

【0048】

第３の仮姿勢角推定部４６は、車両４に搭載された左側方カメラ７２（撮像部の一例）により撮像された左側方画像７４（周辺画像の一例）を取得する。ここで、図６に示すように、左側方カメラ７２は、例えば車両４の左側ドアミラーに配置され、車両４の左方向から車両４の左側方（周辺の一例）を撮像する。車両４の左方向とは、図６において左方向であり、車両４の移動方向と交差する方向である。第３の仮姿勢角推定部４６は、取得した左側方画像７４に基づいて、左側方カメラ７２に対応する車両４の第３の仮姿勢角θ３（仮姿勢角の一例）を推定する。なお、車両４の第３の仮姿勢角θ３とは、水平面に対する車両４のピッチング角である。

【0049】

具体的には、第３の仮姿勢角推定部４６は、左側方画像７４から複数の特徴点を抽出し、抽出した複数の特徴点を時間方向に追跡することにより、複数のオプティカルフロー７６を検出する。また、第３の仮姿勢角推定部４６は、検出した複数のオプティカルフロー７６に基づいて、左側方画像７４における消失点（図示せず）の座標（高さ座標）を推定する。そして、第３の仮姿勢角推定部４６は、推定した消失点の座標と基準座標との差分に基づいて、車両４の第３の仮姿勢角θ３を推定する。さらに、第３の仮姿勢角推定部４６は、左側方画像７４に基づいて、（ａ）オプティカルフロー７６の数、（ｂ）消失点のばらつき、（ｃ）左側方画像７４の輝度、（ｄ）左側方画像７４のコントラスト比を算出する。

【0050】

第４の仮姿勢角推定部４８は、車両４に搭載された後方カメラ７８（撮像部の一例）により撮像された後方画像８０（周辺画像の一例）を取得する。ここで、図６に示すように、後方カメラ７８は、例えば車両４のリアバンパーに配置され、車両４の後退方向（図６において下方向）から車両４の後方（周辺の一例）を撮像する。第４の仮姿勢角推定部４８は、後方カメラ７８から取得した後方画像８０に基づいて、後方カメラ７８に対応する車両４の第４の仮姿勢角θ４（仮姿勢角の一例）を推定する。なお、車両４の第４の仮姿勢角θ４とは、水平面に対する車両４のピッチング角である。

【0051】

具体的には、第４の仮姿勢角推定部４８は、後方画像８０から複数の特徴点を抽出し、抽出した複数の特徴点を時間方向に追跡することにより、複数のオプティカルフロー８２を検出する。また、第４の仮姿勢角推定部４８は、検出した複数のオプティカルフロー８２に基づいて、後方画像８０における消失点８４の座標（平面座標）を推定する。そして、第４の仮姿勢角推定部４８は、推定した消失点８４の座標と基準座標との差分に基づいて、車両４の第４の仮姿勢角θ４を推定する。さらに、第４の仮姿勢角推定部４８は、後方画像８０に基づいて、（ａ）オプティカルフロー８２の数、（ｂ）消失点８４のばらつき、（ｃ）後方画像８０の輝度、（ｄ）後方画像８０のコントラスト比を算出する。

【0052】

車両情報取得部５０は、例えば車両４に搭載されたＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）等から、車両４に関する車両情報（移動体情報の一例）を取得する。車両情報は、例えば、車両４の移動速度（車速）を示す速度情報、及び、車両
４の周辺に存在する１以上の周辺車両（周辺移動体の一例）の数を示す周辺車両数情報（周辺移動体数情報の一例）等を含む。車両情報取得部５０は、取得した車両情報を重み係数決定部５２に出力する。

【0053】

重み係数決定部５２は、前方カメラ５８、右側方カメラ６６、左側方カメラ７２及び後方カメラ７８にそれぞれ対応する第１の重み係数Ｗ１、第２の重み係数Ｗ２、第３の重み係数Ｗ３及び第４の重み係数Ｗ４（複数の処理の一例）を決定する。具体的には、重み係数決定部５２は、車両情報取得部５０からの車両情報、並びに、前方画像６０、右側方画像６８、左側方画像７４及び後方画像８０に基づいて、第１～第４の重み係数Ｗ１～Ｗ４を決定する。重み係数決定部５２による第１～第４の重み係数Ｗ１～Ｗ４の決定方法については、後述する。

【0054】

最終姿勢角推定部５４は、第１の仮姿勢角θ１、第２の仮姿勢角θ２、第３の仮姿勢角θ３及び第４の仮姿勢角θ４にそれぞれ、第１の重み係数Ｗ１、第２の重み係数Ｗ２、第３の重み係数Ｗ３及び第４の重み係数Ｗ４を乗じて加算する積和演算により、車両４の最終姿勢角θを推定する。

【0055】

表示位置制御部５６は、表示部６の表示パネル３８に描画される画像を制御する。具体的には、表示位置制御部５６は、最終姿勢角推定部５４により推定された最終姿勢角θに応じて、フロントガラス１４の表示領域１６における表示画像１２（虚像）の表示位置を変更するように、表示部６の表示パネル３８を制御する。

【0056】

［３．コントローラの動作］
次に、図７～図９を参照しながら、コントローラ８の動作について説明する。図７は、実施の形態に係る表示システム２のコントローラ８の動作の流れを示すフローチャートである。図８は、図７のフローチャートのステップＳ１０９の処理を説明するための図である。図９は、図７のフローチャートのステップＳ１０７の処理を具体的に示すフローチャートである。

【0057】

図７に示すように、第１の仮姿勢角推定部４２は、前方カメラ５８より取得した前方画像６０から複数の特徴点を抽出し（Ｓ１０２）、抽出した複数の特徴点を時間方向に追跡する（Ｓ１０３）。次いで、第１の仮姿勢角推定部４２は、複数のオプティカルフロー６２を検出し、検出した複数のオプティカルフロー６２に基づいて、前方画像６０における消失点６４の座標を推定する（Ｓ１０４）。次いで、第１の仮姿勢角推定部４２は、推定した消失点６４の座標と基準座標との差分に基づいて、車両４の第１の仮姿勢角θ１を推定する（Ｓ１０５）。この時、第１の仮姿勢角推定部４２は、前方画像６０に基づいて、（ａ）オプティカルフロー６２の数、（ｂ）消失点６４のばらつき、（ｃ）前方画像６０の輝度、（ｄ）前方画像６０のコントラスト比も算出する。

【0058】

前方カメラ５８、右側方カメラ６６、左側方カメラ７２及び後方カメラ７８によりそれぞれ取得した前方画像６０、右側方画像６８、左側方画像７４及び後方画像８０のそれぞれに基づいて仮姿勢角が推定されるまで、以下のようにして、上述したステップＳ１０２～Ｓ１０５が繰り返し実行される（Ｓ１０１，Ｓ１０６）。

【0059】

ステップＳ１０２に戻り、第２の仮姿勢角推定部４４は、右側方カメラ６６より取得した右側方画像６８から複数の特徴点を抽出し（Ｓ１０２）、抽出した複数の特徴点を時間方向に追跡する（Ｓ１０３）。次いで、第２の仮姿勢角推定部４４は、複数のオプティカルフロー７０を検出し、検出した複数のオプティカルフロー７０に基づいて、右側方画像６８における消失点の座標を推定する（Ｓ１０４）。次いで、第２の仮姿勢角推定部４４は、推定した消失点の座標と基準座標との差分に基づいて、車両４の第２の仮姿勢角θ２
を推定する（Ｓ１０５）。この時、第２の仮姿勢角推定部４４は、右側方画像６８に基づいて、（ａ）オプティカルフロー７０の数、（ｂ）消失点のばらつき、（ｃ）右側方画像６８の輝度、（ｄ）右側方画像６８のコントラスト比も算出する。

【0060】

ステップＳ１０２に戻り、第３の仮姿勢角推定部４６は、左側方カメラ７２より取得した左側方画像７４から複数の特徴点を抽出し（Ｓ１０２）、抽出した複数の特徴点を時間方向に追跡する（Ｓ１０３）。次いで、第３の仮姿勢角推定部４６は、複数のオプティカルフロー７６を検出し、検出した複数のオプティカルフロー７６に基づいて、左側方画像７４における消失点の座標を推定する（Ｓ１０４）。次いで、第３の仮姿勢角推定部４６は、推定した消失点の座標と基準座標との差分に基づいて、車両４の第３の仮姿勢角θ３を推定する（Ｓ１０５）。この時、第３の仮姿勢角推定部４６は、左側方画像７４に基づいて、（ａ）オプティカルフロー７６の数、（ｂ）消失点のばらつき、（ｃ）左側方画像７４の輝度、（ｄ）左側方画像７４のコントラスト比も算出する。

【0061】

ステップＳ１０２に戻り、第４の仮姿勢角推定部４８は、後方カメラ７８より取得した後方画像８０から複数の特徴点を抽出し（Ｓ１０２）、抽出した複数の特徴点を時間方向に追跡する（Ｓ１０３）。次いで、第４の仮姿勢角推定部４８は、複数のオプティカルフロー８２を検出し、検出した複数のオプティカルフロー８２に基づいて、後方画像８０における消失点８４の座標を推定する（Ｓ１０４）。次いで、第４の仮姿勢角推定部４８は、推定した消失点８４の座標と基準座標との差分に基づいて、車両４の第４の仮姿勢角θ４を推定する（Ｓ１０５）。この時、第４の仮姿勢角推定部４８は、後方画像８０に基づいて、（ａ）オプティカルフロー８２の数、（ｂ）消失点８４のばらつき、（ｃ）後方画像８０の輝度、（ｄ）後方画像８０のコントラスト比も算出する。

【0062】

以上のようにして、第１の仮姿勢角θ１、第２の仮姿勢角θ２、第３の仮姿勢角θ３及び第４の仮姿勢角θ４の全てが推定された後に、重み係数決定部５２は、車両情報取得部５０からの車両情報、並びに、前方画像６０、右側方画像６８、左側方画像７４及び後方画像８０に基づいて、第１～第４の重み係数Ｗ１～Ｗ４を決定する（Ｓ１０７）。なお、ステップＳ１０７の具体的な処理については、後述する。

【0063】

次いで、最終姿勢角推定部５４は、第１の仮姿勢角θ１、第２の仮姿勢角θ２、第３の仮姿勢角θ３及び第４の仮姿勢角θ４にそれぞれ、第１の重み係数Ｗ１、第２の重み係数Ｗ２、第３の重み係数Ｗ３及び第４の重み係数Ｗ４を乗じて加算する積和演算により、車両４の最終姿勢角θを推定する（Ｓ１０８）。すなわち、最終姿勢角推定部５４は、次式１により最終姿勢角θを推定する。なお、以下において、ｉは１～４の整数（ｉ＝１，２，３，４）である。

【0064】

【数1】

【0065】

次いで、表示位置制御部５６は、最終姿勢角推定部５４により推定された最終姿勢角θに応じて、フロントガラス１４の表示領域１６における表示画像１２の表示位置を変更するように、表示部６の表示パネル３８を制御する（Ｓ１０９）。その後、図７のフローチャートの処理を終了する。

【0066】

ここで、図８を参照しながら、上述したステップＳ１０９の処理について具体的に説明する。

【0067】

図８の（ａ）に示すように、車両４が前傾も後傾もしていない場合には、最終姿勢角推定部５４は、例えば最終姿勢角θ＝０°と推定する。この場合、図８の（ｂ）に示すように、表示画像１２は、当該表示画像１２により示される矢印の先端部が障害物２４の右隣りに位置しているので、表示位置制御部５６は、最終姿勢角θ（＝０°）に基づいて、フロントガラス１４の表示領域１６における表示画像１２の表示位置を変更しない。

【0068】

また、図８の（ｃ）に示すように、例えば車両４のトランクルームに重量物を積載することにより、車両４が後傾している場合には、最終姿勢角推定部５４は、例えば最終姿勢角θ＞０°と推定する。この場合、図８の（ｄ）に示すように、運転者１８から見て、フロントガラス１４の表示領域１６と車両４の前方の景色との位置関係が、図８の（ｂ）に示す両者の位置関係から変化する。これに伴い、運転者１８から見て、表示画像１２により示される矢印の先端部は、障害物２４の右隣りの位置よりも上方にずれるようになる。そのため、表示位置制御部５６は、図８の（ｄ）に示すように、最終姿勢角θ（＞０°）に基づいて、フロントガラス１４の表示領域１６における表示画像１２の表示位置を、図８の（ｂ）に示す表示位置よりも下方に変更する。これにより、表示画像１２により示される矢印の先端部の位置は、障害物２４の右隣りの位置に補正される。

【0069】

また、図８の（ｅ）に示すように、例えば車両４の助手席に重量物を積載することにより、車両４が前傾している場合には、最終姿勢角推定部５４は、例えば最終姿勢角θ＜０°と推定する。この場合、図８の（ｆ）に示すように、運転者１８から見て、フロントガラス１４の表示領域１６と車両４の前方の景色との位置関係が、図８の（ｂ）に示す両者の位置関係から変化する。これに伴い、運転者１８から見て、表示画像１２により示される矢印の先端部は、障害物２４の右隣りの位置よりも下方にずれるようになる。そのため、表示位置制御部５６は、図８の（ｆ）に示すように、最終姿勢角θ（＜０°）に基づいて、フロントガラス１４の表示領域１６における表示画像１２の表示位置を、図８の（ｂ）に示す表示位置よりも上方に変更する。これにより、表示画像１２により示される矢印の先端部の位置は、障害物２４の右隣りの位置に補正される。

【0070】

なお、表示画像１２の表示位置を変更する際には、運転者１８に対して違和感を与えないように、表示画像１２の表示位置を徐々に変更するのが好ましい。

【0071】

以下、図９を参照しながら、上述したステップＳ１０７の処理について具体的に説明する。

【0072】

図９に示すように、まず、重み係数決定部５２は、第１の仮姿勢角推定部４２により算出された前方画像６０のオプティカルフロー６２の数に基づいて、第１の重み係数Ｗ１を算出する（Ｓ１０７２）。具体的には、重み係数決定部５２は、次式２により第１の重み係数Ｗ１を算出する。

【0073】

【数2】

【0074】

なお、上式２において、ＮＯＦ１は前方画像６０のオプティカルフロー６２の数であり、ＮＯＦ２は右側方画像６８のオプティカルフロー７０の数であり、ＮＯＦ３は、左側方画像７４のオプティカルフロー７６の数であり、ＮＯＦ４は後方画像８０のオプティカルフロー８２の数である。上式２は、オプティカルフロー６２の数が多いほど、前方画像６０に基づいて推定された第１の姿勢角θ１の信頼度が高いことを意味している。

【0075】

次いで、重み係数決定部５２は、第１の仮姿勢角推定部４２により推定された消失点６４の座標のばらつきに基づいて、第１の重み係数Ｗ１を算出する（Ｓ１０７３）。具体的には、重み係数決定部５２は、消失点６４の座標のばらつきが第１の閾値未満である場合には、ステップＳ１０７２で算出した第１の重み係数Ｗ１をそのまま採用する。一方、重み係数決定部５２は、消失点６４の座標のばらつきが第１の閾値以上である場合には、ステップＳ１０７２で算出した第１の重み係数Ｗ１を０とする。第１の重み係数Ｗ１を０とする場合には、上式１から、最終姿勢角θを推定する際に、前方画像６０に基づいて推定された第１の姿勢角θ１を実質的に除外することになる。これは、消失点６４の座標のばらつきが第１の閾値以上である場合には、前方画像６０に基づいて推定された第１の姿勢角θ１の信頼度が極端に低いことを意味している。なお、ステップＳ１０７３で第１の重み係数Ｗ１を０とした場合には、後述するステップＳ１０７４～Ｓ１０７６を省略してもよい。

【0076】

次いで、重み係数決定部５２は、第１の仮姿勢角推定部４２により算出された前方画像６０の輝度及びコントラスト比に基づいて、第１の重み係数Ｗ１を算出する（Ｓ１０７４）。具体的には、重み係数決定部５２は、前方画像６０の輝度が第２の閾値を超え、且つ、前方画像６０のコントラスト比が第３の閾値を超える場合には、ステップＳ１０７３で算出した第１の重み係数Ｗ１をそのまま採用する。一方、重み係数決定部５２は、前方画像６０の輝度が第２の閾値以下である場合（すなわち、前方画像６０全体が暗い場合）、又は、前方画像６０のコントラスト比が第３の閾値以下である場合（すなわち、前方画像６０全体の輝度が均一である場合）には、ステップＳ１０７３で算出した第１の重み係数Ｗ１を０とする。第１の重み係数Ｗ１を０とする場合には、上式１から、最終姿勢角θを推定する際に、前方画像６０に基づいて推定された第１の姿勢角θ１を実質的に除外することになる。これは、前方画像６０の輝度が第２の閾値以下である場合、又は、前方画像６０のコントラスト比が第３の閾値以下である場合には、前方画像６０に基づいて推定された第１の姿勢角θ１の信頼度が極端に低いことを意味している。なお、ステップＳ１０７４で第１の重み係数Ｗ１を０とした場合には、後述するステップＳ１０７５，Ｓ１０７６を省略してもよい。

【0077】

次いで、重み係数決定部５２は、車両情報取得部５０からの速度情報に基づいて、第１の重み係数Ｗ１を算出する（Ｓ１０７５）。具体的には、重み係数決定部５２は、速度情報に基づいて、車両４の車速が大きいほど第１の重み係数Ｗ１が小さくなるように、第１の重み係数Ｗ１を決定する。例えば、重み係数決定部５２は、車両４の車速が第４の閾値未満である場合には、ステップＳ１０７４で算出した第１の重み係数Ｗ１に係数「２」を乗じたものを、第１の重み係数Ｗ１として算出する。また例えば、重み係数決定部５２は、車両４の車速が第５の閾値（＞第４の閾値）を超える場合には、ステップＳ１０７４で算出した第１の重み係数Ｗ１に係数「０．５」を乗じたものを、第１の重み係数Ｗ１として算出する。これは、車両４の車速が大きいほど、前方画像６０の特徴点を追跡するのが難しくなるため、車両４の車速が第５の閾値を超える場合には、前方画像６０に基づいて推定された第１の姿勢角θ１の信頼度が比較的低いことを意味している。

【0078】

次いで、重み係数決定部５２は、車両情報取得部５０からの周辺車両数情報に基づいて、第１の重み係数Ｗ１を算出する（Ｓ１０７６）。ここで、周辺車両数情報は、車両４の前方（すなわち、前方カメラ５８の撮像方向）に存在する１以上の周辺車両の数を示す情報である。重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値以下である場合には、ステップＳ１０７５で算出した第１の重み係数Ｗ１をそのまま採用する。一方、重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値を超える場合（例えば、車両４の前方に大型の周辺車両等が走行している場合）には、ステップＳ１０７５で算出した第１の重み係数Ｗ１に係数「０．０１」を乗じたものを、第１の重み係数Ｗ１として算出する。これは、車両４の前方に存在する周辺車両の数が多いほど、前方画像６０の特徴点の数が少なくなるため、車両４の前方に存在する周辺車両の数が第６の閾値を超える場合には、前方画像６０に基づいて推定された第１の姿勢角θ１の信頼度が比較的低いことを意味している。

【0079】

前方カメラ５８、右側方カメラ６６、左側方カメラ７２及び後方カメラ７８によりそれぞれ取得した前方画像６０、右側方画像６８、左側方画像７４及び後方画像８０のそれぞれに基づいて重み係数が算出されるまで、以下のようにして、上述したステップＳ１０７２～Ｓ１０７６が繰り返し実行される（Ｓ１０７１，Ｓ１０７７）。

【0080】

ステップＳ１０７２に戻り、重み係数決定部５２は、第２の仮姿勢角推定部４４により算出された右側方画像６８のオプティカルフロー７０の数に基づいて、第２の重み係数Ｗ２を算出する（Ｓ１０７２）。具体的には、重み係数決定部５２は、次式３により第２の重み係数Ｗ２を算出する。次式３は、オプティカルフロー７０の数が多いほど、右側方画像６８に基づいて推定された第２の姿勢角θ２の信頼度が高いことを意味している。

【0081】

【数3】

【0082】

次いで、重み係数決定部５２は、第２の仮姿勢角推定部４４により推定された消失点の座標のばらつきに基づいて、第２の重み係数Ｗ２を算出する（Ｓ１０７３）。具体的には、重み係数決定部５２は、消失点の座標のばらつきが第１の閾値未満である場合には、ステップＳ１０７２で算出した第２の重み係数Ｗ２をそのまま採用する。一方、重み係数決定部５２は、消失点の座標のばらつきが第１の閾値以上である場合には、ステップＳ１０７２で算出した第２の重み係数Ｗ２を０とする。第２の重み係数Ｗ２を０とする場合には、上式１から、最終姿勢角θを推定する際に、右側方画像６８に基づいて推定された第２の姿勢角θ２を実質的に除外することになる。これは、消失点の座標のばらつきが第１の閾値以上である場合には、右側方画像６８に基づいて推定された第２の姿勢角θ２の信頼度が極端に低いことを意味している。

【0083】

次いで、重み係数決定部５２は、第２の仮姿勢角推定部４４により算出された右側方画像６８の輝度及びコントラスト比に基づいて、第２の重み係数Ｗ２を算出する（Ｓ１０７４）。具体的には、重み係数決定部５２は、右側方画像６８の輝度が第２の閾値を超え、且つ、右側方画像６８のコントラスト比が第３の閾値を超える場合には、ステップＳ１０７３で算出した第２の重み係数Ｗ２をそのまま採用する。一方、重み係数決定部５２は、右側方画像６８の輝度が第２の閾値以下である場合、又は、右側方画像６８のコントラスト比が第３の閾値以下である場合には、ステップＳ１０７３で算出した第２の重み係数Ｗ２を０とする。第２の重み係数Ｗ２を０とする場合には、上式１から、最終姿勢角θを推定する際に、右側方画像６８に基づいて推定された第２の姿勢角θ２を実質的に除外することになる。これは、右側方画像６８の輝度が第２の閾値以下である場合、又は、右側方画像６８のコントラスト比が第３の閾値以下である場合には、右側方画像６８に基づいて推定された第２の姿勢角θ２の信頼度が極端に低いことを意味している。

【0084】

次いで、重み係数決定部５２は、車両情報取得部５０からの速度情報に基づいて、第２の重み係数Ｗ２を算出する（Ｓ１０７５）。具体的には、重み係数決定部５２は、速度情報に基づいて、車両４の車速が大きいほど第２の重み係数Ｗ２が小さくなるように、第２の重み係数Ｗ２を決定する。例えば、重み係数決定部５２は、車両４の車速が第４の閾値未満である場合には、ステップＳ１０７４で算出した第２の重み係数Ｗ２に係数「２」を
乗じたものを、第２の重み係数Ｗ２として算出する。また例えば、重み係数決定部５２は、車両４の車速が第５の閾値を超える場合には、ステップＳ１０７４で算出した第２の重み係数Ｗ２に係数「０．５」を乗じたものを、第２の重み係数Ｗ２として算出する。これは、車両４の車速が大きいほど、右側方画像６８の特徴点を追跡するのが難しくなるため、車両４の車速が第５の閾値を超える場合には、右側方画像６８に基づいて推定された第２の姿勢角θ２の信頼度が比較的低いことを意味している。

【0085】

次いで、重み係数決定部５２は、車両情報取得部５０からの周辺車両数情報に基づいて、第２の重み係数Ｗ２を算出する（Ｓ１０７６）。ここで、周辺車両数情報は、車両４の右側方（すなわち、右側方カメラ６６の撮像方向）に存在する１以上の周辺車両の数を示す情報である。重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値以下である場合には、ステップＳ１０７５で算出した第２の重み係数Ｗ２をそのまま採用する。一方、重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値を超える場合（例えば、車両４の右側方に複数の周辺車両が並走している場合）には、ステップＳ１０７５で算出した第２の重み係数Ｗ２に係数「０．０１」を乗じたものを、第２の重み係数Ｗ２として算出する。これは、車両４の右側方に存在する周辺車両の数が多いほど、右側方画像６８の特徴点の数が少なくなるため、車両４の右側方に存在する周辺車両の数が第６の閾値を超える場合には、右側方画像６８に基づいて推定された第２の姿勢角θ２の信頼度が比較的低いことを意味している。

【0086】

ステップＳ１０７２に戻り、重み係数決定部５２は、第３の仮姿勢角推定部４６により算出された左側方画像７４のオプティカルフロー７６の数に基づいて、第３の重み係数Ｗ３を算出する（Ｓ１０７２）。具体的には、重み係数決定部５２は、次式４により第３の重み係数Ｗ３を算出する。次式４は、オプティカルフロー７６の数が多いほど、左側方画像７４に基づいて推定された第３の姿勢角θ３の信頼度が高いことを意味している。

【0087】

【数4】

【0088】

次いで、重み係数決定部５２は、第３の仮姿勢角推定部４６により推定された消失点の座標のばらつきに基づいて、第３の重み係数Ｗ３を算出する（Ｓ１０７３）。具体的には、重み係数決定部５２は、消失点の座標のばらつきが第１の閾値未満である場合には、ステップＳ１０７２で算出した第３の重み係数Ｗ３をそのまま採用する。一方、重み係数決定部５２は、消失点の座標のばらつきが第１の閾値以上である場合には、ステップＳ１０７２で算出した第３の重み係数Ｗ３を０とする。第３の重み係数Ｗ３を０とする場合には、上式１から、最終姿勢角θを推定する際に、左側方画像７４に基づいて推定された第３の姿勢角θ３を実質的に除外することになる。これは、消失点の座標のばらつきが第１の閾値以上である場合には、左側方画像７４に基づいて推定された第３の姿勢角θ３の信頼度が極端に低いことを意味している。

【0089】

次いで、重み係数決定部５２は、第３の仮姿勢角推定部４６により算出された左側方画像７４の輝度及びコントラスト比に基づいて、第３の重み係数Ｗ３を算出する（Ｓ１０７４）。具体的には、重み係数決定部５２は、左側方画像７４の輝度が第２の閾値を超え、且つ、左側方画像７４のコントラスト比が第３の閾値を超える場合には、ステップＳ１０７３で算出した第３の重み係数Ｗ３をそのまま採用する。一方、重み係数決定部５２は、左側方画像７４の輝度が第２の閾値以下である場合、又は、左側方画像７４のコントラスト比が第３の閾値以下である場合には、ステップＳ１０７３で算出した第３の重み係数Ｗ３を０とする。第３の重み係数Ｗ３を０とする場合には、上式１から、最終姿勢角θを推定する際に、左側方画像７４に基づいて推定された第３の姿勢角θ３を実質的に除外することになる。これは、左側方画像７４の輝度が第２の閾値以下である場合、又は、左側方画像７４のコントラスト比が第３の閾値以下である場合には、左側方画像７４に基づいて推定された第３の姿勢角θ３の信頼度が極端に低いことを意味している。

【0090】

次いで、重み係数決定部５２は、車両情報取得部５０からの速度情報に基づいて、第３の重み係数Ｗ３を算出する（Ｓ１０７５）。具体的には、重み係数決定部５２は、速度情報に基づいて、車両４の車速が大きいほど第３の重み係数Ｗ３が小さくなるように、第３の重み係数Ｗ３を決定する。例えば、重み係数決定部５２は、車両４の車速が第４の閾値未満である場合には、ステップＳ１０７４で算出した第３の重み係数Ｗ３に係数「２」を乗じたものを、第３の重み係数Ｗ３として算出する。また例えば、重み係数決定部５２は、車両４の車速が第５の閾値を超える場合には、ステップＳ１０７４で算出した第３の重み係数Ｗ３に係数「０．５」を乗じたものを、第３の重み係数Ｗ３として算出する。これは、車両４の車速が大きいほど、左側方画像７４の特徴点を追跡するのが難しくなるため、車両４の車速が第５の閾値を超える場合には、左側方画像７４に基づいて推定された第３の姿勢角θ３の信頼度が比較的低いことを意味している。

【0091】

次いで、重み係数決定部５２は、車両情報取得部５０からの周辺車両数情報に基づいて、第３の重み係数Ｗ３を算出する（Ｓ１０７６）。ここで、周辺車両数情報は、車両４の左側方（すなわち、左側方カメラ７２の撮像方向）に存在する１以上の周辺車両の数を示す情報である。重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値以下である場合には、ステップＳ１０７５で算出した第３の重み係数Ｗ３をそのまま採用する。一方、重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値を超える場合（例えば、車両４の左側方に複数の周辺車両が並走している場合）には、ステップＳ１０７５で算出した第３の重み係数Ｗ３に係数「０．０１」を乗じたものを、第３の重み係数Ｗ３として算出する。これは、車両４の左側方に存在する周辺車両の数が多いほど、左側方画像７４の特徴点の数が少なくなるため、車両４の左側方に存在する周辺車両の数が第６の閾値を超える場合には、左側方画像７４に基づいて推定された第３の姿勢角θ３の信頼度が比較的低いことを意味している。

【0092】

ステップＳ１０７２に戻り、重み係数決定部５２は、第４の仮姿勢角推定部４８により算出された後方画像８０のオプティカルフロー８２の数に基づいて、第４の重み係数Ｗ４を算出する（Ｓ１０７２）。具体的には、重み係数決定部５２は、次式５により第４の重み係数Ｗ４を算出する。次式５は、オプティカルフロー８２の数が多いほど、後方画像８０に基づいて推定された第４の姿勢角θ４の信頼度が高いことを意味している。

【0093】

【数5】

【0094】

次いで、重み係数決定部５２は、第４の仮姿勢角推定部４８により推定された消失点８４の座標のばらつきに基づいて、第４の重み係数Ｗ４を算出する（Ｓ１０７３）。具体的には、重み係数決定部５２は、消失点８４の座標のばらつきが第１の閾値未満である場合には、ステップＳ１０７２で算出した第４の重み係数Ｗ４をそのまま採用する。一方、重み係数決定部５２は、消失点８４の座標のばらつきが第１の閾値以上である場合には、ステップＳ１０７２で算出した第４の重み係数Ｗ４を０とする。第４の重み係数Ｗ４を０とする場合には、上式１から、最終姿勢角θを推定する際に、後方画像８０に基づいて推定された第４の姿勢角θ４を実質的に除外することになる。これは、消失点の座標のばらつきが第１の閾値以上である場合には、後方画像８０に基づいて推定された第４の姿勢角θ４の信頼度が極端に低いことを意味している。

【0095】

次いで、重み係数決定部５２は、第４の仮姿勢角推定部４８により算出された後方画像８０の輝度及びコントラスト比に基づいて、第４の重み係数Ｗ４を算出する（Ｓ１０７４）。具体的には、重み係数決定部５２は、後方画像８０の輝度が第２の閾値を超え、且つ、後方画像８０のコントラスト比が第３の閾値を超える場合には、ステップＳ１０７３で算出した第４の重み係数Ｗ４をそのまま採用する。一方、重み係数決定部５２は、後方画像８０の輝度が第２の閾値以下である場合、又は、後方画像８０のコントラスト比が第３の閾値以下である場合には、ステップＳ１０７３で算出した第４の重み係数Ｗ４を０とする。第４の重み係数Ｗ４を０とする場合には、上式１から、最終姿勢角θを推定する際に、後方画像８０に基づいて推定された第４の姿勢角θ４を実質的に除外することになる。これは、後方画像８０の輝度が第２の閾値以下である場合、又は、後方画像８０のコントラスト比が第３の閾値以下である場合には、後方画像８０に基づいて推定された第４の姿勢角θ４の信頼度が極端に低いことを意味している。

【0096】

次いで、重み係数決定部５２は、車両情報取得部５０からの速度情報に基づいて、第４の重み係数Ｗ４を算出する（Ｓ１０７５）。具体的には、重み係数決定部５２は、速度情報に基づいて、車両４の車速が大きいほど第４の重み係数Ｗ４が小さくなるように、第４の重み係数Ｗ４を決定する。例えば、重み係数決定部５２は、車両４の車速が第４の閾値未満である場合には、ステップＳ１０７４で算出した第４の重み係数Ｗ４に係数「２」を乗じたものを、第４の重み係数Ｗ４として算出する。また例えば、重み係数決定部５２は、車両４の車速が第５の閾値を超える場合には、ステップＳ１０７４で算出した第４の重み係数Ｗ４に係数「０．５」を乗じたものを、第４の重み係数Ｗ４として算出する。これは、車両４の車速が大きいほど、後方画像８０の特徴点を追跡するのが難しくなるため、車両４の車速が第５の閾値を超える場合には、後方画像８０に基づいて推定された第４の姿勢角θ４の信頼度が比較的低いことを意味している。

【0097】

次いで、重み係数決定部５２は、車両情報取得部５０からの周辺車両数情報に基づいて、第４の重み係数Ｗ４を算出する（Ｓ１０７６）。ここで、周辺車両数情報は、車両４の後方（すなわち、後方カメラ７８の撮像方向）に存在する１以上の周辺車両の数を示す情報である。重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値以下である場合には、ステップＳ１０７５で算出した第４の重み係数Ｗ４をそのまま採用する。一方、重み係数決定部５２は、周辺車両数情報により示される周辺車両の数が第６の閾値を超える場合（例えば、車両４の後方に大型の周辺車両等が走行している場合）には、ステップＳ１０７５で算出した第４の重み係数Ｗ４に係数「０．０１」を乗じたものを、第４の重み係数Ｗ４として算出する。これは、車両４の後方に存在する周辺車両の数が多いほど、後方画像８０の特徴点の数が少なくなるため、車両４の後方に存在する周辺車両の数が第６の閾値を超える場合には、後方画像８０に基づいて推定された第４の姿勢角θ４の信頼度が比較的低いことを意味している。

【0098】

以上のようにして第１～第４の重み係数Ｗ１～Ｗ４の全てが算出された後、重み係数決定部５２は、上述のように推定された第１～第４の仮姿勢角θ１～θ４のうち、第１～第４の仮姿勢角θ１～θ４の平均値から大きく乖離した仮姿勢角（すなわち、仮姿勢角の外れ値）を除外する（Ｓ１０７８）。

【0099】

次いで、重み係数決定部５２は、最終的に第１～第４の重み係数Ｗ１～Ｗ４を決定する（Ｓ１０７９）。この時、上述したステップＳ１０７８で除外した仮姿勢角がある場合には、第１～第４の重み係数Ｗ１～Ｗ４のうち、除外した仮姿勢角に対応する重み係数を０とする。その後、図７のフローチャートのステップＳ１０８に進む。

【0100】

［４．効果］
車両４の走行状態又は車両４の周辺環境等によっては、前方画像６０、右側方画像６８、左側方画像７４及び後方画像８０の少なくとも１つにおいて、特徴点を追跡するのが困難となる場合がある。

【0101】

例えば、車両４の車速が大きい場合や、車両４の前方に複数の周辺車両が走行している場合、前方画像６０が建物の影等で暗い場合、前方カメラ５８のレンズに汚れ又は雨滴等が付着している場合等には、前方画像６０において特徴点を追跡するのが困難となる。この場合には、前方画像６０に基づいて推定された第１の仮姿勢角θ１の信頼度が低下するため、最終姿勢角θを推定する際に、第１の仮姿勢角θ１に乗じる第１の重み係数Ｗ１を小さく（又は０に）決定する。また、第２の仮姿勢角θ２、第３の仮姿勢角θ３及び第４の仮姿勢角θ４についても、上記と同様の方法で決定する。

【0102】

これにより、最終姿勢角推定部５４は、例えば車両４の走行状態又は車両４の周辺環境等を考慮して、最終姿勢角θを精度良く推定することができる。その結果、車両４の最終姿勢角θに応じて、表示画像１２の表示位置を精度良く制御することができる。

【0103】

（他の変形例）
以上、一つ又は複数の態様に係る表示システムについて、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

【0104】

例えば、上記実施の形態では、表示部６からの表示光をフロントガラス１４の表示領域１６で反射させたが、これに限定されず、表示部６からの表示光をコンバイナ（表示媒体の一例）で反射させるようにしてもよい。

【0105】

また例えば、上記実施の形態では、前方カメラ５８、右側方カメラ６６、左側方カメラ７２及び後方カメラ７８の４つのカメラを用いたが、これに限定されず、３つ以下のカメラを用いてもよいし、５つ以上のカメラを用いてもよい。

【0106】

また、上記実施の形態では、「仮姿勢角推定部」を、第１の仮姿勢角推定部４２、第２の仮姿勢角推定部４４、第３の仮姿勢角推定部４６及び第４の仮姿勢角推定部４８で構成したが、これに限定されず、これらを１つにまとめて構成してもよい。同様に、上記実施の形態では、「取得部」を、第１の仮姿勢角推定部４２、第２の仮姿勢角推定部４４、第３の仮姿勢角推定部４６及び第４の仮姿勢角推定部４８で構成したが、これに限定されず、これらを１つにまとめて構成してもよい。

【0107】

また、上記実施の形態では、表示位置制御部５６は、最終姿勢角θに応じて、表示部６の表示パネル３８を制御することにより、フロントガラス１４に対する表示画像１２の表示位置を変更したが、これに限定されない。例えば、表示位置制御部５６は、第１のミラー３０及び第２のミラー３２の少なくとも一方をメインハウジング２６に対して変位（回動又は移動）させることにより、フロントガラス１４に対する表示画像１２の表示位置を変更させてもよい。

【0108】

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したコンピュータプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリなどの非一時的な記録媒体に記録されたコンピュータプログラムを読み出して実
行することによって実現されてもよい。

【0109】

また、上記実施の形態に係るコントローラ８の機能の一部又は全てを、ＣＰＵ等のプロセッサがコンピュータプログラムを実行することにより実現してもよい。

【0110】

上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

【0111】

本開示は、上記第９の態様に係る制御方法であるとしても良い。また、この制御方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムを含むデジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えばフレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリ等に記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

【産業上の利用可能性】

【0112】

本開示は、例えば車両に搭載されるヘッドアップディスプレイに用いられる表示システム等に適用可能である。

【符号の説明】

【0113】

２ 表示システム
４ 車両
６ 表示部
８ コントローラ
１０ ダッシュボード
１２ 表示画像
１４ フロントガラス
１６ 表示領域
１８ 運転者
２０ 空間
２２ 車線
２４ 障害物
２６ メインハウジング
２８ 表示ユニット
３０ 第１のミラー
３２ 第２のミラー
３４ 開口部
３６ カバー部材
３８ 表示パネル
４０ バックライト
４２ 第１の仮姿勢角推定部
４４ 第２の仮姿勢角推定部
４６ 第３の仮姿勢角推定部
４８ 第４の仮姿勢角推定部
５０ 車両情報取得部
５２ 重み係数決定部
５４ 最終姿勢角推定部
５６ 表示位置制御部
５８ 前方カメラ
６０ 前方画像
６２，７０，７６，８２ オプティカルフロー
６４，８４ 消失点
６６ 右側方カメラ
６８ 右側方画像
７２ 左側方カメラ
７４ 左側方画像
７８ 後方カメラ
８０ 後方画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】