特許 7578022 表示制御装置、表示装置、及び画像表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】表示制御装置、表示装置、及び画像表示制御方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241029BHJP

   G09G 5/37 20060101ALI20241029BHJP

   B60R 11/02 20060101ALI20241029BHJP

   G02B 27/01 20060101ALI20241029BHJP

   B60K 35/23 20240101ALI20241029BHJP

【ＦＩ】

G09G5/00 550C

G09G5/37 300

B60R11/02 C

G02B27/01

B60K35/23

【請求項の数】 12

(21)【出願番号】P 2021027376

(22)【出願日】2021-02-24

(65)【公開番号】P2022128906

(43)【公開日】2022-09-05

【審査請求日】2023-12-15

(73)【特許権者】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(74)【代理人】

【識別番号】100067356

【弁理士】

【氏名又は名称】下田 容一郎

(74)【代理人】

【識別番号】100160004

【弁理士】

【氏名又は名称】下田 憲雅

(74)【代理人】

【識別番号】100120558

【弁理士】

【氏名又は名称】住吉 勝彦

(74)【代理人】

【識別番号】100148909

【弁理士】

【氏名又は名称】瀧澤 匡則

(74)【代理人】

【識別番号】100192533

【弁理士】

【氏名又は名称】奈良 如紘

(72)【発明者】

【氏名】川手 貴生人

【審査官】川俣 郁子

(56)【参考文献】

【文献】特開２０１０－２５６８７８（ＪＰ，Ａ）

【文献】特開２０１５－０６０１８０（ＪＰ，Ａ）

【文献】国際公開第２０２０／００９２１８（ＷＯ，Ａ１）

【文献】特開平１０－２０３１９９（ＪＰ，Ａ）

【文献】特開２０１５－０８７６１９（ＪＰ，Ａ）

【文献】国際公開第２０２０／０８４９５４（ＷＯ，Ａ１）

【文献】特開２０２１－０２０６２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｋ３５／００－３７／２０

Ｇ０２Ｂ２７／００－３０／６０

Ｇ０９Ｆ９／００

Ｇ０９Ｇ３／００－３／０８

３／１２

３／１６

３／１９－３／２６

３／３０

３／３４

３／３８－５／４２

(57)【特許請求の範囲】

【請求項1】

車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施し、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、
推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、
推定された視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させ、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止する、
表示制御装置。

【請求項2】

車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施し、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させる、
表示制御装置。

【請求項3】

車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施し、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させる、
表示制御装置。

【請求項4】

前記視点高さ位置推定情報は、
前記表示装置が、画像を被投影部材に投影する回転可能な曲面ミラーを含む光学系を備える場合における、前記曲面ミラーの位置情報である、
又は、
前記表示装置が、画像表示面を備える表示部と、前記表示装置に含まれる、画像を被投影部材に投影する回転不可の曲面ミラーを含む光学系と、を備える場合における、前記表示部における前記画像表示面上の画像表示位置情報である、
請求項１乃至３の何れか１項に記載の表示制御装置。

【請求項5】

前記視点位置情報取得部は、
前記視認者の視点高さ位置を推定可能な前記視点高さ位置推定情報に加えて、
カメラによる前記視認者の撮像画像に基づいて検出され、かつ、前記視点高さ位置推定情報よりも視点高さ位置の分解能が高い視点高さ位置検出情報も取得し、
前記制御部は、
前記視点高さ位置推定情報により推定される視点高さ位置を、前記視点高さ位置検出情報を用いて微調整する、
請求項１乃至４の何れか１項に記載の表示制御装置。

【請求項6】

前記制御部は、
アイボックス内の区分された複数の領域の各々を単位として、視点追従ワーピングを実施すると共に、その実施の際に得られた、前記視認者の視点が前記複数の領域の内のどの領域に位置するかを示す視点位置情報を、前記視点高さ位置検出情報としても使用する、
請求項５に記載の表示制御装置。

【請求項7】

前記制御部は、
前記画像補正の補正量の設定に際し、
前記ピッチング補正と前記ローリング補正とを区別して取り扱い、各補正に適した補正量を設定する、
請求項１乃至６の何れか１項に記載の表示制御装置。

【請求項8】

請求項１乃至７の何れか１項に記載の表示制御装置と、
前記ピッチング補正、及び前記ローリング補正の少なくとも一方を含む画像補正を実施する補正部と、
補正後の画像を表示する表示部と、
を有する表示装置。

【請求項9】

前記表示装置は、
前記表示部に表示される画像の表示光を、前記車両に設けられる被投影部材に投影する光学系をさらに有し、前記視認者である運転者及び乗員の少なくとも一方に虚像を視認させる機能をもつヘッドアップディスプレイ装置である、
請求項８に記載の表示装置。

【請求項10】

車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の表示位置の変動を抑制する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含み、
視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させるステップと、
視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止するステップと、
を更に含む画像表示制御方法。

【請求項11】

車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の表示位置の変動を抑制する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含み、
視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させるステップと、
を更に含む画像表示制御方法。

【請求項12】

車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の表示位置の変動を抑制する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含み、
視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させるステップと、
を更に含む画像表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示装置、及び画像表示制御方法等に関する。

【背景技術】

【0002】

車両のピッチングやローリングに起因する画像の位置変動を補正する画像補正（ピッチング補正、ローリング補正）については、例えば、特許文献１に記載されている。

【0003】

なお、車両のピッチングは、車両の左右軸（車両の中心（例えば重心）を通って、車両の左右方向に延びる軸）を中心として車両が前後に回転する、いわゆる縦揺れが生じた状態であり、車両の姿勢は、前傾姿勢あるいは後傾姿勢となる。

【0004】

また、車両のローリングは、前後軸（車両の中心（例えば重心）を通って、車両の前後方向に延びる軸）を中心として車両が左右に回転する、いわゆる横揺れが生じた状態であり、車両の姿勢は、左傾姿勢又は右傾姿勢となる。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５１６１７６０号公報（図３～図７等）

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明者の検討によって、以下の課題が明らかとなった。
（１）ピッチングやローリングが生じると、車両（車体）の浮き上がりや沈み込みが生じて、表示中の画像の位置の変動が生じる。
（２）ここで、視認者（運転者等）の視点（目）位置が高い場合と、低い場合とでは、その画像の位置変動の程度に差が生じる。言い換えれば、ピッチングやローリングの中心軸から視点（目）までの距離が異なるとき、その距離が大きいほど、車両の揺れ（姿勢変動）の影響が大きくなり、表示されている画像の、車両の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する。
（３）よって、上記の視点の高さ位置のばらつきを考慮せずに、一律の補正量にてピッチング補正やローリング補正を実施しても、画像の表示位置の変動の抑制効果には限界がある。抑制効果が低い場合は、視認者の違和感が増大する。
（４）また、画像の表示位置の変動の抑制効果が低いと、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置が表示する、先方対象物（例えば前方車両）に重畳される画像（先方対象物重畳画像：例えば注意喚起マーク等）の、先方対象物に対する重畳精度が低下する場合もあり得る。

【0007】

このような課題が、本発明者の検討により明らかとされた。このような課題については、上記の特許文献１には記載がなく、また、その対策についても言及されていない。

【0008】

本発明の目的の１つは、車両のピッチングやローリングに伴う画像の表示位置の変動を抑制する画像補正の実施に際して、画像の視認者（運転者や搭乗者）の視点（目）高さ位置の違いによって、表示位置の変動の抑制効果が低下することを改善することである。

【0009】

本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

【課題を解決するための手段】

【0010】

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

【0011】

第１の態様において、表示制御装置は、
車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施し、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、
推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、
推定された視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させ、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止する。

【0012】

第１の態様では、画像補正は、視点高さ位置が所定高さ範囲内にある場合に実施し、所定高さ範囲外になると、画像補正を停止する（言い換えれば、画像補正量を零とする）。

【0013】

視点高さ位置が高すぎる場合は、車両の姿勢変動の影響を大きく受けて画像の表示位置の変動が増大していることから、画像補正を行ったとしても、画像の位置変動の抑制効果が不十分となり、画像が不自然に変動するおそれがある。また、無理に画像補正を実施したとき、その画像補正に伴う画像の不自然な変動が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととした。

【0014】

また、視点高さ位置が低すぎる場合は、車両の姿勢変動の影響も小さいことから、画像補正を停止しても影響は少ないと考えられる。また、小さい画像の位置変動に対応させて無理に画像補正を実施すると、その画像補正に伴う画像の細かな位置の変化が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととした。

【0015】

第２の態様において、表示制御装置は、
車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施し、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させる。

【0016】

第２の態様では、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも低い範囲にて実施し、標準位置よりも高い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。

【0017】

視点高さ位置が標準位置よりも高い範囲で固定値の補正量を使用することで、補正量を大きく切り替える必要がなくなり、制御部の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。

【0018】

第３の態様において、表示制御装置は、
車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施し、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させてもよい。

【0019】

第３の態様では、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも高い範囲にて実施し、標準位置よりも低い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。

【0020】

視点高さ位置が標準位置よりも低い範囲で固定値の補正量を使用することで、細かな補正量の可変を頻繁に行う手間が省けることから、制御部の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。

【0021】

第１乃至第３の何れか１つの態様に従属する第４の態様において、
前記視点高さ位置推定情報は、
前記表示装置が、画像を被投影部材に投影する回転可能な曲面ミラーを含む光学系を備える場合における、前記曲面ミラーの位置情報であってもよく、
又は、
前記表示装置が、画像表示面を備える表示部と、前記表示装置に含まれる、画像を被投影部材に投影する回転不可の曲面ミラーを含む光学系と、を備える場合における、前記表示部における前記画像表示面上の画像表示位置情報であってもよい。

【0022】

第４の態様では、前記視点高さ位置推定情報として、回転可能な曲面ミラー（凹面鏡等）の位置情報、あるいは、曲面ミラー（凹面鏡等）が回転不可の場合における、表示部における画像表示位置情報を使用することができる。

【0023】

回転可能な曲面ミラー（凹面鏡等）の回転によって、アイボックスの高さ位置が変更されるため、曲面ミラーの位置情報（例えば、回転機構の構成要素であるアクチュエータの回転数、あるいは曲面ミラーの回転角等は、視認者の視点の高さ位置を推定する客観的なデータとして使用することができる。

【0024】

また、曲面ミラー（凹面鏡等）が回転不能な場合には、その曲面ミラーの光を反射する反射面への、画像の表示光の入射位置を調整することで、その反射面からの光の反射方向を制御し、アイボックスの高さ位置を変更することができる。そして、反射面への表示光の入射位置の変更は、結果的に、画像を表示する表示部における、画像表示面上での画像表示位置の調整によって実現される。よって、画像表示位置情報は、視認者の視点の高さ位置を推定する客観的なデータとして使用することができる。

【0025】

視点高さ位置推定情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。

【0026】

第１乃至第４の何れか１つの態様に従属する第５の態様において、
前記視点位置情報取得部は、
前記視認者の視点高さ位置を推定可能な前記視点高さ位置推定情報に加えて、
カメラによる前記視認者の撮像画像に基づいて検出され、かつ、前記視点高さ位置推定情報よりも視点高さ位置の分解能が高い視点高さ位置検出情報も取得し、
前記制御部は、
前記視点高さ位置推定情報により推定される視点高さ位置を、前記視点高さ位置検出情報を用いて微調整してもよい。

【0027】

第５の態様では、視点高さ位置推定情報と、視点高さ位置の分解能がより高い、視点高さ位置検出情報とを併用する。例えば、視点高さ位置推定情報に基づいてアイボックスの高さ位置を推定し、視点高さ位置検出情報を用いて、アイボックス内での視点高さ位置を判定（例えば、アイボックス内における視点高さ位置を、「高」、「中」、「低」に区分して判定）することができる。これによって、より細かく視点高さ位置を判定（特定）でき、視点高さ位置の検出精度を向上させることができる。よって、より適切な画像補正を実施することができる。

【0028】

第５の態様に従属する第６の態様において、
前記制御部は、
アイボックス内の区分された複数の領域の各々を単位として、視点追従ワーピングを実施すると共に、その実施の際に得られた、前記視認者の視点が前記複数の領域の内のどの領域に位置するかを示す視点位置情報を、前記視点高さ位置検出情報としても使用してもよい。

【0029】

第６の態様では、カメラによる撮像により得られた視点位置情報を、視点追従ワーピング、及び視点高さ位置を考慮したピッチング補正／ローリング補正、に共通に使用する。これによって、ピッチング補正やローリング補正のために、単独で、視点高さ位置検出情報を取得する必要がなく、制御部等の負担軽減が図れる。

【0030】

第１乃至第６の何れか１つの態様に従属する第７の態様において、
前記制御部は、
前記画像補正の補正量の設定に際し、
前記ピッチング補正と前記ローリング補正とを区別して取り扱い、各補正に適した補正量を設定してもよい。

【0031】

第７の態様によれば、ピッチング、ローリングの各々に対して、適切な画像補正を実施することが可能となる。

【0032】

第８の態様において、表示装置は、
第１乃至第７の何れか１つの態様に記載の表示制御装置と、
前記ピッチング補正、及び前記ローリング補正の少なくとも一方を含む画像補正を実施する補正部と、
補正後の画像を表示する表示部と、
を有する。

【0033】

第８の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。表示装置は広義に解釈され、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置や、フラットパネルディスプレイ等を含むことができる。

【0034】

第８の態様に従属する第９の態様において、
前記表示装置は、
前記表示部に表示される画像の表示光を、前記車両に設けられる被投影部材に投影する光学系をさらに有し、前記運転者及び前記乗員の少なくとも一方に虚像を視認させる機能をもつヘッドアップディスプレイ装置であってもよい。

【0035】

第９の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能なヘッドアップディスプレイ（ＨＵＤ）装置を実現することができる。

【0036】

第１０の態様において、画像表示制御方法は、
車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の位置変動を補正する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させるステップと、
視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止するステップと、
を含む。

【0037】

第１１の態様において、画像表示制御方法は、
車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の位置変動を補正する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させるステップと、
を含む。

【0038】

第１２の態様において、画像表示制御方法は、
車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の位置変動を補正する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させるステップと、
を含む。

【0039】

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

【図面の簡単な説明】

【0040】

【図1】図１（Ａ）は、ピッチング及びピッチング補正を説明するための図、図１（Ｂ）は、ローリング及びローリング補正を説明するための図である。

【図2】図２は、表示制御装置の構成例、及び、表示制御装置を用いた表示システムの要部構成例を示す図である。

【図3】図３は、表示制御装置を備えるヘッドアップディスプレイ（ＨＵＤ）装置の構成例、及び、ＨＵＤ装置を含む表示システムの構成例を示す図である。

【図4】図４（Ａ）は、補正テーブルの一例を示す図、図４（Ｂ）は、視点高さ位置推定情報の変動に対する画像補正量の変化率の設定例を示す図である。

【図5】図５（Ａ）、（Ｂ）は、補正テーブルの他の例を示す図である。

【図6】図６（Ａ）、（Ｂ）は、補正テーブルのさらに他の例を示す図、図６（Ｃ）は、ルックアップテーブルの一例を示す図である。

【図7】図７（Ａ）は、視点高さ位置推定情報を用いてアイボックスの高さ位置を推定し、視点位置検出情報を用いてアイボックス内の視点高さ位置を判定（特定）する表示システムの要部構成例を示す図、図７（Ｂ）は、補正テーブルの内部構成例を示す図、図７（Ｃ）は、図７（Ｂ）の構成を採用したルックアップテーブルの例を示す図である。

【図8】図８は、ＨＵＤ装置の他の例（曲面ミラーが回転不可である例）を示す図である。

【図9】図９は、画像補正処理の手順例を示すフローチャートである。

【発明を実施するための形態】

【0041】

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

【0042】

（第１の実施形態）
図１を参照する。図１（Ａ）は、ピッチング及びピッチング補正を説明するための図、図１（Ｂ）は、ローリング及びローリング補正を説明するための図である。

【0043】

図１において、Ｘ方向は車両１の左右方向、Ｙ方向は車両１の高さ方向（路面の垂線に沿う方向）、Ｚ方向は車両１の前方（前後方向）を示す。ＸＹＺ直交座標系は、路面を基準とする実空間の座標系である。

【0044】

車両１のピッチングは、車両１の左右軸（車両の中心（例えば重心）を通って、車両１の左右方向に延びる軸）を中心として車両が前後に回転する、いわゆる縦揺れが生じた状態であり、車両１の姿勢は、後傾姿勢（図１（Ａ）参照）あるいは前傾姿勢（図１（Ｂ）参照）となる。

【0045】

車両１は、平坦な路面４を走行しているが、図１（Ａ）では例えば急加速したため、車両１の車体の前端部が路面４から浮き上がり、車両１の車体は後傾の姿勢となっている。ピッチング角はθａである。

【0046】

図１（Ｂ）では、例えば急ブレーキをかけたため、車両１の車体の後端部が路面４から浮き上がり、車両１の車体は前傾姿勢となっている。ピッチング角はθｂである。

【0047】

ピッチングが生じると、路面４を基準とする実空間に設定されるＸＹＺ直交座標系（第１の座標系）と、車両１の車体の姿勢に依存して変動する局所的なＸ１Ｙ１Ｚ１直交座標系（第２の座標系）との間にズレ（不一致）が生じる。このズレによって、画像の表示位置の変動が生じる。ピッチング補正は、この変動を抑制する画像補正（基本的には、第２の座標系を第１の座標系に変換する座標変換補正）である。

【0048】

なお、ＨＵＤ装置において、ピッチング等に起因して、例えば画像の表示光がウインドシールド（被投影部材）に投影される位置が変化するなどして、表示画像の形状が変動する場合もあり得るが、この場合は、ワーピング補正（光学系に起因する歪みとは逆の歪みを、画像に事前に与える補正）により対応可能である。

【0049】

図１（Ａ）、（Ｂ）の上側において実線で示されるように、ピッチングが生じる前は、注意喚起マーク（虚像）７０が、先方対象物（例えば前方車両）６０に重畳されて表示されているが、ピッチングが生じると、破線で示されるように、注意喚起マーク（虚像）の位置が上下方向（ＸＹＺ直交座標系における車両１の高さ方向（Ｙ方向））に移動する。図１（Ａ）では、変位量をΔＤ１と表記している。図１（Ｂ）では、変位量をΔＤ２と表記している。また、図中、位置の移動が生じた後の注意喚起マーク（虚像）には、７０’の符号を付している。

【0050】

表示中の画像の位置が瞬時的に変化することで、運転者や、その他の搭乗者に違和感が生じる場合があり、また、図１（Ａ）、（Ｂ）の例のように、先方対象物６０に対する注意喚起マーク７０の重畳性が低下する場合もあり、この点も違和感の原因となり得る。

【0051】

また、車両１のローリングは、前後軸（車両の中心（例えば重心）を通って、車両１の前後方向に延びる軸）を中心として車両１が左右に回転する、いわゆる横揺れが生じた状態であり、車両１の姿勢は、右傾姿勢（図１（Ｃ）参照）又は左傾姿勢（図１（Ｄ）参照）となる。

【0052】

ローリングが生じると、路面４を基準とする実空間に設定されるＸＹＺ直交座標系（第１の座標系）と、車両１の車体の姿勢に依存して変動する局所的なＸ１Ｙ１Ｚ１直交座標系（第２の座標系）との間にズレ（不一致）が生じる。このズレによって、画像の表示位置の変動が生じる。ローリング補正は、この変動を抑制する画像補正（基本的には、第２の座標系を第１の座標系に変換する座標変換補正）である。

【0053】

図１（Ｃ）では、例えば、右側にハンドルを切ったことから、車両１の車体の左端部が路面４から浮き上がり、車両１の車体は右傾姿勢となっている。ローリング角はθｃである。

【0054】

図１（Ｄ）では、例えば、左側にハンドルを切ったことから、車両１の車体の右端部が路面４から浮き上がり、車両１の車体は左傾姿勢となっている。ローリング角はθｄである。

【0055】

図１（Ｃ）、（Ｄ）の上側において実線で示されるように、ローリングが生じる前は、注意喚起マーク（虚像）７０が、先方対象物（例えば前方車両）６０に重畳されて表示されているが、ローリングが生じると、破線で示されるように、注意喚起マーク（虚像）の位置が左右方向（ＸＹＺ直交座標系における車両１の幅方向（Ｘ方向））、及び、上下方向（ＸＹＺ直交座標系における車両１の高さ方向（Ｙ方向））に移動する。

【0056】

図１（Ｃ）では、左右方向の変位量（ヨーイング成分）をΔＬ１と表記し、上下方向の変位量をΔＤ３と表記している。図１（Ｄ）では、左右方向の変位量（ヨーイング成分）をΔＬ２と表記し、上下方向の変位量をΔＤ４と表記している。また、位置の移動が生じた後の注意喚起マーク（虚像）には、７０’の符号を付している。

【0057】

図１（Ｃ）、（Ｄ）における、左右方向の変位量（ヨーイング成分）ΔＬ１、ΔＬ２に関しては、車両１に搭乗する運転者（あるいは、その他の搭乗者）の視点（目）の高さ位置（ＸＹＺ直交座標系における車両１の高さ方向（Ｙ方向）に沿う位置）が異なることによる変動ばらつきはない。

【0058】

但し、図１（Ａ）～（Ｄ）における上下方向の変位量ΔＤ１～ΔＤ４に関しては、視点高さ位置が異なると、変位量も変動することになり、よって、一律の補正量による画像補正では、位置補正の精度に限界がある。したがって、視認者の視点（目）の高さ位置を考慮して、補正量を可変に制御することが重要となる。

【0059】

図２を参照する。図２は、表示制御装置の構成例、及び、表示制御装置を用いた表示システムの要部構成例を示す図である。

【0060】

図２の表示システム（ここでは表示装置としてＨＵＤ装置を用いることを想定する）では、アイボックスＥＢの高さの位置（Ｙ方向における位置）を、視認者（運転者等）の視点（目）の高さ位置に合わせて調整することができる。

【0061】

図２では、標準位置のアイボックスＥＢを実線で示し、標準位置よりも高い位置（図中、「高」と表記）にあるアイボックスＥＢ’の一部を破線で示し、標準位置よりも低い位置（図中「低」と表記）にあるアイボックスＥＢ’’を一点鎖線で示している。なお、アイボックスＥＢは、立体的な形状を有するが、図２では、説明の便宜上、平面的に示している。

【0062】

図２では、アイボックスＥＢは、複数の領域（Ｚ１～Ｚ９）に区分されており、視点（目）の位置は、その区分された各領域を単位として検出可能である。この構成によれば、視点（目）が位置する領域にのみスポットライティング（局所的画像投影）を実施することで光源の消費電力を削減できる。また、光学系（被投影部材としてのウインドシールド等を含む）による画像の歪みとは逆の歪みを画像に事前に与えるワーピングを、上記の区分された領域単位で実施する視点追従ワーピングを採用することで、電力消費を抑えつつ画像の歪みを抑制することができる。

【0063】

視点（目）位置の検出は、例えば、カメラ１５で、視認者の目（顔等であってもよい）を撮像して、視点位置検出部３４にて画像処理等を実施することで判定（特定）することができる。図２の表示システムでは、視点（目）位置検出情報Ｇ２は、プロセッサ（表示制御装置）３６に供給される。

【0064】

一方、アイボックスＥＢ（ＥＢ’、ＥＢ’’）の高さ位置は、曲面ミラー回転制御部３１が制御する曲面ミラー（図２では不図示、図３の符号２８）の位置情報（言い換えれば、回転情報：具体的には回転数や回転角）に基づいて特定することができる。ここで、アイボックスＥＢの高さ位置は、例えば、視点（目）６が、アイボックスＥＢ内の領域Ｚ５（アイボックス内の９個の区分された領域のうちの中央に位置する領域）に位置するように事前に調整される。よって、アイボックスＥＢの高さ位置は、視点（目）６の高さを反映している。このため、曲面ミラー回転制御部３１から得られる曲面ミラーの位置情報（回転情報：回転数や回転角）を参照することで、視点（目）の高さ位置を推定することができる。図２の表示システムでは、その曲面ミラーの位置情報は、視点（目）位置推定情報Ｇ１として、プロセッサ（表示制御装置）３６に供給される。

【0065】

プロセッサ（表示制御装置）３６は、画像表示を制御する制御部３８を有する。制御部３８は、車両姿勢情報取得部４０と、視点位置情報取得部４１と、画像補正を統括的に制御する補正制御部（画像補正制御部）４３を有する。

【0066】

補正制御部（画像補正制御部）４３は、ピッチング・ローリング補正制御部４２と、ワーピング制御部４４と、を有する。なお、ピッチング・ローリング補正制御部４２は、１つの補正制御部が、ピッチング補正及びローリング補正を共通に制御してもよく、ピッチング補正用の補正制御部とローリング補正用の補正制御部とを別々にもつ構成であってもよい。

【0067】

ピッチング・ローリング補正制御部４２は、視点（目）位置推定情報Ｇ１を参照しつつ、あるいは、さらに視点（目）位置検出情報Ｇ２も参照しつつ、視点高さ位置に応じた補正量を取得して、画像補正を実施する（詳細は後述する）。

【0068】

次に、図３を参照する。図３は、表示制御装置を備えるヘッドアップディスプレイ（ＨＵＤ）装置の構成例、及び、ＨＵＤ装置を含む表示システムの構成例を示す図である。図３において、図２と共通する部分には同じ符号を付している。

【0069】

図３において、ヘッドアップディスプレイ（ＨＵＤ）装置１００は、例えば、車両１のダッシュボード７の内部に収納されている。ＨＵＤ装置１００は、光源部２４（フラットパネルディスプレイ等を有する表示部２２を含む）と、光学系としての平面ミラー２６及び曲面ミラー（凹面鏡等）２８と、曲面ミラー（凹面鏡等）２８を回転駆動する回転機構（アクチュエータを含む）３０と、曲面ミラーの回転を制御する曲面ミラー回転制御部３１と、入力インタフェース（入力Ｉ／Ｆ）３２と、視点位置制御部３４と、プロセッサ（表示制御装置）３６と、メモリ（記憶装置あるいは記憶部）５０と、描画メモリ６５と、画像処理部８０と、を有する。

【0070】

プロセッサ（表示制御装置）３６は、先に図２で説明したとおり、画像表示を制御する制御部３８を有し、この制御部３８は、車両姿勢情報取得部４０と、視点位置情報取得部４１と、画像補正を統括的に制御する補正制御部（画像補正制御部）４３と、を有する。補正制御部（画像補正制御部）４３は、ピッチング・ローリング補正制御部４２と、ワーピング制御部４４と、を有する。

【0071】

メモリ５０は、補正テーブル５２を有する。補正テーブル５２は、ピッチング補正テーブル５４と、ローリング補正テーブル５６と、ワーピング補正テーブル５８とを備える。なお、画像の補正の補正量を、補正テーブルを用いずに演算にて算出する場合には、メモリ５０には、補正演算データ５９が記憶される。

【0072】

画像処理部８０は、バス８２と、画像生成部８４と、プロセッサ（表示制御装置）３６から供給される補正量の情報を用いて、画像データを補正する補正部（補正処理部）８６と、補正後の画像データを光源部２４に供給する出力バッファ８８と、を有する。

【0073】

また、図３の例では、視認者５（５’、５’’）の視点（目）や顔を撮像するカメラ１５は、ＨＵＤ装置１００と共に、ダッシュボード７の内部に配置されている。

【0074】

また、車両１の姿勢情報（ロール角、ピッチ角）を取得するために、ロール角センサ９及びピッチ角センサ１１（これらは、例えば加速度センサにより構成される）が設けられる。これらのセンサによって検出されたロール角、ピッチ角の情報は、車両ＥＣＵ１３を経由して、車両姿勢情報Ｇ０として、ＨＵＤ装置１００の入力インタフェース（入力Ｉ／Ｆ）３２に供給される。

【0075】

また、曲面ミラー回転制御部３１から、図２にて説明した回転情報（視点高さ位置推定情報）Ｇ１が入力Ｉ／Ｆ３２に供給される。また、視点位置検出部３４から、視点高さ位置検出情報Ｇ２が入力Ｉ／Ｆ３２に供給される。車両姿勢情報Ｇ０は、プロセッサ（表示制御装置）３６の車両姿勢情報取得部４０により取得され、回転情報（視点高さ位置推定情報）Ｇ１、及び、視点高さ位置検出情報Ｇ２は、プロセッサ（表示制御装置）３６の視点位置情報取得部４１によって取得され、取得された情報は、ピッチング補正やローリング補正の際の補正量の決定のために使用される。

【0076】

ピッチング・ローリング補正制御部４２は、補正量を決定するために、適宜、メモリ５０内の補正テーブル５２を参照可能である。補正テーブル５２は、例えば、ルックアップテーブル（ＬＵＴ）形式としてもよい。

【0077】

また、図３の上側に示されるように、視認者（運転者や他の搭乗者）５の視点（目）６の高さ位置（Ｙ方向の位置）は、視認者の身長や姿勢に応じて変動する。図３では、標準位置の視認者には符号５を付し、そのときの視点（目）には符号６を付している。標準位置よりも高い視点（目）には符号６’を付し、そのときの視認者には符号５’を付している。標準位置よりも低い視点（目）には符号６’’を付し、そのときの視認者には符号５’’を付している。

【0078】

また、標準位置の視点（目）６に対応して、虚像表示面ＰＳ上に虚像Ｖが表示される。また、視点（目）６’に対応して、虚像表示面ＰＳ’上に虚像Ｖ’が表示される。また、視点（目）６’’に対応して、虚像表示面ＰＳ’’上に虚像Ｖ’’が表示される。言い換えれば、視点（目）位置が標準位置よりも高くなると、表示される虚像（画像）位置は低くなり、標準位置よりも低くなると、表示される虚像（画像）位置は高くなる。

【0079】

視点（目）６（６’、６’’）の高さ位置の変化に対応して、曲面ミラー（凹面鏡等）２８が回転機構３１によって回転され、これによって曲面ミラー２８の位置が適宜、変化する。

【0080】

曲面ミラー２８の位置の変化に対応して、アイボックスＥＢの高さ位置（Ｙ方向の位置）が変化する。図３において、標準位置のアイボックスにはＥＢの符号を付し、標準位置よりも高いアイボックスにはＥＢ’の符号を付し、標準位置よりも低いアイボックスにはＥＢ’’の符号を付している。

【0081】

このように、曲面ミラー２８の位置情報（回転情報：回転数や回転角の情報）は、アイボックスの高さ位置に対応し、アイボックスの高さ位置は、視認者の視点（目）の高さ位置に対応している。よって、曲面ミラー２８の位置情報（回転情報：回転数や回転角の情報）は、視認者の視点（目）の高さ位置を推定可能な客観的な情報として活用することができる（但し、これに限定されるものではない。他の情報を利用して視点（目）の高さ位置を推定する例については後述する）。

【0082】

次に、図４を参照する。図４（Ａ）は、補正テーブルの一例を示す図、図４（Ｂ）は、視点高さ位置推定情報の変動に対する画像補正量の変化率の設定例を示す図である。

【0083】

補正テーブルは、例えば、ルックアップテーブル（ＬＵＴ）形式で構築することができる。図４（Ａ）の補正テーブル（ＬＵＴ）は、車両姿勢情報（ピッチ角θｐ又はロール角θｒ）と、視点高さ位置推定情報（曲面ミラーの回転数又は回転角）と、をアドレス変数としてアクセスされ、それらの入力に対応する１つの補正量（補正量Ａ～Ｗの何れか）が出力される。補正量Ａ～Ｗの値に関しては、Ａ＞Ｂ＞Ｃ・・・・＞Ｗが成立する。

【0084】

図４（Ａ）では、視点（目）位置が標準位置であるときは、補正量Ｃが選択される。このときの回転数は「ｃ」、曲面ミラーの回転角は「ｃ’」であり、この「ｃ」、「ｃ’」が設計中心であり、言い換えれば、この「ｃ」、「ｃ’」が、視点高さが、標準位置よりも高いか低いかを判定する基準閾値Ｓｔｈ１となる。

【0085】

ここで、例えば、回転数の数値に関して、ａ＜ｂ＜ｃ＜・・・・＜ｗが成立する。回転数がａ、ｂ（＜ｃ）のときは、アイボックスＥＢは標準位置よりも高く設定され、よって、視点（目）位置は標準位置よりも高いと推定され、表示される虚像は、標準位置よりも低い位置（ダウン位置）に表示される（図３参照）。

【0086】

一方、回転数がｃ・・・ｗ（＞ｃ）のときは、アイボックスＥＢは標準位置よりも低く設定され、よって、視点（目）位置は標準位置よりも低いと推定され、表示される虚像は、標準位置よりも高い位置（アップ位置）に表示される（図３参照）。

【0087】

このように、視認者の視点高さ位置を推定可能な視点高さ位置推定情報（回転数や回転角）に基づいて、視認者の視点高さ位置を推定し、推定された視点高さ位置が、標準位置よりも高いと推定される場合は、画像補正の補正量をより大きくし、低いと推定される場合は、画像補正の補正量をより小さくする。

【0088】

視点高さ位置が高いということは、ピッチングやローリングの中心軸から視点（目）までの距離が大きいということである。この場合は、車両の揺れ（姿勢変動）の影響が大きくなり、表示されている画像の、車両１の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する傾向が生じる。よって、その大きな位置変動を効果的に抑制するべく、画像補正の補正量を増大させる。

【0089】

一方、視点高さ位置が低くなると、車両１の揺れ（姿勢変動）の影響は小さくなるため、上記の大きな補正量を維持していては、オーバー補正となる可能性がある。よって、視点高さ位置の低下に応じて、画像補正の補正量も減少させるものである。

【0090】

また、視点高さ位置推定情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。

【0091】

このような、視点高さ位置を考慮した画像補正を実施することで、視認者の違和感を抑制でき、また、先方対象物に対する画像の重畳性の低下を抑制することができる。

【0092】

また、図４（Ａ）の例では、推定された視点高さ位置の程度に応じて、画像補正の補正量を可変すると共に、推定された視点高さ位置が標準位置よりも高い場合は、視点高さ位置がより高くなると画像補正の補正量を増大させ、推定された視点高さ位置が標準位置よりも低い場合は、視点高さ位置がより低くなると画像補正の補正量を減少させるようにしている。

【0093】

推定された視点高さ位置の程度に対応させて、画像補正の補正量を、適応的に可変制御することで、車両１の姿勢変動に対応したより適切な画像補正（ピッチング補正やローリング補正）が可能となる。

【0094】

次に、図４（Ｂ）を参照する。図４（Ｂ）では、横軸が曲面ミラーの回転数（図４（Ａ）のａ～ｗ）であり、縦軸が、画像補正の補正量（図４（Ａ）のＡ～Ｗ）である。

【0095】

図示されるように、回転数がａ～ｃの範囲では、補正量の、視点高さ位置推定情報（ここでは回転数）の変動量に対する変化率を示す特性線Ｑ１の傾きは急峻であり、変化率が大きい。一方、回転数がｃ～ｗの範囲では、補正量の、視点高さ位置推定情報（回転数）の変動量に対する変化率を示す特性線Ｑ２の傾きは緩やかであり、変化率が小さい。

【0096】

言い換えれば、推定された視点高さ位置の程度に応じて、画像補正の補正量を可変する場合において、推定された視点高さ位置が標準位置よりも高い範囲における、視点高さ位置推定情報（回転数や回転角等：より広義には視点高さ位置）の変動量に対する画像補正の補正量の変化率を第１の変化率（特性線Ｑ１で示される変化率）とし、推定された視点高さ位置が標準位置よりも低い範囲における、視点高さ位置推定情報（回転数や回転角等：より広義には視点高さ位置）の変動量に対する画像補正の補正量の変化率を第２の変化率（特性線Ｑ２で示される変化率）とするとき、第１の変化率（特性線Ｑ１で示される変化率）が、第２の変化率（特性線Ｑ２で示される変化率）よりも大きく設定されている。

【0097】

このように、視点高さ位置に応じて画像補正の補正量を可変に制御する際、車両姿勢変動の影響を受けやすい範囲（標準位置よりも視点が高い範囲）では、視点高さ位置推定情報の変動量に対する補正量の変化率を大きく設定し、大きな画像位置の変動に迅速に追従可能とし、これによって画像の表示位置が大きく変化することが効果的に防止される。

【0098】

一方、標準位置よりも視点が低い場合は、画像の位置変動が小さくなるため、補正量をより小さくしてオーバー補正が生じないようにしつつ、小さな画像変動を、確実に抑制することができる。

【0099】

次に、図５を参照する。図５（Ａ）、（Ｂ）は、補正テーブルの他の例を示す図である。図５の補正テーブルは、基本的には図４（Ａ）の補正テーブルと同様である。

【0100】

但し、図５では、視点高さ位置が所定の高さ範囲外となる場合には、画像補正を停止する（補正量を零とする）という内容が追加されており、この点で図４（Ａ）とは異なる。

【0101】

図５（Ａ）の補正テーブルでは、図４（Ａ）の補正テーブルの内容に、回転数ｘ、ｙ、ｚ（曲面ミラーの回転角ｘ’、ｙ’、ｚ’）の場合（言い換えれば、視点（目）位置が標準位置を基準として低すぎる場合）の補正量のデータが追加されている。この場合の補正量は零である。言い換えれば、図５（Ａ）では、回転数ｘ（回転角ｘ’）を、補正停止しきい値Ｓｔｈ２とし、回転数や回転角が、この補正停止しきい値Ｓｔｈ２以上である場合には、補正量を零とする。

【0102】

視点（目）高さ位置が低すぎる場合は、車両１の姿勢変動の影響も小さいことから、画像補正を停止しても影響は少ないと考えられる。また、小さい画像の位置変動に対応させて無理に画像補正を実施すると、その画像補正に伴う画像の細かな位置の変化が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととしたものである。

【0103】

図５（Ｂ）の補正テーブルでは、さらに、回転数γ、δ（曲面ミラーの回転角γ’、δ’）の場合（言い換えれば、視点（目）位置が標準位置を基準として高すぎる場合）の補正量のデータが追加されている。この場合の補正量も零である。言い換えれば、図５（Ｂ）では、回転数δ（回転角δ’）を、補正停止しきい値Ｓｔｈ３とし、回転数や回転角が、この補正停止しきい値Ｓｔｈ３以下である場合には、補正量を零とする。

【0104】

視点（目）高さ位置が高すぎる場合は、車両１の姿勢変動の影響を大きく受けて画像の表示位置の変動が増大していることから、画像補正を行ったとしても、画像の位置変動の抑制効果が不十分となり、画像が不自然に変動するおそれがある。また、無理に画像補正を実施したとき、その画像補正に伴う画像の位置の不自然な変動が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととしたものである。

【0105】

次に、図６を参照する。図６（Ａ）、（Ｂ）は、画像補正テーブルのさらに他の例を示す図、図６（Ｃ）は、ルックアップテーブルの一例を示す図である。

【0106】

図６（Ａ）は、先に説明した図５（Ａ）の変形例である。図６（Ａ）では、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも低い範囲（回転数ｄ～ｗ）にて実施し、標準位置（回転数ｃ）よりも高い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。

【0107】

図６（Ａ）の右上に示されるように、回転数ａ、ｂに対応する補正量は、α（αは、零を含む整数の固定値）に設定されている。

【0108】

視点高さ位置が標準位置よりも高い範囲で固定値の補正量αを使用することで、補正量を大きく切り替える必要がなくなり、制御部（図２の符号３８）の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。

【0109】

図６（Ｂ）では、図６（Ａ）とは逆に、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも高い範囲にて実施し、標準位置よりも低い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。

【0110】

図６（Ｂ）に示されるように、回転数ｄ～ｗに対応する補正量は、β（βは、零を含む整数の固定値）に設定されている。

【0111】

視点高さ位置が標準位置よりも低い範囲で固定値の補正量を使用することで、細かな補正量の可変を頻繁に行う手間が省けることから、制御部３８の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。

【0112】

図６（Ａ）、（Ｂ）の補正テーブルをルックアップテーブル（ＬＵＴ）として利用する場合には、図６（Ｃ）に示すようにピッチ角／ロール角の情報と、視点高さ位置推定情報（例えば回転数情報）とをアドレス変数としてルックアップテーブル２０１に入力し、その入力に対応する補正量を、ルックアップ手Ｐブル２０１から出力させる。ＬＵＴを用いることで、補正量を容易に、かつ迅速に取得することができる。

【0113】

（第２の実施形態）
次に、図７を参照する。図７（Ａ）は、視点高さ位置推定情報を用いてアイボックスの高さ位置を推定し、視点位置検出情報を用いてアイボックス内の視点高さ位置を判定（特定）する表示システムの要部構成例を示す図、図７（Ｂ）は、補正テーブルの内部構成例を示す図、図７（Ｃ）は、図７（Ｂ）の構成を採用したルックアップテーブルの例を示す図である。図７において、図３と共通する部分には同じ符号を付している。

【0114】

図７の例では、視点高さ位置推定情報と、視点高さ位置の分解能がより高い、視点高さ位置検出情報（カメラ１５による実測情報）とを併用する。なお、カメラ１５により視認者の視点（目）を撮像し、撮像された視点（目）の、撮像領域における座標等を検出することで、視点高さを詳細に検出することができる。

【0115】

例えば、視点高さ位置推定情報（曲面ミラーの回転数や回転角の情報）に基づいてアイボックスの高さ位置を推定し、視点高さ位置検出情報（カメラの撮像画像を用いた画像処理によって得られる情報）を用いて、アイボックス内での視点高さ位置を判定（例えば、アイボックス内における視点高さ位置を、「高」、「中」、「低」に区分して判定）することができる。

【0116】

例えば、先に説明した図２のアイボックスＥＢでは、アイボックスＥＢの内部が９個の領域Ｚ１～Ｚ９に区分されている。ここで、視点（目）６が、領域Ｚ１～Ｚ３（上段の領域）に位置していれば「高」、領域Ｚ４～Ｚ６（中段の領域）に位置していれば「中」、領域Ｚ７～Ｚ９（下段の領域）に位置していれば「低」と区別することができる。

【0117】

言い換えれば、視点高さ位置推定情報により推定される視点高さ位置を、視点高さ位置検出情報を用いて微調整することができる。これによって、より細かく視点高さ位置を判定（特定）でき、視点高さ位置の検出精度を向上させることができる。よって、より適切な画像補正を実施することができる。

【0118】

図７（Ａ）において、アイボックスＥＢ（ＥＢ’、ＥＢ’’）の各々に、Ｕ（高）、Ｍ（中）、Ｄ（低）の表記がなされているが、これは、アイボックスＥＢ（ＥＢ’、ＥＢ’’）の各々において、より詳細に、視点（目）の高さ位置を判定することができることを示している。

【0119】

図７（Ｂ）に、補正テーブルの構成例（一部抜粋）が示されている。前掲の実施形態では、回転数ｃ（曲面ミラーの回転角ｃ’）のときは、一律に補正量Ｃが決定されていたが、図７（Ｂ）では、さらに、アイボックスＥＢ内での視点高さ位置（Ｕ（高）、Ｍ（中）、Ｄ（低））に応じて、補正量ＣＵ、ＣＭ、ＣＤ（ＣＵ＞ＣＭ＞ＣＤ）が決定される。

【0120】

図７（Ｃ）のルックアップテーブル（ＬＵＴ）２０３では、先に説明した図６（Ｃ）における２つの入力に加えて、アイボックス内の視点高さ位置情報（視点高さ位置検出情報）が追加されている。これら３つの入力をアドレス変数とし補正テーブルにアクセスし、補正量を出力させる。

【0121】

（第３の実施形態）
本実施形態では、ＨＵＤ装置１００のプロセッサ（表示制御装置）３６が、視点追従スポットライティングを実施し、また、制御部３８におけるワーピング補正制御部（図３の符号４４）が、視点追従ワーピングを実施する。

【0122】

先に図２を用いて説明したように、アイボックスＥＢ内を、例えば、複数個の領域Ｚ１～Ｚ９に区分し、カメラ１５によって視点（目）を撮像して画像処理を実施することで、視点（目）が、現在、どの領域にあるかを検出することができる。

【0123】

その視点位置検出の結果に基づいて、視点（目）が位置する領域（その周辺を含めてもよい）に、局所的に画像の表示光を投光して光源部２４の消費電力を抑え（視点追従スポットライティング）、また、各領域Ｚ１～Ｚ９を単位として、ワーピングパラメータ（光学系による歪みとは逆特性の歪みを事前に与える場合の歪み量（補正量）を決定するパラメータ）を切り替え（視点追従ワーピング）、視点位置に対応した適切なワーピングを実現する。

【0124】

また、このときに得られた視点位置検出情報（複数の領域Ｚ１～Ｚ９の内の、どの領域に視点（目）が位置するかという情報）は、先の第２の実施形態における、視点高さ位置検出情報としても活用する。言い換えれば、カメラ１５による撮像により得られた視点位置情報を、視点追従ライティング、視点追従ワーピング、視点高さ位置を考慮したピッチング補正／ローリング補正、に共通に使用する。

【0125】

これによって、先の第２の実施形態において、ピッチング補正やローリング補正のために、単独で、視点高さ位置検出情報を取得する必要がなく、制御部３８等の負担軽減が図れる。

【0126】

（第４の実施形態）
次に、図８を参照する。図８は、ＨＵＤ装置の他の例（曲面ミラーが回転不可である例）を示す図である。図８において、図３と共通する部分には同じ参照符号を付している（但し、曲面ミラーに関しては、図８と図３とでは機能が異なるため、別の符号を付している）。

【0127】

図８の例では、ＨＵＤ装置１００は、画像表示面を備える表示部２２と、画像を被投影部材であるウインドシールド２に投影する回転不可の曲面ミラー２９を含む光学系３３と、を備えており、表示部２２における画像表示面上の画像表示位置情報（Ｐ１、Ｐ２等）を、視点高さ位置推定情報として使用する。

【0128】

前掲の実施形態では、曲面ミラー（凹面鏡等）の位置情報（回転情報）を、視点高さ位置推定情報として使用していたが、曲面ミラーが回転不可の場合は、曲面ミラーの位置情報（回転情報）は使用できない。

【0129】

そこで、図８の例では、表示部２２における画像表示面上の画像表示位置情報（Ｐ１、Ｐ２等）を、視点高さ位置推定情報として利用する（ただし、一例であり、これに限定されるものではない。補助鏡等の他のミラーの回転角等の情報を使用してもよい）。

【0130】

曲面ミラーが回転不可の場合においては、その曲面ミラーの光を反射する反射面への、画像の表示光の入射位置を調整することで、その反射面からの光の反射方向を制御し、アイボックスの高さ位置を変更することができる。

【0131】

そして、反射面への表示光の入射位置の変更は、結果的に、画像を表示する表示部２２における、画像表示面上での画像表示位置の調整によって実現される。

【0132】

図８において、視点（目）の高さ位置として、アップ位置（ＵＰ）とダウン位置（ＤＮ）が示されている。画像の表示位置をＰ１は、ダウン位置（ＤＮ）に対応しており、Ｐ２は、アップ位置（ＵＰ）に対応している。したがって、画像表示位置情報（例えば、表示されている画像の座標情報Ｐ１、Ｐ２等）は、視認者の視点の高さ位置を推定する客観的なデータとして使用可能である。図８の例では、画像標示位置情報が、視点高さ推定情報Ｇ１として、入力Ｉ／Ｆ３２に供給される。

【0133】

このように、曲面ミラーの位置が固定であるときも、視点高さ位置推定情報を取得することが可能である。この情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。

【0134】

（第５の実施形態）
本実施形態では、制御部（図２、図３の符号３６）は、画像補正の補正量の設定に際し、ピッチング補正とローリング補正とを区別して取り扱い、各補正に適した補正量を設定する。

【0135】

例えば、先に示したような補正テーブル（ＬＵＴ等）を、ピッチング補正用、ローリング補正用に、個別に用意してもよい。これによって、ピッチング、ローリングの各々に対して、適切な画像補正を実施することが可能となる。

【0136】

（第６の実施形態）
次に、図９を参照する。図９は、画像補正処理の手順例を示すフローチャートである。

【0137】

ステップＳ１では、車両の挙動情報（姿勢情報）を取得する。ステップＳ２では、車両の姿勢角（ピッチ角θｐ、ロール角θｒ等）の情報を取得する。ステップＳ３では、曲面ミラー（凹面鏡等）の位置（回転位置）を検出する。

【0138】

ステップＳ４では、曲面ミラーの、例えば回転角が補正停止範囲外であるかが検出される。Ｙのときは、必要に応じてステップＳ５にて、アイボックス内における視点高さ位置を検出し、続いて、ステップＳ６にて、画像補正における補正量を取得する。このとき、ルックアップテーブルを参照してもよく、また、補正演算によって算出してもよい。

【0139】

また、ステップＳ６において、視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、標準位置における補正量よりも大きくし、視点高さ位置が標準位置よりも低いと推定された場合は、画像補正の補正量を、標準位置における補正量よりも小さくして、画像の補正量を可変に制御する。

【0140】

ステップＳ７では、取得された補正量を用いて画像補正を実施する。ステップＳ８では、画像補正後の画像データ（画像コンテンツ）に基づく画像描画処理を実施する。

【0141】

ステップＳ４で、Ｎのときは、ステップＳ９に移行して補正量を零とし（言い換えれば、ピッチング補正及びローリング補正を実施しないこととし）、続いて、ステップＳ８に移行する。

【0142】

なお、上記のステップＳ２にて、視点が標準位置にあると仮定して標準位置における補正量を仮設定しておき、ステップＳ６において、仮設定した補正量をそのまま使用できるか否かを判定して、不可の場合は、補正量を再取得（再設定）してもよい。このような変形は、適宜、なし得る。

【0143】

以上説明したように、本発明によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。表示装置は広義に解釈され、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置や、その他の表示器装置にも適用可能である。表示器装置としては、液晶表示装置やマイクロＬＥＤ装置、その他の種々のディスプレイ装置を使用することができる。

【0144】

また、表示制御装置として、ＨＵＤ装置に搭載される表示制御ＥＣＵを用いることができるが、これに限定されるものではなく、車両ＥＣＵなど、ＨＵＤ装置以外に搭載されているＥＣＵを利用することも可能である。

【0145】

また、本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語（例えば標識等）についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、ＨＵＤ装置には、シミュレータ（例えば、航空機のシミュレータやゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。

【0146】

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

【符号の説明】

【0147】

１・・・車両（自車両）、２・・・被投影部材（反射透光部材、ウインドシールド等）、６・・・視認者の視点（目）、１５・・・カメラ、２８・・・曲面ミラー（凹面鏡等）、３０・・・曲面ミラーの回転機構、３１・・・曲面ミラー回転制御部、
３２・・・入力インタフェース（Ｉ／Ｆ）、３４・・・視点位置検出部、３６・・・プロセッサ（表示制御装置）、３８・・・表示部、４０・・・車両姿勢情報取得部、４１・・・視点位置情報取得部、４２・・・ピッチング・ローリング補正制御部、４３・・・補正制御部、４４・・・ワーピング補正制御部、５０・・・メモリ（記憶装置、記憶部）、５２・・・補正テーブル、５４・・・ピッチング補正テーブル、５６・・・ローリング補正テーブル、５８・・・ワーピング補正テーブル、８０・・・画像処理部、８６・・・補正部（補正処理部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】