(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025398
(43)【公開日】2024-02-26
(54)【発明の名称】表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
(51)【国際特許分類】
G09G 5/38 20060101AFI20240216BHJP
B60K 35/23 20240101ALI20240216BHJP
G09G 5/00 20060101ALI20240216BHJP
B60R 11/02 20060101ALI20240216BHJP
【FI】
G09G5/38 Z
B60K35/00 A
G09G5/00 550C
G09G5/00 510Z
B60R11/02 C
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022128805
(22)【出願日】2022-08-12
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】秦 誠
【テーマコード(参考)】
3D020
3D344
5C182
【Fターム(参考)】
3D020BA04
3D020BB01
3D020BC03
3D020BD05
3D020BE03
3D344AA21
3D344AA30
3D344AB01
3D344AC25
5C182AA05
5C182AA26
5C182AB15
5C182AB25
5C182AB31
5C182AC46
5C182BA46
5C182CB11
5C182CB12
5C182CB41
(57)【要約】 (修正有)
【課題】車両の姿勢変動による画像(仮想オブジェクト)の仮想現実感の低下を抑制する。
【解決手段】HUD装置は、車両の姿勢変動による虚像と前景との相対的な位置ズレを抑制するために、第1基準位置Po10を基準にして車両の姿勢変動に合わせて虚像の位置をダイナミックに変化させる第1画像調整処理を実行し、車両の姿勢変動が大きくなると判定された場合、虚像の仮想位置を第1基準位置より上方(又は下方)にオフセットした第2基準位置Po20を設定し、車両の姿勢変動による虚像と前景との相対的な位置ズレを抑制するために、第2基準位置を基準にして車両の姿勢変動に合わせて虚像の位置をダイナミックに変化させる第2画像調整処理を実行する。
【選択図】
図13
【特許請求の範囲】
【請求項1】
車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前景と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動情報を取得し、
1)所定の第1基準位置を設定し、前記車両の姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第1基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第1画像調整処理、
2)前記姿勢変動情報、又は前記車両の前記姿勢変動が大きくなることを予測する姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より少なくとも上方又は下方にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第2画像調整処理、を含む画像調整処理を実行する、
ことを特徴とする表示制御装置。
【請求項2】
前記プロセッサは、前記第2画像調整処理において、
前記第2基準位置を、前記第1基準位置よりも観察者から見て下側に設定する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記プロセッサは、
前記第1画像調整処理において、前記基準位置を基準にして、前記姿勢変動情報に合わせて前記虚像の位置を上方及び下方にダイナミックに変化させ、
前記第2画像調整処理において、前記基準位置を基準にして、前記姿勢変動情報に合わせて前記虚像の位置を上方にダイナミックに変化させ、下方には変化させない、
ことを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記プロセッサは、
前記姿勢変動情報、又は前記姿勢変動予測情報に基づき、検出される又は予測される前記車両の前記姿勢変動が大きいほど、
前記第2基準位置の、前記第1基準位置からのオフセット量を大きく設定する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項5】
前記虚像は、第1虚像、及び前記第1虚像よりも下方に表示される第2虚像を少なくとも含み、
前記プロセッサは、前記姿勢変動情報、又は前記姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、
前記第1虚像には、前記第2画像調整処理を行い、
前記第2虚像には、前記第1画像調整処理を行う、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項6】
前記プロセッサは、前記車両の前記姿勢変動の振幅が所定値以下になったことを検出した場合、前記第2基準位置を前記第1基準位置に戻す際、徐々に基準位置を変更する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項7】
車両に搭載され、表示面に画像を表示する表示部と、
前記表示部からの表示光を被投影部にむけるリレー光学系と、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え
前記車両の前景と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置であって、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動情報を取得し、
1)所定の第1基準位置を設定し、前記車両の姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第1基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第1画像調整処理、
2)前記姿勢変動情報、又は前記車両の前記姿勢変動が大きくなることを予測する姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より少なくとも上方又は下方にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第2画像調整処理、を含む画像調整処理を実行する、
ことを特徴とするヘッドアップディスプレイ装置。
【請求項8】
車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前景と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御方法であって、
前記車両の姿勢変動を示す姿勢変動情報を取得することと、
1)所定の第1基準位置を設定し、前記車両の姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第1基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第1画像調整処理、
2)前記姿勢変動情報、又は前記車両の前記姿勢変動が大きくなることを予測する姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より少なくとも上方又は下方にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第2画像調整処理、を含む、
ことを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両等の移動体で使用され、移動体の前景(車両の乗員から見た移動体の前進方向の実景)に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等に関する。
【0002】
ヘッドアップディスプレイ(HUD:Head Up Display)装置は、車両前方の風景に画像(仮想オブジェクト)を重ねて表示することで、実景又は実景に存在する実オブジェクトに情報などを付加・強調した拡張現実(AR:Augmented Reality)を表現し、車両を運転するユーザの視線移動を極力抑えつつ、所望の情報を的確に提供することで、安全で快適な車両運行に寄与することができるものである。
【0003】
特許文献1に記載のヘッドアップディスプレイ装置は、表示基準位置に画像(仮想オブジェクト)を表示し、車両の姿勢変動の大きさに基づいて、画像(仮想オブジェクト)の表示位置が表示基準位置からずれないように補正することで、実景又は実景に存在する実オブジェクトに対する画像(仮想オブジェクト)の位置関係のズレを抑制する。これにより、車両の姿勢変動が生じても、画像と実景との相対的な位置関係が維持されるため、画像を実景にさらに調和させることができる。
【0004】
車両の姿勢変動前に、画像が、元々重なって視認されていた実景の領域を重畳実景領域とする。ヘッドアップディスプレイ装置において、車両の大きな姿勢変動によって、虚像表示領域が重畳実景領域に重ならない程ずれてしまった場合、大きな姿勢変動に合わせて画像の位置を調整すると、調整された画像の一部又は全部が、虚像表示領域内に収まらなくなる(表示できなくなる)。姿勢変動によって画像の一部又は全部が欠けてしまう(以下では、この現象を「見切れる」とも表現する)と、虚像の仮想現実感が損なわれ、観察者に違和感を与えることが想定される。
【0005】
特許文献1のヘッドアップディスプレイ装置は、[
図6]に示すように、車両の姿勢変動に対し、表示コンテンツを表示基準位置から上方向へLu、下方向へLdのシフト制限を設けることで、表示コンテンツの見切れが生じないようにしている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
上方向へのシフト可能領域Luを広くしようとした場合、表示コンテンツは、表示領域の比較的下方に表示されることになる。また、下方向へのシフト可能領域Ldを広くしようとした場合、表示コンテンツは、表示領域の比較的上方に表示されることになる。すなわち、車両の姿勢変動に対して上方向へのシフト可能領域を広く設けたい場合や下方向へのシフト可能領域を広く設けたい場合などに合わせて表示領域内に表示されるコンテンツの配置がおおよそ決定されてしまい、コンテンツのレイアウト自由度が低下してしまうことが想定される。
【0008】
逆に言えば、コンテンツ(虚像)のレイアウトを重視した場合、意図せず、車両の姿勢変動に対して上方向へのシフト可能領域が狭くなったり、下方向へのシフト可能領域が狭くなったりしてしまい、車両の姿勢変動に対する画像の所望の位置調整がしづらくなってしまい、虚像が実景に調和している印象が薄れて(仮想現実感が低下して)しまうことが想定される。
【0009】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載された実施態様と、以下に記載されない種々の態様との組み合わせを包含し得る。
【0010】
本開示の概要は、虚像の視認における違和感を低減することに関する。より具体的には、車両の姿勢変動による画像(仮想オブジェクト)の仮想現実感の低下を抑制する、ことにも関する。
【0011】
したがって、本明細書に記載される表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等は、前記課題を解決するため、以下の手段を採用した。本実施形態は、車両の姿勢変動による虚像と前景との相対的な位置ズレを抑制するために、第1基準位置を基準にして車両の姿勢変動に合わせて前記虚像の位置をダイナミックに変化させる第1画像調整処理を実行し、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より上方(又は下方)にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記車両の前記姿勢変動に合わせて前記虚像の位置をダイナミックに変化させる第2画像調整処理を実行する、ことをその要旨とする。
【0012】
したがって、本明細書に記載される第1実施態様における表示制御装置は、車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前景と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動情報を取得し、
1)所定の第1基準位置を設定し、前記車両の姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第1基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第1画像調整処理、
2)前記姿勢変動情報、又は前記車両の前記姿勢変動が大きくなることを予測する姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より少なくとも上方又は下方にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第2画像調整処理、を含む画像調整処理を実行する、ようにする。
【0013】
基準位置は、車両の姿勢が所定の基準姿勢であるときの虚像表示領域内における虚像が表示される位置である。基準姿勢は、車両が通常走行する際に想定される姿勢であり、例えば、路面に対するピッチング角度がゼロ[degree]である。基準位置を上方にオフセットした第2基準位置を有する虚像は、車両の姿勢変動(後傾)により虚像表示領域が上方に移動してしまうことに対して虚像を下方へ補正しても、虚像表示領域内に虚像を収めて表示しやすくなる(虚像の見切れを生じにくくすることができる)。逆に、基準位置を下方にオフセットした第2基準位置を有する虚像は、車両の姿勢変動(前傾)により虚像表示領域が下方に移動してしまうことに対して虚像を上方へ補正しても、虚像表示領域内に虚像を収めて表示しやすくなる(虚像の見切れを生じにくくすることができる)。
【0014】
第1実施形態によれば、車両の姿勢変動が比較的小さい場合(又は姿勢変動が比較的小さいと予測される場合)と、車両の姿勢変動が比較的大きい場合(又は姿勢変動が比較的大きいと予測される場合)とで、姿勢変動に合わせた虚像の位置補正の基準となる基準位置を変えることができる。したがって、車両の姿勢変動が比較的大きい場合、基準位置を上方にオフセットすることで、車両の姿勢変動(後傾)に対する虚像の位置補正をした場合でも虚像の見切れを生じにくくすることができる。また、基準位置を下方にオフセットすることで、車両の姿勢変動(前傾)に対する虚像の位置補正をした場合でも虚像の見切れを生じにくくすることができる。なお、姿勢変動が比較的小さい場合は、基準位置をオフセットしないまま比較的小さな姿勢変動に対する虚像の位置補正を行うことができる。すなわち、姿勢変動が比較的小さい場合は、虚像表示領域内の虚像(コンテンツ)の自由度の高い配置のまま姿勢変動に対する虚像の位置補正を行うことができ、姿勢変動が比較的大きい場合は、基準位置をオフセットすることで虚像の上側又は下側の見切れを起こりにくくすることが想定される。
【0015】
また、第1実施形態に従属し得る第2実施形態の表示制御装置では、前記プロセッサは、前記第2画像調整処理において、
前記第2基準位置を、前記第1基準位置よりも観察者から見て下側に設定する。これによれば、前傾の姿勢変動が比較的大きい場合、基準位置を下方にオフセットすることで、車両の前傾に対する虚像の位置補正をした場合でも虚像の上側の見切れを起こりにくくすることができるという利点も想定される。
【0016】
また、第2実施形態に従属する第3実施形態の表示制御装置では、前記プロセッサは、
前記第1画像調整処理において、前記基準位置を基準にして、前記姿勢変動情報に合わせて前記虚像の位置を上方及び下方にダイナミックに変化させ、
前記第2画像調整処理において、前記基準位置を基準にして、前記姿勢変動情報に合わせて前記虚像の位置を上方にダイナミックに変化させ、下方には変化させない、ようにする。基準位置を下方にオフセットすることで、車両の前傾に対する虚像の位置補正をした場合でも虚像の上側の見切れを起こりにくくすることができるが、車両の後傾に対する虚像の位置補正をした場合に虚像の下側の見切れが起こりやすくなることが想定される。第3実施形態では、第2画像調整処理において、姿勢変動情報に合わせて虚像の位置を上方にはダイナミックに調整し、下方には変化させないことで、車両の前傾に対する虚像の位置補正をした場合に虚像の上側の見切れを起こりにくくすることができ、かつ車両が後傾した場合に虚像の下側の見切れが起こらないようにすることができるという利点も想定される。
【0017】
また、第1乃至第3実施形態に従属し得る第4実施形態の表示制御装置では、前記プロセッサは、
前記姿勢変動情報、又は前記姿勢変動予測情報に基づき、検出される又は予測される前記車両の前記姿勢変動が大きいほど、
前記第2基準位置の、前記第1基準位置からのオフセット量を大きく設定する、ようにする。基準位置のオフセットにより、前傾又は後傾の一方の姿勢変動に対する虚像の位置補正による表示欠けを抑制することができるが、前傾又は後傾の他方の姿勢変動に対する虚像の位置補正による表示欠けは逆に発生しやすくなることが想定される。本実施形態によれば、生じ得る姿勢変動の大きさに合わせて基準位置のオフセット量を設定することで、前傾又は後傾の一方の姿勢変動に対する虚像の位置補正による表示欠けを抑制しつつ、他方の姿勢変動に対する虚像の位置補正による表示欠けも抑制することができるという利点も想定される。
【0018】
また、第1乃至第4実施形態に従属し得る第5実施形態の表示制御装置では、前記虚像は、第1虚像、及び前記第1虚像よりも前記虚像表示領域の上下方向の中央から遠い位置に表示される第2虚像を少なくとも含み、
前記プロセッサは、前記姿勢変動情報、又は前記姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、
前記第1虚像には、前記第2画像調整処理を行い、
前記第2虚像には、前記第1画像調整処理を行う、ようにする。本実施形態によれば、前傾又は後傾の車両の比較的大きい姿勢変動に対する虚像の位置補正をした場合でも、虚像の見切れを生じにくくすることができるという利点も想定される。
【0019】
また、第2実施形態に従属し得る第5実施形態の表示制御装置では、前記虚像は、第1虚像、及び前記第1虚像よりも下方に表示される第2虚像を少なくとも含み、
前記プロセッサは、前記姿勢変動情報、又は前記姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、
前記第1虚像には、前記第2画像調整処理を行い、
前記第2虚像には、前記第1画像調整処理を行い、
前記第2画像調整処理において、前記第2基準位置を、前記第1基準位置よりも観察者から見て下側に設定する、ようにする。本実施形態によれば、前傾の車両の比較的大きい姿勢変動に対する虚像の位置補正をした場合でも、虚像の上側の見切れを生じにくくすることができるという利点も想定される。
【0020】
また、第1乃至第5実施形態に従属し得る第6実施形態の表示制御装置では、前記プロセッサは、前記車両の前記姿勢変動の振幅が所定値以下になったことを検出した場合、前記第2基準位置を前記第1基準位置に戻す際、徐々に基準位置を変更する、ようにする。これによれば、第2基準位置から第1基準位置に虚像が瞬間的に戻ることにより観察者に与え得る違和感を軽減することも想定される。
【0021】
また、第1乃至第5実施形態に従属し得る第6実施形態の表示制御装置では、車両に搭載され、表示面に画像を表示する表示部と、
前記表示部からの表示光を被投影部にむけるリレー光学系と、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え
前記車両の前景と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置であって、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動情報を取得し、
1)所定の第1基準位置を設定し、前記車両の姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第1基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第1位置調整処理、
2)前記姿勢変動情報、又は前記車両の前記姿勢変動が大きくなることを予測する姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より少なくとも上方又は下方にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第2位置調整処理、を含む位置調整処理を実行する、
ことを特徴とするヘッドアップディスプレイ装置。
【0022】
また、第1乃至第5実施形態に従属し得る第6実施形態の表示制御装置では、車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前景と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御方法であって、
前記車両の姿勢変動を示す姿勢変動情報を取得することと、
1)所定の第1基準位置を設定し、前記車両の姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第1基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第1位置調整処理、
2)前記姿勢変動情報、又は前記車両の前記姿勢変動が大きくなることを予測する姿勢変動予測情報に基づき、前記車両の前記姿勢変動が大きくなると判定された場合、前記虚像の基準位置を前記第1基準位置より少なくとも上方又は下方にオフセットした第2基準位置を設定し、前記車両の前記姿勢変動による前記虚像と前記前景との相対的な位置ズレを抑制するために、前記第2基準位置を基準にして前記姿勢変動情報に合わせて前記虚像の位置をダイナミックに変化させる第2位置調整処理、を含む、
ことを特徴とする表示制御方法。
【図面の簡単な説明】
【0023】
【
図1】
図1は、本実施形態の車両用表示システムを車両へ適用した例を示す図である。
【
図2】
図2は、ヘッドアップディスプレイ装置の構成を示す図である。
【
図3】
図3は、いくつかの実施形態の車両用表示システムのブロック図である。
【
図4】
図4は、いくつかの実施形態に従って、コンテンツ、及び仮想視点を配置したモデル空間を説明する図である。
【
図5】
図5は、車両の走行中において、観察者が視認する前景と、前景に重畳して表示される画像(虚像)の例を示す図である。
【
図6】
図6は、位置調整処理前の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図7A】
図7Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図7B】
図7Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図8A】
図8Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図8B】
図8Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図9】
図9は、位置調整量の限度CTを説明するための図である。
【
図10】
図10は、複数のコンテンツ毎に設定された複数の位置調整範囲を説明するための図である。
【
図11】
図11は、比較例における大きな姿勢変動に対する画像調整処理を説明する図である。
【
図12】
図12は、本実施形態における車両の姿勢変動が大きくなると判定されていない場合の画像調整処理を説明する図である。
【
図13】
図13は、本実施形態における車両の姿勢変動が大きくなると判定された場合の画像調整処理を説明する図である。
【
図14】
図14は、本実施形態における車両の姿勢変動が大きくなると判定された場合の画像調整処理を説明する図である。
【
図15】
図15は、本実施形態における車両の姿勢変動が大きくなると判定された場合の画像調整処理を説明する図である
【
図16】
図16は、いくつかの実施形態における表示制御のフローを示す図である。
【発明を実施するための形態】
【0024】
以下、
図1ないし
図10、及び
図12ないし
図16では、例示的な車両用表示システムの構成、及び動作の説明を提供する。なお、本発明は以下の実施形態(図面の内容も含む)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【0025】
図1を参照する。
図1は、車両用虚像表示システムの構成の一例を示す図である。なお、
図1において、車両(移動体の一例。)1の左右方向(換言すると、車両1の幅方向)をX軸(X軸の正方向は、車両1の前方を向いた際の左方向。)とし、左右方向に直交すると共に、地面又は地面に相当する面(ここでは路面6)に直交する線分に沿う上下方向(換言すると、車両1の高さ方向)をY軸(Y軸の正方向は、上方向。)とし、左右方向及び上下方向の各々に直交する線分に沿う前後方向をZ軸(Z軸の正方向は、車両1の直進方向。)とする。この点は、他の図面においても同様である。
【0026】
図示するように、車両(移動体)1に備わる車両用表示システム10は、観察者(典型的には車両1の運転席に着座する運転者)の左目700Lと右目700Rの位置や視線方向を検出する瞳(あるいは顔)検出用の目位置検出部(視線検出部)409、車両1の前方(広義には周囲)を撮像するカメラ(例えばステレオカメラ)などで構成される車外センサ411、車両1の姿勢を検出する姿勢検出部415、ヘッドアップディスプレイ装置(以下では、HUD装置とも呼ぶ)20、及びHUD装置20を制御する表示制御装置30、を有する。なお、目位置検出部(視線検出部)409、車外センサ411は、省略され得る。
【0027】
図2は、ヘッドアップディスプレイ装置(HUD装置)20の構成の一態様を示す図である。HUD装置20は、例えばダッシュボード(
図1の符号5)内に設置される。このHUD装置20は、画像表示装置(表示部)40、リレー光学系80及び、これら画像表示装置40とリレー光学系80を収納し、画像表示装置40からの表示光Kを内部から外部に向けて出射可能な光出射窓21を有する筐体22、を有する。HUD装置20は、虚像V0を空中に表示することで、仮想的なコンテンツFUを表現する。
【0028】
画像表示装置(表示部)40は、ここでは視差式3D表示装置とする。この立体表示装置(視差式3D表示装置)40は、左視点画像と右視点画像と視認させることで奥行き表現を制御可能な多視点画像表示方式を用いた裸眼立体表示装置である表示器50及び、バックライトとして機能する光源ユニット60、により構成される。なお、画像表示装置(表示部)40は、3D画像を表示する立体画像表示装置に限定されるものではなく、2D画像を表示するものであってもよい。すなわち、虚像V0は、3D表示又は2D表示であってもよい。
【0029】
後述する表示制御装置30は、例えば、画像レンダリング処理(グラフィック処理)、表示器駆動処理などを実行することで、観察者の左目700Lへ左視点画像V1の左目用表示光K10及び、右目700Rへ右視点画像V2の右目用表示光K20、を向け、左視点画像V1及び右視点画像V2を調整することで、HUD装置20が表示する(観察者が知覚する)コンテンツFUの態様を制御することができる。なお、後述する表示制御装置30は、一定空間に存在する点などから様々な方向に出力される光線をそのまま(概ね)再現するライトフィールドを再現するように、ディスプレイ(表示器50)を制御してもよい。
【0030】
リレー光学系80は、画像表示装置40からの光を反射し、画像の表示光K10、K20を、ウインドシールド(被投影部材)2に投影する曲面ミラー(凹面鏡等)81、82を有する。但し、その他の光学部材(レンズなどの屈折光学部材、ホログラムなどの回折光学部材、反射光学部材又は、これらの組み合わせを含んでいてもよい。)を、さらに有してもよい。
【0031】
図1では、HUD装置20の画像表示装置40によって、左右の各目用の、視差をもつ画像(視差画像)が表示される。各視差画像は、
図1に示されるように、虚像表示領域(虚像結像面)VSに結像したV1、V2として表示される。観察者(人)の各目のピントは、虚像表示領域VSの位置に合うように調節される。なお、虚像表示領域VSの位置を、「調節位置(又は結像位置)」と称し、また、所定の基準位置(例えば、HUD装置20のアイボックス200の中心205、観察者の視点位置、又は、車両1の特定位置など)から虚像表示領域VSまでの距離を調節距離(結像距離)と称する。
【0032】
また、虚像表示領域VSは、表示器50における表示面50aに対応して、乗員(運転者等の視認者)の前方の実空間に設定される仮想的な(見かけ上の)面である。また、虚像表示領域VSとしては、例えば、路面6に垂直な立面VS1、路面6に対して傾斜した傾斜面VS2、路面6に重畳される路面重畳面VS3、乗員(視認者)に近い側が立面(疑似立面を含む)であり、遠い側が傾斜面となっている面(不図示)等がある。立面VS1を除く他の面を用いた表示では、虚像表示領域上での表示位置に応じて虚像の表示距離が異なり、よって奥行き表現が可能である。
【0033】
図3は、いくつかの実施形態に係る、車両用虚像表示システムのブロック図である。表示制御装置30は、1つ又は複数のI/Oインタフェース31、1つ又は複数のプロセッサ33、1つ又は複数の表示制御処理回路35、及び1つ又は複数のメモリ37を備える。
図3は、1つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、表示制御処理回路35(例えば、グラフィック処理ユニット)が、1つ又は複数のプロセッサ33に含まれてもよい。
【0034】
図示するように、プロセッサ33及び表示制御処理回路35は、メモリ37と動作可能に連結される。より具体的には、プロセッサ33及び表示制御処理回路35は、メモリ37に記憶されているプログラムを実行することで、例えば画像データを生成、及び/又は送信するなど、車両用表示システム10(画像表示装置40)の制御を行うことができる。プロセッサ33及び/又は表示制御処理回路35は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリ37は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVRAMを含んでもよい。
【0035】
図示するように、プロセッサ33は、I/Oインタフェース31と動作可能に連結されている。I/Oインタフェース31は、例えば、車両に設けられた後述の車両ECU401及び/又は、他の電子機器(後述する符号403~419)と、CAN(Controller Area Network)の規格に応じて通信(CAN通信とも称する)を行う。なお、I/Oインタフェース31が採用する通信規格は、CANに限定されず、例えば、CANFD(CAN with Flexible Data Rate)、LIN(Local Interconnect Network)、Ethernet(登録商標)、MOST(Media Oriented Systems Transport:MOSTは登録商標)、UART、もしくはUSBなどの有線通信インタフェース、又は、例えば、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi-Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)等の数十メートル内の近距離無線通信インタフェースである車内通信(内部通信)インタフェースを含む。また、I/Oインタフェース31は、無線ワイドエリアネットワーク(WWAN0、IEEE802.16-2004(WiMAX:Worldwide Interoperability for Microwave Access))、IEEE802.16eベース(Mobile WiMAX)、4G、4G-LTE、LTE Advanced、5Gなどのセルラー通信規格により広域通信網(例えば、インターネット通信網)などの車外通信(外部通信)インタフェースを含んでいてもよい。
【0036】
図示するように、プロセッサ33は、I/Oインタフェース31と相互動作可能に連結されることで、車両用表示システム10(I/Oインタフェース31)に接続される種々の他の電子機器等と情報を授受可能となる。I/Oインタフェース31には、例えば、車両ECU401、道路情報データベース403、自車位置検出部405、操作検出部407、目位置検出部409、車外センサ411、明るさ検出部413、姿勢検出部415、携帯情報端末417、及び外部通信機器419などが動作可能に連結される。なお、I/Oインタフェース31は、車両用表示システム10に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
【0037】
画像表示装置40は、プロセッサ33及び表示制御処理回路35に動作可能に連結される。したがって、光変調素子51によって表示される画像は、プロセッサ33及び/又は表示制御処理回路35から受信された画像データに基づいてもよい。プロセッサ33及び表示制御処理回路35は、I/Oインタフェース31から取得される情報に基づき、光変調素子51が表示する画像を制御する。
【0038】
メモリ37に記憶されたソフトウェア構成要素は、描画モジュール510、及び画像調整モジュール520(位置調整モジュール522、俯角調整モジュール524、サイズ調整モジュール526)を含む。
【0039】
描画モジュール510は、表示制御装置30が取得した情報(ナビゲーション情報、車両情報など)に基づいて、画像Mを形成し、バッファ(不図示)に形成された画像Mを一時的に保存する。表示器50に表示された画像Mは、虚像V0として観察者700に視認される。このとき、虚像V0は、コンテンツFUを表現する。
【0040】
描画モジュール510は、各描画フレームにおいて、描画するコンテンツFUの各頂点データの計算を行う。この場合、各コンテンツFUのモデル空間を構築する。そして、仮想オブジェクト毎の「モデル座標系(ローカル座標系)」上で、描画する各頂点のデータを計算する。描画モジュール510は、モデル座標系に描画したコンテンツFUを、仮想視点VPを基準とした所定の射影面(後述する虚像表示領域VS)に射影することで2次元画像に変換し、この2次元画像を画像Mとする。なお、描画モジュール510は、「モデル座標系(ローカル座標系)」に配置した各コンテンツFUを「ワールド座標系」の空間に配置してもよい。すなわち、「モデル座標系」上で計算された描画対象の各コンテンツFUの頂点データを「ワールド座標系」上に配置していってもよい。なお、一部又は全部のコンテンツFUは、「ワールド座標系」上に配置されなくてもよい。
【0041】
図4は、コンテンツFU及び仮想視点VPを配置したモデル空間を説明する図である。
図4では、仮想視点VPの座標系は、奥行き方向をZ1軸方向とし、左右方向をX1軸方向(車両1の幅方向Xに対応している)とし、上下方向をY1軸方向(車両1の上下方向Yに対応している)とする。観察者700は、被投影部2を介して虚像表示領域VSに形成された(結像された)虚像V0を視認することで、所定のターゲット位置MPに、コンテンツFUがあるように知覚する。
【0042】
例えば、コンテンツFU1が、進路を案内する矢印である場合、仮想視点VP0から見て実景の所定のターゲット位置MP1にコンテンツFU1が配置されているかのように視認されるように、虚像V10の矢印が虚像表示領域VSに表示される。すなわち、仮想視点VPを基準に、コンテンツFUを虚像表示領域VSに射影変換された画像(ここでは虚像V10)を表示すると、仮想視点VPと同様の位置(例えば、アイボックス200の中心205)から観察者700が見ると、
図5に示すように、仮想視点VPから見たような所定のターゲット位置MP1に配置されているようなコンテンツFU1を知覚することができる。
【0043】
通常は、コンテンツFU1が配置される(設定される)ターゲット位置MP1が配置される仮想平面100は、前景(路面6)の表面の高さに一致させる(すなわち、設定高さを0mに設定する)。但し、これは一例であり、限定されるものではない。俯角βは、所定の仮想視点VPから見た水平方向(Z1-X1平面)とコンテンツFU(ターゲット位置MP)との間の角度(見下ろし角)である。
【0044】
また、他の例では、ターゲット位置MPは、前景(路面6)の表面の高さより高い位置に設定してもよい(すなわち、設定高さを0.5mや1mに設定してもよい)。例えば、車両1の速度を示す第2コンテンツFU2を、第1コンテンツFU1よりも仮想視点VPに近いターゲット位置MP2に配置してもよい。このように配置すると、仮想視点VPの移動(ここでは、車両1の姿勢変動に応じた移動)によって、第1コンテンツFU1と第2コンテンツFU2とで視差を生じさせることができる。仮想視点VPの移動(ここでは、車両1の姿勢変動に応じた移動)に伴い虚像表示領域VSに表示される虚像V10(第1コンテンツFU1)と虚像V20(第2コンテンツFU2)は位置調整が行われるが、虚像V10(第1コンテンツFU1)の位置調整量は、虚像V20(第2コンテンツFU2)の位置調整量より大きく設定される。他の例では、ターゲット位置MPは、前景(路面6)の表面の高さより低い位置に設定してもよい(すなわち、設定高さを-1mや-2mに設定してもよい)。
【0045】
図3の画像調整モジュール520(位置調整モジュール522、俯角調整モジュール524、サイズ調整モジュール526)は、車両1の姿勢変動に合わせて、虚像表示領域VS内に表示する虚像V20の位置を調整する処理(位置調整処理)、俯角を調整する処理(俯角調整処理)、及びサイズを調整する処理(サイズ調整処理)を実行する。
【0046】
図6は、位置調整処理前の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図6では、車両姿勢AT10が基準姿勢AT11(ピッチング角α0)であるとする。仮想平面100のターゲット位置MP(第1の領域110)にコンテンツFUが配置される。コンテンツFUは、所定のサイズを有し、仮想平面100の第1の領域110に重なるように配置される。コンテンツFUのサイズは、
図6では、第1の領域110の奥行き方向の第1の長さL10とする。任意の仮想平面100は、コンテンツFUが配置される仮想的な平面であり、例えば、車両1の前後左右方向と平行に設定される(路面6と概ね一致していてもよい)。描画モジュール510は、仮想視点VP1を基準に、コンテンツFUを虚像表示領域VS1に射影変換された画像(ここでは虚像V21)を表示するように、虚像V21の元となる画像Mを表示器50に表示させる。ここで、仮想視点VP1から第1の領域110まで仮想平面100に沿った距離をD0とし、仮想平面100から仮想視点VP1までの距離をh0とする。基準姿勢AT11は、予めメモリ37に記憶された車両の基準となるピッチング角α0のときの車両姿勢であり、典型的には、車両のピッチング角がゼロ(路面6に対して平行)である状態である。なお、基準姿勢AT11(基準となるピッチング角α0)は、可変してもよい。具体的には、車両のピッチング角αが所定の時間以上あまり変化がない場合、その時の安定したピッチング角αを基準となるピッチング角α0(基準姿勢AT11)として設定(更新)し、メモリ37に記憶してもよい。
【0047】
図7Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図7Aでは、車両姿勢AT10が、第1画像調整処理前の車両姿勢AT11よりも車両1が比較的小さいピッチング角α12だけ前傾したAT12であるとする。ここで前傾とは、
図6に示す車両姿勢AT11を基準に、車両1の前方が下がる(換言すると、車両1の後方が上がる)ことを指すものとする。
図6の状態から
図7Aの状態へ車両1が前傾すると、観察者の視点から見られる虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に下方(Y軸負方向)にB12だけシフトする。第1の画像調整処理が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動による下方向のシフト量B12に伴い、
図7A右図の位置G2に下方向のシフト量B12だけシフトしてしまう。すなわち、観察者の視点から見られるコンテンツFUは、配置しておきたいターゲット位置MP1から虚像V21がずれてしまう。いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理を実行することで、姿勢変動によるシフト量B12を抑制(相殺)するように、虚像の位置G2を上方(Y軸正方向)に第1位置調整量C12(C10)だけ補正する(位置調整した虚像V22を表示する)。好ましくは、第1位置調整量C12(C10)は、姿勢変動による画像シフト量B12(B10)と等しくする(C10=B10)ことで、姿勢変動後での虚像V20を、第1の領域110(ターゲット位置MP1)に維持することができる。これによれば、姿勢変動による画像シフト量B10は、第1位置調整量C10によって相殺され、観察者に認識されない。但し、第1位置調整量C10は、姿勢変動による画像シフト量B10を低減できればよく、画像シフト量B10より小さくてもよい。これによれば、車両姿勢の変化に基づく虚像の位置ずれを抑制することができる。
【0048】
図7Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図7Bでは、車両姿勢AT10が、第2画像調整処理前の車両姿勢AT11よりも車両1が比較的大きいピッチング角α13(>α12)だけ前傾したAT13であるとする。
図6の状態から
図7Bの状態へ車両1が前傾すると、虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に下方(Y軸負方向)にB13だけシフトする。位置調整が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動によるシフト量B13に伴い、
図7B右図の位置G3にシフト量B13だけシフトしてしまう。この姿勢変動による下方向のシフト量B13を相殺するために、虚像V20を上方向にシフト量B13だけ移動させればよいが、虚像V20を上方向にシフト量B13だけ移動させると、虚像表示領域VS13の外に出ることになる。
【0049】
いくつかの実施形態におけるプロセッサ33は、車両1の姿勢変動が大きい場合(後述の所定条件の一例)、第2の画像調整処理を実行することで、姿勢変動による虚像表示領域VSの下方向のシフト量B13に対し、第1の画像調整処理における第1位置調整量C13(C10)よりも小さい第2位置調整量C23(C20)だけ虚像の位置G3を上方(Y軸正方向)に補正する(位置調整した虚像V23を表示する)。第2位置調整量C23(C20)は、姿勢変動による画像シフト量B13(B10)より小さくする(C20<B10)ことで、第1の画像調整処理に比べると、第1の領域110(ターゲット位置MP1)よりも近傍側の第2の領域120(ターゲット位置MP1とは異なる位置)へ大きくずれてしまうものの、虚像V23を、虚像表示領域VS13内に維持することができる。これによれば、姿勢変動による画像シフトB13(B10)は、第2位置調整量C23(C20)では相殺されないため、観察者に認識される。
【0050】
コンテンツFUは、路面6に対して所定の角度関係をもって配置される。具体的に例えば、コンテンツFUは、路面6に平行に視認されるように配置される。しかしながら、車両1のピッチング角αが変化した場合、コンテンツFUと路面6との角度関係が変化してしまう。具体的には、虚像V20が路面6に平行になるように表示されていた場合、ピッチング角αにより虚像V20と路面6との平行関係がピッチング角αだけずれることになる。この車両1の姿勢変動(ピッチング)に伴う虚像V20と路面6との角度関係のずれは、虚像V20の左右方向を軸とした角度(虚像V20の見下ろし角(俯角))βを調整することで補正することができる。
【0051】
本実施形態におけるプロセッサ33は、少なくとも第2の画像調整処理において、車両1の姿勢変動に対し、虚像V20(コンテンツFU)の俯角βを調整する。プロセッサ33は、前傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを増加させる。逆に、プロセッサ33は、後傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを減少させる。
【0052】
いくつかの実施形態におけるプロセッサ33は、第2の画像調整処理に加えて、第1の画像調整処理でも、車両1の姿勢変動に対し、虚像V20(コンテンツFU)の俯角βを調整してもよい。第2の画像調整処理と同様、プロセッサ33は、前傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを増加させる。逆に、プロセッサ33は、後傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを減少させる。
【0053】
いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理において、ピッチング角の変化量αと同じ角度だけ俯角βを調整し得る。具体的には、
図6の状態から
図7Aの状態へ車両1が前傾する場合、ピッチング角の変化量αは、α12である。
図6に示す仮想視点VP1は、
図7Aに示す前傾のピッチング角の変化量α12に基づき、仮想平面100に対する仮想視点VP2の角度がα12だけ変化させる。これにより、仮想視点VP2を基準としたターゲット位置MP1に配置されるコンテンツFUを見下ろす俯角β12は、俯角β11よりもα12だけ大きくなる。また、いくつかの実施形態におけるプロセッサ33は、ピッチング角の変化量αに係数を乗算した角度だけ俯角βを調整し得る。
【0054】
また、いくつかの実施形態におけるプロセッサ33は、第2の画像調整処理において、ピッチング角の変化量αと同じ角度だけ俯角βを調整し得る。具体的には、
図6の状態から
図7Bの状態へ車両1が前傾する場合、ピッチング角の変化量αは、α13である。
図6に示す仮想視点VP1は、
図7Bに示す前傾のピッチング角の変化量α13により、仮想視点VP3の位置に移動し、仮想平面100に対する仮想視点VP3の角度がα13だけ変化する。これに合わせて、プロセッサ33は、虚像V23で表現するコンテンツFUの俯角βを前傾のピッチング角の変化量α13の分だけ大きくしてもよい。また、いくつかの実施形態におけるプロセッサ33は、ピッチング角の変化量αに係数を乗算した角度だけ俯角βを調整し得る。
【0055】
好ましい、いくつかの実施形態におけるプロセッサ33は、第2の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E20)を、第1の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E10)より大きくしてもよい。第2の画像調整処理された虚像V23は、第1の画像調整処理された虚像V22よりもターゲット位置MP1からずれて視認されることになる。具体的には、前傾において、第2の画像調整処理された虚像V23は、第1の画像調整処理された虚像V22よりもターゲット位置MP1(110)を基準として、より観察者の手前側の実景(路面6)に重なる位置120にシフトして視認されることになる。コンテンツFUが路面6と平行な仮想平面100に沿って観察者の近くに配置される場合、仮想視点VPを基準としたコンテンツFUを見下ろす俯角βは大きくなる。逆に、コンテンツFUが観察者から遠くに配置される場合、仮想視点VPを基準としたコンテンツFUを見下ろす俯角βは小さくなる。したがって、より好ましいいくつかの実施形態におけるプロセッサ33は、第2の画像調整処理におけるコンテンツFUの俯角βの調整量(俯角調整量)を、車両1のピッチング角αの変化による俯角調整量と、仮想平面100(一例として路面6と概ね一致するように設定される)の遠近方向におけるコンテンツFUのシフトによる俯角調整量と、を合わせた俯角調整量としてもよい。
図7Bにおける俯角β13は、姿勢変化の基準となる
図6の俯角β11を、コンテンツFUが仮想平面100上の第1の領域110から近傍側の第2の領域120にシフトしたことによる俯角調整量と、車両1のピッチング角αの変化による俯角調整量とを合わせた俯角調整量により補正したものとして演算される。
【0056】
図8Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図8Aでは、車両姿勢AT10が、第1画像調整処理前の車両姿勢AT11よりも車両1が比較的小さいピッチング角α14だけ後傾したAT14であるとする。ここで後傾とは、
図6に示す車両姿勢AT11を基準に、車両1の前方が上がる(換言すると、車両1の後方が下がる)ことを指すものとする。
図6の状態から
図8Aの状態へ車両1が後傾すると、虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に上方(Y軸正方向)にB14だけシフトする。第1の画像調整処理が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動による上方向のシフト量B14に伴い、
図8A右図の位置G4に上方向のシフト量B14だけシフトしてしまう。すなわち、コンテンツFUを配置しておきたいターゲット位置MP1から虚像V21がずれてしまう。いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理を実行することで、姿勢変動によるシフト量B14を抑制(相殺)するように、虚像の位置G4を下方(Y軸負方向)に第1位置調整量C14(C10)だけ補正する(位置調整した虚像V24を表示する)。好ましくは、第1位置調整量C14(C10)は、姿勢変動による画像シフト量B14(B10)と等しくする(C10=B10)ことで、姿勢変動後での位置G4に表示されてしまう虚像V21を、第1の領域110(ターゲット位置MP1)に維持することができる。これによれば、姿勢変動による画像シフトB14(B10)は、第1位置調整量C14(C10)によって相殺され、観察者に認識されない。但し、第1位置調整量C10は、姿勢変動による画像シフト量B10を低減できればよく、画像シフト量B10より小さくてもよい。これによれば、車両姿勢の変化に基づく位置ずれを抑制することができる。
【0057】
いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理において、車両1の後傾方向のピッチング角の変化量αと同じ角度だけ俯角βを調整し得る。具体的には、
図6の状態から
図8Aの状態へ車両1が後傾する場合、ピッチング角の変化量αは、α14である。
図6に示す仮想視点VP1は、
図8Aに示す後傾のピッチング角の変化量α14により、仮想平面100に対する仮想視点VP4の角度がα14だけ変化する。これにより、仮想視点VP4を基準としたターゲット位置MP1に配置されるコンテンツFUを見下ろす俯角β14は、俯角β11よりもα14だけ小さくなる。また、いくつかの実施形態におけるプロセッサ33は、ピッチング角の変化量αに係数を乗算した角度だけ俯角βを調整し得る。
【0058】
図8Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図8Bでは、車両姿勢AT10が、第2画像調整処理前の車両姿勢AT11よりも車両1が比較的大きいピッチング角α15(α14>)だけ後傾したAT15であるとする。
図6の状態から
図8Bの状態へ車両1が後傾すると、虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に上方(Y軸正方向)にB15だけシフトする。位置調整が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動によるシフト量B15に伴い、
図8B右図の位置G5にシフト量B15だけシフトしてしまう。この姿勢変動による上方向のシフト量B15を相殺するために、位置G5に表示されてしまう虚像を下方向にシフト量B15だけ移動させればよいが、位置G5に表示されてしまう虚像を下方向にシフト量B15だけ移動させると、虚像表示領域VS15の外に出ることになる。
【0059】
いくつかの実施形態におけるプロセッサ33は、姿勢変動が大きい場合(後述の所定条件の一例)、第2の画像調整処理を実行することで、姿勢変動による虚像表示領域VSの上方向のシフト量B15に対し、第1の画像調整処理における第1位置調整量C15(C10)よりも小さい第2位置調整量C25(C20)だけ虚像の位置G5を下方(Y軸正方向)に補正する(位置調整した虚像V25を表示する)。第2位置調整量C25(C20)は、姿勢変動による画像シフト量B15(B10)より小さくする(C20<B10)ことで、第1の画像調整処理に比べると、第1の領域110(ターゲット位置MP1)よりも遠方側の第5の領域150(ターゲット位置MP1とは異なる位置)へ大きくずれてしまうものの、虚像V25を、虚像表示領域VS15内に維持することができる。これによれば、姿勢変動による画像シフト量B10は、第2位置調整量C20では相殺されないため、観察者に認識される。本実施形態におけるプロセッサ33は、後傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを減少させる。
【0060】
好ましいいくつかの実施形態におけるプロセッサ33は、第2の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E20)を、第1の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E10)より大きくしてもよい。第2の画像調整処理された虚像V25は、第1の画像調整処理された虚像V23よりもターゲット位置MP1からずれて視認されることになる。具体的には、後傾において、第2の画像調整処理された虚像V25は、第1の画像調整処理された虚像V24よりもターゲット位置MP1(110)を基準としてより観察者の遠方側の実景(路面6)に重なる位置150にずれて視認されることになる。コンテンツFUが路面6と平行な仮想平面100に沿って観察者から遠ざけて配置される場合、仮想視点VPを基準としたコンテンツFUを見下ろす俯角βは小さくなる。したがって、
図8Bにおける俯角β15は、姿勢変化の基準となる
図6の俯角β11を、コンテンツFUが仮想平面100上の第1の領域110から遠方側の第3の領域130にシフトしたことによる俯角調整量と、車両1のピッチング角αの変化による俯角調整量とを合わせた俯角調整量により補正したものとして演算されてもよい。
【0061】
プロセッサ33(画像調整モジュール520)は、描画データに含まれる位置調整処理を実行する前の画像Mの表示位置を示す情報(基準位置Poを示す情報)から、虚像V0(虚像V0の元となる画像M)の位置調整量の限度CTを設定する。具体的に例えば、画像調整モジュール520は、位置調整範囲VTを設定し、位置調整範囲VT、及び基準位置Poに基づいて、位置調整量Cの限度CTを設定する。
【0062】
図9は、位置調整量の限度CTを説明するための図である。虚像V10の基準位置Poに対し、位置調整範囲VTの下端が近くに設定されれば、虚像V10の下方向の位置調整量の限度CTdは短く設定される。一方、虚像V10の基準位置Poに対し、位置調整範囲VTの上端が遠くに設定されれば、虚像V10の上方向の位置調整量の限度CTuは長く設定される。プロセッサ33(画像調整モジュール520)は、位置調整範囲VTを虚像表示領域VSに表示される複数の虚像V0毎に個別に設定してもよく、すべての虚像V0で共通に設定してもよい。位置調整範囲VTは、虚像表示領域VSであってもよい(虚像表示領域VSの全体が位置調整範囲VTに設定されてもよい)。
【0063】
なお、画像調整モジュール520は、車両1の姿勢変動(ピッチング角α)と、虚像V10の位置調整量Cと、を関連付けたテーブルデータ(不図示)を有し、前記テーブルデータに基づき、虚像V10の位置調整量Cが下方向の位置調整量の限度CTdに達する際に想定される後傾のピッチング角の限度(姿勢閾値)αTu、及び虚像V10の位置調整量Cが上方向の位置調整量の限度CTuに達する際に想定される前傾のピッチング角の限度(姿勢閾値)αTdを設定してもよい。
【0064】
虚像V10(虚像V20)が、位置調整範囲VT内で下方にシフトされる場合、虚像V10(虚像V20)は、下方向の位置調整量の限度CTda(V20の場合CTdb)に達するまで姿勢変動に応じてダイナミックにシフトする(第1位置調整処理)が、それ以上大きな姿勢変動に対しては下方向の位置調整量の限度CTda(V20の場合CTdb)で位置調整した位置(下方周縁部VTd)に固定表示される(第2位置調整処理)ようにする。逆に、虚像V10(虚像V20)が、位置調整範囲VT内で上方にシフトされる場合、虚像V10(虚像V20)は、上方向の位置調整量の限度CTua(V20の場合CTub)に達するまで姿勢変動に応じてダイナミックにシフトする(第1位置調整処理)が、それ以上大きな姿勢変動に対しては上方向の位置調整量の限度CTa(V20の場合CTub)で位置調整した位置(上方周縁部VTu)に固定表示される(第2位置調整処理)ようにする。
【0065】
図10は、複数のコンテンツ毎に設定された複数の位置調整範囲VTを説明するための図である。第1虚像V10は、第1位置調整範囲VTa内の基準位置Poaを基準に、上方周縁部Vtuaまでの上方向の位置調整量の限度CTuaと、下方周縁部Vtdaまでの下方向の位置調整量の限度CTdaと、が設定される。第2虚像V20は、第2位置調整範囲VTb内の基準位置Pobを基準に、上方周縁部Vtubまでの上方向の位置調整量の限度CTubと、下方周縁部Vtdbまでの下方向の位置調整量の限度CTdbと、が設定される。第1コンテンツFU1の第1位置調整量C10a又は第2コンテンツFU2の第1位置調整量C10bのいずれか一方でも、位置調整量の限度CTu(又はCTd)に達する場合、限度に達した一方のコンテンツだけではなく、他方のコンテンツも同時に第1位置調整処理から2位置調整処理に切り替えても良い。
【0066】
図11は、比較例における大きな姿勢変動に対する画像調整処理を説明する図である。時間t91~t92では、ピッチング角αは、予め設定された姿勢閾値902より小さい前傾である。位置調整量910は、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角901の前傾)に合わせて虚像表示領域VS内の虚像の位置を上方にダイナミックに補正する第1位置調整量911に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、ターゲット位置960に維持される)。
【0067】
時間t92~t93では、ピッチング角901は、予め設定された姿勢閾値902より大きい前傾である(第1位置調整量911は、予め設定された上方向の位置調整量の限度951より大きい)。位置調整量910は、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量911より小さく、姿勢変動(ピッチング角901の前傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量912に設定される。この場合、姿勢変動(ピッチング角901の前傾)によって、虚像は、ターゲット位置960に対して下方へずれる(換言すると、前傾によって虚像が観察者の近傍側の前景(路面)と重なる位置へシフトする)。
【0068】
時間t93~t94では、ピッチング角901は、予め設定された姿勢閾値902より小さい前傾である(第1位置調整量911は、予め設定された上方向の位置調整量の限度951より小さい)。時間t94~t95では、ピッチング角901は、予め設定された後傾の姿勢閾値903より小さい後傾である(第1位置調整量911は、予め設定された下方向の位置調整量の限度952より小さい)。位置調整量910は、姿勢変動により生じた下方向(t94~t95では上方向)への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角901の前傾(t94~t95では後傾))に合わせて虚像表示領域VS内の虚像の位置を上方向(t94~t95では下方向)にダイナミックに補正する第1位置調整量911に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、ターゲット位置960に維持される)。
【0069】
時間t95~t96では、ピッチング角901は、予め設定された後傾の姿勢閾値903より大きい後傾である(第1位置調整量911は、予め設定された下方向の位置調整量の限度952より大きい)。位置調整量910は、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量911より小さく、姿勢変動(ピッチング角901の後傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量912に設定される。この場合、姿勢変動(ピッチング角901の後傾)によって、虚像は、ターゲット位置960に対して上方へずれる(換言すると、後傾によって虚像が観察者の遠方側の前景(路面)と重なる位置へシフトする)。時間t96~t99での画像処理は、時間t91~t92、t93~t95での画像処理と同様であり、説明は省く。
【0070】
比較例では、基準位置931が、位置調整範囲VTの上下方向の中心に比較的近い位置に設定されている。このため、前傾に対する虚像の位置調整は、基準位置931から上方向の限度951まで中くらいで許容され、後傾に対する虚像の位置調整も、基準位置931から下方向の限度952まで中くらいで許容される。
【0071】
本実施形態では、車両の姿勢変動が大きくなると判定された場合、基準位置を上方にオフセットすることで、車両の姿勢変動(後傾)に対する虚像の位置補正をした場合でも虚像の見切れを生じにくくすることができる。また、基準位置を下方にオフセットすることで、車両の姿勢変動(前傾)に対する虚像の位置補正をした場合でも虚像の見切れを生じにくくすることができる。例えば、見切れが生じにくい比較的小さな姿勢変動が予測される場合、前傾に対する虚像の位置調整は、基準位置931から上方向の限度951まで中程度で許容され、後傾に対する虚像の位置調整も、基準位置931から下方向の限度952まで中程度で許容される。そして、見切れが生じやすい比較的大きな姿勢変動が予測される場合、例えば、前傾に対する虚像の位置調整は、基準位置931から上方向の限度951まで大程度で許容され、後傾に対する虚像の位置調整も、基準位置931から下方向の限度952まで小程度で許容される。
【0072】
図12は、本実施形態における車両の姿勢変動が大きくなると判定されていない場合の画像調整処理を説明する図である。本実施形態において、プロセッサ33(画像調整モジュール520)は、車両の姿勢変動が大きくなると判定されていない場合、基準位置Poを、初期の第1基準位置Po10(第1ターゲット位置MP10に対応)に設定し、車両の姿勢変動に基づき、第1ターゲット位置MP10からの虚像の位置ずれが抑制されるように、虚像の位置を調整する。
【0073】
時間t11~t12では、ピッチング角αは、予め設定された姿勢閾値αTdより小さい前傾である(第1位置調整量C10は、予め設定された上方向の位置調整量の限度CTuより小さい)。位置調整量Cは、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾)に合わせて虚像表示領域VS内の虚像の位置を上方にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、第1ターゲット位置MP10に維持される)。
【0074】
時間t12~t13では、ピッチング角αは、予め設定された姿勢閾値αTuより小さい後傾である(第1位置調整量C10は、予め設定された下方向の位置調整量の限度CTdより小さい)。位置調整量Cは、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの後傾)に合わせて虚像表示領域VS内の虚像の位置を下方にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、第1ターゲット位置MP10に維持される)。時間t13~t14での画像処理は、時間t11~t13での画像処理と同様であり、説明は省く。
【0075】
図13は、本実施形態における車両の姿勢変動が大きくなると判定された場合の画像調整処理を説明する図である。本実施形態において、プロセッサ33(画像調整モジュール520)は、車両の姿勢変動が大きくなると判定された場合、基準位置Poを、初期の第1基準位置Po10(ターゲット位置MP10に対応)から上方又は下方へオフセット(
図13の例では下方へオフセット)した第2基準位置Po20(第2ターゲット位置MP20に対応)に設定を変更し、車両の姿勢変動に基づき、ターゲット位置MP20からの虚像の位置ずれが抑制されるように、虚像の位置を調整する。
【0076】
時間t21~t22では、ピッチング角αは、予め設定された姿勢閾値αTdより小さい前傾である(第1位置調整量C10は、予め設定された上方向の位置調整量の限度CTuより小さい)。位置調整量Cは、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾)に合わせて虚像表示領域VS内の虚像の位置を上方にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、第1ターゲット位置MP10に維持される)。
【0077】
時間t22~t23では、ピッチング角αは、予め設定された後傾の姿勢閾値αTuより小さい後傾である(第1位置調整量C10は、予め設定された下方向の位置調整量の限度CTdより小さい)。位置調整量Cは、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの後傾)に合わせて虚像表示領域VS内の虚像の位置を下方向にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、第2ターゲット位置MP20に維持される)。
【0078】
時間t23~t24では、ピッチング角αは、予め設定された後傾の姿勢閾値αTuより大きい後傾である(第1位置調整量C10は、予め設定された下方向の位置調整量の限度CTdより大きい)。位置調整量Cは、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量C10より小さく、姿勢変動(ピッチング角αの後傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量C20に設定される。この場合、姿勢変動(ピッチング角αの後傾)によって、虚像は、第2ターゲット位置MP20に対して上方へずれる(換言すると、後傾によって虚像が観察者の遠方側の前景(路面)と重なる位置へシフトする)。時間t24~t25での画像処理は、時間t21~t23での画像処理と同様であり、説明は省く。
【0079】
本実施形態によれば、車両の姿勢変動が比較的小さい場合(又は姿勢変動が比較的小さいと予測される場合)と、車両の姿勢変動が比較的大きい場合(又は姿勢変動が比較的大きいと予測される場合)とで、姿勢変動に合わせた虚像の位置補正の基準となる基準位置を変えることができる。したがって、車両の姿勢変動が比較的大きい場合、基準位置を上方にオフセットすることで、車両の姿勢変動(後傾)に対する虚像の位置補正をした場合でも虚像の見切れを生じにくくすることができる。また、基準位置を下方にオフセットすることで、車両の姿勢変動(前傾)に対する虚像の位置補正をした場合でも虚像の見切れを生じにくくすることができる。なお、姿勢変動が比較的小さい場合は、基準位置をオフセットしないまま比較的小さな姿勢変動に対する虚像の位置補正を行うことができる。すなわち、姿勢変動が比較的小さい場合は、虚像表示領域内の虚像(コンテンツ)の自由度の高い配置のまま姿勢変動に対する虚像の位置補正を行うことができ、姿勢変動が比較的大きい場合は、基準位置をオフセットすることで虚像の上側又は下側の見切れを起こりにくくするという利点が想定される。
【0080】
いくつかの実施形態では、プロセッサ33(画像調整モジュール520)は、第1画像調整処理において、基準位置Poを基準にして、ピッチング角α(姿勢変動情報の一例)に合わせて虚像の位置を上方及び下方にダイナミックに変化させ、第2画像調整処理において、
図14に示すように、基準位置Poを基準にして、ピッチング角α(姿勢変動情報の一例)に合わせて虚像の位置を上方にダイナミックに変化させ(
図14のt31~t32、t33~t34)、下方には変化させない(
図14のt32~t33、t34~t35)、ようにする。本実施形態では、第2画像調整処理において、姿勢変動情報に合わせて虚像の位置を上方にはダイナミックに調整し、下方には変化させないことで、車両の前傾に対する虚像の位置補正をした場合に虚像の上側の見切れを起こりにくくすることができ、かつ車両が後傾した場合に虚像の下側の見切れが起こらないようにすることができるという利点も想定される。
【0081】
図15は、本実施形態における車両の姿勢変動が大きくなると判定された場合の画像調整処理を説明する図である。本実施形態において、プロセッサ33(画像調整モジュール520)は、所定の閾値より大きい姿勢変動(ピッチング角α)が検出された場合、車両の姿勢変動が大きくなると判定し、基準位置Poを、初期の第1基準位置Po10(ターゲット位置MP10に対応)から上方又は下方へオフセット(
図15の例では下方へオフセット)した第2基準位置Po20(第2ターゲット位置MP20に対応)に設定を変更し、車両の姿勢変動に基づき、ターゲット位置MP20からの虚像の位置ずれが抑制されるように、虚像の位置を調整する。
【0082】
時間t41~t42では、ピッチング角αは、予め設定された姿勢閾値αTsより小さい前傾である(第1位置調整量C10は、予め設定された上方向の位置調整量の閾値CTsより小さい)。位置調整量Cは、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾)に合わせて虚像表示領域VS内の虚像の位置を上方にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、第1ターゲット位置MP10に維持される)。
【0083】
時間t42では、ピッチング角αは、予め設定された姿勢閾値αTsに達する前傾である(第1位置調整量C10は、予め設定された上方向の位置調整量の閾値CTsに達する)。プロセッサ33(画像調整モジュール520)は、所定の閾値αTsより大きい姿勢変動(ピッチング角α)が検出された場合、車両の姿勢変動が大きくなると判定し、基準位置Poを、初期の第1基準位置Po10(ターゲット位置MP10に対応)から上方又は下方へオフセット(
図15の例では下方へオフセット)した第2基準位置Po20(第2ターゲット位置MP20に対応)に設定を変更し、車両の姿勢変動に基づき、ターゲット位置MP20からの虚像の位置ずれが抑制されるように、虚像の位置を調整する。
【0084】
時間t42~t43では、ピッチング角αは、予め設定された後傾の姿勢閾値αTuより大きい後傾であるが、第2基準位置Po20を基準とした第1位置調整量C10は、予め設定された下方向の位置調整量の限度CTdより小さい。位置調整量Cは、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの後傾)に合わせて虚像表示領域VS内の虚像の位置を下方向にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、第2ターゲット位置MP20に維持される)。
【0085】
時間t44~t45では、ピッチング角αは、予め設定された後傾の姿勢閾値αTuより大きい後傾である(第2基準位置Po20を基準とした第1位置調整量C10も、予め設定された下方向の位置調整量の限度CTdより大きい)。位置調整量Cは、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量C10より小さく、姿勢変動(ピッチング角αの後傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量C20に設定される。この場合、姿勢変動(ピッチング角αの後傾)によって、虚像は、第2ターゲット位置MP20に対して上方へずれる(換言すると、後傾によって虚像が観察者の遠方側の前景(路面)と重なる位置へシフトする)。
【0086】
図16に示す画像調整処理は、プロセッサ33がメモリ37に記憶された画像調整モジュール520を実行することによって実施される。ステップS110では、画像調整モジュール520は、描画モジュール510にて生成された描画データを取得する。ステップS120では、画像調整モジュール520は、取得した描画データに含まれる画像調整処理を実行する前の画像Mの表示位置を示す情報(基準位置Poを示す情報)から、虚像V20(虚像V20の元となる画像M)の位置調整量の限度CTを設定する。具体的に例えば、画像調整モジュール520は、位置調整範囲VTを設定し、位置調整範囲VT、及び基準位置Poに基づいて、位置調整量Cの限度CTを設定する。
【0087】
次に、ステップS130では、画像調整モジュール520は、姿勢検出部415から車両1の姿勢変動を示す情報(姿勢変動情報)を取得する。姿勢検出部415は、例えば、ジャイロセンサ、加速度センサ、及びハイトセンサなどの1つ以上のセンサを含む。姿勢検出部415は、移動体の角速度、加速度、高さなどのセンサ値から、ピッチング角やロール角などの車両姿勢や前記車両姿勢の変化の周波数などを姿勢変動情報として算出し、表示制御装置30へ出力してもよい。すなわち、前記姿勢変動情報は、車両姿勢(ピッチング角、ロール角等)の他に、前記車両姿勢の変化の周波数(振動周波数)などを含んでいても良い。姿勢検出部415が姿勢変動情報を算出する機能の一部又は全部は、表示制御装置30に設けられていても良い。
【0088】
ステップS140では、画像調整モジュール520は、後述する第1の画像調整処理S151で用いる第1位置調整量C10を算出する。まず、画像調整モジュール520は、姿勢検出部415から取得する前記姿勢変動情報に基づいて、車両1の姿勢変動量(角度のずれ量)を算出する。例えば、画像調整モジュール520は、姿勢検出部415が検出した角速度を積分演算することによって、車両1のピッチ軸周りの角度(ピッチング角)αを算出する。これにより、
図1に示すY軸(前記ピッチ軸)を中心とした回転方向における車両1のずれ量(角度)を算出することができる。なお、本実施形態では、ピッチング角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。但し、画像調整モジュール520における姿勢変動量(角度のずれ量)を算出する機能の一部又は全部は、表示制御装置30と通信可能な表示制御装置30とは別の装置が有し、表示制御装置30は、前記別の装置からI/Oインタフェース31を介して車両1の姿勢変動量(角度のずれ量)を示す情報を入力してもよい。すなわち、いくつかの表示制御装置30は、画像調整モジュール520における姿勢変動量(角度のずれ量)を算出する機能を省略しても良い。
【0089】
ステップS140において、さらに、画像調整モジュール520は、車両1の姿勢変動量(角度のずれ量)に基づいて、虚像V20の表示位置を補正するための第1位置調整量C10を算出する。具体的には、画像調整モジュール520は、(ピッチング角)のずれ量を画素数に換算して、ずれている分の画素数(姿勢変動による画像シフト量B10)を元に戻すような調整量を決定する。好ましくは、画像調整モジュール520は、車両1の姿勢変動による虚像V20の位置ずれを元に戻すため、姿勢変動による画像シフト量B10と等しい逆方向の位置調整量(第1位置調整量C10)を算出する。
【0090】
いくつかの実施形態のステップS150では、画像調整モジュール520は、ステップS110で取得した描画データに画像調整を行うことで画像データを生成する。S150において、画像調整モジュール520は、描画データの画素を、位置調整量C、俯角調整量E、サイズ調整量Fに基づき、画像データの画素として再配列する。S160では、画像調整モジュール520は、S150で生成した(調整した)画像データを表示器50へ出力する。
【0091】
いくつかの実施形態のステップS150では、画像調整モジュール520は、以下に示す所定条件を満たすか否かを判定し、前記所定条件を満たさない場合、第1の画像調整処理S151を実行し、前記所定条件を満たす場合、第2の画像調整処理S152を実行する。但し、第1の画像調整処理S151を実行するか、第2の画像調整処理S152を実行するか、を決定するための前記所定条件は、以下に限定されない。(1)ステップS130で取得した姿勢変動量が、所定の閾値αTsより大きい。(2)ステップS130で取得した姿勢変動量の速度(姿勢の変化速度)が、所定の閾値より速い。(3)車両1の速度が、所定の閾値より速い。
【0092】
前記所定条件を満たす場合、プロセッサ33(画像調整モジュール520)は、基準位置Poを、初期の第1基準位置Po10(第1ターゲット位置MP10に対応)に設定し、車両の姿勢変動に基づき、第1ターゲット位置MP10からの虚像の位置ずれが抑制されるように、虚像の位置を調整する(第1の画像調整処理S151)。
【0093】
第1の画像調整処理S151では、プロセッサ33は、ピッチング角αが予め設定された姿勢閾値αTより小さい(第1位置調整量C10が予め設定された位置調整量の限度CTより小さい)場合、ステップS130で取得される姿勢変動に合わせてステップS140でダイナミックに設定される第1位置調整量C10(位置調整量C)に基づき、初期の第1基準位置Po10(第1ターゲット位置MP10に対応)を基準にして、虚像V20(虚像V20の元となる画像M)の位置調整をする(第1位置調整処理)。好ましくは、第1位置調整量C10は、姿勢変動によって生じる画像の位置ずれを相殺するように設定される。
【0094】
他方、第1の画像調整処理S151では、プロセッサ33は、ピッチング角αが予め設定された姿勢閾値αTより小さい(第1位置調整量C10が予め設定された位置調整量の限度CTより小さい)場合、それ以上大きな姿勢変動に対しては下方向の位置調整量の限度CT(V20の場合CT)で位置調整した位置(上方周縁部VTu、又は下方周縁部VTd)に固定表示する(第2位置調整処理)。
【0095】
前記所定条件を満たさない場合、プロセッサ33(画像調整モジュール520)は、基準位置Poを、初期の第1基準位置Po10(ターゲット位置MP10に対応)から上方又は下方へオフセットした第2基準位置Po20(第2ターゲット位置MP20に対応)に設定を変更し、車両の姿勢変動に基づき、第2ターゲット位置MP20からの虚像の位置ずれが抑制されるように、虚像の位置を調整する(第2の画像調整処理S152)。
【0096】
第2の画像調整処理S152では、プロセッサ33は、ピッチング角αが予め設定された姿勢閾値αTより小さい(第1位置調整量C10が予め設定された位置調整量の限度CTより小さい)場合、ステップS130で取得される姿勢変動に合わせてステップS140でダイナミックに設定される第1位置調整量C10(位置調整量C)に基づき、第2基準位置Po20(第2ターゲット位置MP20に対応)を基準にして、虚像V20(虚像V20の元となる画像M)の位置調整をする(第1位置調整処理)。好ましくは、第1位置調整量C10は、姿勢変動によって生じる画像の位置ずれを相殺するように設定される。
【0097】
他方、第2の画像調整処理S152では、プロセッサ33は、ピッチング角αが予め設定された姿勢閾値αTより小さい(第1位置調整量C10が予め設定された位置調整量の限度CTより小さい)場合、それ以上大きな姿勢変動に対しては下方向の位置調整量の限度CT(V20の場合CT)で位置調整した位置(上方周縁部VTu、又は下方周縁部VTd)に固定表示する(第2位置調整処理)。
【0098】
いくつかの実施形態における第1の位置調整処理では、画像調整モジュール520は、前記位置調整に加え、ステップS130で取得される姿勢変動に合わせて、第1俯角調整量E10(俯角調整量E)をダイナミックに変更し、この第1俯角調整量E10(俯角調整量E)に基づき、虚像V20(虚像V20の元となる画像M)の俯角調整をしてもよい。
【0099】
いくつかの実施形態における第1の位置調整処理において、第1位置調整量C10は、姿勢変動によって生じる画像の位置ずれを相殺するように設定されない場合(換言すると、姿勢変動による画像の位置ずれを生じさせる場合)、画像調整モジュール520は、前記位置調整に加え、ステップS130で取得される姿勢変動に合わせて、サイズ調整量Fをダイナミックに変更し、このサイズ調整量Fに基づき、虚像V20(虚像V20の元となる画像M)のサイズ調整をしてもよい。
【0100】
また、いくつかの実施形態における第2の位置調整処理では、ステップS140で算出した第1位置調整量C10が、ステップS120で設定した移動調整量の閾値(限度)CTより大きい場合、画像調整モジュール520は、ステップS130で取得される姿勢変動に合わせて、第2俯角調整量210(俯角調整量E)をダイナミックに変更し、この第2俯角調整量E20(俯角調整量E)に基づき、虚像V20(虚像V20の元となる画像M)の俯角調整を行う。第2の位置調整処理における俯角調整量E20は、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量である。好ましくは、第2の位置調整処理における俯角調整量E20は、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量に、姿勢変動(ピッチング角αの変化)により近傍へシフトしたことを表現する(又は遠方へシフトしたことを表現する)ための俯角調整量を加算してもよい。
【0101】
また、いくつかの実施形態における第2の位置調整処理では、画像調整モジュール520は、ステップS130で取得される姿勢変動に合わせて第2位置調整量C20(位置調整量C)をダイナミックに変化させてもよい。画像調整モジュール520は、ステップS130で取得される姿勢変動から第2位置調整量C20(位置調整量C)を設定するためのテーブルデータ、演算式、などを含み得る。いくつかの実施形態における第2の位置調整処理では、画像調整モジュール520は、前記俯角調整に加え、ステップS130で取得される姿勢変動に合わせてダイナミックに設定される第2位置調整量C20(第1位置調整量C10より小さい)に基づき、虚像V20(虚像V20の元となる画像M)の位置調整を行ってもよい。
【0102】
第2の位置調整処理における位置調整処理において、画像調整モジュール520は、車両1の姿勢変動量に基づいて、ダイナミックに変更される第2位置調整量C20を算出する。例えば、第2位置調整量C20は、車両1の姿勢変動量に基づいて決定される第1位置調整量C10に1より小さい係数を乗算することで求められる。また、いくつかの実施形態の位置調整モジュール522は、車両1の姿勢変動量に基づかない、メモリ37に記憶された第2位置調整量C20を読み出しても良い。なお、本実施形態では、ピッチ軸方向の調整量を算出するが、ヨー軸方向及びロール方向の調整量を算出してもよい。ロール角については、角度のまま、ロール角のずれ量を元に戻すような調整量を決定する。但し、画像調整モジュール520の第2位置調整量C20を算出する機能の一部又は全部は、表示制御装置30と通信可能な表示制御装置30とは別の装置が有し、表示制御装置30は、前記別の装置からI/Oインタフェース31を介して虚像の位置を調整するための表示パラメータ(第2位置調整量C20)を入力してもよい。
【0103】
本実施形態の表示制御装置30(プロセッサ33)は、所定条件を満たす場合、第2画像調整処理(ステップS152)を実行することで、移動体の姿勢変動に伴う虚像のズレに応じて、虚像V20の俯角βを調整する。以下に、演算式を用いて、車両1の姿勢変動(角度のずれ量)に応じた虚像V20の俯角βを算出する例を示すが、コンテンツ(仮想オブジェクト)FUを配置したモデル空間において、仮想視点VPの位置、角度を車両1の姿勢変動に応じて変化させ、仮想視点VPから見たコンテンツ(仮想オブジェクト)FUに応じてレンダリングすることで、虚像V20の元となる画像Mの位置、角度(俯角β)、及びサイズを変化させても良い。
【0104】
画像調整モジュール520(俯角調整モジュール524)は、車両1の姿勢変動(角度のずれ量)に応じて、虚像V20(コンテンツFU)の俯角βを算出する。
【0105】
まず、
図6ないし
図8Bに示すように、車両1のピッチ軸周りの角度(ピッチング角)をα(前傾で負の値、後傾で正の値とする)、仮想視点VPから仮想平面100までの高さをh(角度のずれ量αがゼロの時の高さhをh0とする)、仮想視点VPから虚像V20が重なって見える仮想平面100上の領域の近傍端までの奥行き方向Zの距離をD(角度のずれ量αがゼロの時の距離DをD0とする)と定義する。
【0106】
画像調整モジュール520(俯角調整モジュール524)は、ピッチング角αに応じた距離Dを、以下の数式1で算出してもよい(これに限定されない)。
【数1】
【0107】
また、画像調整モジュール520(俯角調整モジュール524)は、距離Dに応じた俯角βを、以下の数式2で算出してもよい(これに限定されない)。
【数2】
【0108】
なお、画像調整モジュール520(俯角調整モジュール524)は、車両1の姿勢(角度のずれ量)に応じて、虚像V20の俯角βを調整できればよく、上記算出方法に限定されない。例えば、画像調整モジュール520(俯角調整モジュール524)は、虚像V20の俯角βの補正係数と車両1の姿勢変動(角度のずれ量)とを関連付けたテーブルデータをメモリ37に予め記憶しておき、入力した車両1の姿勢変動(角度のずれ量)を示す情報(信号)に基づき、前記補正係数を読み出し、コンテンツFU1(虚像V20)の俯角βを調整してもよい。
【0109】
また、画像調整モジュール520(俯角調整モジュール524)は、仮想平面100上のコンテンツ(仮想オブジェクト)FUまでの距離Dに基づき、俯角調整量Δβを、以下の数式3で算出してもよい(これに限定されない)。
【数3】
【0110】
さらに好ましくは、画像調整モジュール520(俯角調整モジュール524)は、角度のずれ量αによって虚像表示領域VSのチルト角θtが傾くことを考慮して、俯角調整量Δβを、以下の数式4で算出してもよい(これに限定されない)。
【数4】
【0111】
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、移動体の姿勢変動に伴う虚像のズレに応じて、虚像V20のサイズを調整する。以下に、演算式を用いて、車両1の姿勢変動(角度のずれ量)に応じた虚像V20のサイズを算出する例を示すが、コンテンツ(仮想オブジェクト)FUを配置したモデル空間において、仮想視点VPの位置、角度を車両1の姿勢変動に応じて変化させることで、仮想視点VPから見たコンテンツ(仮想オブジェクト)FUに応じてレンダリングすることで、虚像V20の元となる画像Mの位置、角度(俯角β)、及びサイズを変化させても良い。
【0112】
画像調整モジュール520(サイズ調整モジュール526)は、車両1の姿勢変動(角度のずれ量)に応じて、虚像V20(コンテンツFU)のサイズを算出する。ここでは、虚像V20のサイズは、基準位置から見た虚像V20の上下方向の角度(画角)とする。画角とは、所定の基準位置(例えば、アイボックス200の中心205)から虚像V20の上端を結ぶ線と、所定の基準位置から虚像V20の下端を結ぶ線と、の間の角度であり、観察者から見た虚像V20の上下方向(Y軸方向)のサイズに対応する。
【0113】
画像調整モジュール520(サイズ調整モジュール526)は、仮想視点VP1から虚像V20が重なって見える仮想平面100上の領域の奥行き方向Zの長さをLとすると、距離Dに応じたサイズを、以下の数式5で算出してもよい(これに限定されない)。
【数5】
【0114】
なお、画像調整モジュール520(サイズ調整モジュール526)は、車両1の姿勢(角度のずれ量)に応じて、虚像V20のサイズを調整できればよく、上記算出方法に限定されない。例えば、画像調整モジュール520(サイズ調整モジュール526)は、虚像V20のサイズの補正係数と車両1の姿勢(角度のずれ量)とを関連付けたテーブルデータをメモリ37に予め記憶しておき、入力した車両1の姿勢(角度のずれ量)を示す情報(信号)に基づき、前記補正係数を読み出し、虚像V20のサイズを調整してもよい。但し、画像調整モジュール520(サイズ調整モジュール526)の機能の一部又は全部は、表示制御装置30と通信可能な表示制御装置30とは別の装置が有し、表示制御装置30は、前記別の装置からI/Oインタフェース31を介して虚像のサイズを調整するための表示パラメータを入力してもよい。すなわち、いくつかの表示制御装置30は、画像調整モジュール520(サイズ調整モジュール526)を省略しても良い。
【0115】
本明細書に記載されるヘッドアップディスプレイ装置20では、いくつかの実施形態におけるいずれかの表示制御装置30と、表示光を出射する光変調素子51と、光変調素子51からの表示光を被投影部2にむけるリレー光学系80と、を備える。この場合も、上記と同様の利点が想定される。
【0116】
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の1つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び/又はそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【0117】
車両用表示システム10の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。
図3で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は1つの機能ブロックを2以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
【0118】
いくつかの実施形態のステップS150では、画像調整モジュール520は、以下に示す所定条件を満たすか否かを判定し、前記所定条件を満たさない場合、第1の画像調整処理S151を実行し、前記所定条件を満たす場合、第2の画像調整処理S152を実行してもよい。(4)ステップS130で取得した姿勢変動量が所定の周波数の姿勢変動がある。(5)車両ECU401から取得されるブレーキ操作がある。(6)ブレーキペダルの踏み込み量が所定の閾値より大きい。但し、第1の画像調整処理S151を実行するか、第2の画像調整処理S152を実行するか、を決定するための前記所定条件は、これらに限定されない。
【符号の説明】
【0119】
1 :車両
2 :被投影部
6 :路面
10 :車両用表示システム
20 :ヘッドアップディスプレイ装置
21 :光出射窓
22 :筐体
30 :表示制御装置
31 :I/Oインタフェース
33 :プロセッサ
35 :表示制御処理回路
37 :メモリ
40 :画像表示装置
50 :表示器
50a :表示面
51 :光変調素子
60 :光源ユニット
80 :リレー光学系
100 :仮想平面
200 :アイボックス
401 :車両ECU
403 :道路情報データベース
405 :自車位置検出部
407 :操作検出部
409 :目位置検出部
411 :車外センサ
413 :明るさ検出部
415 :姿勢検出部
417 :携帯情報端末
419 :外部通信機器
510 :描画モジュール
520 :画像調整モジュール
522 :位置調整モジュール
524 :俯角調整モジュール
526 :サイズ調整モジュール
700 :観察者
AT10 :車両姿勢
B10 :画像シフト量
C :位置調整量
C10 :第1位置調整量
C20 :第2位置調整量
CT :限度
CTs :閾値
CTu :限度
D :距離
E :俯角調整量
F :サイズ調整量
FU :コンテンツ
FU1 :第1コンテンツ
FU2 :第2コンテンツ
Ld :シフト可能領域
Lu :シフト可能領域
MP :ターゲット位置
MP1 :ターゲット位置
MP20 :第2ターゲット位置
Po :基準位置
Po10 :第1基準位置
Po20 :第2基準位置
Poa :基準位置
Pob :基準位置
VP :仮想視点
VTa :第1位置調整範囲
VTb :第2位置調整範囲
VTd :下方周縁部
VTu :上方周縁部
α :ピッチング角
αT :姿勢閾値
β :俯角
θt :チルト角