(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017509
(43)【公開日】2024-02-08
(54)【発明の名称】表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
(51)【国際特許分類】
B60K 35/23 20240101AFI20240201BHJP
【FI】
B60K35/00 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022120186
(22)【出願日】2022-07-28
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】小原 悠汰
【テーマコード(参考)】
3D344
【Fターム(参考)】
3D344AA19
3D344AB01
3D344AC25
(57)【要約】 (修正有)
【課題】車両の姿勢変動による画像(仮想オブジェクト)の仮想現実感の低下を抑制する。
【解決手段】HUD装置は、車両の姿勢変動による虚像V20と路面6との相対的な位置ズレを抑制するための第1位置調整量を設定し、虚像V20の表示位置を車両1の姿勢変動に応じた第1位置調整量に基づき調整する第1画像調整処理と、虚像V20の表示位置を、第1位置調整量より調整量が小さい第2位置調整量により調整し、かつ虚像V20の俯角βを俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する。
【選択図】
図7A
【特許請求の範囲】
【請求項1】
車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前方の路面と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動量情報を取得し、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な位置ズレを抑制するための第1位置調整量を設定し、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な斜めに見下ろした角度(以下では、俯角と呼ぶ)のズレを抑制する俯角調整量を設定し、
1)前記虚像の表示位置を前記第1位置調整量に基づき調整する第1画像調整処理と、
2)前記虚像の表示位置を前記第1位置調整量より調整量が小さい第2位置調整量に基づき調整し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する、
ことを特徴とする表示制御装置。
【請求項2】
前記俯角調整量は、第1俯角調整量と、前記第1俯角調整量と比べて前記車両の姿勢変動に対する調整量が大きい第2俯角調整量と、を少なくとも含み、
前記プロセッサは、
前記第1画像調整処理では、前記虚像の表示位置を前記第1位置調整量に基づき調整し、さらに前記虚像の前記俯角を前記第1俯角調整量に基づき調整し、
前記第2画像調整処理では、前記虚像の表示位置を前記第2位置調整量に基づき調整し、かつ前記虚像の前記俯角を前記第2俯角調整量に基づき調整する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記プロセッサは、
前記第1位置調整量でオフセットされる前記虚像が、前記虚像表示領域の第1の領域内に配置される状態から前記第1の領域外に配置される状態に変化する場合、前記第1画像調整処理から前記第2画像調整処理に切り替える、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項4】
前記プロセッサは、
記車両が後傾となり、前記第1位置調整量でオフセットされた前記虚像が、前記第1の領域よりも下側に配置される場合、前記虚像の表示位置を前記第1の領域内の下方周縁部に固定し、かつ前記虚像の俯角を前記俯角調整量に基づき調整する、及び/又は
前記車両が前傾となり、前記第1位置調整量でオフセットされた前記虚像が、前記第1の領域よりも上側に配置される場合、前記虚像の表示位置を前記第1の領域内の上方周縁部に固定し、かつ前記虚像の俯角を前記俯角調整量に基づき調整する、
ことを特徴とする請求項3に記載の表示制御装置。
【請求項5】
前記プロセッサは、
1)前記姿勢変動の速度が所定の閾値より遅い場合、前記第1画像調整処理を実行し、
2)前記姿勢変動の速度が前記所定の閾値より速い場合、前記第2画像調整処理を実行する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項6】
前記プロセッサは、
1)前記第1画像調整処理では、視認される前記虚像のサイズを一定にし、
2)前記第2画像調整処理では、視認される前記虚像のサイズを、前記姿勢変動量情報に基づき、変化させるサイズ調整処理をさらに実行する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項7】
前記プロセッサは、前記サイズ調整処理では、
前記虚像がより近い前景に重なって視認されると推定される場合、視認される前記虚像を大きくし、
前記虚像がより遠い前景に重なって視認されると推定される場合、視認される前記虚像を小さくする、
ことを特徴とする請求項6に記載の表示制御装置。
【請求項8】
前記プロセッサは、
前記車両が基準姿勢から前傾又は後傾の第1方向に変化した場合、まず、前記第1画像調整処理を実行し、次に、所定の条件に基づき、前記第2画像調整処理を実行し、
前記車両が前記基準姿勢から前傾又は後傾の前記第1方向と逆の第2方向に変化した場合、前記第2画像調整処理を実行する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項9】
前記プロセッサは、
前記虚像が前記虚像表示領域の上方にある場合、前記第1方向を前記車両の後傾に設定し、前記第2方向を前記車両の前傾に設定し、
前記虚像が前記虚像表示領域の下方にある場合、前記第1方向を前記車両の前傾に設定し、前記第2方向を前記車両の後傾に設定する、
ことを特徴とする請求項8に記載の表示制御装置。
【請求項10】
車両に搭載され、表示面に画像を表示する表示部と、
前記表示部からの表示光を被投影部にむけるリレー光学系と、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え
前記車両の前方の路面と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置であって、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動量情報を取得し、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な位置ズレを抑制するための第1位置調整量を設定し、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な斜めに見下ろした角度(以下では、俯角と呼ぶ)のズレを抑制する俯角調整量を設定し、
1)前記虚像の表示位置を前記第1位置調整量に基づき調整する第1画像調整処理と、
2)前記虚像の表示位置を前記第1位置調整量より調整量が小さい第2位置調整量に基づき調整し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する、
ことを特徴とするヘッドアップディスプレイ装置。
【請求項11】
車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前方の路面と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御方法であって、
前記車両の姿勢変動を示す姿勢変動量情報を取得することと、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な位置ズレを抑制するための第1位置調整量を設定することと、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な斜めに見下ろした角度(以下では、俯角と呼ぶ)のズレを抑制する俯角調整量を設定することお、
1)前記虚像の表示位置を前記第1位置調整量に基づき調整する第1画像調整処理と、
2)前記虚像の表示位置を前記第1位置調整量より調整量が小さい第2位置調整量に基づき調整し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行することと、を含む、
ことを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両等の移動体で使用され、移動体の前景(車両の乗員から見た移動体の前進方向の実景)に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等に関する。
【0002】
ヘッドアップディスプレイ(HUD:Head Up Display)装置は、車両前方の風景に画像(仮想オブジェクト)を重ねて表示することで、実景又は実景に存在する実オブジェクトに情報などを付加・強調した拡張現実(AR:Augmented Reality)を表現し、車両を運転するユーザの視線移動を極力抑えつつ、所望の情報を的確に提供することで、安全で快適な車両運行に寄与することができるものである。
【0003】
特許文献1に記載のヘッドアップディスプレイ装置は、表示基準位置に画像(仮想オブジェクト)を表示し、車両の姿勢変動の大きさに基づいて、画像(仮想オブジェクト)の表示位置が表示基準位置からずれないように補正することで、実景又は実景に存在する実オブジェクトに対する画像(仮想オブジェクト)の位置関係のズレを抑制する。これにより、車両の姿勢変動が生じても、画像と実景との相対的な位置関係が維持されるため、画像を実景にさらに調和させることができる。
【0004】
ヘッドアップディスプレイ装置は、車両の姿勢変動が大きければ、画像の表示位置も大きく補正されることになり、画像の一部又は全部が表示領域外に配置される(これによって、画像の一部又は全部が、表示領域内に表示されなくなる)。特許文献1のヘッドアップディスプレイ装置は、このように、表示基準位置に画像を表示しようとすると、画像の一部又は全部が表示領域外に配置される場合、車両の姿勢変動に合わせて表示基準位置に画像を表示し続ける(補正し続ける)ことを断念し、表示領域内に画像を表示させることを優先する処理を実行する(特許文献1の
図15A、
図15B参照)。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1のヘッドアップディスプレイ装置は、表示領域内に画像を表示させ続けることができるが、車両の姿勢変動に合わせた表示位置の補正を行わないため、画像と実景との相対的な位置関係が車両の姿勢変動に合わせて変化し、仮想現実感が損なわれ、観察者に違和感を与えることが想定される。
【0007】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載された実施態様と、以下に記載されない種々の態様との組み合わせを包含し得る。
【0008】
本開示の概要は、虚像の視認における違和感を低減することに関する。より具体的には、車両の姿勢変動による画像(仮想オブジェクト)の仮想現実感の低下を抑制する、ことにも関する。
【0009】
したがって、本明細書に記載される表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等は、前記課題を解決するため、以下の手段を採用した。本実施形態は、虚像の表示位置を車両の姿勢変動に応じた第1位置調整量に基づき調整する第1画像調整処理と、虚像の表示位置を第1位置調整量より調整量が小さい第2位置調整量により調整し、かつ虚像の俯角を俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する、ことをその要旨とする。
【0010】
したがって、本明細書に記載される第1実施態様における表示制御装置は、車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前方の路面と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動量情報を取得し、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な位置ズレを抑制するための第1位置調整量を設定し、
前記姿勢変動量情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な斜めに見下ろした角度(以下では、俯角と呼ぶ)のズレを抑制する俯角調整量を設定し、
1)前記虚像の表示位置を前記第1位置調整量に基づき調整する第1画像調整処理と、
2)前記虚像の表示位置を前記第1位置調整量より調整量が小さい第2位置調整量により調整し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する、ようにする。本実施態様では、第1位置調整処理は、虚像と路面との相対的な位置ずれを抑制し、第2位置調整処理は、虚像と路面との相対的な位置ずれを許容しつつも俯角ずれを抑制し、これら第1位置調整処理及び第2位置調整処理が切り替えて実行される。これによれば、車両の姿勢変動により、虚像と路面との相対的な位置ずれが発生する(第1位置調整書実行時に比べて大きな相対的なずれが発生する)場合において、車両の姿勢変動に基づいた俯角ずれの補正を行うため、画像の俯角と路面の俯角とが調和され、仮想現実感の低下を抑制することができるという利点も想定される。ここで、第2位置調整量は、第1位置調整量より小さければよく、姿勢変動に依らない固定の補正値であってもよく、又は勢変動に合わせてダイナミックに変更される補正値であってもよい。
【0011】
また、いくつかの第1実施態様における表示制御装置は、車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前方の路面と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動情報を取得し、
前記姿勢変動情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な位置ズレを抑制するための第1位置調整量を設定し、
前記姿勢変動情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な斜めに見下ろした角度(以下では、俯角と呼ぶ)のズレを抑制する俯角調整量を設定し、
1)前記虚像の表示位置を前記第1位置調整量に基づき調整する第1画像調整処理と、
2)前記虚像の表示位置を前記第1位置調整量より調整量が小さい第2位置調整量により固定し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する、ようにする。本実施態様では、第1位置調整処理は、虚像と路面との相対的な位置ずれ及び俯角ずれを抑制し、第2位置調整処理は、虚像と路面との相対的な位置ずれを許容しつつも俯角ずれを抑制し、これら第1位置調整処理及び第2位置調整処理が切り替えて実行される。これによれば、車両の姿勢変動により、虚像と路面との相対的な位置ずれが発生しない(第2位置調整書実行時に比べて小さな相対的なずれが発生する)場合でも、車両の姿勢変動に基づいた俯角ずれの補正を行うため、画像の俯角と路面の俯角とが調和され、拡張現実性の喪失(低下)を抑制することができるという利点も想定される。
【0012】
第1の実施態様に従属する第2の実施形態における表示制御装置では、
前記俯角調整量は、第1俯角調整量と、前記第1俯角調整量と比べて前記車両の姿勢変動に対する調整量が大きい第2俯角調整量と、を少なくとも含み、
前記プロセッサは、
前記第1画像調整処理では、前記虚像の表示位置を前記第1位置調整量に基づき調整し、さらに前記虚像の前記俯角を前記第1俯角調整量に基づき調整し、
前記第2画像調整処理では、前記虚像の表示位置を前記第2位置調整量に基づき調整し、かつ前記虚像の前記俯角を前記第2俯角調整量に基づき調整する。第2の実施形態では、第1画像調整処理と第2画像調整処理とで共通して、姿勢変動に合わせた虚像の俯角調整が行われるため、位置調整量が小さい第2画像調整処理に切り替わったことにより拡張現実性の喪失(低下)を観察者が感じにくくすることができるという利点も想定される。また、第2画像調整処理では、位置調整量が小さいため、第1画像調整処理に比べると、姿勢変動によって画像ずれが大きくなってしまうが、第2俯角調整量を大きくすることで、俯角ずれの違和感を強力に抑制し、画像の俯角と路面の俯角とが調和され、拡張現実性の喪失(低下)を抑制することができるという利点も想定される。
【0013】
また、さらに好ましい第2実施態様における表示制御装置は、車両に搭載され、表示面に画像を表示する表示部を有し、前記画像の光を被投影部に向けることで、前記車両の前方の路面と重なる虚像表示領域内に虚像を重ねて視認させるヘッドアップディスプレイ装置を制御する表示制御装置であって、
1つ又は複数のプロセッサと、
メモリと、
前記メモリに格納され、前記1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記プロセッサは、
前記車両の姿勢変動を示す姿勢変動情報を取得し、
前記姿勢変動情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な位置ズレを抑制するための第1位置調整量を設定し、
前記姿勢変動情報に基づき、前記車両の姿勢変動による前記虚像と前記路面との相対的な斜めに見下ろした角度(以下では、俯角と呼ぶ)のズレを抑制する俯角調整量を設定し、
1)前記虚像の表示位置を前記第1位置調整量に基づき調整し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第1画像調整処理と、
2)前記虚像の表示位置を前記第1位置調整量より調整量が小さい第2位置調整量により固定し、かつ前記虚像の前記俯角を前記俯角調整量に基づき調整する第2画像調整処理と、を切り替えて実行する、ようにする。本実施態様では、第1位置調整処理は、虚像と路面との相対的な位置ずれ及び俯角ずれを抑制し、第2位置調整処理は、虚像と路面との相対的な位置ずれを許容しつつも俯角ずれを抑制し、これら第1位置調整処理及び第2位置調整処理が切り替えて実行される。これによれば、車両の姿勢変動により、虚像と路面との相対的な位置ずれが発生しない(第2位置調整書実行時に比べて小さな相対的なずれが発生する)場合でも、車両の姿勢変動に基づいた俯角ずれの補正を行うため、画像の俯角と路面の俯角とが調和され、拡張現実性の喪失(低下)を抑制することができるという利点も想定される。
【0014】
第1又は第2の実施態様に従属し得る第3の実施形態における表示制御装置では、
前記プロセッサは、
前記第1位置調整量でオフセットされる前記虚像が、前記虚像表示領域の前記第1の領域内に配置される状態から前記第1の領域外に配置される状態に変化する場合、前記第1画像調整処理から前記第2画像調整処理に切り替える、ようにする。第2の実施形態では、虚像が虚像表示領域から逸脱する場合に、第1画像調整処理から第2画像調整処理に切り替える。姿勢変動に対する位置調整量が大きい第1画像調整処理から姿勢変動に対する位置調整量が小さい第2画像調整処理に切り替わっても、第1画像調整処理と第2画像調整処理とで共通して、姿勢変動に合わせた虚像の俯角調整が行われているため、第2画像調整処理に切り替わったことにより拡張現実性の喪失(低下)を観察者が感じにくくすることができるという利点も想定される。
【0015】
さらに好ましい第1又は第2の実施態様に従属し得る第3の実施形態における表示制御装置では、前記プロセッサは、
1)前記第1位置調整量でオフセットされる前記虚像が、前記虚像表示領域の所定の第1の領域外に配置される状態から前記第1の領域内に配置される状態に変化する場合、前記第2画像調整処理から前記第1画像調整処理に切り替え、
2)前記第1位置調整量でオフセットされる前記虚像が、前記虚像表示領域の前記第1の領域内に配置される状態から前記第1の領域外に配置される状態に変化する場合、前記第1画像調整処理から前記第2画像調整処理に切り替える、ようにする。第2画像調整処理へ(又は第2画像調整処理から)切り替わったことによる仮想現実性の変化を観察者が感じにくくすることができるという利点も想定される。
【0016】
また、第3の実施態様に従属し得る第4の実施形態における表示制御装置では、プロセッサは、
記車両が後傾となり、前記第1位置調整量でオフセットされた前記虚像が、前記第1の領域よりも下側に配置される場合、前記虚像の表示位置を前記第1の領域内の下方周縁部に固定し、かつ前記虚像の俯角を前記俯角調整量に基づき調整する、及び/又は
前記車両が前傾となり、前記第1位置調整量でオフセットされた前記虚像が、前記第1の領域よりも上側に配置される場合、前記虚像の表示位置を前記第1の領域内の上方周縁部に固定し、かつ前記虚像の俯角を前記俯角調整量に基づき調整する、ようにする。第3の実施形態は、追従させたい実景領域(路面領域)に近い位置に虚像を表示しつつ、車両の姿勢変動に合わせて俯角が調整する。したがって、第3の実施形態は、表示位置のずれを抑制しつつ、車両の姿勢変動に合わせた俯角調整も行うので、画像と路面との調和の低下を抑制することができるという利点も想定される。
【0017】
第1乃至4の実施態様に従属し得る第5の実施形態における表示制御装置では、前記プロセッサは、
1)前記姿勢変動の速度が所定の閾値より遅い場合、前記第1画像調整処理を実行し、
2)前記姿勢変動の速度が前記所定の閾値より速い場合、前記第2画像調整処理を実行する、
ようにする。姿勢変動の速度が速い場合、姿勢変動量の極値は大きくなると予測される。姿勢変動の速度が検出され、姿勢変動量が極値となる前に、車両の姿勢変動に対抗する位置調整量が小さい第2画像調整処理を実行することで、虚像が所定の表示領域から外れる直前に第2画像調整処理に切り替える煩雑な処理を防ぐことができるという利点を有することも想定される。
【0018】
第1乃至5の実施態様に従属し得る第6の実施形態における表示制御装置では、前記プロセッサは、
1)前記第1画像調整処理では、視認される前記虚像のサイズを一定にし、
2)前記第2画像調整処理では、視認される前記虚像のサイズを、前記姿勢変動量情報に基づき、変化させるサイズ調整処理をさらに実行する、ようにする。これによれば、画像(虚像)と実景との相対的な位置ずれがない(位置ずれが小さい)第1画像調整処理では、視認される虚像のサイズを一定とすることで、車両姿勢が変化している状況下でも虚像が実景に調和させることができる。一方、画像(虚像)と実景との相対的な位置ずれがある(位置ずれが大きい)第2画像調整処理では、視認される虚像のサイズを調整することで、実空間における虚像の遠近感を強調することができ、車両姿勢が変化している状況下でも虚像が実景に調和させることができる。
【0019】
第1乃至6の実施態様に従属し得る第7の実施形態における表示制御装置では、前記プロセッサは、前記サイズ調整処理では、
前記虚像がより近い前景に重なって視認されると推定される場合、視認される前記虚像を大きくし、
前記虚像がより遠い前景に重なって視認されると推定される場合、視認される前記虚像を小さくする、ようにする。これによれば、車両の姿勢変動により画像(虚像)が重なる路面(前景)の位置が近傍へシフトする場合に、画像のサイズが大きくなる。したがって、車両の姿勢変動が生じても、画像のサイズが変化することで、実空間における画像(虚像)の遠近感が強調され、画像(虚像)が近づいてくるような印象を観察者に与えることができるという利点も想定される。また、車両の姿勢変動により画像(虚像)が重なる路面(前景)の位置が遠方へシフトする場合に、画像のサイズが小さくなる。したがって、車両の姿勢変動が生じても、画像のサイズが変化することで、実空間における画像(虚像)の遠近感が強調され、画像(虚像)が遠ざかるような印象を観察者に与えることができるという利点も想定される。
【0020】
第1乃至7の実施態様に従属し得る第8の実施形態における表示制御装置では、前記プロセッサは、
前記車両が基準姿勢から前傾又は後傾の第1方向に変化した場合、まず、前記第1画像調整処理を実行し、次に、所定の条件が成立した場合、前記第2画像調整処理を実行し、
前記車両が基準姿勢から前傾又は後傾の前記第1方向と逆の第2方向に変化した場合、前記第2画像調整処理を実行する、ようにする。本実施形態によれば、車両の姿勢が第2方向(例えば、後傾)に変化した場合、すぐに、車両の姿勢変動に対抗した画像の位置調整量が小さい第2画像調整処理を実行するため、表示領域から画像の一部又は全部が外れにくくすることができる。一方、車両の姿勢が第1方向(例えば、前傾)に変化した場合、車両の姿勢変動に対抗した画像の位置調整量が大きい第1画像調整処理を実行することで、車両の姿勢変動による画像と路面(前景)との相対的な位置ずれを相殺する(又は低減する)ことができる。したがって、本実施形態は、車両の姿勢変動の方向に応じて、画像を表示領域から外れにくくする処理と、画像を路面(前景)に対してずれにくくする処理と、を自動的に切り替えることができるという利点も想定される。
【0021】
第8の実施態様に従属する第9の実施形態における表示制御装置では、前記プロセッサは、
前記虚像が前記虚像表示領域の上方にある場合、前記第1方向を前記車両の後傾に設定し、前記第2方向を前記車両の前傾に設定し、
前記虚像が前記虚像表示領域の下方にある場合、前記第1方向を前記車両の前傾に設定し、前記第2方向を前記車両の後傾に設定する、ようにする。虚像が虚像表示領域の上方にある場合、虚像表示領域において虚像の上方にはスペースはないが、下方にはスペースがある。本実施形態によれば、虚像が虚像表示領域の上方にある場合、車両の姿勢が前傾(第2方向)に変化した場合、すぐに、車両の姿勢変動に対抗した画像の位置調整量が小さい第2画像調整処理を実行するため、虚像の上方の狭いスペースであっても画像の一部又は全部が表示領域から外れにくくすることができる。一方、車両の姿勢が後傾(第1方向)に変化した場合、虚像の下方の比較的広いスペースを用いて、車両の姿勢変動に対抗した画像の位置調整量が大きい第1画像調整処理を実行することができ、車両が大きく後傾した場合でも表示領域から画像の一部又は全部が逸脱することなく、車両の姿勢変動による画像と路面(前景)との相対的な位置ずれを相殺する(又は低減する)ことができる。また、虚像が虚像表示領域の下方にある場合、虚像表示領域において虚像の下方にはスペースはないが、上方にはスペースがある。本実施形態によれば、虚像が虚像表示領域の下方にある場合、車両の姿勢が後傾(第2方向)に変化した場合、すぐに、車両の姿勢変動に対抗した画像の位置調整量が小さい第2画像調整処理を実行するため、虚像の下方の狭いスペースであっても画像の一部又は全部が表示領域から外れにくくすることができる。一方、車両の姿勢が前傾(第1方向)に変化した場合、虚像の上方の比較的広いスペースを用いて、車両の姿勢変動に対抗した画像の位置調整量が大きい第1画像調整処理を実行することができ、車両が大きく前傾した場合でも表示領域から画像の一部又は全部が逸脱することなく、車両の姿勢変動による画像と路面(前景)との相対的な位置ずれを相殺する(又は低減する)ことができる。
【図面の簡単な説明】
【0022】
【
図1】
図1は、本実施形態の車両用表示システムを車両へ適用した例を示す図である。
【
図2】
図2は、ヘッドアップディスプレイ装置の構成を示す図である。
【
図3】
図3は、いくつかの実施形態の車両用表示システムのブロック図である。
【
図4】
図4は、いくつかの実施形態に従って、コンテンツ、及び仮想視点を配置したモデル空間を説明する図である。
【
図5】
図5は、車両の走行中において、観察者が視認する前景と、前景に重畳して表示される画像(虚像)の例を示す図である。
【
図6】
図6は、位置調整処理前の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図7A】
図7Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図7B】7Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図8A】
図8Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図8B】
図8Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図9】
図9は、姿勢変動に対する画像調整処理を説明する図であり、姿勢変動(又は位置調整量)の大きさに応じて、第1画像調整処理と第2画像調整処理を切り替える例を示す。
【
図10】
図10は、姿勢変動に対する画像調整処理を説明する図であり、姿勢変動(又は位置調整量)の大きさによらず、第2画像調整処理を行う例を示す。
【
図11】
図11は、姿勢変動前の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図12A】
図12Aは、前傾により虚像表示領域が実景に対して下方にずれた際のサイズ調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図12B】
図12Bは、後傾により虚像表示領域が実景に対して上方にずれた際のサイズ調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
【
図13】
図13は、車両1が後傾した際にサイズ調整処理を行わずに、位置調整を行った第1の画像調整処理を説明する図であり、左図は、姿勢変動前かつ第1の画像調整処理前における虚像と前景を示し、右図は、姿勢変動後かつ第1の画像調整処理後における虚像と前景を示す。
【
図14】
図14は、車両1が後傾した際に位置調整を行わずに、サイズ調整処理を行った第2の画像調整処理を説明する図であり、左図は、姿勢変動前かつサイズ補正前における虚像と前景を示し、右図は、姿勢変動後かつサイズ補正後における虚像と前景を示す。
【
図15】
図15は、車両1が後傾した際に、位置調整、及びサイズ調整処理を行った第2の画像調整処理を説明する図であり、左図は、姿勢変動前かつ第2の画像調整処理前における虚像と前景を示し、右図は、姿勢変動後かつ第2の画像調整処理後における虚像と前景を示す。
【
図16】
図16は、いくつかの実施形態における表示制御のフローを示す図である。
【
図17】
図17は、位置調整量の限度を説明するための図である。
【発明を実施するための形態】
【0023】
以下、
図1ないし
図17では、例示的な車両用表示システムの構成、及び動作の説明を提供する。なお、本発明は以下の実施形態(図面の内容も含む)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【0024】
図1を参照する。
図1は、車両用虚像表示システムの構成の一例を示す図である。なお、
図1において、車両(移動体の一例。)1の左右方向(換言すると、車両1の幅方向)をX軸(X軸の正方向は、車両1の前方を向いた際の左方向。)とし、左右方向に直交すると共に、地面又は地面に相当する面(ここでは路面6)に直交する線分に沿う上下方向(換言すると、車両1の高さ方向)をY軸(Y軸の正方向は、上方向。)とし、左右方向及び上下方向の各々に直交する線分に沿う前後方向をZ軸(Z軸の正方向は、車両1の直進方向。)とする。この点は、他の図面においても同様である。
【0025】
図示するように、車両(車両)1に備わる車両用表示システム10は、観察者(典型的には車両1の運転席に着座する運転者)の左目700Lと右目700Rの位置や視線方向を検出する瞳(あるいは顔)検出用の目位置検出部(視線検出部)409、車両1の前方(広義には周囲)を撮像するカメラ(例えばステレオカメラ)などで構成される車外センサ411、車両1の姿勢を検出する姿勢検出部415、ヘッドアップディスプレイ装置(以下では、HUD装置とも呼ぶ)20、及びHUD装置20を制御する表示制御装置30、を有する。なお、目位置検出部(視線検出部)409、車外センサ411は、省略され得る。
【0026】
図2は、ヘッドアップディスプレイ装置20の構成の一態様を示す図である。HUD装置20は、例えばダッシュボード(
図1の符号5)内に設置される。このHUD装置20は、画像表示装置(表示部)40、リレー光学系80及び、これら画像表示装置40とリレー光学系80を収納し、画像表示装置40からの表示光Kを内部から外部に向けて出射可能な光出射窓21を有する筐体22、を有する。
【0027】
画像表示装置(表示部)40は、ここでは視差式3D表示装置とする。この立体表示装置(視差式3D表示装置)40は、左視点画像と右視点画像と視認させることで奥行き表現を制御可能な多視点画像表示方式を用いた裸眼立体表示装置である表示器50及び、バックライトとして機能する光源ユニット60、により構成される。なお、画像表示装置(表示部)40は、3D画像を表示する立体画像表示装置に限定されるものではなく、2D画像を表示するものであってもよい。
【0028】
表示器50は、光源ユニット60からの照明光を光変調して画像Mを表示面50aに生成する光変調素子51及び、例えば、レンチキュラレンズやパララックスバリア(視差バリア)等を有し、光変調素子51から出射される光を、左目用の光線K11、K12及び、K13等の左目用表示光(
図1の符号K10)と、右目用の光線K21、K22及び、K23等の右目用表示光(
図1の符号K20)とに分離する光学レイヤ(光線分離部の一例。)52、を有する。光学レイヤ52は、レンチキュラレンズ、パララックスバリア、レンズアレイ及び、マイクロレンズアレイなどの光学フィルタを含む。実施形態で光学レイヤ52は、前述した光学フィルタに限定されることなく、光変調素子51の前面又は後面に配置される全ての形態の光学レイヤを含む。但し、これは一例であり、限定されるものではない。
【0029】
また、画像表示装置40は、光学レイヤ(光線分離部の一例。)52の代わりに又は、それに加えて、光源ユニット60を指向性バックライトユニット(光線分離部の一例。)で構成することで、左目用の光線K11、K12及び、K13等の左目用表示光(
図1の符号K10)と、右目用の光線K21、K22及び、K23等の右目用表示光(
図1の符号K20)と、を出射させてもよい。具体的に、例えば、後述する表示制御装置30は、指向性バックライトユニットが左目700Lに向かう照明光を照射した際に、光変調素子51に左視点画像を表示させることで、左目用の光線K11、K12及び、K13等の左目用表示光K10を、観察者の左目700Lに向け、指向性バックライトユニットが右目700Rに向かう照明光を照射した際に、光変調素子51に右視点画像を表示させることで、右目用の光線K21、K22及び、K23等の右目用表示光K20を、観察者の左目700Lに向ける。但し、これは一例であり、限定されるものではない。
【0030】
後述する表示制御装置30は、例えば、画像レンダリング処理(グラフィック処理)、表示器駆動処理などを実行することで、観察者の左目700Lへ左視点画像V11の左目用表示光K10及び、右目700Rへ右視点画像V12の右目用表示光K20、を向け、左視点画像V11及び右視点画像V12を調整することで、HUD装置20が表示する(観察者が知覚する)コンテンツFUの態様を制御することができる。なお、後述する表示制御装置30は、一定空間に存在する点などから様々な方向に出力される光線をそのまま(概ね)再現するライトフィールドを再現するように、ディスプレイ(表示器50)を制御してもよい。
【0031】
リレー光学系80は、画像表示装置40からの光を反射し、画像の表示光K10、K20を、ウインドシールド(被投影部材)2に投影する曲面ミラー(凹面鏡等)81、82を有する。但し、その他の光学部材(レンズなどの屈折光学部材、ホログラムなどの回折光学部材、反射光学部材又は、これらの組み合わせを含んでいてもよい。)を、さらに有してもよい。
【0032】
図1では、HUD装置20の画像表示装置40によって、左右の各目用の、視差をもつ画像(視差画像)が表示される。各視差画像は、
図1に示されるように、虚像表示領域(虚像結像面)VSに結像したV10、V20として表示される。観察者(人)の各目のピントは、虚像表示領域VSの位置に合うように調節される。なお、虚像表示領域VSの位置を、「調節位置(又は結像位置)」と称し、また、所定の基準位置(例えば、HUD装置20のアイボックス200の中心205、観察者の視点位置、又は、車両1の特定位置など)から虚像表示領域VSまでの距離を調節距離(結像距離)と称する。
【0033】
また、虚像表示領域VSは、表示器50における表示面50aに対応して、乗員(運転者等の視認者)の前方の実空間に設定される仮想的な(見かけ上の)面である。また、虚像表示領域VSとしては、例えば、路面6に垂直な立面VS1、路面6に対して傾斜した傾斜面VS2、路面6に重畳される路面重畳面VS3、乗員(視認者)に近い側が立面(疑似立面を含む)であり、遠い側が傾斜面となっている面(不図示)等がある。立面VS1を除く他の面を用いた表示では、虚像表示領域上での表示位置に応じて虚像の表示距離が異なり、よって奥行き表現が可能である。
【0034】
図3は、いくつかの実施形態に係る、車両用虚像表示システムのブロック図である。表示制御装置30は、1つ又は複数のI/Oインタフェース31、1つ又は複数のプロセッサ33、1つ又は複数の表示制御処理回路35、及び1つ又は複数のメモリ37を備える。
図3は、1つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、表示制御処理回路35(例えば、グラフィック処理ユニット)が、1つ又は複数のプロセッサ33に含まれてもよい。
【0035】
図示するように、プロセッサ33及び表示制御処理回路35は、メモリ37と動作可能に連結される。より具体的には、プロセッサ33及び表示制御処理回路35は、メモリ37に記憶されているプログラムを実行することで、例えば画像データを生成、及び/又は送信するなど、車両用表示システム10(画像表示装置40)の制御を行うことができる。プロセッサ33及び/又は表示制御処理回路35は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリ37は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVRAMを含んでもよい。
【0036】
図示するように、プロセッサ33は、I/Oインタフェース31と動作可能に連結されている。I/Oインタフェース31は、例えば、車両に設けられた後述の車両ECU401及び/又は、他の電子機器(後述する符号403~419)と、CAN(Controller Area Network)の規格に応じて通信(CAN通信とも称する)を行う。なお、I/Oインタフェース31が採用する通信規格は、CANに限定されず、例えば、CANFD(CAN with Flexible Data Rate)、LIN(Local Interconnect Network)、Ethernet(登録商標)、MOST(Media Oriented Systems Transport:MOSTは登録商標)、UART、もしくはUSBなどの有線通信インタフェース、又は、例えば、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi-Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)等の数十メートル内の近距離無線通信インタフェースである車内通信(内部通信)インタフェースを含む。また、I/Oインタフェース31は、無線ワイドエリアネットワーク(WWAN0、IEEE802.16-2004(WiMAX:Worldwide Interoperability for Microwave Access))、IEEE802.16eベース(Mobile WiMAX)、4G、4G-LTE、LTE Advanced、5Gなどのセルラー通信規格により広域通信網(例えば、インターネット通信網)などの車外通信(外部通信)インタフェースを含んでいてもよい。
【0037】
図示するように、プロセッサ33は、I/Oインタフェース31と相互動作可能に連結されることで、車両用表示システム10(I/Oインタフェース31)に接続される種々の他の電子機器等と情報を授受可能となる。I/Oインタフェース31には、例えば、車両ECU401、道路情報データベース403、自車位置検出部405、操作検出部407、目位置検出部409、車外センサ411、明るさ検出部413、姿勢検出部415、携帯情報端末417、及び外部通信機器419などが動作可能に連結される。なお、I/Oインタフェース31は、車両用表示システム10に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
【0038】
画像表示装置40は、プロセッサ33及び表示制御処理回路35に動作可能に連結される。したがって、光変調素子51によって表示される画像は、プロセッサ33及び/又は表示制御処理回路35から受信された画像データに基づいてもよい。プロセッサ33及び表示制御処理回路35は、I/Oインタフェース31から取得される情報に基づき、光変調素子51が表示する画像を制御する。
【0039】
メモリ37に記憶されたソフトウェア構成要素は、描画モジュール510、及び画像調整モジュール520(位置調整モジュール522、俯角調整モジュール524、サイズ調整モジュール526)を含む。
【0040】
描画モジュール510は、表示制御装置30が取得した情報(ナビゲーション情報、車両情報など)に基づいて、画像Mを形成し、バッファ(不図示)に形成された画像Mを一時的に保存する。表示器50に表示された画像Mは、虚像V20として観察者700に視認される。このとき、虚像V20は、コンテンツFUを表現する。
【0041】
描画モジュール510は、各描画フレームにおいて、描画するコンテンツFUの各頂点データの計算を行う。この場合、各コンテンツFUのモデル空間を構築する。そして、仮想オブジェクト毎の「モデル座標系(ローカル座標系)」上で、描画する各頂点のデータを計算する。描画モジュール510は、モデル座標系に描画したコンテンツFUを、仮想視点VPを基準とした所定の射影面(後述する虚像表示領域VS)に射影することで2次元画像に変換し、この2次元画像を画像Mとする。なお、描画モジュール510は、「モデル座標系(ローカル座標系)」に配置した各コンテンツFUを「ワールド座標系」の空間に配置してもよい。すなわち、「モデル座標系」上で計算された描画対象の各コンテンツFUの頂点データを「ワールド座標系」上に配置していってもよい。なお、一部又は全部のコンテンツFUは、「ワールド座標系」上に配置されなくてもよい。
【0042】
図4は、コンテンツFU20、及び仮想視点VPを配置したモデル空間を説明する図である。
図4では、仮想視点VPの座標系は、奥行き方向をZ1軸方向とし、左右方向をX1軸方向(車両1の幅方向Xに対応している)とし、上下方向をY1軸方向(車両1の上下方向Yに対応している)とする。観察者700は、被投影部2を介して虚像表示領域VSに形成された(結像された)虚像V20を視認することで、所定のターゲット位置MPに、コンテンツFUがあるように知覚する。例えば、コンテンツFU20が、進路を案内する矢印である場合、仮想視点VP0から見て実景の所定のターゲット位置MPにコンテンツFU20が配置されているかのように視認されるように、虚像V20の矢印が虚像表示領域VSに表示される。すなわち、仮想視点VPを基準に、コンテンツFUを虚像表示領域VSに射影変換された画像(ここでは虚像V20)を表示すると、仮想視点VPと同様の位置(例えば、アイボックス200の中心205)から観察者700が見ると、
図5に示すように、仮想視点VPから見たような所定のターゲット位置MPに配置されているようなコンテンツFUを知覚することができる。
【0043】
通常は、コンテンツFU20が配置される(設定される)ターゲット位置MPが配置される仮想平面100は、前景(路面6)の表面の高さに一致させる(すなわち、設定高さを0mに設定する)。但し、これは一例であり、限定されるものではない。他の例では、ターゲット位置MP(仮想平面100)は、前景(路面6)の表面の高さより高い位置に設定してもよい(すなわち、設定高さを0.5mや1mに設定してもよい)。また、他の例では、ターゲット位置MP(仮想平面100)は、前景(路面6)の表面の高さより低い位置に設定してもよい(すなわち、設定高さを-1mや-2mに設定してもよい)。俯角βは、所定の仮想視点VPから見た水平方向(Z1-X1平面)とコンテンツFU(ターゲット位置MP)との間の角度(見下ろし角)である。
【0044】
図3の画像調整モジュール520(位置調整モジュール522、俯角調整モジュール524、サイズ調整モジュール526)は、車両1の姿勢変動に合わせて、虚像表示領域VS内に表示する虚像V20の位置を調整する処理(位置調整処理)、俯角を調整する処理(俯角調整処理)、及びサイズを調整する処理(サイズ調整処理)を実行する。
【0045】
図6は、位置調整処理前の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図6では、車両姿勢AT10がAT11であるとする。このときのピッチング角αを基準姿勢α0とする。基準姿勢α0は、予めメモリ37に記憶された車両のピッチング角αであり、典型的には、車両のピッチング角がゼロ(路面6に対して平行)である状態である。なお、基準姿勢α0は、可変してもよい。具体的には、車両のピッチング角αが所定の時間以上あまり変化がない場合、その時の安定したピッチング角αを基準姿勢α0として設定(更新)し、メモリ37に記憶してもよい。仮想平面100のターゲット位置MP(第1の領域110)にコンテンツFUが配置される。コンテンツFUは、所定のサイズを有し、仮想平面100の第1の領域110に重なるように配置される。コンテンツFUのサイズは、
図6では、第1の領域110の奥行き方向の第1の長さL10とする。任意の仮想平面100は、コンテンツFUが配置される仮想的な平面であり、例えば、車両1の前後左右方向と平行に設定される(路面6と概ね一致していてもよい)。描画モジュール510は、仮想視点VP1を基準に、コンテンツFUを虚像表示領域VS1に射影変換された画像(ここでは虚像V21)を表示するように、虚像V21の元となる画像Mを表示器50に表示させる。ここで、仮想視点VP1から第1の領域110まで仮想平面100に沿った距離をD0とし、仮想平面100から仮想視点VP1までの距離をh0とする。
【0046】
図7Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図7Aでは、車両姿勢AT10が、第1画像調整処理前の車両姿勢AT11よりも車両1が比較的小さいピッチング角α12だけ前傾したAT12であるとする。ここで前傾とは、
図6に示す車両姿勢AT11を基準に、車両1の前方が下がる(換言すると、車両1の後方が上がる)ことを指すものとする。
図6の状態から
図7Aの状態へ車両1が前傾すると、観察者の視点から見られる虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に下方(Y軸負方向)にB12だけシフトする。第1の画像調整処理が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動による下方向のシフト量B12に伴い、
図7A右図の位置G2に下方向のシフト量B12だけシフトしてしまう。すなわち、観察者の視点から見られるコンテンツFUは、配置しておきたいターゲット位置MP1から虚像V21がずれてしまう。いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理を実行することで、姿勢変動によるシフト量B12を抑制(相殺)するように、虚像の位置G2を上方(Y軸正方向)に第1位置調整量C12(C10)だけ補正する(位置調整した虚像V22を表示する)。好ましくは、第1位置調整量C12(C10)は、姿勢変動による画像シフト量B12(B10)と等しくする(C10=B10)ことで、姿勢変動後での虚像V20を、第1の領域110(ターゲット位置MP1)に維持することができる。これによれば、姿勢変動による画像シフト量B10は、第1位置調整量C10によって相殺され、観察者に認識されない。但し、第1位置調整量C10は、姿勢変動による画像シフト量B10を低減できればよく、画像シフト量B10より小さくてもよい。これによれば、車両姿勢の変化に基づく虚像の位置ずれを抑制することができる。
【0047】
図7Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図7Bでは、車両姿勢AT10が、第2画像調整処理前の車両姿勢AT11よりも車両1が比較的大きいピッチング角α13(>α12)だけ前傾したAT13であるとする。
図6の状態から
図7Bの状態へ車両1が前傾すると、虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に下方(Y軸負方向)にB13だけシフトする。位置調整が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動によるシフト量B13に伴い、
図7B右図の位置G3にシフト量B13だけシフトしてしまう。この姿勢変動による下方向のシフト量B13を相殺するために、虚像V20を上方向にシフト量B13だけ移動させればよいが、虚像V20を上方向にシフト量B13だけ移動させると、虚像表示領域VS13の外に出ることになる。
【0048】
いくつかの実施形態におけるプロセッサ33は、車両1の姿勢変動が大きい場合(後述の所定条件の一例)、第2の画像調整処理を実行することで、姿勢変動による虚像表示領域VSの下方向のシフト量B13に対し、第1の画像調整処理における第1位置調整量C13(C10)よりも小さい第2位置調整量C23(C20)だけ虚像の位置G3を上方(Y軸正方向)に補正する(位置調整した虚像V23を表示する)。第2位置調整量C23(C20)は、姿勢変動による画像シフト量B13(B10)より小さくする(C20<B10)ことで、第1の画像調整処理に比べると、第1の領域110(ターゲット位置MP1)よりも近傍側の第2の領域120(ターゲット位置MP1とは異なる位置)へ大きくずれてしまうものの、虚像V23を、虚像表示領域VS13内に維持することができる。これによれば、姿勢変動による画像シフトB13(B10)は、第2位置調整量C23(C20)では相殺されないため、観察者に認識される。
【0049】
コンテンツFUは、路面6に対して所定の角度関係をもって配置される。具体的に例えば、コンテンツFUは、路面6に平行に視認されるように配置される。しかしながら、車両1のピッチング角αが変化した場合、コンテンツFUと路面6との角度関係が変化してしまう。具体的には、虚像V20が路面6に平行になるように表示されていた場合、ピッチング角αにより虚像V20と路面6との平行関係がピッチング角αだけずれることになる。この車両1の姿勢変動(ピッチング)に伴う虚像V20と路面6との角度関係のずれは、虚像V20の左右方向を軸とした角度(虚像V20の見下ろし角(俯角))βを調整することで補正することができる。
【0050】
本実施形態におけるプロセッサ33は、少なくとも第2の画像調整処理において、車両1の姿勢変動に対し、虚像V20(コンテンツFU)の俯角βを調整する。プロセッサ33は、前傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを増加させる。逆に、プロセッサ33は、後傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを減少させる。
【0051】
いくつかの実施形態におけるプロセッサ33は、第2の画像調整処理に加えて、第1の画像調整処理でも、車両1の姿勢変動に対し、虚像V20(コンテンツFU)の俯角βを調整してもよい。第2の画像調整処理と同様、プロセッサ33は、前傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを増加させる。逆に、プロセッサ33は、後傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを減少させる。
【0052】
いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理において、ピッチング角の変化量αと同じ角度だけ俯角βを調整し得る。具体的には、
図6の状態から
図7Aの状態へ車両1が前傾する場合、ピッチング角の変化量αは、α12である。
図6に示す仮想視点VP1は、
図7Aに示す前傾のピッチング角の変化量α12に基づき、仮想平面100に対する仮想視点VP2の角度がα12だけ変化させる。これにより、仮想視点VP2を基準としたターゲット位置MP1に配置されるコンテンツFUを見下ろす俯角β12は、俯角β11よりもα12だけ大きくなる。また、いくつかの実施形態におけるプロセッサ33は、ピッチング角の変化量αに係数を乗算した角度だけ俯角βを調整し得る。
【0053】
また、いくつかの実施形態におけるプロセッサ33は、第2の画像調整処理において、ピッチング角の変化量αと同じ角度だけ俯角βを調整し得る。具体的には、
図6の状態から
図7Bの状態へ車両1が前傾する場合、ピッチング角の変化量αは、α13である。
図6に示す仮想視点VP1は、
図7Bに示す前傾のピッチング角の変化量α13により、仮想視点VP3の位置に移動し、仮想平面100に対する仮想視点VP3の角度がα13だけ変化する。これに合わせて、プロセッサ33は、虚像V23で表現するコンテンツFUの俯角βを前傾のピッチング角の変化量α13の分だけ大きくしてもよい。また、いくつかの実施形態におけるプロセッサ33は、ピッチング角の変化量αに係数を乗算した角度だけ俯角βを調整し得る。
【0054】
好ましい、いくつかの実施形態におけるプロセッサ33は、第2の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E20)を、第1の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E10)より大きくしてもよい。第2の画像調整処理された虚像V23は、第1の画像調整処理された虚像V22よりもターゲット位置MP1からずれて視認されることになる。具体的には、前傾において、第2の画像調整処理された虚像V23は、第1の画像調整処理された虚像V22よりもターゲット位置MP1(110)を基準として、より観察者の手前側の実景(路面6)に重なる位置120にシフトして視認されることになる。コンテンツFUが路面6と平行な仮想平面100に沿って観察者の近くに配置される場合、仮想視点VPを基準としたコンテンツFUを見下ろす俯角βは大きくなる。逆に、コンテンツFUが観察者から遠くに配置される場合、仮想視点VPを基準としたコンテンツFUを見下ろす俯角βは小さくなる。したがって、より好ましいいくつかの実施形態におけるプロセッサ33は、第2の画像調整処理におけるコンテンツFUの俯角βの調整量(俯角調整量)を、車両1のピッチング角αの変化による俯角調整量と、仮想平面100(一例として路面6と概ね一致するように設定される)の遠近方向におけるコンテンツFUのシフトによる俯角調整量と、を合わせた俯角調整量としてもよい。
図7Bにおける俯角β13は、姿勢変化の基準となる
図6の俯角β11を、コンテンツFUが仮想平面100上の第1の領域110から近傍側の第2の領域120にシフトしたことによる俯角調整量と、車両1のピッチング角αの変化による俯角調整量とを合わせた俯角調整量により補正したものとして演算される。
【0055】
図8Aは、第1画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図8Aでは、車両姿勢AT10が、第1画像調整処理前の車両姿勢AT11よりも車両1が比較的小さいピッチング角α14だけ後傾したAT14であるとする。ここで後傾とは、
図6に示す車両姿勢AT11を基準に、車両1の前方が上がる(換言すると、車両1の後方が下がる)ことを指すものとする。
図6の状態から
図8Aの状態へ車両1が後傾すると、虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に上方(Y軸正方向)にB14だけシフトする。第1の画像調整処理が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動による上方向のシフト量B14に伴い、
図8A右図の位置G4に上方向のシフト量B14だけシフトしてしまう。すなわち、コンテンツFUを配置しておきたいターゲット位置MP1から虚像V21がずれてしまう。いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理を実行することで、姿勢変動によるシフト量B14を抑制(相殺)するように、虚像の位置G4を下方(Y軸負方向)に第1位置調整量C14(C10)だけ補正する(位置調整した虚像V24を表示する)。好ましくは、第1位置調整量C14(C10)は、姿勢変動による画像シフト量B14(B10)と等しくする(C10=B10)ことで、姿勢変動後での位置G4に表示されてしまう虚像V21を、第1の領域110(ターゲット位置MP1)に維持することができる。これによれば、姿勢変動による画像シフトB14(B10)は、第1位置調整量C14(C10)によって相殺され、観察者に認識されない。但し、第1位置調整量C10は、姿勢変動による画像シフト量B10を低減できればよく、画像シフト量B10より小さくてもよい。これによれば、車両姿勢の変化に基づく位置ずれを抑制することができる。
【0056】
いくつかの実施形態におけるプロセッサ33は、第1の画像調整処理において、車両1の後傾方向のピッチング角の変化量αと同じ角度だけ俯角βを調整し得る。具体的には、
図6の状態から
図8Aの状態へ車両1が後傾する場合、ピッチング角の変化量αは、α14である。
図6に示す仮想視点VP1は、
図8Aに示す後傾のピッチング角の変化量α14により、仮想平面100に対する仮想視点VP4の角度がα14だけ変化する。これにより、仮想視点VP4を基準としたターゲット位置MP1に配置されるコンテンツFUを見下ろす俯角β14は、俯角β11よりもα14だけ小さくなる。また、いくつかの実施形態におけるプロセッサ33は、ピッチング角の変化量αに係数を乗算した角度だけ俯角βを調整し得る。
【0057】
図8Bは、第2画像調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図8Bでは、車両姿勢AT10が、第2画像調整処理前の車両姿勢AT11よりも車両1が比較的大きいピッチング角α15(α14>)だけ後傾したAT15であるとする。
図6の状態から
図8Bの状態へ車両1が後傾すると、虚像表示領域VSが、姿勢変動により実景(路面)6に対して相対的に上方(Y軸正方向)にB15だけシフトする。位置調整が行われない場合、
図6に示していた虚像V21は、虚像表示領域VSの姿勢変動によるシフト量B15に伴い、
図8B右図の位置G5にシフト量B15だけシフトしてしまう。この姿勢変動による上方向のシフト量B15を相殺するために、位置G5に表示されてしまう虚像を下方向にシフト量B15だけ移動させればよいが、位置G5に表示されてしまう虚像を下方向にシフト量B15だけ移動させると、虚像表示領域VS15の外に出ることになる。
【0058】
いくつかの実施形態におけるプロセッサ33は、姿勢変動が大きい場合(後述の所定条件の一例)、第2の画像調整処理を実行することで、姿勢変動による虚像表示領域VSの上方向のシフト量B15に対し、第1の画像調整処理における第1位置調整量C15(C10)よりも小さい第2位置調整量C25(C20)だけ虚像の位置G5を下方(Y軸正方向)に補正する(位置調整した虚像V25を表示する)。第2位置調整量C25(C20)は、姿勢変動による画像シフト量B15(B10)より小さくする(C20<B10)ことで、第1の画像調整処理に比べると、第1の領域110(ターゲット位置MP1)よりも遠方側の第5の領域150(ターゲット位置MP1とは異なる位置)へ大きくずれてしまうものの、虚像V25を、虚像表示領域VS15内に維持することができる。これによれば、姿勢変動による画像シフト量B10は、第2位置調整量C20では相殺されないため、観察者に認識される。本実施形態におけるプロセッサ33は、後傾方向のピッチング角αの増加に合わせて、ダイナミックに俯角βを減少させる。
【0059】
好ましいいくつかの実施形態におけるプロセッサ33は、第2の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E20)を、第1の画像調整処理におけるピッチング角の変化量αに対する俯角βの調整量(俯角調整量E10)より大きくしてもよい。第2の画像調整処理された虚像V25は、第1の画像調整処理された虚像V23よりもターゲット位置MP1からずれて視認されることになる。具体的には、後傾において、第2の画像調整処理された虚像V25は、第1の画像調整処理された虚像V24よりもターゲット位置MP1(110)を基準としてより観察者の遠方側の実景(路面6)に重なる位置150にずれて視認されることになる。コンテンツFUが路面6と平行な仮想平面100に沿って観察者から遠ざけて配置される場合、仮想視点VPを基準としたコンテンツFUを見下ろす俯角βは小さくなる。したがって、
図8Bにおける俯角β15は、姿勢変化の基準となる
図6の俯角β11を、コンテンツFUが仮想平面100上の第1の領域110から遠方側の第3の領域130にシフトしたことによる俯角調整量と、車両1のピッチング角αの変化による俯角調整量とを合わせた俯角調整量により補正したものとして演算されてもよい。
【0060】
図9は、姿勢変動に対する画像調整処理を説明する図であり、姿勢変動(又は位置調整量)の大きさに応じて、第1画像調整処理と第2画像調整処理を切り替える例を示す。時間t11~t12では、ピッチング角αは、予め設定された姿勢閾値αTdより小さい前傾である。位置調整量Cは、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾)に合わせて虚像表示領域VS内の虚像の位置を上方向にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、ターゲット位置MP1に維持される)。俯角調整量Eは、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾)に合わせて虚像の俯角βをダイナミックに大きくする第1俯角調整量E10に設定される。虚像の位置ずれが第1位置調整量C10によって相殺されていれば、虚像がターゲット位置MP1からずれず、サイズの調整は必要ないため、サイズ調整量Fはゼロとなる。
【0061】
時間t12~t13では、ピッチング角αは、予め設定された姿勢閾値αTdより大きい前傾である。位置調整量Cは、姿勢変動により生じた下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量C10より小さく、姿勢変動(ピッチング角αの前傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量C20に設定される。これにより、姿勢変動(ピッチング角αの前傾)による虚像の下方向のずれが生じる(換言すると、前傾によって虚像が観察者の近傍へシフトする)。俯角調整量Eは、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量と、虚像が観察者の近傍へシフトしたことを表現する俯角調整量とを加算し、姿勢変動(ピッチング角αの前傾)に合わせて虚像の俯角βをダイナミックに大きくする第2俯角調整量E20に設定される。ここで、第2俯角調整量E20は、虚像が観察者の近傍へシフトしたことを表現する俯角調整量も加算するため、第1俯角調整量E10に比べると大きくなる。サイズ調整量Fは、虚像が観察者の近傍へシフトしたことを表現するために、虚像のサイズを姿勢変動(ピッチング角αの変化)に合わせてダイナミックに大きくするように設定される。
【0062】
時間t13~t14では、ピッチング角αは、予め設定された姿勢閾値αTdより小さい前傾であり、時間t14~t15では、ピッチング角αは、予め設定された姿勢閾値αTuより小さい後傾である。位置調整量Cは、姿勢変動により生じた下方向(t14~t15では上方向)への虚像のずれを強力に抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾(t14~t15では後傾))に合わせて虚像表示領域VS内の虚像の位置を上方向(t14~t15では下方向)にダイナミックに補正する第1位置調整量C10に設定される。これにより、虚像の位置ずれは、好ましくは相殺される(虚像の位置は、ターゲット位置MP1に維持される)。俯角調整量Eは、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを抑制する(好ましくは、相殺する)ように、姿勢変動(ピッチング角αの前傾(t14~t15では後傾))に合わせて虚像の俯角βをダイナミックに大きくする(t14~t15では小さくする)第1俯角調整量E10に設定される。虚像の位置ずれが第1位置調整量C10によって相殺されていれば、虚像がターゲット位置MP1からずれず、サイズの調整は必要ないため、サイズ調整量Fはゼロとなる。
【0063】
時間t15~t16では、ピッチング角αは、予め設定された姿勢閾値αTuより大きい後傾である。位置調整量Cは、姿勢変動により生じた上方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量C10より小さく、姿勢変動(ピッチング角αの後傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量C20に設定される。これにより、姿勢変動(ピッチング角αの後傾)による虚像の上方向のずれが生じる(換言すると、後傾によって虚像が観察者の遠方へシフトする)。俯角調整量Eは、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量と、虚像が観察者の遠方へシフトしたことを表現する俯角調整量とを加算し、姿勢変動(ピッチング角αの後傾)に合わせて虚像の俯角βをダイナミックに大きくする第2俯角調整量E20に設定される。ここで、第2俯角調整量E20は、虚像が観察者の遠方へシフトしたことを表現する俯角調整量も加算するため、第1俯角調整量E10に比べると大きくなる。サイズ調整量Fは、虚像が観察者の遠方へシフトしたことを表現するために、虚像のサイズを姿勢変動(ピッチング角αの変化)も合わせてダイナミックに小さくするサイズ調整量を設定する。時間t16~t19での画像処理は、時間t11~t12、t13~t15での画像処理と同様であり、説明は省く。
【0064】
図10は、姿勢変動に対する画像調整処理を説明する図であり、姿勢変動(又は位置調整量)の大きさによらず、第2画像調整処理を行う例を示す。いくつかの実施形態では、姿勢変動(又は位置調整量)の大きさによらず、所定の条件に応じて、第1画像調整処理と第2画像調整処理とを切り替えても良い。前記所定の条件の例は、後に詳述するが、例えば、姿勢変動の速度が所定の閾値より速いことを少なくとも含み、姿勢変動の速度が速いと、その姿勢変動に対して(その姿勢変動が安定するまで)は、姿勢変動(位置調整量)の大きさによらず、第2画像調整処理を実行する。
【0065】
図10では、位置調整量Cは、姿勢変動により生じた上下方向への虚像のずれを強力に抑制する(好ましくは、相殺する)第1位置調整量C10より小さく、姿勢変動(ピッチング角αの前傾(t24~t27、t28~t29では後傾)に依らず虚像表示領域VS内の虚像の位置を固定する第2位置調整量C20に設定される。これにより、姿勢変動(ピッチング角αの前傾(t24~t27、t28~t29では後傾))による虚像の上下方向のずれが生じる(換言すると、前傾(t24~t27、t28~t29では後傾)によって虚像が観察者の近傍(t24~t27、t28~t29では遠方)へシフトする)。俯角調整量Eは、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量と、虚像が観察者の近傍(t24~t27、t28~t29では遠方)へシフトしたことを表現する俯角調整量とを加算し、姿勢変動(ピッチング角αの前傾(t24~t27、t28~t29では後傾))に合わせて虚像の俯角βをダイナミックに大きくする(t24~t27、t28~t29ではダイナミックに小さくする)第2俯角調整量E20に設定される。ここで、第2俯角調整量E20は、虚像が観察者の遠方(t24~t27、t28~t29では近傍)へシフトしたことを表現する俯角調整量も加算するため、第1俯角調整量E10に比べると大きくなる。サイズ調整量Fは、虚像が観察者の近傍(t24~t27、t28~t29では遠方)へシフトしたことを表現するために、虚像のサイズを姿勢変動(ピッチング角αの変化)も合わせてダイナミックに大きくする(t24~t27、t28~t29ではダイナミックに小さくする)サイズ調整量を設定する。
【0066】
以下に、サイズ調整処理について説明する。
図11は、姿勢変動前の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図11では、車両姿勢AT10がAT16であるとする。仮想視点VP6から第1の虚像V21を見て、路面6と平行な任意の仮想平面100と重なる領域を第1の領域110とし、第1の領域110の奥行き方向の長さを第1の長さL10とする。任意の仮想平面100は、コンテンツFUが配置される仮想的な平面であり、車両1の前後左右方向と平行に設定される(路面6と概ね一致していてもよい)。描画モジュール510は、仮想視点VP6を基準に、コンテンツFUを虚像表示領域VS16に射影変換された画像(ここでは虚像V26)を表示するように、虚像V26の元となる画像Mを表示器50に表示させる。ここで、仮想視点VP6から第1の領域110まで仮想平面100に沿った距離をD0とし、仮想平面100から仮想視点VP1までの距離をh0とする。
【0067】
図12Aは、前傾により虚像表示領域が実景に対して下方にずれた際のサイズ調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図12Aでは、車両姿勢AT10が、
図11に示す車両姿勢AT16よりも車両1が前傾したAT17であるとする。この場合、虚像V27が重なる仮想平面100の位置は、
図11の第1の領域110(ターゲット位置MP1)より観察者に近い第2の領域120にシフトする。すなわち、
図12Aの右図に示すように、虚像V27は、第1の領域110よりも車両1(観察者)に近い路面6の領域(第2の領域120)に重なって視認される。このように、虚像がより近い前景に重なって視認されると推定される場合、プロセッサ33は、虚像のサイズを大きくする。すなわち、車両1の前傾に基づき、基準位置(例えば、アイボックス200の中心205)から見て虚像が仮想平面100における第1の領域110(ターゲット位置MP1)より基準位置に近い第2の領域120へ虚像が重なる位置が変化すると判定される場合、第2の領域120に重なる位置に虚像V27を表示し、虚像V27を、虚像V27が重なる第2の領域120の奥行き方向の第2の長さL20が第1の長さL10と同じになる(L20=L10)ように、
図11に示す虚像V26より大きくする。これによれば、所定のサイズを有する虚像(仮想オブジェクト)が、路面に沿って移動したような遠近感を表現することができる。
【0068】
図12Bは、後傾により虚像表示領域が実景に対して上方にずれた際のサイズ調整処理後の虚像を示す図であり、左図は、虚像と仮想平面との関係を示し、右図は、観察者が前方を向いた際に視認される前景と虚像とを示す。
図12Bでは、車両姿勢AT10が、
図11に示す車両姿勢AT16よりも車両1が後傾したAT18であるとする。この場合、虚像V28が重なる仮想平面100の位置は、
図11の第1の領域110(ターゲット位置MP1)より観察者から遠い第3の領域130にシフトする。すなわち、
図12Bの右図に示すように、虚像V28は、第1の領域110よりも車両1(観察者)から遠い路面6の領域(第3の領域130)に重なって視認される。このように、虚像がより近い前景に重なって視認されると推定される場合、プロセッサ33は、虚像のサイズを小さくする。すなわち、車両1の後傾に基づき、基準位置(例えば、アイボックス200の中心205)から見て虚像が仮想平面100における第1の領域110(ターゲット位置MP1)より基準位置から遠い第3の領域130へ虚像が重なる位置が変化すると判定される場合、第3の領域130に重なる位置に虚像V28を表示し、虚像V28を、虚像V28が重なる第3の領域130の奥行き方向の第3の長さL30が第1の長さL10と同じになる(L30=L10)ように、
図11に示す虚像V26より小さくする。これによれば、所定のサイズを有する虚像(仮想オブジェクト)が、路面に沿って移動したような遠近感を表現することができる。但し、前傾において、第2の長さL20が第1の長さL10より長くなる(L20>L10)ように、虚像を大きくしてもよい。また、後傾において、第3の長さL30が第1の長さL10より短くなる(L30<L10)ように、虚像を小さくしてもよい。いくつかの実施形態による虚像(仮想オブジェクト)の遠近感は、所定のサイズを有する虚像(仮想オブジェクト)がそのサイズを維持したまま路面に沿って移動したような実空間と同じ遠近感よりも強調される。したがって、接近した印象、又は離反した印象をより強く観察者に与えることができる。
【0069】
図13は、車両1が後傾した際にサイズ調整処理を行わずに、位置調整を行った第1の画像調整処理を説明する図であり、左図は、姿勢変動前かつ第1の画像調整処理前における虚像と前景を示し、右図は、姿勢変動後かつ第1の画像調整処理後における虚像と前景を示す。
図13では、虚像表示領域VS16が、姿勢変動により上方(Y軸正方向)にB16だけシフトする。位置調整処理が行われない場合、第1の虚像V31(V20)は、後傾による虚像表示領域VSのシフトに伴い、
図13右図の位置G6にシフトしてしまう。いくつかの実施形態におけるプロセッサ33は、位置調整を行うことで、後傾による上方への画像シフト量B16を抑制する(好ましくは、相殺する)ように、第1の虚像V31を下方(Y軸負方向)に第1位置調整量C16(C10)だけ補正する(V31cを表示する)。好ましくは、第1位置調整量C16(C10)は、姿勢変動による画像シフト量B16と等しくする(C16=B16)ことで、姿勢変動後での虚像V31cを、ターゲット位置MP1に重なる位置に維持することができる。これによれば、姿勢変動による画像シフトは、第1位置調整量C10によって相殺され、観察者に認識されない。但し、第1位置調整量C16(C10)は、姿勢変動による画像シフト量B16(B10)を低下させればよく、画像シフト量B16(B10)より小さくてもよい。これによれば、車両姿勢の変化に基づく表示ずれが抑制されるので、表示ずれに対する虚像のサイズ変化による違和感を観察者に与えにくくすることができる。
【0070】
図14は、車両1が後傾した際に位置調整を行わずに、サイズ調整処理を行った第2の画像調整処理を説明する図であり、左図は、姿勢変動前かつサイズ補正前における虚像と前景を示し、右図は、姿勢変動後かつサイズ補正後における虚像と前景を示す。
図14では、虚像表示領域VSが、後傾により上方(Y軸正方向)にB17だけシフトする。位置調整が行われない場合、第1の虚像V32も、姿勢変動による虚像表示領域VSのシフトに伴い、
図14右図に示すように、上方(Y軸正方向)にB17だけシフトする。これにより、虚像V32aは、姿勢変動前の第1の領域110よりも観察者から遠方の前景の領域に重なる位置にシフトする。いくつかの実施形態のプロセッサ33は、虚像がより遠い前景に重なって視認されると推定される場合、サイズ調整処理を実行することで、表示する虚像V32a(
図14右図)を、姿勢変動前の虚像V32(
図14左図)より小さくする。車両の姿勢変動が生じても、虚像のサイズが変化することで、実空間における虚像の遠近感が強調され、虚像が遠ざかるような印象を観察者に与えることができるという利点も想定される。
【0071】
図15は、車両1が後傾した際に、位置調整、及びサイズ調整処理を行った第2の画像調整処理を説明する図であり、左図は、姿勢変動前かつ第2の画像調整処理前における虚像と前景を示し、右図は、姿勢変動後かつ第2の画像調整処理後における虚像と前景を示す。
図15では、虚像表示領域VSが、姿勢変動により上方(Y軸正方向)にB18だけシフトする。第2の画像調整処理が行われない場合、虚像V32は、姿勢変動による虚像表示領域VSのシフトにより、
図15右図の位置G8にシフトする。いくつかの実施形態におけるプロセッサ33は、位置調整を行うことで、後傾による上方向への画像シフト量B18を抑制するように、虚像V31を下方に画像シフト量B18より小さい第2位置調整量C28だけ補正する(虚像V33cを表示する)。そして、本実施形態のプロセッサ33は、虚像がより遠い前景に重なって視認されると推定される場合、サイズ調整処理を行うことで、表示する虚像V33c(
図15右図)を、後傾前の虚像V33(
図15左図)より小さくする。これにより、車両の姿勢変動による画像ズレを小さくしつつ、画像ズレによりサイズの違和感を軽減することができる。
【0072】
図16に示す画像調整処理は、プロセッサ33がメモリ37に記憶された画像調整モジュール520を実行することによって実施される。ステップS110では、画像調整モジュール520は、描画モジュール510にて生成された描画データを取得する。ステップS120では、画像調整モジュール520は、取得した描画データに含まれる画像調整処理を実行する前の画像Mの表示位置を示す情報(基準位置POを示す情報)から、虚像V20(虚像V20の元となる画像M)の位置調整量の限度CTを設定する。具体的に例えば、画像調整モジュール520は、位置調整範囲VTを設定し、位置調整範囲VT、及び基準位置POに基づいて、位置調整量Cの限度CTを設定する。
【0073】
図17は、位置調整量の限度CTを説明するための図である。虚像V20の基準位置POに対し、位置調整範囲VTの下端が近くに設定されれば、虚像V20の下方向の位置調整量の限度CTdは短く設定される。一方、虚像V20の基準位置POに対し、位置調整範囲VTの上端が遠くに設定されれば、虚像V20の上方向の位置調整量の限度CTuは長く設定される。画像調整モジュール520は、位置調整範囲VTを虚像表示領域VSに表示される複数の虚像V20毎に個別に設定してもよく、すべての虚像V20で共通に設定してもよい。位置調整範囲VTは、虚像表示領域VSであってもよい(虚像表示領域VSの全体が位置調整範囲VTに設定されてもよい)。なお、画像調整モジュール520は、車両1の姿勢変動(ピッチング角α)と、虚像V20の位置調整量Cと、を関連付けたテーブルデータ(不図示)を有し、前記テーブルデータに基づき、虚像V20の位置調整量Cが下方向の位置調整量の限度CTdに達する際に想定される後傾のピッチング角の限度(姿勢閾値)αTu、及び虚像V20の位置調整量Cが上方向の位置調整量の限度CTuに達する際に想定される前傾のピッチング角の限度(姿勢閾値)αTdを設定してもよい。
【0074】
次に、
図16のステップS130では、画像調整モジュール520は、姿勢検出部415から車両1の姿勢変動を示す情報(姿勢変動情報)を取得する。姿勢検出部415は、例えば、ジャイロセンサ、加速度センサ、及びハイトセンサなどの1つ以上のセンサを含む。姿勢検出部415は、移動体の角速度、加速度、高さなどのセンサ値から、ピッチング角やロール角などの車両姿勢や前記車両姿勢の変化の周波数などを姿勢変動情報として算出し、表示制御装置30へ出力してもよい。すなわち、前記姿勢変動情報は、車両姿勢(ピッチング角、ロール角等)の他に、前記車両姿勢の変化の周波数(振動周波数)などを含んでいても良い。姿勢検出部415が姿勢変動情報を算出する機能の一部又は全部は、表示制御装置30に設けられていても良い。
【0075】
ステップS140では、画像調整モジュール520は、後述する第1の画像調整処理S151で用いる第1位置調整量C10を算出する。まず、画像調整モジュール520は、姿勢検出部415から取得する前記姿勢変動情報に基づいて、車両1の姿勢変動量(角度のずれ量)を算出する。例えば、画像調整モジュール520は、姿勢検出部415が検出した角速度を積分演算することによって、車両1のピッチ軸周りの角度(ピッチング角)αを算出する。これにより、
図1に示すY軸(前記ピッチ軸)を中心とした回転方向における車両1のずれ量(角度)を算出することができる。なお、本実施形態では、ピッチング角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。但し、画像調整モジュール520における姿勢変動量(角度のずれ量)を算出する機能の一部又は全部は、表示制御装置30と通信可能な表示制御装置30とは別の装置が有し、表示制御装置30は、前記別の装置からI/Oインタフェース31を介して車両1の姿勢変動量(角度のずれ量)を示す情報を入力してもよい。すなわち、いくつかの表示制御装置30は、画像調整モジュール520における姿勢変動量(角度のずれ量)を算出する機能を省略しても良い。
【0076】
ステップS140において、さらに、画像調整モジュール520は、車両1の姿勢変動量(角度のずれ量)に基づいて、虚像V20の表示位置を補正するための第1位置調整量C10を算出する。具体的には、画像調整モジュール520は、(ピッチング角)のずれ量を画素数に換算して、ずれている分の画素数(姿勢変動による画像シフト量B10)を元に戻すような調整量を決定する。好ましくは、画像調整モジュール520は、車両1の姿勢変動による虚像V20の位置ずれを元に戻すため、姿勢変動による画像シフト量B10と等しい逆方向の位置調整量(第1位置調整量C10)を算出する。
【0077】
いくつかの実施形態のステップS150では、画像調整モジュール520は、ステップS110で取得した描画データに画像調整を行うことで画像データを生成する。S150において、画像調整モジュール520は、描画データの画素を、位置調整量C、俯角調整量E、サイズ調整量Fに基づき、画像データの画素として再配列する。S160では、画像調整モジュール520は、S150で生成した(調整した)画像データを表示器50へ出力する。
【0078】
いくつかの実施形態のステップS150では、画像調整モジュール520は、以下に示す所定条件を満たすか否かを判定し、前記所定条件を満たさない場合、第1の画像調整処理S151を実行し、前記所定条件を満たす場合、第2の画像調整処理S152を実行する。但し、第1の画像調整処理S151を実行するか、第2の画像調整処理S152を実行するか、を決定するための前記所定条件は、以下に限定されない。(1)ステップS130で取得した姿勢変動量が、所定の閾値より大きい。(2)ステップS130で取得した姿勢変動量の速度(姿勢の変化速度)が、所定の閾値より速い。(3)ステップS140で算出した第1位置調整量C10が、ステップS120で設定した移動調整量の閾値(限度)CTより大きい。
【0079】
第1の画像調整処理S151では、画像調整モジュール520は、ステップS130で取得される姿勢変動に合わせてステップS140でダイナミックに設定される第1位置調整量C10(位置調整量C)に基づき、虚像V20(虚像V20の元となる画像M)の位置調整をする。好ましくは、第1位置調整量C10は、姿勢変動によって生じる画像の位置ずれを相殺するように設定される。
【0080】
いくつかの実施形態における第1の画像調整処理S151では、画像調整モジュール520は、前記位置調整に加え、ステップS130で取得される姿勢変動に合わせて、第1俯角調整量E10(俯角調整量E)をダイナミックに変更し、この第1俯角調整量E10(俯角調整量E)に基づき、虚像V20(虚像V20の元となる画像M)の俯角調整をしてもよい。
【0081】
いくつかの実施形態における第1の画像調整処理S151において、第1位置調整量C10は、姿勢変動によって生じる画像の位置ずれを相殺するように設定されない場合(換言すると、姿勢変動による画像の位置ずれを生じさせる場合)、画像調整モジュール520は、前記位置調整に加え、ステップS130で取得される姿勢変動に合わせて、サイズ調整量Fをダイナミックに変更し、このサイズ調整量Fに基づき、虚像V20(虚像V20の元となる画像M)のサイズ調整をしてもよい。
【0082】
第2の画像調整処理S152では、画像調整モジュール520は、ステップS130で取得される姿勢変動に合わせて、第2俯角調整量210(俯角調整量E)をダイナミックに変更し、この第2俯角調整量E20(俯角調整量E)に基づき、虚像V20(虚像V20の元となる画像M)の俯角調整を行う。第2の画像調整処理S152における俯角調整量E20は、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量である。好ましくは、第2の画像調整処理S152における俯角調整量E20は、姿勢変動(ピッチング角αの変化)により生じる実景(路面6)と虚像との俯角ずれを補正する俯角調整量に、姿勢変動(ピッチング角αの変化)により近傍へシフトしたことを表現する(又は遠方へシフトしたことを表現する)ための俯角調整量を加算してもよい。
【0083】
また、いくつかの実施形態における第2の画像調整処理S152では、画像調整モジュール520は、ステップS130で取得される姿勢変動に合わせて第2位置調整量C20(位置調整量C)をダイナミックに変化させてもよい(第2の画像調整処理S152における位置調整処理)。画像調整モジュール520は、ステップS130で取得される姿勢変動から第2位置調整量C20(位置調整量C)を設定するためのテーブルデータ、演算式、などを含み得る。いくつかの実施形態における第2の画像調整処理S152では、画像調整モジュール520は、前記俯角調整に加え、ステップS130で取得される姿勢変動に合わせてダイナミックに設定される第2位置調整量C20(第1位置調整量C10より小さい)に基づき、虚像V20(虚像V20の元となる画像M)の位置調整を行ってもよい。
【0084】
第2の画像調整処理S152における位置調整処理において、画像調整モジュール520は、車両1の姿勢変動量に基づいて、ダイナミックに変更される第2位置調整量C20を算出する。例えば、第2位置調整量C20は、車両1の姿勢変動量に基づいて決定される第1位置調整量C10に1より小さい係数を乗算することで求められる。また、いくつかの実施形態の位置調整モジュール522は、車両1の姿勢変動量に基づかない、メモリ37に記憶された第2位置調整量C20を読み出しても良い。なお、本実施形態では、ピッチ軸方向の調整量を算出するが、ヨー軸方向及びロール方向の調整量を算出してもよい。ロール角については、角度のまま、ロール角のずれ量を元に戻すような調整量を決定する。但し、画像調整モジュール520の第2位置調整量C20を算出する機能の一部又は全部は、表示制御装置30と通信可能な表示制御装置30とは別の装置が有し、表示制御装置30は、前記別の装置からI/Oインタフェース31を介して虚像の位置を調整するための表示パラメータ(第2位置調整量C20)を入力してもよい。
【0085】
また、いくつかの実施形態における第2の画像調整処理S152において、画像調整モジュール520は、前記位置調整に加え、ステップS130で取得される姿勢変動に合わせて、サイズ調整量Fをダイナミックに変更し、このサイズ調整量Fに基づき、虚像V20(虚像V20の元となる画像M)のサイズ調整処理を行ってもよい。画像調整モジュール520は、ステップS130で取得される姿勢変動からサイズ調整量Fを設定するためのテーブルデータ、演算式、などを含み得る。
【0086】
本実施形態の表示制御装置30(プロセッサ33)は、所定条件を満たす場合、第2画像調整処理(ステップS152)を実行することで、移動体の姿勢変動に伴う虚像のズレに応じて、虚像V20の俯角βを調整する。以下に、演算式を用いて、車両1の姿勢変動(角度のずれ量)に応じた虚像V20の俯角βを算出する例を示すが、コンテンツ(仮想オブジェクト)FUを配置したモデル空間において、仮想視点VPの位置、角度を車両1の姿勢変動に応じて変化させ、仮想視点VPから見たコンテンツ(仮想オブジェクト)FUに応じてレンダリングすることで、虚像V20の元となる画像Mの位置、角度(俯角β)、及びサイズを変化させても良い。
【0087】
画像調整モジュール520(俯角調整モジュール524)は、車両1の姿勢変動(角度のずれ量)に応じて、虚像V20(コンテンツFU)の俯角βを算出する。
【0088】
まず、
図6ないし
図8Bに示すように、車両1のピッチ軸周りの角度(ピッチング角)をα(前傾で負の値、後傾で正の値とする)、仮想視点VPから仮想平面100までの高さをh(角度のずれ量αがゼロの時の高さhをh0とする)、仮想視点VPから虚像V20が重なって見える仮想平面100上の領域の近傍端までの奥行き方向Zの距離をD(角度のずれ量αがゼロの時の距離DをD0とする)と定義する。
【0089】
画像調整モジュール520(俯角調整モジュール524)は、ピッチング角αに応じた距離Dを、以下の数式1で算出してもよい(これに限定されない)。
【数1】
【0090】
また、画像調整モジュール520(俯角調整モジュール524)は、距離Dに応じた俯角βを、以下の数式2で算出してもよい(これに限定されない)。
【数2】
【0091】
なお、画像調整モジュール520(俯角調整モジュール524)は、車両1の姿勢(角度のずれ量)に応じて、虚像V20の俯角βを調整できればよく、上記算出方法に限定されない。例えば、画像調整モジュール520(俯角調整モジュール524)は、虚像V20の俯角βの補正係数と車両1の姿勢変動(角度のずれ量)とを関連付けたテーブルデータをメモリ37に予め記憶しておき、入力した車両1の姿勢変動(角度のずれ量)を示す情報(信号)に基づき、前記補正係数を読み出し、コンテンツFU20(虚像V20)の俯角βを調整してもよい。
【0092】
また、画像調整モジュール520(俯角調整モジュール524)は、仮想平面100上のコンテンツ(仮想オブジェクト)FUまでの距離Dに基づき、俯角調整量Δβを、以下の数式3で算出してもよい(これに限定されない)。
【数3】
【0093】
さらに好ましくは、画像調整モジュール520(俯角調整モジュール524)は、角度のずれ量αによって虚像表示領域VSのチルト角θtが傾くことを考慮して、俯角調整量Δθdを、以下の数式4で算出してもよい(これに限定されない)。
【数4】
【0094】
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、移動体の姿勢変動に伴う虚像のズレに応じて、虚像V20のサイズを調整する。以下に、演算式を用いて、車両1の姿勢変動(角度のずれ量)に応じた虚像V20のサイズを算出する例を示すが、コンテンツ(仮想オブジェクト)FUを配置したモデル空間において、仮想視点VPの位置、角度を車両1の姿勢変動に応じて変化させることで、仮想視点VPから見たコンテンツ(仮想オブジェクト)FUに応じてレンダリングすることで、虚像V20の元となる画像Mの位置、角度(俯角β)、及びサイズを変化させても良い。
【0095】
画像調整モジュール520(サイズ調整モジュール526)は、車両1の姿勢変動(角度のずれ量)に応じて、虚像V20(コンテンツFU)のサイズを算出する。ここでは、虚像V20のサイズは、基準位置から見た虚像V20の上下方向の角度(画角)とする。画角とは、所定の基準位置(例えば、アイボックス200の中心205)から虚像V20の上端を結ぶ線と、所定の基準位置から虚像V20の下端を結ぶ線と、の間の角度であり、観察者から見た虚像V20の上下方向(Y軸方向)のサイズに対応する。
【0096】
画像調整モジュール520(サイズ調整モジュール526)は、仮想視点VP1から虚像V20が重なって見える仮想平面100上の領域の奥行き方向Zの長さをLとすると、距離Dに応じたサイズを、以下の数式5で算出してもよい(これに限定されない)。
【数5】
【0097】
なお、画像調整モジュール520(サイズ調整モジュール526)は、車両1の姿勢(角度のずれ量)に応じて、虚像V20のサイズを調整できればよく、上記算出方法に限定されない。例えば、画像調整モジュール520(サイズ調整モジュール526)は、虚像V20のサイズの補正係数と車両1の姿勢(角度のずれ量)とを関連付けたテーブルデータをメモリ37に予め記憶しておき、入力した車両1の姿勢(角度のずれ量)を示す情報(信号)に基づき、前記補正係数を読み出し、虚像V20のサイズを調整してもよい。但し、画像調整モジュール520(サイズ調整モジュール526)の機能の一部又は全部は、表示制御装置30と通信可能な表示制御装置30とは別の装置が有し、表示制御装置30は、前記別の装置からI/Oインタフェース31を介して虚像のサイズを調整するための表示パラメータを入力してもよい。すなわち、いくつかの表示制御装置30は、画像調整モジュール520(サイズ調整モジュール526)を省略しても良い。
【0098】
本明細書に記載されるヘッドアップディスプレイ装置20では、いくつかの実施形態におけるいずれかの表示制御装置30と、表示光を出射する光変調素子51と、光変調素子51からの表示光を被投影部2にむけるリレー光学系80と、を備える。この場合も、上記と同様の利点が想定される。
【0099】
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の1つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び/又はそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【0100】
車両用表示システム10の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。
図3で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は1つの機能ブロックを2以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
【0101】
いくつかの実施形態のステップS150では、画像調整モジュール520は、以下に示す所定条件を満たすか否かを判定し、前記所定条件を満たさない場合、第1の画像調整処理S151を実行し、前記所定条件を満たす場合、第2の画像調整処理S152を実行してもよい。(4)ステップS130で取得した姿勢変動量が所定の周波数の姿勢変動がある。(5)車両ECU401から取得されるブレーキ操作がある。(6)ブレーキペダルの踏み込み量が所定の閾値より大きい。但し、第1の画像調整処理S151を実行するか、第2の画像調整処理S152を実行するか、を決定するための前記所定条件は、これらに限定されない。
【符号の説明】
【0102】
1 :車両
2 :被投影部
6 :路面
10 :車両用表示システム
20 :HUD装置(ヘッドアップディスプレイ装置)
30 :表示制御装置
31 :I/Oインタフェース
33 :プロセッサ
35 :表示制御処理回路
37 :メモリ
40 :画像表示装置(表示部)
50 :表示器
50a :表示面
80 :リレー光学系
100 :仮想平面
110 :第1の領域
120 :第2の領域
130 :第3の領域
150 :第5の領域
160 :表示器スクリーン
200 :アイボックス
205 :中心
210 :第2俯角調整量
401 :車両ECU
403 :道路情報データベース
405 :自車位置検出部
407 :操作検出部
409 :目位置検出部
411 :車外センサ
413 :明るさ検出部
415 :姿勢検出部
417 :携帯情報端末
419 :外部通信機器
510 :描画モジュール
520 :画像調整モジュール
522 :位置調整モジュール
524 :俯角調整モジュール
526 :サイズ調整モジュール
700 :観察者
B10 :画像シフト量
C :位置調整量
C10 :第1位置調整量
C20 :第2位置調整量
CT :閾値(限度)
D :距離
E :俯角調整量
E10 :第1俯角調整量
E20 :第2俯角調整量
F :サイズ調整量
FU :仮想オブジェクト(コンテンツ)
K :表示光
M :画像
MP :ターゲット位置
MP1 :ターゲット位置
PO :基準位置
V20 :虚像
VP :仮想視点
VS :虚像表示領域
VT :位置調整範囲
h :高さ
Δβ :俯角調整量
Δθd :俯角調整量
β :俯角
θt :チルト角