IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7620850表示制御装置、ヘッドアップディスプレイ装置
<>
  • -表示制御装置、ヘッドアップディスプレイ装置 図1
  • -表示制御装置、ヘッドアップディスプレイ装置 図2
  • -表示制御装置、ヘッドアップディスプレイ装置 図3
  • -表示制御装置、ヘッドアップディスプレイ装置 図4
  • -表示制御装置、ヘッドアップディスプレイ装置 図5
  • -表示制御装置、ヘッドアップディスプレイ装置 図6
  • -表示制御装置、ヘッドアップディスプレイ装置 図7
  • -表示制御装置、ヘッドアップディスプレイ装置 図8
  • -表示制御装置、ヘッドアップディスプレイ装置 図9
  • -表示制御装置、ヘッドアップディスプレイ装置 図10
  • -表示制御装置、ヘッドアップディスプレイ装置 図11
  • -表示制御装置、ヘッドアップディスプレイ装置 図12
  • -表示制御装置、ヘッドアップディスプレイ装置 図13
  • -表示制御装置、ヘッドアップディスプレイ装置 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-16
(45)【発行日】2025-01-24
(54)【発明の名称】表示制御装置、ヘッドアップディスプレイ装置
(51)【国際特許分類】
   G09G 5/00 20060101AFI20250117BHJP
   G02B 27/01 20060101ALI20250117BHJP
【FI】
G09G5/00 510A
G09G5/00 550C
G09G5/00 530H
G09G5/00 550B
G02B27/01
【請求項の数】 10
(21)【出願番号】P 2021567402
(86)(22)【出願日】2020-12-18
(86)【国際出願番号】 JP2020047470
(87)【国際公開番号】W WO2021132090
(87)【国際公開日】2021-07-01
【審査請求日】2023-10-17
(31)【優先権主張番号】P 2019235289
(32)【優先日】2019-12-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】秦 誠
【審査官】西島 篤宏
(56)【参考文献】
【文献】特開2015-087619(JP,A)
【文献】特開2014-199385(JP,A)
【文献】国際公開第2017/018122(WO,A1)
【文献】特開2017-052364(JP,A)
【文献】特開2009-196473(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00 - 5/42
G02B 27/01
B60K 35/23
(57)【特許請求の範囲】
【請求項1】
車両に搭載され、表示部に表示する画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置を制御する表示制御装置であって、
アイボックスにおける運転者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する制御部、を有し、
前記制御部は、
前記運転者の左右の視点の少なくとも一方の位置が不明となる視点ロストが検出されると、視点ロスト期間において、前記視点ロスト期間の直前に設定されているワーピングパラメータを維持し、
前記視点ロスト期間の後に前記視点の位置が再検出されると、再検出された視点位置に対応するワーピングパラメータを用いた少なくとも1回のワーピング処理を無効化する、
ことを特徴とする表示制御装置。
【請求項2】
前記制御部は、
前記視点ロスト期間を閾値と比較し、前記視点ロスト期間が前記閾値よりも短い場合は、
前記ワーピング処理を無効化する期間を、前記視点ロスト期間が前記閾値よりも長い場合に比べて長くする制御を実施する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記制御部は、
前記視点ロスト期間を閾値と比較し、前記視点ロスト期間が前記閾値よりも短い場合は、
前記ワーピング処理を無効化する期間を、前記視点ロスト期間が前記閾値よりも長い場合に比べて短くする制御を実施する、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項4】
前記制御部は、
前記視点ロストが生じる前、及び前記視点ロスト期間におけるワーピングパラメータの更新周期を第1の更新周期RT1とし、前記ワーピング処理を無効化する期間におけるワーピングパラメータの更新周期を第2の更新周期RT2とするとき、RT1<RT2となるようにパラメータ更新周期を変更する、
ことを特徴とする請求項1乃至3の何れか1項に記載の表示制御装置。
【請求項5】
前記制御部は、
前記パラメータ更新周期を前記第1の更新周期RT1から前記第2の更新周期RT2に変更した後、
前記ワーピング処理を無効化する期間の終了タイミングで、前記第2の更新周期RT2から前記第1の更新周期RT1に戻す、
又は、
前記ワーピング処理を無効化する期間の終了タイミングから、さらに所定時間が経過したタイミングで、前記第2の更新周期RT2から前記第1の更新周期RT1に戻す、
又は、
前記ワーピング処理を無効化する期間の終了タイミングを起点として、パラメータ更新周期の変更を開始し、時間経過と共に徐々に前記第2の更新周期RT2から前記第1の更新周期RT1へと戻す、
ことを特徴とする、請求項4に記載の表示制御装置。
【請求項6】
前記車両の速度が低速状態か否かを判断する低速状態判定部と、をさらに有し、
前記制御部は、
前記車両が、停止状態を含む前記低速状態であるときの前記ワーピング処理を無効化する期間を、前記低速状態よりも速い状態における前記ワーピング処理を無効化する期間よりも長くする、
ことを特徴とする請求項1乃至5の何れか1項に記載の表示制御装置。
【請求項7】
前記制御部は、
前記車両の車速に応じて、前記ワーピング処理を無効化する期間を変更し、この場合において、
前記車両の速度が、第1の速度値U1(U1>0)以上で、かつ、前記第1の速度値よりも大きい第2の速度値U2以下の範囲内にあるときに、前記ワーピング処理を無効化する期間を、車速が速くなるにつれて、車速に対して減少させる制御を実施する、
又は、
車速が前記第1の速度値に近い範囲では、前記減少の程度を緩やかにし、第1の速度値から遠ざかるにつれて、前記減少の程度を急峻にする制御を実施する、
又は、
車速が前記第1の速度値に近い範囲では、前記減少の程度を緩やかにし、前記第1の速度値から遠ざかるにつれて、前記減少の程度をより急峻にする制御を実施すると共に、車速が前記第2の速度値に近づくにつれて、前記減少の程度を緩やかにする制御を実施する、
ことを特徴とする請求項1乃至5の何れか1項に記載の表示制御装置。
【請求項8】
前記ヘッドアップディスプレイ装置は、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系を有し、
前記運転者の前記視点の高さ位置に応じて前記アイボックスの位置を調整するに際し、前記光学部材を動かさず、前記画像の表示光の、前記光学部材における反射位置を変更する、ことを特徴とする請求項1乃至7の何れか1項に記載の表示制御装置。
【請求項9】
前記表示部の画像表示面に対応する仮想的な虚像表示面が、前記車両の前方の、路面に重畳するように配置される、
又は、
前記虚像表示面の前記車両に近い側の端部である近端部と前記路面との距離が小さく、前記車両から遠い側の端部である遠端部と前記路面との距離が大きくなるように、前記路面に対して斜めに傾いて配置される、
ことを特徴とする請求項1乃至8の何れか1項に記載の表示制御装置。
【請求項10】
請求項1乃至9の何れか1項に記載の表示制御装置と、
画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、を備える、ヘッドアップディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両のウインドシールドやコンバイナ等の被投影部材に画像の表示光を投影(投射)し、運転者の前方等に虚像を表示するヘッドアップディスプレイ(Head-up Display:HUD)装置、表示制御装置等に関する。
【背景技術】
【0002】
HUD装置において、投影される画像を、光学系やウインドシールド等の曲面形状等に起因して生じる虚像の歪みとは逆の特性をもつように予め歪ませる画像補正処理(以下、ワーピング処理と称する)が知られている。HUD装置におけるワーピング処理については、例えば特許文献1に記載されている。
【0003】
また、運転者の視点位置に基づいてワーピング処理を行うこと(視点追従ワーピング)については、例えば、特許文献2に記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-87619号公報
【文献】特開2014-199385号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明者は、運転者(操縦者や乗務員等、広く解釈可能である)の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施することについて検討し、以下に記載する新たな課題を認識した。
【0006】
運転者の視点位置が移動し、HUD装置がその視点位置を一時的に喪失した後、視点位置が再検出され、再検出された視点位置に基づいてワーピングパラメータを更新する場合が有り得る。
【0007】
ここで、ワーピング処理後に表示される画像(虚像)は、光学系等により生じる歪みが完全に補正されて平面的な虚像となるのが理想的であり、視点位置追従ワーピングにおいては、運転者(ユーザー)の視点の位置が変化したときでも、常に、歪みのない虚像が得られるのが理想ではあるが、完全に歪みを除去できるわけではない。
【0008】
このため、視点位置の喪失(ロスト)が生じた後、再検出された視点位置に基づいて単純な視点位置追従ワーピングを実施すると、同じ画像の虚像を表示している場合でも、運転者から見た虚像の見た目(虚像の様子や虚像から受ける印象等)が瞬時的に変化し、運転者に違和感を生じさせる場合がある。
【0009】
また、視点ロストの態様としては、視点が何らかの理由でアイボックスの外に移動してしまい、その後アイボックス内に戻ってくるという場合が典型的に想定され得るが、但し、これに限定されるものではなく、運転者の視点がアイボックス内で瞬時的に移動して発生する場合もあり得る。一口に視点ロストといっても、その態様は多様である。必要に応じて、視点ロストの状況を考慮した対策を採ることも重要となる。
【0010】
さらに、近年、例えば、車両の前方のかなり広い範囲にわたって虚像表示が可能なHUD装置が開発されており、このようなHUD装置は大型化する傾向がある。光学系等の設計を工夫して歪みを少なくする工夫がなされてはいるが、例えば、アイボックスの全領域において、一律の歪み低減効果を実現するのはむずかしく、例えば、運転者の視点がアイボックスの中央領域にあるときは歪みの程度をかなり抑制できても、視点がアイボックスの周辺にあるときは、残留する歪みの程度はある程度、大きくなる、というような事態が生じる場合も想定され得る。この点も、上記の、視点位置喪失後のワーピング処理による虚像の見え方を大きく変化させる一因となり得る。
【0011】
本発明の目的の1つは、HUD装置において、視点位置追従ワーピング処理を実施するときに、運転者の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施しているときに運転者の視点位置の喪失が生じ、その後に視点位置を再検出した場合に、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して運転者に違和感を生じさせることを抑制することである。
【0012】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0013】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0014】
第1の態様において、表示制御装置は、
車両に搭載され、画像を表示する表示部と、前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、を有し、前記画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置を制御する表示制御装置であって、
アイボックスにおける運転者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する制御部、を有し、
前記制御部は、
前記運転者の左右の視点の少なくとも一方の位置が不明となる視点ロストが検出されると、視点ロスト期間において、前記視点ロスト期間の直前に設定されているワーピングパラメータを維持し、
前記視点ロスト期間の後に前記視点の位置が再検出されると、再検出された視点位置に対応するワーピングパラメータを用いた少なくとも1回のワーピング処理を無効化する。
【0015】
第1の態様では、視点ロスト(視点喪失、あるいは視点位置喪失と記載する場合もある)期間においては直前のワーピングパラメータを維持し、かつ、視点位置が再検出されたタイミングで、新たなワーピングパラメータによるワーピングをただちに実施することはせず、遅延させて実施する。
【0016】
言い換えれば、制御部は、視点ロスト後に視点位置が再検出されると、再検出された視点位置に対応するワーピングパラメータを用いた少なくとも1回のワーピング処理を無効化し(再検出後の無効化期間の設定)、その後、無効化期間が終了した後の視点位置に対応するワーピングパラメータを用いたワーピング処理を有効化(実施)する。
【0017】
例えば、アイボックスを複数の部分領域に分割し、各部分領域を単位として視点位置を検出する方式を採用する場合を想定する。例えば、視点ロスト直前には視点が「部分領域A」に有り、視点ロストが発生し、その後、視点位置が再検出されたタイミングで、視点が「部分領域B」に移動していたことが判明しても、「部分領域B」の位置に対応したワーピングパラメータを適用したワーピング処理は無効化される(少なくとも1回の無効化)。視点位置が、部分領域Bから、さらに部分領域Cに移動したとき、この部分領域Cの位置に対応したワーピングパラメータを適用したワーピング処理を、再度、無効化する(2回目の無効化)こともできる。
【0018】
なお、どの程度の回数を無効化するかは、視点ロストの態様(例えば、視点ロスト期間の長さ)、車両の走行状態(例えば、車速)等を考慮して適応的に決定することも可能である。
【0019】
第1の態様に従属する第2の態様において、
前記制御部は、
前記視点ロスト時間を閾値と比較し、前記視点ロスト時間が前記閾値よりも短い場合は、
前記ワーピング処理を無効化する期間を、前記視点ロスト時間が前記閾値よりも長い場合に比べて長くする制御を実施してもよい。
【0020】
第2の態様では、制御部は、視点位置をロストした時間(ロスト時間、又は喪失時間)を計時し、ロスト時間が所定の閾値より短い場合、無効化する期間をより長くする制御を実施する。
【0021】
第2の態様では、ワーピングパラメータを変更せずに固定して画像(虚像)の見栄えを一定に保っている期間を、より長く設定することで、運転者に、視点ロスト後の再検出に成功して、その対応処理が今実施されているのである、ということを提示し、認知させることができる。言い換えれば、ワーピングパラメータの固定期間を長くし、時間をかけて更新したワーピングパラメータによる画像処理を行うことで、画像(虚像)の見た目が変化する場合でも、その変化が、運転者の目の移動に伴って急に生じず、時間的に余裕をもたせた変化であるように、運転者には認識させる。
【0022】
これにより、運転者は、自身の目の移動によって視点位置のロストが生じたが、HUD装置のシステムは視点位置の再検出に成功し、視点ロストに対応する処理が実施された、ということを感覚的に知り易くなる。
【0023】
言い換えれば、HUD装置側(システム側)において、視点ロスト後の処理がきちんと行われていることを、ユーザーである運転者に演出することが可能となる。このことが運転者に安心感や精神的な安定感を与え、したがって、違和感が生じにくくする、あるいは、違和感を軽減するという効果が得られる。
【0024】
第1の態様に従属する第3の態様において、
前記制御部は、
前記視点ロスト時間を閾値と比較し、前記視点ロスト時間が前記閾値よりも短い場合は、
前記ワーピング処理を無効化する期間を、前記視点ロスト時間が前記閾値よりも長い場合に比べて短くする制御を実施してもよい。
【0025】
第3の態様では、制御部は、視点位置のロスト時間(喪失時間)を計時し、ロスト時間が所定の閾値より短い場合、無効化する期間をより短くする制御を実施する。第2の態様とは、制御の方向が逆となるが、第2、第3の各態様は得られる効果が異なることから、各態様は、期待する効果に応じて選択的に適用され得る。
【0026】
視点ロスト時間が短いときは、視点位置の変化が小さい(視点の移動距離が比較的短い)と考えられるため、視点ロスト時間が長い時よりも、新しいワーピングパラメータによるワーピング処理の無効化時間を短く設定する。これにより、例えば、必要最小限の無効化(タイミング遅延)を実施した後、視点位置に応じた適切なワーピング補正された画像(虚像)を迅速に表示して、違和感の軽減や違和感の発生の抑制を図ることができる。
【0027】
言い換えれば、視点ロスト期間が短いときは、視点位置の移動距離が小さいと推定されることから、ワーピングパラメータの更新の前後の虚像の歪みの態様にも大きな差が少ないと推定することができ、この点を考慮して、視点位置の再検出直後の急峻な(言い換えれば、かなり短い時間での)虚像の見え方の変化を防止し、その後は迅速に、通常の視点追従ワーピング制御に復帰させることで、視認性の改善効果を確実に得るものである。
【0028】
第1乃至第3の何れか1つの態様に従属する第4の態様において、
前記制御部は、
前記視点ロストが生じる前、及び前記視点ロスト期間におけるワーピングパラメータの更新周期を第1の更新周期RT1とし、前記ワーピング処理を無効化する期間におけるワーピングパラメータの更新周期を第2の更新周期RT2とするとき、RT1<RT2となるようにパラメータ更新周期を変更してもよい。
【0029】
第4の態様では、無効化期間において、視点ロストの直前のパラメータを維持する処理と併行して、ワーピングパラメータの更新周期を長くする処理(ワーピングパラメータの更新周期の変更処理)を併用する。
【0030】
例えば、画像(虚像)のフレームレートが、60fps(frames per second:フレーム毎秒)であれば、1秒間に60フレームの画像処理(画像表示処理)が行われる(言い換えれば、1フレーム期間が1/60秒となる)。一例として、ワーピングパラメータの更新も、1フレーム毎に実施するのが通常である場合を想定する。
【0031】
ここで、視点ロスト後の無効化期間において、パラメータの更新を2フレーム毎に実施すると、更新周期は2/60秒となり、また、3フレーム毎に実施すれば、更新周期は3/60秒となり、更新周期が長くなる。このようにして、複数フレームを単位とした更新に切り替えることで、更新周期を長くする(増大させる)ことが可能である。更新周期が長くなることで、更新されたワーピングパラメータの画像(虚像)への反映が遅くなる。言い換えれば、更新されたパラメータの表示への反映の感度が鈍化する。無効化期間が過ぎれば、変更されたパラメータの更新周期を元に戻す(RT2からRT1に戻す)ことになるが、更新周期を元に戻すことは現実的には瞬時にはなされず、ある程度の時間が必要であることから、パラメータが切り替えられても、その切り替えられたパラメータの現実の表示への反映が遅れることになる。
【0032】
これによって、ある程度の時間幅の遅延(現実の表示における見え方の変化を遅らせたことが運転者に知覚される程度の長さをもつ遅延(言い換えれば、無効化期間の幅を実質的に少し延ばす効果がある遅延))を、適切に設けることが容易となる。タイミング制御回路の設計が容易化される等の効果も期待できる。
【0033】
また、パラメータの更新周期の増大の程度を可変に制御したり、あるいは、増大させた更新周期を元に戻すときのタイミング等を工夫したりする等、制御のバリエーションの幅が広がり、柔軟な対応も可能となる。現実の表示制御における遅延量もかなり広く設定することが容易となる。
【0034】
第4の態様に従属する第5の態様において、
前記制御部は、
前記パラメータ更新周期を前記RT1から前記RT2に変更した後、
前記ワーピング処理を無効化する期間の終了タイミングで、前記RT2から前記RT1に戻す、
又は、
前記ワーピング処理を無効化する期間の終了タイミングから、さらに所定時間が経過したタイミングで、前記RT2から前記RT1に戻す、
又は、
前記ワーピング処理を無効化する期間の終了タイミングを起点として、パラメータ更新周期の変更を開始し、時間経過と共に徐々に前記RT2から前記RT1へと戻してもよい。
【0035】
第5の態様では、第4の態様における更新周期を長くする処理を実施した後、その更新周期を元に戻す場合の態様の例を記載している。
【0036】
第1の例では、ワーピングパラメータの切り替え(更新)と同期して、長い更新周期を元の短い更新周期に戻す。この場合でも、更新周期の変更にはある程度の時間が必要であるため、その分の遅延が確実に確保される。
【0037】
第2の例では、ワーピングパラメータの切り替え(更新)時点から、さらに所定時間が経過した時点で、パラメータ更新周期を元に戻す。この例では、更新周期を戻すタイミングは、パラメータの切り替え(更新)タイミングから所定時間だけ遅れ、変更されたパラメータの表示への反映がさらに遅れることから、人の目に知覚され得る適切な長さの遅延を確実に実現し易くなる。
【0038】
第3の例では、更新周期を元に戻すときに、所定の時間経過と共に徐々に元に戻す。言い換えれば、更新周期を、例えば、1/15秒から1/60秒に戻すとき、すぐに戻さずに、所定時間を単位として1/30秒、1/45秒、1/60秒と、段階的に徐々に切り替えていくような制御を実施する。時間軸上で徐々に更新周期を切り替える制御によって、変更されたパラメータの表示への反映の遅延を、より高精度に管理することができる。
【0039】
第1乃至第5の何れか1つの態様に従属する第6の態様において、
前記車両の速度が低速状態か否かを判断する低速状態判定部と、をさらに有し、
前記制御部は、
前記車両が、停止状態を含む前記低速状態であるときの前記ワーピング処理を無効化する期間を、前記低速状態よりも速い状態における前記ワーピング処理を無効化する期間よりも長くしてもよい。
【0040】
第6の態様では、車両が低速状態であるときには、中速状態や高速状態であるときよりも、無効化期間を長く設定する(言い換えれば、ワーピングパラメータを切り替えるタイミングをより遅らせる)。低速状態のときには、運転者は、前方等の視覚の変動に敏感で、その変動を察知し易い。したがって、このときに、視点ロスト後の新パラメータの画像への反映をより大きく遅らせ、表示の見え方の瞬時の変化による違和感が生じにくくなるように対策する。車速が低速状態を脱して速くなると、無効化期間を少なくし(無効化期間を無くす場合も含めることができる)、ロスト後に再検出された視点位置に基づく画像の歪み補正をより早めることを重視した制御を実施する。これによって、車速に対応した適切なワーピング制御が可能である。
【0041】
第1乃至第6の何れか1つの態様に従属する第7の態様において、
前記制御部は、
前記車両の車速に応じて、前記ワーピング処理を無効化する期間を変更し、この場合において、
前記車両の速度が、第1の速度値U1(U1>0)以上で、かつ、前記第1の速度値よりも大きい第2の速度値U2以下の範囲内にあるときに、前記ワーピング処理を無効化する期間を、車速が速くなるにつれて、車速に対して減少させる制御を実施する、
又は、
車速が前記第1の速度値に近い範囲では、前記減少の程度を緩やかにし、第1の速度値から遠ざかるにつれて、前記減少の程度を急峻にする制御を実施する、
又は、
車 速が前記第1の速度値に近い範囲では、前記減少の程度を緩やかにし、前記第1の速度値から遠ざかるにつれて、前記減少の程度をより急峻にする制御を実施すると共に、車速が前記第2の速度値に近づくにつれて、前記減少の程度を緩やかにする制御を実施してもよい。
【0042】
第7の態様では、車速の上昇に応じて、ワーピング処理を無効化する期間を短くする(言い換えれば減少させる)制御を実施する場合に、車速が第1の速度U1(>0)以上で、第1の速度値よりも大きい第2の速度値U2以下の範囲内にあるときに、その制御を実施してもよい(第1の制御)。この場合には、車速が第1の速度U1未満、及び第2の速度U2を超える範囲では制御を実施せず、HUD装置のシステムに過度の負担を与えないようにしてもよい。また、無効化期間を、速度に対して減少させることで、速度に応じた、より柔軟で適切なワーピング処理が可能である。
【0043】
また、運転者が画像(虚像)の視覚的変化を感得しやすい低速状態である(言い換えれば、車速が第1の速度値U1に近い範囲にある)場合には、急なワーピングパラメータの更新が抑制されるように、無効化期間を減少させる程度を緩やかにする制御を実施してもよい(第2の制御)。この場合、より高精度な制御が実現される。
【0044】
また、上記の第2の制御に加えて、さらに、第2の速度値U2に近づくにつれて、無効化期間を減少させる程度を緩やかにする制御(逆S字特性の制御)を実施して、第2の速度値U2に達したときに減少が停止されて一定になることによって、変化が急に(唐突に)頭打ちになって違和感が生じることを抑制してもよい(第3の制御)。これによって、虚像の視認性をさらに改善することができる。
【0045】
第1乃至第7の何れか1つの態様に従属する第8の態様において、
前記ヘッドアップディスプレイ装置は、
前記運転者の前記視点の高さ位置に応じて前記アイボックスの位置を調整するに際し、前記光学部材を動かさず、前記画像の表示光の、前記光学部材における反射位置を変更してもよい。
【0046】
第8の態様では、上記の制御を実施するHUD装置は、運転者の目(視点)の高さ位置に応じてアイボックスの高さ位置を調整する場合に、光を被投影部材に投影する光学部材を、例えばアクチュエータを用いて回動させるようなことをせず、その光学部材における光の反射位置を変更することで対応する。
【0047】
近年のHUD装置は、例えば車両の前方のかなり広い範囲にわたって虚像を表示することを前提として開発される傾向があり、この場合、必然的に装置が大型化する。当然、光学部材も大型化する。この光学部材をアクチュエータ等を用いて回動等させるとその誤差によって、かえってアイボックスの高さ位置の制御の精度が低下することがあり、これを防止するために、光線が光学部材で反射する位置を変更することで対応することとしたものである。
【0048】
このような大型の光学部材では、その反射面を自由曲面として最適設計すること等によって、できるかぎり虚像の歪みが顕在化しないようにするが、しかし、上記のように、例えばアイボックスの周辺に運転者の視点が位置する場合等には、どうしても歪みが顕在化してしまう場合もある。よって、このようなときに、上記の再検出後の視点位置に対応したパラメータの適用を所定範囲で一時的に無効化する(遅延させる)制御を実施することで、虚像の歪みによる見え方の変化による違和感が生じにくくすることができ、上記の制御を有効に活用して視認性を向上させることができる。
【0049】
第1乃至第8の何れか1つの態様に従属する第9の態様において、
前記表示部の画像表示面に対応する仮想的な虚像表示面が、前記車両の前方の、路面に重畳するように配置される、
又は、
前記虚像表示面の前記車両に近い側の端部である近端部と前記路面との距離が小さく、前記車両から遠い側の端部である遠端部と前記路面との距離が大きくなるように、前記路面に対して斜めに傾いて配置されてもよい。
【0050】
第9の態様では、HUD装置における、車両の前方等に配置される仮想的な虚像表示面(表示部としてのスクリーン等の表示面に対応する)が、路面に重畳されるように、あるいは、路面に対して傾斜して設けられる。前者は路面重畳HUDと称され、後者は傾斜面HUDと称されることがある。
【0051】
これらは、路面に重畳される広い虚像表示面、又は路面に対して傾斜して設けられる広い虚像表示面を用いて、例えば、車両前方5m~100mの範囲で、種々の表示を行うことができるものであり、HUD装置は大型化し、アイボックスも大型化して、従来よりも広い範囲で視点位置を高精度に検出して、適切なワーピングパラメータを用いた画像補正を行うことが好ましい。但し、視点ロストが発生すると、その高精度なワーピングパラメータの切り替え制御がかえって、視点の再検出後の画像(虚像)の視認性を低下させることもあり得る。よって、本発明の制御方式の適用が有効となる。
【0052】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0053】
図1図1(A)は、ワーピング処理の概要、及びワーピング処理を経て表示される虚像(及び虚像表示面)の歪みの態様を説明するための図、図1(B)は、ウインドシールドを介して運転者が視認する虚像の一例を示す図である。
図2図2(A)は、視点位置追従ワーピング処理の概要を説明するための図、図2(B)は、内部を複数の部分領域に分割したアイボックスの構成例を示す図である。
図3図3(A)~(F)は、ワーピング処理後の、歪み方が異なる虚像の例を示す図である。
図4図4は、内部が複数の部分領域に分割されたアイボックスにおける視点ロスト及び視点位置の再検出の例を示す図である。
図5図5は、HUD装置のシステム構成の一例を示す図である。
図6図6(A)~(C)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の一例を示すタイミングチャートである。
図7図7(A)~(D)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の他の例(パラメータ更新周期の変更処理を併用する場合)を示すタイミングチャートである。
図8図8(A)、(B)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の他の例(視点ロスト期間が閾値より短い場合における第1の制御例)を示すタイミングチャートである。
図9図9(A)、(B)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の他の例(視点ロスト期間が閾値より短い場合における第2の制御例)を示すタイミングチャートである。
図10図10は、車速に応じて、再検出された視点位置に基づくワーピング処理を無効化する期間を可変に制御する場合の特性例を示す図である。
図11図11は、視点ロストに対応したワーピング画像補正制御の手順例(第1の制御例)を示すフローチャートである。
図12図12は、視点ロストに対応したワーピング画像補正制御の手順例(第2の制御例)を示すフローチャートである。
図13図13は、視点ロストに対応したワーピング画像補正制御の手順例(第3の制御例)を示すフローチャートである。
図14図14(A)は、路面重畳HUDによる表示例を示す図、図14(B)は、傾斜面HUDによる表示例を示す図、図14(C)は、HUD装置の主要部の構成例を示す図である。
【発明を実施するための形態】
【0054】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0055】
図1を参照する。図1(A)は、ワーピング処理の概要、及びワーピング処理を経て表示される虚像(及び虚像表示面)の歪みの態様を説明するための図、図1(B)は、ウインドシールドを介して運転者が視認する虚像の一例を示す図である。
【0056】
図1(A)に示されるように、HUD装置100は、表示部(例えば、光透過型のスクリーン)101と、反射鏡103と、表示光を投影する光学部材としての曲面ミラー(例えば凹面鏡であり、反射面は自由曲面である場合もある)105と、を有する。表示部101に表示された画像は、反射鏡103、曲面ミラー105を経て、被投影部材としてのウインドシールド2の虚像表示領域5に投影される。図1において、符号4は投影領域を示す。なお、HUD100は、曲面ミラーを複数設けてもよく、本実施形態のミラー(反射光学素子)に加えて、又は本実施形態のミラー(反射光学素子)の一部(又は全部)に代えて、レンズなどの屈折光学素子、回折光学素子などの機能性光学素子を含んでいてもよい。
【0057】
画像の表示光の一部は、ウインドシールド2で反射されて、予め設定されたアイボックス(ここでは所定面積の四角形の形状とする)EBの内部に(あるいはEB上に)位置する運転者等の視点(目)Aに入射され、車両1の前方に結像することで、表示部101の表示面102に対応する仮想的な虚像表示面PS上に虚像Vが表示される。
【0058】
表示部101の画像は、曲面ミラー105の形状やウインドシールド2の形状等の影響を受けて歪む。その歪みを相殺するために、その歪みとは逆特性の歪みが画像に与えられる。このプレディストーション(前置歪み)方式の画像補正を、本明細書ではワーピング処理、あるいはワーピング画像補正処理と称する。
【0059】
ワーピング処理によって、虚像表示面PS上に表示される虚像Vが、湾曲のない平坦な画像となるのが理想ではあるが、例えば、ウインドシールド2上の広い投影領域4に表示光を投影すると共に、虚像表示距離をかなり広範囲に設定する大型のHUD装置100等では、ある程度の歪みが残ることは否めず、これは仕方のないことである。
【0060】
図1の左上において、破線で示されるPS’は、歪みが完全には除去されていない虚像表示面を示し、V’は、その虚像表示面PS’に表示される虚像を示している。
【0061】
また、歪みが残る虚像Vの、歪みの程度あるいは歪みの態様は、視点AがアイボックスEB上のどの位置にあるかによって異なる。HUD装置100の光学系は、視点Aが中央部付近に位置することを想定して設計されることから、視点Aが中央部付近にあるときは比較的、虚像の歪みは小さく、周辺部になるほど虚像の歪みが大きくなる傾向が生じる。
【0062】
図1(B)には、ウインドシールド2を介して運転者が視認する虚像Vの一例が示されている。図1(B)では、矩形の外形を有する虚像Vには、例えば縦に5個、横に5個、合計で25個の基準点(基準画素点)G(i,j)(ここで、i、jは共に1~5の値をとり得る変数)が設けられる。画像(原画像)における各基準点に対して、ワーピング処理による、虚像Vに生じる歪みとは逆特性の歪みが与えられ、したがって、理想的には、その事前に与えられる歪みと、現実に生じる歪みとが相殺され、理想的には、図1(B)に示されるような湾曲のない虚像Vが表示される。基準点G(i,j)の数は、補間処理等によって適宜、増やすことができる。なお、図1(B)において、符号7はステアリングホイールである。
【0063】
次に、図2を参照する。図2(A)は、視点位置追従ワーピング処理の概要を説明するための図、図2(B)は、内部を複数の部分領域に分割したアイボックスの構成例を示す図である。図2において、図1と共通する部分には同じ参照符号を付している(この点は以降の図においても同様である)。
【0064】
図2(A)に示されるように、アイボックスEBは、複数(ここでは9個)の部分領域Z1~Z9に分割されており、各部分領域Z1~Z9を単位として、運転者の視点Aの位置が検出される。
【0065】
HUD装置100の投射光学系118から画像の表示光Kが出射され、その一部がウインドシールド2により反射されて、運転者の視点(目)Aに入射する。視点Aがアイボックス内にあるとき、運転者は画像の虚像を視認することができる。
【0066】
HUD装置100は、ROM210を有し、ROM210は、画像変換テーブル212を内蔵する。画像変換テーブル212は、例えばデジタルフィルタによる画像補正(ワーピング画像補正)のための多項式、乗数、定数等を決定するワーピングパラメータWPを記憶している。ワーピングパラメータWPは、アイボックスEBにおける各部分領域Z1~Z9の各々に対応して設けられる。図2(A)では、各部分領域に対応するワーピングパラメータをWP(Z1)~WP(Z9)が示されている。なお、図中、符号としては、WP(Z1)、WP(Z4)、WP(Z7)のみを示している。
【0067】
視点Aが移動した場合、その視点Aが、複数の部分領域Z1~Z9のうちの、どの位置にあるかが検出される。そして、検出された部分領域に対応するワーピングパラメータWP(Z1)~WP(Z9)の何れかがROM210から読みだされ(ワーピングパラメータの更新)、そのワーピングパラメータを用いてワーピング処理が実施される。
【0068】
図2(B)には、部分領域の数を図2(A)の例よりも増やしたアイボックスEBが示されている。アイボックスEBは、縦に6個、横に10個、合計で60個の部分領域に分割されている。各部分領域は、X方向、Y方向の各座標位置をパラメータとして、Z(X、Y)と表示されている。
【0069】
次に、図3を参照する。図3(A)~(F)は、ワーピング処理後の、歪み方が異なる虚像の例を示す図である。先に述べたとおり、運転者の視点Aがアイボックスのどの位置にあるかによって、ワーピング処理後の虚像Vの見え方が異なる。
【0070】
図3(A)に示されるように、ウインドシールド2の虚像表示領域5に表示される虚像Vは、歪みが除去されて湾曲のない態様で表示されるのが理想ではある。しかし、実際の虚像Vには、ワーピング処理を施した後においても歪みが残留しており、その歪みの程度や態様は、視点Aの位置に応じて変化する。
【0071】
図3(B)の例では、歪みはあるものの比較的軽度の歪みであり、虚像Vは、図3(A)に近い見栄えである。図3(C)の例では、歪みの傾向は図3(B)と同様といえるが、歪みの程度は大きくなっており、図3(A)と同様の見栄えとはいえない。
【0072】
また、図3(D)の例では、歪みの程度は図3(C)と同様ではあるが、歪みの態様(歪みの傾向、あるいは歪みが生じた後の虚像の見え方の態様)は、図3(C)とは異なっている。
【0073】
図3(E)の例では、歪みの程度がより大きくなり、虚像Vの左右のバランスもとれていない。図3(F)の例では、虚像Vは、図3(E)に似た傾向の歪み方ではあるが、見た目は、図3(F)とはかなり異なる。
【0074】
このように、同じ内容を表示している虚像V(ワーピング処理後の虚像V)であっても、視点Aの位置に応じて、その見え方がかなり異なる。例えば、視点Aがアイボックスの中央部に位置するときは、視認される虚像Vは、図3(B)のように比較的、歪みが少ないが、視点Aが中央部から周辺部に移動すると、例えば、図3(E)のように歪みが比較的大きくなる。
【0075】
この状態(視点Aがアイボックスの周辺部の1つの部分領域に位置する状態である図3(E)の場合)で、例えば、視点Aが他の部分領域に移動し、例えば、図3(B)のように虚像Vの見え方が変化する場合(変化a1)、あるいは、図3(F)のように変化する場合(変化a2)の場合を想定すると、いずれの場合も、見え方が、かなり変化しており、運転者(ユーザー)が違和感を生じる可能性が高まる。
【0076】
次に、図4を参照する。図4は、内部が複数の部分領域に分割されたアイボックスにおける視点ロスト及び視点位置の再検出の例を示す図である。図4では、視点ロストが生じた後、視点位置が再検出される態様として、(1)~(6)の各視点移動が例示されている。
【0077】
視点ロストの典型的な例は、運転中に、運転者の視点AがアイボックスEBから外れてその位置の検出が途切れ、その後、視点AがアイボックスEB内に戻る場合である。図4では、この場合の視点移動の態様として、(1)~(6)の移動が例示されている。視点移動(1)は、視点AがアイボックスEBの中央領域CTの内部から、アイボックスEBの外への移動であり、移動距離が長く、視点のロスト時間も大きい。この場合、視点AがアイボックスEB内に戻る場合も、例えば(2)、(3)の移動を経て(4)に留まる、というように、不安定となる(変動が多い)と想定され得る。
【0078】
また、視点ロストは、視点移動例(5)、(6)のように、視点AがアイボックスEBの外には出ないが、複数の部分領域を瞬時に移動する場合等にも生じ得る。視点移動例(5)、(6)では、上記(1)~(4)の移動態様に比べて、移動距離が短く、視点のロスト時間も小さく、また、視点移動も比較的安定している。視点ロストの態様は、種々あり、柔軟な対応が望ましい。
【0079】
本実施形態では、基本的には、視点ロスト(視点喪失)が発生している期間においては、直前のワーピングパラメータを維持し、視点Aが再検出されるタイミングから無効化期間を開始し、無効化期間では、再検出された視点位置に対応するワーピングパラメータを用いた少なくとも1回のワーピング処理を無効化する、という対策を採る。無効化期間では、視点ロスト直前のワーピングパラメータが維持される。
【0080】
なお、視点ロスト期間において、アイボックスEBの中心(符号CP)の位置に相当するワーピングパラメーを採用することも想定はされ得るが、この場合、パラメータは、視点ロスト直前のパラメータから、一旦、中心CPに対応したパラメータに移行し、その後、再検出後の位置に対応したパラメータへと移行するという段階的処理となり、ワーピングパラメータの切り替えによる虚像の見え方の変化を起こす可能性が高いため、本実施形態では採用しない。上述のとおり、視点ロスト期間、それに続く無効化期間においては、視点ロスト直前のワーピングパラメータを維持することで、虚像の見え方の変化を抑制する制御を実施する。無効化期間を適切な長さとすることにより、例えば、図4の視点移動(2)の直後の視点Aの再検出に伴うワーピングのみを無効としたり、あるいは、さらに視点移動(3)の直後の視点Aの再検出に伴うワーピングも無効としたりすることができる(例えば、図6図7の例)。
【0081】
また、無効化期間において、ワーピングパラメータの更新周期の変更処理(更新周期を長くする処理)を併用することもできる。また、このとき、パラメータ更新周期を増大させている期間を、無効化期間が終了した後もしばらくの間継続させるという応用処理を行うこともでき、また、その更新周期を元に戻す際に、時間経過と共に徐々に戻すといった応用処理を併用することも可能である(図7(A)~(D)の例)。
【0082】
また、無効化期間を、視点ロスト期間が閾値(比較判定用の閾値)よりも長いか短いかに対応させて可変に制御してもよい。例えば、図4の視点移動(5)による視点ロスト(比較的、視点の移動が短いロスト)後に、視点の再検出が行われたことを運転者(ユーザー)に演出して安心感を与えることができ(図8の例)、あるいは、その逆に、比較的早く無効化を終了させて、すばやく移動後の視点位置に応じたパラメータによるワーピング処理を行い、冗長な無効化期間を抑制することもできる(図9の例)。また、無効化期間を、車速に応じて変化させることで、車速に基づく適応的な制御を実施してもよい(図10の例)。これらの内容の詳細は、後述する。
【0083】
次に、図5を参照する。図5は、HUD装置のシステム構成の一例を示す図である。車両1には、運転者の視点A(目、瞳)の位置を検出する視点検出カメラ110が設けられている。また、車両1には、運転者がHUD装置100に必要な情報を設定すること等を可能とするために操作入力部130が設けられ、また、車両1の各種の情報を収集することが可能な車両ECU140が設けられている。
【0084】
また、HUD装置100は、光源112と、投光部114と、投射光学系118と、視点位置検出部(視点位置判定部)120と、バス150と、バスインターフェース170と、表示制御部180と、画像生成部200と、画像変換テーブル212を内蔵するROM210と、画像(原画像)データ222を記憶し、かつワーピング処理後の画像データ224を一時的に記憶するVRAM220と、を有している。表示制御部(表示制御装置)180は、1つ又は複数のプロセッサ、1つ又は複数の画像処理回路、及び1つ又は複数のメモリなどで構成され、前記メモリに記憶されているプログラムを実行することで、例えば画像データを生成、及び/又は送信するなど、HUD装置100(表示部116)の制御を行うことができる。プロセッサ及び/又は画像処理回路は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリは、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVRAMを含んでもよい。
【0085】
視点位置検出部120は、視点座標検出部122と、検出された座標に基づいて、視点Aがアイボックス内のどの部分領域に位置するかを検出(判定)するアイボックス内の部分領域検出部124と、を有する。
【0086】
また、表示制御部180は、車両1の速度を検出(判定)する速度検出部(低速状態を判定する低速状態判定部を兼ねる)182と、ワーピング制御部184(ワーピング管理部185を備える)と、タイマー190と、メモリ制御部192と、ワーピング処理部(ワーピング画像補正処理部)194と、を有する。
【0087】
また、ワーピング管理部185は、視点喪失(視点ロスト)が生じたことを検出する視点喪失検出部(あるいは視点ロスト検出部)186と、ワーピングパラメータの切り替え遅延部(無効化期間設定部)187と、ワーピングパラメータの更新周期変更部188と、検出された視点位置に対応するアイボックスの部分領域情報を一時的に蓄積する、アイボックスの部分領域の一時蓄積部189と、を備える。
【0088】
ここで、ワーピングパラメータの切り替え遅延部(無効化期間設定部)187は、視点ロスト後に視点位置が最初に再検出されると、そのタイミングで直ちに再検出された視点位置に基づくワーピングパラメータの切り替えを行わず、一時的にワーピングパラメータの切り替えを遅延させることで、ワーピングパラメータの切り替えを無効化する制御を実施する。
【0089】
また、ワーピングパラメータの更新周期変更部188は、ワーピングパラメータの切り替えタイミングの遅延による無効化期間の設定処理と併行して、少なくとも無効化期間において、ワーピングパラメータの更新周期を変更する(具体的には更新周期を長くする)制御を実施する。この更新周期の変更によって、例えば、更新されたワーピングパラメータの、実際の表示への反映タイミングを適切に遅延させることが可能である。
【0090】
基本的な動作は以下のとおりである。すなわち、視点位置検出部120から送られてくる部分領域情報(視点Aがアイボックスのどの部分領域にあるかを示す情報)をアドレス変数として用いて、メモリ制御部192がROM210にアクセスし、対応するワーピングパラメータを読み出し、読みだされたワーピングパラメータを用いてワーピング処理部(ワーピング画像補正処理部)194が、原画像に対してワーピング処理を施し、ワーピング処理後のデータに基づいて画像生成部200にて所定のフォーマットの画像が生成され、その画像が、例えば光源112や投光部114等に供給される、という動作が実施される。
【0091】
但し、視点Aの移動に単純に追従させてワーピングを行うと、上記のとおり、視点ロスト後に視点位置が再検出された場合に、虚像Vの見え方が瞬時的に変化して、運転者に視覚的な違和感を生じさせる場合があることから、ワーピング処理の感度を意図的に鈍らせる(抑制する)制御を実施する。この制御には、いくつかの態様がある。以下、順を追って説明する。
【0092】
図6を参照する。図6(A)~(C)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の一例を示すタイミングチャートである。図6(A)に示されるように、時刻t10~t11の期間では、視点Aの位置は、アイボックスEBの部分領域Z(n,m)にあり(n,mはアイボックス内の部分領域を特定する自然数である)、時刻t11~t12において視点喪失(視点ロスト)が生じ、その後、時刻t12において、視点Aが、アイボックスEBの部分領域Z(r,s)にあることが再検出される(但し、r,sは、アイボックス内の部分領域を特定する自然数であり、ここで特定される部分領域は、Z(n,m)とは異なるものとする)。なお、視点喪失期間(視点ロスト期間)はT0と表記されている。
【0093】
また、図6(C)に示されるように、本実施形態では、ワーピングパラメータの更新周期の値はRT1に固定され、変更されないものとする。
【0094】
図6(B)において実線で示されるように、視点ロスト期間(時刻t11~t12)においては、ワーピングパラメータは、視点ロストが発生する直前のパラメータ値WP1が維持される。代替案として、破線で示されるように、視点ロスト期間のパラメータ値を、アイボックスEBの中心位置に対応する値に維持することも考えられるが、この場合、視点ロスト期間においても運転者が虚像を見ている場合には、パラメータ値の変更に伴って虚像の見え方が変化することで違和感が生じる場合があることから、この代替案は採用しない。
【0095】
また、時刻t12において、視点Aの位置が再検出されるが、すぐに再検出された位置に対応するパラメータへの切り替えは行わず、再検出時点t12から所定期間(ここでは、時刻t13までの期間)において、パラメータ値WP1を維持し、時刻t13に、パラメータ値が、再検出された位置に基づく値WP2へと変更される。時刻t12~t13の期間が無効化期間Taであり、この無効化期間Ta内において、視点位置が少なくとも1回、再検出されたときは、その再検出された位置に基づくパラメータの変更(パラメータの適用)は無効化され、維持されている元のパラメータを用いたワーピングが実施される。
【0096】
無効化期間を設けることで、パラメータが少しの間固定されることになり、瞬時のワーピングパラメータの切り替えはなされない。また、その無効化期間では、視点位置が不安定で、例えばアイボックスの複数の部分領域を通過して移動するようなことがあっても、視点位置の連続的な再検出に基づくパラメータの変更はなされない。これによって、ワーピング処理が安定化される。従って、例えば、運転者の視点Aがアイボックスを外れた後、再びアイボックス内に戻ったときに、瞬時に虚像Vの見え方が変化して違和感が生じることが抑制される。
【0097】
次に、図7を参照する。図7(A)~(D)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の他の例(パラメータ更新周期の変更処理を併用する場合等)を示すタイミングチャートである。
【0098】
図7(A)に示されるように、時刻t1~t3において、視点喪失(視点ロスト)が発生する。視点喪失期間(視点ロスト期間)はT1と表記されている。また、図7(A)に示されるように、視点ロスト期間T1は、所定の閾値(視点ロスト期間の長短を判定するための閾値)Thと比較したとき、閾値Th以上である。言い換えれば、図7の例では、Th≦T1が成立する(但し、図7(A)では、具体例としてTh<T1の場合を示している)。
【0099】
また、図7(B)に示されるように、時刻t3~t4が無効化期間Taである。ワーピングパラメータWP1は、瞬時に(時刻t4にて)WP2へと切り替わる場合もあり、破線の特性線Tk1又はTk2で示されるように、時間経過を伴って徐々に切り替わる場合もあり得る。なお、Tk1、Tk2は、図7(D)の特性線G1、G2に対応する(後述)。特性線Tk1、Tk2のようなパラメータの切り替えが実施されるときは、パラメータ値が、WP2への切り替えが完了する時点は、時刻t4から、さらに時間(期間)Tbだけ遅れた時点である時刻t5となる(この点も後述する)。
【0100】
また、図7の例では、ワーピングパラメータの更新周期の変更処理についても言及する。図7(C)は、ワーピングパラメータの更新周期をRT1に固定し、更新周期の変更が行われない場合を示す。図7(D)は、時刻t3~t4の無効化期間Taにおいて、ワーピングパラメータの更新周期をRT1からRT2に変更する(具体的には、更新周期を長くする)というワーピングパラメータの更新周期の変更処理が実施(併用)される。
【0101】
例えば、画像(虚像)のフレームレートが、60fps(frames per second:フレーム毎秒)であれば、1秒間に60フレームの画像処理(画像表示処理)が行われる(言い換えれば、1フレーム期間が1/60秒となる)。一例として、ワーピングパラメータの更新も、1フレーム毎に実施するのが通常である場合を想定する。
【0102】
ここで、視点ロスト後の無効化期間Taにおいて、パラメータの更新を2フレーム毎に実施すると、更新周期は2/60秒となり、また、3フレーム毎に実施すれば、更新周期は3/60秒となり、更新周期が長くなる。このようにして、複数フレームを単位とした更新に切り替えることで、更新周期を長くする(増大させる)ことが可能である。更新周期が長くなることで、更新されたワーピングパラメータの画像(虚像)への反映が遅くなる。言い換えれば、更新されたパラメータの表示への反映の感度が鈍化する。無効化期間が過ぎれば、変更されたパラメータの更新周期を元に戻す(RT2からRT1に戻す)ことになるが、更新周期を元に戻すことは現実的には瞬時にはなされず、ある程度の時間が必要であることから、ワーピングパラメータが切り替えられても、その切り替えられたパラメータの現実の表示への反映が遅れることになる。
【0103】
これによって、ある程度の時間幅の遅延(現実の表示における見え方の変化を遅らせたことが運転者に知覚される程度の長さをもつ遅延(言い換えれば、無効化期間の幅を実質的に少し延ばす効果がある遅延))を、適切に設けることが容易となる。タイミング制御回路の設計が容易化される等の効果も期待できる。
【0104】
また、パラメータの更新周期の増大の程度を可変に制御したり、あるいは、増大させた更新周期を元に戻すときのタイミング等を工夫したりする等、制御のバリエーションの幅が広がり、柔軟な対応も可能となる。現実の表示制御における遅延量もかなり広く設定することが容易となる。
【0105】
増大させた更新周期を元に戻すときのタイミングの変形例が、図7(D)に示されている。図7(D)において、破線(太線)の特性線G1で示すように、更新周期を元に戻す時点を、時刻t4から時刻t5に変更してもよい。この場合、パラメータの表示への反映の感度が鈍化している期間が延びることになる。この場合、パラメータの切り替えを遅らせて無効化期間を設けることに加えて、更新周期を元に戻す(RT2からRT1に戻す)タイミングを遅らせて、更新されたパラメータの現実の表示への反映をより遅らせることで、必要な遅延を作成することが、より容易となり、タイミング回路等の負担が軽減される。
【0106】
また、図7(D)において、破線(細線)の特性線G2で示すように、更新周期を元に戻す処理を時刻t4から開始するが、その後、時間的余裕をもたせて、少しずつ更新周期を戻していくようにしてもよい。例えば、パラメータ更新周期を、1/15秒(=RT2)から1/60秒(=RT1)に戻すとき、すぐに戻さずに、所定時間を単位として1/30秒、1/45秒、1/60秒と、段階的に徐々に切り替えていくような制御を実施する。時間軸上で徐々に更新周期を切り替える制御によって、変更されたパラメータの表示への反映の遅延を、より高精度に管理することができる。
【0107】
次に、図8を参照する。図8(A)、(B)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の他の例(視点ロスト期間が閾値より短い場合における第1の制御例)を示すタイミングチャートである。
【0108】
図8の例では、制御部(図5の符号184又は185)は、視点を喪失した視点喪失時間(視点ロスト時間:単にロスト時間と称する場合もある)を例えばタイマー190を用いて計時し、視点ロスト時間が所定の閾値Thより短い場合、無効化する期間(無効化期間)を、ロスト時間が閾値Thより長い場合(例えば図7の例)より長くする制御を実施する。
【0109】
図8において、視点ロスト時間T10(時刻t1~t6)は、閾値Th未満である。視点ロストが時刻t1に発生し、時刻t6に、視点Aの位置が再検出される。先に説明した図7の例では、再検出の後、無効化期間Taが設けられていたが、図8の例では、さらに期間Tdだけ、無効化期間が延長される。無効化期間はTe(=Ta+Td)の期間となる。
【0110】
ワーピングパラメータを変更せずに固定して画像(虚像)の見栄えを一定に保っている期間を、より長く設定することで、運転者に、視点ロスト後の再検出に成功して、その対応処理が今実施されているのである、ということを提示し、認知させることができる。言い換えれば、ワーピングパラメータの固定期間を長くし、時間をかけて更新したワーピングパラメータによる画像処理を行うことで、画像(虚像)の見た目が変化する場合でも、その変化が、運転者の目の移動に伴って急に生じず、時間的に余裕をもたせた変化であるように、運転者には認識させる。
【0111】
これにより、運転者は、自身の目の移動によって視点位置のロストが生じたが、HUD装置のシステムは視点位置の再検出に成功し、視点ロストに対応する処理が実施された、ということを感覚的に知り易くなる。
【0112】
言い換えれば、HUD装置側(システム側)において、視点ロスト後の処理がきちんと行われていることを、ユーザーである運転者に演出することが可能となる。このことが運転者に安心感や精神的な安定感を与え、したがって、違和感が生じにくくする、あるいは、違和感を軽減するという効果が得られる。
【0113】
次に、図9を参照する。図9(A)、(B)は、再検出された視点位置に基づくワーピング処理を無効化する期間を設ける制御の他の例(視点ロスト期間が閾値より短い場合における第2の制御例)を示すタイミングチャートである。
【0114】
図9の例では、制御部(図5の符号184又は185)は、視点を喪失した視点喪失時間(視点ロスト時間:単にロスト時間と称する場合もある)を例えばタイマー190を用いて計時し、視点ロスト時間が所定の閾値Thより短い場合、無効化する期間(無効化期間)を、ロスト時間が閾値Thより長い場合(例えば図7の例)より短くする制御を実施する。図9における制御の方向は、図8の場合とは逆になる。但し、得られる効果が異なることから、図8図9の各例は、期待する効果に応じて選択的に適用され得る。
【0115】
視点ロスト時間が短いときは、視点位置の変化が小さい(視点の移動距離が比較的短い)と考えられるため、図9の例においては、視点ロスト時間が閾値Thよりも長い時(図7の例)よりも、新しいワーピングパラメータによるワーピング処理の無効化時間を短く設定する。図9(B)に示されるように、ワーピングパラメータがWP1からWP2に切り替えられるのは時刻t9である。時刻t6~t9の期間Tfが、無効化期間となる。図9の無効化期間Tfは、図7の無効化期間Taよりも短く設定されている。
【0116】
これにより、例えば、必要最小限の無効化(タイミング遅延)を実施した後、視点位置に応じた適切なワーピング補正された画像(虚像)を迅速に表示して、違和感の軽減や違和感の発生の抑制を図ることができる。
【0117】
言い換えれば、視点ロスト期間が短いときは、視点位置の移動距離が小さいと推定されることから、ワーピングパラメータの更新の前後の虚像の歪みの態様にも大きな差が少ないと推定することができ、この点を考慮して、視点位置の再検出直後の急峻な(言い換えれば、かなり短い時間での)虚像の見え方の変化を防止し、その後は迅速に、通常の視点追従ワーピング制御に復帰させることで、視認性の改善効果を確実に得るものである。
【0118】
次に、図10を参照する。図10は、車速に応じて、再検出された視点位置に基づくワーピング処理を無効化する期間を可変に制御する場合の特性例を示す図である。図10の例では、視点ロスト後の無効化期間を、車両1の車速に応じて適応的に制御する。
【0119】
先に説明した図5の速度検出部182は、低速状態判定部としても機能する。この低速情報判定部182によって車両1が低速状態(停止状態、あるいは低速での走行状態)であると判定(例えば、車速判定用の閾値を用いて判定)されると、制御部(184、185)は、新しいパラメータによるワーピング処理を無効化する期間(無効化期間)を、低速状態よりも速い状態における無効化期間よりも長くする制御を行う。
【0120】
図10において、車速が0~U1の低速状態であるときの、無効化期間Ta、Te、Tf(各々、図7(B)、図8図9に対応する)の値はN1であり、U1~U2の中速状態では、その値はN1よりも小さく、車速がU2以上の高速状態でも同様である。
【0121】
低速状態のときには、運転者(ユーザー)は、前方等の視覚の変動に敏感で、その変動を察知し易い。したがって、このときに、視点ロスト後の新パラメータの画像への反映をより大きく遅らせ、表示の見え方の瞬時の変化による違和感が生じにくくなるように対策する。車速が低速状態を脱して速くなると、無効化期間Ta、Te、Tfを少なくし(このとき無効化期間を無くす場合も含めることができる)、ロスト後に再検出された視点位置に基づく画像の歪み補正をより早めることを重視した制御を実施する。これによって、車速に対応したより柔軟で、適切なワーピング制御が可能である。
【0122】
また、図10の制御例では、制御部(図5の符号184あるいは185)は、車両1の車速に応じて、ワーピング処理を無効化する期間(無効化期間)を変更し、この場合において、車両1の速度が、第1の速度値U1(U1>0)以上で、かつ、第1の速度値よりも大きい第2の速度値U2以下の範囲内にあるときに、ワーピング処理を無効化する期間(無効化期間)を、車速が速くなるにつれて、車速に対して減少させる制御を実施している(特性線Q2、Q3、Q4で示される制御であり、これを第1の制御とする)。また、このとき、車速が第1の速度U1未満、及び第2の速度U2を超える範囲では制御を実施せず、無効化期間の値をN1又はN2に固定している。これによって、HUD装置のシステムに過度の負担を与えないようにすることが可能である。
【0123】
また、特性線Q3で示される制御を実施する場合は、車速が第1の速度値U1に近い範囲では、無効化期間を減少させるときの、その減少の程度を緩やかにし、第1の速度値U1から遠ざかるにつれて、減少の程度を急峻にする制御を実施している。
【0124】
言い換えれば、運転者が画像(虚像)の視覚的変化を感得しやすい低速状態である(言い換えれば、車速が第1の速度値U1に近い範囲にある)場合には、急なワーピングパラメータの更新が抑制されるように、無効化期間を減少させる程度を緩やかにする制御を実施するものである(これを第2の制御とする)。この場合、より高精度な制御が実現される。
【0125】
また、特性線Q4で示される制御が実施される場合は、車速が第1の速度値U1に近い範囲では、無効化期間を減少させるときの、その減少の程度を緩やかにし、第1の速度値から遠ざかるにつれて、減少の程度をより急峻にする制御を実施すると共に、車速が第2の速度値U2に近づくにつれて、減少の程度を緩やかにする制御を実施している(逆S字特性の制御であり、これを第3の制御とする)。この第3の制御では、上記の第2の制御に加えて、さらに、第2の速度値U2に近づくにつれて、無効化期間を減少させる程度を緩やかにする制御を実施して、第2の速度値U2に達したときに減少が停止されて一定になることによって、変化が急に(唐突に)頭打ちになって違和感が生じることを抑制している。これによって、虚像の視認性をさらに改善することができる。
【0126】
次に、図11を参照する。図11は、視点ロストに対応したワーピング画像補正制御の手順例(第1の制御例:図6図7に対応する)を示すフローチャートである。視点位置を監視し(ステップS1)、視点喪失(視点ロスト)の有無を判定する(ステップS2)。
【0127】
ステップS2でNのときは、ステップS1に戻る。Yのときは、視点喪失直前のワーピングパラメータを維持する(ステップS3)。続いて、視点喪失後に視点位置を再検出したか否かを判定する(ステップS4)。Nのときは、ステップS3に戻り、YのときはステップS5に移行する。
【0128】
ステップS5では、再検出後の視点位置に対応したワーピングパラメータへの更新(切り替え)の遅延処理(無効化処理)を実施し、これによって、再検出後の視点位置対応のパラメータを用いた、少なくとも1回のワーピング処理を無効化する。このとき、パラメータ更新周期を長くするパラメータ更新周期変更処理(図7(D)の処理)を併用してもよい。
【0129】
ステップS6にて、所定時間(無効化期間)Taが経過したか否かを判定する。Nのときは、ステップS5に戻り、Yのときは、ステップS7に移行する。
【0130】
ステップS7では、再検出後の視点位置に対応したワーピングパラメータへの更新(切り替え)を実施する。無効化期間は原則的に、このときに終了する(但し、図7(B)の特性線Tk1、Tk2の制御が実施されるときは、実質的な無効化期間は、パラメータが完全に切り替わるタイミングまで延長されるとして制御部を設計することも可能である)。ここで、ステップS5にてパラメータ更新周期が変更されていないときは、ステップS7での処理が終了し、ステップS8に移行する。
【0131】
また、ステップS5にてパラメータ更新周期が変更されていたときには、ステップS7では、パラメータ更新周期を元に戻す処理も併せて行われる。戻す方法としては、図7(B)で示した3つの方法(以下の(1)~(3)の何れか)が考えられる。
(1)パラメータ更新周期を、パラメータの切り替えのタイミングで(言い換えれば、パラメータの切り替えに同期して)元に戻す(図7(B)の実線で示される処理)。
(2)パラメータ更新周期をパラメータの切り替え後も一時的に維持し、その後に元に戻す(図7(B)の特性線Tk1による処理)。
(3)パラメータ更新周期の値を、時間経過と共に変化させながら元に戻す(図7(B)の特性線Tk2による処理)。
【0132】
続いて、ステップS8にて、画像補正を終了するか否かが判定される。Yのときは終了し、NのときはステップS1に戻る。
【0133】
次に、図12を参照する。図12は、視点ロストに対応したワーピング画像補正制御の手順例(第3の制御例:図8図9に対応する)を示すフローチャートである。図12では、図11の手順に加えて、図中太線にて示されるステップS4-1、S4-2が追加されている。他は、図11と同じであるため、共通する処理については説明を省略する。
【0134】
ステップS4-1では、視点喪失期間(視点ロスト期間)が、閾値よりも短いか否かが判定される。Nのときは、ステップS5に移行する。
【0135】
Yのときは、ステップS4-2にて、無効化期間(パラメータの切り替えの遅延時間)としてTe(>Ta)を採用する(図8の場合)、あるいは、Tf(<Ta)を採用する(図9の場合)。なお、ステップS6では、Te、Tfの何れかに相当する時間が経過したか否かが判定される。
【0136】
次に、図13を参照する。図13は、視点ロストに対応したワーピング画像補正制御の手順例(第3の制御例:図10に対応する)を示すフローチャートである。
【0137】
ステップS10にて、車速を検出する。ステップS11では、車両の走行状態(停止を含む)を判定する。例えば、低速、中速、高速の各状態の判別等が実施され得る。
【0138】
ステップS12にて視点が監視され、ステップS13にて視点喪失(視点ロスト)の有無が判定される。Nの場合はステップS12に戻り、Yの場合はステップS14に移行する。
【0139】
ステップS14では、先に説明した図11の制御例1、又は、図12の制御例2のようなワーピング処理が実施される。続いて、ステップS15にて、画像補正を終了するか否かが判定される。Yのときは終了し、NのときはステップS10に戻る。
【0140】
次に、図14を参照する。図14(A)は、路面重畳HUDによる表示例を示す図、図14(B)は、傾斜面HUDによる表示例を示す図、図14(C)は、HUD装置の主要部の構成例を示す図である。
【0141】
図14(A)は、表示部(図5の符号116、又は図14(C)の符号161)の画像表示面(図5の符号117、又は図14(C)の符号163)に対応する仮想的な虚像表示面PSが、車両1の前方の、路面41に重畳するように配置される、路面重畳HUDによる虚像表示例を示す。
【0142】
図14(B)は、虚像表示面PSの車両1に近い側の端部である近端部と路面41との距離が小さく、車両1から遠い側の端部である遠端部と路面41との距離が大きくなるように、虚像表示面PSが路面41に対して斜めに傾いて配置される、傾斜面HUDによる虚像表示例を示す。
【0143】
これらは、路面41に重畳される広い虚像表示面PS、又は路面41に対して傾斜して設けられる広い虚像表示面PSを用いて、例えば、車両1の前方5m~100mの範囲で、種々の表示を行うことができるものであり、HUD装置は大型化し、アイボックスEBも大型化して、従来よりも広い範囲で視点位置を高精度に検出して、適切なワーピングパラメータを用いた画像補正を行うことが好ましい。但し、視点ロストが発生すると、その高精度なワーピングパラメータの切り替え制御がかえって、視点の再検出後の画像(虚像)の視認性を低下させることもあり得る。よって、本発明の制御方式の適用が有効となる。
【0144】
次に、図14(C)を参照する。図14(C)のHUD装置107は、制御部171と、投光部151と、画像表示面163を有する表示部としてのスクリーン161と、反射鏡133と、反射面が自由曲面として設計されている曲面ミラー(凹面鏡等)131と、表示部161を駆動するアクチュエータ173と、を有する。
【0145】
図14(C)の例では、HUD装置107は、運転者の視点Aの高さ位置に応じてアイボックスEBの位置を調整するに際し、表示光をウインドシールド2に投影する光学部材である曲面ミラー131を動かさず(曲面ミラー131用のアクチュエータは設けられていない)、画像の表示光51の、光学部材131における反射位置を変更することで対応する。
【0146】
言い換えれば、運転者の目(視点A)の高さ位置に応じてアイボックスEBの高さ位置を調整する場合に、光を被投影部材2に投影する光学部材131を、例えばアクチュエータを用いて回動させるようなことをせず、その光学部材131における光の反射位置を変更することで対応する。なお、高さ方向とは、図中のY方向(路面41の垂線に沿う方向であり、路面41から離れる方向が正の方向となる)。なお、X方向は、車両1の左右方向、Z方向は車両1の前後方向(あるいは前方方向)である。
【0147】
近年のHUD装置は、例えば車両の前方のかなり広い範囲にわたって虚像を表示することを前提として開発される傾向があり、この場合、必然的に装置が大型化する。当然、光学部材131も大型化する。この光学部材131をアクチュエータ等を用いて回動等させるとその誤差によって、かえってアイボックスEBの高さ位置の制御の精度が低下することがあり、これを防止するために、光線が光学部材131の反射面で反射する位置を変更することで対応することとしたものである。
【0148】
このような大型の光学部材131では、その反射面を自由曲面として最適設計すること等によって、できるかぎり虚像の歪みが顕在化しないようにするが、しかし、上記のように、例えばアイボックスEBの周辺に運転者の視点Aが位置する場合等には、どうしても歪みが顕在化してしまう場合もある。
【0149】
よって、このようなときに、上記の再検出後の視点位置に対応したパラメータの適用を所定範囲で一時的に無効化する(遅延させる)制御を実施することで、虚像の歪みによる見え方の変化による違和感が生じにくくすることができ、上記の制御を有効に活用して、虚像の視認性を向上させることができる。
【0150】
以上説明したように、本発明によれば、運転者の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施するときに、視点喪失(視点ロスト)が生じた後のワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して運転者に違和感を生じさせることを、効果的に抑制することができる。
【0151】
本発明は、左右の各眼に同じ画像の表示光を入射させる単眼式、左右の各眼に、視差をもつ画像を入射させる視差式のいずれのHUD装置においても使用可能である。
【0152】
本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語(例えば標識等)についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、HUD装置には、シミュレータ(例えば、航空機のシミュレータ)として使用されるものも含まれるものとする。
【0153】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0154】
1・・・車両(自車両)、2・・・被投影部材(反射透光部材、ウインドシールド等)、4・・・投影領域、5・・・虚像表示領域、7・・・ステアリングホイール、51・・・表示光、100・・・HUD装置、110・・・視点検出カメラ110、112・・・光源、114・・・投光部、116・・・表示部、117・・・表示面(画像表示面)、118・・・投射光学系、120・・・視点位置検出部(視点位置判定部)、122・・・視点座標検出部、124・・・アイボックス内の部分領域検出部、130・・・操作部、131・・・曲面ミラー(凹面鏡等)、133・・・反射鏡(反射ミラー、補正鏡等を含む)、140・・・車両ECU、150・・・バス、151・・・光源部、161・・・表示部(スクリーン等)、63・・・表示面(画像表示面)、170・・・バスインターフェース、171・・・制御部、173・・・表示部を駆動するアクチュエータ、180・・・表示制御部(表示制御装置)、182・・・速度検出部、184・・・ワーピング制御部、185・・・ワーピング管理部、186・・・視点喪失(視点ロスト)検出部、187・・・ワーピングパラメータの切り替え遅延部(無効化期間設定部)、188・・・ワーピングパラメータの更新周期変更部、189・・・アイボックスの部分領域情報の一時蓄積部、192・・・メモリ制御部、194・・・ワーピング処理部、200・・・画像生成部、210・・・ROM、220・・・VRAM、212・・・画像変換テーブル、222・・・画像(原画像)データ、224・・・ワーピング処理後の画像データ、EB・・・アイボックス、Z(Z1~Z9等)・・・アイボックスの部分領域、WP・・・ワーピングパラメータ、PS・・・虚像表示面、V・・・虚像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14