(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-01
(45)【発行日】2022-08-09
(54)【発明の名称】表示装置、表示システム、移動体、表示輝度制御方法およびプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20220802BHJP
G09G 5/10 20060101ALI20220802BHJP
G02B 27/01 20060101ALI20220802BHJP
B60K 35/00 20060101ALI20220802BHJP
G02B 26/10 20060101ALN20220802BHJP
G02B 27/48 20060101ALN20220802BHJP
【FI】
G09G5/00 510A
G09G5/00 550C
G09G5/00 550B
G09G5/10 Z
G02B27/01
B60K35/00 A
G02B26/10 C
G02B26/10 105Z
G02B27/48
(21)【出願番号】P 2018069035
(22)【出願日】2018-03-30
【審査請求日】2021-01-18
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(72)【発明者】
【氏名】鈴木 涼平
(72)【発明者】
【氏名】草▲なぎ▼ 真人
(72)【発明者】
【氏名】鈴木 友規
(72)【発明者】
【氏名】藤田 和弘
【審査官】西島 篤宏
(56)【参考文献】
【文献】特開平03-227737(JP,A)
【文献】特開2011-076061(JP,A)
【文献】特開2009-086133(JP,A)
【文献】特開2004-226870(JP,A)
【文献】特開2017-142491(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00 - 5/42
G02B 27/01
B60K 35/00
G02B 26/10
G02B 27/48
(57)【特許請求の範囲】
【請求項1】
移動体の前方に観察者が視認する表示情報を表示させる表示装置であって、
前記表示情報の背景となる表示領域の少なくとも一部を含む周辺領域の輝度を示す輝度情報を、特定の周期で取得する取得手段と、
前記取得された輝度情報に基づいて、前記周辺領域の輝度変化が所定値以上であることを検出する検出手段と、
前記取得された輝度情報に基づいて、
表示輝度を示す表示輝度情報を決定する決定手段と、を備え、
前記決定手段は、
前記所定値以上の輝度変化が検出された場合、前記所定値以上の輝度変化が検出されない場合に比べて前記表示輝度の変化が遅延するように、かつ前記表示情報の表示輝度を前記周辺領域の輝度に対応させるまでの遅延時間が、観察者に違和感を与えない許容範囲として設定された遅延許容時間以内または当該遅延許容時間より短くなるように、前記表示輝度情報を決定し、
前記決定された表示輝度情報を用いて、前記表示情報を表示させる表示装置。
【請求項2】
前記決定手段は、
表示輝度を前記周辺領域の輝度に対応させるまでの遅延時間が、遅延許容時間以内または当該遅延許容時間より短くなるように、前記周期に基づく前記輝度情報の取得回数を特定
し、
前記所定値以上の輝度変化が検出された場合、前記表示輝度が前記取得回数分だけ段階的に変化するように、前記表示輝度情報を決定する、請求項1に記載の表示装置。
【請求項3】
前記決定手段は、下記(式1)の条件を満たすように前記取得回数を特定する、請求項2に記載の表示装置。
【数1】
(上記(式1)中、nは前記取得回数を表し、tは前記周期を表し、Tは前記遅延許容時間を表す。)
【請求項4】
前記検出手段は、前記輝度変化を検出した場合、前記検出した輝度変化の状態を判定し、
前記決定手段は、前記判定された状態に対応する前記遅延許容時間に基づいて、前記表示輝度情報を決定する、請求項1乃至3のいずれか一項に記載の表示装置。
【請求項5】
請求項1乃至4のいずれか一項に記載の表示装置であって、更に、
光を発散する光学素子と、
光源から射出された光によって、前記光学素子を二次元走査する走査部と、を備え、
前記光学素子から発散された発散光によって結像される虚像を表示させる、表示装置。
【請求項6】
請求項5に記載の表示装置と、
前記周辺領域の輝度を検出する検出装置と、
前記光学素子から発散された発散光を反射させる反射部材と、
前記光学素子から発散された発散光を前記反射部材に向けて投射して虚像を結像させる結像光学系と、
を備える表示システム。
【請求項7】
請求項6に記載の表示システムを備え、
前記反射部材は、フロントガラスである移動体。
【請求項8】
移動体の前方に観察者が視認する表示情報を表示させる表示装置が実行する表示輝度制御方法であって、
前記表示情報の背景となる表示領域の少なくとも一部を含む周辺領域の輝度を示す輝度情報を、特定の周期で取得する取得ステップと、
前記取得された輝度情報に基づいて、前記周辺領域の輝度変化が所定値以上であることを検出する検出ステップと、
前記取得された輝度情報に基づいて、
表示輝度を示す表示輝度情報を決定する決定ステップと、
前記決定された表示輝度情報を用いて、前記表示情報を表示させる表示ステップと、を実行し、
前記決定ステップは、
前記所定値以上の輝度変化が検出された場合、前記所定値以上の輝度変化が検出されない場合に比べて前記表示輝度の変化が遅延するように、かつ前記表示情報の表示輝度を前記周辺領域の輝度に対応させるまでの遅延時間が、観察者に違和感を与えない許容範囲として設定された遅延許容時間以内または当該遅延許容時間より短くなるように、前記表示輝度情報を決定する表示輝度制御方法。
【請求項9】
コンピュータに、請求項8に記載の表示輝度制御方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示システム、移動体、表示輝度制御方法およびプログラムに関する。
【背景技術】
【0002】
車両等の移動体において、少ない視線移動で運転者(観察者)に各種情報(車両情報、警告情報、ナビゲーション情報等)を視認させるアプリケーションとして、HUD(ヘッドアップディスプレイ)等の表示装置が利用されている。車両に搭載される表示装置において、車両周囲の輝度に応じて、運転者が視認しやすいように、表示の輝度を制御する技術が知られている。
【0003】
一方で、表示の輝度を車両周囲の輝度の変化に追従させた場合、周囲の輝度の急激な変化による表示のちらつき等が発生して、運転者にとって表示の視認性が損なわれることが考えられる。そこで、車両周囲の輝度の急激な変化による表示のちらつきを低減させることにより、運転者の表示の視認性を高める技術が知られている。
【0004】
例えば、特許文献1は、表示輝度の調整の応答性を低下させることなく表示輝度の変更による表示のちらつきを低減するため、今回の照度値と前回判定時の照度値との差の絶対値が所定の閾値未満である場合は照度変化がないと判定し、今回の照度値と前回判定時の照度値との差の絶対値が前記閾値以上である場合は照度変化があると判定し、所定の第一の回数連続して照度変化があると判定される場合に、今回の照度値に応じて発光表示器の表示輝度を調整する内容を開示している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の方法では、表示輝度の応答性を落とさないことを目的としているため、背景輝度の急激な変化(例えば、太陽光が入り込んだ場合等)が発生した場合には、表示輝度も急激に変化するため、観察者にとって望ましくない輝度変化となり、表示情報の視認性が低下してしまうという課題があった。
【課題を解決するための手段】
【0006】
本発明に係る表示装置は、移動体の前方に観察者が視認する表示情報を表示させる表示装置であって、前記表示情報の背景となる表示領域の少なくとも一部を含む周辺領域の輝度を示す輝度情報を、特定の周期で取得する取得手段と、前記取得された輝度情報に基づいて、前記周辺領域の輝度変化が所定値以上であることを検出する検出手段と、前記取得された輝度情報に基づいて、表示輝度を示す表示輝度情報を決定する決定手段と、を備え、前記決定手段は、前記所定値以上の輝度変化が検出された場合、前記所定値以上の輝度変化が検出されない場合に比べて前記表示輝度の変化が遅延するように、かつ前記表示情報の表示輝度を前記周辺領域の輝度に対応させるまでの遅延時間が、観察者に違和感を与えない許容範囲として設定された遅延許容時間以内または当該遅延許容時間より短くなるように、前記表示輝度情報を決定し、前記決定された表示輝度情報を用いて、前記表示情報を表示させる。
【発明の効果】
【0007】
本発明によれば、背景の急激な輝度変化に対して、観察者にとって望ましくない表示輝度の変化を抑制することで、表示情報の視認性を向上させることができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係る表示システムのシステム構成の一例を示す図である。
【
図2】実施形態に係る光源装置の具体的構成の一例を示す図である。
【
図3】実施形態に係る光偏向装置の具体的構成の一例を示す図である。
【
図4】実施形態に係るスクリーンの具体的構成の一例を示す図である。
【
図5】マイクロレンズアレイにおいて、入射光束径とレンズ径の大小関係の違いによる作用の違いについて説明するための図である。
【
図6】光偏向装置のミラーと走査範囲の対応関係について説明するための図である。
【
図7】2次元走査時の走査線軌跡の一例を示す図である。
【
図8】第1の実施形態に係る表示システムの概略を説明するための図である。
【
図9】第1の実施形態に係る表示システムにおける輝度検出領域の概略を説明するための図である。
【
図10】第1の実施形態に係る表示システムにおける輝度検出領域と表示背景領域との関係の一例を説明するための図である。
【
図11】第1の実施形態に係る表示装置における表示輝度情報の決定処理の一例を概略的に説明するための図である。
【
図12】第1の実施形態に係る表示装置のハードウエア構成の一例を示す図である。
【
図13】第1の実施形態に係る表示装置の機能構成の一例を示す図である。
【
図14】第1の実施形態に係る表示輝度制御部の詳細な機能構成の一例を示す図である。
【
図15】第1の実施形態に係る輝度情報管理テーブルの一例を示す図である。
【
図16】第1の実施形態に係る遅延許容時間情報の一例を示す図である。
【
図17】第1の実施形態に係る表示装置のおける表示輝度の制御処理の一例を示すフローチャートである。
【
図18】観察者の視界における急激な輝度変化の影響の具体例(その1)を説明するための図である。
【
図19】観察者の視界における急激な輝度変化の影響の具体例(その2)を説明するための図である。
【
図20】第1の実施形態に係る表示システムにおける遅延許容時間について説明するための図である。
【
図21】第1の実施形態に係る表示システムにおける遅延許容時間を説明するための図である。
【
図22】第1の実施形態の変形例に係る輝度検出領域と表示背景領域との関係の一例を説明するための図である。
【
図23】第2の実施形態に係る表示装置における表示輝度の制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【0010】
●実施形態●
●システム構成
図1は、実施形態に係る表示システムのシステム構成の一例を示す図である。
図1に示す表示システム1は、表示装置10から投射される投射光を、透過反射部材に投射させることによって観察者3に表示情報を視認させるシステムである。表示情報は、観察者3の視界に虚像45として重畳して表示させる画像情報である。
【0011】
表示システム1は、例えば、車両、航空機もしくは船舶等の移動体、または操縦シミュレーションシステムもしくはホームシアターシステム等の非移動体に備えられる。本実施形態は、表示システム1が、移動体の一例である自動車に備えられた場合について説明する。なお、表示システム1の使用形態は、これに限られるものではない。
【0012】
表示システム1は、例えば、フロントガラス50を介して車両の操縦に必要なナビゲーション情報(例えば車両の速度、進路情報、目的地までの距離、現在地名称、車両前方における物体(対象物)の有無や位置、制限速度等の標識、渋滞情報等の情報等)を、観察者3(操縦者)に視認させる。この場合、フロントガラス50は、入射された光の一部を透過させ、残部の少なくとも一部を反射させる透過反射部材として機能する。観察者3の視点位置からフロントガラス50までの距離は、数十cm~1m程度である。
【0013】
表示システム1は、表示装置10、自由曲面ミラー30およびフロントガラス50を備える。表示装置10は、例えば、移動体の一例である自動車に搭載されたヘッドアップディスプレイ装置(HUD装置)である。表示装置10は、自動車のインテリアデザインに準拠して任意の位置に配置される。表示装置10は、例えば、自動車のダッシュボードの下方に配置されてもよく、ダッシュボード内に埋め込まれていてもよい。
【0014】
表示装置10は、光源装置11、光偏向装置13、スクリーン15を備える。光源装置11は、光源から出射されたレーザ光を、装置外部へ照射するデバイスである。光源装置11は、例えば、R、G、Bの3色のレーザ光を合成したレーザ光を照射してもよい。光源装置11から射出されたレーザ光は、光偏向装置13の反射面に導かれる。光源装置11は、光源として、LD(Laser Diode)等の半導体発光素子を有する。なお、光源は、これに限られず、LED(light emitting diode)等の半導体発光素子を有してもよい。
【0015】
光偏向装置13は、MEMS(Micro Electro Mechanical Systems)等を利用してレーザ光の進行方向を変化させるデバイスである。光偏向装置13は、例えば、直交する2軸に対して揺動する単一の微小なMEMSミラー、または1軸に対して揺動もしくは回転する2つのMEMSミラーからなるミラー系等の走査手段を利用して構成される。光偏向装置13から射出したレーザ光は、スクリーン15に走査される。なお、光偏向装置13は、MEMSミラーに限られず、ポリゴンミラー等を用いて構成されてもよい。
【0016】
スクリーン15は、レーザ光を所定の発散角で発散させる機能を有する発散部材である。スクリーン15は、例えば、EPE(Exit Pupil Expander)の形態として、マイクロレンズアレイ(MLA)または拡散板等の光拡散効果を持つ透過型の光学素子によって構成される。なお、スクリーン15は、マイクロミラーアレイ等の光拡散効果を持つ反射型の光学素子によって構成されてもよい。スクリーン15は、光偏向装置13から射出されたレーザ光がスクリーン15上に走査されることによって、スクリーン15上に二次元像である中間像40を形成する。
【0017】
ここで、表示装置10の投射方式は、液晶パネル、DMDパネル(デジタルミラーデバイスパネル)または蛍光表示管(VFD)等イメージングデバイスで中間像40を形成する「パネル方式」と、光源装置11から射出されたレーザ光を走査手段で走査して中間像40を形成する「レーザ走査方式」がある。
【0018】
実施形態に係る表示装置10は、後者の「レーザ走査方式」を採用する。「レーザ走査方式」は、各画素に対して発光または非発光を割り当てることができるため、一般に高コントラストの画像を形成することができる。なお、表示装置10は、投射方式として「パネル方式」を用いてもよい。
【0019】
スクリーン15から射出されたレーザ光(光束)によって、自由曲面ミラー30およびフロントガラス50に投射された虚像45は、中間像40から拡大されて表示される。自由曲面ミラー30は、フロントガラス50の湾曲形状による画像の傾き、歪、位置ずれ等を相殺するように設計および配置されている。自由曲面ミラー30は、所定の回転軸を中心として回転可能に設置されてもよい。これにより、自由曲面ミラー30は、スクリーン15から射出したレーザ光(光束)の反射方向を調整し、虚像45の表示位置を変化させることができる。
【0020】
ここでは、自由曲面ミラー30は、虚像45の結像位置が所望の位置になるように、一定の集光パワーを有するように既存の光学設計シミュレーションソフトを用いて設計されている。表示装置10は、虚像45が観察者3の視点位置から例えば1m以上かつ30m以下(好ましくは10m以下)の位置(奥行位置)に表示されるように、自由曲面ミラー30の集光パワーが設定される。なお、自由曲面ミラー30は、凹面ミラーやその他集光パワーを有する素子であってもよい。自由曲面ミラー30は、結像光学系の一例である。
【0021】
フロントガラス50は、レーザ光(光束)の一部を透過させ、残部の少なくとも一部を反射させる機能(部分反射機能)を有する透過反射部材である。フロントガラス50は、観察者3に前方の景色および虚像45を視認させる半透過鏡として機能する。虚像45は、例えば、車両情報(速度、走行距離等)、ナビゲーション情報(経路案内、交通情報等)、警告情報(衝突警報等)等を観察者3に視認させるための画像情報である。なお、透過反射部材は、フロントガラス50とは別途設けられたフロントウインドシールド等であってもよい。フロントガラス50は、反射部材の一例である。
【0022】
虚像45は、フロントガラス50の前方の景色と重畳するように表示されてもよい。また、フロントガラス50は、平面でなく、湾曲している。そのため、虚像45の結像位置は、自由曲面ミラー30とフロントガラス50の曲面によって決定される。なお、フロントガラス50は、部分反射機能を有する個別の透過反射部材としての半透過鏡(コンバイナ)を利用してもよい。
【0023】
このような構成により、スクリーン15から射出されたレーザ光(光束)は、自由曲面ミラー30に向けて投射され、フロントガラス50によって反射される。観察者3は、フロントガラス50で反射された光によって、スクリーン15に形成された中間像40が拡大された虚像45を視認することができるようになる。
【0024】
●光源装置
図2は、実施形態に係る光源装置の具体的構成に一例を示す図である。光源装置11は、光源素子111R,111G,111B(以下、区別する必要のないときは、光源素子111とする。)、カップリングレンズ112R,112G,112B、アパーチャ113R,113G,113B、合成素子114,115,116、およびレンズ117を含む。
【0025】
3色(R,G,B)の光源素子111R,111G,111Bは、例えば、それぞれ単数または複数の発光点を有するLD(Laser Diode)である。光源素子111R,111G,111Bは、互いに異なる波長λR,λG,λB(例えばλR=640nm,λG=530nm,λB=445nm)のレーザ光(光束)を放射する。
【0026】
放射された各レーザ光(光束)は、それぞれカップリングレンズ112R,112G,112Bによりカップリングされる。カップリングされた各レーザ(光束)は、それぞれアパーチャ113R,113G,113Bにより整形される。アパーチャ113R,113G,113Bは、レーザ光(光束)の発散角等の所定の条件に応じた形状(例えば円形、楕円形、長方形、正方形等)を有する。
【0027】
アパーチャ113R,113G,113Bにより整形された各レーザ光(光束)は、3つの合成素子114,115,116により合成される。合成素子114,115,116は、プレート状またはプリズム状のダイクロイックミラーであり、波長に応じてレーザ光(光束)を反射または透過し、1つの光束に合成する。合成された光束は、レンズ117を通り、光偏向装置13に導かれる。
【0028】
●光偏向装置
図3は、実施形態に係る光偏向装置の具体的構成の一例を示す図である。光偏向装置13は、半導体プロセスにより製造されるMEMSミラーであり、ミラー130、蛇行状梁部132、枠部材134、および圧電部材136を含む。光偏向装置13は、走査部の一例である。
【0029】
ミラー130は、光源装置11から射出されたレーザ光をスクリーン15側に反射する反射面を有する。光偏向装置13は、ミラー130を挟んで一対の蛇行状梁部132を形成する。蛇行状梁部132は、複数の折り返し部を有する。折り返し部は、交互に配置される第1の梁部132aと第2の梁部132bとから構成されている。蛇行状梁部132は、枠部材134に支持されている。圧電部材136は、隣接する第1の梁部132aと第2の梁部132bとを接続するように配置されている。圧電部材136は、第1の梁部132aと第2の梁部132bとに異なる電圧を印加し、梁部132a,132bのそれぞれに反りを発生させる。
【0030】
これにより、隣接する梁部132a,132bは、異なる方向に撓む。ミラー130は、撓みが累積されることによって、左右方向の軸を中心として垂直方向に回転する。このような構成により、光偏向装置13は、垂直方向への光走査が低電圧で可能となる。上下方向の軸を中心とした水平方向の光走査は、ミラー130に接続されたトーションバー等を利用した共振により行われる。
【0031】
●スクリーン
図4は、実施形態に係るスクリーンの具体的構成の一例を示す図である。スクリーン15は、光源装置11の一部を構成するLD1007から射出されたレーザ光を結像させる。また、スクリーン15は、所定の発散角で発散させる発散部材である。スクリーン15は、光学素子の一例である。
【0032】
図4に示すスクリーン15は、六角形形状を有する複数のマイクロレンズ150が隙間なく配列されたマイクロレンズアレイ構造を有している。マイクロレンズ150の幅(対向する2辺間の距離)は、200μm程度である。スクリーン15は、マイクロレンズ150の形状を六角形とすることにより、複数のマイクロレンズ150を高密度で配列することができる。
【0033】
なお、マイクロレンズ150の形状は、六角形に限られるものではなく、例えば四角形、三角形等であってもよい。また、複数のマイクロレンズ150が規則正しく配列された構造を例示しているが、マイクロレンズ150の配列は、これに限られるものではなく、例えば、各マイクロレンズ150の中心を互いに偏心させ、不規則な配列としてもよい。このように偏心させた配列を採用する場合、各マイクロレンズ150は、互いに異なる形状となる。
【0034】
図5は、マイクロレンズアレイにおいて、入射光束径とレンズ径の大小関係の違いによる作用の違いについて説明するための図である。
図5(a)において、スクリーン15は、マイクロレンズ150が整列して配置された光学板151によって構成される。光学板151上に入射光152を走査される場合、入射光152は、マイクロレンズ150により発散され、発散光153となる。スクリーン15は、マイクロレンズ150の構造により、入射光152を所望の発散角154で発散させることができる。マイクロレンズ150の周期155は、入射光152の径156aよりも大きくなるように設計される。これにより、スクリーン15は、レンズ間での干渉が起こさずに、干渉ノイズの発生を抑制する。
【0035】
図5(b)は、入射光152の径156bが、マイクロレンズ150の周期155の2倍大きい場合の発散光の光路を示す。入射光152は、二つのマイクロレンズ150a、150bに入射し、それぞれ発散光157、158を生じさせる。このとき、領域159において、二つの発散光が存在するため、光の干渉を生じうる。この干渉光が観察者の目に入った場合、干渉ノイズとして視認される。
【0036】
以上を考慮して、スペックルを低減するため、マイクロレンズ150の周期155は、入射光の径156よりも大きく設計される。なお、
図5は、凸面レンズの形態で説明したが、凹面レンズの形態においても同様の効果があるものとする。
【0037】
図6は、光偏向装置のミラーと走査範囲の対応関係について説明するための図である。光源装置11の各光源素子は、FPGA1001によって発光強度や点灯タイミング、光波形が制御される。光源装置11の各光源素子は、LDドライバ1008によって駆動され、レーザ光を射出する。各光源素子から射出され光路合成されたレーザ光は、
図6に示すように、光偏向装置13のミラー130によってα軸周り、β軸周りに二次元的に偏向され、ミラー130を介して走査光としてスクリーン15に照射される。すなわち、スクリーン15は、光偏向装置13による主走査および副走査によって二次元走査される。
【0038】
走査範囲は、光偏向装置13によって走査しうる全範囲である。走査光は、スクリーン15の走査範囲を、2~4万Hz程度の速い周波数で主走査方向(X軸方向)に振動走査(往復走査)しつつ、数十Hz程度の遅い周波数で副走査方向(Y軸方向)に片道走査する。すなわち、光偏向装置13は、スクリーン15に対してラスタースキャンを行う。この場合、表示装置10は、走査位置(走査光の位置)に応じて各光源素子の発光制御を行うことで、画素ごとの描画または虚像の表示を行うことができる。
【0039】
一画面を描画する時間、すなわち1フレーム分の走査時間(二次元走査の1周期)は、
上記のように副走査周期が数十Hzであることから、数十msecとなる。例えば、主走査周期を20000Hz、副走査周期を50Hzとした場合、1フレーム分の走査時間は、20msecとなる。
【0040】
図7は、二次元走査時の走査線軌跡の一例を示す図である。スクリーン15は、
図7に示すように、中間像40が描画される(画像データに応じて変調された光が照射される)画像領域61(有効走査領域)と、画像領域61を取り囲むフレーム領域62を含む。
【0041】
走査範囲は、スクリーン15における画像領域61とフレーム領域62の一部(画像領域61の外縁近傍の部分)を併せた範囲とする。
図7において、走査範囲における走査線の軌跡は、ジグザグ線によって示される。
図7において、走査線の本数は、便宜上、実際よりも少なくしている。
【0042】
スクリーン15は、上述のように、マイクロレンズアレイ等の光拡散効果を持つ透過型の光学素子で構成されている。画像領域61は、矩形または平面である必要はなく、多角形または曲面であってもよい。また、スクリーン15は、光拡散効果を持たない平板または曲板であってもよい。さらに、画像領域61は、装置レイアウトに応じて、例えば、マイクロミラーアレイ等の光拡散効果を持つ反射型の素子とすることもできる。
【0043】
スクリーン15は、走査範囲における画像領域61の周辺領域(フレーム領域62の一部)に、受光素子を含む同期検知系60が備える。
図7において、同期検知系60は、画像領域61の-X側かつ+Y側の隅部に配置される。同期検知系60は、光偏向装置13の動作を検出して、走査開始タイミングや走査終了タイミングを決定するための同期信号をFPGA1001に出力する。
【0044】
●第1の実施形態●
●概要
続いて、
図8乃至
図21を用いて、第1の実施形態に係る表示システム1Aの構成について説明する。まず、
図8乃至
図11を用いて、第1の実施形態に係る表示システム1Aの概要を説明する。
【0045】
図8は、第1の実施形態に係る表示システムの概略を説明するための図である。
図8に示す表示システム1Aは、急激な背景輝度の変化に対して、観察者3にとって望ましくない表示輝度の変化を抑制することで、表示情報(虚像45)の視認性を向上させることができるシステムである。
【0046】
表示システム1Aは、
図1に示した表示システム1の構成に加え、輝度センサ70を備える。輝度センサ70は、表示システム1を構成する車両の前方の路面の輝度(照度)を検出するために設けられたセンシングデバイスである。
図8に示すように、輝度センサ70は、例えば、自動車のフロントガラス50の上部に設置されている。
【0047】
輝度センサ70は、単一の光電変換素子等であってもよいし、2次元アレイセンサであってもよいし、車載カメラのような撮像素子であってもよい。輝度センサ70は、
図9に示すように、車両前方の路面を含む領域(輝度検出領域300)の輝度(照度)を検出可能な位置に設置される。
【0048】
なお、輝度センサ70の設置位置は、
図8に示した例に限られず、例えば、自動車のダッシュボード上に設置されてもよい。また、輝度センサ70は、自動車のオートライト機能を実現するために設けられた照度センサや、雨滴に反応して自動車のワイパーを作動させるために設けられたレインセンサによって代用されてもよい。さらに、本実施形態は、輝度センサ70が表示装置10Aと別体に設けられている例を説明するが、輝度センサ70は、表示装置10Aに内蔵されていてもよい。
【0049】
図10は、第1の実施形態に係る表示システムにおける輝度検出領域と表示背景領域との関係の一例を説明するための図である。
図10に示す画像は、自動車の運転者(観察者3)が、フロントガラス50を介して視認する自動車前方の風景画像である。
図10は、観察者3によって視認される風景画像上における輝度検出領域300と表示背景領域350との関係を示す。
【0050】
表示背景領域350は、表示装置10Aから出力される表示情報(虚像45)を、風景画像(背景画像)に重畳して表示させる領域である。すなわち、自動車の運転者(観察者3)は、表示背景領域350の領域内において、虚像45を視認することができる。表示背景領域350は、表示装置10Aによって表示される表示情報および表示情報の背景画像となる車両前方の路面を含む。なお、表示情報の背景画像は、路面に限られず、車両前方に位置する建造物の外壁、標識、空等の車両周辺の風景であってもよい。
【0051】
輝度検出領域300は、表示背景領域350並びにその周囲の路面、建造物の外壁、標識もしくは空等の風景を含む。ここで、輝度検出領域300は、少なくとも表示装置10Aによって表示される表示情報を観察者3が視認する空間の空間断面を含む領域である。
【0052】
表示装置10Aは、表示装置10Aが搭載された自動車の周囲の輝度をサンプリングすることで、表示情報を重畳させる領域である表示背景領域350の輝度変化を監視する。輝度検出領域300は、周辺領域の一例である。また、表示背景領域350は、表示領域の一例である。
【0053】
図10に示す輝度検出領域300は、表示背景領域350を内包している。また、輝度検出領域300の領域内には、表示背景領域350の領域外の領域が存在する。この表示背景領域350の領域外の領域は、表示情報を重畳させる領域ではないため、本来は輝度変化のサンプリング対象としたくない領域である。
【0054】
ここで、例えば、輝度検出領域300の領域内であるが表示背景領域350の領域外である領域において、前方車両の方向指示器の点滅等による比較的短い周期での輝度の変化(以下、周期的ノイズと称する)が発生する場合が考えられる。この場合、輝度検出領域300で検出された輝度データに基づいて表示情報の表示輝度を決定した場合、表示背景領域350の領域内における背景輝度は一定であるにも関わらず、表示情報(虚像45)の表示輝度は変化してしまう。このような表示背景領域350の背景輝度の変化にそぐわない表示輝度の変化は、観察者3に違和感を与え、結果として表示情報の視認性を損なう要因となる。
【0055】
そこで、第1の実施形態に係る表示システム1Aは、輝度検出領域300で検出された輝度の周期的ノイズに対して、表示情報の表示輝度をあえて追随させないことで、観察者3にとって不快な輝度変化を低減させ、表示情報の視認性を向上させることができる。
【0056】
図11は、第1の実施形態に係る表示装置における表示輝度情報の決定処理の一例を概略的に説明するための図である。
図11は、表示装置10Aが搭載された車両前方の背景輝度の変化(
図11に示す実線)、輝度センサ70によってサンプリングされた輝度データ(
図11に示す●)、および表示装置10Aによって決定された表示情報の表示輝度を示す表示輝度情報500(
図11に示す△)の情報を示す。
【0057】
図11に示すように、車両前方の背景輝度は、最初は低い輝度値(IL)であるが、途中で高い輝度値(IH)に急激に変化する。表示装置10Aは、例えば、車両前方に対向車両のヘッドライトや太陽光等の比較的大きい輝度の光が入り込んだ場合、
図11に示すような背景輝度の急激な変化を検出する。
【0058】
また、輝度センサ70は、輝度検出領域300の領域内の輝度を示す輝度データを、所定のサンプリング周期でサンプリングする。
図11に示す例において、輝度センサ70は、所定のサンプリング周期(サンプリング時間t)で、輝度データのサンプリング(S1~S10)を行う。
【0059】
輝度センサ70によってサンプリングされた輝度データに対して、タイムラグなく表示輝度を追随させて変化させた場合、
図11に示すS4~S6のような急激な輝度変化に対しても表示輝度が追随されることになる。そのため、観察者3に表示に対する違和感を与え、表示情報の視認性が悪化してしまう。一方で、背景輝度の変化に対して表示輝度を追随させる時間が長くなった場合においても、観察者3は、表示に対する遅れを感じるようになり、表示情報の視認性が悪くなる。
【0060】
そこで、表示装置10Aは、背景輝度の急激な変化に表示輝度を追随させつつ、背景輝度の変化に対して程よい遅延を持たせることで、観察者3に与える違和感を低減させつつ、表示輝度を変化させる。
【0061】
図11に示すように、表示装置10Aは、サンプリングされた輝度データを用いて、表示輝度情報500を決定する。表示装置10Aは、例えば、サンプリングされた輝度データの平均値を用いて、表示輝度情報500を決定する。この場合、表示装置10Aは、平均値を算出するために用いる輝度データを、少なくとも1つ以上、段階的に変化させる。例えば、
図11に示すサンプリング番号S4のサンプリング時に決定される表示輝度情報500は、サンプリング番号S1~S4の輝度データの平均値となる。一方で、
図11に示すサンプリング番号S5のサンプリング時に決定される表示輝度情報500は、サンプリング番号S2~S5の輝度データの平均値となる。そして、
図11に示すサンプリング番号S9のサンプリング時に決定される表示輝度情報500は、サンプリング番号S6~S9の輝度データの平均値となる。このサンプリング番号S9のサンプリング時に決定される表示輝度情報500は、背景輝度IHの輝度値と同様の値になる。
【0062】
このように、表示装置10Aは、輝度センサ70によってサンプリングされた輝度データの平均値を用いて、表示輝度情報500を決定する。そのため、表示装置10Aは、背景輝度の変化に対して、表示輝度の変化を平滑化させることで、表示輝度の変化に対して観察者3に与える違和感を低減させることができる。
【0063】
また、表示装置10Aは、急激に変化した背景輝度の輝度値(IH)に、表示輝度を追随させるまでの時間を、遅延許容時間T以内に設定する。遅延許容時間Tは、表示輝度を背景輝度に追随させるまでの遅延時間の、観察者3に違和感を与えない許容範囲として設定された時間である。表示装置10Aは、遅延許容時間Tを示す遅延許容時間情報90を、予め設定値として記憶している。ここで、輝度データのサンプリング時間(サンプリング周期)t、遅延考慮処理回数nとした場合、表示装置10Aは、以下式1の条件を満たすように遅延考慮処理回数nを特定する。なお、サンプリング時間tは、一定値として、予め設定されているものとする。
【0064】
【0065】
ここで、遅延考慮処理回数nは、遅延許容時間T以内の遅延時間を設けて、表示輝度を背景輝度に追随させる遅延考慮処理を行う回数を示す。遅延考慮処理回数nは、例えば、輝度センサ70によって輝度データがサンプリングされる回数(サンプリング回数)と同じであってもよい。この場合、表示装置10Aは、上記式1の条件を満たすように、輝度データのサンプリング時間(サンプリング周期)tに対応するサンプリング回数を特定する。なお、遅延考慮処理回数nは、輝度データのサンプリング回数より少ない回数であってもよい。
【0066】
上記式1に示すように、表示装置10Aは、T/t以下となる遅延考慮処理回数nを特定する。具体的には、例えば、遅延許容時間T=1400msec、サンプリング時間t=250msecである場合、T/t=5.6となるため、表示装置10Aは、遅延考慮処理回数nを5回以下に設定(特定)し、5回以下(例えば、5回分)の遅延考慮処理を行う。この場合、表示装置10Aは、例えば、5回目の遅延考慮処理において、表示輝度を背景輝度に対応する輝度値[cd/m2]になるように、表示輝度情報500を決定する。
【0067】
このように、表示装置10Aは、背景輝度の急激な変化に表示輝度を追随させつつ、背景輝度の変化に対して遅延許容時間T以内の時間、表示輝度の変化を遅延させる。そのため、表示装置10Aは、急激な背景輝度の変化に対して、観察者3にとって望ましくない表示輝度の変化を抑制することで、表示情報の視認性を向上させることができる。
【0068】
●ハードウエア構成
図12は、第1の実施形態に係る表示装置のハードウエア構成の一例を示す図である。なお、
図11に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
【0069】
表示装置10Aは、表示装置10Aの動作を制御するための制御装置17を有する。制御装置17は、表示装置10Aの内部に実装された基板またICチップ等のコントローラである。制御装置17は、FPGA(Field-Programmable Gate Array)1001、CPU(Central Processing Unit)1002、ROM(Read Only Memory)1003、RAM(Random Access Memory)1004、I/F(Interface)1005、バスライン1006、LDドライバ1008、MEMSコントローラ1010およびモータドライバ1012を含む。
【0070】
FPGA1001は、表示装置10Aの設計者による設定変更が可能な集積回路である。LDドライバ1008、MEMSコントローラ1010、およびモータドライバ1012は、FPGA1001からの制御信号に応じて駆動信号を生成する。CPU1002は、表示装置10A全体を制御するための処理を行う集積回路である。ROM1003は、CPU1002を制御するプログラムを記憶する記憶装置である。表示装置10Aは、例えば、本発明に係るプログラムをCPU1002が実行することによって、本発明に係る表示輝度制御方法を実現する。RAM1004は、CPU1002のワークエリアとして機能する記憶装置である。
【0071】
I/F1005は、外部装置と通信するためのインターフェースである。I/F1005は、例えば、自動車のCAN(Controller Area Network)等に接続される。また、I/F1005は、輝度センサ70に接続される。輝度センサ70は、I/F1005を経由して制御装置17へセンシングデータ(輝度データ)を送信する。
【0072】
LD1007は、例えば、光源装置11の一部を構成する半導体発光素子である。LDドライバ1008は、LD1007を駆動する駆動信号を生成する回路である。MEMS1009は、光偏向装置13の一部を構成し、走査ミラーを変位させるデバイスである。MEMSコントローラ1010は、MEMS1009を駆動する駆動信号を生成する回路である。モータ1011は、自由曲面ミラー30の回転軸を回転させる電動機である。モータドライバ1012は、モータ1011を駆動する駆動信号を生成する回路である。
【0073】
●機能構成
図13は、第1の実施形態に係る表示装置の機能構成の一例を示す図である。表示装置10Aにより実現される機能は、車両情報受信部171、外部情報受信部172、表示輝度制御部178、画像生成部173および画像表示部174を含む。
【0074】
車両情報受信部171は、CAN等から自動車の情報(速度、走行距離等の情報)を受信する機能である。車両情報受信部171は、
図12に示したI/F1005およびCPU1002の処理、並びにROM1003に記憶されたプログラム等により実現される。
【0075】
外部情報受信部172は、外部ネットワークから自動車外部の情報(GPSからの位置情報、ナビゲーションシステムからの経路情報または交通情報等)を受信する機能である。外部情報受信部172は、
図12に示したI/F1005およびCPU1002の処理、並びにROM1003に記憶されたプログラム等により実現される。
【0076】
表示輝度制御部178は、表示装置10Aから出力される表示情報の表示輝度を制御する機能である。表示輝度制御部178は、
図12に示したI/F1005およびCPU1002の処理、並びにROM1003に記憶されたプログラム等により実現される。表示輝度制御部178の詳細な構成は、後述する。
【0077】
画像生成部173は、車両情報受信部171、外部情報受信部172および表示輝度制御部178により入力された情報に基づいて、中間像40および虚像45を表示させるための表示情報(画像情報)を生成する機能である。画像生成部173は、
図12に示したCPU1002の処理、およびROM1003に記憶されたプログラム等により実現される。
【0078】
画像表示部174は、画像生成部173により生成された表示情報に基づいて、スクリーン15に中間像40を形成し、中間像40を構成したレーザ光(光束)をフロントガラス50に向けて投射して虚像45を表示させる機能である。画像表示部174は、
図12に示したCPU1002、FPGA1001、LDドライバ1008、MEMSコントローラ1010およびモータドライバ1012の処理、並びにROM1003に記憶されたプログラム等により実現される。
【0079】
画像表示部174は、制御部175、中間像形成部176および投影部177を含む。制御部175は、中間像40を形成するために、光源装置11および光偏向装置13の動作を制御する制御信号を生成する。また、制御部175は、虚像45を所定の位置に表示させるために、自由曲面ミラー30の動作を制御する制御信号を生成する。
【0080】
中間像形成部176は、制御部175によって生成された制御信号に基づいて、スクリーン15に中間像40を形成する。投影部177は、観察者3に視認させる虚像45を形成するために、中間像40を構成したレーザ光を、透過反射部材(フロントガラス50等)に投射させる。
【0081】
続いて、表示輝度制御部178の詳細な機能構成について説明する。
図14は、第1の実施形態に係る表示輝度制御部の詳細な機能構成の一例を示す図である。表示輝度制御部178は、輝度情報取得部81、サンプリング周期管理部82、記憶・読出部83、輝度変化検出部84、表示輝度決定部85および記憶部800を含む。
【0082】
輝度情報取得部81は、輝度センサ70によって検出された輝度データを含む輝度情報450を、輝度センサ70から取得する機能である。輝度センサ70によって検出される輝度データは、輝度検出領域300の領域内における輝度値(照度値)を示すデータである。輝度情報取得部81は、輝度情報450を、特定のサンプリング周期(サンプリング時間t)で取得する。輝度情報取得部81は、取得手段の一例である。
【0083】
サンプリング周期管理部82は、輝度センサ70によって輝度データを検出するサンプリング周期を管理する機能である。サンプリング周期(サンプリング時間t)は、設計値として予め設定されている。輝度情報取得部81は、設定されたサンプリング周期に基づく検出された輝度データを含む輝度情報450を、輝度センサ70から取得する。
【0084】
サンプリング周期は、背景輝度に発生する周期的ノイズの周期よりも短いことが好ましい。背景輝度に発生する周期的ノイズの周期は、例えば、自動車の方向指示器(ウインカ)の点滅周期である。また、背景輝度に発生する周期的ノイズの周期は、路肩帯で点滅しているライトの点滅周期、自動車のワイパーの駆動周期等であってもよい。なお、周期的ノイズは、これに限られず、輝度センサ70によって検出される比較的短い周期で発生する急激な輝度の変化であればよい。輝度センサ70は、このような周期的ノイズの周期よりも短い間隔で、輝度データをサンプリングすることによって、観察者3にとって好ましくない輝度変化を検出することができる。輝度情報取得部81は、設定されたサンプリング周期に基づいて検出された輝度データを含む輝度情報450を、輝度センサ70から取得する。
【0085】
記憶・読出部83は、記憶部800に各種データを記憶させ、または記憶部800から各種データを読み出す機能である。記憶・読出部83は、輝度情報取得部81によって取得された輝度情報450を、記憶部800の輝度情報管理テーブル400に記憶させる機能である。記憶・読出部83は、記憶制御手段の一例である。また、記憶部800は、輝度情報管理テーブル400および遅延許容時間情報90を記憶している。輝度情報管理テーブル400および遅延許容時間情報90の詳細は、後述する。
【0086】
輝度変化検出部84は、背景輝度の輝度変化を検出する機能である。輝度変化検出部84は、例えば、輝度情報取得部81によって取得された輝度情報450が示す輝度値と、輝度情報管理テーブル400に記憶された輝度情報450が示す輝度値とを比較して、所定値以上の差異がある場合、背景輝度の輝度変化を検出する。また、輝度変化検出部84は、背景輝度の輝度変化を検出した場合、背景輝度が高くなったか、または背景輝度が低くなったかを判定する。なお、輝度変化を検出するための所定値は、予め設定値として表示装置10Aに記憶されている。輝度変化を検出するための所定値は、例えば、太陽光や対向車両のヘッドライト等に起因して発生する、背景輝度の急激な変化を検出可能な値に設定される。輝度変化検出部84は、検出手段の一例である。
【0087】
表示輝度決定部85は、表示装置10Aから出力される表示情報の表示輝度を決定する機能である。表示輝度決定部85は、例えば、輝度変化検出部84によって背景輝度の輝度変化が検出された場合、表示輝度を背景輝度に対応させるまでの遅延時間が、遅延許容時間T以内または遅延許容時間Tより短くなるように、表示輝度を示す表示輝度情報500を決定する。
【0088】
具体的には、表示輝度決定部85は、遅延許容時間T以内に、表示輝度が背景輝度の輝度値になるように、サンプリング周期(サンプリング時間t)に基づく輝度情報450の遅延考慮処理回数を特定する。また、表示輝度決定部85は、例えば、輝度情報管理テーブル400に記憶された輝度情報450の代表値に基づいて、表示情報(虚像45)の表示輝度を示す表示輝度情報500を決定する。輝度情報450の代表値は、輝度情報管理テーブル400に記憶された輝度情報450の値の特徴や傾向を示す尺度となる数値である。輝度情報450の代表値は、例えば、輝度情報管理テーブル400に記憶された輝度情報450の平均値または中央値等である。表示輝度決定部85は、決定手段の一例である。
【0089】
○輝度情報管理テーブル
ここで、
図15を用いて、記憶部800に記憶された輝度情報管理テーブルの詳細について説明する。
図15は、第1の実施形態に係る輝度情報管理テーブルの一例を示す図である。輝度情報管理テーブル400は、輝度情報取得部81によって取得された輝度情報450を記憶するための固定サイズを有するバッファ領域である。輝度情報管理テーブル400は、記憶領域の一例である。
【0090】
輝度情報管理テーブル400は、輝度情報取得部81によって取得された輝度情報450を、取得された時系列に沿って記憶していく。
図15に示す輝度情報管理テーブル400において、記憶・読出部83は、サンプリング番号(m)「1」の領域から順番に、取得した輝度情報450を記憶させる。
【0091】
輝度情報管理テーブル400は、有限のサイズを有するため、サンプリング番号(m)が上限まで達した場合、空き領域がなくなる。そのため、記憶・読出部83は、輝度情報管理テーブル400に空き領域がないと判断した場合、最も古い輝度情報450を削除すする。すなわち、記憶・読出部83は、輝度情報管理テーブル400のサンプリング番号(m)「1」の領域に記憶された輝度情報450を削除して、サンプリング番号(m)「2」以降の領域に記憶された輝度情報450のサンプリング番号(m)を、一つずつ繰り上げる。
【0092】
そして、記憶・読出部83は、新たに取得された輝度情報450を、サンプリング番号(m)の末尾の領域に記憶させる。例えば、輝度情報管理テーブル400のサンプリング番号(m)の上限が「4」である場合。記憶・読出部83は、サンプリング番号(m)「4」の領域に、新たに取得された輝度情報450を記憶させる。
【0093】
なお、
図15は、輝度情報管理テーブル400において、輝度情報450が輝度値[cd/m
2]を含む例を説明したが、輝度情報450は、照度値[lx(ルクス)]を含んでもよい。この場合、表示装置10Aは、輝度センサ70によって検出された輝度検出領域300の照度値[lx](照度データ)を含む輝度情報450を取得し、取得した輝度情報450を輝度情報管理テーブル400に記憶させる。
【0094】
○遅延許容時間情報
続いて、
図16を用いて、記憶部800に記憶された遅延許容時間情報90の詳細について説明する。
図16は、第1の実施形態に係る遅延許容時間情報の一例を示す図である遅延許容時間情報90は、表示輝度を背景輝度に追随させるまでの遅延時間の、観察者3に違和感を与えない許容範囲として設定された遅延許容時間Tを含む情報である。
【0095】
遅延許容時間情報90は、背景輝度の輝度変化の状態に応じて、異なる遅延許容時間Tを含む。具体的には、遅延許容時間情報90は、背景輝度の輝度値が高くなった場合(暗→明)と背景輝度の輝度値が低くなった場合(明→暗)の場合に対応させた、2つの異なる遅延許容時間Tを含む。
【0096】
例えば、背景輝度の輝度値が高くなった場合(暗→明)に対応する遅延許容時間Tは、1.7sである。一方で、背景輝度の輝度値が低くなった場合(明→暗)に対応する遅延許容時間Tは、2.0sである。
【0097】
遅延許容時間Tは、例えば、表示情報を視認する観察者3の官能評価の統計として、観察者3の80%が、表示輝度の変化に違和感がない遅延時間の範囲に設定される。表示装置10Aは、遅延許容時間情報90に含まれる遅延許容時間Tが示す時間内に、表示輝度が背景輝度に対応するように、表示輝度を変化させることで、観察者3に与える違和感を低減させつつ、表示情報の視認性を向上させることができる。
【0098】
また、表示装置10Aは、背景輝度の輝度変化の状態(暗→明、明→暗)に応じて、異なる遅延許容時間Tを用いることで、背景輝度の輝度変化の状態に応じて、表示輝度を変化させるために要する遅延時間を異ならせることができる。なお、遅延許容時間情報90に含まれる遅延許容時間Tの値は、これに限られず、表示装置10Aの設計者等によって適宜設定・変更可能である。また、遅延許容時間情報90は、背景輝度の輝度変化の状態に関わらず、一つの遅延許容時間Tのみを含んでいてもよい。
【0099】
●表示輝度の制御処理
次に、
図17を用いて、表示装置10Aにおける表示情報(虚像45)の表示輝度の制御処理について説明する。
図17は、第1の実施形態に係る表示装置のおける表示輝度の制御処理の一例を示すフローチャートである。
図17は、表示装置10Aが、表示情報の表示輝度を背景輝度に追随させるまでの遅延時間を設けた遅延考慮処理、または背景輝度の周期的ノイズの影響を低減させる平滑化処理を実行する例を説明する。
【0100】
ステップS101において、表示装置10Aの輝度情報取得部81は、輝度センサ70から輝度情報450を取得する(取得ステップの一例)。具体的には、輝度センサ70は、サンプリング周期管理部82によって予め定められたサンプリング周期によって、輝度検出領域300の輝度データを検出する。輝度データは、輝度検出領域300の領域内の輝度値[cd/m2]である。なお、輝度データは、輝度検出領域300の領域内の照度値[lx]であってもよい。そして、輝度情報取得部81は、輝度センサ70によって検出された輝度データを含む輝度情報450を、輝度センサ70から取得する。
【0101】
なお、輝度センサ70による輝度データのサンプリング周期と、輝度情報取得部81による輝度情報450の取得周期は、必ずしも同じである必要はない。この場合、例えば、輝度センサ70によって検出された輝度データを一時的に記憶するバッファを設け、輝度センサ70は、サンプリング周期ごとに検出した輝度データを、当該バッファに記憶(更新)する。そして、輝度情報取得部81は、サンプリング周期とは異なる取得周期で、バッファに記憶された輝度データを含む輝度情報450を取得する構成にしてもよい。一例として、輝度センサ70は、200msの周期で輝度データを検出し、輝度情報取得部81は、150msの周期で、バッファに記憶された輝度データを含む輝度情報450を取得する。
【0102】
ステップS102において、表示装置10Aの記憶・読出部83は、輝度情報管理テーブル400に空き領域がある場合、処理をステップS104へ移行させる。一方で、記憶・読出部83は、輝度情報管理テーブル400に空き領域がない場合、処理をステップS103へ移行させる。
【0103】
輝度情報管理テーブル400は、固定サイズを有するバッファ領域であるため、記憶された輝度情報450がサンプリング数の上限に達した場合、空き領域がない状態になる。そのため、表示装置10Aは、新たに輝度情報450を記憶するための領域を作成する必要があるため、輝度情報管理テーブル400の空き領域の有無を判定する。例えば、サンプリング数の上限が4つであった場合、
図15に示す輝度情報管理テーブル400は、サンプリング番号(m)「4」の領域まで輝度情報450が記憶されているため、空き領域がない状態である。
【0104】
ステップS103において、表示装置10Aの記憶・読出部83は、輝度情報管理テーブル400に記憶された、最も古い輝度情報450を削除する。具体的には、記憶・読出部83は、輝度情報管理テーブル400に空き領域を作成するため、
図15に示す輝度情報管理テーブル400に含まれるサンプリング番号(m)「1」の領域に記憶された輝度情報450を削除する。記憶・読出部83は、輝度情報管理テーブル400から輝度情報450を削除した場合、処理をステップS104へ移行させる。
【0105】
ステップS104において、表示装置10Aの記憶・読出部83は、輝度情報管理テーブル400に、輝度情報取得部81によって取得された輝度情報450を記憶させる。このとき、取得された輝度情報450の時系列を明確化するため、新たな輝度情報450は、輝度情報管理テーブル400の末尾に記憶される。例えば、
図15に示した輝度情報管理テーブル400において、サンプリング番号(m)「3」の領域まで輝度情報450が記憶されている場合、記憶・読出部83は、新たに取得した輝度情報450を、サンプリング番号(m)「4」の領域に記憶させる。
【0106】
ステップS105において、表示装置10Aは、遅延考慮処理が行われている場合、処理をステップS109へ移行させる。一方で、表示装置10Aは、遅延考慮処理が行われていない場合、処理をステップS106へ移行させる。
【0107】
ステップS106において、表示装置10Aの輝度変化検出部84は、輝度情報取得部81によって取得された輝度情報450が示す輝度値[cd/m2]に基づいて、背景輝度に所定値以上の輝度変化が検出した場合、処理をステップS107へ移行させる(検出ステップの一例)。具体的には、輝度変化検出部84は、輝度情報取得部81によって新たに取得された輝度情報450が示す輝度値[cd/m2]と、輝度情報管理テーブル400に記憶されている輝度情報450が示す輝度値[cd/m2]とを比較して、所定値以上の差異がある場合、所定値以上の輝度変化を検出する。なお、輝度変化を検出するための所定値は、予め設定値として表示装置10Aに記憶されている。輝度変化を検出するための所定値は、例えば、太陽光や対向車両のヘッドライト等に起因して発生する、背景輝度の急激な変化を検出可能な値に設定される。
【0108】
また、輝度変化検出部84は、背景輝度に所定値以上の輝度変化を検出した場合、検出した輝度変化の状態を判定する。例えば、輝度変化検出部84は、背景輝度の輝度値[cd/m
2]の上昇(例えば、
図11に示すILからIHへの輝度変化)、または背景輝度の輝度値[cd/m
2]の低下(例えば、
図11に示すIHからILへの輝度変化)を判定する。そして、輝度変化検出部84は、表示輝度決定部85へ、判定結果を出力する。
【0109】
ステップS107において、表示装置10Aの表示輝度決定部85は、記憶部800に記憶された遅延許容時間情報90を読み出す。具体的には、表示輝度決定部85は、輝度変化検出部84の判定結果である輝度変化の状態に対応する遅延許容時間Tを読み出す。輝度変化検出部84によって背景輝度の輝度値が上昇したと判定された場合、表示輝度決定部85は、例えば、
図16に示す輝度変化「暗→明」に対応する遅延許容時間Tを読み出す。
【0110】
ステップS108において、表示装置10Aの表示輝度決定部85は、読み出した遅延許容時間Tに基づいて、遅延考慮処理を行う回数を特定する。遅延考慮処理回数は、遅延許容時間T以内の遅延時間を設けて、表示輝度を背景輝度に追随させる遅延考慮処理を行う回数を示す。遅延考慮処理回数は、例えば、輝度センサ70によって輝度データがサンプリングされる回数(サンプリング回数)と同じであってもよい。この場合、表示装置10Aは、読み出した遅延許容時間Tに基づいて、輝度データのサンプリング回数を特定する。表示輝度決定部85は、サンプリング時間(サンプリング周期)t、遅延考慮処理回数nとした場合、以下式1の条件を満たすように、遅延考慮処理回数nを特定する。
【0111】
【0112】
例えば、T=1400ms、サンプリング時間t=250msである場合、T/t=5.6となる。この場合、表示装置10Aは、遅延考慮処理回数nを5回以下に特定する。これによって、表示輝度を背景輝度の輝度値[cd/m2]に追随させるまでの時間(遅延時間)は、遅延許容時間Tの時間内に収められる。なお、上記で説明したように、輝度センサ70による輝度データのサンプリング周期と、輝度情報取得部81による輝度情報450の取得周期が異なる場合、サンプリング時間tは、輝度情報取得部81による輝度情報450の取得周期の間隔(時間)であってもよい。
【0113】
ここで、表示装置10Aは、輝度センサ70によって検出された輝度データを、表示情報の表示輝度に反映させるまで、所定の処理時間dを要する場合がある。処置時間dは、輝度センサ70によって検出された輝度データを、輝度情報取得部81によって輝度情報450として取得されるまでの時間(輝度センサ70と表示装置10Aの通信時間)、表示輝度決定部85による表示輝度情報500の算出時間、表示輝度情報500を用いて表示情報(虚像45)を投射して表示されるまでの時間等が含まれる。
【0114】
この場合、表示装置10Aは、以下の式2の条件を満たすように、遅延考慮処理回数nを設定してもよい。これによって、表示装置10Aは、内部の処理時間を考慮して遅延時間を算出するため、表示輝度の制御処理の精度を高めることができる。
【0115】
【0116】
このように、表示輝度決定部85は、表示輝度を背景輝度に追随させるまでの遅延時間が、遅延許容時間T以内になるように、遅延考慮処理回数nを特定する。そのため、表示装置10Aは、急激な背景輝度の変化が発生した場合においても、観察者3に違和感を与えない自然な表示を行うことができる。なお、輝度データのサンプリング周期(サンプリング時間t)が一定である場合について説明したが、サンプリング周期(サンプリング時間t)を変化させてもよい。この場合、表示装置10Aは、式1または式2の条件を満たすように、輝度データのサンプリング時のサンプリング時間tに基づいて、遅延考慮処理回数nを特定する。
【0117】
ステップS109において、表示装置10Aの表示輝度決定部85は、輝度情報管理テーブル400に記憶された輝度情報450の代表値を用いて、表示輝度情報500を決定する(決定ステップの一例)。具体的には、表示輝度決定部85は、輝度情報管理テーブル400に記憶された輝度情報450の代表値を算出する。輝度情報450の代表値は、例えば、輝度情報管理テーブル400に記憶された輝度情報450に含まれる輝度値[cd/m2]の平均値または中央値等である。
【0118】
ここで、表示輝度決定部85は、輝度情報管理テーブル400に記憶された輝度情報450のうち、特定された遅延考慮処理回数n分の輝度情報450の代表値を用いて、表示輝度情報500を決定してもよい。また、表示輝度決定部85は、輝度情報管理テーブル400に記憶された全ての輝度情報450の代表値を用いて、表示輝度情報500を決定してもよい。表示装置10Aは、表示輝度情報500の決定に用いる輝度情報450の数が多いほど、表示輝度の変化を平滑化させることができる。
【0119】
なお、輝度センサ70によって検出された輝度データが照度値[lx]である場合、表示輝度決定部85は、輝度情報450に含まれる照度値[lx]の代表値を算出し、算出した値を、輝度値[cd/m2]に変換する。照度値[lx]から輝度値[cd/m2]への変換処理は、例えば、代表値として算出した照度値[lx]に、所定の定数を積算する等の方法によって行われる。また、輝度センサ70によって検出された輝度データが照度値[lx]である場合、表示輝度決定部85は、輝度情報450に含まれる照度値[lx]を輝度値へ変換した後、変換した輝度値の代表値を算出してもよい。
【0120】
ステップS110において、表示装置10Aの表示輝度決定部85は、決定した表示輝度情報500を、画像生成部173へ出力する。画像生成部173は、表示輝度情報500が示す表示輝度の値を、表示情報(虚像45)の表示輝度に反映する。そして、画像表示部174は、表示輝度情報500が示す表示輝度を用いて、表示情報を表示させる(表示ステップの一例)。
【0121】
ステップS111において、表示装置10Aは、表示輝度決定部85によって特定されたn回の遅延考慮処理が終了した場合、処理をステップS114へ移行させる。ステップS114において、表示装置10Aの表示輝度制御部178は、表示輝度の制御を継続する場合、ステップS101から処理を繰り返し行う。一方で、表示輝度制御部178は、表示輝度の制御を継続しない場合、処理を終了する。
【0122】
ステップS111において、表示装置10Aは、表示輝度決定部85によって特定されたn回の遅延考慮処理の途中である場合、ステップS101からの処理を繰り返す。そして、表示装置10Aは、特定されたn回分の遅延考慮処理を繰り返すことによって、例えば、
図11に示すように、表示輝度を段階的に変化させて、遅延許容時間Tに示す時間内に、表示輝度を背景輝度の輝度値[cd/m
2]に対応させる。そのため、表示装置10Aは、急激な背景輝度の変化を検出した場合においても、程よい遅延を設けて表示輝度を変化させることで、観察者3に与える違和感を低減させつつ、表示輝度を背景輝度に追随させることができる。
【0123】
なお、ステップS109の処理は、表示輝度決定部85が、表示輝度情報500として、輝度情報管理テーブル400に含まれる輝度情報450の代表値を算出する例を説明したが、表示輝度情報500として決定される値は、これに限られない。表示輝度情報500は、n回目の遅延考慮処理において、背景輝度の輝度値[cd/m2]に対応させさえすればよい。この場合、その間の1~n-1回目の遅延考慮処理における表示輝度情報500は、輝度値[cd/m2]が段階的に変化するように適宜設定されればよい。
【0124】
なお、表示装置10Aは、輝度センサ70による輝度データのサンプリング周期で、上記ステップS101~ステップS104までの輝度情報管理テーブル400の更新処理を行い、サンプリング周期とは異なる処理周期で、上記ステップS105以降の処理を行う構成であってもよい。この場合、上記式1に示すサンプリング時間tは、ステップS105以降の処理における処理周期の間隔(時間)であってもよい。
【0125】
続いて、表示装置10Aにおいて急激な輝度変化が検出しない場合の処理について説明する。表示装置10Aは、背景輝度の急激な変化を検出しない場合、輝度情報450の平滑化処理を行うことによって、表示情報の視認性を向上させる。ステップS106において、表示装置10Aの輝度変化検出部84は、輝度情報取得部81によって取得された輝度情報450が示す輝度値[cd/m2]に基づいて、所定値以上の輝度変化が検出されない場合、処理をステップS112へ移行させる。
【0126】
ステップS112において、表示装置10Aの表示輝度決定部85は、輝度情報管理テーブル400に記憶された輝度情報450を用いて、表示情報(虚像45)の表示輝度を示す表示輝度情報500を決定する。具体的には、表示輝度決定部85は、例えば、輝度情報管理テーブル400に記憶された輝度情報450の平均値を算出し、算出した平均値を表示輝度情報500として決定する。また、表示輝度決定部85は、例えば、輝度情報管理テーブル400に記憶された輝度情報450の中央値を算出し、算出した中央値を表示輝度情報500として決定する。
【0127】
ここで、表示装置10Aは、ステップS104までの処理が行われた場合、輝度情報管理テーブル400には、今回の輝度情報450を取得した時刻から、輝度センサ70のサンプリング周期にサンプリング数(バッファサイズ)を掛けた分の時間さかのぼった時刻までの輝度情報450を保持している状態になる。表示輝度決定部85は、上記時間の間におけるすべての輝度情報450の代表値に基づいて、表示情報の表示輝度を示す表示輝度情報500を決定する。
【0128】
ステップS113において、表示装置10Aの表示輝度決定部85は、決定した表示輝度情報500を、画像生成部173へ出力する。画像生成部173は、表示輝度情報500が示す表示輝度の値を、表示情報(虚像45)の表示輝度に反映する。そして、画像表示部174は、表示輝度情報500が示す表示輝度を用いて、表示情報を表示させる(表示ステップの一例)。
【0129】
ステップS114において、表示装置10Aの表示輝度制御部178は、表示輝度の制御を継続する場合、ステップS101から処理を繰り返し行う。一方で、表示輝度制御部178は、表示輝度の制御を継続しない場合、処理を終了する。
【0130】
このように、表示装置10Aは、時系列に沿って取得した輝度情報450の代表値に基づいて、表示情報の表示輝度を制御することで、観察者3にとって望ましくない背景輝度のノイズの影響を低減させることができる。また、表示装置10Aは、取得した輝度情報450を、時系列に追加または削除を繰り返すことによって、取得された輝度情報450が表示輝度に反映されるまでの遅延を抑制することができ、背景輝度のノイズの影響を低減させることができる。
【0131】
なお、
図17のステップS112は、表示輝度決定部85が輝度情報450の平均値を算出する例を説明したが、輝度情報450の平均値に限らず、表示輝度決定部85は、輝度情報450の中央値を用いて、表示輝度情報500を決定してもよい。さらに、表示輝度決定部85は、算出した平均値や中央値に対して、予め定められた定数を積算した値を、表示輝度情報500として決定してもよい。
【0132】
●具体例
ここで、
図18および
図19を用いて、運転者(観察者3)の視界における急激な輝度変化の具体例について説明する。
図18は、観察者の視界における急激な輝度変化の影響の具体例(その1)を説明するための図である。
図18(a)に示す画像は、車両に取り付けたドライブレコーダーを用いて撮影された前方の風景画像(背景画像)である。
図18(a)は、吹き抜けの構造になっている立体駐車場内部において、太陽光が内部に入り込んだ状況を示す。
図18(b)は、
図18(a)に示す画像の状況における、輝度検出領域300で検出された輝度データ600と、輝度データ600に基づいて表示輝度の制御処理を行った処理データ650を示す。
図18(b)のグラフにおいて、縦軸は、検出された輝度データの輝度値[cd/m
2]を示し、横軸は、輝度データを取得した時刻を示す。
【0133】
車両に搭載された輝度センサ70は、車両前方の輝度検出領域300に太陽光が入り込んだことによって、
図18(b)に示すような急激な背景輝度の変化を検出する。
図18(a)に示す状況において、立体駐車場内部自体が暗いため、輝度のコントラストが大きくなり、突発的なノイズの影響が大きくなる。
【0134】
このとき、サンプリングされた輝度データに対して平滑化処理(例えば、
図17のステップS112の処理)のみが施された表示輝度の値は、サンプリングされた輝度データ(実際の背景輝度)よりも滑らかな輝度変化を示す。しかしながら、平滑化処理のみを施した表示輝度は、背景輝度の急激な変化に起因するノイズが残っており、このノイズの影響によって観察者3に表示の違和感を与えることとなる。
【0135】
一方で、サンプリングされた輝度データに対して遅延考慮処理(例えば、
図17のステップS107~S109の処理)が施された表示輝度の値は、背景輝度の急激な変化による突発的なノイズの影響が、ほとんど見られないことがわかる。これは、表示装置10Aにおいて、遅延考慮処理によって背景輝度の変化に対して表示輝度の変化を遅延させたことで、突発的なノイズの影響による輝度値[cd/m
2]のピークを減衰させたためである。
【0136】
図19は、観察者の視界における急激な輝度変化の影響の具体例(その2)を説明するための図である。
図19(a)に示す画像は、
図18(a)と同様に、車両に取り付けたドライブレコーダーを用いて撮影された前方の風景画像(背景画像)である。
図19(a)は、走行中の車両が日陰から日向へ移動した状況を示す。
図19(b)は、
図19(a)に示す画像の状況における、輝度検出領域300で検出された輝度データ600と、輝度データ600に基づいて表示輝度の制御処理を行った処理データ650を示す。
図19(b)のグラフにおいて、縦軸は、検出された輝度データの輝度値[cd/m
2]を示し、横軸は、輝度データを取得した時刻を示す。
【0137】
車両に搭載された輝度センサ70は、車両前方の輝度検出領域300に逆光が入り込んだことによって、
図19(b)に示すような急激な背景輝度の変化を検出する。このとき、サンプリングされた輝度データに対して平滑化処理(例えば、
図17のステップS112の処理)のみが施された表示輝度の値は、サンプリングされた輝度データが示す実際の背景輝度よりも緩やかな輝度変化を示す。
【0138】
また、サンプリングされた輝度データに対して遅延考慮処理(例えば、
図17のステップS107~S109の処理)が施された表示輝度の値は、平滑化処理のみを施した表示輝度の値よりも、さらに緩やかな輝度変化を示す。これは、表示装置10Aにおいて、遅延考慮処理によって、表示輝度を背景輝度に追随させるまでの遅延時間を設けたためである。
【0139】
図19に示す状況において、表示装置10Aは、遅延考慮処理を行うことによって、平滑化処理のみを行った場合と比較して、表示輝度の輝度変化を緩やかにすることで、観察者3に与える表示の違和感を低減させることができる。一方で、
図19に示す状況において、背景輝度の輝度値の変化が大きいため、平滑化処理のみを行った場合と比較して、遅延時間が長くなっている。遅延時間が長すぎる場合、観察者3に与える違和感の原因となるため、遅延時間を遅延許容時間Tの範囲内になるようにする必要がある。
図19(b)に示す例において、表示装置10Aは、遅延許容時間T=1.4sに対して、約0.8sの遅延時間で、表示輝度を背景輝度の輝度値に対応させている。
【0140】
なお、
図18および
図19において、立体駐車場における入射光および日陰から日向への移動による逆光の影響について説明したが、本実施形態に係る表示輝度の制御処理は、これらの状況に限られない。本実施形態に係る表示輝度の制御処理は、急激な輝度変化が発生する様々な状況において適用可能である。
【0141】
●遅延許容時間
続いて、
図20および
図21を用いて、表示システム1Aにおける遅延許容時間について説明する。
図20および
図21は、発明者らが行った、表示情報を視認する被験者(観察者3)に対する官能評価の統計結果を示す。
【0142】
図20は、第1の実施形態に係る表示システムにおける遅延許容時間について説明するための図である。
図20(a)に示すグラフは、背景輝度が暗い状況から明るい状況へ背景輝度が大きく変化させた場合における、表示輝度の変化時間と被験者(観察者3)に与える違和感との関係を示す。
図20(a)のグラフにおいて、縦軸は、被験者(観察者3)の官能評価の統計として、被験者(観察者3)が表示輝度の輝度変化に対する違和感のない確率(%)を示し、横軸は、表示輝度の輝度変化の遅延時間(s)を示す。
【0143】
図20(a)は、背景輝度の輝度値を、100[cd/m
2]~500[cd/m
2]に変化させた場合、100[cd/m
2]~1000[cd/m
2]に変化させた場合、100[cd/m
2]~1800[cd/m
2]に変化させた場合の3通りの輝度変化に対する統計結果を示す。いずれの場合も、表示輝度の輝度変化の遅延時間が長くなるにつれて、被験者(観察者3)に表示輝度の輝度変化に対する違和感を与えない確率は、低くなることがわかる。
【0144】
図20(b)は、
図20(a)のグラフにおいて、被験者(観察者3)の80%が表示輝度の変化に違和感がないと感じた遅延時間を示す。
図20(b)に示すように、背景輝度の輝度変化が大きいほど、被験者(観察者3)に与える違和感のない遅延時間は、短くなることがわかる。表示装置10Aは、被験者(観察者3)に与える違和感のない遅延時間が最も短い、100[cd/m
2]~1800[cd/m
2]に背景輝度を変化させた場合の遅延時間を、遅延許容時間Tに設定するのが好ましい。この場合、遅延許容時間T=1.45sとなる。
【0145】
次に、
図21を用いて、背景輝度を明るい状況から暗い状況へ大きく変化させた場合について説明する。
図21(a)に示すグラフは、背景輝度が明るい状況から暗い状況へ大きく変化させた場合における、表示輝度の変化時間と被験者(観察者3)に与える違和感との関係を示す。
図21(a)のグラフにおいて、縦軸は、被験者(観察者3)の官能評価の統計として、被験者(観察者3)が表示輝度の輝度変化に対する違和感のない確率(%)を示し、横軸は、表示輝度の輝度変化の遅延時間(s)を示す。
【0146】
図21(a)は、背景輝度の輝度値を、500[cd/m
2]~100[cd/m
2]に変化させた場合、1000[cd/m
2]~100[cd/m
2]に変化させた場合、1800[cd/m
2]~100[cd/m
2]に変化させた場合の3通りの輝度変化に対する統計結果を示す。いずれの場合も、表示輝度の輝度変化の遅延時間が長くなるにつれて、被験者(観察者3)に表示輝度の輝度変化に対する違和感を与えない確率は、低くなることがわかる。
【0147】
図21(b)は、
図21(a)のグラフにおいて、被験者(観察者3)の80%が表示輝度の変化に違和感がないと感じた遅延時間を示す。
図21(b)に示すように、背景輝度の輝度変化が小さいほど、被験者(観察者3)に与える違和感のない遅延時間は、短くなることがわかる。表示装置10Aは、被験者(観察者3)に与える違和感のない遅延時間が最も短い、500[cd/m
2]~100[cd/m
2]に背景輝度を変化させた場合の遅延時間を、遅延許容時間Tに設定するのが好ましい。この場合、遅延許容時間T=1.9sとなる。
【0148】
このように、表示装置10Aは、表示情報(虚像45)の表示輝度を背景輝度に追随させるまでの遅延時間が、観察者3が表示輝度の変化に違和感のない遅延許容時間T以内になるようにする。なお、遅延許容時間Tを設定するための統計値として用いる、観察者3が表示輝度の変化に違和感のない確率は、80%に限られず、適宜調整可能である。
【0149】
また、
図20および
図21に示したように、観察者3が表示輝度の変化に違和感のない遅延時間は、輝度変化の状態(明るい状況から暗い状況、または暗い状況から明るい状況)に応じて異なる。そのため、表示装置10Aは、
図16に示した遅延許容時間情報90のように、輝度変化の状態に応じて異なる遅延許容時間Tを設定しておくことで、より観察者3に違和感を与えないように、表示輝度を変化させることができる。なお、遅延許容時間Tは、輝度変化の状態のみならず、
図20および
図21に示したような輝度変化の大きさに応じて、異なる値が設定されてもよい。
【0150】
●第1の実施形態の効果
以上説明したように、第1の実施形態に係る表示システム1Aは、背景輝度の輝度変化を検出した場合、遅延許容時間T以内の遅延時間を設けて、表示輝度を段階的に変化させる。そのため、表示システム1Aは、急激な背景輝度の変化が発生した場合においても、観察者3に与える違和感を低減させつつ、表示情報の視認性を向上させることができる。また、表示システム1Aは、背景輝度の輝度変化が検知されない場合、表示装置10Aに記憶された輝度情報450の代表値を用いて表示輝度情報500を決定することで、急激な輝度変化の有無に依らずに、表示輝度の制御処理を継続して実施することができる。
【0151】
●第1の実施形態の変形例●
続いて、第1の実施形態の変形例の構成について説明する。なお、第1の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第1の実施形態に係る変形例に係る表示システムは、輝度センサ70による輝度検出領域300と表示背景領域350の位置関係が第1の実施形態とは異なるシステムである。
【0152】
図22は、第1の実施形態の変形例に係る輝度検出領域と表示背景領域との関係の一例を説明するための図である。第1の実施形態は、
図10に示したように、輝度検出領域300が表示背景領域350を内包している例を示したが、輝度検出領域300と表示背景領域350の位置関係は、必ずしもこの例に限られない。
【0153】
図22(a)に示す例は、輝度検出領域301の一部と表示背景領域351の一部とが重畳されている。同様に、
図22(b)に示す例は、輝度検出領域302の一部と表示背景領域352の一部とが重畳されている。
図22(b)に示す例は、
図22(a)と比較して、表示背景領域352の領域外の輝度検出領域302の範囲が、
図22(a)と比較して小さくなっている。表示装置10Aは、
図22(b)に示す位置関係を適用した場合、
図22(a)の例と比較して、表示背景領域352に輝度変化に寄与しないノイズを検出する可能性を低減させることができる。
【0154】
図22(c)に示す例は、輝度検出領域303が表示背景領域353に内包されている。表示装置10Aは、
図22(c)に示す位置関係を適用した場合、輝度検出領域303で検出された輝度データは、表示背景領域353の領域内の背景輝度の輝度を示すことになるため、表示背景領域353の背景輝度の変化を精度よく反映することができる。
【0155】
表示システム1Aは、
図22(a)~(c)に示すいずれの場合においても、
図17に示した表示輝度の制御処理を適用することができる。なお、
図10および
図22において、輝度検出領域と表示背景領域の少なくとも一部が重畳している例を示したが、輝度検出領域と表示背景領域は、必ずしも重なっていなくてもよい。
【0156】
●第2の実施形態●
続いて、第2の実施形態の構成について説明する。なお、第1の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第2の実施形態に係る表示システム1Bは、背景輝度の輝度値[cd/m2]に基づいて、特定した遅延考慮処理回数分の表示輝度情報500を固定値として決定し、決定した表示輝度情報500を用いて、表示輝度を段階的に変化させる。
【0157】
図23は、第2の実施形態に係る表示装置における表示輝度の制御処理の一例を示すフローチャートである。なお、
図23に示すステップ201~ステップS204までの処理は、
図17に示したステップS101~ステップS104までの処理と同様であるため、説明を省略する。なお、第1の実施形態と同様に、輝度情報450に含まれる値は、輝度値[cd/m
2]に限られず、照度値[lx]であってもよい。
【0158】
ステップS205において、表示装置10Bは、遅延考慮処理が行われている場合、処理をステップS210へ移行させる。一方で、表示装置10Bは、遅延考慮処理が行われていない場合、処理をステップS206へ移行させる。
【0159】
ステップS206において、表示装置10Bの輝度変化検出部84は、輝度情報取得部81によって取得された輝度情報450が示す輝度値[cd/m2]に基づいて、背景輝度の輝度変化を検出した場合、処理をステップS207へ移行させる。具体的には、輝度変化検出部84は、輝度情報取得部81によって新たに取得された輝度情報450が示す輝度値[cd/m2]と、輝度情報管理テーブル400に記憶されている輝度情報450が示す輝度値[cd/m2]とを比較して、所定値以上の差異がある場合、所定値以上の輝度変化を検出する。なお、輝度変化を検出するための所定値は、予め設定値として表示装置10Bに記憶されている。輝度変化を検出するための所定値は、例えば、太陽光や対向車両のヘッドライト等に起因して発生する、背景輝度の急激な変化を検出可能な値に設定される。
【0160】
また、輝度変化検出部84は、背景輝度に所定値以上の輝度変化を検出した場合、検出した輝度変化の状態を判定する。例えば、輝度変化検出部84は、背景輝度の輝度値[cd/m
2]の上昇(例えば、
図11に示すILからIHへの輝度変化)、または背景輝度の輝度値[cd/m
2]の低下(例えば、
図11に示すIHからILへの輝度変化)を判定する。そして、輝度変化検出部84は、表示輝度決定部85へ、判定結果を出力する。
【0161】
一方で、ステップS206において、表示装置10Bの輝度変化検出部84は、輝度情報取得部81によって取得された輝度情報450が示す輝度値[cd/m
2]に基づいて、所定値以上の輝度変化を検出しない場合、処理をステップS212へ移行させる。ステップS212~ステップS214までの輝度データの平滑化処理の内容は、
図17に示したステップS112~ステップS114の内容と同様であるため、説明を省略する。
【0162】
ステップS207において、表示装置10Bの表示輝度決定部85は、記憶部800に記憶された遅延許容時間情報90を読み出す。具体的には、表示輝度決定部85は、輝度変化検出部84の判定結果である輝度変化の状態に対応する遅延許容時間Tを読み出す。輝度変化検出部84によって背景輝度の輝度値が上昇したと判定された場合、表示輝度決定部85は、例えば、
図16に示す輝度変化「暗→明」に対応する遅延許容時間Tを読み出す。
【0163】
ステップS208において、表示装置10Bの表示輝度決定部85は、読み出した遅延許容時間Tに基づいて、表示輝度情報500を決定するための輝度情報450の遅延考慮処理回数nを特定する。遅延考慮処理回数nの特定方法は、
図17のステップS108に示した内容と同様であるため、説明を省略する。
【0164】
ステップS209において、表示装置10Bの表示輝度決定部85は、特定された遅延考慮処理回数のn回目で背景輝度に対応する輝度値[cd/m2]になるように表示輝度を段階的に変化させるため、n回分の表示輝度情報500を固定値として決定する。具体的には、表示輝度決定部85は、例えば、新たに取得した輝度情報450が示す輝度値が1000[cd/m2]、特定した遅延考慮処理回数が4回であった場合、4回目の表示輝度情報500が示す輝度値が1000[cd/m2]になるように、4回分の表示輝度情報500を特定する。この場合、表示輝度決定部85は、それぞれの遅延考慮処理回数に対応する予め定められた定数を、現在の表示輝度と背景輝度の差分値に積算する。そして、表示輝度決定部85は、積算された値を現在の表示輝度の値に加算することで、1~4回目の遅延考慮処理回数に対応する表示輝度情報500を決定する。
【0165】
例えば、1回目の定数が0.16、2回目の定数が0.256、3回目の定数が0.655、4回目の定数が1.0であり、現在の表示輝度が500[cd/m2]、現在の背景輝度が1000[cd/m2]である場合について説明する。この場合、1回目の遅延考慮処理回数に対応する表示輝度情報500は、現在の背景輝度と表示輝度の差分値である500に対して1回目の定数0.16を積算し、積算した値(80)を現在の表示輝度の値に加算した「580[cd/m2]」となる。同様に、2回目の遅延考慮処理回数に対応すする表示輝度情報500は、「628[cd/m2]」、3回目の遅延考慮処理回数に対応すする表示輝度情報500は、「827.5[cd/m2]」、4回目の遅延考慮処理回数に対応する表示輝度情報500は、「1000[cd/m2]」となる。
【0166】
このように、表示装置10Bの表示輝度決定部85は、特定した遅延考慮処理回数のn回目の表示輝度情報500が現在の背景輝度の輝度値[cd/m2]になるように、途中の遅延考慮処理回数に対応する表示輝度情報500を段階的に変化させる。
【0167】
ステップS210において、表示装置10Bの表示輝度決定部85は、決定した表示輝度情報500を、画像生成部173へ出力する。画像生成部173は、表示輝度情報500が示す表示輝度の値を、表示情報(虚像45)の表示輝度に反映する。そして、画像表示部174は、表示輝度情報500が示す表示輝度を用いて、表示情報を表示させる。
【0168】
ステップS211において、表示装置10Bは、表示輝度決定部85によって特定されたn回の遅延考慮処理が終了した場合、処理をステップS214へ移行させる。ステップS214において、表示装置10Bの表示輝度制御部178は、表示輝度の制御を継続する場合、ステップS201から処理を繰り返し行う。一方で、表示輝度制御部178は、表示輝度の制御を継続しない場合、処理を終了する。
【0169】
ステップS211において、表示装置10Bは、表示輝度決定部85によって特定されたn回の遅延考慮処理の途中である場合、ステップS201からの処理を繰り返す。そして、表示装置10Bは、特定されたn回分の遅延考慮処理を繰り返すことによって、例えば、
図11に示すように、表示輝度を段階的に変化させて、遅延許容時間Tに示す時間内に、表示輝度を背景輝度の輝度値に対応させる。そのため、表示装置10Bは、急激な背景輝度の変化を検出した場合においても、程よい遅延を設けて表示輝度を変化させることで、観察者3に違和感を与えることなく、表示輝度を背景輝度に追随させることができる。
【0170】
●第2の実施形態の効果
このように、第2の実施形態に係る表示システムは、遅延許容時間T内に表示輝度を背景輝度に追随させるため、遅延考慮処理回数n回分の表示輝度情報500を背景輝度の輝度値[cd/m2]に基づいて決定し、決定した表示輝度情報500を用いて、表示輝度を段階的に変化させる。そのため、表示システム1Bは、遅延許容時間Tの範囲内の遅延時間を用いて、より自然な表示輝度の変化を実現させることができる。
【0171】
●まとめ●
以上説明したように、本発明の一実施形態に係る表示装置は、移動体の前方に観察者3が視認する虚像45(表示情報の一例)を表示させる表示装置10Aであって、虚像45の背景となる表示背景領域350(表示領域の一例)の少なくとも一部を含む輝度検出領域300(周辺領域の一例)の輝度を示す輝度情報450を、特定のサンプリング時間t(周期の一例)で取得し、取得した輝度情報450に基づいて、輝度検出領域300の輝度変化を検出する。そして、表示装置10Aは、輝度変化を検出した場合、虚像45の表示輝度を輝度検出領域300の輝度に対応させるまでの遅延時間が、遅延許容時間T以内または遅延許容時間Tより短くなるように、虚像45の表示輝度を示す表示輝度情報500を決定し、決定した表示輝度情報500を用いて、虚像45を表示させる。そのため、表示装置10Aは、急激な背景輝度の変化に対して、観察者3にとって望ましくない表示輝度の変化を抑制することで、表示情報の視認性を向上させることができる。
【0172】
また、本発明の一実施形態に係る表示装置は、虚像45の表示輝度を輝度検出領域300(周辺領域の一例)の輝度に対応させるまでの遅延時間が、遅延許容時間T以下または遅延許容時間Tより短くなるように、サンプリング時間tに基づく輝度情報450の遅延考慮処理回数n(取得回数の一例)を特定する。そのため、表示装置10Aは、表示情報の表示輝度を背景輝度に対応させるまでの遅延時間を、観察者3が表示輝度の変化に違和感のない遅延許容時間Tの時間内に収めることで、表示情報の視認性を向上させることができる。
【0173】
さらに、本発明の一実施形態に係る表示装置は、下記(式1)の条件を満たすように、遅延考慮処理回数n(取得回数の一例)を特定する。下記(式1)中、nは遅延考慮処理回数を表し、tはサンプリング時間(周期の一例)を表し、Tは遅延許容時間を表す。
【0174】
【0175】
そのため、表示装置10Aは、表示輝度を背景輝度に追随させるための遅延時間を、遅延許容時間Tの範囲内に時間内に収めることで、観察者3に違和感を与えない範囲で、表示輝度を背景輝度に追随させることができる。
【0176】
また、本発明の一実施形態に係る表示装置は、輝度検出領域300(周辺領域の一例)の輝度変化を検出した場合、検出した輝度変化の状態を判定し、判定した輝度変化の状態に対応する遅延許容時間Tに基づいて、表示輝度情報500を決定する。そのため、表示装置10Aは、背景輝度の輝度変化の状態(暗→明、明→暗)に応じて異なる遅延許容時間Tを用いることで、表示輝度を変化させるために要する遅延時間を異ならせることができる。
【0177】
さらに、本発明の一実施形態に係る表示システムは、光を発散するスクリーン15(光学素子の一例)と、光源装置11(光源の一例)から射出された光によって、スクリーン15を二次元走査する光偏向装置13(走査部の一例)と、を有し、スクリーン15から発散された発散光によって結像される虚像45を表示させる表示装置10Aを備える。また、表示システム1Aは、輝度検出領域300(周辺領域の一例)の輝度を検出する輝度センサ70(検出装置の一例)と、スクリーン15から発散された発散光を反射させるフロントガラス50(反射部材の一例)と、スクリーン15から発散された発散光をフロントガラス50に向けて投射して虚像45を結像させる自由曲面ミラー30(結像光学系の一例)を備える。そのため、表示システム1Aは、急激な背景輝度の変化に対して、観察者3にとって望ましくない表示輝度の変化を抑制することで、表示情報の視認性を向上させることができる。
【0178】
また、本発明の一実施形態に係る表示輝度制御方法は、移動体の前方に観察者3が視認する虚像45(表示情報の一例)を表示させる表示装置10Aが実行する表示輝度制御方法であって、虚像45の背景となる表示背景領域350(表示領域の一例)の少なくとも一部を含む輝度検出領域300(周辺領域の一例)の輝度を示す輝度情報450を、特定の周期で取得する取得ステップと、取得された輝度情報450に基づいて、輝度検出領域300の輝度変化を検出する検出ステップと、輝度変化が検出された場合、虚像45の表示輝度を輝度検出領域300(周辺領域の一例)の輝度に対応させるまでの遅延時間が、遅延許容時間T以下または遅延許容時間Tより短くなるように、虚像45の表示輝度を示す表示輝度情報500を決定する決定ステップと、決定された表示輝度情報500を用いて、虚像45を表示させる表示ステップと、を実行する。そのため、本発明の一実施形態に係る表示輝度制御方法は、急激な背景輝度の変化に対して、観察者3にとって望ましくない表示輝度の変化を抑制することで、表示情報の視認性を向上させることができる。
【0179】
●補足●
なお、本発明の一実施形態に係る表示装置、表示システム、移動体、表示輝度制御方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、当業者が想到することができる範囲内で変更することができる。
【0180】
また、本発明の一実施形態に係る表示装置は、移動体の一例である自動車に搭載されたHUD装置である例を説明したが、本発明の一実施形態に係る表示装置は、例えば、ヘッドマウントディスプレイ装置等であってもよい。この場合、ヘッドマウントディスプレイ装置に適用した本発明の一実施形態に係る表示装置は、外界と虚像を重畳させて表示させる。さらに、本発明の一実施形態に係る表示装置は、シースルーディスプレイのように、外界の風景(背景)見えるように表示面を透過させる表示方式を有する装置にも適用することができる。
【0181】
さらに、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
【0182】
また、各実施形態の機能を実行するためのプログラムは、ROM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク、SDカード、MO(Magneto-Optical disc)等の装置可読な記録媒体に格納して頒布することもできる。
【0183】
さらに、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等により記述されたデータとして記録媒体により配布することができる。
【符号の説明】
【0184】
1、1A、1B 表示システム
10、10A、10B 表示装置
11 光源装置
13 光偏向装置(走査部の一例)
15 スクリーン(光学素子の一例)
30 自由曲面ミラー(結像光学系の一例)
50 フロントガラス(反射部材の一例)
70 輝度センサ(検出装置の一例)
81 輝度情報取得部(取得手段の一例)
83 記憶・読出部(記憶制御手段の一例)
84 輝度変化検出部(検出手段の一例)
85 表示輝度決定部(決定手段の一例)
400 輝度情報管理テーブル(記憶領域の一例)
【先行技術文献】
【特許文献】
【0185】