(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022151109
(43)【公開日】2022-10-07
(54)【発明の名称】調光装置
(51)【国際特許分類】
G02C 7/10 20060101AFI20220929BHJP
【FI】
G02C7/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021054025
(22)【出願日】2021-03-26
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】110000822
【氏名又は名称】特許業務法人グローバル知財
(72)【発明者】
【氏名】胡 瀟丹
(72)【発明者】
【氏名】磯山 直也
(72)【発明者】
【氏名】酒田 信親
(72)【発明者】
【氏名】清川 清
【テーマコード(参考)】
2H006
【Fターム(参考)】
2H006BE03
(57)【要約】
【課題】高輝度部分を暗く調整しながらも、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しない調光装置を提供する。
【解決手段】イメージセンサ20、画像補正手段21、液晶ディスプレイ31、液晶ディスプレイ32、視差較正手段40、透過率制御手段70及び透過率制御手段71を備える。また、視差較正手段40は、距離センサ50及び瞳孔センサ60を備える。イメージセンサ20は、液晶ディスプレイ32を通して撮影することにより、ユーザの眼球11が液晶ディスプレイ31を通して観察する外界と同様の映像を撮影することができる。視差較正手段40は、ユーザの眼球とイメージセンサ20の視差を算出し、算出した視差に基づき液晶ディスプレイ31に表示する画像の較正を行うものである。距離センサ50は、物体8と液晶ディスプレイ31の距離を検出し、瞳孔センサ60は、ユーザの眼球11の瞳孔位置を検出するものである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
外界からユーザの眼球に入射する光量を調節する装置であって、
ユーザの眼球の前方に配置される透過型の第1液晶ディスプレイと、
ユーザの眼球の前方に位置する外界を撮影するイメージセンサと、
前記イメージセンサの画素毎の入射光量に基づいて、第1液晶ディスプレイの画素毎の明暗関係が逆転せず、前記入射光量に応じて光量が減少するように、画素毎の透過率を制御する透過率制御手段、
を備えることを特徴とする調光装置。
【請求項2】
前記透過率制御手段は、前記イメージセンサの画素毎の入射光量の内、最低光量もしくは所定閾値以下の光量の画素に対応する第1液晶ディスプレイの画素の前記透過率は不変または高くし、最大光量もしくは所定閾値以上の光量の画素に対応する第1液晶ディスプレイの画素の前記透過率は低くすることを特徴とする請求項1に記載の調光装置。
【請求項3】
前記透過率制御手段は、下記関係式を満足する関数を用いて透過率を算出することを特徴とする請求項1又は2に記載の調光装置:
(数1)
(E2´/E2) ≦ (E1´/E1)
(但し、E1,E2は、第1液晶ディスプレイを最大透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値であり、E2>E1を満たすもの。また、E1´,E2´は、第1液晶ディスプレイを算出された透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値であり、(E2´/E2)=(E1´/E1)は、一部にのみ成立するものとする。)。
【請求項4】
第1液晶ディスプレイの前方にビームスプリッターが設けられ、
ユーザの眼球の前方に位置する外界からの光を前記ビームスプリッターで分割し、分割した一方の光が第1液晶ディスプレイを介してユーザの眼球に入射し、
分割した他方の光が前記イメージセンサに到達する光学系、
を更に備えることを特徴とする請求項1~3の何れかに記載の調光装置。
【請求項5】
ユーザの眼球と前記イメージセンサの視差を算出し、算出した視差に基づき前記イメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係を較正する視差較正手段を更に備えることを特徴とする請求項1~4の何れかに記載の調光装置。
【請求項6】
前記視差較正手段は、ユーザの眼球の瞳孔位置を検出する瞳孔センサを更に備えることを特徴とする請求項5に記載の調光装置。
【請求項7】
前記視差較正手段は、外界の物体と第1液晶ディスプレイとの距離を算出できる距離センサを更に備えることを特徴とする請求項5又は6に記載の調光装置。
【請求項8】
前記イメージセンサの前方に配置される透過型の第2液晶ディスプレイと、
第2液晶ディスプレイの画素毎の透過率を制御する第2透過率制御手段、
を更に備えることを特徴とする請求項1~7の何れかに記載の調光装置。
【請求項9】
前記調光装置は、第1液晶ディスプレイの透過率が調整された箇所の周囲に生じるボケを補正する画像補正手段を備えることを特徴とする請求項8に記載の調光装置。
【請求項10】
サングラス本体に、請求項1~9の何れかの調光装置が設けられ、
前記第1液晶ディスプレイが、前記サングラス本体の眼前の位置に配置されたことを特徴とするスマートサングラス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視覚過敏症のための適応的な光量調整が可能なスマートサングラスに関するものである。
【背景技術】
【0002】
自閉症スペクトラム障害(Autism Spectrum Disorder:ASD)とは、対人関係が苦手、強いこだわりといった特徴をもつ発達障害の一つであり、感覚過敏であるといった非定型な特徴を有することが知られている。そして、その中でも視覚過敏、すなわちものが眩しく見えるといった特徴が顕著に見られる。
そこで視覚過敏の症状を持つ人の多くは、日常的にサングラスをかけて生活を行っている。しかしながら、一般的なサングラスは、明るい所では効果的であるが、暗い所では暗くなりすぎるため、外さなければならず、煩雑であるという問題がある。
【0003】
そこで、光センサに応じてレンズ全体の透過率を変更することのできる自動調光メガネが知られている(非特許文献1を参照)。非特許文献1の自動調光メガネによれば、明るい所では防眩効果が得られ、暗い所では防眩効果が抑えられることになる。
しかしながら、非特許文献1の自動調光メガネでは、自動での調光が一様に行われるため、視界中において比較的暗い箇所についても防眩効果が発揮されてしまい、見づらくなってしまうという問題がある。
【0004】
調光を一様に行うのではなく、部分的に行うものとして、透光率の調整が可能な液晶パネルと撮影装置と透光率制御回路とを備え、撮影装置で撮影された情景内に出現する高輝度部分を抽出し、透光率制御回路により液晶パネル上で高輝度部分の光路と交叉する箇所の透光率を局所的に減少させる部分減光装置が知られている(特許文献1を参照)。特許文献1の部分減光装置によれば、夜間やトンネル内で、車両運転者などの利用者の眩惑を防止できるとする。
しかしながら、特許文献1の部分減光装置は、車両運転者などの利用者を想定した構造であるため、対向車のヘッドライトによる眩惑などを防止すべく、液晶パネル上の高輝度部分の透光率を局所的に減少させることはできるが、高輝度部分とそれ以外の部分との輝度のバランスを保つことができず、本来であれば高輝度である部分が、低輝度部分よりも低輝度となってしまい、輝度の逆転現象が起きてしまうという問題がある。
自閉症スペクトラム障害などにより、視覚過敏の症状を持つ人にとっては、明るい部分を暗くすればよいのではなく、明所と暗所のバランスが正常に維持される必要がある。
【0005】
また、眼球又は光学機器の視野の中の光線強度を減少させる装置が知られている(特許文献2を参照)。特許文献2の光線強度減少装置は、電源、光センサ、透光性のレンズ、ユーザ制御装置及び処理回路を備え、処理回路が、発生された強度信号を処理し、その処理結果に応じて、シャッタ要素の中の特定のシャッタ要素を暗くするものであり、これによれば複数の光源から出る光線の強度を減少させることができるとする。
しかしながら、特許文献2の光線強度減少装置についても、明るい部分と暗い部分のバランスが正常に維持されて表示されるものではないため、視覚過敏の症状を持つ人が日常生活において使用する装置としては使いづらいという問題がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平8-122736号公報
【特許文献2】特表平11-507444号公報
【非特許文献】
【0007】
【非特許文献1】Ctrl One smart glasses auto tint to suit lighting conditions Dario Borghino July 02, 2015(https://newatlas.com/e-tint-ctrl-one-glasses/38259/)
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述のように、視界中の高輝度部分について液晶パネルの透光率を調整するといった技術は従来から存在した。しかしながら、視覚過敏症のユーザは、高い輝度のものを視覚認知することが難しく、従来技術はこれらを克服して外出機会を増やすという課題を解決するものではない。
視覚過敏症のユーザにとって使いやすい装置、すなわち見やすい装置とするためには、高輝度部分は暗くして快適に見られるようにし、低輝度部分は暗くならず、ほぼそのままの状態で維持され、かつ、部分毎の輝度の高低関係が逆転しないことが重要である。
かかる状況に鑑みて、本発明は、高輝度部分を暗く調整しながらも、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しない調光装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決すべく、本発明の調光装置は、外界からユーザの眼球に入射する光量を調節する装置であって、ユーザの眼球の前方に配置される透過型の第1液晶ディスプレイと、ユーザの眼球の前方に位置する外界を撮影するイメージセンサと、イメージセンサの画素毎の入射光量に基づいて、第1液晶ディスプレイの画素毎の明暗関係が逆転せず、入射光量に応じて光量が減少するように、画素毎の透過率を制御する透過率制御手段を備える。
【0010】
透過率制御手段を備えることにより、イメージセンサの画素毎の入射光量に基づいて、第1液晶ディスプレイの画素毎の透過率を制御することが可能である。画素毎の明暗関係が逆転しないとは、透過率の制御によって明所と暗所の関係性が逆転しないことを意味している。画素毎の明暗関係が逆転しないことにより、より自然な表示が可能となり、視覚過敏症などを持つユーザが日常的に使用しても疲れにくく、快適に利用できる。
入射光量に応じて光量が減少するとは、必ずしも入射光量に比例して光量を減少するものに限定されず、例えば、最も明るい箇所については最も高い割合で光量を減少させ、やや明るい箇所についてはやや光量を減少させ、やや暗い箇所と暗い箇所については光量を減少しないといった制御が可能である。
【0011】
本発明の調光装置において、透過率制御手段は、イメージセンサの画素毎の入射光量の内、最低光量もしくは所定閾値以下の光量の画素に対応する第1液晶ディスプレイの画素の透過率は不変または高くし、最大光量もしくは所定閾値以上の光量の画素に対応する第1液晶ディスプレイの画素の透過率は低くすることが好ましい。
イメージセンサの画素毎の入射光量の内、最低光量もしくは所定閾値以下の光量の画素に対応する第1液晶ディスプレイの画素の透過率について、不変または高くすることにより、暗い箇所についてより暗くなってしまうことを防止でき、視認性が向上する。また、最大光量もしくは所定閾値以上の光量の画素に対応する第1液晶ディスプレイの画素の透過率について、低くすることにより、明るい箇所について効果的に遮光でき視認性が向上する。
【0012】
本発明の調光装置において、透過率制御手段は、下記関係式を満足する関数を用いて透過率を算出することが好ましい。下記関係式を満足する関数を用いて透過率を算出することにより、明るい部分を暗く調整しながらも、暗い部分は暗くなり難く、かつ、画素毎の明暗関係が逆転しない表示がバランスよく実現する。下記関係式において、E1,E2は、第1液晶ディスプレイを最大透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値であり、E2>E1を満たすもの。また、E1´,E2´は、第1液晶ディスプレイを算出された透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値である。また、(E2´/E2)=(E1´/E1)は、一部にのみ成立するものとする。一部にのみ成立するとは、例えば、画素値が0~10000の範囲とした場合に、全ての画素値が等しい透過率に制御されるのではなく、一部に画素値、例えば、100~1000の連続する画素値のみが等しい透過率であり、他の画素値は、(E2´/E2)<(E1´/E1)を満たすというものである。なお、(E2´/E2)=(E1´/E1)になる連続する画素値が複数部位存在してもよい。
【0013】
(数1)
(E2´/E2) ≦ (E1´/E1)
【0014】
本発明の調光装置において、第1液晶ディスプレイの前方にビームスプリッターが設けられ、ユーザの眼球の前方に位置する外界からの光をビームスプリッターで分割し、分割した一方の光が第1液晶ディスプレイを介してユーザの眼球に入射し、分割した他方の光が前記イメージセンサに到達する光学系、を更に備えることでもよい。ビームスプリッターとして、ハーフミラーを用いることができる。
第1液晶ディスプレイの前方・外側にハーフミラーなどのビームスプリッターを設け、外界からの光の光路を分岐し、分岐後の光路上にイメージセンサを設けることにより、イメージセンサと眼球の位置のズレに起因する、イメージセンサで捉えるイメージと、ユーザの眼球で捉えるイメージとの間のズレが小さくでき、視差を無視することができる。
【0015】
また、本発明の調光装置は、ユーザの眼球とイメージセンサの視差を算出し、算出した視差に基づきイメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係を較正する視差較正手段を更に備えることでもよい。
例えば、第1液晶ディスプレイの前方にビームスプリッターが設けられない場合で、かつイメージセンサがユーザの眼球の位置の上に配置されている場合には、縦視差が生じることになる。視差較正手段を備えることにより、イメージセンサと第1液晶ディスプレイを視認するユーザの眼球との間に視差が生じる場合でも、イメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係を較正でき、精度良く、外界からユーザの眼球に入射する光量を調節することが可能になる。視差較正手段としては、調光装置の使用時にリアルタイムで較正を行うものでもよいし、予め凡その視差を算出して決定しておくものでもよい。なお、視差較正手段は、上下だけでなく、左右や斜め方向、前後方向についても較正可能である。
【0016】
本発明の調光装置において、視差較正手段は、ユーザの眼球の瞳孔位置を検出する瞳孔センサを更に備えることが好ましい。瞳孔センサを備えることにより、ユーザの眼球の瞳孔位置を検出でき、検出した情報に基づき、高精度で視差を較正することが可能となる。
本発明の調光装置において、視差較正手段は、外界の物体と第1液晶ディスプレイとの距離を算出できる距離センサを更に備えることが好ましい。距離センサを備えることにより、外界の物体と第1液晶ディスプレイとの距離を検出でき、検出した情報に基づき、高精度で視差を較正することが可能となる。
【0017】
本発明の調光装置は、イメージセンサの前方に配置される透過型の第2液晶ディスプレイと、第2液晶ディスプレイの画素毎の透過率を制御する第2透過率制御手段を更に備えることが好ましい。
第2液晶ディスプレイを備えることにより、イメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係の把握が容易となる。また、第2透過率制御手段を備えることにより、第2液晶ディスプレイの透過率を変更することで、イメージセンサがハイダイナミックレンジ映像を撮影することが可能となる。
【0018】
本発明の調光装置は、第1液晶ディスプレイの透過率が調整された箇所の周囲に生じるボケを補正する画像補正手段を備えることが好ましい。
第1液晶ディスプレイにより遮蔽マスクが生成され透過率が調整された場合、ユーザが第1液晶ディスプレイを通して見た外界よりも手前に遮蔽マスクが生成されるため、必然的にボケが発生する。画像補正手段を備えることにより、かかる状態を改善することができる。画像補正手段は、ボケの生じる箇所を逆演算(逆畳み込み)することにより行う。具体的には、ボケを生じさせる点拡がり関数PSFを推定し、目的の透過率制御画像に対してPSFの逆畳み込みを行った事前補正画像を算出する。この事前補正画像を第2液晶ディスプレイに表示することで、PSFの畳み込みの影響を受けた結果、目的の透過率制御画像に近いパターンがイメージセンサに撮影される。逆畳み込みには、ウィーナーフィルターを用いる手法や機械学習による手法が用いられる。なお、PSFは厳密には画素あるいはエリアごとに異なるので、エリアごとに事前補正してそれらを補間・合成して事前補正画像を得る。
【0019】
本発明のスマートサングラスは、サングラス本体に、上記の何れかの調光装置が設けられ、第1液晶ディスプレイが、サングラス本体の眼前の位置に配置される。
サングラス本体は、耳掛け部や鼻掛け部を備える公知のサングラスと同様の構造であることが好ましい。公知のサングラスのレンズ部に相当する位置に第1液晶ディスプレイが配置されるように、調光装置が設けられる構造である。かかる構造とされることにより、視覚過敏症などを持つユーザが日常的に着用し、視覚に受ける刺激を効果的に低減することが可能となる。
【発明の効果】
【0020】
本発明の調光装置によれば、高輝度部分を暗く調整しながらも、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しないといった効果がある。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0023】
図1は、実施例1の調光装置の機能ブロック図を示している。
図1に示すように、調光装置1は、イメージセンサ20、画像補正手段21、透過型の液晶ディスプレイ(31,32)、視差較正手段40、及び透過率制御手段(70,71)を備える。また、視差較正手段40は、距離センサ50及び瞳孔センサ60を備える。
イメージセンサ20は、液晶ディスプレイ32を通して撮影することにより、視差はあるものの、ユーザの眼球11が液晶ディスプレイ31を通して観察する外界と同様の映像を撮影することができる。透過率制御手段71は、イメージセンサ20が取得した画像に基づき、液晶ディスプレイ32の透過率を変化させることができる。これにより、ハイダイナミックレンジ映像を撮影することもできる。
視差較正手段40は、ユーザの眼球11とイメージセンサ20の視差を算出し、算出した視差に基づき液晶ディスプレイ31に表示する画像の較正を行うものである。距離センサ50は、外界の物体8と液晶ディスプレイ31との距離を検出するものであり、瞳孔センサ60は、ユーザの眼球11の瞳孔位置を検出するものである。
【0024】
透過率制御手段70は、画像中の輝度情報に基づき、液晶ディスプレイ31を制御することで、液晶ディスプレイ31の透過率を画素毎に調整するものであり、例えば暗い部分はそのままで、明るい部分のみを暗くするといった調整が可能である。あるいは、視界の中でより重要な部分を明るくし、重要でない部分を暗くすることもできる。
このように、イメージセンサ20により撮像された画像は、視差較正手段40により、ユーザの眼球11とイメージセンサ20の視差が較正された後、透過率制御手段70により透過率が画素毎に調整され、液晶ディスプレイ31に反映される。
画像補正手段21は、液晶ディスプレイ31の透過率が調整された箇所の周囲に生じるボケを補正するものである。
【0025】
図2は、実施例1の調光装置の構成イメージ図を示している。
図2に示すように、調光装置1の筐体12には、シーンカメラ2a、デプスカメラ5、瞳孔検出カメラ6及び液晶ディスプレイ(31,32)が設けられている。なおここでは図示していないが、筐体12には、画像補正手段21、視差較正手段40及び透過率制御手段(70,71)として機能するコンピュータが更に設けられ、シーンカメラ2a、デプスカメラ5、瞳孔検出カメラ6及び液晶ディスプレイ(31,32)と接続されている。
シーンカメラ2aはイメージセンサ20として機能するものである。シーンカメラ2a及び液晶ディスプレイ32は、ユーザの眼球11との視差を最小限に止めるため、ユーザの前額部など眼球11に近い場所に設けられる。
【0026】
デプスカメラ5は、奥行き情報を取得する深度センサを内蔵したカメラであり、距離センサ50として機能するものである。デプスカメラ5には、公知のデプスカメラを利用可能である。
瞳孔検出カメラ6は瞳孔センサ60として機能するものである。瞳孔検出カメラ6は、ユーザの眼球11の瞳孔位置を検出することで、シーンカメラ2aとユーザの眼球11との縦視差の算出に利用するものである。
【0027】
図3は、視差イメージ図であり、(1)はシーンカメラにより撮像された画像、(2)はユーザから見えるディスプレイ表示イメージを示している。画像中における物体8aは「クリスマスツリー」、物体8bは「雪だるま」である。
図3(2)に示すユーザの眼球から見えるディスプレイ表示イメージ9bでは、物体8aの位置12aと物体8bの位置12bが略同じ高さとなっている。しかしながら、調光装置1ではシーンカメラ2aはユーザの眼球11よりも高い位置に設けられているため、
図3(1)に示すシーンカメラ2aにより撮像された画像9aでは、物体8aの位置12aよりも、手前に存在する物体8bの位置12bの方がやや低い位置に撮像されている。
このような視差を、視差較正手段40を用いて較正するものである。
【0028】
図4は、遮蔽マスクの生成説明図を示している。
図4に示す調光装置10は、ユーザの眼球11の代わりに、アイカメラ2bを用いた構成となっている。シーンカメラ2aには、レンズ22a及び画像検出器23aが設けられ、アイカメラ2bには、レンズ22b及び画像検出器23bが設けられている。
まず、矢印14aに示すように、シーンカメラ2aとアイカメラ2bのビューを確実に重ね合わせ、正確なオクルージョンパターンを生成する。次に、矢印14bに示すように、入射光線が液晶ディスプレイ31の画素u(u,v)で遮られてx(x,y)点が暗くなるようにする。
【0029】
図5は、遮蔽マスクの生成イメージ図であり、(1)はシーンカメラにより撮像された画像、(2)はユーザから見た透過率調整前のディスプレイ表示イメージ、(3)は遮蔽マスクイメージ、(4)はユーザから見た透過率調整後のディスプレイ表示イメージを示している。なお、遮蔽マスクとは、透過率制御された状態の液晶ディスプレイを指し、ディスプレイ表示イメージとは、液晶ディスプレイと背景が重ね合わせて表示された状態のことを指している。
図5(1)に示すように、シーンカメラ2aにより撮像された画像9a中には、物体(8a,8b)が撮像されている。また、
図5(2)に示すように、ユーザから見た透過率調整前のディスプレイ表示イメージには、物体(8a,8b)が表示されている。
図5(1)及び(2)の何れにおいても、物体8aは鮮明に表示されているが、物体8bについては明るさが強く、見えづらい表示となっている。ここではこれら2つの物体(8a,8b)に着目して遮蔽マスクの生成の説明を行う。
【0030】
シーンカメラ2aは、液晶ディスプレイ32を通して撮影することにより、ユーザの眼球11が液晶ディスプレイ31を通して観察する外界と同様の画像9aを撮影することができる。しかしながら、前述のように、シーンカメラ2aとユーザの眼球11とでは縦視差が存在するため、デプスカメラ5を用いて液晶ディスプレイ31と物体(8a,8b)の距離を検出し、瞳孔検出カメラ6を用いてユーザの眼球11の瞳孔位置を検出し、物体との距離及び瞳孔位置から、視差較正手段40を用いてリアルタイムで視差を較正する。
次に、透過率制御手段70は、較正された画像9a中の物体(8a,8b)の明るさを算出し、それぞれの明るさに応じて、透過率を調整するための遮蔽マスクを生成する。
図5(3)に示す遮蔽マスクイメージ9cでは、物体8bと略同形状に遮蔽されている。これに対して、物体8aについては遮蔽されていない。これは、透過率制御手段70において、画像9a中の物体8aの明るさが所定の閾値を下回ると判断されたことに基づく。また仮に、物体8aよりも明るく、かつ物体8bよりも暗い物体が画像中に存在し、当該物体の明るさが所定の閾値を下回ると判断されない場合には、当該物体の位置についても遮蔽がなされるが、物体8bに該当する位置よりも、透過率が高く調整されることになる。
【0031】
遮蔽マスクイメージ9cに示す遮蔽マスクを、液晶ディスプレイ31の背景の実世界と重ね合わせて表示したものが、
図5(4)に示すユーザから見た透過率調整後のディスプレイ表示イメージ9dである。
図5(4)に示すように、ディスプレイ表示イメージ9dでは、物体8aについては、元画像と同じく鮮明な表示がなされ、かつ物体8bについても遮蔽マスクが施されたことにより、鮮明に表示されている。
【0032】
ここで、遮蔽アルゴリズムについて説明する。
図6は、調光前後の光量の関係を示すグラフであり、縦軸は目標光量、横軸はオリジナルの光量を示している。応答曲線の勾配は、液晶の透過率を表している。
図6に示すように、元画像では、勾配1の直線であり、オリジナルの光量と目標光量は同じである。オリジナルの光量が増加すると、目標光量についても同様に増加する。また、線形調光は、勾配0.5の直線であり、オリジナルの光量に対して、目標光量は1/2(半分)である。オリジナルの光量が増加すると、目標光量については、元画像よりも緩やかに増加する。
これに対して、実施例の遮蔽アルゴリズムでは、オリジナルの光量が増加すると、目標光量については放物線状に増加する。すなわち、最も低い強度で無変調関数に接線し、最も高い強度で線形変調関数と交差する。
図6に示す実施例の関数は、光量が最小値(0)のときに曲線の傾きが1であり、透過率が1となり、一方、光量が最大値(4000)のときに曲線の傾きが0であり、透過率が1/2となる放物線を描く。
【0033】
透過率制御の手順について説明する。
図10は透過率制御フロー図を示している。
図10に示すように、まず、イメージセンサ20で変調前の画像を撮影する(ステップS01)。次に、視差を考慮して、撮影した画像をユーザからの視点に変換した変換後画像(=E)を生成する(ステップS02)。上述の数1の条件を満たすように、変換後画像の輝度を変調して目標画像(=E´)を生成する(ステップS03)。目標画像を変換後画像で除して画素ごとに透過率を算出する(ステップS04)。算出した透過率を満たすための液晶ディスプレイ31への入力画像を算出する(ステップS05)。算出した入力画像を液晶ディスプレイ31に入力する(ステップS06)。
なお、ステップS05において、液晶ディスプレイ31の画素値と透過率の関係は予め求めておく。本実施例では離散的に計測してシグモイド関数で近似している。
【0034】
次に、画像補正手段について説明する。
図7は、画像補正の説明図であり、(1)は補正前の遮蔽マスク、(2)は補正後の遮蔽マスクを示している。
ユーザが液晶ディスプレイ31を通して、外界を見た場合、液晶ディスプレイ31は外界よりも手前に存在するため、液晶ディスプレイ31により生成される遮蔽マスクは、そのままでは遮蔽部位の輪郭がボケてしまうという問題がある。すなわち、
図7(1)に示すように、補正前の遮蔽マスクイメージ91では、矩形状の遮蔽部位15aと円形状の遮蔽部位15bが生成されているが、ユーザから見ると遮蔽部位15aの輪郭16aと遮蔽部位15bの輪郭16bは、ボケてしまうのである。
【0035】
そこで、画像補正手段21を用いて、ユーザから見た場合に、遮蔽部位の輪郭がボケないように補正を行う。具体的には、画像補正手段21は、ボケを生じさせる点拡がり関数PSFを推定し、目的の透過率制御画像に対してPSFの逆畳み込みを行った事前補正画像を算出する。この事前補正画像を液晶ディスプレイ32に表示することで、PSFの畳み込みの影響を受けた結果、目的の透過率制御画像に近いパターンがイメージセンサ20に撮影される。本実施例では、逆畳み込みにはウィーナーフィルターを用いる手法が用いられている。なお、PSFは厳密には画素あるいはエリアごとに異なるので、エリアごとに事前補正してそれらを補間・合成して事前補正画像を得る。
画像補正手段21による補正が行われた結果、
図7(2)に示すように、遮蔽マスクイメージ92では、遮蔽部位15aの輪郭16aと遮蔽部位15bの輪郭16bは、何れも鮮明に表示されている。
【0036】
図8は、実施例1の調光装置の使用イメージ図であり、(1)はシーンカメラにより撮像された画像、(2)は遮蔽マスクイメージ、(3)はユーザから見た透過率調整後のディスプレイ表示イメージ、(4)は線形調光による透過率調整後のディスプレイ表示イメージを示している。何れも物体8cは「土偶」、物体8dは「雪だるま」である。
図8(1)に示すように、画像90aでは、物体8cが「土偶」であることは視認できるが、物体8dについては、明るさが強く「雪だるま」であることが判別できない状態となっている。
図8(2)に示すように、遮蔽マスクイメージ90cは、画像90a中の各部の明るさに応じて遮蔽マスクを生成したものである。ここでは、物体8cと物体8dの何れの箇所にも遮蔽マスクが生成されているが、物体8cの箇所よりも物体8dの箇所の方がより透過率を低下させるように遮蔽マスクが生成されている。
【0037】
図8(4)に示す線形調光による透過率調整後のディスプレイ表示イメージ90eでは、ディスプレイ全体につき、一様に調光されているため、物体8dについては「雪だるま」であることが判別できる状態となっているが、その反面、物体8cについては、暗くなり過ぎ、「土偶」であることが判別できない状態となっている。
これに対して、
図8(3)に示す透過率調整後のディスプレイ表示イメージ90dでは、物体8cが「土偶」であることが視認でき、かつ物体8dについても「雪だるま」であることが視認できる状態となっている。また、物体(8c,8d)以外の箇所についても、高輝度部分は暗く調整され、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しない表示が実現されている。
【0038】
このように、オクルージョン無効な液晶ディスプレイ32を介してシーンカメラ2aにて撮影した画像から、明るい部分を抽出し、この明るい部分をより暗くする処理を行った上で、オクルージョン有効な液晶ディスプレイ31に映し出し、ユーザは、このオクルージョン有効な液晶ディスプレイ31を通して、シーンを見ることで、暗い部分はそのまま、明るい部分は暗くする処理がなされた画像を重ねてみることができる。