(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
<本発明に係る一形態を得るに至った経緯>
従来の映像表示装置では、
図16(a)のように、パネル歪み(たわみ)により、パネルと視差バリア間の間隔が画面位置によって変化することとなり、適視距離が画面位置でかわってしまうことがあるという課題がある。特に、画面サイズが大きいほど、パネル歪みは大きくなる傾向がある。液晶パネルの場合、その液晶部の厚さが1,2mm程度であり(1mmより小さいものもあり)、パネル歪みが発生しやすくなる。例えば、画面中心位置でバリアとパネル間の間隙を調整した場合において、特に大画面パネルのときには、画面端が融像しないことが良く発生する。
【0012】
これを解決する方法としては、
図16(b)のようにパネルと視差バリア間に均一の厚みを有する透過率の高いガラス板等を入れ、パネルとガラス、バリアを互いに接着してパネルを押さえ、パネルとバリア間の間隙が一定になるようにすることでパネルの歪みを抑えることが挙げられる。
【0013】
しかし、パネルと視差バリア間に均一の厚みと透過率の高いガラス板等を入れて矯正をした場合、適視距離に応じてパネルと視差バリア間に入れるガラス板の厚みを変更する必要が生じる。また、パネルと視差バリア間に入れられたガラス板等の透過率の影響を受け、光の明るさ低下や拡散によるぼけ・クロストークの助長を招く可能性が高い。さらに、
図16(b)に示されるように、透過率の高いガラス板等を入れてパネルを押さえたとしても、最端の画素と開口部が
図17のような関係にあるとき、適視距離における画面中心で中心視差画像が集光しない現象が発生する。
【0014】
そこで、以下に説明する各実施形態では、パネル歪みが発生したとしても、適応的な制御を行うことで、適視位置において正しく融像できるようにする映像表示装置について説明する。
【0015】
まず、第1実施形態では、所定の歪評価画像を使って推定された、または所定のセンサを使って測定された、パネルの領域内のパネル歪みをもとに映像分離手段である視差バリアのピッチを適応的に制御する方法について説明する。
【0016】
第2実施形態では、所定の歪評価画像を使って推定された、または所定のセンサを使って測定された、パネルの領域内のパネル歪みをもとに、映像表示手段の画素ピッチを含む視差画像配置を適応的に制御する方法について説明する。
【0017】
第3実施形態では、所定の歪評価画像を使って推定された、または所定のセンサを使って測定された、パネルの領域内のパネル歪みをもとに歪みが所定の許容レベルかどうかの判断を行い、許容レベルを超えた場合に映像分離手段である視差バリアのピッチを適応的に制御するについて説明する。
【0018】
第4実施形態では、所定の歪評価画像を使って推定された、または所定のセンサを使って測定された、パネルの領域内のパネル歪みをもとに歪みが所定の許容レベルかどうかの判断を行い、許容レベルを超えた場合に映像表示手段の画素ピッチをもとに視差画像配置を適応的に制御する方法について説明する。
【0019】
第5実施形態では、映像分離手段としてレンチキュラーレンズ方式を用い、レンズピッチや画素ピッチを調整する代わりにレンズ曲率を調整する例についても説明する。
[第1実施形態]
図1から
図7を用いて第1実施形態について説明する。
図1は、第1実施形態に係る映像表示装置の構成を示し、
図2は、第1実施形態に係る映像表示装置の変形の構成を示す。また、
図3は、
図2の映像表示装置において、撮影装置を使ってパネル歪みを検出する際に使用する歪評価画像例を示す。
図4は、5視差をもつ画像で真ん中の位置にあたる第3視差のみが全白画像で他の視差画像が全黒画像を評価画像とした場合に表示パネルの歪みがあるかどうかを模式的に示した図である。
図5は、
図4と同じように5視差をもつ画像で真ん中の位置にあたる第3視差のみが全白画像で他の視差画像が全黒画像を用いた場合にパネル歪みがある領域と所定距離での見え方の関連を示す図である。また、
図6はバリアピッチ調整の例を模式的に示す図であり(画面端が画面中央に対して観察者よりも奥に引っ込んでいる場合)、
図7は、バリアピッチ調整とパネル歪み(所定歪評価画像により推定された領域の歪み)との関連を模式的に示す図である。
【0020】
図1に示されるように、本実施形態の映像表示装置は、初期調整手段105、映像表示手段100、映像分離手段101、表示回路107、複数視差画像108、バリア制御回路106、面歪みセンサ104、適応ピッチ調整手段103を備える。
【0021】
初期調整手段105は、視聴情報(適視距離、視差数、サブ画素ピッチ、バリアとパネル間距離、眼間距離、設計バリアピッチ、開口部幅など)をもとに映像分離手段101の初期調整値(映像分離手段101の位置、開口幅や遮光幅などの値を含む。)を決定する。
【0022】
映像表示手段100は、表示パネル100aを含んで構成され、複数視差画像を表示する。
【0023】
表示回路107は、複数視差画像108を映像表示手段100の表示パネル100aの画面上に表示させる。
【0024】
映像分離手段101は、映像表示手段100の表示パネル100aからの画像の光を透過する透過部と光を遮断する遮光部とを有する。
【0025】
映像分離手段101は、表示パネル100aに対向して配置されており、表示パネルからの光を、透過や遮蔽をして(光学的に分離して)、観察者が適視位置において左眼に入射する視差画像と右眼に入射する視差画像とを融像視できるようにする。なお、パララックスバリアは、「視差バリア」または、単に「バリア」とも呼ばれる。
【0026】
バリア制御回路106は、初期調整手段105または適応ピッチ調整手段103の指示に基づいて、映像分離手段101と表示パネル100a間の距離、映像分離手段101の位置、映像分離手段101の開口幅や遮光幅などを制御する。これにより、隣り合う開口部の中心間の距離(バリアピッチ)も制御されることとなる。
【0027】
面歪みセンサ104は、表示パネル100aの領域毎の歪みを検出する。
【0028】
適応ピッチ調整手段103は、面歪みセンサ104が検出した領域毎のパネル歪みを入力とし、入力された領域毎のパネル歪みΔdiに応じて対応する領域のバリアピッチphiを補正する。
【0029】
なお、面歪みセンサ104の例としては、面歪みを3次元的に検出できるレーザ計測で測定してもよいし、縞等の投影パターンを撮影してパネル面歪みに応じて発生するパターンのゆがみより歪みを測定するパターン画像解析を用いてもよい。また、LED光源のような照明光を対象物体に照射して戻ってくるまでの時間TOF(Time Of Flight)を計測することで距離を測定するTOF距離測定や、電磁力等を用いて3次元位置測定を行う距離測定を使ってもよい。
【0030】
このような
図1の映像表示装置に対して、
図2の映像表示装置は、カメラで撮影した画像を用いてパネル歪を検出するという構成を備える点が異なる。
【0031】
図2のカメラ301は、映像表示装置上に表示された所定の歪評価画像を、設計した適視位置とその適視位置の前後の位置で撮影する。パネル歪検出手段102は、撮影された画像をもとにパネル歪を検出する。
【0032】
図3から
図5がカメラを用いてパネル歪を検出する場合のパネル歪み検出のしくみを模式的に示す。
【0033】
図3は、使用する視差評価用画像例を示す。ここで、歪評価画像は、n視差の場合、所定のk(kは1以上n以下の整数である。)番目の視差画像のみ全白画像(画面全体がハイライト領域に相当する輝度をもつ。このハイライト領域は例えばRGBが8ビット表現の場合、輝度255をもつ)で表現されており、他の視差画像j(jは1以上n以下の整数のうち、kを除いたすべての整数である。)は全黒画像(画面全体がシャドウ領域に相当する輝度をもつ、例えばRGBが8ビット表現の場合、輝度0をもつ)で表現されている。
【0034】
これ以外にも、k番目の視差画像のみ画面全体がR=0,G=255,B=0の値を持つ画素で表現されており、他の視差画像jは画面全体がR=0,G=0,B=0の値を画素で表現される例を用いても良いし、この2つの差を彩度または色相(k番目の視差画像のみ画面全体がR=0,G=0,B=255の値を持つ画素で表現されており、他の視差画像jは画面全体がR=255,G=0,B=0の値を画素で表現される例)に持たせてもよい。このように所定の適視距離Dcにおいて、k視差画像が観察できる適視位置Cで見えるはずの画像と、それ以外の位置で見える画像の差がわかりやすい画像で構成される歪評価画像をパネル歪み検出用に用いる。
図4は、パネルに歪みがあるかどうかを模式的に示すものであり、ここでは
図3の歪評価画像においてn=5(5視差)、k=3、j=1,2,4,5としており、第3視差画像のみが全白画像になっており、他の視差画像が全黒画像になっている例を用いている。
【0035】
図4上図のように5視差の中で、真ん中の第3視差画像のみが全白画像であった場合、下図のように、設計された適視距離Dcにおいてパネル中心と視差バリア中心を結んだ軸方向に第3視差画像が分離して観察できる適視位置Cが配置される。
【0036】
ここで間隙dcは、設計されたパネルと視差バリア間の間隙を示すものであり、パネルに歪みがなければ、パネル全面で均一の値になる。その場合、観察位置Cでは右上図のように全面白に近い画像が観察されることとなる。
【0037】
それに対して、パネル歪みがある場合、その領域ではパネルとバリア間の間隙がdcと異なる値を示すこととなり、その領域にある第3視差画像がCに届かなかったり、他の視差画像と混じったりした画像が観察され、グレー画像や黒領域が観察されることになる。
【0038】
右下図は、左右に歪みがある例を模式的に示す。つまり、
図4のような歪評価画像を用いる。パネルとバリア間の間隙が本来の設計どおりに均一であれば、1つの視差方向(第3視差)のみが分離・観察できる位置が存在する。その位置において見える画像をもとにパネル歪みの有無を判断することができるのである。
【0039】
さらに、
図5は、所定の歪評価画像を用いてパネル歪みがある領域と所定距離での見え方の関連を示す。歪評価画像としては
図4と同じものを用いる。
図5で、領域Cがパネル歪みがなく設計どおりの間隙dcで配置されたパネル領域を示し、領域3が位置Cの領域Cより前に反っており設計された間隙よりも小さい間隙d3= dc+Δd3(Δd3<0.0)で配置されているパネル領域を、そして領域2が位置Cの領域Cよりも後ろに反っており間隙d2が設計されたdcよりも大きくなった(d2=dc+Δd2)パネル領域を示す。
【0040】
そして、間隙dcに対して設計された適視距離をDcとすると、
図4の歪評価画像では、パネル中心とバリア中心を結んだ軸方向で距離Dcに相当する位置Cで適視距離の1つが配置される。
図4で示したように、パネル歪みがない場合にはCで観察される画像は全面白に近い画像になるが、パネル歪みがある場合は、そのようにはならない。
【0041】
図5のようにパネル歪みがある場合は、領域Cに含まれる第3視差画像の画素がCで目に届くことから、右真ん中図のように、位置Cでは画面中心が白くなり、左右が黒に近い画像となる。
【0042】
それに対して、領域2では、間隙d2が設計値dcより大きくなっていることから、領域2に含まれる第3視差画像分は位置Cで集光せず、それよりも後ろの位置にある位置C2(適視距離Dc2=Dc+ΔD2)で集光することとなる。また、領域3では、間隙d3が設計値dcより小さくなっていることから、領域3に含まれる第3視差画像分は位置Cで集光せず、それよりも前の位置にある位置C3(適視距離Dc3=Dc+ΔD3,ΔD3<0.0)で集光することとなる。その結果、位置C2で観察される画像は右下図のように左側のみが白くなり、他の部分は黒くなる傾向があり、位置C3で観察される画像は右上図のように右側のみが白くなり、他の部分が黒くなる傾向がある。このように、設計されたパネルとバリア間の間隙dcよりもパネル歪みΔdにより間隙が小さくなった場合には、対応する領域の適視距離は短くなり、設計されたパネルとバリア間の間隙dcよりもパネル歪みΔdにより間隙が大きくなった場合には、対応する領域の適視距離は長くなる。そして、このようなパネル歪みの傾向に応じて、特定の視差画像のみがハイライト(白)になっている歪評価画像(例として
図3,4)を用いた場合に、設計された適視距離でその視差画像が分離して見えるはずの位置Cで観察した場合、その観察画像において白く見える領域が歪みにより変化する。その変化は、パネル歪みΔd3により間隙が小さくなった場合には、適視距離Dcよりも前の観察距離Dc3=Dc+ΔD3(ΔD3<0.0)で観察すると対応する領域が白くなる。そして、パネル歪みΔd2により間隙が大きくなった場合には、適視距離Dcよりも後ろの観察距離Dc2=Dc+ΔD2で観察すると対応する領域が白くなる。このように、歪評価画像を使って、所定適視距離Dcにおいて分離確認すべき視差画像の適視位置の1つCとその前後距離での対応する位置C2,C3で観察される画像を用いて、パネル歪みがある領域の有無およびそのパネル歪み量を抽出できる。
【0043】
図6は、得られたパネル歪みにより視差バリアピッチを適応的に変化・制御させる方法を模式的に示した図であり、この図ではパネルの真ん中よりも画面の左右端が奥に引っ込んでおり、パネルの真ん中から左右端に行くに連れてパネルとバリア間の間隙が広がっている場合を示す。この場合、画面中心では設計された間隙dcおよびバリアピッチphcが適用される。それに対して、画面端では、設計された間隙より大きな間隙dに対して、式(1)から適視距離DはD>Dcと長くなる。適視距離D→Dcとなるようにするためには、式(2)から画面端でのバリアピッチphを小さくする必要がある(phc>ph)。なお、下記式(1)、(2)で、Eはパネル歪のない場合の眼間距離を、E’はパネル歪により変化した眼間距離を、shはサブ画素ピッチを、nは視差数を表す。なお、phc>phとなるバリアピッチphに対して、式(1)でD→Dcとなるようにすると、眼間距離E’はE’<Eのように変化することとなるが、本発明では、眼間距離もパネル歪に応じて変化することを許容して、集光距離(または集光位置)の変動をバリアピッチ変化(と眼間距離変化)で抑制することで見やすくすることとしたものである。
【0045】
【数2】
図6では中心の間隙dcから画面端の間隙dへと向かって緩やかに間隙が増加している。このことを考慮して、バリアピッチも画面中央における設計値phcから画面端の補正後のバリアピッチphへ向けて緩やかに縮小させることとなる。
【0046】
図20に、画面端で間隙が増加した場合に、バリアピッチを縮小させる例を模式的に示す。
【0047】
図7は、さらにこの制御手続きを明確にしたものであり、
図5における3つの領域を表示パネルが持つ場合に対して示した。設計値の間隙dc,適視距離Dcをもつ領域Cにおいては、バリアピッチは設計されたバリアピッチphcが適用される。適視距離がDcより前になる領域3に対して、その適視距離Dc3=Dc+ΔD3,ΔD3<0.0より変化分ΔD3を求め、式(3)より領域3における間隙の変化量Δd3 ( Δd3<0.0 ) を求める。そして、対応する領域3での適視距離がDcになるようにバリアピッチの変化量Δph3を式(4)より求める。領域3では適視距離D<Dcであるため、対応する間隙d3<dcになり、対応するバリアピッチph3はph3>phcとなる。
【0048】
一方、適視距離がDcより後ろになる領域2に対して、その適視距離Dc2=Dc+ΔD2,ΔD2>0.0より変化分ΔD2を求め、式(3)より領域2における間隙の変化量Δd2 ( Δd2>0.0 ) を求める。そして、対応する領域2での適視距離がDcになるようにバリアピッチの変化量Δph2を式(4)より求める。領域2では適視距離D>Dcであるため、対応する間隙d2>dcになり、対応するバリアピッチph2はph2<phcとなる。
【0050】
【数4】
このように、適視距離の変化分ΔDiを対応するパネル領域iより求め、まず推定される間隙の変化分Δdiを式(3)より求め、設計適視距離Dc,設計間隙dc,推定された間隙変化分Δdiを使って、式(4)より、領域iの適視距離DiがDcになるようにバリアピッチ変化分Δphiおよびバリアピッチ補正量phiを求めるのである。
【0051】
このバリアピッチ補正処理は、所定適視位置での観察画像の変化が大きい部分をもとに、パネルを切り分けることで、パネルを複数の領域に分割する。そして、分割した領域に対してそれぞれバリアピッチの補正をする。このバリアピッチの補正では、例えば、分割された領域間でゆるやかにバリアピッチが変化するように歪みに対して補正されたバリアピッチを補間するか線形近似(なめらかな連続性が保持された関数による近似でもよい)することとなる。
【0052】
しかし、予め表示パネルを所定の領域数kkkで水平方向に分割し、各領域での適視距離の変動分ΔDiを求めて各領域でのバリアピッチ補正を行い、その近似処理することとしてもよい。また、パネル画面中心、パネル画面の左右端の3箇所のように大まかに求めることでもよい。なお、分割された各領域での適視距離の変動分ΔDiは、領域中心に対して算出しても良いし、各領域内での変動分の平均値をその領域iでの適視距離の変動分ΔDiとしてもよい。また、各領域内での変動分の最大値をその領域iでの適視距離の変動分ΔDiとしてもよい。
【0053】
なお、
図2のようなカメラ301が撮影した所定の歪評価画像をもとにした画像の見えによる判定をパネル歪検出手段102が行う代わりに、レーザ計測等の面歪みを3次元的に検出できるセンサを使って、予めパネル表面上の歪みを求める変形例を採用してもよい。その際、変形例では、レーザ計測以外に画像や赤外線による距離測定データを用いてもよい。
【0054】
また、本実施形態では映像表示手段100(表示パネル100a)としてプラズマディスプレイや液晶ディスプレイやELディスプレイ等を用いてもよい。さらに、映像分離手段(パララックスバリア)を映像表示手段100の前面に配置する方式を例に説明したが、液晶ディスプレイパネルの場合はそのパネルとバックライトの間に映像分離手段であるパララックスバリアを配置する方式を用いた場合でも同じように適用することができる。
[第2実施形態]
図8A、8B、9に第2実施形態に係る映像表示装置を示す。
図8A、8Bは、第2実施形態における映像表示装置の構成を示す。
図9は、第2実施形態において画素ピッチ調整とパネル歪み(所定歪評価画像により推定された領域の歪み)との関連を模式的に示す。
【0055】
この実施形態は、第1実施形態でパネル領域iの歪みΔdiに応じてその領域に対応するバリアピッチを制御していたのに対して、Δdiに応じて対応する表示パネル100aのサブ画素ピッチshを制御することが特徴である。
図8A、8Bにおいて、仮画素ピッチ計算手段202や画像ピッチ調整手段200がその処理を実施する。
【0056】
なお、
図8A、
図8Bの違いは、パネル歪みを検出する仕組みが異なるだけであり、
図8Aは、
図1同様、面歪みセンサ104がパネル歪みを検出する。これに対して、
図8Bは、
図2同様、パネル歪み検出手段102がカメラ301により撮影された歪評価画像を用いてパネル歪みを検出する。
【0057】
仮画素ピッチ計算手段202は、検出された領域毎のパネル歪みに基づいて、対応する領域における適切な仮画素ピッチを計算する。この計算された仮画素ピッチは理想的な値の画素ピッチであるが、表示パネル100aの構造上制約がある場合には、必ずしも計算通りの画素ピッチに調整できるとは限らない。
【0058】
画像ピッチ調整手段200は、計算された仮画素ピッチに基づいて、表示パネル100aの構造上仕様に照らして設定可能な画素ピッチを求め、求めた画素ピッチを視差配置制御手段201に送る。
【0059】
視差配置制御手段201は、受け取った画素ピッチを基に、表示パネル100aの各画素においてどの視差画像を配置すべきかの制御を表示回路107に対して行う。
【0060】
図9は
図7と同様に、
図5における3つの領域を表示パネルが持つ場合に対して示す。設計値の間隙dc,適視距離Dcをもつ領域Cにおいては、仮画素ピッチsshcは設計されたサブ画素ピッチshcが適用される。適視距離がDcより前になる領域3に対して、その適視距離Dc3=Dc+ΔD3,ΔD3<0.0より変化分ΔD3を求め、式(3)より領域3における間隙の変化量Δd3 ( Δd3<0.0 ) を求める。
【0061】
そして、対応する領域3での適視距離がDcになるように仮画素ピッチの変化量Δssh3を下記式(5)より求める。領域3では適視距離Dc3<Dcであるため、対応する間隙d3<dcになり、対応する仮画素ピッチssh3はssh3<sshcとなる。なお、ssh3<sshcとなる場合、D→Dcとなるようにすると、sshcにおける眼間距離Ecに対してssh3における眼間距離E’は、下記式(6)よりE’>Eのように変化することとなるが、第1実施形態の場合と同じように、眼間距離もパネル歪に応じて変化することを許容して、集光距離(または集光位置)の変動を画素ピッチ変化(と眼間距離変化)で抑制することで見やすくすることとしたものである。
【0062】
一方、適視距離がDcより後ろになる領域2に対して、その適視距離Dc2=Dc+ΔD2,ΔD2>0.0より変化分ΔD2を求め、式(3)より領域2における間隙の変化量Δd2 ( Δd2>0.0 ) を求める。そして、対応する領域2での適視距離がDcになるように仮画素ピッチの変化量Δssh2を式(5)より求める。領域2では適視距離D>Dcであるため、対応する間隙d2>dcになり、対応する仮画素ピッチssh2はssh2>sshcとなる。この場合も、sshcにおける眼間距離Ecに対してssh2における眼間距離E’は、式(6)でssh3→ssh2とおくことによりE’<Eのように変化することとなる。
【0064】
【数6】
このように、適視距離の変化分ΔDiを対応するパネル領域iより求め、まず推定される間隙の変化分Δdiを式(3)より求め、設計適視距離Dc,設計間隙dc,推定された間隙変化分Δdiを使って、式(5)より、領域iの適視距離DiがDcになるように仮画素ピッチ変化分Δsshiおよび仮画素ピッチ補正量sshiを求めるのである。
【0065】
この仮画素ピッチ補正処理も、第1実施形態と同様に、所定適視位置での観察画像の変化が大きい部分をもとに、パネルを切り分けることで、パネルを複数の領域に分割する。そして、分割した領域に対してそれぞれ仮画素ピッチの補正をする。この仮画素ピッチの補正では、例えば、分割された領域間でゆるやかに仮画素ピッチが変化するように歪みに対して補正された仮画素ピッチを補間するか線形近似(なめらかな連続性が保持された関数による近似でもよい)することとなる。
【0066】
図21に、画面端でパララックスバリア2と表示パネル100aとの間隙が増加した場合に、仮画素ピッチを拡大させる例を模式的に示す。
【0067】
しかし、予め表示パネルを所定の領域数kkkで水平方向に分割し、各領域での適視距離の変動分ΔDiを求めて各領域での仮画素ピッチ補正を行い、その近似処理することとしてもよい。また、パネル画面中心、パネル画面の左右端の3箇所のように大まかに求めることでもよい。なお、分割された各領域での適視距離の変動分ΔDiは、領域中心に対して算出しても良いし、各領域内での変動分の平均値をその領域iでの適視距離の変動分ΔDiとしてもよい。また、各領域内での変動分の最大値をその領域iでの適視距離の変動分ΔDiとしてもよい。
【0068】
ただ、表示手段であるパネルのサブ画素ピッチshは通常固定となるので、仮画素ピッチ計算手段202で得られた仮画素ピッチsshを調整する。
【0069】
例えば、仮画素ピッチ計算手段202においてある領域iにおいて、
仮画素ピッチsshi=sh×1.8
が得られたとする。この場合に画像ピッチ調整手段200は、1.8の小数点を四捨五入して2とし、
仮画素ピッチ(調整後)sshi=sh×2
と調整する。このような調整例を
図22に示す。
【0070】
このように画像ピッチ調整手段200は、仮画素ピッチ計算手段202で得られた各領域iでの仮画素ピッチsshiをサブ画素ピッチshと比較して、sshi = sh×t(t:整数)になるように調整する。
【0071】
そして、このsshiを各領域iでのサブ画素を視差画像配置する際の単位として視差配置制御手段201で視差配置制御を実施するのである。
【0072】
視差配置制御手段201による視差画像配置は通常、サブ画素単位で同じ画素位置における色成分(R,G,B)を視差画像の順番に従い配置して行う。
【0073】
この実施形態では、歪みにより分割された領域iにおける視差画像配置を行うサブ画素単位をその領域iに対して補正・調整されたサブ画素ピッチsshiで実施することとなるので、そのサブ画素ピッチsshiが非常に大きい場合には、対応する画面領域での視差画像の画素数(解像度)低下を招く可能性があるが、sshiが本来のサブ画素ピッチshに対して所定値より大きくならないように制限を掛けることでこの低下をある程度抑制ができる。
【0074】
なお、第1実施形態と同様に、カメラ301(
図2参照)が撮影した所定の歪評価画像をもとにした画像の見えによる判定をパネル歪検出手段102が行う代わりに、レーザ計測等の面歪みを3次元的に検出できるセンサを使って、予めパネル表面上の歪みを求めてもよい。その際、変形例では、レーザ計測以外に画像や赤外線による距離測定データを用いてもよい。
【0075】
また、本実施形態では映像表示手段100(表示パネル100a)としてプラズマディスプレイや液晶ディスプレイやELディスプレイ等を用いてもよい。さらに、映像分離手段(パララックスバリア)を映像表示手段100の前面に配置する方式を例に説明したが、液晶ディスプレイパネルの場合はそのパネルとバックライトの間に映像分離手段であるパララックスバリアを配置する方式を用いた場合でも同じように適用することができる。
[第3実施形態]
図10、11、12に第3実施形態に係る映像表示装置を示す。
図10は、第3実施形態に係る映像表示装置の構成を示し、
図12はその変形を示す。また、
図11は第3実施形態に係る映像表示装置におけるバリアピッチ調整判断を模式的に示す。本実施形態は、第1実施形態においてパネル歪検出手段102で得られたパネル歪み量を使ってピッチ調整判断を行うピッチ調整判断手段300を加えたものである。
【0076】
図11をもとに説明する。
図11では、5視差の例を示しており、
図5のように第3視差画像のみが全白画像であり、他の視差画像が全黒画像となっている視差評価用画像を用いた例を示す。
図11では、パネル領域4でのパネルと視差バリア間の間隙d4が、適視距離Dcとなるように設計されたパネルと視差バリア間の間隙dcより小さい場合を示す。
【0077】
この場合、
図5で示したように、本来設計された適視距離Dcにある位置Cで観察される画像は右下のように右側が黒くなり、一方、適視距離Dc<D4である観察距離D4の位置C4では右上のように右側が白くなる画像が観察される。ここで、位置C、C4はパネルとバリアの中心を結んだ軸方向に位置するものとする。このように、領域4でパネル歪みΔd4<0.0が発生しているが、下記の式(7)を満足する場合ピッチ調整処理を行うと判断を行う。ここで、Thはその判断しきい値を示しており、設計された間隙dcに対するパネル歪みΔd4の絶対値の大きさが所定値より大きい場合には、その領域での歪みが領域4にある画像の融像に影響を与えると考える。その逆に、設計された間隙dcに対するパネル歪みΔd4の絶対値の大きさが所定値より以下である場合には、その領域での歪みが領域4にある画像の融像に影響を与える可能性が小さいと考える。例えば、この判断しきい値Thは0.1とする。この判断をパネル内の発生した歪み領域全てに対して実施される。
【0078】
【数7】
このようなピッチ調整判断手段300を加えることで、歪みが小さい場合に適応的なピッチ調整処理を省略することができるというメリットを持つ。
【0079】
なお、この処理は式(7)を満足する領域のみを実施してもよい。また、画面内の歪み領域の大きさ最大値Δdmaxを式(8)で所定のしきい値と比較して、式(8)を満足する場合には、画面内でピッチ調整を実施しないと判断し、それ以外では式(8)を満足する領域のみ適応的なピッチ調整処理を実施してもよい。
【0080】
【数8】
なお、
図12ではこの変形例を示すが、第1実施形態の場合と同じように、カメラ301(
図2参照)が撮影した所定の歪評価画像をもとにした画像の見えによる判定をパネル歪検出手段102が行う代わりに、レーザ計測等の面歪みを3次元的に検出できる面歪みセンサ104のようなセンサを使って、予めパネル表面上の歪みを求める。そして、この値の設計された間隙dcに対する割合を式(7)や式(8)を使ってピッチ調整を行うかどうかの判断を行うものである。
【0081】
なお、変形例では、レーザ計測以外に画像や赤外線による距離測定データを用いてもよい。
【0082】
また、本実施形態では映像表示手段100(表示パネル100a)としてプラズマディスプレイや液晶ディスプレイやELディスプレイ等を用いてもよい。さらに、映像分離手段(パララックスバリア)を映像表示手段100の前面に配置する方式を例に説明したが、液晶ディスプレイパネルの場合はそのパネルとバックライトの間に映像分離手段であるパララックスバリアを配置する方式を用いた場合でも同じように適用することができる。
[第4実施形態]
図13に本発明の第4実施形態を示す。
図13は、第4実施形態に係る映像表示装置の構成を示す。
【0083】
パネル歪検出手段102は、第1実施形態の
図2で説明したのと同様に、パネル歪み検出手段102がカメラ301により撮影された歪評価画像をもとに画像の見え方によってパネル歪を検出する。
【0084】
なお、
図13には図示しないが、
図1で説明したようにレーザ計測等の面歪みを3次元的に検出できるセンサを使って予めパネル表面上の歪みを求めてもよい。この実施形態の特徴は、第2実施形態の映像表示装置に、パネル歪検出手段102で得られたパネル歪み量を使って仮画素ピッチ調整手段202の実施の有無判断を行う配置調整判断手段400を加えたものである。
この判断は第3実施形態と同様に
図11のように実施される。つまり、所定の視差評価用画像を用いて得られたパネルの特定領域4でのパネルと視差バリア間の間隙d4が、適視距離Dcとなるように設計されたパネルと視差バリア間の間隙dcより小さいかどうかで判断を行う。その判断は式(7)に従い行われ、設計された間隙dcに対する所定領域のパネル歪みΔd4の絶対値の大きさが所定値より大きい場合には、その領域での歪みが領域4にある画像の融像に影響を与えると考える。その逆に、設計された間隙dcに対するパネル歪みΔd4の絶対値の大きさが所定値より以下である場合には、その領域での歪みが領域4にある画像の融像に影響を与える可能性が小さいと考える。
【0085】
このような配置調整判断手段400を加えることで、歪みが小さい場合に適応的な画素ピッチ調整処理(画素ピッチ調整手段と視差配置制御手段も)を省略することができるというメリットを持つ。この判断処理は、第3実施形態と同様に、式(7)を満足する領域のみを実施してもよい。また、画面内の歪み領域の大きさ最大値Δdmaxが所定しきい値以下である場合には、画面内でピッチ調整を実施しないと判断し、それ以外では式(8)を満足する領域のみ適応的な画素ピッチ調整処理を実施してもよい。
【0086】
なお、第2実施形態の場合と同じように、カメラ301が撮影した所定の歪評価画像をもとにした画像の見えによる判定をパネル歪検出手段102が行う代わりに、レーザ計測等の面歪みを3次元的に検出できるセンサを使って、予めパネル表面上の歪みを求めてもよい。その場合、レーザ計測以外に画像や赤外線による距離測定データを用いてもよい。
【0087】
また、本実施形態では映像表示手段100(表示パネル100a)としてプラズマディスプレイや液晶ディスプレイやELディスプレイ等を用いてもよい。さらに、映像分離手段(パララックスバリア)を映像表示手段100の前面に配置する方式を例に説明したが、液晶ディスプレイパネルの場合はそのパネルとバックライトの間に映像分離手段であるパララックスバリアを配置する方式を用いた場合でも同じように適用することができる。
[第5実施形態]
これまで述べた各実施形態では、映像分離手段の例としてパララックスバリアを用いる例を説明したが、レンチキュラー方式を採用しても構わない。
【0088】
レンチキュラー方式では、それぞれ所定の方向に光を出射するためのレンチキュラーレンズを複数配列する。例えば、第1実施形態においてレンチキュラー方式を適用する場合には、個々のレンチキュラーレンズが載置された載置台をスライド移動させることによりレンズピッチを調整することが可能である。また、液晶等を用いてレンズを構成し、電圧をかけることでアクティブにピッチやレンズ曲率を制御することも可能である。
【0089】
なお、レンチキュラー方式において、パネル歪に対応する際に、レンズピッチや画素ピッチを調整する以外に、レンズ曲率を制御することでも対応が可能である。例えば、
図18(a)のようなレンチキュラーを分離手段に用いる場合、レンチキュラー部分の厚さt、レンチキュラー部分の材料の樹脂の屈折率η、曲率半径rの間には(式9)となるように設計されることが多い。
【0090】
さらに、合成された画像の観察者と、レンチキュラーの1ピッチ内に配置された複数n枚の視差画像間には
図18(b)のような幾何学的関係が成り立つ。そして、この
図18(b)より次の(式10)と(式11)が成立する。これらの式を(式9)に代入することから、曲率半径rは(式12)のように求めることができる。ここで、pはレンズ間のピッチを示し、Eは眼間距離を示す。またΔpは
図19に示されるように、1つのレンズにおいて隣り合う視差画素間の距離を示す。
【0091】
この式20を利用することで、
図19のようにパネル歪程度に応じて曲率半径rを制御することでパネル歪に対応することができる。
【0095】
【数12】
例えば、適視距離がD3の部分においては、パネルとレンズ間の距離が設計値より小さくなっており、適視距離がΔD3のように小さくなっている(ΔD3<0)。この場合は、-ΔD3だけ補正するようにレンズの曲率半径rh3を制御することとなる。その場合の曲率半径補正量Δrh3は
図20の上図のように正になる。一方、下図のように適視距離がD2の部分では、パネルとレンズ間の距離が設計より大きくなっており、適視距離がΔD2のように大きくなっている(ΔD2>0)。この場合も-ΔD2だけ補正するようにレンズの曲率半径rh2を制御することとなり、下図のようにその補正量Δrh2は負となる。以上のようにすることで、パネル歪によるパネルとレンズ間の距離が一定でない場合に、レンズの曲率半径を部分的に制御することで適視距離を均一にすることが可能となる。
【0096】
なお、このパネル歪に応じてrを部分的に変える方法は、本実施形態のようにパネル歪に対応するだけでなく、たとえば柱の外周面に付加されるような曲面パネルの場合に生じる適視距離の変動にも適用することができる。
[その他]
(1)上記実施形態において説明した本発明の映像表示装置では、視差画像を表示する映像表示手段100は、バックライト光源を用いる液晶パネルでも自発光するPDPや有機ELパネルでもよく、視差画像の画素列を表示できる表示手段であれば適用可能である。
【0097】
(2)また、カメラ画像1枚や2つ以上の複数カメラ画像を用いて頭部位置検出した結果と組合せることも可能である。これらのヘッドトラッキングやアイトラッキングと組合せることで、バリア間ピッチやパネルとバリア間距離等の調整をダイナミックに行うことが可能となる。また、画像を用いる以外に、LED光源のような照明光を対象物体に照射して戻ってくるまでの時間TOF(Time Of Flight)を計測することで距離を測定するTOF法や、電磁力等を用いて3次元位置測定を行う有線接続された手法を用いたトラッキングをすることも可能である。
【0098】
(3)また、所定のテストパターンを常に、視聴者撮影内に含めて表示してそのテストパターン部分の大きさや画素値のモアレ変化等をもとに幾何学測量をしてトラッキングする手法を用いることも可能である。
【0099】
(4)また、位置検出する際に、人物頭部の検出を前提としたが、人物全体像であっても、瞳孔や眼領域抽出を行い、その結果を用いることでもよい。
【0100】
(5)頭部位置に応じて複数視差画像の画素列配置を制御する際に、CPUやGPU等を用いてリアルタイム算出制御することも可能であるし、また予め用意されたLUTテーブルより選択して制御することも可能である。
【0101】
(6)また、ここでは、バリア形成位置やピッチ間隔は初期調整以外は固定として説明したが、バリア位置やバリアピッチをアクティブに変化させてもよい。この場合、電圧等をかけることで遮蔽と開口(光の透過率)を変化することができるようなデバイス(例えばTFT液晶パネルなど)をバリアとして用いることとなるが、複数視聴者の奥行き方向が同時に変化した場合にも対応が可能となる。また、本発明によるパネルを視聴される居間などの空間にセッティングする時点の調整時も固定のバリア位置やバリアピッチを用いる場合にも適用が可能である。
【0102】
(7)さらに、前記複数の画像列からの光を適視位置で視聴できるように分離するバリアによる実施形態を示したが、シリンドリカルレンズを配列したレンチキュラー板を用いて、そのレンズの屈折角度を制御することで適視位置に各視差画像を提示するレンチキュラー形成手段を用いても同じ効果を実現することができる。
【0103】
(8)上記実施形態では、歪評価画像を異なる撮影位置から撮影してパネル歪みを判断するとして説明したが、異なる撮影位置から撮影する代わりに、観察者が異なる位置から画像を観察し、パネルの歪みを定性的に判断してもよい。
[補足]
本実施形態は、以下の態様を含むものである。
【0104】
(1)実施形態に係る映像表示装置は、複数の視差画像を合成して表示パネルの画面上に表示する映像表示手段と、前記画面に対向して配置され、前記画面上に表示された各視差画像を光学的に分離する映像分離手段と、領域毎のパネル歪みに応じて、各領域における映像分離手段のピッチ量を制御する適応ピッチ調整手段とを備える。
【0105】
(2)(1)の映像表示装置において、さらに、前記検出された領域毎のパネル歪みの大きさをもとに、各領域においてピッチの調整を行うかどうかの判断を行うピッチ調整判断手段を備え、前記適応ピッチ調整手段は、前記ピッチ調整判断手段により、調整を行うと判断された領域に対して前記調整を行い、調整を行なわないと判断された領域に対しては前記調整を行なわないとしても構わない。
【0106】
この構成によれば、例えば、パネル歪みの大きさが所定の許容レベルを超えた場合にはピッチの調整し、同許容レベル以下の場合にはピッチの調整を行わないことで、ピッチの調整に関する処理を減らすことができる。
【0107】
(3)(1)の映像表示装置において、前記映像分離手段は、光を遮断する遮光部と光を透過する開口部とが一方向に沿って交互に配置されてなるパララックスバリアであって、前記適応ピッチ調整手段が制御するピッチ量とは、映像分離手段において隣り合う開口部の中心間の距離であるとしても構わない。
【0108】
(4)また実施形態に係る映像表示装置は、複数の視差画像を合成して表示パネルの画面上に表示する映像表示手段と、前記画面に対向して配置され、前記画面上に表示された各視差画像を光学的に分離する映像分離手段と、領域毎のパネル歪みに応じて、各領域における表示パネルの仮画素ピッチ量を計算する仮画素ピッチ計算手段と、計算された仮画素ピッチに基づいて、各領域における表示パネルの画素ピッチ量を、調整する適応ピッチ調整手段と、を備える。
【0109】
この構成によれば、特にパネル歪みに応じて、各領域における映像分離手段の画素ピッチ量を調整することにより、適視距離の変動を抑えることが可能となり、適視位置から観たときに画面内で融像しにくい領域を減らすことができる。
【0110】
(5)(4)の映像表示装置において、さらに、前記検出された領域毎のパネル歪みの大きさをもとに、各領域においてピッチの調整を行うかどうかの判断を行うピッチ調整判断手段を備え、前記適応ピッチ調整手段は、前記ピッチ調整判断手段により、調整を行うと判断された領域に対して前記調整を行い、調整を行なわないと判断された領域に対しては前記調整を行なわないとしても構わない。
【0111】
この構成によれば、例えば、パネル歪みの大きさが所定の許容レベルを超えた場合にはピッチの調整し、同許容レベル以下の場合にはピッチの調整を行わないことで、ピッチの調整に関する処理を減らすことができる。
【0112】
(6)(1)〜(5)のいずれかの映像表示装置において、前記表示パネルの領域毎の歪みを測定する面歪みセンサを有するとしても構わない。
【0113】
(7)(1)〜(5)のいずれかの映像表示装置において、異なる撮影位置にて前記画面上に表示された歪評価画像を撮影した複数の画像に基づいて、前記パネル歪みを検出するパネル歪検出手段を有するとしても構わない。
【0114】
(8)実施形態に係る映像表示方法は、複数の視差画像を合成して表示パネルの画面上に表示させる映像表示ステップと、前記画面上に表示された各視差画像を、前記画面に対向して配置された映像分離手段を用いて光学的に分離する映像分離ステップと、領域毎のパネル歪みに応じて、各領域における映像分離手段のピッチ量を制御する適応ピッチ調整ステップとを含むとしても構わない。
【0115】
(9)(8)の映像表示方法において、さらに、前記検出された領域毎のパネル歪みの大きさをもとに、各領域においてピッチの調整を行うかどうかの判断を行うピッチ調整判断ステップを備え、前記適応ピッチ調整ステップでは、前記ピッチ調整判断ステップにて、調整を行うと判断された領域に対して前記調整を行い、調整を行なわないと判断された領域に対しては前記調整を行なわないとしても構わない。
【0116】
(10)(8)の映像表示方法において、前記映像分離手段は、光を遮断する遮光部と光を透過する開口部とが一方向に沿って交互に配置されてなるパララックスバリアであって、前記適応ピッチ調整ステップが制御するピッチ量とは、映像分離手段において隣り合う開口部の中心間の距離であるとしても構わない。
【0117】
(11)実施形態に係る映像表示方法は、複数の視差画像を合成して表示パネルの画面上に表示させる映像表示ステップと、前記画面上に表示された各視差画像を、前記画面に対向して配置された映像分離手段を用いて光学的に分離する映像分離ステップと、領域毎のパネル歪みに応じて、各領域における表示パネルの仮画素ピッチ量を、計算する仮画素ピッチ計算ステップと、計算された仮画素ピッチに基づいて、各領域における表示パネルの画素ピッチ量を、調整する適応ピッチ調整ステップと、を含む。
【0118】
(12)(11)の映像表示方法において、さらに、前記検出されたパネル歪み結果をもとに、ピッチの調整を行うかどうかの判断を行うピッチ調整判断ステップを備え、前記適応ピッチ調整ステップでは、前記ピッチ調整判断ステップにおいて、調整を行うと判断された場合には前記調整を行い、調整を行なわないと判断された場合には前記調整を行なわないとしても構わない。
【0119】
(13)(8)から(12)のいずれかの映像表示方法において、前記表示パネルの領域毎の歪みを測定する面歪みセンサを用いて前記パネル歪みを検出するパネル歪検出ステップを含み、前記適応ピッチ調整ステップでは、検出された領域毎のパネル歪みに応じて、前記制御を行うとしても構わない。
【0120】
(14)(8)から(12)のいずれかの映像表示方法において、異なる撮影位置にて前記画面上に表示された歪評価画像を撮影した複数の画像に基づいて前記パネル歪みを検出するパネル歪検出ステップを含むとしても構わない。