【課題を解決するための手段】
【0006】
この目的は、請求項1の特徴を備えるオートステレオスコピックディスプレイによる本発明にしたがって果たされる。また、この目的は、他の独立請求項の特徴を備える方法による本発明によっても果たされる。効果的な実施の形態は、従属請求項の特徴から生じる。
【0007】
ここで提案するディスプレイは、3D画像を規定する画像データに依存してピクセルマトリクスを制御する制御部を備える。この制御部は、ピクセルの細い一片それぞれについて、公称距離とは異なる観察距離から3D画像のオートステレオスコピックを観察するために、ピクセルマトリクスを制御する以下の各ステップを実行するように構成されている。
【0008】
行方向に向けられ、ディスプレイの前方の観察距離において規定された高さに置かれた線の水平位置を記述する位置座標の値を決定するステップ。ここで値は、細い一片それぞれのピクセルから(より正確には、各ピクセル領域の中心から)発するまたは伝達される光が光学部材によって伝搬方向が制約されて既述の線上に入射する位置それぞれについて決定される。
【0009】
既述の値によって定義される位置からの注視の方向に対応する3D画像の視野の細い一片に対応する画像の細い一片について、画像データによって規定される強度値を決定するステップ。
【0010】
この細い一片のピクセルを、いわゆる強度値を用いて制御するステップ。
【0011】
観察距離に依存して各位置座標の値を決定するステップは単純な算術操作によって可能であり、この観点から単に射影幾何の利用を意味する。
【0012】
種々の座標系を位置座標の定義のための基底として用いることができる。行方向に向けられたx軸、垂直なy軸、およびディスプレイ面に垂直に向けられたz軸を備える都合のよい座標系において、既述の位置座標はx座標として選択することができる。この座標系では、観察距離はzで表され、高さはy座標によって表される。しかしながら、その代わりに、既述の線の任意のパラメータ化、好ましくは定数パラメータ表現(constant parameterization)を位置座標として用いることができる。
【0013】
既述の線は、典型的には、ディスプレイと平行に向けられた水平方向の直線の一部である。しかしながら、線が傾斜していても曲がっていても可能である。その場合、既述の距離は、ディスプレイと線上の規定の点(典型的には中央の点)との間の距離とする。さらに、線はその長さが制限されるものとして定義する。すなわち、ディスプレイの前方の限定された幅を持つ空間のみをカバーする。それにより、上述した方法によって決定された位置座標の値は曖昧でなくなる。つまり、光学部材を通って伝達され、視野区画の1つ(典型的にはディスプレイの前方の視野区画)ではなく、いわゆる二次的区画(secondary zone)に導かれるような光線は考慮に入れるべきではない。
【0014】
既述の線上の観察位置に対応する位置座標の値はそれぞれ、ここでは位置とのみ呼ぶ。各視野はそれぞれ、3D画像または3D画像によって表示されるシーンの2次元視野として規定される。これは、この観察位置またはそこからのあらかじめ定められた注視の方向に起因する。現実の(または仮想の)カメラ位置を、既述の位置座標の各値と関連づけることができる。位置座標の各値によって規定される位置からの注視の方向に対応する視野は、この位置座標の値に関連づけられたカメラ位置から既述のシーンを見た結果(またはそうなるであろう結果)の視野を意味する。
【0015】
ここでいう強度値は、輝度値または個々のピクセルの制御値とも呼ばれる。したがって、それらはピクセルによって表示されるべき各視野の個々の画素に関する画像情報を表す。多色ピクセルの場合、それらは色情報を追加的に含むことができる。また、異なる原色のピクセルを持つピクセルマトリクスのケースでは、それらは各ピクセルの色に依存することができ、通常はサブピクセルと呼ばれる。少なくともいくつかの視野(より正確には、ピクセルの細い一片それぞれに属する視野の画像の細い一片、したがって少なくとも視野の一部)は既述の画像データに依存して、要求される強度値を決定するために計算されなければならない。これらの画像データは確かに3D画像を規定するが、全ての可能な視野に画像情報を事前に含んではいない。これらはむしろ画像データによって間接的にのみ規定され、要求に応じて計算される。これは異なる細い一片について決定された位置座標の値に依存している。さらに、いくつかは以下に概要が説明される種々の処理が知られている。
【0016】
提案された手段によって、対応する制御されたディスプレイを既述の観察距離から眺める観察者が、その観察距離が公称距離とは異なるときでも、良好な画質の3次元効果の画像を見ることが達成される。特に、既述のピクセルマトリクスの制御によって以下が達成できる。すなわち、観察者が2つの互いに補完的な立体画像を見ることである。この2つの互いに補完的な立体画像は、組み合わせることによって、観察距離が実際にディスプレイの外形と適合していなくても、少なくともとても良好な近似の立体画像となり、同時に水平方向の移動時に起こる目立った邪魔な不規則性も避けられることが達成でできる。後者は、視野に対応して各場合について理想的に規定された異なる細い一片についての強度値の提案する決定方法の代わりに、単に変更されない様式で規定された複数の立体半画像の強度値を、変更されたピクセルとの間の観察距離に応答して再配布する場合には、避けることができない。したがって、ディスプレイは完全に異なる距離について利用することができる。特定の状況においては、特定の利用方法(例えば、あらかじめ定められた大きさおよび仕切りの部屋における位置)によってあらかじめ決めることができる観察距離にディスプレイ自体を適合させることは、この観点から不要である。
【0017】
本明細書において「立体半画像」という用語は、2つが組み合わさって1つのあるシーンの立体画像となる、それぞれのシーンの視野を示す。2つの立体半画像はそれぞれ、およそ両目の平均距離だけ離れて並べて配置された実際または仮想のカメラ、または目の位置からの視野に対応する。これらの特性を持つ2より多い視野を持つケースの場合も、個々の視野が立体半画像と呼ばれる。
【0018】
前述の決定した強度値を用いるピクセルの制御ステップは、細い一片それぞれについて、各細い一片のピクセルを以下のように制御することによってなされる。すなわち、位置座標の値によって規定される位置からの注視の方向に対応する3D画像の視野のこの細い一片に対応する画像の細い一片が、この細い一片のピクセルによって再生されるように制御する。ここで、この細い一片に対応する画像の細い一片は、細い一片の形状をした視野の抜粋(extract)である。この視野は、完全な視野においては、ピクセルマトリクス中のピクセルの細い一片の方向および位置に対応する方向および位置を持つ。
【0019】
記載したディスプレイは、通常の距離に加えて、少なくとも自由に選択可能なある範囲内の他の観察距離も可能とするために、特別の制御部または特にプログラムされた制御装置のみが備えられた単純なマルチビューディスプレイとすることができる。典型的な実施の形態において視野区画は、これらの水平方向の距離が、各場合において、およそ両目間の平均距離(例えば65mm)に対応するように必要な寸法が便宜上形成されている。既述の「複数」は、例えば9またはそれよりも大きい。ピクセルマトリクスは、例えばLCDやOLEDディスプレイによって提供することができる。光学部材は、特に視差バリアやレンティキュラースクリーンとすることができる。これらのスクリーンの種類の組み合わせもまた可能である。レンティキュラースクリーンの場合、格子状の構造が平行なシリンドリカルレンズのグループによって形成される。バリアスクリーン、特に細長い穴が開いたスクリーン(スロットスクリーン;slot screen)が、視差バリアに用いることができる。最後に、光学部材は、スロットスクリーンや他の種類のスクリーンを再現するフレネル構造またはLC構造とすることもできる。ピクセルは、多色ピクセルまたは異なる原色(例えば赤、緑、および青)のサブピクセルとすることができる。最後のケースでは、典型的には、相互に続く行からの3つの各ピクセルまたはサブピクセルが結合して1つの無彩色またはトゥルーカラー(true-color)の画素を形成する。
【0020】
対応するディスプレイの上述した制御部の構成は、ピクセルマトリクスの各行から各細い一片が最大で1ピクセルを含む場合、すなわち、1ピクセルだけの幅を持つ場合に特に好都合である。個々の細い一片内において輝度の中心の水平方向の変位を、変更された観察距離の制御に適合させることを実行する可能性がない。
【0021】
オートステレオスコピックディスプレイ上に3D画像を表示するための、目的を達成する効果的な方法を提案する。この方法は、特にピクセルマトリクスとそのピクセルマトリクスの前方または背後に配置された光学部材とを備えるディスプレイで役に立つ。ここでピクセルマトリクスは、異なる行に配置された多数のピクセルを備える。2より多い複数のばらばらなピクセルのサブセットそれぞれが帯状に連なる平行の細い一片を形成するように、ピクセルマトリクス上に規定される。細い一片は行に対して非ゼロの角度を備え、異なるサブセットの細い一片は、行方向に周期的に入れ替わる。ピクセルマトリクスの各行からの細い一片はそれぞれ、最大で1ピクセルを含むことが好ましい。光学部材は、ピクセルそれぞれについて各ピクセルから発するまたは伝達される光を規定された伝搬方向に制約する、細い一片と平行に方向付けられた格子状の構造を持つ。この制約は、ディスプレイからそのディスプレイの外形によってあらかじめ定められた公称距離だけ前方に離れた位置において、複数に対応する数の視野区画それぞれがサブセットの1つと正確に関連づけられ、かつピクセルのサブセットそれぞれから発するまたは伝達される光がそのサブセットに関連づけられた前記視野区画の方向を向くように規定されるような制約である。視野区画は、水平方向に互いにずれて配置されている。
【0022】
ピクセルマトリクスは、本方法において、ピクセルの細い一片それぞれについて、ディスプレイの前方の公称距離とは異なる観察距離から3D画像のオートステレオスコピックを観察するために、3D画像を規定する画像データに依存して制御される。この目的のために、本方法は、ピクセルの細い一片それぞれについての以下のステップを含む。
【0023】
行方向に向けられ、ディスプレイの前方の観察距離において規定された高さに置かれた線の水平位置を記述する位置座の値を決定するステップ。値は、細い一片それぞれのピクセルから発するまたは伝達される光が光学部材によって伝搬方向が制約されて線上に入射する位置それぞれについて決定される。
【0024】
値によって定義される位置からの注視の方向に対応する3D画像の視野の細い一片に対応する画像の細い一片について、画像データによって規定される強度値を決定するステップ。
【0025】
この方法で決定された強度値を用いてこの細い一片のピクセルを制御するステップ。
【0026】
上記のディスプレイについて述べたことは適宜これらの方法のステップに適用する。可能な限りよい画質を公称距離とは異なる観察距離から観察してももたらすために、位置座標をできる限り細かい目盛りのスケールで、あるいは目盛りのないスケールにおいて、決定することができる。いずれの場合も、異なる細い一片のための多数の異なる値が、既述の複数よりも確実に多くなるように採択(adopt)される。提案するディスプレイの制御部は、異なる細い一片のための多数の異なる値が既述の複数よりも確実に多くなるように採択されるように、できる限り細かい目盛りのスケール、あるいは目盛りのないスケール上の位置座標を決定するように適宜構成される。
【0027】
すなわち、位置座標は、水平位置が前述の視野区画に対応する位置、またはディスプレイから見てこれらの視野区画のまさに前方または背後に対応する位置のための多数(これは既述の複数に対応する数)の可能な位置座標の値を採択する。本ケースでは、位置座標はこれらの離散値の間の中間値を追加的に採択する、または採択することができる。しかしながら、計算量を範囲内に保つために、各ケースにおいて限定された数の離散の中間値のみを許可し、位置座標を次に近い許可された値または中間値に切り上げまたは切り下げすると効果的である。これは、全体で要求される視野の数、またはより厳密には、少なくとも個々の画像の細い一片が要求されるか要求されるかもしれない視野の数を制御できるようにしておくことで達成できる。
【0028】
既述の視野は、典型的には、多数(既述の複数に対応する数)の値について、それらがこの複数に対応する多数の立体半画像に対応するように規定される。ここでこの立体半画像は、各ケースについて、2つ(これは、この多数の値のうち互いに最寄りの値に対応する)を組み合わせることによって1つの立体画像を形成する。これらは、従来型のディスプレイ制御における既述のサブグループ上に表示されるか、または公称距離に対応する観察距離のときの立体半画像である。公称距離とは異なる観察距離である本ケースにおいては、少なくとも1つの視野(これは位置座標の中間値に対応する)が、これらの2つの立体半画像の注視方向間に配置あれた注視方向に対応するように選択される。
【0029】
方法の好適な実施の形態においては、ピクセルマトリクスの中央部に延在する多数(既述の複数に対応する数)のすぐとなりに隣接する細い一片について前述した数の値が採択され、さらに外側に配置される少なくともいくつかの細い一片について中間値が採択されるように、位置座標が決定される。制御部は、このような方法で位置座標を決定するように適宜構成される。画像中央部におけるピクセルマトリクスの制御は変わらないか、公称距離について提供される制御から取るに足らない程度のみ変更される。
【0030】
異なる視野について要求される強度値を決定するために、任意の既知の望ましい描画処理を用いることができる。この点に関し各ケースにおいて、各視野について、この視野に対応する位置座標の値が決定されている画像の細い一片についてのみ強度値が決定される場合、効果的で十分である。したがって、要求される計算量は範囲内にとどまり、これにより、本手法を事前に規定されていないリアルタイムで規定される画像列(例えば、コンピュータゲームや立体カメラで撮影される生の撮影の画像列)にも使用可能にする。
【0031】
既述の画像データによって規定される深度図(depth map)またはいくつかの深度図と、深度図によって表される表面の部分領域についての画像データによって規定されるテクスチャの値とから、要求される画像の細い一片または各視野の細い一片についての画像情報が決定されるという点で、異なる視野についての強度値は決定されるということが1つの可能性である。先に示していないそのような視野の画像情報を獲得する処理は、例えばドイツの公開公報DE 10 2010 028 668 A1に記載されている。
【0032】
他の実施の形態では、画像データによって規定される少なくとも2つの立体半画像間の差異が決定され、視野それぞれの要求された画像の細い一片の画像情報が、差異および位置座標の各値に依存して、補間および/または変換によって立体半画像間の中間画像として規定されるという点で視野が決定されるという点で、異なる視野についての強度値は決定される。どのようにこれらがなされるかの教示は、例えば米国特許第6366281B1に開示されている。そのような処理は、「モーフィング(morphing)」とも呼ばれている。
【0033】
さらなる可能性は、画像データによって規定される少なくとも2つの立体半画像間の差異が決定され、差異から深度図が計算され、視野それぞれの要求された画像の細い一片についての強度値がこの深度図を用いて決定されるという点で、異なる視野についての強度値は決定されるという事実である。
【0034】
したがって、提案されたディスプレイの制御部は、異なる視野についての強度値を決定するために、以下のように構成されることができる。
【0035】
既述の画像データによって規定される深度図と、深度図によって表される表面の部分領域についての画像データによって規定されるテクスチャの値とから、要求される画像の細い一片または各視野の細い一片についての画像情報を決定するように構成される。
【0036】
または、画像データによって規定される少なくとも2つの立体半画像間の差異を決定し、差異および位置座標の各値に依存して、補間および/または変換によって立体半画像間の中間画像として視野が規定されるという点で、各視野の要求された画像の細い一片の画像データを決定するように構成される。
【0037】
または、画像データによって規定される少なくとも2つの立体半画像間の差異を決定し、差異から深度図を計算し、視野それぞれの要求された画像の細い一片についての強度値をこの深度図を用いて決定するように構成される。
【0038】
ディスプレイからの観察者の現在の距離に自動的に制御を適合させることができるようにするために、ディスプレイは、少なくとも一人の観察者の目とディスプレイとの距離を決定するための追跡装置と、この距離に対応する観察距離のためのピクセルマトリクスを制御するように構成された制御装置を備えることができる。したがって、制御部は、計測された距離が公称距離と異なる場合には、前述した方法でピクセルマトリクスを制御するように構成される。前述した方法は、制御のための基礎として用いられる既述の観察距離が追跡装置によって決定された距離に相当する。同様に効果的に設計した方法においては、少なくとも一人の観察者の目のペアとディスプレイとの距離が検出され、異なる細い一片のための位置座標の値を決定するために検出された空間に相当するものとして、観察距離が選択される。この目的のために、例えば、立体カメラで撮影されたディスプレイの前方の空間の画像が、適切な画像評価処理を用いて評価される。
【0039】
本出願の主題は、それ自体は知られている種類のオートステレオスコピックスクリーン上で3D画像を再生するための方法として記述できる。典型的な実施の形態では、このスクリーンは大量のピクセルを持つピクセルマトリクスはもちろん、ピクセルマトリクスの前方に配置された光学部材(以下、「光学格子(optical grid)ともいう。」)も備える。ここでピクセルマトリクス内のピクセルは、以下のように配置される。すなわち、それらが等間隔で隣接して配置される多数の細い一片(以下、「列」ともいう。)を形成するように配置される。ここで行方向は、垂直または比較的垂直な傾向を示す。光学格子は一群の細い一片の形状の構造を持ち、これらは列に対して平行に方向付けられ、等間隔で隣接して配置される。光学格子はまた、各ピクセルについて、少なくとも1つの規定された、各ピクセルを起源とする光が伝搬する平面があらかじめ規定されている。この伝搬する平面は、ある規定された水平の伝搬方向および列方向に広がっている。隣接する細い一片の形状の構造における水平方向のオフセットによって規定される光学格子の周期長は、すぐとなりに隣接する行の水平方向のオフセットよりもn×Dn/(Dn+n)の係数だけ大きい。ここでaはピクセルマトリクスと光学素子12との間の実効距離を指定し、Dnはオートステレオスコピックスクリーンの公称距離を示し、nは上述した2よりも多い複数の視野区画の数に対応する2よりも大きい整数を示す。
【0040】
ここで提案するこの種のスクリーンの利用において、公称距離Dnから逸脱する観察距離Dから3D画像のオートステレオスコピックビューを可能とするために、3D画像を再生する方法は以下のステップを含んでもよい。
【0041】
各列について、視野区画内の位置座標の値とさらなる位置座標の値とを割り当てるステップ。ここで最初に言及した位置座標の値は、スクリーンの前方において観察距離Dの位置に水平に向けられた座標軸の位置を与える。この位置は、各列を起源とし光学格子を通る光がその位置において座標軸に当たるという事実によって規定される。また、さらなる位置座標の値は、水平方向における、各列または光学格子の細い一片の形状の構造の位置を与える。光学格子を通って、その列のピクセルを起源とする光が降る。
-
【0042】
各行について、画像統合体(image synthesis)によって画像の抜粋を計算するステップ。ここでこの画像は、各行に関連づけられた既述の最初に言及した位置座標の値によって規定される位置から再現されるべき3D画像の見え方によって与えられる。抜粋は、画像の細い一辺によって規定される。画像の細い一辺は、各行に関連づけられた前述のさらなる位置座標の値に対応する画像中の水平方向の位置を持つ。
【0043】
各行について計算された抜粋が各行中に記録されるように、ピックセルマトリクス中のピクセルを制御するステップ。
【0044】
上述した最初に言及した位置座標の値は、光学格子によって規定される上述の座標系を横切る各行を起源とする光の伝搬平面の位置に対応することは理解の助けとなるであろう。
【0045】
3D画像が比較的よい画質で見え、かつ3次元のオートステレオスコピックが視認できる領域は、スクリーンの前方において観察距離Dの位置に生成される。しかしながら、画質を低下しうる干渉が、この領域の端で起こりうる。この干渉は、典型的には行方向(例えば、勾配において)に現れる細い一辺の形に見え、平行に並んで配置される。この干渉は、比較的大きく異なる視点の画像の抜粋が再生成される、隣接する行またはピクセルの細い一片の間のクロストークによって引き起こされる。上述した制御により、隣接する行またはピクセルの細い一辺に渡って、視点または視野の方向が概してわずかにのみ異なる画像の抜粋が生成される。しかしながら、およそn番目の行のジャンプ毎に、反対方向に寄り大きな視点のジャンプが生じ、これは上述の干渉を導きうる。
【0046】
この干渉を少なくとも減衰させる方法の概要は以下のとおりである。このケースにおいては、いくつかの行に平均化された強度値が記録されるか再生される。画像の抜粋においてすぐとなりに隣接する行から大きくそれる視点または視野の方向の記録に関連するのが好ましい。すなわち、上述の比較的大きな視点のジャンプが生じているピクセルマトリクスの行である。このケースにおいては、上述の領域の右端および左端に対応する2つの視点の寄与が平均化される。
【0047】
より正確には、このケースにおいては、複数のピクセルの細い一辺のうち選択された細い一辺のピクセルが、平均化された強度値を用いて制御される。この選択された細い一辺は、位置座標の値を決定するステップが、細い一片それぞれのピクセルから発する光が光学部材の2つの隣接する構造を通って伝搬するという事実のため所与の位置座標の間隔内において2つの解(すなわち、2つの位置座標の値)を見つける結果となる1またはいくつかの細い一辺として決定される。ここで平均化された強度値はそれぞれ、第1強度値と第2強度値との平均として決定される。第1強度値はピクセルそれぞれについて2つの解のうち第1の解のために決定される。また第2強度値は同じピクセルそれぞれについて2つの解のうち第2の解のために決定される。したがって制御部はそれに応じて構成することができる。典型的には、平均化された強度値は、特定の選択された細い一片のピクセルそれぞれについて、各ピクセルについて決定された重み付けされた第1強度値と重み付けされた第2強度値とを加算することによって得られる。第1強度値と第2強度値とは、決定された位置座標の値に依存して重み付けされる。この平均化に用いられる重み付け係数は、決定された値が所与の位置座標間隔の境界に近い場合は小さくなり、決定された値がこの位置座標間隔の境界から遠くなると大きくなる。
【0048】
以下に示す
図1から
図4を参照しながら、本発明の実施の形態を説明する。