特許第6012764号(P6012764)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホファー−ゲゼルシャフト ツア フェデルンク デア アンゲヴァンテン フォルシュンク エーファウの特許一覧

特許6012764オートステレオスコピックディスプレイおよび3D画像の表示方法
<>
  • 特許6012764-オートステレオスコピックディスプレイおよび3D画像の表示方法 図000002
  • 特許6012764-オートステレオスコピックディスプレイおよび3D画像の表示方法 図000003
  • 特許6012764-オートステレオスコピックディスプレイおよび3D画像の表示方法 図000004
  • 特許6012764-オートステレオスコピックディスプレイおよび3D画像の表示方法 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6012764
(24)【登録日】2016年9月30日
(45)【発行日】2016年10月25日
(54)【発明の名称】オートステレオスコピックディスプレイおよび3D画像の表示方法
(51)【国際特許分類】
   H04N 13/04 20060101AFI20161011BHJP
   G02B 27/22 20060101ALI20161011BHJP
【FI】
   H04N13/04 750
   H04N13/04 040
   H04N13/04 090
   H04N13/04 150
   H04N13/04 220
   G02B27/22
【請求項の数】18
【全頁数】20
(21)【出願番号】特願2014-553737(P2014-553737)
(86)(22)【出願日】2013年1月25日
(65)【公表番号】特表2015-510328(P2015-510328A)
(43)【公表日】2015年4月2日
(86)【国際出願番号】EP2013051487
(87)【国際公開番号】WO2013110779
(87)【国際公開日】20130801
【審査請求日】2014年11月14日
(31)【優先権主張番号】102012001902.5
(32)【優先日】2012年1月26日
(33)【優先権主張国】DE
(31)【優先権主張番号】PCT/EP2012/001886
(32)【優先日】2012年4月25日
(33)【優先権主張国】EP
(31)【優先権主張番号】102012020833.2
(32)【優先日】2012年10月15日
(33)【優先権主張国】DE
(73)【特許権者】
【識別番号】504380482
【氏名又は名称】フラウンホファー−ゲゼルシャフト ツア フェデルンク デア アンゲヴァンテン フォルシュンク エーファウ
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】デ ラ バーレ、ルネ
(72)【発明者】
【氏名】ユルク、シルヴィオ
【審査官】 秦野 孝一郎
(56)【参考文献】
【文献】 特開2011−101366(JP,A)
【文献】 特開平7−129792(JP,A)
【文献】 特表2009−510489(JP,A)
【文献】 特開平9−289638(JP,A)
【文献】 特開2001−346226(JP,A)
【文献】 特開平7−072445(JP,A)
【文献】 特開2009−77234(JP,A)
【文献】 特開2006−48659(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/04
H04N 15/00
G02B 27/22
(57)【特許請求の範囲】
【請求項1】
同時に2以上の異なる画像を表示するためのオートステレオスコピックディスプレイであって、
異なる行に配置された多数のピクセル(15)を持つピクセルマトリクス(11)を含み、
前記ピクセルマトリクス(11)は2より多いばらばらな複数のピクセル(15)のサブセットがそれぞれ帯状に連なる平行の細い一片(strip)を形成するように規定され、前記細い一片は前記行に対して非ゼロの角度を備え、異なるサブセットの前記細い一片は、前記行の方向に周期的に入れ替わり、
前記オートステレオスコピックディスプレイはさらに、前記ピクセルマトリクス(11)の前方または背後に配置された光学部材(12)を備え、当該光学部材(12)は、
前記細い一片に対して平行に向きをつけられ、前記ピクセル(15)それぞれについて各ピクセル(15)から発するまたは伝達される光を規定された伝搬方向に制約する格子状の構造を持ち、当該制約は、
ディスプレイから前記ディスプレイの外形(geometry)によってあらかじめ定められた公称距離(Dn)前方に離れた位置において、前記複数に対応する数の視野区画(16)それぞれが前記サブセットの1つと正確に関連づけられ、かつ前記ピクセル(15)のサブセットそれぞれから発するまたは伝達される前記光がそのサブセットに関連づけられた前記視野区画(16)の方向を向くように規定されるような制約であり、前記視野区画(16)は、水平方向に互いにずれて配置(offset)されており、
前記オートステレオスコピックディスプレイはさらに、3D画像を規定する画像データ(14)に依存して前記ピクセルマトリクス(11)を制御する制御部(13)を備え、
前記制御部(13)は、ピクセル(15)の細い一片それぞれについて、前記ディスプレイの前方の前記公称距離(Dn)とは異なる観察距離(D)から前記3D画像のオートステレオスコピックを観察するために前記ピクセルマトリクス(11)を制御する各ステップを実行するように構成され、前記各ステップは、
前記行の方向に向けられ、前記ディスプレイの前方の前記観察距離(D)に置かれた線(20)の水平位置を記述するように規定された位置座標(x)の値を決定するステップを含み、
前記位置座標(x)の値は、前記細い一片の前記ピクセル(15)から発するまたは伝達される光が前記光学部材(12)によって伝搬方向が制約されて前記線(20)上に入射する位置それぞれについて決定され、
前記各ステップはさらに、
前記値によって定義される位置からの注視の方向に対応する前記3D画像の視野の細い一片に対応する画像の細い一片について、前記画像データ(14)によって規定される強度値を決定するステップと、
この方法で決定された強度値を用いてこの細い一片のピクセル(15)を制御するステップとを含み、
前記制御部(13)は、ピクセル(15)の細い一片のうち選択された細い一片の前記ピクセル(15)を、平均化された強度値を用いて制御するように構成され、
前記選択された細い一片は、前記位置座標(x)を決定するステップが、所与の位置座表間隔内において、前記細い一片それぞれのピクセル(15)から発する光が前記光学部材(12)の2つの隣接する構造を通って伝搬するという事実のために2つの解を持つ細い一片またはいくつかの細い一片として決定され、
平均化された強度値はそれぞれ、第1強度値と第2強度値との平均として決定され、
前記第1強度値はピクセル(15)それぞれについて前記2つの解のうち第1の解のために決定され、前記第2強度値は同じピクセル(15)それぞれについて前記2つの解のうち第2の解のために決定されることを特徴とするオートステレオスコピックディスプレイ。
【請求項2】
前記制御部(13)は、異なる前記細い一片について、前記複数よりも多くの異なる前記位置座標(x)の値を正確に採用するように、前記位置座標(x)の値を決定するように構成されていることを特徴とする請求項1に記載のディスプレイ。
【請求項3】
前記複数に対応する多くの値についての視野は、2つを組み合わせることで立体画像を形成する、この複数に対応する多くの立体半画像であり、前記2つの立体半画像は、この多くの値のうち互いに2番目に近い値に対応し、
位置座標(x)の中間値に対応する少なくとも1つの視野は、これらの立体半画像の注視の方向の間に配置された注視の方向に対応することを特徴とする請求項1または2に記載のディスプレイ。
【請求項4】
前記制御部(13)は、ピクセルマトリックス(11)の中央部に渡って延在する多くのすぐとなりに隣接する細い一片について前記複数に対応する前記多くの値を採用し、少なくともいくつかのさらに外側に配置されている細い一片について中間値を採用するように、位置座標(x)を決定するように構成されていることを特徴とする請求項3に記載のディスプレイ。
【請求項5】
前記制御部(13)は、
前記視野それぞれの要求された前記画像の細い一片についての画像情報が、前記画像データ(14)によって規定される少なくとも1つの深度図と、前記深度図によって表現される表面の部分領域の前記画像データ(14)によって規定されるテクスチャの値とから決定されるか、または、
画像データ(14)によって規定される少なくとも2つの立体半画像間の差異が決定され、前記視野それぞれの要求された前記画像の細い一片の画像データが、前記視野が前記差異および前記位置座標(x)の各値に依存して、補間および/または変換によって前記立体半画像間の中間画像として規定されるという点で決定されるか、または、
前記画像データ(14)によって規定される少なくとも2つの立体半画像間の差異が決定され、前記差異から深度図が計算され、前記視野それぞれの要求された画像の細い一片についての画像情報がこの深度図を用いて決定されることで、
前記異なる視野についての前記強度値を決定するように構成されていることを特徴とする請求項1から4のいずれかに記載のディスプレイ。
【請求項6】
前記細い一片はそれぞれ、前記ピクセル(11)の各行に、多くて1ピクセル(15)を含むことを特徴とする請求項1から5のいずれかに記載のディスプレイ。
【請求項7】
少なくとも一人の観察者の目のペアと前記ディスプレイとの間の距離を決定する追跡装置を含み、
前記制御部(13)は、前記観察距離(D)が前記追跡装置によって決定された前記距離に対応するようにピクセルマトリクス(11)を制御するように構成されていることを特徴とする請求項1〜6のいずれかに記載のディスプレイ
【請求項8】
前記追跡装置は、少なくとも1つの目のペアの水平位置を決定するようにも構成され、
前記制御部(13)は、前記追跡装置によって決定された少なくとも1つの水平位置に依存して、前記少なくとも1つの目のペアが、前記3D画像がオートステレオスコピックで見える領域に位置するように、前記ピクセルマトリクス(11)を制御するように構成されていることを特徴とする請求項7に記載のディスプレイ。
【請求項9】
前記光学部材(12)は制御可能であり、前記光学部材(12)の制御に依存して可変な屈折特性を持つレンズ部材を形成するように構成され、
前記制御部(13)は、前記レンズ部材の前記屈折特性がこの観察距離(D)に適するように前記光学部材(12)を制御するように構成されていることを特徴とする請求項1から8のいずれかに記載のディスプレイ。
【請求項10】
前記光学部材(12)の前記格子状の構造は、周期的に配置されたシリンドリカルレンズまたはスロットのような細い一片の構造によって得られ、
隣接する前記細い一片の構造の水平方向の間隔(offset)は、すぐとなりに隣接するピクセル(15)の細い一片の水平方向の間隔よりも、係数n×Dn/(Dn+a)だけ大きく、
aは前記ピクセルマトリクス(11)と前記光学部材との間の実効距離(effective distance)を表し、Dnはオートステレオスコピックスクリーンの公称距離(Dn)を表し、nは前記複数に対応する2以上の整数を表すことを特徴とする請求項1から9のいずれかに記載のディスプレイ。
【請求項11】
ピクセルマトリクス(11)と当該ピクセルマトリクス(11)の前方または背後に配置された光学部材(12)とを備えるオートステレオスコピックディスプレイ上に3D画像を表示するための方法であって、
前記ピクセルマトリクス(11)は、異なる行に配置された多数のピクセル(15)を備え、
2より多い複数のばらばらなピクセル(15)のサブセットがそれぞれ帯状に連なる平行の細い一片を形成するように、前記ピクセルマトリクス(11)上に規定され、
前記細い一片は前記行に対して非ゼロの角度を備え、異なるサブセットの前記細い一片は、前記行の方向に周期的に入れ替わり、
前記光学部材(12)は、前記細い一片と平行に方向付けられた前記ピクセル(15)それぞれについて各ピクセル(15)から発するまたは伝達される光を規定された伝搬方向に制約する格子状の構造を持ち、当該制約は、
ディスプレイから前記ディスプレイの外形(geometry)によってあらかじめ定められた公称距離(Dn)前方に離れた位置において、前記複数に対応する数の視野区画(16)それぞれが前記サブセットの1つと正確に関連づけられ、かつ前記ピクセル(15)のサブセットそれぞれから発するまたは伝達される前記光がそのサブセットに関連づけられた前記視野区画(16)の方向を向くように規定されるような制約であり、前記視野区画(16)は、水平方向に互いにずれて配置(offset)されており、
前記ピクセルマトリクス(11)は前記3D画像を規定する画像データ(14)に依存して制御され、
前記ピクセルマトリクス(11)は、ピクセル(15)の細い一片それぞれについて、前記ディスプレイの前方の前記公称距離(Dn)とは異なる観察距離(D)から前記3D画像のオートステレオスコピックを観察するために制御され、
前記方法は、ピクセル(15)の前記細い一片それぞれについて、
前記行の方向に向けられ、前記ディスプレイの前方の前記観察距離(D)に置かれた線(20)の水平位置を記述するように規定された位置座標(x)の値を決定するステップを実行し、
前記位置座標(x)の値は、前記細い一片の前記ピクセル(15)から発するまたは伝達される光が前記光学部材(12)によって伝搬方向が制約されて前記線(20)上に入射する位置それぞれについて決定され、
前記方法はさらに、
前記値によって定義される位置からの注視の方向に対応する前記3D画像の視野の細い一片に対応する画像の細い一片について、前記画像データ(14)によって規定される強度値を決定するステップと、
この方法で決定された強度値を用いてこの細い一片のピクセル(15)を制御するステップとを実行し、
ピクセル(15)の細い一片のうち選択された細い一片の前記ピクセル(15)が、平均化された強度値を用いて制御され、
前記選択された細い一片は、前記位置座標(x)を決定するステップが、所与の位置座表間隔内において、前記細い一片それぞれのピクセル(15)から発する光が前記光学部材(12)の2つの隣接する構造を通って伝搬するという事実のために2つの解を持つ細い一片またはいくつかの細い一片として決定され、
平均化された強度値はそれぞれ、第1強度値と第2強度値との平均として決定され、
前記第1強度値はピクセル(15)それぞれについて前記2つの解のうち第1の解のために決定され、前記第2強度値は同じピクセル(15)それぞれについて前記2つの解のうち第2の解のために決定されることを特徴とする方法。
【請求項12】
前記位置座標(x)の値は、異なる前記細い一片について、前記複数よりも多くの異なる前記位置座標(x)の値を正確に採用するように決定されることを特徴とする請求項11に記載の方法。
【請求項13】
前記複数に対応する多くの値についての視野は、2つを組み合わせることで立体画像を形成する、この複数に対応する多くの立体半画像であり、前記2つの立体半画像は、この多くの値のうち互いに2番目に近い値に対応し、
位置座標(x)の中間値に対応する少なくとも1つの視野は、これらの立体半画像の注視の方向の間に配置された注視の方向に対応することを特徴とする請求項11または12に記載の方法。
【請求項14】
前記位置座標(x)は、ピクセルマトリックス(11)の中央部に渡って延在する多くのすぐとなりに隣接する細い一片について前記複数に対応する前記多くの値を採用し、少なくともいくつかのさらに外側に配置されている細い一片について中間値を採用するように決定されることを特徴とする請求項13に記載の方法。
【請求項15】
前記異なる視野についての前記強度値は、
前記視野それぞれの要求された前記画像の細い一片についての前記強度値が、前記画像データ(14)によって規定される少なくとも1つの深度図と、前記深度図によって表現される表面の部分領域の前記画像データ(14)によって規定されるテクスチャの値とから決定されるか、または、
画像データ(14)によって規定される少なくとも2つの立体半画像間の差異が決定され、前記視野それぞれの要求された前記画像の細い一片の強度値が、前記視野が前記差異および前記位置座標(x)の各値に依存して、補間および/または変換によって前記立体半画像間の中間画像として規定されるという点で決定されるか、または、
前記画像データ(14)によって規定される少なくとも2つの立体半画像間の差異が決定され、前記差異から深度図が計算され、前記視野それぞれの要求された画像の細い一片についての強度値がこの深度図を用いて決定される
ことを特徴とする請求項11から14のいずれかに記載の方法。
【請求項16】
少なくとも一人の観察者の目のペアと前記ディスプレイとの間の距離が検出され、
前記観察距離(D)は、前記異なる細い一片について前記位置座標(x)の値を決定するために、検出された距離として選択されることを特徴とする請求項11から15のいずれかに記載の方法。
【請求項17】
前記決定された強度値を用いて前記細い一片それぞれのピクセル(15)を制御するステップは、
前記位置座標(x)の値によって規定された位置からの注視の方向に対応する前記3D画像の視野のこの細い一片に対応する前記画像の細い一片が、ピクセル(15)のこの細い一片のピクセル(15)によって再現され、
この細い一片に対応する前記画像の細い一片は、前記視野の細い一片の形状の抜粋であり、
前記視野は、完全な視野においては、前記ピクセルマトリクス(11)中のピクセル(15)の前記細い一片の方向および位置に対応する方向および位置を持つように、ピクセル(15)を制御することによってなされることを特徴とする請求項11から16のいずれかに記載の方法。
【請求項18】
前記平均化された値は、特定の選択された細い一片の前記ピクセル(15)それぞれについて、ピクセル(15)それぞれについて決定された重み付けされた第1強度値と重み付けされた第2強度値とを加算することによって得られ、
前記第1および第2強度値は前記位置座標(x)の決定された値に依存して重み付けされ、
前記第1および第2強度値に用いられる重み係数は、決定された前記位置座標(x)の値が所与の位置座標間隔の境界に近い場合は小さくなり、決定された前記位置座標(x)の値がこの位置座標間隔の境界から遠くなると大きくなるように規定されることを特徴とする請求項11から17のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2より多い異なる画像を、メインの請求項の前文(preamble)にしたがって同時に表示するためのオートステレオスコピックディスプレイ、および3D画像を独立請求項の前文にしたがって表示する方法に関連する。この方法は、そのようなディスプレイを用いて実行されうる。
【背景技術】
【0002】
一般的なディスプレイは、異なる行に配置された多数のピクセルを持つピクセルマトリクスを備える。2より多いばらばらな複数のピクセルのサブセットがそれぞれ帯状に連なる平行の細い一片(strip)を形成するように規定される。細い一片は行に対して非ゼロの角度を備える。異なるサブセットに属する細い一片は、異なるサブセットの細い一片および/またはピクセルは行方向に周期的に入れ替わるように交互に配置される。さらに、そのようなディスプレは、ピクセルマトリクスの前方または背後に配置された光学部材を備える。この光学部材は、細い一片に対して平行に向きをつけられ、ピクセルそれぞれについて各ピクセルから発するまたは伝達される光を規定された伝搬方向に制約する格子状の構造を持つ。この制約は、ディスプレイからそのディスプレイの外形(geometry)によってあらかじめ定められた公称距離(nominal distance)だけ前方に離れた位置において、上述の複数に対応する数の視野区画それぞれがサブセットの1つと正確に関連づけられ、かつピクセルのサブセットそれぞれから発するまたは伝達される光がそのサブセットに関連づけられた視野区画の方向を向くように規定されるような制約である。ここで視野区画は、水平方向に互いにずれて配置(offset)される。
【0003】
この種のディスプレイは、いわゆるマルチビューディスプレイとして知られる。意図した先行技術から知られるこれらのディスプレイの用途では、多数(これは上述の複数に対応する)の立体半画像(stereoscopic hail-image)のうちの1つがピクセルのサブグループ上にそれぞれ表示される。すぐとなりに隣接する細い一片を持つサブグループ上に表示される2つの立体半画像は、それぞれ対で組み合わされて立体画像を形成する。このように、一人の観察者だけでなく、ディスプレイの前に隣り合って位置する数名の観察者も、3次元的に現れる同一のシーンをそれぞ器具を使わずに立体視する(autostereoscopically perceive)ことができる。さらに、観察者はディスプレイの前で、3次元の効果(impression)を失うことなく、水平方向に移動することができる。観察者はむしろ、移動にしたがって見方を変えながら、同一のシーンを見ることができる。
【0004】
しかしながら、観察者の目が、ディスプレイからそのディスプレイの外形によってあらかじめ定められた公称距離(nominal distance)の位置を維持する場合、観察者は3D画像を満足のいく画質のみで見ることができるう点に関し有利な効果がある。そうでなければ、観察者の各目はディスプレイの異なる領域を共有して見ることになり、部分的に異なる半画像が重複することになる。「公称距離」、「公称間隔(nominal spacing)」という用語は、本適用例において類義語として用いられ、ディスプレイの外形によって与えられ、公称の観察距離として見なすことのできる特定の観察距離を示す。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の根本的な目的は、可能な限り自由に選択可能な距離から、表示されたシーンの3次元的効果の画像をそれぞれ見ることができるオートステレオスコピックディスプレイを実現することにある。ここで記載した先行技術のように、幾人かの観察者が同時にディスプレイを見て、それぞれがシーンの3次元的効果の画像を観察し、かつ観察者が3次元的な効果を失わずに水平方向に動くことを可能とする。さらに加えて、本発明の目的は、3次元を満たすオートステレオスコピックディスプレイ上における、対応する3D画像の表示方法を提示することである。
【課題を解決するための手段】
【0006】
この目的は、請求項1の特徴を備えるオートステレオスコピックディスプレイによる本発明にしたがって果たされる。また、この目的は、他の独立請求項の特徴を備える方法による本発明によっても果たされる。効果的な実施の形態は、従属請求項の特徴から生じる。
【0007】
ここで提案するディスプレイは、3D画像を規定する画像データに依存してピクセルマトリクスを制御する制御部を備える。この制御部は、ピクセルの細い一片それぞれについて、公称距離とは異なる観察距離から3D画像のオートステレオスコピックを観察するために、ピクセルマトリクスを制御する以下の各ステップを実行するように構成されている。
【0008】
行方向に向けられ、ディスプレイの前方の観察距離において規定された高さに置かれた線の水平位置を記述する位置座標の値を決定するステップ。ここで値は、細い一片それぞれのピクセルから(より正確には、各ピクセル領域の中心から)発するまたは伝達される光が光学部材によって伝搬方向が制約されて既述の線上に入射する位置それぞれについて決定される。
【0009】
既述の値によって定義される位置からの注視の方向に対応する3D画像の視野の細い一片に対応する画像の細い一片について、画像データによって規定される強度値を決定するステップ。
【0010】
この細い一片のピクセルを、いわゆる強度値を用いて制御するステップ。
【0011】
観察距離に依存して各位置座標の値を決定するステップは単純な算術操作によって可能であり、この観点から単に射影幾何の利用を意味する。
【0012】
種々の座標系を位置座標の定義のための基底として用いることができる。行方向に向けられたx軸、垂直なy軸、およびディスプレイ面に垂直に向けられたz軸を備える都合のよい座標系において、既述の位置座標はx座標として選択することができる。この座標系では、観察距離はzで表され、高さはy座標によって表される。しかしながら、その代わりに、既述の線の任意のパラメータ化、好ましくは定数パラメータ表現(constant parameterization)を位置座標として用いることができる。
【0013】
既述の線は、典型的には、ディスプレイと平行に向けられた水平方向の直線の一部である。しかしながら、線が傾斜していても曲がっていても可能である。その場合、既述の距離は、ディスプレイと線上の規定の点(典型的には中央の点)との間の距離とする。さらに、線はその長さが制限されるものとして定義する。すなわち、ディスプレイの前方の限定された幅を持つ空間のみをカバーする。それにより、上述した方法によって決定された位置座標の値は曖昧でなくなる。つまり、光学部材を通って伝達され、視野区画の1つ(典型的にはディスプレイの前方の視野区画)ではなく、いわゆる二次的区画(secondary zone)に導かれるような光線は考慮に入れるべきではない。
【0014】
既述の線上の観察位置に対応する位置座標の値はそれぞれ、ここでは位置とのみ呼ぶ。各視野はそれぞれ、3D画像または3D画像によって表示されるシーンの2次元視野として規定される。これは、この観察位置またはそこからのあらかじめ定められた注視の方向に起因する。現実の(または仮想の)カメラ位置を、既述の位置座標の各値と関連づけることができる。位置座標の各値によって規定される位置からの注視の方向に対応する視野は、この位置座標の値に関連づけられたカメラ位置から既述のシーンを見た結果(またはそうなるであろう結果)の視野を意味する。
【0015】
ここでいう強度値は、輝度値または個々のピクセルの制御値とも呼ばれる。したがって、それらはピクセルによって表示されるべき各視野の個々の画素に関する画像情報を表す。多色ピクセルの場合、それらは色情報を追加的に含むことができる。また、異なる原色のピクセルを持つピクセルマトリクスのケースでは、それらは各ピクセルの色に依存することができ、通常はサブピクセルと呼ばれる。少なくともいくつかの視野(より正確には、ピクセルの細い一片それぞれに属する視野の画像の細い一片、したがって少なくとも視野の一部)は既述の画像データに依存して、要求される強度値を決定するために計算されなければならない。これらの画像データは確かに3D画像を規定するが、全ての可能な視野に画像情報を事前に含んではいない。これらはむしろ画像データによって間接的にのみ規定され、要求に応じて計算される。これは異なる細い一片について決定された位置座標の値に依存している。さらに、いくつかは以下に概要が説明される種々の処理が知られている。
【0016】
提案された手段によって、対応する制御されたディスプレイを既述の観察距離から眺める観察者が、その観察距離が公称距離とは異なるときでも、良好な画質の3次元効果の画像を見ることが達成される。特に、既述のピクセルマトリクスの制御によって以下が達成できる。すなわち、観察者が2つの互いに補完的な立体画像を見ることである。この2つの互いに補完的な立体画像は、組み合わせることによって、観察距離が実際にディスプレイの外形と適合していなくても、少なくともとても良好な近似の立体画像となり、同時に水平方向の移動時に起こる目立った邪魔な不規則性も避けられることが達成でできる。後者は、視野に対応して各場合について理想的に規定された異なる細い一片についての強度値の提案する決定方法の代わりに、単に変更されない様式で規定された複数の立体半画像の強度値を、変更されたピクセルとの間の観察距離に応答して再配布する場合には、避けることができない。したがって、ディスプレイは完全に異なる距離について利用することができる。特定の状況においては、特定の利用方法(例えば、あらかじめ定められた大きさおよび仕切りの部屋における位置)によってあらかじめ決めることができる観察距離にディスプレイ自体を適合させることは、この観点から不要である。
【0017】
本明細書において「立体半画像」という用語は、2つが組み合わさって1つのあるシーンの立体画像となる、それぞれのシーンの視野を示す。2つの立体半画像はそれぞれ、およそ両目の平均距離だけ離れて並べて配置された実際または仮想のカメラ、または目の位置からの視野に対応する。これらの特性を持つ2より多い視野を持つケースの場合も、個々の視野が立体半画像と呼ばれる。
【0018】
前述の決定した強度値を用いるピクセルの制御ステップは、細い一片それぞれについて、各細い一片のピクセルを以下のように制御することによってなされる。すなわち、位置座標の値によって規定される位置からの注視の方向に対応する3D画像の視野のこの細い一片に対応する画像の細い一片が、この細い一片のピクセルによって再生されるように制御する。ここで、この細い一片に対応する画像の細い一片は、細い一片の形状をした視野の抜粋(extract)である。この視野は、完全な視野においては、ピクセルマトリクス中のピクセルの細い一片の方向および位置に対応する方向および位置を持つ。
【0019】
記載したディスプレイは、通常の距離に加えて、少なくとも自由に選択可能なある範囲内の他の観察距離も可能とするために、特別の制御部または特にプログラムされた制御装置のみが備えられた単純なマルチビューディスプレイとすることができる。典型的な実施の形態において視野区画は、これらの水平方向の距離が、各場合において、およそ両目間の平均距離(例えば65mm)に対応するように必要な寸法が便宜上形成されている。既述の「複数」は、例えば9またはそれよりも大きい。ピクセルマトリクスは、例えばLCDやOLEDディスプレイによって提供することができる。光学部材は、特に視差バリアやレンティキュラースクリーンとすることができる。これらのスクリーンの種類の組み合わせもまた可能である。レンティキュラースクリーンの場合、格子状の構造が平行なシリンドリカルレンズのグループによって形成される。バリアスクリーン、特に細長い穴が開いたスクリーン(スロットスクリーン;slot screen)が、視差バリアに用いることができる。最後に、光学部材は、スロットスクリーンや他の種類のスクリーンを再現するフレネル構造またはLC構造とすることもできる。ピクセルは、多色ピクセルまたは異なる原色(例えば赤、緑、および青)のサブピクセルとすることができる。最後のケースでは、典型的には、相互に続く行からの3つの各ピクセルまたはサブピクセルが結合して1つの無彩色またはトゥルーカラー(true-color)の画素を形成する。
【0020】
対応するディスプレイの上述した制御部の構成は、ピクセルマトリクスの各行から各細い一片が最大で1ピクセルを含む場合、すなわち、1ピクセルだけの幅を持つ場合に特に好都合である。個々の細い一片内において輝度の中心の水平方向の変位を、変更された観察距離の制御に適合させることを実行する可能性がない。
【0021】
オートステレオスコピックディスプレイ上に3D画像を表示するための、目的を達成する効果的な方法を提案する。この方法は、特にピクセルマトリクスとそのピクセルマトリクスの前方または背後に配置された光学部材とを備えるディスプレイで役に立つ。ここでピクセルマトリクスは、異なる行に配置された多数のピクセルを備える。2より多い複数のばらばらなピクセルのサブセットそれぞれが帯状に連なる平行の細い一片を形成するように、ピクセルマトリクス上に規定される。細い一片は行に対して非ゼロの角度を備え、異なるサブセットの細い一片は、行方向に周期的に入れ替わる。ピクセルマトリクスの各行からの細い一片はそれぞれ、最大で1ピクセルを含むことが好ましい。光学部材は、ピクセルそれぞれについて各ピクセルから発するまたは伝達される光を規定された伝搬方向に制約する、細い一片と平行に方向付けられた格子状の構造を持つ。この制約は、ディスプレイからそのディスプレイの外形によってあらかじめ定められた公称距離だけ前方に離れた位置において、複数に対応する数の視野区画それぞれがサブセットの1つと正確に関連づけられ、かつピクセルのサブセットそれぞれから発するまたは伝達される光がそのサブセットに関連づけられた前記視野区画の方向を向くように規定されるような制約である。視野区画は、水平方向に互いにずれて配置されている。
【0022】
ピクセルマトリクスは、本方法において、ピクセルの細い一片それぞれについて、ディスプレイの前方の公称距離とは異なる観察距離から3D画像のオートステレオスコピックを観察するために、3D画像を規定する画像データに依存して制御される。この目的のために、本方法は、ピクセルの細い一片それぞれについての以下のステップを含む。
【0023】
行方向に向けられ、ディスプレイの前方の観察距離において規定された高さに置かれた線の水平位置を記述する位置座の値を決定するステップ。値は、細い一片それぞれのピクセルから発するまたは伝達される光が光学部材によって伝搬方向が制約されて線上に入射する位置それぞれについて決定される。
【0024】
値によって定義される位置からの注視の方向に対応する3D画像の視野の細い一片に対応する画像の細い一片について、画像データによって規定される強度値を決定するステップ。
【0025】
この方法で決定された強度値を用いてこの細い一片のピクセルを制御するステップ。
【0026】
上記のディスプレイについて述べたことは適宜これらの方法のステップに適用する。可能な限りよい画質を公称距離とは異なる観察距離から観察してももたらすために、位置座標をできる限り細かい目盛りのスケールで、あるいは目盛りのないスケールにおいて、決定することができる。いずれの場合も、異なる細い一片のための多数の異なる値が、既述の複数よりも確実に多くなるように採択(adopt)される。提案するディスプレイの制御部は、異なる細い一片のための多数の異なる値が既述の複数よりも確実に多くなるように採択されるように、できる限り細かい目盛りのスケール、あるいは目盛りのないスケール上の位置座標を決定するように適宜構成される。
【0027】
すなわち、位置座標は、水平位置が前述の視野区画に対応する位置、またはディスプレイから見てこれらの視野区画のまさに前方または背後に対応する位置のための多数(これは既述の複数に対応する数)の可能な位置座標の値を採択する。本ケースでは、位置座標はこれらの離散値の間の中間値を追加的に採択する、または採択することができる。しかしながら、計算量を範囲内に保つために、各ケースにおいて限定された数の離散の中間値のみを許可し、位置座標を次に近い許可された値または中間値に切り上げまたは切り下げすると効果的である。これは、全体で要求される視野の数、またはより厳密には、少なくとも個々の画像の細い一片が要求されるか要求されるかもしれない視野の数を制御できるようにしておくことで達成できる。
【0028】
既述の視野は、典型的には、多数(既述の複数に対応する数)の値について、それらがこの複数に対応する多数の立体半画像に対応するように規定される。ここでこの立体半画像は、各ケースについて、2つ(これは、この多数の値のうち互いに最寄りの値に対応する)を組み合わせることによって1つの立体画像を形成する。これらは、従来型のディスプレイ制御における既述のサブグループ上に表示されるか、または公称距離に対応する観察距離のときの立体半画像である。公称距離とは異なる観察距離である本ケースにおいては、少なくとも1つの視野(これは位置座標の中間値に対応する)が、これらの2つの立体半画像の注視方向間に配置あれた注視方向に対応するように選択される。
【0029】
方法の好適な実施の形態においては、ピクセルマトリクスの中央部に延在する多数(既述の複数に対応する数)のすぐとなりに隣接する細い一片について前述した数の値が採択され、さらに外側に配置される少なくともいくつかの細い一片について中間値が採択されるように、位置座標が決定される。制御部は、このような方法で位置座標を決定するように適宜構成される。画像中央部におけるピクセルマトリクスの制御は変わらないか、公称距離について提供される制御から取るに足らない程度のみ変更される。
【0030】
異なる視野について要求される強度値を決定するために、任意の既知の望ましい描画処理を用いることができる。この点に関し各ケースにおいて、各視野について、この視野に対応する位置座標の値が決定されている画像の細い一片についてのみ強度値が決定される場合、効果的で十分である。したがって、要求される計算量は範囲内にとどまり、これにより、本手法を事前に規定されていないリアルタイムで規定される画像列(例えば、コンピュータゲームや立体カメラで撮影される生の撮影の画像列)にも使用可能にする。
【0031】
既述の画像データによって規定される深度図(depth map)またはいくつかの深度図と、深度図によって表される表面の部分領域についての画像データによって規定されるテクスチャの値とから、要求される画像の細い一片または各視野の細い一片についての画像情報が決定されるという点で、異なる視野についての強度値は決定されるということが1つの可能性である。先に示していないそのような視野の画像情報を獲得する処理は、例えばドイツの公開公報DE 10 2010 028 668 A1に記載されている。
【0032】
他の実施の形態では、画像データによって規定される少なくとも2つの立体半画像間の差異が決定され、視野それぞれの要求された画像の細い一片の画像情報が、差異および位置座標の各値に依存して、補間および/または変換によって立体半画像間の中間画像として規定されるという点で視野が決定されるという点で、異なる視野についての強度値は決定される。どのようにこれらがなされるかの教示は、例えば米国特許第6366281B1に開示されている。そのような処理は、「モーフィング(morphing)」とも呼ばれている。
【0033】
さらなる可能性は、画像データによって規定される少なくとも2つの立体半画像間の差異が決定され、差異から深度図が計算され、視野それぞれの要求された画像の細い一片についての強度値がこの深度図を用いて決定されるという点で、異なる視野についての強度値は決定されるという事実である。
【0034】
したがって、提案されたディスプレイの制御部は、異なる視野についての強度値を決定するために、以下のように構成されることができる。
【0035】
既述の画像データによって規定される深度図と、深度図によって表される表面の部分領域についての画像データによって規定されるテクスチャの値とから、要求される画像の細い一片または各視野の細い一片についての画像情報を決定するように構成される。
【0036】
または、画像データによって規定される少なくとも2つの立体半画像間の差異を決定し、差異および位置座標の各値に依存して、補間および/または変換によって立体半画像間の中間画像として視野が規定されるという点で、各視野の要求された画像の細い一片の画像データを決定するように構成される。
【0037】
または、画像データによって規定される少なくとも2つの立体半画像間の差異を決定し、差異から深度図を計算し、視野それぞれの要求された画像の細い一片についての強度値をこの深度図を用いて決定するように構成される。
【0038】
ディスプレイからの観察者の現在の距離に自動的に制御を適合させることができるようにするために、ディスプレイは、少なくとも一人の観察者の目とディスプレイとの距離を決定するための追跡装置と、この距離に対応する観察距離のためのピクセルマトリクスを制御するように構成された制御装置を備えることができる。したがって、制御部は、計測された距離が公称距離と異なる場合には、前述した方法でピクセルマトリクスを制御するように構成される。前述した方法は、制御のための基礎として用いられる既述の観察距離が追跡装置によって決定された距離に相当する。同様に効果的に設計した方法においては、少なくとも一人の観察者の目のペアとディスプレイとの距離が検出され、異なる細い一片のための位置座標の値を決定するために検出された空間に相当するものとして、観察距離が選択される。この目的のために、例えば、立体カメラで撮影されたディスプレイの前方の空間の画像が、適切な画像評価処理を用いて評価される。
【0039】
本出願の主題は、それ自体は知られている種類のオートステレオスコピックスクリーン上で3D画像を再生するための方法として記述できる。典型的な実施の形態では、このスクリーンは大量のピクセルを持つピクセルマトリクスはもちろん、ピクセルマトリクスの前方に配置された光学部材(以下、「光学格子(optical grid)ともいう。」)も備える。ここでピクセルマトリクス内のピクセルは、以下のように配置される。すなわち、それらが等間隔で隣接して配置される多数の細い一片(以下、「列」ともいう。)を形成するように配置される。ここで行方向は、垂直または比較的垂直な傾向を示す。光学格子は一群の細い一片の形状の構造を持ち、これらは列に対して平行に方向付けられ、等間隔で隣接して配置される。光学格子はまた、各ピクセルについて、少なくとも1つの規定された、各ピクセルを起源とする光が伝搬する平面があらかじめ規定されている。この伝搬する平面は、ある規定された水平の伝搬方向および列方向に広がっている。隣接する細い一片の形状の構造における水平方向のオフセットによって規定される光学格子の周期長は、すぐとなりに隣接する行の水平方向のオフセットよりもn×Dn/(Dn+n)の係数だけ大きい。ここでaはピクセルマトリクスと光学素子12との間の実効距離を指定し、Dnはオートステレオスコピックスクリーンの公称距離を示し、nは上述した2よりも多い複数の視野区画の数に対応する2よりも大きい整数を示す。
【0040】
ここで提案するこの種のスクリーンの利用において、公称距離Dnから逸脱する観察距離Dから3D画像のオートステレオスコピックビューを可能とするために、3D画像を再生する方法は以下のステップを含んでもよい。
【0041】
各列について、視野区画内の位置座標の値とさらなる位置座標の値とを割り当てるステップ。ここで最初に言及した位置座標の値は、スクリーンの前方において観察距離Dの位置に水平に向けられた座標軸の位置を与える。この位置は、各列を起源とし光学格子を通る光がその位置において座標軸に当たるという事実によって規定される。また、さらなる位置座標の値は、水平方向における、各列または光学格子の細い一片の形状の構造の位置を与える。光学格子を通って、その列のピクセルを起源とする光が降る。
-
【0042】
各行について、画像統合体(image synthesis)によって画像の抜粋を計算するステップ。ここでこの画像は、各行に関連づけられた既述の最初に言及した位置座標の値によって規定される位置から再現されるべき3D画像の見え方によって与えられる。抜粋は、画像の細い一辺によって規定される。画像の細い一辺は、各行に関連づけられた前述のさらなる位置座標の値に対応する画像中の水平方向の位置を持つ。
【0043】
各行について計算された抜粋が各行中に記録されるように、ピックセルマトリクス中のピクセルを制御するステップ。
【0044】
上述した最初に言及した位置座標の値は、光学格子によって規定される上述の座標系を横切る各行を起源とする光の伝搬平面の位置に対応することは理解の助けとなるであろう。
【0045】
3D画像が比較的よい画質で見え、かつ3次元のオートステレオスコピックが視認できる領域は、スクリーンの前方において観察距離Dの位置に生成される。しかしながら、画質を低下しうる干渉が、この領域の端で起こりうる。この干渉は、典型的には行方向(例えば、勾配において)に現れる細い一辺の形に見え、平行に並んで配置される。この干渉は、比較的大きく異なる視点の画像の抜粋が再生成される、隣接する行またはピクセルの細い一片の間のクロストークによって引き起こされる。上述した制御により、隣接する行またはピクセルの細い一辺に渡って、視点または視野の方向が概してわずかにのみ異なる画像の抜粋が生成される。しかしながら、およそn番目の行のジャンプ毎に、反対方向に寄り大きな視点のジャンプが生じ、これは上述の干渉を導きうる。
【0046】
この干渉を少なくとも減衰させる方法の概要は以下のとおりである。このケースにおいては、いくつかの行に平均化された強度値が記録されるか再生される。画像の抜粋においてすぐとなりに隣接する行から大きくそれる視点または視野の方向の記録に関連するのが好ましい。すなわち、上述の比較的大きな視点のジャンプが生じているピクセルマトリクスの行である。このケースにおいては、上述の領域の右端および左端に対応する2つの視点の寄与が平均化される。
【0047】
より正確には、このケースにおいては、複数のピクセルの細い一辺のうち選択された細い一辺のピクセルが、平均化された強度値を用いて制御される。この選択された細い一辺は、位置座標の値を決定するステップが、細い一片それぞれのピクセルから発する光が光学部材の2つの隣接する構造を通って伝搬するという事実のため所与の位置座標の間隔内において2つの解(すなわち、2つの位置座標の値)を見つける結果となる1またはいくつかの細い一辺として決定される。ここで平均化された強度値はそれぞれ、第1強度値と第2強度値との平均として決定される。第1強度値はピクセルそれぞれについて2つの解のうち第1の解のために決定される。また第2強度値は同じピクセルそれぞれについて2つの解のうち第2の解のために決定される。したがって制御部はそれに応じて構成することができる。典型的には、平均化された強度値は、特定の選択された細い一片のピクセルそれぞれについて、各ピクセルについて決定された重み付けされた第1強度値と重み付けされた第2強度値とを加算することによって得られる。第1強度値と第2強度値とは、決定された位置座標の値に依存して重み付けされる。この平均化に用いられる重み付け係数は、決定された値が所与の位置座標間隔の境界に近い場合は小さくなり、決定された値がこの位置座標間隔の境界から遠くなると大きくなる。
【0048】
以下に示す図1から図4を参照しながら、本発明の実施の形態を説明する。
【図面の簡単な説明】
【0049】
図1】オートステレオスコピックディスプレイおよびそのディスプレイの前の視野空間を概略的に示す平面図である。
図2図1に示すディスプレイのピクセルマトリクスの詳細を示す正面図である。
図3図1に対応する表現であり、同一のディスプレイであるが、提案するディスプレイ制御を説明するためにディスプレイのいくつかの構成要素を省略していくつかのビームパスのみを例示的に描いた図である。
図4】ある特定の実施の形態に係るピクセルマトリクスの一部の正面図である。
【発明を実施するための形態】
【0050】
オートステレオスコピックディスプレイが図1に示されている。オートステレオスコピックディスプレイは、複数の異なる画像(本実施の形態の場合9)を同時に表示するのに特に適している。このディスプレイは、ピクセルマトリクス11と、ピクセルマトリクス11の前方に配置された光学素子12とを備える。ディスプレイはさらに、3D画像を規定する画像データ14に依存するピクセルマトリクス11を制御する制御部13を含む。典型的には、この3D画像は時間とともに変化する。より正確には3D画像は画像シーケンスである。この点において、画像データ14は例えばデータ記録媒体に格納され、そこから読み出されることができ、コンピュータゲームの進行に応じてそのコンピュータゲームによって規定されることができる。
【0051】
ピクセルマトリクス11は、多数のピクセル15が異なる行に配置されているLCDまたはOLEDディスプレイである。ピクセルマトリクス11の詳細は図2に示されている。図2において、個々のピクセル15はそれぞれ長方形で示されている。本件では、ピクセル15は原色である赤、緑、および青(図2においてR、G、およびBで記されている)のサブピクセルである。
【0052】
複数のばらばらなピクセル15のサブセット(本件では9個であるが、もちろんそれよりも多くても少なくてもよい)が、それぞれ平行な細い一片を規定するように、ピクセルマトリクス11上に規定される。このサブセットは、1から9までの通し番号が付されている。図2において、ピクセル15はそれぞれ、ピクセル15が所属するサブセットの番号が付されている。図2からわかるように、既述の細い一片は、行に対して非ゼロの角度を有する。異なる細い一片は、行方向に周期的に入れ替わり、各細い一片はそれぞれ、各行に1つ要理も多い画素を含まない。
【0053】
光学素子12は、例えば細長い穴(slot)のあるスクリーンやレンチキュラースクリーンであり、細い一片と平行に向きをつけられた図2において点線で示される格子状の構造を持つ。この観点から、本実施の形態では、
【0054】
d=9bDn/(Dn+a)
【0055】
が構造における水平方向(構造の水平方向は行方向に対応する)の周期dに当てはまる。ここでbは隣接するピクセル15の領域の中央間の距離であり、aはピクセルマトリクス11と光学素子12との間の距離を指定し、Dnはいわゆる公称距離を表す。光学素子12は、ピクセル15から発するまたは伝達される光の伝搬方向をそれぞれ規定する。これは以下のようになされる。すなわち、ディスプレイの前方の公称距離Dnにおいて、水平方向に互いにずれて配置されている9つの視野区画16(9は既述の数に対応する)が、視野区画16それぞれがちょうど1つのサブセットと関連づけられるように規定され、ピクセル15のサブグループそれぞれから発するまたは伝達される光は、そのサブセットに関連づけられている視野区画16にまっすぐ入るように規定されている。これは図1において、とても外側に配置されているサブグループ2のピクセルそれぞれの破線によって例示されている。光学素子12がピクセルマトリクス11の裏側に配置される変更も同様に可能である。視野区画16は図1において菱形の断面で示されており、サブグループにしたがって1〜9までの番号が付されている。互いに隣接する視野区画16は、それぞれ水平方向におよそ65mmずれて配置されている。
【0056】
ディスプレイの通常の動作モードでは、9つの立体半画像のうちの1つはそれぞれ、視野区画16それぞれから見えるように、ピクセル15のそれぞれのサブグループ上に表示される。すぐとなりに隣接する視野区画16から見える2つの立体半画像が組み合わさって3次元画像の視野に対応する立体画像を形成するように、立体半画像が選択されて表示される。1またはそれ以上の観察者はそれぞれ、ディスプレイの前に公称距離Dnの位置にある観察面17から、奥行き効果を持った3次元効果の視野の1つを見ることができる。
【0057】
ディスプレイの別の動作モードについて記載する。別の動作モードでは、ピクセルマトリクス11は、公称距離Dnとは異なる観察距離Dから3次元画像のオートステレオスコピックを観察するために制御される。
【0058】
視野距離Dを計測するために、実施の形態に係るディスプレイは、追跡装置を備える。追跡装置は、ディスプレイの前の観察空間に向けられた立体カメラ18と画像評価処理を実行する評価部19とによって実現される。追跡装置を用いて少なくとも一人の観察者の頭部位置が検出され、その観察者の両目とディスプレイとの間の距離として観察距離Dが計測される。
【0059】
制御部13は、対応する技術的なプログラム装置により、後により詳細に説明されるいくつかのステップを実行する。このステップは、画像データ14と追跡デバイスによってピクセル15の細い一片それぞれについて決定された観察距離Dとに依存する。このステップは、公称距離Dnとは異なるディスプレイ前方の観察距離Dから3次元画像のオートステレオスコピックを観察するようにピクセルマトリクス11を制御するために実行される。
【0060】
まず、以下に記載するルールにしたがって、各細い一片それぞれについて、位置座標xにおける各値が決定される。特定の高さ(これは所望の大きさを選択できる)において、行方向(すなわち水平)に向けられた仮想的な線20が、決定された観察距離Dに対応する間隔でディスプレイの前に規定される。位置座標は、仮想的な線20における水平位置を表現できるように規定される。本事例の場合、線20はある直線の一部である。しかしながら、線20を傾けたり曲げたりするなどの拡張も可能である。本事例の場合、既述の距離を、ディスプレイとある点(典型的には、線20のディスプレイ前方における中心点)との間の距離を指定する距離とする。位置座標の値は、細い一片それぞれについて、細い一片の画素から発するまたは伝達される光が光学素子12によって制約され線20上に入射する位置に対する簡単な数学的操作によって決定される。これは、図1において破線を用いて1つの細い一片について例示されている。図1に示されている例は、サブグループ7に属するピクセル15の細い一片であり、これはディスプレイの左側の縁付近に位置している。位置座標xは、ディスプレイの中心から見て視野区画16の真正面に置かれた9つの離散値を選択する。本実施例において位置座標xは1,2,3,4,5,6,7,8,および9の離散値が存在するように採用される。位置座標xの値は、これらの離散値の間の中間の値を選択して異なる細い一片(これらは9よりもかなり多い)に異なる値を選択できるように、細かく目盛りがつけられた、あるいは細かい目盛りがなくてもある程度正確に、物差し(scale)で決定される。それ故、図1に位置座標xの値の決定が例示されているように、ある程度正確なx=3.5が細い一片に割り当てられる。また図1から理解できるように、位置座標xは、ピクセルマトリクスの中央部に広がる9つのすぐとなりに隣接した細い断片に1,2,3,4,5,6,7,8,および9の離散値が採択され、それらの間にある中間値が少なくともさらに外側にある細い一片のいくつかに採択されるように規定される。
【0061】
したがって、位置座標xの各値は、線上の特定の位置を表す。それ故、位置座標xの各値は、3D画像によって期待されるシーンにおける注視または眺めの特定の方向に関連づけることができる特定の観察位置を表すことになる。さらなるステップにおいて、細い一片それぞれについて強度値が決定される。強度値は、3D画像の細い一片の見え方に対応する細い一片の画像データ14によって規定される。3D画像の細い一片の見え方は、位置座標に規定される位置からの注視の方向に対応する。この点において、各見え方は、この観察位置または所定の注視方向に起因する3D画像または3D画像によって表示されたシーンの2次元視野として規定される。
【0062】
最後に、各細い一片のピクセル15は、決定された強度値を用いて制御される。この強度値は、本例の場合、画像データ14に含まれる色情報と個々のピクセル15の色とに必然的に依存する。変形例として、ピクセルマトリクス11はもちろん多色のピクセルで当てもよく、それらのピクセルは、決定された対応する強度値および色値を用いて制御される。
【0063】
離散値1,2,3,4,5,6,7,8,および9について、視野が9つの立体半画像として規定される。9つの立体半画像は、既述の公称距離Dnから観察した場合のディスプレイの視野の通常の動作モードに関連づけて名付けたものである。しかしながら、ここで注目する動作モードでは、ほとんどの視野は個々の細い一片の視野のみが必要であり、位置座標xの中間値で定義される。位置座標xの中間値は、上記9つの立体半画像の注視の方向の間にある注視の方向に対応する。これを説明するために、図1においてxの値が1,5,および9の光線が例として描かれている。これは、各xの値によって規定される線20上の位置に光学素子12を介して入射される光が発せられるべきピクセルマトリクス11の点を示している。しかしながら図1から簡単に理解されるように、これらの点は、例外的なケースでは実際に光が発せられるピクセル15のうちの1つの中央のみである。実際に存在するピクセル15(これはピクセル15の中央を意味する)から発せられる光は、一方で、ほとんどの場合、線20上において位置座標xの中間値に対応する位置に入射される。可能な限り最良の画質は、ディスプレイの前方の観察距離Dに位置する観察者のために、本例では、選択された中間値に対応する画像情報を用いてピクセル15を制御することによって実現される。
【0064】
図3は、同一の参照番号とともに特徴が再現しており、関係性を再度例示している。図1の対応とは別の表現の方法で、各光束が、ピクセルマトリクス11における3つの異なる領域について例として示されている。光束が3から4のそれぞれ隣接するサブピクセル15から発しており、線20上において座標値x=5あたりによって定義される位置の領域を照らしている。観察者の目がこの位置からの視野(x=5によって定義されるカメラ位置からの注視の方向に対応する視野)を可能な限り障害なく見ることができるように、異なるサブピクセルのピクセル15は、ここで簡単に認識できる幾何的関係によって以下のように制御されなければならない。ピクセルマトリクス11の左側の端部におけるサブグループ9のピクセル15、およびピクセルマトリクス11の右側の端部におけるサブグループ1のピクセル15は、通常の場合(すなわち公称距離Dnから眺めた場合)に5番目の視野区画16から観察できる立体半画像に属する強度値を用いて制御される。図3において参照番号21で示されるピクセルマトリクスの領域では、対照的に、ピクセル15のうちいずれのピクセルも、この視野の強度値を用いて制御されない。なぜなら、個々のピクセル15のうちいずれのピクセルも、対応する画像情報が画像化されるべきところに配置されていないからである。その代わり、サブグループ3のピクセル15がx=4.6に属する計算された視野の画像情報を用いて制御されるが、領域21におけるサブグループ4のピクセル15がx=5.6に属する別の計算された視野の画像情報を用いて制御される。この視野は、上述した9つの立体半画像における4番目および5番目、または5番目および6番目の立体半画像のカメラ位置の間における対応する位置に配置されたカメラ位置から表示されたシーンを取ることによって生じたことを意味する。
【0065】
線20は、長さまたは幅(すなわちx方向)において上述した方法で位置座標xの値が明確に決定される限定された方法で固定されている。位置座標xによる線20のパラメータ化は、図1に示す場合の縮尺とは異なる縮尺に当然することができる。これは、離散値1,2,3,4,5,6,7,8,および9に対応する位置の間の距離を、特定のxの値にちての視野の関連性を変えることなく伸ばすことでも達成できる。例えばより小さなDの線20において両目間の平均距離である約65mm互いに離れた2つの位置からの視野である2つの視野が、それぞれ互いに対応して離れたカメラ位置(それ以上は離れない)からの眺めにも対応する。2つの視野間の視差、より正確には上述の制御によって近づいた視野と、観察者が観察距離Dから両目で見る視野との間の視差は、両目の平均距離によって表示されたシーンの視界から得られた視差とできる限り正確に対応しなくてはならない。
【0066】
位置座標xの値は、それぞれ端数を切り上げまたは切り下げして、限定された数の離散値における次に近い中間値とするという仮定を置くことができる。例えば、位置座標をそれぞれ小数点第1位まで決定することもできる。9つそれぞれの中間画像が、xの値1,2,3,4,5,6,7,8,および9に対応する立体半画像の間に配置される。最大限必要な視野の数(より正確には、少なくとも個々の細い一片が必要とされうる数)が多くても90に制限される。この視野の離散数の制限によって計算量は有利に制限される。しかしながら、この数は元々の9つの視野よりは大きい。
【0067】
必要とされる視野、より正確にはそれに要求された画像の細い一片を解析し、異なる視野のための強度値を決定するための制御部13の対応するプログラミングに用いられる異なる処理が知られている。
【0068】
特に、以下のケースが可能である。
【0069】
画像データ14は深度図および深度図によって再生される表面の部分領域のテクスチャの値を規定する。異なるの視野の要求された画像の細い一片のための画像情報が、深度図と深度図によって再生される表面の部分領域のテクスチャの値とから決定されるという点で、それぞれの視野について強度値が決定されうる。
【0070】
他のケースでは、画像データは2またはそれ以上の立体半画像を規定する。既に規定された立体半画像間の差異が決定され、それぞれの視野の要求された画像の細い一片のための画像情報が以下の点で決定されるという点で、異なる視野について強度が決定されうる。すなわち、差異および補間および/または変換(いわゆるモーフィング)によるそれぞれの位置座標xの値に依存した立体半画像間の中間画像としてその視野が規定されるという点である。その代わりに、既に存在する半画像に起因する差異から深度図が計算されることもできる。それぞれの視野の要求された画像の細い一片のための画像情報が次に深度図を用いて決定される。
【0071】
追跡装置は、少なくとも1つの目のペアの水平位置を、その目のペアの頭部の位置を用いて決定するように構成されることを加えて指摘しなくてはならない。したがって制御部13は、少なくとも追跡装置によって決定された水平位置に依存して、3D画像がオートステレオスコピックで見える領域が、目のペアまたは追跡された観察者の目のペアまたはその観察者を含むように、ピクセルマトリクス11を制御するように構成される。必要であれば、これは線20または視野区画16の横側の変位によってなされる。
【0072】
本実施の形態では、観察距離Dは追跡装置によって決定され、ピクセルマトリクス11は上記のように決定された観察距離Dに依存して制御される。その代わりに、観察距離Dは当然ユーザによって、例えばディスプレイが設置された部屋の大きさに依存して選択され、制御部13にあらかじめ入力されうる。
【0073】
ある特別な実施の形態に係るディスプレイでは、光学素子12は制御可能であり、光学素子12の制御に依存して屈折特性が可変なレンズ部材を形成する。そのような構造を実現するために液晶が用いられることが知られている。この場合、入力によって観察距離Dが任意に固定されているか否かに依存せず、または追跡装置の出力信号に依存して、制御部13は、レンズ部材の屈折特性がこの観察距離Dに適するように観察距離Dに依存して光学素子12を制御するように構成されうる。
【0074】
ピクセルマトリクス11のピクセル15がこれまで説明したように制御される場合、3D画像は、多かれ少なかれディスプレイの前方中央のある領域、この領域と観察距離Dに対応するディスプレイとの間の距離、から観察することができる。図1においては、この領域は1と9との間のx座標値に対応する線20の一部で特定されうる。しかしながら、この領域の端部において画質を低下する干渉が発生する。この干渉は、比較的大きく異なる視点の画像の抜粋が再生成される、隣接するピクセルの細い一片の間のクロストークによって引き起こされる。言い換えると、いくつかの場合では、この問題は、9または10に近いxの値が隣接するピクセル15の細い一片の1つに割り当てられ、0または1に近いxの値がもう一方の隣接するピクセル15の細い一片に割り当てられると生ずる。
【0075】
この現象によって生じる品質の損失は、ピクセル15の細い一片それぞれについて平均化した強度値を用いて減少させることができる。図4は、特定の実施の形態においてこれがどのようになされるかを例示している。図4は、ピクセルマトリクス11の一部分を示す。この部分は10行57列のピクセル15を含む。行の先頭の文字R,G,またはBは、各行のピクセル15がそれぞれ赤、緑、または青であることを示す。図4に示す各ピクセル15には、少なくとも1つの数が描かれている。これらの数は、上述した方法によって各ピクセル15について決定された位置座標xの値を示す。より正確には、各ピクセル15が属する細い一片について決定された置座標xの値を示す。位置座標xの値が決定されるとき、0と10との間の値のみ認められる。この所与の位置座標の間隔内であっても、位置座標xの2つの異なる値が、いくつかのピクセル15の細い一片について見つかる。これは、各細い一片から光が発生し、2つの隣接する光学部材の構造を伝搬して前述の領域に当たるという事実のためである。
【0076】
0と10との間の2つの異なるxの値についてのピクセル15の細い一片が見つかる。例えば、細い一辺について位置座標の値を決定するステップが2つの解を持つ結果となるか、または少なくともそれらのうちいくつかが、平均化された強度値を用いて制御されるピクセル15の細い一片として選択される。これらの細い一片に割り当てられた2つの異なるxの値(以下、x1およびx2と呼ぶ。)は、図4においてx1×x2という形式で描かれている。平均化された強度値Iはそれぞれ、第1強度値f(x1)と第2強度値f(x2)の平均値として決定される。第1強度値f(x1)は、強度値の決定ステップにおいて、2つの解のうち第1の解x1についてのピクセル15それぞれについて決定される。第2強度値f(x2)は、2つの解のうち第2の解x2についての同一のピクセル15について決定される。それ故、第1強度値f(x1)は、位置座標x1によって規定される位置からの注視の方向に対応する画像の観点から規定される強度値である。一方、第2強度値f(x2)は、位置座標x2によって規定される位置からの注視の方向に対応する画像の観点から規定される強度値である。平均化された強度値Iは、特定の選択された細い一片のピクセル15それぞれについて、重み付けされた第1強度値f(x1)と重み付けされた第2強度値f(x2)とを加算することによって得られる。第1強度値f(x1)と第2強度値f(x2)とは、決定された位置座標の値x1およびx2に依存して重み付けされる。この平均化に用いられる重み付け係数は、決定された値が所与の0から10までの位置座標間隔の境界に近い場合は小さくなり、決定された値がこの位置座標間隔の境界から遠くなると大きくなるように規定される。これは図4において、いくつかの選択された細い一片のピクセル15について、ピクセルマトリクス11の可視部分の下部の式によって例示されている。
【0077】
ここに記載した例は、観察距離Dが公称距離Dnよりも小さい。これはもちろん必須ではない。公称観察距離Dnよりも大きい観察距離Dでディスプレイを観察するのに適用するために、同じステップを同様に実行することができる。
図1
図2
図3
図4