(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】3Dディスプレイのためのオーバースキャン
(51)【国際特許分類】
H04N 13/351 20180101AFI20230907BHJP
H04N 13/178 20180101ALI20230907BHJP
H04N 13/305 20180101ALI20230907BHJP
【FI】
H04N13/351
H04N13/178
H04N13/305
(21)【出願番号】P 2020543288
(86)(22)【出願日】2019-01-23
(86)【国際出願番号】 EP2019051617
(87)【国際公開番号】W WO2019158327
(87)【国際公開日】2019-08-22
【審査請求日】2021-12-20
(32)【優先日】2018-02-16
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】514171315
【氏名又は名称】ウルトラ-デー・コーペラティーフ・ユー・アー
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】バーレンブルク,バルト・ヘラルト・ベルナルト
(72)【発明者】
【氏名】ルーレン,ペーテル
【審査官】益戸 宏
(56)【参考文献】
【文献】欧州特許出願公開第02410753(EP,A2)
【文献】米国特許出願公開第2013/0187910(US,A1)
【文献】特表2013-526123(JP,A)
【文献】特開2012-253690(JP,A)
【文献】特表2012-516071(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
3Dディスプレイ(140)上でのディスプレイのために、三次元[3D]画像データを処理するためのディスプレイプロセッサ(120)であって、
3Dディスプレイは、3D画像データの一連のビュー(0-5)を隣接して放射するようになされており、一連のビューは、複数のビューイング位置(110、112)における3D画像データの立体ビューイングを可能にし、
ディスプレイプロセッサは、
- 3D画像データの一連のビューを生成し(122)、
- 3Dディスプレイのベゼルにおけるデ-オクルージョンアーチファクトを減らす、または回避するために、3Dディスプレイ上に3D画像データを表示するためにオーバースキャンを使用し、
- 1つ以上の奥行き範囲パラメータに応じて、オーバースキャンの程度(224)を決定し、1つ以上の奥行き範囲パラメータは、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける
ように構成される、ディスプレイプロセッサ(120)。
【請求項2】
3D画像データが、二次元[2D]画像データ(200)および奥行き関連データ(210)を含み、1つ以上の奥行き範囲パラメータが、3D画像データの一連のビューを生成するときに奥行き関連データの値に適用されるマッピングを定義する1つ以上のマッピングパラメータを含み、オーバースキャンの程度(224)が、前記1つ以上のマッピングパラメータに基づいて決定される、請求項1に記載のディスプレイプロセッサ(120)。
【請求項3】
マッピングが、利得パラメータおよびオフセットパラメータを含む、請求項2に記載のディスプレイプロセッサ(120)。
【請求項4】
ディスプレイプロセッサが、公称オーバースキャン値と利得パラメータとの積に応じてオーバースキャンの程度(224)を決定するように構成される、請求項3に記載のディスプレイプロセッサ(120)。
【請求項5】
ディスプレイプロセッサが、前記積とオフセットパラメータの絶対値との合計としてオーバースキャンの程度(224)を決定するように構成される、請求項4に記載のディスプレイプロセッサ(120)。
【請求項6】
1つ以上の奥行き範囲パラメータが、3D画像データのコンテンツの奥行き範囲を示す1つ以上のコンテンツパラメータを含む、請求項1から5のいずれか一項に記載のディスプレイプロセッサ(120)。
【請求項7】
1つ以上のコンテンツパラメータが、3D画像データのコンテンツの奥行き範囲の測定値を表す、請求項6に記載のディスプレイプロセッサ(120)。
【請求項8】
1つ以上のコンテンツパラメータが、画像内の奥行き範囲を示し、および/または3D画像データが3Dビデオを表している場合、複数の画像上の奥行き範囲を示す、請求項7に記載のディスプレイプロセッサ(120)。
【請求項9】
1つ以上のコンテンツパラメータが、ビデオショット内の奥行き範囲を示す、請求項6に記載のディスプレイプロセッサ(120)。
【請求項10】
請求項1から9のいずれか一項に記載のディスプレイプロセッサ(120)を備える、3Dディスプレイ(140)。
【請求項11】
3Dディスプレイ上でのディスプレイのために、三次元[3D]画像データを処理する、コンピュータにより実装される方法(300)であって、
3Dディスプレイは、3D画像データの一連のビューを隣接して放射するようになされており、一連のビューは、複数のビューイング位置における3D画像データの立体ビューイングを可能にし、
方法は、
- 3D画像データの一連のビューを生成すること(320)と、
- 3Dディスプレイのベゼルにおけるデ-オクルージョンアーチファクトを減らす、または回避するために、3Dディスプレイ上に3D画像データを表示するためにオーバースキャンを使用することと、
- オーバースキャンの程度を、1つ以上の奥行き範囲パラメータに応じて決定すること(310)であって、1つ以上の奥行き範囲パラメータは、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける、こと(310)と
を含む、コンピュータにより実装される方法(300)。
【請求項12】
プロセッサシステムに、請求項
11に記載の方法を行わせるようになされた命令を表す一時的データまたは非一時的データ(360)を含む、コンピュータ可読媒体(350)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3Dディスプレイ上でのディスプレイのために、三次元[3D]画像データを処理するためのディスプレイプロセッサ、およびコンピュータにより実装される方法に関する。本発明は、ディスプレイプロセッサを備える3Dディスプレイ、およびプロセッサシステムに本方法を行うようになされた命令を表す一時的データまたは非一時的データを含むコンピュータ可読媒体にさらに関する。
【背景技術】
【0002】
テレビ受像機、デジタル写真フレーム、タブレットおよびスマートフォンなどのディスプレイデバイスは、このようなデバイス上でコンテンツを視るときに奥行きの知覚をユーザに提供するための3Dディスプレイをますます備えつつある。その目的のために、このような3Dディスプレイデバイスは、それら単独で、またはユーザによって着用される眼鏡と相俟って、立体視に基づく奥行きの知覚、例えば奥行きの立体知覚をユーザに提供するために、各々の眼において異なる画像をユーザに提供することができる。
【0003】
3Dディスプレイデバイスは、コンテンツをある程度の奥行きを有するものとしてスクリーン上に確立するために、通常、奥行き情報を含むコンテンツを使用する。奥行き情報は、コンテンツの中で黙示的に提供され得る。例えばいわゆる立体コンテンツの場合、奥行き情報は、ステレオコンテンツの左側の画像信号と右側の画像信号の差によって提供される。したがって左側の画像信号と右側の画像信号が相俟って立体3D画像信号を構成している。また、奥行き情報は、コンテンツの中で明示的にも提供され得る。例えばいわゆる画像+奥行き形式で符号化されたコンテンツでは、奥行き情報は、2D画像信号内のオブジェクトが有するカメラまたは視聴者までの距離を示す奥行き値を含む2D奥行き信号によって提供される。奥行き値の代わりにディスパリティ(disparity)値を使用することも可能であり、例えば2D奥行き信号は2Dディスパリティ信号であっても、または一般的には2D奥行き関連信号であってもよい。例えば自動立体ディスプレイのためのビュー合成のために、ステレオ3D画像信号から2D奥行き関連信号を生成する技法が知られている。
【0004】
これらの自動立体ディスプレイは、視聴者による偏光色フィルタに基づく眼鏡の着用または偏光シャッターに基づく眼鏡の着用を必要とすることなく、奥行きの前記立体知覚を提供している。その目的のために、ディスプレイが3Dディスプレイ上の各々の所与の点からビューイングコーンを放射できるようにするレンチキュラーレンズアレイ(またはより一般的なレンチキュラー手段または障壁手段)などの光学構成要素が使用され、ビューイングコーンは、場面の少なくとも左側のビューおよび右側のビューを含んでいる。これには、視聴者が、ビューイングコーン内に適宜に位置付けられるときに各々の眼を使用して異なる画像を見ることができるようにする。自動マルチスコピックディスプレイと呼ばれることもある特定の自動立体ディスプレイは、左側のビューおよび右側のビューだけよりもむしろ、同じ場面の複数のビューを提供している。これは、視聴者が、依然として場面の立体知覚を得、また、運動視差(parallax)も経験しながら、ビューイングコーン内の複数の位置をとること、例えばディスプレイの前を左-右に移動することを可能にする。
【0005】
このような自動立体ディスプレイの例は、SPIE Proceedings Vol.2653、1996年、32-39頁において発表されている、C.van Berkelらによる、「Multiview 3D-LCD」という題名の論文、およびGB-A-2196166に説明されている。これらの例では、自動立体ディスプレイは、ピクセル(ディスプレイ素子)の行および列を有する、光源からの光を変調する空間光変調器として作用する行列LC(液晶)ディスプレイパネルを備えている。ディスプレイパネルは、他のディスプレイ用途、例えば二次元形態でディスプレイ情報を提示するためのコンピュータディスプレイスクリーンに使用される種類のディスプレイパネルであってもよい。例えば重合体材料のモールドされたまたは機械加工されたシートの形態のレンチキュラーシートは、そのレンチキュラー素子でディスプレイパネルの出力側を覆うことができ、レンチキュラー素子は、(半)円筒状レンズ素子を備え、列方向に延びており、各々のレンチキュラー素子は、ディスプレイ素子の2つ以上の隣接する列のそれぞれのグループと関連付けられており、ディスプレイ素子列と平行に走っている平面内を延びている。各々のレンチキュールがディスプレイ素子の2つの列と関連付けられる配置では、ディスプレイパネルは、垂直方向にインターリーブされた2つの2D副画像を含むコンポジット画像を表示するように駆動され得、ディスプレイ素子の交互の列は2つの画像を表示し、各々の列のディスプレイ素子は、それぞれの2D(副)画像の垂直方向のスライスを提供する。レンチキュラーシートは、これらの2つのスライスおよび対応するスライスを、他のレンチキュールと関連付けられたディスプレイ素子列からシートの前の視聴者の左眼および右眼にそれぞれ方向づけ、そのため視聴者は、適切な双眼ディスパリティを有する副画像を使用して単一の立体画像を知覚することができる。各々のレンチキュールが行方向の3つ以上の隣接するディスプレイ素子のグループと関連付けられ、各々のグループ内のディスプレイ素子の対応する列が、それぞれの2-D(副)画像から垂直方向のスライスを提供するために適切に配置される他のマルチビュー配置では、それで、視聴者の頭が移動すると、例えば辺りを見回す印象を作り出すために連続する一連の異なる立体ビューが知覚される。
【0006】
上記の種類の自動立体ディスプレイは、様々な用途、例えば家庭用または携帯型娯楽画像化、医療画像化およびコンピュータ支援設計(CAD)のために使用され得る。
【0007】
自動立体ディスプレイは、しばしば、それらの上に表示される(仮想)世界の上にウィンドウを提供すると言われている。自動立体ディスプレイの場合、このようなディスプレイによって提供される運動視差は、視聴者が、場面がディスプレイ平面の背後に表示されていることを仮定してベゼルを見回すことを可能にする。後者は、いわゆるウィンドウ侵害(window violation)を回避するための3Dディスプレイにおける場合であることがしばしばである。コンテンツは、既存のコンテンツから変換され、ディスプレイと一致する16:9などのアスペクト比の標準分解能で配信されることがしばしばであるため、場面のうちの、ベゼルの隅を見回すことによって見えるようになる部分は、ソースビデオには存在しない。
【0008】
1つのオプションは、例えばしばしば背景情報を反復することによって利用可能な画像データから見ることができるようになるものを外挿し、または別のやり方でそれを予測することによって、あらゆるデ-オクルージョン(de-occlusion)が取り扱われるように、これを取り扱うことである。
【0009】
別のオプションは、コンテンツをディスプレイ平面に対して例えば水平方向に、または水平方向および垂直方向の両方に引き伸ばして、「隅を見回した」ときだけ、引き伸ばされたビデオの外縁が見えるようになるようにすることであってもよい。この原理は、テレビ受像機およびテレビ放送で知られている「オーバースキャン」の原理と概念的に同じであり、以下では単純にオーバースキャンとも呼ばれている。
【先行技術文献】
【特許文献】
【0010】
【文献】英国特許出願公開第2196166号明細書
【文献】米国特許第6,064,424号明細書
【非特許文献】
【0011】
【文献】SPIE Proceedings Vol.2653、1996年、32-39頁において発表されている、C.van Berkelらによる、「Multiview 3D-LCD」という題名の論文
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明者らは、3D画像データにオーバースキャンを適用することの欠点は、引き伸ばすことが、画像データに適用されるべき1.0よりわずかに大きいスケールファクタにつながり得、それが画像データの補間のために使用される位相の遅い変化により引き起こされる(極めて)低い周波数のエイリアシングにつながり得ることであることを認識した。視差の変化はこの極めて低い周波数パターンの可視性を妨害し、それにより減らすため、これは、3Dコンテンツが有意な奥行きを含んでいるとき、大きな妨害にはならないことが分かっている。しかしながら、コンテンツが比較的平らであり、例えば奥行き情報をほとんど含んでいないとき、さもなければエイリアシングの可視性を減らすことになり得る視差変化が存在しないか、またはほとんど存在しない可能性があるため、コンテンツのディスプレイ品質が劣化され得る。
【0013】
別の欠点は、例えばこのようなワーストケースの状況においてコンテンツを外挿しなければならないことを回避するために、有意な量の奥行きを含む場面を扱うべく、比較的大きくなるようにオーバースキャンの程度が選択され得るようにしなければならないことである。したがってオーバースキャンの程度は、平均的なコンテンツのために必要とされる程度より高くなるように選択され得る。
【課題を解決するための手段】
【0014】
本発明の目的の1つは、上述した問題のうちの少なくとも1つに対処する、3Dディスプレイのための改良型オーバースキャンを得ることである。
【0015】
本発明の第1の態様は、3Dディスプレイ上でのディスプレイのために、三次元[3D]画像データを処理するためのディスプレイプロセッサであって、
3Dディスプレイは、3D画像データの一連のビューを隣接して放射するようになされており、一連のビューは、複数のビューイング位置における3D画像データの立体ビューイングを可能にし、
ディスプレイプロセッサは:
- 3D画像データの一連のビューを生成し;
- 1つ以上の奥行き範囲パラメータに応じて、一連のビューを3Dディスプレイ上に表示するために使用されるオーバースキャンの程度を決定し、1つ以上の奥行き範囲パラメータは、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける
ように構成される、ディスプレイプロセッサを提供する。
【0016】
本発明のさらなる態様は、ディスプレイプロセッサを備える3Dディスプレイを提供する。
【0017】
本発明のさらなる態様は、3Dディスプレイ上でのディスプレイのために、三次元[3D]画像データを処理する、コンピュータにより実装される方法であって、
3Dディスプレイは、3D画像データの一連のビューを隣接して放射するようになされており、一連のビューは、複数のビューイング位置における3D画像データの立体ビューイングを可能にし、
方法は:
- 3D画像データの一連のビューを生成することと;
- 一連のビューを3Dディスプレイ上に表示するために使用されるオーバースキャンの程度を1つ以上の奥行き範囲パラメータに応じて決定することであって、1つ以上の奥行き範囲パラメータは、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける、ことと
を含む、コンピュータにより実装される方法を提供する。
【0018】
本発明のさらなる態様は、プロセッサシステムに、方法を行わせるようになされた命令を表す一時的データまたは非一時的データを含む、コンピュータ可読媒体を提供する。
【0019】
上記方策は、複数のビューイング位置における3D画像データの立体ビューイングを提供する自動立体3Dディスプレイ上に3D画像データを表示するときに使用されるオーバースキャンの程度を選択することを伴う。このような3Dディスプレイはそれ自体が知られており、レンチキュラーレンズアレイを利用して、3D画像データによって表された場面の一連のビューを視聴者に提供するために3Dディスプレイによって放射される光の方向を、典型的にはビューイングコーンと呼ばれているものの中に向け直すことができる。いくつかのディスプレイは、一連の反復されるビューイングコーンの各々の中にこのような一連のビューを放射することができる。
【0020】
当技術でそれ自体が知られているように、このような一連のビューは、3D画像データに基づいてディスプレイプロセッサによって生成され得る。例えば3D画像データが2D画像データおよび奥行き関連データを含んでいるか、またはそれらからなっている場合、ビューはビューレンダリング技法またはビュー合成技法によって生成され得る。一般に、このようなビューを生成することは、どのビューからのどの画像データが(サブ-)ピクセルによって表示されることになるかが、ディスプレイの(サブ-)ピクセル毎に対して決定される、知られている「ウィービング(weaving)」ステップまたは「相互嵌合(interdigitation)」ステップを伴うことができる。出力は、それぞれのビューのサブサンプリングされた画像データの「ウィービング」に類似していてもよい。ウィービングは、例えば一連のビューが生成された後の追加ステップとして行われてもよく、または一連のビューの生成の一体となった部分として行われてもよいことに留意されたい。一連のビューの生成の一体となった部分として行われる場合、ウィービングの間にすべての(サブ-)ピクセルに対して最初にビューをレンダリングまたは合成し、次に前記ビューの画像データのサブセットを選択する代わりに、どのビューが特定のサブ-ピクセルによって示されることになるかを最初に決定するステップを伴うことができ、その後にその特定のサブ-ピクセルのためのビューの画像データのみがレンダリングまたは合成される(ビューと関連付けられたすべての他の(サブ-)ピクセルに対しても同様である)。
【0021】
このようなタイプの3Dディスプレイは、視聴者が、事実上、3Dディスプレイのベゼルを「見回す」ことができるようにするため、このような場合におけるデ-オクルージョンアーチファクトを回避するために、3D画像データにオーバースキャンを適用することが望ましいことがあり得る。このオーバースキャンは、例えばビューイングコーンの真ん中のビューのために場面の中央でクロップされたビューを提示することを伴うことができ、周囲の「クロップ-アウトされた」画像データを使用して、ビューイングコーン内の他のビューにおけるデ-オクルージョン領域を充填することができる。3D画像データのこのようなタイプのクロッピングは
図3Aに示されているが、他のタイプのクロッピングも同様に考えられる。
【0022】
次にオーバースキャンの程度が適応的に、すなわち一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きを少なくとも部分的に特徴付ける1つ以上の奥行き範囲パラメータに基づいて、選択される。本発明の様々な実施形態において明らかにされてもいるように、このようなパラメータは様々な形態を取ることができるが、一般的には視聴者が3Dディスプレイのベゼルを「見回す」ことができる程度を表すことができ、それによりオーバースキャンが適用されない場合におけるデ-オクルージョンの程度を表すことができる。本発明者らは、これらの1つ以上の奥行き範囲パラメータに基づいてオーバースキャンの程度を適応的に選択するべく工夫した。例えば奥行き範囲パラメータが比較的大きい奥行きを示しており、それによりベゼルにおけるデ-オクルージョンが比較的高い危険を示している場合、比較的大きいオーバースキャンが選択され得、一方、奥行き範囲パラメータが比較的小さい奥行きを示しており、それによりベゼルにおけるデ-オクルージョンが比較的低い危険を示している場合、比較的小さいオーバースキャンが選択され得る。
【0023】
有利には、デ-オクルージョンアーチファクトの発生は回避され得るか、または少なくとも減らされ得る。このようなデ-オクルージョンアーチファクトは、外挿または他の手段によって「充填」されていない画像データによって、またはこのような「充填」が不完全であることによって引き起こされることがあり、それにより画像アーチファクトを引き起こすことがある。それと同時に、オーバースキャンの程度は、場面によって提示される奥行きを考えた上で実際に余儀なくされる最小に維持され得る。
【0024】
任意選択で、3D画像データは、二次元[2D]画像データおよび奥行き関連データを含み、1つ以上の奥行き範囲パラメータは、3D画像データの一連のビューを生成するときに奥行き関連データの値に適用されるマッピングを定義する1つ以上のマッピングパラメータを含み、オーバースキャンの程度は、前記1つ以上のマッピングパラメータに基づいて決定される。
【0025】
3D画像データが2D画像データおよび奥行き関連データを含んでいるか、またはそれらからなっている場合、ビューは、自動立体3Dディスプレイの技術でそれ自体が知られているビューレンダリング技法またはビュー合成技法によって生成され得、これらの技法は、奥行き関連値を視差シフト値にマッピングし、それにより2D画像データの画像データが一連のビュー全体にわたって局所的に変位され得る。このようなマッピングはパラメータ化され得るか、または少なくとも、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度に影響を及ぼし得る、1つ以上のマッピングパラメータによって部分的に決定され得る。例えばマッピングは、ビューレンダリング中に奥行き値を視差シフト値にマッピングするときに奥行き値に適用される利得パラメータおよびオフセットパラメータを含むことができる。このような利得パラメータは、場面内の奥行き差の大きさに影響を及ぼし得、例えば奥行き利得係数に対応し、一方、オフセットパラメータは、ディスプレイ平面に対する場面全体の前方/後方プレースメントに影響を及ぼし得、例えば奥行きオフセット値に対応する。いずれのパラメータも、ディスプレイのベゼルにおけるデ-オクルージョンの程度に影響を及ぼし得る。したがってオーバースキャンの程度は、前記マッピングパラメータのうちのいずれか、または両方に基づいて適応的に調整され得る。
【0026】
例えばディスプレイプロセッサは、公称オーバースキャン値と利得パラメータとの積に応じてオーバースキャンの程度を決定するように構成され得る。事実上、利得パラメータは公称オーバースキャン値を変調するために使用され得る。ここでは「公称」という形容詞は、例えば工場デフォルト値である、または較正によって得られた値、等々によって、予め選択された値を参照し得る。追加または代替として、ディスプレイプロセッサは、前記積とオフセットパラメータの絶対値の合計としてオーバースキャンの程度を決定するように構成され得る。ここではオフセットのゼロ値は、ディスプレイプロセッサに場面の前方/後方変位を行わせない(「ゼロ」)ことが仮定され得、一方、非ゼロ値は、ディスプレイプロセッサにオフセットパラメータの前記値の符号および大きさに応じて変位を行わせることができる。負または正のオフセットの量は、オーバースキャンの程度に寄与し得る。利得パラメータおよび/またはオフセットパラメータに応じてオーバースキャンの程度を決定する様々な他の方法も同様に考えられる。
【0027】
任意選択で、1つ以上の奥行き範囲パラメータは、3D画像データのコンテンツの奥行き範囲を示す1つ以上のコンテンツパラメータを含む。マッピングパラメータの使用に対する追加または代替として、コンテンツパラメータを使用してもオーバースキャンの程度が決定され得る。このようなコンテンツパラメータは、例えば測定値またはその予測値を表すことによって、画像データのコンテンツの奥行き範囲を示すことができる。例えばこのようなコンテンツパラメータは、3D画像データに対するメタデータとして生成され得、特定の画像、またはビデオショットなどの時間的フラグメントに対して、コンテンツの奥行き範囲を規定することができる。この奥行き範囲は、具体的にはオーバースキャンを適応させる目的のために規定され得、いくつかの場合では、奥行き範囲の単なる測定値ではなく、例えばコンテンツ作者の美的考察に基づくことができる。
【0028】
本明細書の要約書によれば、3Dディスプレイ上でのディスプレイのために、三次元[3D]画像データを処理するためのディスプレイプロセッサ、およびコンピュータにより実装される方法が提供される。3Dディスプレイは、複数のビューイング位置における3D画像データの立体ビューイングを可能にする3D画像データの一連のビューを放射するためになされている。一連のビューは、オーバースキャンを使用して3Dディスプレイ上に表示され得る。オーバースキャンの程度は、1つ以上の奥行き範囲パラメータに応じて決定され得、1つ以上の奥行き範囲パラメータは、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を、少なくとも部分的に特徴付ける。
【0029】
本発明の上述した実施形態、実装および/または態様のうちの2つ以上は、有用とみなされている任意の方法で組み合わされ得ることは当業者には認識されよう。
【0030】
処理されたディスプレイの説明されている修正および変更に対応する、方法および生成されるすべてのデータの修正および変更は、この説明に基づいて当業者によって実施され得る。
【0031】
本発明のこれらおよび他の態様は、以下で説明される実施形態から明らかであり、それらを参照して解明される。
【図面の簡単な説明】
【0032】
【
図1】ディスプレイプロセッサと、一連のビューイングコーンの各々における一連のビューを隣接して放射するための3Dディスプレイとを示す図である。
【
図2B】2D画像に対応する奥行きマップを示す図である。
【
図3A】オーバースキャンがない、特定のビューイング位置におけるビューを例示する図である。
【
図3B】オーバースキャンが適用された、ビューイング位置におけるビューを例示する図である。
【
図4】ディスプレイプロセッサを備える3Dディスプレイを示す図である。
【
図5】3D画像データを処理するための方法を示す図である。
【
図6】プロセッサシステムが方法を行うための命令を表す非一時的データを含むコンピュータ可読媒体を示す図である。
【発明を実施するための形態】
【0033】
異なる図において同じ参照番号を有する項目は、同じ構造的特徴および同じ機能を有するか、または同じ信号であることに留意されたい。このような項目の機能および/または構造が説明された部分には、詳細な説明の中でそれらを反復して説明する必要はない。
【0034】
参照および略語のリスト
参照および略語の以下のリストは、図面の解釈を容易にするために提供されたものであり、特許請求の範囲を限定するものとして解釈されるべきではない。
【0035】
0-5 一連のビュー
100 一連の反復されるビューイングコーン
102-106 ビューイングコーン
110 第1のビューイング位置
112 第2のビューイング位置
120 ディスプレイプロセッサ
122 一連の画像を表すデータ
140 3Dディスプレイ
142 光生成部分
144 光学手段
200 2D画像
210 奥行きマップ
220 オーバースキャンがない、第2のビューイング位置におけるビュー
222 デ-オクルージョンアーチファクト
224 オーバースキャンの程度の尺度
230 オーバースキャンを有する、第2のビューイング位置におけるビュー
300 3D画像データを処理するための方法
310 オーバースキャンの程度を決定すること
320 一連のビューを生成すること
350 コンピュータ可読媒体
360 命令を表す非一時的データ
【0036】
図1は、3Dディスプレイ140に接続され、一連の画像を例えばディスプレイデータ122の形態で3Dディスプレイに提供するために構成されるディスプレイプロセッサ120を示したものである。3Dディスプレイ140は、ユーザが眼鏡を着用する必要なく、その上に表示されたコンテンツの立体ビューイングを可能にするための自動立体3Dディスプレイである。3Dディスプレイ140は、典型的には発光素子または光変調素子のアレイからなる光生成部分142を備えている。例えば光生成部分142は、ディスプレイの技術分野で知られている液晶ディスプレイ(LCD)パネルおよびバックライトによって形成され得る。
【0037】
3Dディスプレイ140は、光生成部分142によって生成される光を異なる方向に向け直すための光学手段144をさらに備えている。光生成部分142は、一連のビュー0-5がビューイングコーン104の形態で3Dディスプレイ140から放射されるよう、適切に配置され得、光学手段144と協同する。さらに、3Dディスプレイ140は、一連の画像122を提供されているとき、一連のビュー0-5の中に前記画像を隣接して放射するように配置され得る。したがって視聴者は、一連のビュー0-5のうちの1つを視るときに一連の画像122のうちのそれぞれの画像を知覚することになる。一連の画像122は、3D画像データに含まれている場面と面し、および、前記場面の前を前記場面に対して左から右へ移動するカメラに対応し得る。したがってビューイングコーン104内のビューイング位置110に位置付けられた視聴者は、一連のビュー0-5のうちの2つの異なるビュー2、3を知覚することができ、それにより前記場面の立体ビューイングを得ることができる。
【0038】
上記構成の3Dディスプレイ、および、一連の画像122を一連のビュー104としてディスプレイのために処理するやり方は、それ自体知られていることに留意されたい。例えばUS6,064,424は、光学手段144としてレンチキュラー素子を有する自動立体ディスプレイ装置を開示しており、ディスプレイ素子とレンチキュラー素子間の関係を考察している。また、光学手段144としていわゆる視差障壁を備える自動立体ディスプレイが知られている。
【0039】
図1は、一連の反復されるビューイングコーン100の中央のビューイングコーンであるビューイングコーン104を示しており、ビューイングコーン102、104、106の各々は一連のビュー0-5を備えている。反復されているビューイングコーン104は、3Dディスプレイ140の光学手段144の望ましくあり、および、固有でもある特性であり得る。ビューイングコーンを反復することは、上記US6,064,424の中でも考察されている。
【0040】
視聴者は、
図1では2つのビューイング位置110、112に示されている。第1のビューイング位置110では、視聴者は、彼の左眼でビュー2を知覚し、一方、彼の右眼でビュー3を知覚する。場面の前を場面に対して左から右へ移動するカメラへの一連の画像122の上記対応に起因して、視聴者は、第1のビューイング位置110で立体ビューイングを得ることになる。ビューイングコーン104のさらに右側(視聴者から見て)の第2のビューイング位置112では、視聴者は、彼の左眼でビュー4を知覚し、一方、彼の右眼でビュー5を知覚する。したがって視聴者は、第2のビューイング位置112で立体ビューイングを得ることにもなるが、例えば第1のビューイング位置110における場面の前を場面に対して右に向かって位置付けられた(立体)カメラに対応する、場面の別の眺めを提供されることになる。
【0041】
図2Aは場面の2D画像200を示したものであり、一方、
図2Bは場面の奥行きマップ210を示したものである。2D画像200および奥行きマップ210は、相俟って、3Dディスプレイのためのビューレンダリングを行うためにディスプレイプロセッサによって使用され得る3D画像データを表すことができる。奥行きマップ210は、
図2Bでは、奥行きマップの強度が視聴者までの距離に反比例し、例えばより高い強度が視聴者により近いことに対応し、より低い強度は視聴者からさらに離れていることに対応するように再現されている。この例では、ディスプレイ平面の背後に表示されるように場面全体が意図され得、例えば奥行き値自体が遠い距離を表すことができ、および/または奥行き値をディスプレイ領域にマッピングすることは、場面がディスプレイ平面の背後にレンダリングされるようにさせ得る。
【0042】
事実上、3Dディスプレイは、その背後に
図2Aの場面が表示されるウィンドウであるように視聴者に見え得る。2D画像200および奥行きマップ210が、オーバースキャンがないビューレンダリングのために使用される場合、これは、例えば視聴者が彼/彼女の頭を3Dディスプレイの前で、例えば右または左に向かって移動することによってベゼルを「見回す」と、3Dディスプレイのベゼルにデ-オクルージョンが生じ得ることを意味する。
【0043】
これに関して、上記および以下において、「奥行きマップ」という用語は、行および列で配置される奥行きデータを参照していることに留意されたい。さらに、「奥行き」という形容詞は、カメラに対する画像の部分の奥行きを示すものとして理解されたい。したがって奥行きマップは奥行き値によって構成され得るが、例えばディスパリティ値または視差シフト値によっても構成され得る。したがって本質的には奥行きマップは、ディスパリティマップまたは視差シフトマップを構成することができる。ここではディスパリティという用語は、ユーザの左眼または右眼を使用して知覚されるときのオブジェクトの位置の差を参照している。視差シフトという用語は、前記ディスパリティをユーザに提供するための2つのビュー間のオブジェクトの変位を参照している。ディスパリティおよび視差シフトは、一般的には、距離または奥行きと負に相関される。すべての上記のタイプのマップおよび/または値の間の変換のためのデバイスおよび方法は知られている。
【0044】
図3Aおよび
図3Bは、ビューレンダリングにおけるオーバースキャンの総合概念を例示したものである。
図3Aは、
図1のビューイングコーン102-106のビュー5を視るときに視聴者に見え得る、
図2Aの2D画像200および
図2Bの奥行きマップ210によって表された場面のビュー220を示したものである。場面は一般的にはディスプレイ平面の背後に位置しており、および、視聴者はビューイングコーンの最も右側に位置しており、したがって事実上、ディスプレイの左側のベゼルを「見回す」ことができることに起因して、デ-オクルージョンアーチファクト222は、ビュー220の左側に見えることが分かる。
【0045】
図3Bは、
図1の第2のビューイング位置112における場面のビュー230を例示したものであり、生成されたビューにオーバースキャンが適用されている。例えばこのようなオーバースキャンは、ビューの画像データの側部をクロップし、クロップされた画像データを例えばクロッピング前の画像データの所望の寸法にスケールすることによって適用され得る。
図3Bは、水平方向のクロッピングおよび水平方向のスケーリングによるこのようなオーバースキャンを示している。しかしながら、本明細書の他の場所でも示されているように、オーバースキャンは、水平方向および垂直方向の両方、または水平方向のみ、または垂直方向のみにも適用され得る。
【0046】
これに関して、
図3Aは、この場合はピクセルにおける例えば水平方向および/または垂直方向(
図3Aは水平方向のみを示している)に沿ったクロッピング距離である、オーバースキャンの程度の尺度224も例示していることに留意されたい。オーバースキャンの程度の様々な他の定量化も同様に考えられる。
【0047】
このオーバースキャンの程度は様々な方法で決定され得る。第1の例は、コンテンツ自身内の奥行き範囲を解析し、画像の境界に残っている十分な「見回し」画像データを使用してコンテンツをレンダリングするために必要とされるオーバースキャンの量を決定することである。例えば画像境界におけるコンテンツの絶対奥行きおよび奥行き変化が解析され得る。このような解析はディスプレイプロセッサによって行われ得るが、第三者によっても行われ、例えばコンテンツ作者またはコンテンツ提供者によって行われ得る。第三者は、例えばビデオショットなどの時間的フラグメント全体を解析し、次に時間的フラグメント毎に必要なオーバースキャンを決定することによってオフライン方式のやり方でコンテンツを解析することができる。これは、画像(ビデオフレーム)毎のオーバースキャンの程度の動的な変化と比較すると、時間的安定性を保証することができる。オーバースキャンの決定された量を表すパラメータは、コンテンツ、例えば3D画像データと共にメタデータとして伝達され得る。追加または代替として、ビデオショットの開始時に、ビデオショットの奥行き範囲が伝達され得る。
【0048】
オーバースキャンの程度の上で説明された決定に対する追加または代替として、前記オーバースキャンは、奥行きの量および前方/後方位置付けを示す自動立体ディスプレイに使用されるマッピングパラメータに依存するようにもされ得る。この量および位置付けは、3Dディスプレイにおいて、「係数」および「オフセット」制御機能を使用してユーザによって制御され得、「係数」は利得係数を表す。このような制御は、典型的には、ディスプレイ上に提示されるディスパリティの量に対する直接的な効果を有しており、したがって必要とされるオーバースキャンの程度に対する直接的な効果を有する。
【0049】
例えばオーバースキャンの程度は、例えばデフォルト係数(例えば1.0の利得に対応する100%)、およびデフォルトオフセット(例えば0、これはディスプレイ平面における「ニュートラルな」ディスプレイ奥行きに対して定義され得る)における平均的なコンテンツに対する、引き伸ばしに起因する歪みの量と、ディスプレイのベゼルにおけるデ-オクルージョンの程度との間の(最適)トレード-オフを表す公称オーバースキャンとして決定され得る。この場合、実際のオーバースキャンは、例えばユーザによって、または自動的に選択される係数およびオフセットの現在の設定に対して調整される公称オーバースキャンに基づき得る。
【0050】
例えば係数が0であり、オフセットが0である極端な場合では、場面は平らになり、ディスプレイ平面に表示され、オーバースキャンは必要とされない。しかしながら、係数が2倍にされて200%になると、ディスプレイの背後のすべての場面は、2倍の量のオーバースキャンを必要とし得る。したがって実際のオーバースキャンaに到達するために、公称オーバースキャンnが係数f倍され得る(正規化されることが仮定されている):
a=f*n
【0051】
係数fは、ユーザにより制御される係数fu(例えばユーザのために適切に選択され得る範囲を有することができ、100%は、所与のディスプレイが示すことができる公称奥行きに対応する)と、特定のタイプのディスプレイに対して、ユーザ設定がどのように公称奥行きにスケールされるかを決定することができるディスプレイ特定係数fsの組合せであってもよい。後者の設定は、異なる量のディスパリティ(視差シフトのピクセルの数に関して)が生成されること(例えばディスプレイの解像度すなわちDPIに応じて、もっと多くの、またはもっと少ないピクセルのディスパリティ)を必要とし得る異なるタイプのディスプレイに対して、ユーザ設定100%は適切な量の奥行きを提供することができることを保証するために使用され得る。いくつかの実施形態では、両方がディスプレイの特質および最適性能のためになされたトレード-オフに関連する一時的な設定であるため、fsは公称オーバースキャンにおいて既に考慮されていてもよい。他の実施形態では、fsは公称オーバースキャンにおいて考慮されなくてもよいが、公称fs
nに関するfsの変化は、以下:
a=fu*fs/fs
n*n
のように考慮され得る。
【0052】
係数の次の別のマッピングパラメータは、事実上、ニュートラルなディスプレイ奥行きに対して画面を前方に引く、または画面を後方に押すオフセットoであってもよい。ディスプレイの前で生成されるディスパリティ(負のディスパリティ)またはディスプレイの背後で生成されるディスパリティ(正のディスパリティ)の量に少なくとも関する奥行き範囲はディスプレイ平面に対して対称であることを仮定すると、オフセットを適用することが、オフセットが正であるか、または負であるかどうかとは無関係に、生成され得る最大ディスパリティを大きくすることができる。したがってオフセットの絶対値は、オーバースキャンの程度を決定するときに上記項に加えられ得る:
a=fu*fs/fs
n*n+|o|
【0053】
ここでは、oは、絶対値1が公称係数に対する最大ディスパリティの大きさに対応するようにスケールされ得る。係数およびオフセットが奥行き値に適用される順序に応じて:
a=fu*fs/fs
n*(n+|o|)
を使用することもできる。
【0054】
やはりオフセットが正規化されることを仮定するさらに別のオプションは、また、乗算係数を介してオフセットを適用することである:
a=fu*fs/fs
n*(1+|o|)*n
【0055】
代替としては、例えばオフセットの絶対値を取らずに、むしろ場面が後方へ移動される範囲にオフセットをクリップすることにより、およびそれにより場面を視聴者のより近くへ引くオフセットに対するオフセットの絶対値の代わりにゼロを使用することにより、画像コンテンツをディスプレイ平面の背後に位置付けさせるオフセットのみが考慮され得る。しかしながら、たとえそれがそれ自体デ-オクルージョンではなくても、側部から見るときに、より多くの前景オブジェクトが見えるようにならなければならないため(たとえこれがウィンドウ侵害を構成することになっても)、ディスプレイ平面の前に置かれるコンテンツは、また、充填の必要性を提供することができる。したがって場合によっては、前記クリッピングを使用するのではなく、オフセットの絶対値を使用することが好ましい。
【0056】
前に示したように、メタデータは3D画像データのために提供され得、例えば表示している間、コンテンツ作者またはコンテンツ提供者がオーバースキャンの量に影響を及ぼすことができるよう、オーバースキャンのためのコンテンツ依存スケーリング係数を示すことができる。このようなメタデータがディスプレイプロセッサに利用可能である場合、コンテンツ依存スケーリング係数は、公称オーバースキャンのためのある(別の)スケーリング係数として使用され得る。追加または代替として、コンテンツの奥行き範囲を示すメタデータが提供され得る。このメタデータは、公称オーバースキャンのスケーリングを改善するために使用され得る。例えば小さい奥行き範囲を有するビデオショットは、たとえ係数またはオフセットが高い場合であっても、有意な量のオーバースキャンを必要としない可能性があり、反対に、極めて大きい奥行き範囲を有するコンテンツは、係数またはオフセットが公称に設定されたとしても、大きいオーバースキャンを必要とする可能性もある。d-およびd+(ディスパリティ値として表現された最小奥行き範囲および最大奥行き範囲)が与えられると、現在のオフセットに対する奥行きの量は、max(|d+-o|,|o-d-|)として計算され得、この場合、オフセットは依然として奥行きと同じ範囲に存在することができ、これは、奥行きも正規化される場合、正規化され得(上記のように)、スクリーン奥行きの周りの中心にある。公称オーバースキャンが決定された公称量の奥行きdnと比較したこの数の比率は、スケールされた実際のオーバースキャン:
a=fu*fs/fs
n*max(|d+-o|,|o-d-|)/dn*n
を計算するために使用され得る。
【0057】
奥行き範囲を示すメタデータが利用可能である場合、d+=dnおよびd-=-dnを仮定することができ、この場合、上記の式は、オフセットoが公称奥行き範囲に対して正規化され、値ゼロがd-、d+ならびにdnの値に対するディスプレイ平面に対応する奥行きに対応するように解釈されると仮定して、倍率として説明されるオフセットを有する先行するバージョンに戻る。上記の式の変形が存在し、これは、例えば奥行き値およびオフセットのいずれも0の周りの中心にあり得ないことを考慮することができることに留意されたい。一般に、上記の式は、奥行き値は既にディスパリティ/視差を表していることを仮定している。奥行き値がむしろ視聴者からの距離を表している場合、式は、距離とディスパリティの間の1/x関係を考慮するように修正されなければならない。このような変換は、3Dディスプレイおよび処理の分野でそれ自体が知られている。
【0058】
一般に、オーバースキャンは、コンテンツのアスペクト比が維持され、例えば水平方向および垂直方向に等しくアスペクト比が維持されるやり方で適用され得ることに留意されたい。代替として、オーバースキャンは、水平方向または垂直方向にのみ適用され得、これは、コンテンツのアスペクト比を(わずかに)修正し得る。一般に、オーバースキャンは、各々のそれぞれの方向に沿ってコンテンツの両側に等しく適用され得、例えば水平方向に左および右へ、垂直方向に一番上および一番下へ適用され得るが、4つの側部(左、右、一番上、一番下)から選択された側部へ、および/または異なるやり方で、4つの側部のうちの異なる側部へも適用され得る。オーバースキャンの決定された量を表すパラメータが例えばメタデータとして利用可能にされる場合、パラメータは、上記に従ってオーバースキャンを定義することができる。
【0059】
オーバースキャンは、生成されたビューの画像データの側部をクロップし、クロップされた画像データを所望の寸法に、例えばクロッピング前の画像データの寸法にスケールすることによって適用され得る。事実上、オーバースキャンは、生成されたビューに適用され得る。代替としては、オーバースキャンはビューレンダリングまたはビュー合成に部分的に統合され得る。例えばビューレンダリングまたはビュー合成は、後でクロップされるアップ-スケールされたビューを生成するように構成され得る。したがってスケーリングは、ビューレンダリングまたはビュー合成によって行われ得る。さらに、ビューの画像データを明示的にクロップする代わりに、ビューレンダリングまたはビュー合成は、さもなければクロップされることになるこのような画像データを生成することを、省略するように構成され得る。一般に、オーバースキャンのための任意のスケーリングが、ビューレンダリングの前、ビューレンダリング中またはビューレンダリングの後に行われ得る。オーバースキャンのための任意のスケーリングが1つ以上の他のスケーリングステップと組み合わされ得る。オーバースキャンを適用する様々な他の方法も同様に考えられることは認識されよう。
【0060】
図4は、生成された一連のビューのデータ122を内部で出力する3Dディスプレイ140の内部構成要素の形態のディスプレイプロセッサ120を示したものである。この図では、説明されていない参照数字は
図1の参照数字に対応している。しかしながら、ディスプレイプロセッサは、個別のデバイスの中で、または個別のデバイスとして具現化されることもでき、例えばセット-トップボックス、パーソナルコンピュータ、ゲーミングコンソール、または3Dディスプレイに接続することができる同様のデバイスの中で、またはセット-トップボックス、パーソナルコンピュータ、ゲーミングコンソール、または3Dディスプレイに接続することができる同様のデバイスとして具現化されることもできる。一般に、ディスプレイプロセッサはデバイスまたは装置によって実装され得る。デバイスまたは装置は、適切なソフトウェアを実行する1つ以上の(マイクロ)プロセッサを備えることができる。機能の機能性を実装するソフトウェアは、対応する1つのメモリまたは複数のメモリ、例えばRAMなどの揮発性メモリの中、またはフラッシュなどの不揮発性メモリの中にダウンロードおよび/または記憶され得る。代替としては、ディスプレイプロセッサの機能は、プログラム可能論理の形態のデバイスまたは装置の中で、例えばフィールドプログラマブルゲートアレイ(FPGA)として実装され得る。一般に、ディスプレイプロセッサは回路として実装され得る。
【0061】
図5は、3Dディスプレイ上でのディスプレイのために、3D画像データを処理するためのコンピュータにより実装される方法300を示したものである。方法300は、「オーバースキャンの程度を決定すること」というタイトルのステップの中に、一連のビューを3Dディスプレイ上に表示するために使用されるオーバースキャンの程度を1つ以上の奥行き範囲パラメータに応じて決定すること310を含むことができ、1つ以上の奥行き範囲パラメータは、一連のビューが3Dディスプレイ上に表示されるときに視聴者によって知覚される奥行きの程度を少なくとも部分的に特徴付ける。方法は、「一連のビューを生成すること」というタイトルのステップの中に、オーバースキャンの決定された程度に基づいて3D画像データの一連のビューを生成すること320をさらに含むことができる。
【0062】
方法300は、プロセッサシステム、例えばコンピュータ上で、コンピュータにより実装される方法として、専用ハードウェアとして、または両方の組合せとして実装され得る。また、
図6に例示されているように、コンピュータのための命令、例えば実行可能コードは、例えば一連の機械可読物理マーク360の形態で、および/あるいは異なる電気的特性もしくは値、例えば磁気的特性もしくは値、または光学特性もしくは値を有する一連の要素として、コンピュータ可読媒体350上に記憶され得る。実行可能コードは、一時的なやり方または非一時的やり方で記憶され得る。コンピュータ可読媒体の例は、メモリデバイス、光記憶デバイス、集積回路、サーバ、オンラインソフトウェア、等々を含む。
図6は光ディスク350を示したものである。
【0063】
上述した実施形態は、本発明を限定するものではなく、本発明を例示したものであること、および、当業者は、多くの代替実施形態を設計することができるであろうことに留意されたい。
【0064】
特許請求の範囲では、括弧の間に置かれている任意の参照符号は、特許請求の範囲を制限するものとして解釈されるべきではない。動詞「備える」およびその変化の使用は、特許請求の範囲の中で明言されている要素またはステップ以外の要素またはステップの存在を排除しない。要素に先行する冠詞「1つ(a)」または「1つ(an)」は、複数のこのような要素の存在を排除しない。本発明は、いくつかの全く異なる要素を備えるハードウェアによって、および適切にプログラムされたコンピュータによって実装され得る。いくつかの手段を列挙しているデバイス請求項では、これらの手段のうちのいくつかは、1つの同じアイテムのハードウェアによって具現化され得る。特定の方策が相互に異なる従属請求項に記載されている、という単なる事実は、これらの方策の組合せがより有利に使用され得ないことを示しているわけではない。