特許 5948354 立体３Ｄビデオ情報をオーサリングするための方法および装置、ならびにその立体３Ｄビデオ情報を表示するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5948354

(24)【登録日】2016年6月10日

(45)【発行日】2016年7月6日

(54)【発明の名称】立体３Ｄビデオ情報をオーサリングするための方法および装置、ならびにその立体３Ｄビデオ情報を表示するための方法および装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20160623BHJP

   H04N 13/04 20060101ALI20160623BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 400

   H04N13/00 660

   H04N13/00 700

   H04N13/04 540

   H04N13/04 560

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2013-555819(P2013-555819)

(86)(22)【出願日】2012年2月17日

(65)【公表番号】特表2014-511625(P2014-511625A)

(43)【公表日】2014年5月15日

(86)【国際出願番号】EP2012052791

(87)【国際公開番号】WO2012116900

(87)【国際公開日】20120907

【審査請求日】2015年2月17日

(31)【優先権主張番号】11305218.7

(32)【優先日】2011年3月1日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ジョブスト ホーレントラップ

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特表２０１０−５０５１７４（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０９６２８１（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０１３０３０（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／０３２３９９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００ − １５／００

(57)【特許請求の範囲】

【請求項1】

３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための方法であって、
前記３Ｄビデオストリームに関連する深度競合間隔のセットを、前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソースから読み出すステップであって、前記深度競合間隔のセットは、前記立体３Ｄビデオ情報と共に提供され、及び深度競合間隔は、その間、前記３Ｄビデオストリームの最小深度値が、前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲内に含まれるか又は、その間、前記３Ｄビデオストリームの最小深度値もしくは前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲の最小深度値がオーサリングプロセスで定義されるコンフォートゾーンの外側となるタイムスパンを示す、前記ステップと、
対応する深度競合を解消するために、前記３Ｄビデオストリームの表示または前記３Ｄオーバーレイグラフィックの表示を、前記深度競合間隔によって示される前記タイムスパンのうちの１つに位置する前記３Ｄビデオストリームのタイムコードに適合させるステップと、
を備える、前記方法。

【請求項2】

前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、前記３ＤオーバーレイグラフィックのＺ空間の拡張を変えることを備える、請求項１に記載の方法。

【請求項3】

前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、前記３Ｄオーバーレイグラフィック用のまたは前記３Ｄビデオストリーム用の表示モードを立体３Ｄモードから平面２Ｄモードに切り替えることを備える、請求項１に記載の方法。

【請求項4】

前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、少なくとも一部の前記３Ｄオーバーレイグラフィックの透明度値を適合させることを備える、請求項１に記載の方法。

【請求項5】

前記透明度値は、前記深度競合を引き起こす前記３Ｄオーバーレイグラフィックの一部に適合される、請求項４に記載の方法。

【請求項6】

前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、前記深度競合間隔の終わりまで３Ｄオーバーレイデータの表示に対するユーザ要求を遅延させることを備える、請求項１に記載の方法。

【請求項7】

３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための再生デバイスであって、
前記３Ｄビデオストリームに関連する深度競合間隔のセットを、前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソースから読み出すことであって、前記深度競合間隔のセットは、前記立体３Ｄビデオ情報と共に提供され、及び深度競合間隔は、その間、前記３Ｄビデオストリームの最小深度値が、前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲内に含まれるか又は、その間、前記３Ｄビデオストリームの最小深度値もしくは前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲の最小深度値がオーサリングプロセスで定義されるコンフォートゾーンの外側となるタイムスパンを示す、ことと、
対応する深度競合を解消するために、前記３Ｄビデオストリームの表示または前記３Ｄオーバーレイグラフィックの表示を、前記深度競合間隔によって示される前記タイムスパンのうちの１つに位置する前記３Ｄビデオストリームのタイムコードに適合させることと、
を行うように構成される、前記再生デバイス。

【請求項8】

３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための方法であって、
複数のタイムコードに対する前記３Ｄビデオストリームの立体表示用のＺ空間における深度範囲を判定するステップと、
前記３Ｄオーバーレイグラフィックを置くためのＺ空間における深度範囲を判定するステップと、
表示スクリーンプレーンを囲むコンフォートゾーンを定義するステップであって、前記コンフォートゾーンは、前記立体３Ｄビデオ情報の好適な表示用のＺ空間における深度範囲を指定する、前記ステップと、
その間、前記３Ｄビデオストリームの最小深度値が、前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲内に含まれるか又は、その間、前記３Ｄビデオストリームの最小深度値もしくは前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲の最小深度値が前記コンフォートゾーンの外側となるタイムスパンを判定するステップと、
前記判定されたタイムスパンを示す深度競合間隔のセットを判定するステップと、
前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソース上に深度競合間隔の前記セットを記憶するステップと、
を備える、前記方法。

【請求項9】

３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための装置であって、
複数のタイムコードに対する前記３Ｄビデオストリームの立体表示用のＺ空間における深度範囲を判定することと、
前記３Ｄオーバーレイグラフィックを置くためのＺ空間における深度範囲を判定することと、
表示スクリーンプレーンを囲むコンフォートゾーンを定義することであって、前記コンフォートゾーンは、前記立体３Ｄビデオ情報の好適な表示用のＺ空間における深度範囲を指定することと、
その間、前記３Ｄビデオストリームの最小深度値が、前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲内に含まれるか又は、その間、前記３Ｄビデオストリームの最小深度値もしくは前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲の最小深度値が前記コンフォートゾーンの外側となるタイムスパンを判定することと、
前記判定されたタイムスパンを示す深度競合間隔のセットを判定することと、
前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソース上に深度競合間隔の前記セットを記憶することと、
を行うように構成される、前記装置。

【請求項10】

３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソースであって、前記メディアソースは、前記３Ｄビデオストリームに関連する深度競合間隔のセットをさらに備え、前記深度競合間隔のセットはオーサリングプロセスで判定され、深度競合間隔は、その間、前記３Ｄビデオストリームの最小深度値が、前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲内に含まれるか又は、その間、前記３Ｄビデオストリームの最小深度値もしくは前記３Ｄオーバーレイグラフィックの表示のために提供される深度範囲の最小深度値がオーサリングプロセスで定義されるコンフォートゾーンの外側となるタイムスパンを示し、前記深度競合間隔のセットは、立体３Ｄビデオ情報を表示する再生デバイスによって読み出されるとき、対応する深度競合を解消するために、前記３Ｄビデオストリームの表示または前記３Ｄオーバーレイグラフィックの表示を、前記深度競合間隔によって示される前記タイムスパンのうちの１つに位置する前記３Ｄビデオストリームのタイムコードに適合させるために用いられる、前記メディアソース。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための方法および装置に関する。さらに、本発明は、そのような立体３Ｄビデオ情報を表示するための方法および装置に関する。

【背景技術】

【0002】

最近の立体３Ｄ映画の興行的成功により、家庭用娯楽機器にも３Ｄビデオを取り入れることが望まれている。使用可能な第１のソリューションの１つとして、Ｂｌｕ−ｒａｙ（登録商標）３Ｄフォーマットがある。好適には、３Ｄ映画は、いわゆるコンフォートゾーン(comfort zone)の内側で表示される。コンフォートゾーンの判定は、今もなお盛んに研究が行われている分野である。典型的には、コンフォートゾーンは、スクリーンの裏側のある場所からスクリーンの前の視聴者までの最短距離に広がるＺ空間の間隔を表す。このコンフォートゾーンの判定に対する１つの選択が、いわゆる１／３ディオプターの法則である。さらに、１／３ディオプターの法則によるコンフォートゾーンの領域は、視聴者またはユーザとスクリーンとの間の距離によって決まる。コンフォートゾーンの外側での３Ｄ要素の再生は、特別なシーンに限定されなければならず、ユーザに不快感を与えないように注意して行わなければならない。

【0003】

Ｂｌｕ−ｒａｙ３Ｄフォーマットは、立体３Ｄビデオをサポートするだけでなく、ユーザメニューのような立体３Ｄ対話型アプリケーションなどの、立体３Ｄ補助情報もサポートし、その情報は、好適にはＪａｖａ（登録商標）プログラミング言語で記述される。

【0004】

対話型メニューは、ユーザが特定のシーン、異なるオーディオトラックなどを選択するようにさせることができる。さらに、３Ｄ字幕または文字情報を立体再生に付加できる。典型的には、メインビデオストリームの前に存在するそのような情報を、オーバーレイグラフィックと呼ぶ。

【0005】

快適な３Ｄユーザ体験を提供するための１つの技術的な課題は、視覚的な非ビデオ要素、即ち、上述の対話型メニューなどのオーバーレイグラフィックとメインビデオストリームとをＺ空間において調整することである。一般に、いわゆる深度競合を回避しなければならず、そしてオーバーレイグラフィックを３Ｄメインビデオストリームの前に置かなければならない。好適には、対話型グラフィックを、できれば字幕の前に置くべきである。例えば、メインビデオストリームとユーザメニューとの間の深度競合は、両方の要素の少なくとも一部がＺ空間の同じ場所を占める場合に起こる。競合するこのような範囲において、ユーザの視聴体験は、不愉快なものである。

【0006】

文書ＷＯ２００９／０８３８６３Ａ１は、３Ｄメインビデオストリームの前に存在する３Ｄオーバーレイグラフィックの表示方法を開示している。深度競合による閉塞を防ぐために、Ｚ空間で使用可能な深度範囲は、別個のサブ領域に分割される。Ｚ空間のそれぞれのサブ領域は、オーバーレイデータ、メインビデオストリーム、字幕用などに保存される。

【発明の概要】

【0007】

本発明は、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための方法を提供することを目的とし、立体３Ｄビデオ情報を表示するためのデバイスおよびシステムの再生は、より快適でフレキシブルな３Ｄビデオ情報の再生を可能にするデバイスおよびメディアソースの再生を備える。

【0008】

本発明の第１の態様に従って、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための方法は、
ａ）３Ｄビデオストリームに関連する競合間隔のセットを、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソースから読み出すステップであって、競合間隔のセットは、立体３Ｄビデオ情報と一緒に提供されることと、競合間隔は、３Ｄビデオストリームの特定のタイムコードに対し、３Ｄビデオストリームと３Ｄオーバーレイグラフィックの参照プレーンとの間の深度競合か、または３Ｄオーバーレイグラフィックとオーサリングプロセスで定義されるコンフォートゾーンとの間の深度競合が存在することを示すことと、
ｂ）対応する深度競合を解消するために、３Ｄビデオストリームの表示または３Ｄオーバーレイグラフィックの表示を、競合間隔のうちの１つに位置する３Ｄビデオストリームのタイムコードに適合させるステップとを備える。

【0009】

本発明に従った方法を実装するために、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための再生デバイスは、
ａ）３Ｄビデオストリームに関連する競合間隔のセットを、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソースから読み出すことであって、競合間隔のセットは、立体３Ｄビデオ情報と一緒に提供されることと、競合間隔は、３Ｄビデオストリームの特定のタイムコードに対し、３Ｄビデオストリームと３Ｄオーバーレイグラフィックの参照プレーンとの間の深度競合か、または３Ｄオーバーレイグラフィックとオーサリングプロセスで定義されるコンフォートゾーンとの間の深度競合が存在することを示すことと、
ｂ）対応する深度競合を解消するために、３Ｄビデオストリームの表示または３Ｄオーバーレイグラフィックの表示を、競合間隔のうちの１つに位置する３Ｄビデオストリームのタイムコードに適合させることを行うように構成される。

【0010】

本発明に従って、競合間隔のセットは、再生デバイスに渡される。３Ｄビデオストリームの任意の特徴に対するＺ空間の深度が、Ｚ空間の参照プレーンと競合する場合、深度競合は、３Ｄオーバーレイグラフィックと参照プレーンとの間に存在する。同様に、３Ｄオーバーレイグラフィックの任意の特徴に対するＺ空間の深度が、コンフォートゾーンの外側である場合、深度競合は、３Ｄオーバーレイグラフィックとコンフォートゾーンとの間に存在する。３Ｄビデオストリームの表示と参照プレーンの表示との間の深度競合を解消するために、３Ｄビデオストリームまたは３Ｄオーバーレイグラフィックの再生を、競合間隔のうちの１つに位置する３Ｄビデオストリームのタイムコードに適合させる。本発明によるソリューションは、従って、３Ｄビデオストリームまたは３Ｄオーバーレイグラフィックのいずれかの表示用の深度空間の固定を回避する。このような静的ソリューションの代わりに、ユーザに不快感を与えないようにするために、メインビデオストリームまたはオーバーレイグラフィックのいずれかの再生を適合させる。有利には、深度競合は、競合間隔のセットを１フレーム単位または所定の時間間隔で単純に検査することによって回避される。

【0011】

好適には、競合間隔のセットは、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソースから読み出される。このためメディアソースは、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックに加えて、競合間隔のセットを備える。競合間隔のセットは、深度競合が、３Ｄビデオストリームと３Ｄオーバーレイグラフィックの参照プレーンとの間か、または３Ｄオーバーレイグラフィックとコンフォートゾーンとの間に存在するような競合間隔を示す。有利には、競合間隔のセットは、３Ｄビデオストリームと３Ｄオーバーレイグラフィックのオーサリング中に判定され、そしてメディアソースに記憶される。

【0012】

有利には、３Ｄオーバーレイグラフィックの表示を適合させるステップは、競合間隔に対する最初の参照プレーンとは異なるシフト参照プレーンを判定することを備えることであって、深度競合が解消されるように、シフト参照プレーンのＺ空間の位置が選択される。このようにして、オーバーレイグラフィックが３Ｄビデオストリームの前に置かれるので、閉塞およびアーチファクトが回避される。好適には、ビデオ深度情報が、メインビデオストリームの３次元表示の深度がもはや参照プレーンを超えないことを示す場合、参照プレーンは、自身の最初の位置までシフトバックされる。さらに好適には、それぞれの競合間隔は、競合間隔のセットから削除される。

【0013】

好適には、３Ｄオーバーレイグラフィックの表示を適合させるステップは、３Ｄオーバーレイグラフィックとコンフォートゾーンとの間の深度競合が解消されるように、３ＤオーバーレイグラフィックのＺ空間の拡張を変えることを備える。３Ｄオーバーレイデータの深度を動的に調整することによって、最適なユーザ体験が保たれる。一方ではユーザは、オーバーレイデータ３Ｄ表示を楽しみ、他方ではコンフォートゾーンは、越えることなく、快適な視聴体験が保証される。

【0014】

代替として、３Ｄオーバーレイグラフィックの表示を適合させるステップは、３Ｄオーバーレイグラフィック用のまたは３Ｄビデオストリーム用の表示モードを立体３Ｄモードから平面２Ｄモードに切り替えることを備える。表示モードを好適な３Ｄモードから２Ｄまたは平面表示モードに切り替えることによって、３Ｄオーバーレイグラフィックと３Ｄビデオストリームとの間の深度競合を回避できる。３Ｄビデオストリームの表示モードが２Ｄまたは平面表示モードに切り替わる場合、メインビデオストリームの３Ｄ効果は、一定の時間期間犠牲になる。しかしながら、これは、ユーザの主な焦点がビデオストリームよりはむしろ３Ｄオーバーレイグラフィックに集まりやすいので、受け入れ可能である。好適には、表示モードは、後のビデオストリームのランタイムにおいて３Ｄ表示にスイッチバックされる。これは、それぞれの競合間隔が、ビデオストリームの３Ｄ表示がもはや参照プレーンを超えないまたはコンフォートゾーンを侵害しないことを示す場合に実行される。有利には、３Ｄビデオ効果は、必要な間のみ、即ち、最小時間期間犠牲になる。ユーザは、できるだけ長くメインビデオストリームの３Ｄ表示ならびにオーバーレイグラフィックの３Ｄ表示を楽しむ。

【0015】

本発明の別の態様に従って、３Ｄオーバーレイグラフィックの表示を適合させるステップは、少なくとも一部の３Ｄオーバーレイグラフィックの透明度値を適合させることを備える。好適には、透明度値は、深度競合を引き起こす一部の３Ｄオーバーレイグラフィックに適合される。有利には、ビデオストリームの表示を妨げないように、オーバーレイグラフィックの少なくとも競合する部分は、より透過的もしくは不可視である。

【0016】

好適には、３Ｄオーバーレイグラフィックの表示を適合させるステップは、競合間隔が終わるまで３Ｄオーバーレイデータの表示に対するユーザ要求を遅延させることを備える。しばしば、ユーザメニューは、ユーザコマンドによって起動するいわゆるポップアップメニューによって組織される。具体的な事例において、ユーザは、そのようなメニューを開こうとし、好適には、砂時計などのグラフィックインジケータは、短い時間期間の後にそれぞれのメニューが開くことを示す。結果的に、後のビデオストリームのランタイムにおいて、深度競合が全く起きないので、メインビデオストリームの全深度ならびに３Ｄメニューの適正な深度が実行可能である。

【0017】

本発明の別の態様に従って ３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための方法は、
ａ）複数のタイムコードに対する３Ｄビデオストリームの立体表示用のＺ空間の深度範囲を判定するステップと、
ｂ）３Ｄビデオと参照プレーンとの間の深度競合が低減されるように、３Ｄオーバーレイグラフィックを置くためのＺ空間の参照プレーンを判定するステップと、
ｃ）表示スクリーンプレーンを囲み、および参照プレーンを備えるコンフォートゾーンを定義するステップであって、コンフォートゾーンは、立体３Ｄビデオ情報の好適な表示用のＺ空間の深度範囲を指定することと、
ｄ）参照プレーンと３Ｄビデオストリームとの間の深度競合がそれぞれのタイムコードに対して残存するかどうかおよび／またはコンフォートゾーンと３Ｄオーバーレイグラフィックとの間の深度競合がそれぞれのタイムコードに対して存在するかどうかを判定するステップと、
ｅ）参照プレーンと３Ｄビデオストリームとの間の深度競合が残存するおよび／またはコンフォートゾーンと３Ｄオーバーレイグラフィックとの間の深度競合が存在するそれぞれのタイムコードによって定義される競合間隔のセットを判定するステップと、
ｆ）３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソース上に競合間隔のセットを記憶するステップとを備える。

【0018】

同様に、３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための装置は、
ａ）複数のタイムコードに対する３Ｄビデオストリームの立体表示用のＺ空間の深度範囲を判定することと、
ｂ）３Ｄビデオと参照プレーンとの間の深度競合が低減されるように、３Ｄオーバーレイグラフィックを置くためのＺ空間の参照プレーンを判定することと、
ｃ）表示スクリーンプレーンを囲み、および参照プレーンを備えるコンフォートゾーンを定義することであって、コンフォートゾーンは、立体３Ｄビデオ情報の好適な表示用のＺ空間の深度範囲を指定することと、
ｄ）参照プレーンと３Ｄビデオストリームとの間の深度競合がそれぞれのタイムコードに対して残存するかどうかおよび／またはコンフォートゾーンと３Ｄオーバーレイグラフィックとの間の深度競合がそれぞれのタイムコードに対して存在するかどうかを判定することと、
ｅ）参照プレーンと３Ｄビデオストリームとの間の深度競合が残存するおよび／またはコンフォートゾーンと３Ｄオーバーレイグラフィックとの間の深度競合が存在するそれぞれのタイムコードによって定義される競合間隔のセットを判定することと、
ｆ）３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソース上に競合間隔のセットを記憶することを行うように構成される。

【0019】

第１のステップにおいて、複数のタイムコードに対して、３Ｄビデオストリームの立体表示用のＺ空間の深度範囲を判定する。深度範囲の判定を、画像のステレオペアによる視差推定によって実行できるか、またはコンピュータ生成コンテンツの場合、３次元仮想環境から得ることができる。その後、参照プレーンは、Ｚ空間の特定のポイントに設定される。３Ｄオーバーレイグラフィックは、参照プレーンから視聴者に面した上位閾値までに及ぶＺ空間の深度間隔で表示される。参照プレーンは、３Ｄビデオと参照プレーンとの間の深度競合がある程度回避されるような方法で設定される。さらに、表示スクリーンプレーンを囲み、および参照プレーンを備えるコンフォートゾーンが定義される。コンフォートゾーンは、立体３Ｄビデオ情報の好適な表示を行うためのＺ空間の深度範囲を定義する。その後、参照プレーンと３Ｄビデオストリームとの間の残存する深度競合が判定され、そこにおいて３Ｄビデオストリームの任意の特徴に対するＺ空間の深度が、Ｚ空間の参照プレーンと競合する場合、深度競合は、３Ｄオーバーレイグラフィックと参照プレーンとの間に存在する。代替または追加として、コンフォートゾーンと３Ｄオーバーレイグラフィックとの間の深度競合が判定され、そこにおいて３Ｄオーバーレイグラフィックの任意の特徴が、視聴者に面したコンフォートゾーンの上位閾値のＺ空間で競合する場合、コンフォートゾーンと３Ｄオーバーレイグラフィックとの間の深度競合が存在する。判定された競合間隔は、競合間隔のセットに付加される。

【図面の簡単な説明】

【0020】

本発明のさらなる態様は、添付の図面を参照しながら、以下の本発明の例示的実施形態の説明から続く。

【図1】立体３Ｄビデオストリームの深度が時間とともにどのように変わるか、そして３Ｄメインビデオストリームの再生と３Ｄオーバーレイグラフィックの再生との間の深度競合がどのように生じるかを示すグラフである。

【図2】参照プレーンのＺ空間における位置およびオーバーレイグラフィックを表示するための深度範囲の適合を示す図である。

【図3】メインビデオストリームの表示が３Ｄモードから２Ｄモードに切り替わることによる、さらなる実施形態を示す図である。

【図4】深度競合により３Ｄオーバーレイグラフィックの再生が遅延する、本発明の別の実施形態を示す図である。

【図5】３Ｄメインビデオストリームおよびオーバーレイグラフィックの再生を時間依存グラフで示し、そこにおいて深度競合がオーバーレイグラフィックの透明度値を変えることによって解消されることを示す図である。

【図6】特殊な深度競合の場合の時間依存グラフにおける３Ｄメインビデオストリームおよびオーバーレイグラフィックの再生を示す図である。

【発明を実施するための形態】

【0021】

図１は、時間ｔについて立体３ＤメインビデオストリームＶＳの深度Ｚを示したプロットである。さらに、オーバーレイグラフィックの表示範囲の深度ＯＤが斜線範囲で示されている。ビデオストリームＶＳの最小深度値Ｚｖ，ｍｉｎ（ｔ）および最大深度値Ｚｖ，ｍａｘ（ｔ）は、時間とともに変わるが、オーバーレイグラフィックの表示の深度範囲ＯＤは、時間とともに一定である。オーバーレイグラフィックの表示の深度範囲ＯＤは、参照プレーンのＺ空間の深度値を示す深度Ｚｒｅｆから始まり、コンフォートゾーンの最小値Ｚｃｏｍｆｏｒｔ，ｍｉｎで終了する。一般に、ビデオ情報の再生は、好適には、スクリーンの深度Ｚｓｃｒｅｅｎ近くに位置する。好適には、３Ｄビデオ情報は、Ｚ空間におけるコンフォートゾーンの最小深度Ｚｃｏｍｆｏｒｔ，ｍｉｎ、およびコンフォートゾーンの最大深度Ｚｃｏｍｆｏｒｔ，ｍａｘで定義される、コンフォートゾーンの内側に位置する。

【0022】

コンフォートゾーンは、快適な３Ｄ視聴体験の態様を考慮するものである。Ｚ空間のコンフォートゾーンの境界は、経験値でありうる。別の選択は、１／３ディオプターの法則および参照視聴環境の助けによるコンフォートゾーンの定義である。これは、輻輳−調節間の競合を制限することを目的とする。コンフォートゾーンは、スクリーンの位置近くのＺ空間の間隔Ｚｓｃｒｅｅｎ、即ち、ユーザの３Ｄテレビを表す。コンフォートゾーンは、スクリーンの裏側のある場所からスクリーンの前のある場所まで広がる。コンフォートゾーンはさらに、ユーザとスクリーンとの間の距離によって決まる。コンフォートゾーンの外側の３Ｄ要素の配置を制限して、ユーザに不快感を与えないように注意して行わなければならない。

【0023】

ｔ１以前の時間期間では、ビデオストリームＶＳおよびオーバーレイグラフィックＯＤの両方を、使用可能なコンフォートゾーン内で表示できるが、ｔ１においては、深度競合が生じる。このような深度競合は、ユーザの不快感につながる。ｔ２以降の時間において、メインビデオストリームＶＳの深度は、参照プレーンの深度Ｚｒｅｆの後ろに下がり、そして深度競合が解消される。しかしながら、タイムスパンｔ１−ｔ２において、ユーザは、不快な視聴体験をするかもしれない。さらに、図１に示すように、ほとんどの時間、オーバーレイグラフィックＯＤは、必要以上に視聴者の近くに位置している。言い換えれば、ビデオストリームＶＳの最短距離Ｚｖ，ｍｉｎ（ｔ）と参照プレーンの深度Ｚｒｅｆとの間にＺ空間が残っている。３Ｄステレオ表示において、非ビデオグラフィック要素をスクリーンプレーンのできるだけ近くに置いて、いわゆるゴーストアーチファクトを最小限にすることが望ましい。技術的観点から、これらは、左チャネルと右チャネルとの間のクロストークの効果である。

【0024】

図２は、参照プレーンの時間依存による位置決めＺｒｅｆ（ｔ）を示す。再度、この図は、メインビデオストリームＶＳおよびオーバーレイグラフィックＯＤの深度範囲を時間依存値として示す。参照プレーンＺｒｅｆは、スクリーンの深度Ｚｓｃｒｅｅｎの近くに位置し、好適には、その深度と同一である。このことは、ゴースト効果を低減し、さらに好適には、輻輳調節間の競合を削減する利点を有する。最終的に、これによって、３Ｄオーバーレイグラフィックの表示用のＺ空間を広げることが可能になる。しかしながら、ｔ１において、オーバーレイグラフィックＯＤと立体３ＤメインビデオストリームＶＳとの間の深度競合が起こる。

【0025】

参照プレーンのＺ空間位置Ｚｒｅｆ（ｔ）は、時間とともに可変であり、そしてｔ１とｔ４との間の斜線で示すように、メインビデオストリームＶＳの最短距離Ｚｖ，ｍｉｎ（ｔ）に従ってビデオストリームＶＳの再生の深度に適合される。参照プレーンＺｒｅｆの適合は、好適には、１フレーム単位で、例えば、オーサリング中に実行される。しかしながら、それを、再生中にオンザフライで同様に実行することができる。この場合、オーバーレイグラフィックの深度範囲ＯＤに対応する適合の頻度および精度は、異なるシステム用に変えることができる。リアルタイム能力システムにおいて、更新が１フレーム単位で実行可能となり、最高のユーザ体験につながる。しかしながら、対話型アプリケーションを非リアルタイムなＪａｖａプラットホームに実装しなければならない場合、深度調整をビデオフレームに完全に同期することができない。また、プロセスが組み込まれた消費者用機器の計算能力は、制限される。このような場合、メインビデオストリームの各フレームに対する深度の更新が不可能であるかもしれないし、タイミングに対して正確でないかもしれない。しかしながら、１フレームの更新頻度がより少なく、そして場合によっては不完全なタイミング調整であっても、ユーザ体験は、調整を全く行わないよりもかなり良いであろう。さらに、プログラマー／作成者は、参照プレーンＺｒｅｆ（ｔ）の更新が１フレーム単位で行われないことを考慮して、参照プレーンＺｒｅｆ（ｔ）の位置とメインビデオストリームの最小深度Ｚｖ，ｍｉｎ（ｔ）との間の安全マージンを予測することができる。

【0026】

図２において、ｔ１とｔ２との間の参照プレーンＺｒｅｆ（ｔ）は、メインビデオストリームＶＳとオーバーレイデータとの間の深度競合を回避するようにシフトされる。しかしながら、ｔ２において、オーバーレイデータの最小深度ＺＯＤ，ｍｉｎ（ｔ）は、コンフォートゾーンの最小深度Ｚｃｏｍｆｏｒｔ，ｍｉｎと競合している。コンフォートゾーンを越えないようにするために、オーバーレイグラフィックの表示用の深度範囲は、参照プレーンＺｒｅｆ（ｔ）とコンフォートゾーンの最小深度Ｚｃｏｍｆｏｒｔ，ｍｉｎとの間の使用可能な深度に低減される。従って、ｔ２とｔ３との間のオーバーレイグラフィックＯＤの表示用の深度範囲は、浅い深度まで平坦化され、一方、ｔ３において、オーバーレイグラフィックＯＤの表示と最小コンフォートゾーンＺｃｏｍｆｏｒｔ，ｍｉｎとの間の深度競合が解消され、そしてオーバーレイグラフィックは、自身の元の深度に戻ることができる。ｔ４において、メインビデオストリームＶＳの深度は、参照プレーンＺｒｅｆ（ｔ）の後ろに下がり、そしてオーバーレイグラフィックＯＤの表示は、自身の元の深度に戻る。

【0027】

動的深度の調整の場合、必要なデータを、それぞれのアプリケーションによるか、または立体３Ｄビデオ情報のプレイバック用のそれぞれの再生デバイスによるさまざまなやり方で読み出すことができる。メディアタイム、即ち、メインビデオのランタイムまたはタイムコードは、通常、アプリケーションプログラミングインタフェース（ＡＰＩ）を介して読み出し可能である。Ｚ空間の参照プレーンの位置も、ＡＰＩ経由でアプリケーションランタイムにおいて読み出し可能であるか、またはデータファイルを介してアプリケーションに提供できる。競合間隔のリストを再生ユニットに渡すことができる。メインビデオストリームの特定のランタイムの場合、例えば、ユーザが３Ｄメニューの表示を要求する場合、再生デバイスは、競合間隔のリストを検査する。深度競合を回避しなければならない場合、適切な対策が実行される。

【0028】

図３は、本発明の別の実施形態を示す。開始シナリオは、図１の即ち、オーバーレイデータＯＤの表示用の参照プレーンＺｒｅｆおよび深度範囲が一定である開始シナリオに相当する。ｔ１以前では、ビデオストリームＶＳの表示とオーバーレイデータＯＤの表示との間の深度競合が起きていない。しかしながら、ｔ１とｔ２との間の一定の時間期間中では、深度競合が存在する。これを回避するために、ビデオストリームＶＳは、平面（２Ｄ）ビデオのみによって示される。メインビデオストリームＶＳの深度情報、即ち、競合間隔のリストが、ｔ２の事例において、現在の深度競合間隔が終了したことを示す場合、表示モードは、３Ｄモードにスイッチバックされる。もちろん、オーバーレイグラフィックＯＤの表示モードを平面２Ｄモードに切り替えることも同様に実行可能である。このため、再生デバイスは、好適には、ＡＰＩをそれぞれのアプリケーションに提供して、そのアプリケーションの表示モードを切り替える。明白には、ｔ１とｔ２との間では、参照プレーンＺｒｅｆの位置を、スクリーンの深度Ｚｓｃｒｅｅｎとコンフォートゾーンの最小深度Ｚｃｏｍｆｏｒｔ，ｍｉｎとの間で、例えば、コンテンツ作成者の選択によって自由に選択できる。好適には、それは、時間がたっても一定であり、スクリーンの深度Ｚｓｃｒｅｅｎに近くなるように設定される。好適には、ｔ１およびｔ２は、Ｚｖ，ｍｉｎ（ｔ）がＺｒｅｆ（ｔ）に等くなる時間になるように定義される。しかしながら、ｔ１をより小さく選択して、ｔ２をより大きく選択することもできる。

【0029】

図３に従った実施形態は、Ｚ空間の参照プレーンＺｒｅｆの位置を更新する必要がないので、実現し易いという利点がある。対話型アプリケーションの３Ｄ深度の調整も必要ない。

【0030】

図４は、本発明のさらなる実施形態の図であり、ここでのオーバーレイグラフィックＯＤは、いわゆるポップアップメニューである。時間ｔ_{ｐｏｐ＿ｕｐ}においてユーザの動作によってトリガされて−ビデオストリームＶＳは、なおも３Ｄモードで再生している−ポップアップメニューが開く見通しである。しかしながら、図４から明らかなように、これは、メインビデオストリームＶＳとオーバーレイグラフィックＯＤとの間の深度競合を引き起こすであろう。実施形態に従って、ユーザコマンドは、時間ｔ_{ｄｅｌａｙ}の間遅延し、その間ユーザは、保留中のユーザコマンドを示す、砂時計などのグラフィックインジケータを見せられる。この遅延時間は、時間ｔ１において満了し、その時に深度競合が解消される。言い換えれば、遅延時間ｔ_{ｄｅｌａｙ}は、深度競合を防ぐために十分長いものが選択される。競合間隔の終了時に、ポップアップメニューが３Ｄで表示される。

【0031】

本発明の別の態様に従って、図５および図６を参照しながら、さらに２つの実施形態を説明する。図５は、図１および図２と同様のシナリオを示す。ｔ１とｔ２との間では、メインビデオストリームＶＳとオーバーレイグラフィックＯＤとの間の深度競合が表示される。この深度競合を解消するために、少なくとも一部のオーバーレイグラフィックを透過的する。好適には、メインビデオストリームとの深度競合を引き起こすオーバーレイグラフィックのそれぞれの部分またはピクセルが唯一透過的である。図５において、これは、オーバーレイグラフィックＯＤの表示を示す斜線範囲とＶＳの範囲（ｔ１とｔ２との間）との間の共通部分で示される。好適には、メインビデオストリームＶＳの可視性を妨げないようにするために、オーバーレイグラフィックまたはその一部は、完全に透過的に設定される。言い換えれば、オーバーレイデータは、一部または完全に消失する。メインビデオストリームＶＳの表示は、優先度を有する。代替として、オーバーレイグラフィック情報ＯＤを完全に透過的なやり方でレンダリングする代わりに、３Ｄグラフィック出力のそれぞれの部分を完全に除去するように決定できる。

【0032】

図６に従うと、ｔ１とｔ４との間では、メインビデオストリームＶＳの表示とオーバーレイグラフィックＯＤの表示との間の競合が存在する。ｔ２とｔ３との間では、特殊な競合が起こる。メインビデオストリームＶＳは、例えば、望ましい特別な効果により、コンフォートゾーンの最小深度Ｚｃｏｍｆｏｒｔ，ｍｉｎを侵害する。従って、オーバーレイグラフィックＯＤの表示用に残された空間が全くない。従って、オーバーレイグラフィックＯＤの表示の深度を平面２Ｄ表示に削減でき、好適には、コンフォートゾーンの最小深度Ｚｃｏｍｆｏｒｔ，ｍｉｎに位置する。代替として、オーバーレイグラフィックＯＤをそれぞれの時間間隔において透過的にできる。

【0033】

本発明を特定の実施形態に関連して上記で説明したが、本発明は、そのような実施形態に限定されず、主張した発明の範囲内にある当業者が、さらなる代替形態を思い付くことは疑いない。
（付記１）
３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための方法であって、
ａ）前記３Ｄビデオストリームに関連する競合間隔のセットを、前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソースから読み出すステップであって、前記競合間隔のセットは、前記立体３Ｄビデオ情報と共に提供され、及び競合間隔は、前記３Ｄビデオストリームの特定のタイムコードに対し、前記３Ｄビデオストリームと前記３Ｄオーバーレイグラフィックの参照プレーンとの間の深度競合、または前記３Ｄオーバーレイグラフィックとオーサリングプロセスで定義されるコンフォートゾーンとの間の深度競合が存在することを示す、前記ステップと、
ｂ）対応する深度競合を解消するために、前記３Ｄビデオストリームの表示または前記３Ｄオーバーレイグラフィックの表示を、前記競合間隔のうちの１つに位置する前記３Ｄビデオストリームのタイムコードに適合させるステップと、
を備える、前記方法。
（付記２）
前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、前記３Ｄオーバーレイグラフィックと前記コンフォートゾーンとの間の前記深度競合が解消されるように前記３ＤオーバーレイグラフィックのＺ空間の拡張を変えることを備える、付記１に記載の方法。
（付記３）
前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、前記３Ｄオーバーレイグラフィック用のまたは前記３Ｄビデオストリーム用の表示モードを立体３Ｄモードから平面２Ｄモードに切り替えることを備える、付記１に記載の方法。
（付記４）
前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、少なくとも一部の前記３Ｄオーバーレイグラフィックの透明度値を適合させることを備える、付記１に記載の方法。
（付記５）
前記透明度値は、前記深度競合を引き起こす前記３Ｄオーバーレイグラフィックの一部に適合される、付記４に記載の方法。
（付記６）
前記３Ｄオーバーレイグラフィックの前記表示を適合させるステップは、前記競合間隔の終わりまで３Ｄオーバーレイデータの表示に対するユーザ要求を遅延させることを備える、付記１に記載の方法。
（付記７）
３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報を表示するための再生デバイスであって、
ａ）前記３Ｄビデオストリームに関連する競合間隔のセットを、前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソースから読み出すことであって、前記競合間隔のセットは、前記立体３Ｄビデオ情報と共に提供されることと、及び競合間隔は、前記３Ｄビデオストリームの特定のタイムコードに対し、前記３Ｄビデオストリームと前記３Ｄオーバーレイグラフィックの参照プレーンとの間の深度競合、または前記３Ｄオーバーレイグラフィックと前記オーサリングプロセスで定義されるコンフォートゾーンとの間の深度競合が存在することを示す、ことと、
ｂ）前記対応する深度競合を解消するために、前記３Ｄビデオストリームの表示または前記３Ｄオーバーレイグラフィックの表示を、前記競合間隔のうちの１つに位置する前記３Ｄビデオストリームのタイムコードに適合させることと、
を行うように構成される、前記再生デバイス。
（付記８）
３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための方法であって、
ａ）複数のタイムコードに対する前記３Ｄビデオストリームの立体表示用のＺ空間における深度範囲を判定するステップと、
ｂ）Ｚ空間における参照プレーンを判定して、前記３Ｄビデオと前記参照プレーンとの間の前記深度競合が低減されるように前記３Ｄオーバーレイグラフィックを置くステップと、
ｃ）表示スクリーンプレーンを囲み、および前記参照プレーンを備えるコンフォートゾーンを定義するステップであって、前記コンフォートゾーンは、前記立体３Ｄビデオ情報の好適な表示用のＺ空間における深度範囲を指定する、前記ステップと、
ｄ）前記参照プレーンと前記３Ｄビデオストリームとの間の深度競合が、それぞれのタイムコードに対して残存するかどうか、および／または前記コンフォートゾーンと前記３Ｄオーバーレイグラフィックとの間の深度競合が前記それぞれのタイムコードに対して存在するかどうかを判定するステップと、
ｅ）前記参照プレーンと前記３Ｄビデオストリームとの間で深度競合が残存する、および／または前記コンフォートゾーンと前記３Ｄオーバーレイグラフィックとの間で深度競合が存在する前記それぞれのタイムコードによって定義される競合間隔のセットを判定するステップと、
ｆ）前記３Ｄビデオストリームおよび前記３Ｄオーバーレイグラフィックを備えるメディアソース上に競合間隔の前記セットを記憶するステップと、
を備える、前記方法。
（付記９）
前記３Ｄビデオストリームの任意の特徴に対するＺ空間の前記深度が、Ｚ空間の前記参照プレーンと競合する場合、深度競合は、前記３Ｄオーバーレイグラフィックと前記参照プレーンとの間に存在する、付記８に記載の方法。
（付記１０）
前記３Ｄオーバーレイグラフィックの任意の特徴が、視聴者に面した前記コンフォートゾーンの上位閾値のＺ空間で競合する場合、前記コンフォートゾーンと前記３Ｄオーバーレイグラフィックとの間で深度競合が存在する、付記８または９に記載の方法。
（付記１１）
３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備える立体３Ｄビデオ情報をオーサリングするための装置であって、
ａ）複数のタイムコードに対する前記３Ｄビデオストリームの立体表示用のＺ空間における深度範囲を判定することと、
ｂ）Ｚ空間における参照プレーンを判定して、前記３Ｄビデオと前記参照プレーンとの間の前記深度競合が低減されるように前記３Ｄオーバーレイグラフィックを置くことと、
ｃ）表示スクリーンプレーンを囲み、および前記参照プレーンを備えるコンフォートゾーンを定義することであって、前記コンフォートゾーンは、前記立体３Ｄビデオ情報の好適な表示用のＺ空間における深度範囲を指定することと、
ｄ）前記参照プレーンと前記３Ｄビデオストリームとの間の深度競合が、前記それぞれのタイムコードに対して残存するかどうか、および／または前記コンフォートゾーンと前記３Ｄオーバーレイグラフィックとの間の深度競合が前記それぞれのタイムコードに対して存在するかどうかを判定することと、
ｅ）前記参照プレーンと前記３Ｄビデオストリームとの間で深度競合が残存する、および／または前記コンフォートゾーンと前記３Ｄオーバーレイグラフィックとの間で深度競合が存在する前記それぞれのタイムコードによって定義される競合間隔のセットを判定することと、
を行うように構成される、前記装置。
（付記１２）
３Ｄビデオストリームおよび３Ｄオーバーレイグラフィックを備えるメディアソースであって、前記メディアソースは、前記３Ｄビデオストリームに関連する競合間隔のセットをさらに備え、競合間隔のセットはオーサリングプロセスで判定され、競合間隔は、前記３Ｄビデオストリームの特定のタイムコードに対し、前記３Ｄビデオストリームと前記３Ｄオーバーレイグラフィックの参照プレーンとの間の深度競合、または前記３Ｄオーバーレイグラフィックと前記オーサリングプロセスで定義されるコンフォートゾーンとの間の深度競合が存在することを示す、前記メディアソース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】