特許 6242380 奥行きヘルパデータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6242380

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】奥行きヘルパデータ

(51)【国際特許分類】

   H04N 13/00 20060101AFI20171127BHJP

   H04N 13/02 20060101ALI20171127BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 590

   H04N13/02 710

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2015-503982(P2015-503982)

(86)(22)【出願日】2013年4月5日

(65)【公表番号】特表2015-515820(P2015-515820A)

(43)【公表日】2015年5月28日

(86)【国際出願番号】IB2013052725

(87)【国際公開番号】WO2013150491

(87)【国際公開日】20131010

【審査請求日】2016年4月4日

(31)【優先権主張番号】61/620,660

(32)【優先日】2012年4月5日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ブルース ウィルヘルムス ヘンドリクス アルフォンソ

(72)【発明者】

【氏名】ニュートン フィリップ スティーブン

(72)【発明者】

【氏名】タルストラ ヨハン コーネリス

(72)【発明者】

【氏名】デ ハーン ウィーブ

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特表２０１０−５０８６９１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００６７８６４（ＵＳ，Ａ１）

【文献】 特表２０１１−５０８４９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３１０１５５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／０４

Ｈ０４Ｎ １５／００

(57)【特許請求の範囲】

【請求項1】

三次元（３Ｄ）宛先装置に伝達するための３Ｄビデオ信号を供給する３Ｄソース装置であって、
前記３Ｄビデオ信号は、
３Ｄ表示器上の左眼ビューを表す第１ビデオ情報と、
前記３Ｄ表示器上の右眼ビューを表す第２ビデオ情報と、
を有し、
前記３Ｄ宛先装置は、
前記３Ｄビデオ信号を受信するための受信器と、
前記第１及び第２ビデオ情報に基づいて第１発生奥行きマップを発生するステレオ／奥行き変換器と、
を有し、
前記３Ｄソース装置は、
前記３Ｄビデオ信号を発生すると共に、該３Ｄビデオ信号を前記３Ｄ宛先装置に伝達するための出力ユニット、
を有し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に関するソース奥行きマップを供給し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に基づいて第２発生奥行きマップを発生するソースステレオ／奥行き変換器と、
前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が所定の閾値を超える場合にのみ、前記ソース奥行きマップを表す奥行きヘルパデータを供給するソース奥行きプロセッサと、
を有し、
前記出力ユニットは前記奥行きヘルパデータを前記３Ｄビデオ信号に含め、
前記３Ｄ宛先装置は、
前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能でない場合には前記第１発生奥行きマップに基づいて、前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能である場合には該奥行きヘルパデータに基づいて宛先奥行きマップを発生するための、
奥行きプロセッサを有する、
３Ｄソース装置。

【請求項2】

前記出力ユニットは、前記差が前記閾値を超える補正期間においてのみ前記３Ｄビデオ信号に前記奥行きヘルパデータを含める、請求項１に記載の３Ｄソース装置。

【請求項3】

前記出力ユニットは、前記３Ｄ表示器より小さい補正領域であって、前記差が前記閾値を超える補正領域に対してのみ前記３Ｄビデオ信号に前記奥行きヘルパデータを含める、請求項１に記載の３Ｄソース装置。

【請求項4】

前記奥行きプロセッサは前記補正領域に対して該補正領域が前記３Ｄビデオ信号における少なくとも１つのマクロブロックに整列されるようにして前記奥行きヘルパデータを発生し、前記マクロブロックは圧縮されたビデオデータの所定のブロックを表し、該マクロブロックに整列された補正領域は、前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が前記所定の閾値を超えない位置に対して他の奥行きデータを有する、請求項３に記載の３Ｄソース装置。

【請求項5】

前記出力ユニットは、前記３Ｄビデオ信号に、前記奥行きヘルパデータの利用可能性を示す通知ヘルパデータを含める、請求項１、２、３又は４に記載の３Ｄソース装置。

【請求項6】

前記通知ヘルパデータが、
前記奥行きヘルパデータの存在を示すフラグ信号、
対応する位置に対する奥行きヘルパデータの不存在を示す、奥行きマップ内の所定の無奥行き値、
データ構造内の奥行きヘルパデータの量を示すヘルパ長データ、
前記奥行きヘルパデータが利用可能であるビューの数及び／又はタイプを示すビュー標識データ、
前記奥行きヘルパデータのために使用されるデータ構造を示すヘルパタイプデータ、
前記奥行きヘルパデータの解像度を示すヘルパ解像度データ、及び
前記奥行きヘルパデータの位置を示すヘルパ位置データ、
のうちの少なくとも１つを有する、請求項５に記載の３Ｄソース装置。

【請求項7】

前記出力ユニットは、前記３Ｄビデオ信号に、前記３Ｄ表示器上の表示領域に対応する奥行きマップを含め、該奥行きマップは、前記３Ｄ表示器より小さい補正領域及び／又は前記差が前記閾値を超える補正期間のために前記奥行きヘルパデータを有すると共に、他の領域及び／又は期間に関しては、前記通知ヘルパデータとして、対応する位置に対する奥行きヘルパデータの不存在を示す所定の無奥行き値を有する、請求項５に記載の３Ｄソース装置。

【請求項8】

三次元（３Ｄ）ソース装置から３Ｄビデオ信号を入力する３Ｄ宛先装置であって、
前記３Ｄビデオ信号は、
３Ｄ表示器上の左眼ビューを表す第１ビデオ情報と、
前記３Ｄ表示器上の右眼ビューを表す第２ビデオ情報と、
を有し、
当該３Ｄ宛先装置は、
前記３Ｄビデオ信号を受信するための受信器と、
前記第１及び第２ビデオ情報に基づいて第１発生奥行きマップを発生するステレオ／奥行き変換器と、
を有し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に関するソース奥行きマップを供給し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に基づいて第２発生奥行きマップを発生するソースステレオ／奥行き変換器と、
前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が所定の閾値を超える場合にのみ、前記ソース奥行きマップを表す奥行きヘルパデータを供給するソース奥行きプロセッサと、
前記奥行きヘルパデータを前記３Ｄビデオ信号に含める出力ユニットと、
を有し、
当該３Ｄ宛先装置は、
前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能でない場合には前記第１発生奥行きマップに基づいて、前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能である場合には前記奥行きヘルパデータに基づいて宛先奥行きマップを発生するための、
奥行きプロセッサを有する、
３Ｄ宛先装置。

【請求項9】

前記受信器が前記３Ｄビデオ信号を入力するために記録担体を読み取る読取ユニットを有する、請求項８に記載の３Ｄ宛先装置。

【請求項10】

当該３Ｄ宛先装置が、
前記第１及び第２ビデオ情報に基づくと共に前記宛先奥行きマップに依存して３Ｄビデオデータの複数のビューを発生するビュープロセッサと、
前記３Ｄビデオデータの複数のビューを表示するための３Ｄ表示器と、
を有する、請求項８に記載の３Ｄ宛先装置。

【請求項11】

三次元（３Ｄ）宛先装置に伝達するための３Ｄビデオ信号を供給する方法であって、
前記３Ｄビデオ信号は、
３Ｄ表示器上の左眼ビューを表す第１ビデオ情報と、
前記３Ｄ表示器上の右眼ビューを表す第２ビデオ情報と、
を有し、
前記３Ｄ宛先装置は、
前記３Ｄビデオ信号を受信するための受信器と、
前記第１及び第２ビデオ情報に基づいて第１発生奥行きマップを発生するステレオ／奥行き変換器と、
を有し、
当該方法は、
前記３Ｄビデオ信号を発生すると共に、該３Ｄビデオ信号を前記３Ｄ宛先装置に伝達するステップ、
を有し、
当該方法は、
前記第１及び第２ビデオ情報に関するソース奥行きマップを供給するステップと、
前記第１及び第２ビデオ情報に基づいて第２発生奥行きマップを発生するステップと、
前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が所定の閾値を超える場合にのみ、前記ソース奥行きマップを表す奥行きヘルパデータを供給するステップと、
前記奥行きヘルパデータを前記３Ｄビデオ信号に含めるステップと、
を有し、
前記３Ｄ宛先装置が、
前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能でない場合には前記第１発生奥行きマップに基づいて、前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能である場合には前記奥行きヘルパデータに基づいて宛先奥行きマップを発生するための、
奥行きプロセッサを有する、
方法。

【請求項12】

当該方法が、前記３Ｄビデオ信号を表すマークのトラックが設けられた記録担体を製造するステップを有する、請求項１１に記載の方法。

【請求項13】

三次元（３Ｄ）ソース装置から３Ｄ宛先装置に伝達される３Ｄビデオデータのデータ構造であって、
当該３Ｄビデオデータは、
３Ｄ表示器上の左眼ビューを表す第１ビデオ情報と、
前記３Ｄ表示器上の右眼ビューを表す第２ビデオ情報と、
を有し、
前記３Ｄ宛先装置は、
前記３Ｄビデオデータを受信するための受信器と、
前記第１及び第２ビデオ情報に基づいて第１発生奥行きマップを発生するステレオ／奥行き変換器と、
を有し、
前記３Ｄソース装置は、
前記３Ｄビデオデータを発生すると共に、該３Ｄビデオデータを前記３Ｄ宛先装置に伝達するための出力ユニット、
を有し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に関するソース奥行きマップを供給し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に基づいて第２発生奥行きマップを発生するソースステレオ／奥行き変換器と、
前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が所定の閾値を超える場合にのみ、前記ソース奥行きマップを表す奥行きヘルパデータを供給するソース奥行きプロセッサと、
を有し、
当該３Ｄビデオデータは前記奥行きヘルパデータを有し、
前記３Ｄ宛先装置は、
前記３Ｄビデオデータにおいて前記奥行きヘルパデータが利用可能でない場合には前記第１発生奥行きマップに基づいて、前記３Ｄビデオデータにおいて前記奥行きヘルパデータが利用可能である場合には前記奥行きヘルパデータに基づいて宛先奥行きマップを発生するための、
奥行きプロセッサを有する、
３Ｄビデオデータのデータ構造。

【請求項14】

三次元（３Ｄ）ソース装置から３Ｄ宛先装置に３Ｄビデオデータを伝達するための三次元（３Ｄ）ビデオ信号を有する記録担体であって、
前記３Ｄビデオ信号は、
３Ｄ表示器上の左眼ビューを表す第１ビデオ情報と、
前記３Ｄ表示器上の右眼ビューを表す第２ビデオ情報と、
を有し、
前記３Ｄ宛先装置は、
前記３Ｄビデオ信号を受信するための受信器と、
前記第１及び第２ビデオ情報に基づいて第１発生奥行きマップを発生するステレオ／奥行き変換器と、
を有し、
前記３Ｄソース装置は、
前記３Ｄビデオ信号を発生すると共に、該３Ｄビデオ信号を前記３Ｄ宛先装置に伝達するための出力ユニット、
を有し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に関するソース奥行きマップを供給し、
前記３Ｄソース装置は、
前記第１及び第２ビデオ情報に基づいて第２発生奥行きマップを発生するソースステレオ／奥行き変換器と、
前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が所定の閾値を超える場合にのみ、前記ソース奥行きマップを表す奥行きヘルパデータを供給するソース奥行きプロセッサと、
を有し、
当該３Ｄビデオ信号は前記奥行きヘルパデータを有し、
前記３Ｄ宛先装置は、
前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能でない場合には前記第１発生奥行きマップに基づいて、前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能である場合には前記奥行きヘルパデータに基づいて宛先奥行きマップを発生するための、
奥行きプロセッサを有する、
三次元（３Ｄ）ビデオ信号を有する記録担体。

【請求項15】

三次元（３Ｄ）宛先装置に伝達する３Ｄビデオ信号を供給するためのコンピュータプログラムであって、プロセッサに請求項１１に記載の方法の各ステップを実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元（３Ｄ）宛先装置に伝達するための３Ｄビデオ信号を供給する３Ｄソース装置に関する。３Ｄビデオ信号は、３Ｄ表示器上の左眼ビューを表す第１ビデオ情報、及び該３Ｄ表示器上の右眼ビューを表す第２ビデオ情報を有している。３Ｄ宛先装置は、３Ｄビデオ信号を受信する受信器、並びに第１及び第２ビデオ情報に基づいて第１発生奥行きマップを発生するためのステレオ／奥行き変換器を有する。３Ｄソース装置は、３Ｄビデオ信号を発生すると共に該３Ｄビデオ信号を３Ｄ宛先装置に伝達するための出力ユニットを有している。

【0002】

本発明は、更に、３Ｄ宛先装置に伝達するための３Ｄビデオ信号を供給する方法にも関する。

【0003】

本発明は、例えば放送装置、インターネット・ウェブサーバ、オーサリングシステム及びブルーレイディスクの製造器等のソース装置において３Ｄビデオ信号を発生すると共に、該３Ｄビデオ信号を複数のビューをレンダリングするために奥行きマップを必要とする、例えばブルーレイディスクプレーヤ、３Ｄ ＴＶ受像機、３Ｄ表示器及び携帯計算装置等の３Ｄ宛先装置へ伝達する技術分野に関する。

【背景技術】

【0004】

文献“Working Draft on MVC extensions for inclusion of depth maps - ISO/IEC/JTC1/SC29/WG11/N12351, December 2011 by Teruhiko Suzuki, Miska M. Hannuksela, Ying Chen”は、ＭＰＥＧ符号化ビデオ伝達信号に３Ｄビデオ技術を追加するためのITU-T Rec. H.264｜ISO/IEC 14496-10に対する新たな補正の提案である（以下、ＩＳＯ提案と呼ぶ）。該ＩＳＯ提案は、オーディオビジュアル・オブジェクトの符号化（コーディング）、特に、前記ＩＳＯ規格パート１０に対する補正、即ちビデオフォーマットへ奥行きマップ（depth map）を含めるためのマルチビューコーディング（ＭＶＣ）の拡張に関する進んだビデオコーディングを記述している。該補正によれば、奥行きマップビデオコーディングを含めるためのＭＶＣ拡張が指定され、関係する複数の補足ビュー（即ち、奥行きマップビュー）により複数のビューを表すビットストリームの構築を可能にしている。マルチビュービデオコーディングと同様に、複数の補足ビューを表すビットストリームも、提案された仕様に準拠する副ビットストリームを更に含むことができる。

【0005】

上記ＩＳＯ提案によれば、奥行きマップは、３Ｄ表示器上の左眼ビューを表す第１ビデオ情報及び該３Ｄ表示器上の右眼ビューを表す第２ビデオ情報を有する３Ｄビデオデータストリームに追加することができる。デコーダ側における奥行きマップは、左及び右ビューに加えて、例えば自動立体表示のための更なるビューの発生を可能にする。

【0006】

上記ＩＳＯ提案はビデオ素材が奥行きマップを備えることを求めており、このことは、追加のデータ伝送容量を必要とする。更に、奥行きマップデータを有さない多数の既存の３Ｄビデオ素材が存在する。このような素材のために、宛先装置は、第１及び第２ビデオ情報に基づいて発生奥行きマップを発生するためのステレオ／奥行き変換器を有することができる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、３Ｄビデオレンダリングを向上させるために一層柔軟性のある奥行き情報を供給すると共に斯かる奥行き情報を伝達するシステムを提供することである。

【課題を解決するための手段】

【0008】

この目的のために、本発明の第１態様によれば、冒頭の段落で述べたソース装置は、前記ビデオ情報に関するソース奥行きマップを供給するように構成され、該３Ｄソース装置は、前記第１及び第２ビデオ情報に基づいて第２発生奥行きマップを発生するソースステレオ／奥行き変換器と、前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が所定の閾値を超える場合にのみ、前記ソース奥行きマップを表す奥行きヘルパデータを供給するように構成されたソース奥行きプロセッサとを有し、前記出力ユニットは前記奥行きヘルパデータを前記３Ｄビデオ信号に含めるように構成される。

【0009】

前記３Ｄビデオ信号は、上記奥行きヘルパデータを有する。

【0010】

前記３Ｄ宛先装置は、前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能でない場合には前記第１の発生奥行きマップに基づいて、前記３Ｄビデオ信号において前記奥行きヘルパデータが利用可能である場合には前記奥行きヘルパデータに基づいて宛先奥行きマップを発生するための奥行きプロセッサを有する。

【0011】

上記対策は、宛先装置が、左及び右ビューを表す前記第１及び第２ビデオ情報からローカルに発生される奥行きマップに基づいて宛先奥行きマップを発生し、利用可能な時及び場合には、該ローカル発生奥行きマップを向上させるために前記奥行きヘルパデータを適用することを可能にされるという効果を有する。有利には、上記奥行きヘルパデータは、上記ローカル発生奥行きマップが前記ソース奥行きマップに対して大きな差を有する場合にのみ伝達される。かくして、誤って発生された奥行きマップに起因する視覚的に妨害的なエラーは低減される。

【0012】

本発明は、以下の認識に基づくものでもある。発明者は、ローカルな奥行きマップの発生は、通常、左及び右ビューに基づく場合、非常に好ましい結果をもたらすことを理解した。しかしながら、幾つかの時点又は場所では妨害的なエラーが発生し得る。ソースにおいて斯様なエラーの発生を予測し、前記ヘルパデータを斯かる時点又は期間に対してのみ追加することにより、伝達されるべき追加の奥行きデータの量が制限される。更に、前記ソース奥行きマップに基づいてヘルパデータを伝達すると共に、宛先側において、誤ったローカル発生奥行きデータを使用することに代えて該ヘルパデータを選択することにより、複数のビューの奥行きに基づくレンダリングの大幅な改善が達成される。

【0013】

オプションとして、前記３Ｄソース装置において前記出力ユニットは、前記差が前記閾値を超える補正期間においてのみ前記３Ｄビデオ信号に前記奥行きヘルパデータを含めるように構成される。その効果は、ヘルパデータは大きな奥行きエラーが発生する期間に対してのみ伝送されるということであり、これは実際には時間のうちの１０％未満である。有利にも、伝達されるべきデータの量が低減される。

【0014】

オプションとして、前記３Ｄソース装置において前記出力ユニットは、前記３Ｄ表示器より小さい補正領域に対してのみであって、該補正領域において前記差が前記閾値を超える場合に前記３Ｄビデオ信号に前記奥行きヘルパデータを含めるよう構成される。その効果は、ヘルパデータは大きな奥行きエラーが発生する位置に対してのみ伝送されるということであり、これは実際には斯様なエラーが発生するフレームの５０％未満である。有利にも、伝達されるべきデータの量が低減される。

【0015】

オプションとして、前記３Ｄソース装置において、前記奥行きプロセッサは前記補正領域に対して該補正領域が前記３Ｄビデオ信号における少なくとも１つのマクロブロックに整列されるようにして前記奥行きヘルパデータを発生するように構成され、前記マクロブロックは圧縮されたビデオデータの所定のブロックを表し、該マクロブロックに整列された補正領域は、前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が前記所定の閾値を超えない場合の位置に対して他の奥行きデータを有する。その効果は、符号化はマクロブロックで編成されるので、上記補正領域が通常の符号化プロセッサにより効果的に符号化されるということである。対照的に、誤った奥行き値に対する補正を含む任意の形状のみを符号化することは、大きな符号化労力を要し、低い圧縮率となるであろう。このような補正領域は、前記第２発生奥行きマップ及びソース奥行きマップの奥行き値が小さく、前記閾値以下であるようなピクセルも含む。前記他の奥行きデータは、前記マクロブロックに整列された補正領域の外側境界における奥行きのジャンプを防止するために前記第２発生奥行きマップに基づくものとすることができる。有利にも、上記他の奥行き補正値を発生された値に等しくすることは、デコーダ側において、マクロブロックにわたる奥行きの差が見えるようになることを防止する。

【0016】

オプションとして、前記３Ｄソース装置において、前記出力ユニットは、前記３Ｄビデオ信号に、前記奥行きヘルパデータの利用可能性を示す通知ヘルパデータを含めるように構成される。有利にも、デコーダは上記奥行きヘルパデータの有無を該通知ヘルパデータに基づいて容易に検出することができるようになる。該通知ヘルパデータは、例えば、
− 前記奥行きヘルパデータの存在を示すフラグ信号、
− 対応する位置に対する奥行きヘルパデータの不存在を示す、奥行きマップ内の所定の無奥行き値（no-depth value）、
− データ構造内の奥行きヘルパデータの量を示すヘルパ長データ、
− 前記奥行きヘルパデータが利用可能であるビューの数及び／又はタイプを示すビュー標識データ、
− 前記奥行きヘルパデータのために使用されるデータ構造を示すヘルパタイプデータ、
− 前記奥行きヘルパデータの解像度を示すヘルパ解像度データ、及び
− 前記奥行きヘルパデータの位置を示すヘルパ位置データ、
のうちの少なくとも１つを有することができる。有利には、斯様な通知ヘルパデータは奥行きヘルパデータの存在及び／又は量を示す。

【0017】

オプションとして、前記３Ｄソース装置において、前記出力ユニットは、前記３Ｄビデオ信号に、前記３Ｄ表示器上の表示領域に対応する奥行きマップを含めるように構成され、該奥行きマップは、前記補正領域及び／又は前記補正期間のために前記奥行きヘルパデータを有すると共に、他の領域及び／又は期間に関しては、前記通知ヘルパデータとして、対応する位置に対する奥行きヘルパデータの不存在を示す所定の無奥行き値を有する。奥行きマップは、何らかの奥行きヘルパデータを有するフレームに対して当該信号に含められ得る。即ち、奥行きマップの存在は、奥行きヘルパデータが存在することを暗示的に示す。代わりに、奥行きマップは全てのフレームに含まれ得る。発明者は、現圧縮方式が、特にヘルパデータのローカルな不存在を示す無奥行き値が０又は２５５となるように選択された場合に、殆どの又は全体さえもの表示面上に単一の値を有する奥行きマップを非常に効果的に圧縮することに気が付いている。有利には、デコーダ側において、当該奥行きマップは、奥行き値が上記無奥行き値から逸脱する場合に何らかの補正値のみを用いて自動的に処理される。

【0018】

オプションとして、前記奥行きマップは、前記左ビューに対応する奥行きデータ；前記右ビューに対応する奥行きデータ；中心ビューに対応する奥行きデータ；及び前記第１ビデオ情報又は前記第２ビデオ情報よりも低い解像度を持つ奥行きデータのうちの少なくとも１つを有する。有利にも、上記規準による１以上の奥行きマップを設けることにより、デコーダは必要に応じて適切な奥行きマップを使用することができる。

【0019】

本発明による上記装置及び方法の他の好ましい実施態様は、添付請求項に示され、これら請求項の開示内容は参照により本明細書に組み込まれる。

【0020】

本発明の上記及び他の態様は、例示として後述する実施態様及び添付図面から明らかとなり、斯かる実施態様及び図面を参照して解説される。

【図面の簡単な説明】

【0021】

【図1】図１は、３Ｄビデオデータを処理し、該３Ｄビデオデータを表示するシステムを示す。

【図2】図２は、奥行きヘルパデータを用いる３Ｄデコーダを示す。

【図3】図３は、奥行きヘルパデータを供給する３Ｄエンコーダを示す。

【図4】図４は、自動立体表示装置及び複数のビューの発生を示す。

【図5】図５は、デュアルビュー立体表示装置及び強化ビューの発生を示す。

【図6】図６は、３Ｄビデオ信号における奥行きヘルパデータの存在を示す。

【発明を実施するための形態】

【0022】

各図は純粋に概略的なもので、実寸通りには描かれていない。各図において、既に説明された構成要素に対応する構成要素は、同一の符号を有する。

【0023】

本発明は静止画又は動画ビデオの何れかの如何なるタイプの３Ｄ画像データにも使用することができることに注意されたい。３Ｄ画像データは、電子的なデジタル的にエンコードされたデータとして利用可能であると仮定される。本発明は、斯様な画像データに関するもので、画像データをデジタルドメインで操作する。

【0024】

３Ｄビデオ信号を、所謂３Ｄビデオフォーマットに従ってフォーマット化し、伝達することが可能な多数の異なる方法が存在する。幾つかのフォーマットは、立体情報も伝達するために２Ｄチャンネルを使用することに基づくものである。３Ｄビデオ信号において、当該画像はピクセルの二次元アレイにおける画像値により表される。例えば、左及び右ビューをインターレースすることができるか、又は隣り合わせで且つ上下に配置することもできる。また、奥行きマップも伝達することができ、恐らくは、更に隠蔽（オクルージョン）又は透明データ等の３Ｄデータも伝達することができる。この前後関係において、ディスパリティ（視差）マップも一種の奥行きマップと考えることができる。奥行きマップは異なる解像度を有し得るが、奥行きマップも当該画像に対応する二次元アレイにおける奥行き値を有する。３Ｄビデオデータは、例えばＭＰＥＧ等の既知の圧縮方法に従って圧縮することができる。インターネット又はブルーレイディスク（ＢＤ）等の如何なる３Ｄビデオシステムも、当該提案される拡張から利益を得ることができる。

【0025】

３Ｄ表示器は、相対的に小さなユニット（例えば、携帯電話）、シャッタメガネを必要とする大きな立体表示器（ＳＴＤ）、何らかの立体表示器（ＳＴＤ）、変化するベースラインを考慮に入れた先進ＳＴＤ、頭部追跡（ヘッドトラッキング）に基づいてＬ及びＲビューを視聴者の目に向ける能動ＳＴＤ、又は自動立体マルチビュー表示器（ＡＳＤ）等とすることができる。

【0026】

伝統的に、種々のタイプの３Ｄ表示器を駆動するために必要とされる全ての成分が伝送され、このことは、例えばスイス国、ジュネーブ、２０１１年３月のＭＰＥＧ文書N12036“Call for Proposals on 3D Video Coding Technology”に説明されているように、典型的に２以上のビュー（カメラ信号）及び該ビューに対応する奥行き情報の圧縮及び伝送を必要とする。このようなシステムの問題は、奥行き信号の利用可能性（作成することが困難且つ高価である）、可変ベースラインに関してＡＳＤ及び先進ＳＴＤを駆動するための限られた初期コンテンツの利用可能性、及び奥行き信号を伝送するための追加のビットレートである。デコーダにおける自動変換（奥行きがステレオ情報から自動的に導出される）自体は既知である（例えば、スイス国、ジュネーブ、２０１１年１１月のＭＰＥＧ文書N22668の“Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI”から）。しかしながら、全体の品質は保証され得ず、品質は特定の“困難な”シーン（例えば、シーンの５％）では限定される。立体ビデオデコーダの後に使用される自動変換の代替として、より大きな処理能力を利用することができるエンコーダ側にステレオ／奥行き変換器を配置することもできる。しかしながら、この構成は、伝達されるべきデータ量を低減するものではなく、合成された奥行きマップが信頼性のない幾つかの難しいシーンの不利益を被る。

【0027】

図１は、３Ｄビデオデータを処理すると共に該３Ｄビデオデータを表示するシステムを示す。３Ｄソース装置と呼ばれる第１の３Ｄビデオ装置４０は、３Ｄ宛先装置と称される他の３Ｄ画像処理装置５０に、３Ｄビデオ信号４１を供給及び伝達する。上記３Ｄ宛先装置５０は３Ｄ表示信号５６を伝達するための３Ｄ表示装置６０に結合されている。上記ビデオ信号は、例えば、フレーム互換性完全解像度（例えば、ドルビにより提案されたＦＣＦＲ）、マルチビュー符号化（ＭＶＣ）又は1/2ＨＤフレーム互換を用いた標準立体伝送等の３Ｄ ＴＶ放送信号であり得る。フレーム互換性ベースレイヤに基づいて、ドルビは完全解像度３Ｄ画像を再現するための拡張レイヤを開発した。この技術は、標準化のためにＭＰＥＧに提案されたもので、〜１０％のビットレートの増加しか必要としない。伝統的な３Ｄビデオ信号は、以下に解説する奥行きヘルパデータにより強化される。

【0028】

図１は、更に、上記３Ｄビデオ信号の記録担体としての記録担体５４を示している。該記録担体は、ディスク状のもので、トラック及び中心孔を有している。物理的に検出可能なマークのパターンにより構成される上記トラックは、螺旋状又は同心状パターンの巻回に従って配置され、１以上の情報層上に実質的に平行なトラックを構成している。該記録担体は、光学的に読み取り可能とすることができ、光ディスク（例えば、ＤＶＤ又はＢＤ（ブルーレイディスク））と称される。情報は上記情報層上に、トラックに沿う光学的に検出可能なマーク（例えば、ピット及びランド）により具現化される。当該トラック構造は、通常は情報ブロックと称される情報の単位の位置を示すための位置情報（例えば、ヘッダ及びアドレス）も有している。記録担体５４は、例えばＭＰＥＧ２又はＭＰＥＧ４符号化システムに従ってエンコードされた、ビデオ等のデジタル的に符号化された３Ｄ画像データを表す情報を、ＤＶＤ又はＢＤフォーマット等の所定の記録フォーマットで担持している。

【0029】

３Ｄソース装置は、入力ユニット４７を介して入力された３Ｄビデオデータを処理するためのソース奥行きプロセッサ４２を有している。入力される３Ｄビデオデータ４３は、記憶システム、記録スタジオ、３Ｄカメラ等から利用可能であり得る。当該ソースシステムは３Ｄ画像データのために供給される奥行きマップを処理し、該奥行きマップは、該システムの入力端において元々存在し得るか、又は後述する高品質処理システムにより例えばステレオ（Ｌ＋Ｒ）ビデオ信号における左／右フレームから若しくは２Ｄビデオから自動的に発生され得ると共に、恐らくは、更に、付随する２Ｄ画像データ又は左／右フレームに対応する奥行き値を正確に表すソース奥行きマップを供給するために更に処理若しくは補正され得る。

【0030】

ソース奥行きプロセッサ４２は、３Ｄビデオデータを有する３Ｄビデオ信号４１を発生する。該３Ｄビデオ信号は、３Ｄ表示器上の左眼ビューを表す第１ビデオ情報と、３Ｄ表示器上の右眼ビューを表す第２ビデオ情報とを有する。当該ソース装置は、上記３Ｄビデオ信号をビデオプロセッサから出力ユニット４６を介して他の３Ｄビデオ装置に伝達するように、又は例えば記録担体を介して分配するために３Ｄビデオ信号を供給するように構成することができる。該３Ｄビデオ信号は、入力された３Ｄビデオデータ４３を、例えばエンコードすると共に該３Ｄビデオデータを所定のフォーマットに従ってフォーマットすることにより処理することに基づくものである。

【0031】

当該３Ｄソース装置は、上記第１及び第２ビデオ情報に基づいてソース発生奥行きマップを発生するためのソースステレオ／奥行き変換器４８と、奥行きヘルパデータを供給するためのソース奥行きプロセッサ４２とを有している。

【0032】

奥行きマップを発生するためのステレオ／奥行き変換器は、動作時に、３Ｄ効果を発生するために視聴者の各目に対して表示されるべき左ビュー及び右ビューを表す左フレームＬ及び右フレームＲの時間系列を持つ立体３Ｄ信号（左右ビデオ信号とも呼ばれる）を入力する。該ユニットは、発生された奥行きマップ（発生奥行きマップ）を上記左ビュー及び右ビューの視差推定（disparity estimation）により生成すると共に、該左ビュー及び／又は右ビューに基づいて２Ｄ画像を更に供給することができる。上記視差推定は、Ｌ及びＲフレームを比較するために使用される動き推定アルゴリズムに基づくものであり得る。オブジェクトのＬビューとＲビューとの間の大きな差は、該差の方向に依存して表示スクリーンの前又は背後の奥行き値に変換される。当該発生器ユニットの出力は、上記発生奥行きマップである。次いで、奥行きエラーが検出された場合に、即ち、前記ソース奥行きマップと上記の発生奥行きマップとの間の差が所定の閾値を超えた場合にのみ、奥行きヘルパデータが発生される。例えば、所定の奥行きの差が、上記閾値を構成することができる。該閾値は、奥行きエラーの視認性に影響を及ぼす更なる画像特性（例えば、ローカルな画像輝度若しくはコントラスト又はテクスチャ）に依存させることができる。該閾値は、上記の発生奥行きマップの品質レベルを下記のように検出することにより決定することもできる。上記発生奥行きマップは、所与の異なるビューに対応する向きを持つビューを歪めるために使用される。例えば、Ｒ’のビューは、元のＬ画像データと発生奥行きマップとに基づくものである。次いで、Ｒ’ビューと元のＲビューとの間の差が、例えば良く知られたＰＳＮＲ（ピーク信号対雑音比）関数により計算される。ＰＳＮＲは、信号の最大の可能なパワーと、該信号の表現の忠実度に影響を及ぼす劣化させるノイズのパワーとの間の比である。多くの信号は非常に広いダイナミックレンジを有しているので、通常、ＰＳＮＲは対数デジベル目盛りで表される。ＰＳＮＲは、ここでは、発生奥行きマップの品質の尺度として使用することができる。この場合、上記信号は元のデータＲであり、上記ノイズは、発生奥行きマップに基づいてＲ’を歪めることにより発生されたエラーである。更に、前記閾値は、更なる視認性評価基準に基づいて、又は発生奥行きマップに基づく結果をオーサリング又は見直すと共に、当該３Ｄビデオの何の部分及び／又は期間が奥行きヘルパデータにより増強されねばならないかを制御する編集者により判定することもできる。

【0033】

上記奥行きヘルパデータは、前記ソース奥行きマップ、例えば該ソース奥行きマップの前記奥行きエラーの位置における奥行き値を表す。他の例として、奥行き差又は奥行き補正係数を、宛先装置に対して如何にしてソース奥行きマップの奥行き値に到達するかを示すために該奥行きヘルパデータに含めることもできる。出力ユニット４６は、該奥行きヘルパデータを３Ｄビデオ信号に含めるように構成される。奥行きプロセッサ４２、ステレオ／奥行き変換器４８及び出力ユニット４６の機能を有するプロセッサユニットは、３Ｄエンコーダと呼ぶことができる。

【0034】

３Ｄソースは、サーバ、放送装置、記録装置、又はブルーレイディスク等の光記録担体を製造するためのオーサリング及び／又は製造システムであり得る。上記ブルーレイディスクは、コンテンツ創作者のためにビデオを分配するための対話的プラットフォームを提供する。ブルーレイディスクフォーマットに関する情報は、ブルーレイディスク協会のウェブサイトからオーディオビジュアル・アプリケーション・フォーマットに関する論文で利用可能である（例えば、http://www.bluraydisc.com/Assets/Downloadablefile/2b_bdrom_ audiovisualapplication_0305-12955-15269.pdf）。光記録担体の製造工程は、奥行きヘルパデータを含む３Ｄビデオ信号を具現化するマークの物理的パターンをトラックに設けるステップと、次いで該パターンに従って記録担体の材料を成形して、上記マークのトラックを少なくとも１つの記憶層上に設けるステップとを更に有する。

【0035】

３Ｄ宛先装置５０は、３Ｄビデオ信号４１を受信するための入力ユニット５１を有している。例えば、該装置は、ＤＶＤ又はブルーレイディスク等の光記録担体５４から３Ｄビデオ信号を取り込むために上記入力ユニットに結合された光ディスクユニット５８を含むことができる。代わりに（又は加えて）、該装置はネットワーク４５（例えば、インターネット又は放送ネットワーク）に結合するためのネットワークインターフェースユニット５９を含むことができ、斯かるユニットはセットトップボックス、又は携帯電話若しくはタブレットコンピュータ等の携帯計算装置である。３Ｄビデオ信号は、遠隔のウェブサイト又は媒体サーバ（例えば、３Ｄソース装置４０）から取り込むことができる。当該３Ｄ画像処理装置は、画像入力信号を所要の奥行き情報を持つ画像出力信号に変換する変換器であり得る。斯かる変換器は、特定のタイプの３Ｄ表示器のための異なる入力３Ｄビデオ信号（例えば、標準の３Ｄコンテンツ）を、特定のタイプ又は製造供給元の自動立体表示器に適したビデオ信号に変換するために使用することができる。実際には、該装置は、３Ｄ光ディスクプレーヤ、衛星受信器若しくはセットトップボックス、又は如何なるタイプのメディアプレーヤでもあり得る。

【0036】

当該３Ｄ宛先装置は上記入力ユニットに結合された奥行きプロセッサ５２を有し、該奥行きプロセッサは上記３Ｄ情報を処理して、出力インターフェースユニット５５を介して表示装置に伝達されるべき３Ｄ表示信号５６、例えばＨＤＭＩ（登録商標）規格に従う表示信号（“High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010”参照。該文献の３Ｄ部分は、http://hdmi.org/manufacturer/specification.aspxでダウンロードのために公開されている）を発生する。

【0037】

当該３Ｄ宛先装置は、宛先発生奥行きマップを前記第１及び第２ビデオ情報に基づいて発生するためのステレオ／奥行き変換器５３を有している。該ステレオ／奥行き変換器の動作は、前述したソース装置におけるステレオ／奥行き変換器と同等である。両変換器が等しい場合、同一の奥行きエラーが発生し、該エラーは奥行きヘルパデータを介して補正可能である。該宛先ステレオ／奥行き変換器が更に改善される、即ち前記ソースステレオ／奥行き変換器と少なくとも同様に良好に動作する場合、最終的宛先奥行きマップは、ヘルパデータが利用可能でない場合に利益を得るであろう。宛先奥行きプロセッサ５２、ステレオ／奥行き変換器５３及び出力ユニット５５の機能を有するユニットは、３Ｄデコーダと呼ぶことができる。

【0038】

宛先奥行きプロセッサ５２は、表示装置６０上での表示のために上記３Ｄ表示信号５６に含まれる画像データを発生するように構成されている。該奥行きプロセッサは、宛先奥行きマップを、当該３Ｄビデオ信号において奥行きヘルパデータが利用可能でない場合には前記宛先発生奥行きマップに基づいて、該３Ｄビデオ信号において奥行きヘルパデータが利用可能である場合には該奥行きヘルパデータに基づいて発生するように構成される。例えば、奥行き切換器が、宛先発生奥行きマップの奥行き値を、利用可能である場合は奥行きヘルパデータにより供給される奥行き値により置換することができる。奥行きヘルパデータの処理は後に更に説明する。

【0039】

３Ｄ表示装置６０は３Ｄ画像データを表示するためのものである。該装置は、３Ｄ宛先装置５０から伝達された宛先奥行きマップ及び３Ｄビデオデータを含む３Ｄ表示信号５６を入力するための入力インターフェースユニット６１を有している。該装置は、３Ｄビデオデータの複数のビューを前記第１及び第２ビデオ情報に基づき前記宛先奥行きマップに依存して発生するビュープロセッサ６２、及び該３Ｄビデオデータの複数のビューを表示するための３Ｄ表示器６３を有している。伝達された３Ｄビデオデータは、処理ユニット６２内で、例えばマルチビューＬＣＤ等の表示器６３上で表示するために処理される。表示装置６０は如何なるタイプの立体表示器（３Ｄ表示器とも称される）とすることもできる。

【0040】

３Ｄ表示装置６０内のビデオプロセッサ６２は、前記３Ｄビデオデータを、複数のビューをレンダリングするための表示制御信号を発生するように処理するよう構成される。これらビューは、上記３Ｄ画像データから宛先奥行きマップを使用して発生される。他の例として、３Ｄプレーヤ装置における前記ビデオプロセッサ５２を、該奥行きマップ処理を実行するように構成することもできる。特定の３Ｄ表示器のために発生された上記複数のビューは、３Ｄ画像信号と共に該３Ｄ表示器に伝達することができる。

【0041】

他の実施態様において、前記宛先装置及び表示装置は単一の装置へと組み合わせることができる。奥行きプロセッサ５２及び処理ユニット６２の機能、並びに出力ユニット５５及び入力ユニット６１の残りの機能は、単一のビデオプロセッサユニットにより実行することができる。

【0042】

図２は、奥行きヘルパデータを使用する３Ｄデコーダを示す。３Ｄデコーダ２０は、ＢＳ３（ベース信号３Ｄ）と印された３Ｄビデオ信号のための入力端子を有するものとして図解的に示されている。入力デマルチプレクサ（ＤＥＭＵＸ）２１は、左及び右ビュー（LR-bitstr）並びに奥行きヘルパデータ（DH-bitstr）からビットストリームを取り出す。第１デコーダ（ＤＥＣ）２２は左及び右ビューを出力Ｌ及びＲに復号し、これら出力は消費者タイプのステレオ／奥行き変換器（CE-S2D）に結合され、該変換器は左奥行きマップＬＤ１及び右奥行きマップＲＤ１（宛先発生奥行きマップと呼ぶ）を発生する。第２デコーダ２３は、奥行きヘルパデータが利用可能な場合、DH-bitstrを復号して、左ヘルパ奥行きマップＬＤ２及び右ヘルパ奥行きマップＲＤ２を供給する。奥行き切換器DEPTH-SW２５は、例えば奥行きヘルパデータの存在を示すフラグに基づいて、宛先発生奥行きマップ（ＬＤ１／ＬＤ２）、又は左ヘルパ奥行きマップＬＤ２及び右ヘルパ奥行きマップＲＤ２を選択する。

【0043】

上記３Ｄデコーダは、消費者側のセットトップボックス（ＳＴＢ）の一部とすることができ、該デコーダは奥行きヘルパシステムに従うビットストリーム（ＢＳ３）を受信し、該ビットストリームは２つのストリーム、即ちＬ及びＲビューを有する１つのビデオストリーム並びに奥行きヘルパ（ＤＨ）データを有する１つの奥行きストリームにデマルチプレクスされ、次いで、これらストリームは対応するデコーダ（例えば、ＭＶＣ／Ｈ２６４）に送られる。ローカルなフラグが導出され、復号ＤＨ奥行き（ＬＤ２／ＲＤ２）とローカル発生（CE-S2Dによる）奥行き値（ＬＤ１／ＲＤ１）との間を切り換えるために使用される。次いで、該３Ｄデコーダの最終的出力（ＬＤ３／ＲＤ３）は、表示器のタイプに依存して図４又は図５により説明するビュー歪めブロックに伝達される。

【0044】

図３は、奥行きヘルパデータを供給する３Ｄエンコーダを示す。３Ｄエンコーダ３０は、３Ｄビデオ信号を入力するための入力端子（Ｌ，Ｒ）を有するものとして図解的に示されている。ステレオ／奥行き変換器３１（例えば、高品質専門タイプHQ-S2D）は、左奥行きマップＬＤ４及び右奥行きマップＲＤ４（ソース発生奥行きマップと呼ぶ）を発生する。他の入力端子はソース奥行きマップ（ＬＤ-man、ＲＤ-manと印される）を入力し、該マップはオフラインで供給され得るか（例えば、手作業で編集又は改善される）、又は入力３Ｄビデオ信号と共に利用可能であり得る。奥行切換器ユニット３２は、ソース発生奥行きマップＬＤ４，ＲＤ４及びソース奥行きマップＬＤ-man，ＲＤ-manを入力し、上記ソース奥行きマップと発生奥行きマップとの間の差が所定の閾値を超えるかを判断する。もし越えるなら、該奥行き切換器は奥行きヘルパデータＬＤ５，ＲＤ５を発生する。該奥行き切換器は、上記奥行きマップのうちの一方を選択することができる。該選択は、斯様な差を示す外部信号（flagと印されている）に基づくものとすることもでき、該外部信号は、出力マルチプレクサ（ＭＵＸ）３５により、出力信号にヘルパ通知データとして含めることができる。上記出力マルチプレクサは第１エンコーダ３３から符号化されたビデオデータ（ＢＳ１）入力すると共に、第２エンコーダ３４から符号化された奥行きヘルパデータ（ＢＳ２）を入力し、ＢＳ３と印された３Ｄビデオ信号を発生する。

【0045】

当該３Ｄエンコーダにおいて、上記出力ユニットは、補正期間内で前記差が前記閾値を越える場合に該補正期間の間においてのみ３Ｄビデオ信号に上記奥行きヘルパデータを含めるように構成することができる。更に、該出力ユニットは、当該３Ｄ表示器より小さい補正領域において前記差が前記閾値を超える場合に該補正領域に対してのみ３Ｄビデオ信号に上記奥行きヘルパデータを含めるように構成することができる。例えば、当該奥行きヘルパデータを供給する奥行きマップは（ｉ）全フレームである、（ii）部分的に存在する、又は（iii）存在しない。また、奥行きマップは特定のフレーム又はＧＯＰにのみ存在し得る。また、全フレーム奥行きマップが含まれ得るが、“奥行きヘルパデータ無し”を意味するために割り当てられた特定の輝度値（例えば、0x00又は0xFF）を有する。このようなマップは後方互換的な方法で符号化することができる。また、奥行きヘルパデータ及びそれらのフレーム位置は、ユーザデータ内で又は何らかの他のストリーム内で伝送されるテーブル又は他のデータ構造に記憶することができる。

【0046】

当該エンコーダは以下のような効果を有する。奥行きヘルパデータと呼ばれる奥行き情報は、時間的に（時間的な部分的奥行き）及び／又は空間的に（フレーム内での部分的奥行き）部分的に伝送される。これらの部分的奥行きが何時使用されるべきか、又は奥行きが何時ローカルに自動的に発生されなければならないかを示すために含まれる明示的な又は暗示的なメカニズムが存在する。明示的なメカニズムは当該ビットストリームへのフラグの挿入を介するものとすることができ、暗示的なメカニズムは奥行きヘルパデータ自体の不存在がローカルな奥行きが発生されなければならないことを示すという約束事を介するものとすることができる。

【0047】

一実施態様において、奥行きマップには、ＤＨ奥行きが伝送されないことを意味する特定の奥行きレベルＬＥＶ（黒レベル０又は白レベル２５５）を割り当てることができる。このような無奥行き値は、当該奥行き値の位置に物理的に存在し、これは、例えばビデオ及び奥行きを同期状態に維持する等の幾つかの実用的な利点を有する。

【0048】

このような通知は、奥行きヘルパデータの“空間的”指示を、従って部分的に時間的のみならず部分的に空間的な、即ち、フレーム内の部分のみの指示も可能にする。例えば、奥行きエラーは、特定の場面（shot）のフレーム内のローカル発生奥行きマップの幾つかの部分に存在し得る。その場合、当該奥行きヘルパデータは、ローカル発生奥行きが不適切であったピクセルを除き、無奥行きレベルＬＥＶに設定される。

【0049】

奥行きエラーが発生し得る場所の一例は、場面境界にも跨がって当該コンテンツ内に常に存在するロゴである。通常、奥行きに対する視差のマッピングは各場面に対して相違するが、ロゴの視差は典型的に一定である。ローカル発生奥行きは、ロゴの奥行きが場面に跨がって時間的に変化するというように誤ったものとなり得る。ＡＳＤの性質により、この結果、人の目が非常に敏感な、幾らか変化するぼやけた効果さえ生じ得る。しかしながら、ロゴに対応する奥行きピクセルに対してのみ利用可能な奥行きヘルパデータ（即ち、非ＬＥＶ値の）は、ロゴの奥行きを一定の適切なレベルに設定することを可能にする。従って、このような品質の問題は克服される。非ＬＥＶの奥行きマップ値はフラグとして解釈され、これらのピクセルに対して、奥行き出力（ＬＤ３／ＲＤ３）はローカル発生奥行きＬＤ１／ＲＤ１から奥行きヘルパデータＬＤ２／ＲＤ２に切り換えられる。

【0050】

標準の利用可能な立体信号を１つ又は２つの対応する奥行き信号に変換するステレオ／奥行き変換器モジュールＳ２Ｄ（CE-S2D又はHQ-S2D）の挙動は、既知である（及び固定されている）。有利には、固有のステレオ／奥行き変換器が、標準の３Ｄフォーマットの一部となるように特別に選択される。この場合、デコーダ側のステレオ／奥行き変換器は、エンコーダ側のステレオ／奥行き変換器と等しくさせることができる。このことは、デコーダにおけるＳ２Ｄモジュール、CE-S2Dのエンコーダ側における品質制御を可能にする。例えば、所与の場面（新たなシーン又は“撮影（テーク）”の開始）に対してＡＳＤ上でのレンダリングの後の品質が不十分である（典型的に、しばらくの間に１度だけ発生するような何か、例えば場面のうちの５％）であることが分かった場合、これらの場面に対してのみ、奥行きヘルパデータが生成され伝送される。このことは、全体の品質を保証するのみならず、コンテンツを作成する費用を制限することになる一方、同時に、伝送すべきビットも節約する。

【0051】

奥行きヘルパデータの原理は、例えばスタジオ又は創作者と、強化された奥行きマップを消費者に送信するために更に符号化する放送者との間の、全ての３Ｄビデオ伝送ステップにおいて適用することができることに注意されたい。また、奥行きヘルパデータシステムは連続した伝送に対して実行することができ、例えば初期のバージョンに対して更に改善されたバージョンを、更に改善されたソース奥行きマップに基づく第２奥行きヘルパデータを含めることにより作成することができる。このことは、３Ｄ表示器上での達成可能な品質、奥行き情報の伝送に必要とされるビットレート、又は３Ｄコンテンツを作成するための費用の点で大きな柔軟性を与える。

【0052】

一実施態様において、奥行きヘルパデータは下記の形態をとることができる。３Ｄビデオ信号は、３Ｄ表示器上の表示領域に対応する奥行きマップを含む。該奥行きマップは、補正領域及び／又は補正期間に対する奥行きヘルパデータを有する。更に、予め定められた非奥行き値は、他の領域及び／又は期間の対応する位置に関して奥行きヘルパデータの不存在を示す。

【0053】

一実施態様において、奥行きマップは、左ビューに対応する奥行きデータ、右ビューに対応する奥行きデータ、及び中心ビューに対応する奥行きデータの少なくとも１つを含むことができる。また、奥行きデータは、前記第１ビデオ情報又は第２ビデオ情報よりも低い解像度を有することができる。

【0054】

前記奥行きプロセッサは補正領域に対して奥行きヘルパデータを発生するように構成することができ、かくして、該補正領域が当該３Ｄビデオ信号における少なくとも１つのマクロブロックに整列されるようにする。マクロブロックは、圧縮されたビデオデータの（例えば、ＭＰＥＧ符号化ビデオ信号における）所定のブロックを表す。

【0055】

マクロブロックに整列された補正領域は、前記ソース奥行きマップと前記第２発生奥行きマップとの間の差が前記所定の閾値を超えない場合の位置に対して他の奥行きデータを含むことができる。このような補正領域は、上記第２発生奥行きマップ及びソース奥行きマップの奥行き値が小さく且つ上記閾値より低いピクセルも含む。上記他の奥行きデータは、マクロブロックに整列された補正領域の外側境界における奥行きのジャンプを回避するために上記第２発生奥行きマップに基づくものとすることができる。該他の奥行き補正値を、発生された値と等しくさせることは、デコーダ側でマクロブロックにわたる奥行きの差が可視的となることを防止する。

【0056】

一実施態様において、３Ｄビデオ信号は通知ヘルパデータを含んでいる。該通知ヘルパデータは、奥行きヘルパデータの利用可能性を示す。該通知ヘルパデータは、以下の少なくとも１つの形態をとることができる。フラグ信号は、奥行きヘルパデータの存在を示すことができる。奥行きマップ中の所定の無奥行き値は、対応する位置に対する奥行きヘルパデータの不存在を示すことができる。ヘルパ長データは、データ構造内の奥行きヘルパデータの量を示すことができる。ビュー標識データは、奥行きヘルパデータが利用可能なビューの数及び／又はタイプを示すことができる。ヘルパタイプデータは、当該奥行きヘルパデータのために使用されるデータ構造又はデータフォーマットを示すことができる。ヘルパ解像度データは、奥行きヘルパデータの解像度を示すことができる。ヘルパ位置データは、当該奥行きヘルパデータの位置を示すことができる。

【0057】

奥行きヘルパデータは、自動発生奥行きマップのうちのレンダリング後において出力にエラーを生じ得る領域を支援／補正することを意図するものであることに注意されたい。奥行きマップの該不使用領域は、単一の輝度値により示すことができる。この値は、NoDHと称する。

【0058】

奥行きヘルパデータのために伝達することができる他の通知パラメータ（種々の組み合わせを含み、１以上）は、以下の通りである：
１．奥行きデータ解釈
ａ．Zfar、znear（最も遠い及び最も近い奥行き値）、
ｂ．znear_sign（如何にしてznaearvalue 0を正、1を負として解釈するかを示す）、
ｃ．znear_exponent（一層高い忠実度の奥行き値への拡張のため）、
ｄ．num_of_views（奥行き情報が存在するビューの数）、
２．奥行きヘルパデータから最良の結果を得る際にレンダリングを補助するための特定の処理の通知。該通知は定義されたテーブルで使用される通知に対応する数からなる：
ａ．ＤＨデータで使用されるスケーリングのタイプ、スケーリングのために使用されるアルゴリズムの種類、双一次（bi-linear）、双三次（bicubic）等、
ｂ．奥行き情報におけるエッジのタイプ。これは、奥行きヘルパデータから最大の結果を得る際にレンダラを補助するための特定のタイプのエッジを示すテーブルからなる。例えば、鮮鋭（Sharp）、ぼやけた（Fuzzy）、軟らかい（Soft）等。
ｃ．奥行きヘルパデータを発生するために使用されるアルゴリズム。レンダリングシステムは、この値を解釈することができ、この値から奥行きヘルパデータをどの様にレンダリングするかを推定する。
手作業、焦点からの奥行き、透視図からの奥行き、動きからの奥行き、方法の組み合わせ等。
上述したテーブルエントリ値に加えて、以下の追加の実際の値：
ｄ．０〜１２８の、奥行きデータにおいてオブジェクトの境界で使用される伸び（dilation）の量、
ｅ．奥行きヘルパデータを含まない奥行き画像データにおける輝度値。０〜２５５の間の値としてのNoDH。エッジにおけるビットレートを最小にするために、これは、奥行きビデオストリームのマクロブロックの大きさに対応して、例えば８ｘ８又は１６ｘ１６でブロックに整列されなければならない。

【0059】

奥行きデータの解釈情報（１）及びレンダリングのための固有の処理通知（２）の両者は、好ましくは、これらがビデオ信号に、即ちビデオエレメンタリストリームに含まれるように送信される。奥行きデータ解釈情報の送信のために、これは奥行き範囲更新と呼ばれるので、新たなnal単位タイプを定義することが提案される。

【0060】

固有の処理通知に対して、奥行きヘルパデータを解釈する場合にデータが使用される必要があるので、該通知を、奥行きヘルパデータを伝達するビデオストリームの一部を形成するＮＡＬ単位内で伝達することを提案する。これらのために、奥行き範囲更新（depth_range_update）nal単位を、レンダリング奥行きヘルパ（Rendering_Depth_Helper）データとして定義するテーブルにより拡張することができる。代わりに、下記のテーブルをＳＥＩメッセージで伝達することもできる（これらも、ビデオエレメンタリストリームで伝達されるからである）。

【0061】

下記のものは、示されたデータを伴うnal単位の一部の一例を示すテーブルである。

【表1】

【0062】

一実施態様において、３Ｄビデオ信号は、符号化されたビデオデータストリームを含むようにフォーマッティングされると共に、例えばＢＤ規格等の所定の規格に従う復号情報を伝達するように構成される。３Ｄビデオ信号における通知ヘルパデータは当該規格に従ってユーザデータメッセージ、通知エレメンタリストリーム情報（ＳＥＩ）メッセージ、エントリポイントテーブル、及びＸＭＬベース記述のうちの少なくとも１つに復号情報として含まれる。

【0063】

図４は、自動立体表示装置及び複数のビューの発生を示す。自動立体表示器（ＡＳＤ）４０３は奥行きプロセッサ４００により発生された複数のビューを入力する。該奥行きプロセッサは、該図の下部に示されるように、全左ビューＬ及び宛先奥行きマップＬＤ３から一連のビュー４０５を発生するためのビュー歪めユニット４０１を有している。表示入力インターフェース４０６は、ＲＧＢ及び奥行き（ＲＧＢＤ ＨＤＭＩ（登録商標））を伝達するように拡張されたＨＤＭＩ（登録商標）規格によるものとすることができ、全左ビューＬ及び奥行きヘルパデータＨＤに基づく宛先奥行きマップＬＤ３を含むことができる。発生された上記ビューはインターリーブユニット４０２を介して表示器４０３に伝達される。上記宛先奥行きマップは、奥行きポストプロセッサＺ−ＰＰ ４０４により更に処理することもできる。

【0064】

図５は、デュアルビュー立体表示装置及び強化されたビューの発生を示す。デュアルビュー立体表示器（ＳＴＤ）５０３は、奥行きプロセッサ５０１により発生された２つの強化ビュー（new_L, new_R）を入力する。該奥行きプロセッサは、該図の下部に示されるように、オリジナルの全左ビューＬ及び全Ｒビュー並びに宛先奥行きマップから強化ビューを発生するためのビュー歪め機能を有している。表示入力インターフェース５０２は、ビュー情報ＩＦを伝達するように拡張されたＨＤＭＩ（登録商標）規格（ＨＤＭＩ（登録商標） ＩＦ）によるものとすることができる。新たなビューは、表示の間のベースライン（ＢＬ）を示すパラメータＢＬに対して歪められる。３Ｄビデオ素材のベースラインは、元々、Ｌ及びＲカメラ位置の間の実効距離（光学系、ズーム係数等に関して補正された）である。素材を表示する場合、ベースラインは、サイズ、解像度、視聴距離又は視聴者嗜好設定等の表示構成により実効的に移動される。表示の間にベースラインを変化させるために、Ｌ及びＲビューの位置は新たなビューを歪めることにより（new_L及びnew_Rと呼ばれる）シフトすることができ、オリジナルのベースラインより大きい（＞１００％）又は小さい（＜１００％）ものとなり得る新たなベースライン距離を形成する。新たなビューは、ＢＬ＝１００％におけるオリジナルの全Ｌ及びＲビューに対して外側に又は内側にシフトされる。第３の例（０％＜ＢＬ＜５０％）では、両方の新たなビューが単一のビュー（Full_L）に基づいて歪められている。全ビューに近い新たなビューの歪めは、歪めアーチファクトを防止することになる。図示された３つの例によれば、歪められた新たなビューとオリジナルのビューとの間の距離は２５％より小さいが、０％＜ＢＬ＜１５０％の制御範囲を可能にする。

【0065】

図６は、３Ｄビデオ信号における奥行きヘルパデータの存在を示す。該図において、上向きの矢印は、ビデオプログラムにおける新たな場面の開始時刻（ｔ１，ｔ２等）を示す。ｔ３及びｔ６で開始する場面の間に、ハイとなるフラグ信号により示されるように、奥行きヘルパデータＬＤ４及びＲＤ４が発生される。該図は、補正期間の間に前記差が閾値を超える場合（即ち、ローカル発生奥行きマップにおける奥行きエラーが妨害的に見える場合）に該補正期間の間においてのみ３Ｄビデオ信号に奥行きヘルパデータを含めることを示している。

【0066】

以上、本発明を消費者タイプの宛先装置を使用する実施態様によって主に説明したが、本発明は如何なる３Ｄビデオシステムにとっても適している。要約すると、３Ｄデータを種々のタイプの３Ｄ表示器に伝送するためのハイブリッドな伝送／自動変換３Ｄフォーマット及び方式が提案される。奥行き情報（“奥行き”）は、時間的（時間的な部分的奥行き）及び／又は空間的（フレーム内の部分的奥行き）の両方で部分的に伝送される。これらの部分的奥行きが何時使用されるべきか、又は奥行きが何時ローカルに自動的に発生されねばならないかを示すための明示的又は暗示的メカニズムが存在する。該ハイブリッド原理は、消費者側及び／又は放送者側の何れにも適用することができ、このことは、３Ｄ表示器上での達成可能な品質、奥行き情報の伝送に必要とされるビットレート、又は３Ｄコンテンツを作成するための費用の点で大きな柔軟性を提供する。

【0067】

本発明は、プログラム可能な構成要素を用いて、ハードウェア及び／又はソフトウェアで実施化することができることに注意されたい。本発明を実施するための方法は、図１を参照して説明したシステムに関して定義された機能に対応するステップを有する。

【0068】

明瞭化のための上記記載は本発明の実施態様を異なる機能的ユニット及びプロセッサを参照して説明したことが理解される。しかしながら、異なる機能ユニット又はプロセッサの間での機能の如何なる適切な分散も、本発明から逸脱することなく用いることができることは明らかであろう。例えば、別個のユニット、プロセッサ又はコントローラにより実行されるものとして解説された機能は、同一のプロセッサ又はコントローラにより実行することができる。従って、特定の機能的ユニットに対する言及は、厳格な論理的又は物理的構成又は編成を示すというよりも、記載された機能を提供するための適切な手段に対する参照としてのみ理解されるべきである。本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの組み合わせの如何なる適切な形態でも実施化することができる。

【0069】

尚、本明細書において、“有する”なる文言は掲載されたもの以外の他の構成要素又はステップの存在を排除するものではなく、単数形の構成要素は複数の斯様な構成要素の存在を排除するものでもないことに注意されたい。また、如何なる符号も請求項の範囲を限定するものではなく、本発明はハードウェア及びソフトウェアの両方により実施化することができ、幾つかの“手段”又は“ユニット”は同一の品目のハードウェア又はソフトウェアにより表すことができ、プロセッサは、恐らくはハードウェアエレメントとの組み合わせで１以上のユニットの機能を満たすことができることに注意されたい。更に、本発明は、実施態様に限定されるものではなく、上述した又は相互に異なる従属請求項に記載された各及び全ての新規なフィーチャ又はフィーチャの組み合わせに存するものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】