特許 6159849 ３Ｄ映像フォーマット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6159849

(24)【登録日】2017年6月16日

(45)【発行日】2017年7月5日

(54)【発明の名称】３Ｄ映像フォーマット

(51)【国際特許分類】

   H04N 19/70 20140101AFI20170626BHJP

   H04N 13/00 20060101ALI20170626BHJP

   H04N 19/597 20140101ALI20170626BHJP

   H04N 19/30 20140101ALI20170626BHJP

【ＦＩ】

   H04N19/70

   H04N13/00 590

   H04N13/00 480

   H04N13/00 660

   H04N19/597

   H04N19/30

【請求項の数】15

【外国語出願】

【全頁数】45

(21)【出願番号】特願2016-100839(P2016-100839)

(22)【出願日】2016年5月19日

(62)【分割の表示】特願2011-551070(P2011-551070)の分割

【原出願日】2010年2月19日

(65)【公開番号】特開2016-213842(P2016-213842A)

(43)【公開日】2016年12月15日

【審査請求日】2016年6月17日

(31)【優先権主張番号】61/208,013

(32)【優先日】2009年2月19日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ティエン ドン

(72)【発明者】

【氏名】ポーリン ライ

(72)【発明者】

【氏名】ルオ ジエンコン

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 国際公開第２００７／０４７７３６（ＷＯ，Ａ２）

【文献】 国際公開第２００７／０９６８１６（ＷＯ，Ａ２）

【文献】 Purvin Pandit, et al.，H.264/AVC extension for MVC using SEI message，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC 1/SC 29/WG 11 and ITU-T SG 16 Q.6) 24th Meeting: Geneva, Switzerland, 29 June-6 July, 2007Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC 1/SC 29/WG 11 and ITU-T SG 16 Q.6) 24th Meeting: Geneva, Switzerland, 29 June-6 July, 2007，２００７年 ６月２９日，JVT-X061

【文献】 Fons Bruls, et al.，Proposal to amendment MPEG-C PART 3，ISO/IEC JTC1/SC29/WG11，２００７年 ７月 １日，vol.MPEG2007, no.M14700

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／００−１７／０６

(57)【特許請求の範囲】

【請求項1】

映像符号化のための方法であって、
２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化することであって、前記２Ｄ映像イメージと前記２Ｄ映像イメージに対応する前記奥行きイメージとは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化される、前記１組のイメージを符号化することと、
前記符号化されたイメージを、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べることと、
シグナリング情報を使用して、前記特定の順序を指示することであって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記特定の順序を指示することと、
を含む、前記方法。

【請求項2】

前記シグナリング情報は、ＳＥＩメッセージまたは他の高レベルシンタックスに含まれる、請求項１に記載の方法。

【請求項3】

前記複数の異なる３Ｄ映像フォーマットは、２Ｄプラス奥行き、階層化奥行き映像、多視点プラス奥行き及び視差増強ステレオを含む、請求項１に記載の方法。

【請求項4】

前記２Ｄ映像イメージおよび前記２Ｄ映像イメージに対応する奥行きイメージは、第１の視点からのものであり、前記１組のイメージは、第２の視点からの、別の２Ｄ映像イメージと、別の奥行きイメージとをさらに含み、前記別の奥行きイメージは、前記別の２Ｄ映像イメージに対応する、請求項１に記載の方法。

【請求項5】

前記１組のイメージは、隠れ映像イメージと、隠れ奥行きイメージとをさらに含む、請求項１に記載の方法。

【請求項6】

前記隠れ映像イメージおよび前記隠れ奥行きイメージは、第１の視点からのものであり、前記１組のイメージは、第２の視点からの、別の隠れ映像イメージと、別の隠れ奥行きイメージとをさらに含み、前記別の隠れ奥行きイメージは、前記別の隠れ映像イメージに対応する、請求項５に記載の方法。

【請求項7】

映像符号化のための装置であって、
２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化するための手段であって、前記２Ｄ映像イメージと前記２Ｄ映像イメージに対応する前記奥行きイメージとは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化される、前記１組のイメージを符号化するための手段と、
前記符号化されたイメージを、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べるための手段と、
シグナリング情報を使用して、前記特定の順序を指示するための手段であって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記特定の順序を指示するための手段と、
を備える、前記装置。

【請求項8】

映像符号化のための装置であって、
少なくとも、
２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化することであって、前記２Ｄ映像イメージと前記２Ｄ映像イメージに対応する前記奥行きイメージとは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化される、前記１組のイメージを符号化することと、
前記符号化されたイメージを、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べることと、
シグナリング情報を使用して、前記特定の順序を指示することであって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記特定の順序を指示することと、
を実行するように構成されたプロセッサを備える、前記装置。

【請求項9】

映像符号化のための装置であって、
２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化するためのエンコーダであって、前記２Ｄ映像イメージと前記２Ｄ映像イメージに対応する前記奥行きイメージとは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化される、前記エンコーダと、
前記符号化されたイメージを、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べるためのビットストリームマルチプレクサと、
シグナリング情報を使用して、前記特定の順序を指示するためのメッセージ構成器であって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記メッセージ構成器と、
を備える、前記装置。

【請求項10】

映像符号化のための装置であって、
２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化するためのエンコーダであって、前記２Ｄ映像イメージと前記２Ｄ映像イメージに対応する前記奥行きイメージとは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化される、前記エンコーダと、
前記符号化されたイメージを、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べるためのビットストリームマルチプレクサと、
シグナリング情報を使用して、前記特定の順序を前記ビットストリーム内で指示するためのメッセージ構成器と、
前記符号化されたイメージと前記シグナリング情報とを含む信号を変調するための変調器であって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記変調器と、
を備える、前記装置。

【請求項11】

映像復号するための方法であって、
符号化された１組のイメージを含むビットストリームにアクセスすることであって、前記１組のイメージは、２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化された、前記ビットストリームにアクセスすることと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスすることであって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、前記シグナリング情報にアクセスすることと、
前記シグナリング情報を使用して、前記１組のイメージを復号することであって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記１組のイメージを復号することと、
を含む、前記方法。

【請求項12】

映像復号するための装置であって、
符号化された１組のイメージを含むビットストリームにアクセスするための手段であって、前記１組のイメージは、２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化された、前記ビットストリームにアクセスするための手段と、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスするための手段であって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、前記シグナリング情報にアクセスするための手段と
前記シグナリング情報を使用して、前記１組のイメージを復号するための手段であって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記１組のイメージを復号するための手段と、
を備える、前記装置。

【請求項13】

映像復号するための装置であって、
少なくとも、
符号化された１組のイメージを含むビットストリームにアクセスすることであって、前記１組のイメージは、２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化された、前記ビットストリームにアクセスすることと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスすることであって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、前記シグナリング情報にアクセスすることと、
前記シグナリング情報を使用して、前記１組のイメージを復号することであって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記１組のイメージを復号することと、
を実行するように構成されたプロセッサを備える、前記装置。

【請求項14】

映像復号するための装置であって、
符号化された１組のイメージを含むビットストリームにアクセスするためのビットストリームデマルチプレクサであって、前記１組のイメージは、２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化された、前記ビットストリームデマルチプレクサと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスするためのメッセージ解析器であって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、前記メッセージ解析器と、
前記シグナリング情報を使用して、前記１組のイメージを復号するためのデコーダであって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記デコーダと、
を備える、前記装置。

【請求項15】

映像復号するための装置であって、
ビットストリームを含む信号を復調するための復調器であって、前記ビットストリームは、符号化された１組のイメージを含み、前記１組のイメージは、２Ｄ（２次元）映像イメージと前記２Ｄ映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、映像符号化標準のマルチレイヤ映像符号化拡張を使用して前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化され、前記２Ｄ映像イメージは、前記マルチレイヤ映像符号化拡張に従って第１のレイヤとして符号化され、前記奥行きイメージは、前記マルチレイヤ映像符号化拡張に従って第２のレイヤとして符号化された、前記復調器と、
前記ビットストリームにアクセスするためのビットストリームデマルチプレクサと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスするためのメッセージ解析器であって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、前記メッセージ解析器と、
前記シグナリング情報を使用して、前記１組のイメージを復号するためのデコーダであって、前記特定の３Ｄ映像フォーマットは、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記符号化されたイメージは前記複数の異なる３Ｄ映像フォーマットのうちの１つに従って並べることができ、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、前記デコーダと、
を備える、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

符号化システムに関する実装が説明される。様々な特定の実装は、３Ｄ（３次元）映像フォーマットに関する。

【背景技術】

【0002】

３ＤＴＶ（３次元テレビ（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｔｅｌｅｖｉｓｉｏｎ））およびＦＶＶ（自由視点映像（ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ））などの新しい映像アプリケーションを容易にするため、追加の映像ビューをユーザ側でレンダリングできるような、従来の２Ｄ（２次元）映像と、奥行きをともに含む、３ＤＶ（３Ｄ映像（３Ｄ Ｖｉｄｅｏ））データフォーマットを利用することができる。そのような３ＤＶフォーマットの例は、（２Ｄ映像と、対応する奥行きマップ（ｄｅｐｔｈ ｍａｐ）を含む）２Ｄ＋Ｚ（２Ｄプラス奥行き（２Ｄ ｐｌｕｓ ｄｅｐｔｈ））、ならびに（２Ｄ＋Ｚのデータと、１つの隠れ映像（ｏｃｃｌｕｓｉｏｎ ｖｉｄｅｏ）および１つの隠れ奥行き（ｏｃｃｌｕｓｉｏｎ ｄｅｐｔｈ）を含む）ＬＤＶ（階層化奥行き映像（ｌａｙｅｒｅｄ ｄｅｐｔｈ ｖｉｄｅｏ））を含む。ＭＶＤ（多視点プラス奥行き（ｍｕｌｔｉ−ｖｉｅｗ ｐｌｕｓ ｄｅｐｔｈ））は、２Ｄ＋Ｚを拡張したものであり、異なる視点からの複数の２Ｄ＋Ｚからなる。ＤＥＳ（視差増強ステレオ（ｄｉｓｐａｒｉｔｙ ｅｎｈａｎｃｅｄ ｓｔｅｒｅｏ））は、２つの異なる視点からの２つのＬＤＶと等価の別のフォーマットである。ユーザ側で異なる成分を一緒に使用しなければならないので、これらのデータフォーマットをいかに伝達（符号化および送信）するかは、重要な課題である。

【発明の概要】

【0003】

関連出願の相互参照
本出願は、あらゆる目的でその内容が全体として参照により本明細書に組み込まれる、２００９年２月１９日に出願された「３Ｄ Ｖｉｄｅｏ Ｆｏｒｍａｔｓ」と題する米国特許仮出願第６１／２０８，０１３号の出願日の利益を主張する。

【0004】

一般的な態様によれば、１組のイメージが符号化される。１組のイメージは、映像イメージと、映像イメージに対応する奥行きイメージとを含む。１組のイメージにおけるイメージは、特定の３Ｄ映像フォーマットに従って関連付けられる。１組のイメージは、１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される。符号化されたイメージは、イメージに関連する特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べられる。特定の順序は、シグナリング情報を使用してビットストリーム内で指示される。

【0005】

別の一般的な態様によれば、符号化された１組のイメージを含むビットストリームがアクセスされ、１組のイメージは、映像イメージと、映像イメージに対応する奥行きイメージとを含む。１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられる。１組のイメージは、１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されている。符号化された１組のイメージをビットストリーム内に並べる特定の順序を指示するシグナリング情報がアクセスされる。特定の順序は、１組のイメージに関連する特定の３Ｄ映像フォーマットに基づく。１組のイメージは、シグナリング情報を使用して復号される。

【0006】

別の一般的な態様によれば、情報を含むように映像信号がフォーマットされる。映像信号は、シグナリング情報を含むシグナリングセクションを含む。シグナリング情報は、符号化された１組のイメージをビットストリーム内に並べる特定の順序を指示する。特定の順序は、１組のイメージに関連する特定の３Ｄ映像フォーマットに基づく。

【0007】

１またはそれより多くの実装の詳細が、添付の図面および以下の説明において示される。１つの特定の方法で説明されるとしても、実装が様々な方法で構成または具現できることは明らかであろう。例えば、実装は、方法として実行することができ、または例えば、１組の動作を実行するように構成された装置、もしくは１組の動作を実行するための命令を格納する装置などの、装置として具現することができ、または信号で具現することができる。他の態様および特徴は、添付の図面および特許請求の範囲と併せて、以下の詳細な説明を検討することで明らかとなろう。

【図面の簡単な説明】

【0008】

【図1】奥行きマップの一例を示す図である。

【図2】ＬＤＶフォーマットの４つの成分を示す一例を示す図である。

【図3】３ＤＶエンコーダの実装を示す図である。

【図4】３ＤＶデコーダの実装を示す図である。

【図5】映像送信システムの実装を示す図である。

【図6】映像受信システムの実装を示す図である。

【図7】映像処理デバイスの実装を示す図である。

【図8】ＭＶＣ構造においてＭＶＤフォーマットを符号化する一例を示す図である。

【図9】ＭＶＣ構造においてＬＤＶフォーマットを符号化する一例を示す図である。

【図10】ＭＶＣ構造においてＤＥＳフォーマットを符号化する一例を示す図である。

【図11】第１の符号化プロセスの実装を示す図である。

【図12】第１の復号プロセスの実装を示す図である。

【図13】ＭＶＣ構造においてＭＶＤフォーマットを符号化する別の一例を示す図である。

【図14】ＭＶＣ構造においてＬＤＶフォーマットを符号化する別の一例を示す図である。

【図15】ＭＶＣ構造においてＤＥＳフォーマットを符号化する別の一例を示す図である。

【図16】第２の符号化プロセスの実装を示す図である。

【図17】第２の復号プロセスの実装を示す図である。

【図18】ＳＶＣ構造においてＬＤＶフォーマットを符号化する一例を示す図である。

【図19】第３の符号化プロセスの実装を示す図である。

【図20】第３の復号プロセスの実装を示す図である。

【図21】第４の符号化プロセスの実装を示す図である。

【図22】第４の復号プロセスの実装を示す図である。

【発明を実施するための形態】

【0009】

例えば、追加の映像ビューをユーザ側でレンダリングできるような、従来の２Ｄ映像と、奥行きをともに含むフォーマットなどの、３ＤＶデータフォーマットを利用することができる。しかし、発明者らは、ＳＶＣ（スケーラブル映像符号化（ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ））およびＭＶＣ（多視点映像符号化（ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ））などの現行の規格では３ＤＶフォーマットが現在サポートされていないという点で難点があると判断した。多視点映像シーケンスは、異なる視点から同じシーンをキャプチャした２又はそれより多くの映像シーケンスからなる組である。

【0010】

したがって、少なくとも１つの実装では、発明者らは、ＡＶＣ（高度映像符号化（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ））への既存のＭＶＣまたはＳＶＣ拡張を再利用して、３ＤＶコンテンツを送信し、その際、シグナリングの助けを借りて、３ＤＶコンテンツの正しい抽出方法を伝達することを提案する。シグナリングは、限定することなく、例えば、ＳＰＳ（シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ））、ＰＰＳ（ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ））、スライスヘッダ、およびＳＥＩ（補足的拡張情報（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ））メッセージなどを含む、任意の高レベルシンタックスで行うことができる。他のシグナリング方式も可能であり、本出願において企図されている。

【0011】

少なくとも１つの実装では、発明者らは、ＳＶＣまたはＭＶＣのフレームワークを使用して、システムレベルでの同期を必要とせずに、３ＤＶ成分を符号化することを提案する。ＳＶＣまたはＭＶＣにおける技法を使用して、本発明の原理は、成分間冗長性（ｃｒｏｓｓ−ｃｏｍｐｏｎｅｎｔ ｒｅｄｕｎｄａｎｃｙ）をより効率的に利用することができる。さらに、ビットストリーム全体の部分のみ（例えば、ＳＶＣの場合のベースレイヤ、またはＭＶＣにおけるベースビュー）を用いて、従来の２Ｄ映像を送信／復号することができるので、後方互換性（ｂａｃｋｗａｒｄ ｃｏｍｐａｔｉｂｉｌｉｔｙ）はより柔軟である。

【0012】

少なくとも１つの実装では、発明者らは、３Ｄディスプレイが情報を正しく使用できるように、高レベルシンタックスを使用して、３ＤＶのコンテキストにおいて（ＭＶＣにおける）ビューまたは（ＳＶＣにおける）レイヤをどのように理解するかを伝達することをさらに提案する。

【0013】

少なくとも１つの実装では、発明者らは、様々な３ＤＶフォーマットを信号伝達するための、ＭＶＣおよびＳＶＣのフレームワーク内の「３ＤＶフォーマットＳＥＩメッセージ」を提案する。そのような実装は、以下の利点の１またはそれより多くの、おそらくはすべてを有することができる。
・異なる成分を階層化方式で（ＳＶＣ）または同時ビューで（ＭＶＣ）関連付けられるので、異なる成分をシステムレベルで同期させる必要性が回避される。
・成分間冗長性のより有益な活用：インタリーブ方法を用いるＡＶＣと比べて、より高い符号化効率を潜在的に提供できるＳＶＣ／ＭＶＣによって、成分間予測が可能になる。
・より優れた柔軟性を有する後方互換性：ユーザ側における従来の２Ｄ映像アプリケーションのためには、部分的なデータのみ必要とする。

【0014】

少なくとも１つの実装は、ＳＥＩメッセージを含むが、上述された本発明の原理は、ＳＥＩメッセージの使用に限定されないことを理解されたい。したがって、例えば、他の高レベルシンタックスは、限定することなく、ＳＰＳ、ＰＰＳ、およびスライスヘッダなどを含む。

【0015】

２Ｄ＋Ｚ（ＭＶＤ）およびＬＤＶ（ＤＥＳ）などの３ＤＶ（３Ｄ映像）表現フォーマットは、映像成分と、奥行き成分を含み、３ＤＶアプリケーションがより多くの市場の関心を引き付けているので、ますます重要になっている。図１は、「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスに対応する例示的な奥行きマップ１００を示しており、それに対して、本発明の原理の一実施形態に従って、本発明の原理を適用することができる。図２は、ＬＤＶフォーマットにおける４つの成分を示しており、それに対して、本発明の原理の一実施形態に従って、本発明の原理を適用することができる。特に、左上部分２０１は、２Ｄ映像ビューを示しており、右上部分２０２は、奥行きを示しており、左下部分２０３は、隠れ映像レイヤを示しており、右下部分２０４は、隠れ奥行きレイヤを示している。上のデータフォーマットの符号化および送信は、様々なアプリケーションにとって必須であると同時に課題でもある。符号化効率に加えて、レガシデコーダがビットストリームから何かを示すことができるように、（従来のモノスコープ２Ｄ映像（ｍｏｎｏｓｃｏｐｉｃ ２Ｄ ｖｉｄｅｏ）のための）同期および後方互換性などの機能が、検討されるべきである。

【0016】

比較的簡単なソリューションは、サイマルキャスト（ｓｉｍｕｌｃａｓｔ）であり、各成分は、独立して符号化され、送信される。この手法の典型的な実装は、複数のエンコーダ／デコーダ、およびシステムレベルまたはアプリケーションレベルでの同期を必要とする。言い換えると、サイマルキャストのコストは、単純に３ＤＶ成分の個数倍になり得る。さらに、異なる成分は別々に符号化されるので、成分間のどのような冗長性も利用されない。

【0017】

ＭＰＥＧ−Ｃパート３（ＩＳＯ／ＩＥＣ ２３００２−３）は、２Ｄ＋Ｚに対するシステムフレームワークを規定している。ＭＰＥＧ−Ｃパート３も、映像と奥行きの間でシステムレベルでの同期を必要とする。映像および奥行きは、任意の既存の映像符号化規格を使用して符号化することができるが、映像および奥行きの符号化は切り離され、２つの成分の間で符号化利得は得られない。ＬＤＶ（ＤＥＳ）フォーマットは、ＭＰＥＧ−Ｃパート３では規定されていない。２Ｄ＋Ｚ（ＭＶＤ）およびＬＤＶ（ＤＥＳ）に対する符号化ソリューションは、例えば、ＭＰＥＧの３ＤＶグループ内で、まだ探求中である。

【0018】

２Ｄ＋Ｚ（ＭＶＤ）およびＬＤＶ（ＤＥＳ）フォーマットを、ＳＶＣおよびＭＶＣなどの既存の符号化方式内に取り込むため、少なくとも１つの実装では、発明者らは、いくつかの高レベルシンタックスを利用して、３ＤＶ成分をＳＶＣビットストリームまたはＭＶＣビットストリームからどのように抽出できるかを信号伝達することを提案する。この手法は、（ＳＶＣにおけるベースレイヤ／エンハンスメントレイヤ、またはＭＶＣにおける異なるビューなどの）異なる３ＤＶ成分を符号化ビットストリーム内で結び付けられるので、システムレベルでの異なる３ＤＶ成分間の同期が必要でなくなるという利点を有する。別の潜在的な利点は、この方法で符号化が実行される場合、成分間冗長性を取り除くことができることである。

【0019】

用語
本明細書では、「３ＤＶビュー」は、１つの視点位置からのデータセットとして定義され、ＭＶＣで使用される「ビュー」とは異なる。２Ｄ＋Ｚフォーマットの場合、３ＤＶビューは、２つの成分シーケンスを、すなわち、２Ｄビューおよびその奥行きマップを含む。ＬＤＶフォーマットの場合、３ＤＶビューは、４つの成分シーケンスを、すなわち、２Ｄビュー、奥行きマップ、隠れビュー、および隠れ奥行きマップを含む。

【0020】

ＭＶＣ（ＳＶＣ）デコーダは、提案されるＳＥＩメッセージを含むビットストリームを受け取った場合、３Ｄディスプレイが適切なイメージを出力できる方法で、３ＤＶデータを構成することができる。

【0021】

図３は、本発明の原理の一実施形態による、本発明の原理を適用できる３ＤＶエンコーダ３００の実装の図である。エンコーダ３００は、ＭＶＣ／ＳＶＣエンコーダ３０５の入力と信号通信する第１の出力を有する、３Ｄビュー成分構成器３５５を含む。ＭＶＣ／ＳＶＣエンコーダ３０５の出力は、ビットストリームマルチプレクサ３６０の第１の入力と信号通信で接続される。３Ｄビュー成分構成器３５５の第２の出力は、ＳＥＩメッセージ構成器３６５の第１の入力と信号通信で接続される。ＳＥＩメッセージ構成器３６５の出力は、ビットストリームマルチプレクサ３６０の第２の入力と信号通信で接続される。３Ｄビュー成分構成器３５５の入力は、３ＤＶコンテンツ（例えば、２Ｄビュー、奥行き、隠れビュー、隠れ奥行き、透明マップ（ｔｒａｎｓｐａｒｅｎｃｙ ｍａｐ）など）を受け取るための、エンコーダ３００の入力として利用可能である。ビットストリームマルチプレクサ３６０の出力は、３ＤＶビットストリームを出力するための、エンコーダ３００の出力として利用可能である。

【0022】

この実装を用いた場合、ＭＶＣ／ＳＶＣエンコーダ３０５内の各３ＤＶ成分エンコーダ（図示されず）は、ＭＶＣエンコーダまたはＳＶＣエンコーダである。ＭＶＣエンコーダが使用される場合、各３ＤＶ成分エンコーダは、１つのＭＶＣビューのためのＭＶＣエンコーダである。ＳＶＣエンコーダが使用される場合、各３ＤＶ成分エンコーダは、１つのＳＶＣレイヤのためのＳＶＣデコーダである。３Ｄビュー成分構成器３５５は、３ＤＶ成分をＭＶＣビューまたはＳＶＣレイヤに送るための、またそのような制御情報をＳＥＩメッセージ構成器３６５に送るためのディスパッチャである。ＳＥＩメッセージ構成器３６５は、ビットストリームに収めて信号伝達するＳＥＩメッセージを構成する。ビットストリームマルチプレクサ３６０は、ビットストリームを多重化する。

【0023】

図４は、本発明の原理の一実施形態による、本発明の原理を適用できる３ＤＶデコーダ４００の実装の図である。デコーダ４００は、ＳＥＩメッセージ解析器４６５の入力およびＭＶＣ／ＳＶＣデコーダ４０５の入力と信号通信で接続される出力を有する、ビットストリームデマルチプレクサ４６０を含む。ＳＥＩメッセージ解析器４６５の出力は、３Ｄビュー成分分解器４５５の第１の入力と信号通信で接続される。ＭＶＣ／ＳＶＣデコーダ４０５の出力は、３Ｄビュー成分分解器４５５の第２の入力と信号通信で接続される。ビットストリームデマルチプレクサ４６０の入力は、３ＤＶビットストリームを受け取るための、デコーダ４００の入力として利用可能である。３Ｄビュー成分分解器４５５の出力は、フォーマットされた３ＤＶコンテンツ（例えば、２Ｄビュー、奥行き、隠れビュー、隠れ奥行き、透明マップなど）を出力するための、デコーダ４００の出力として利用可能である。

【0024】

図３および図４は、特定の実装を示しているが、他の実装も企図されている。例えば、別の実装は、図３（または図４）のブロックの１またはそれより多くのブロックにおいて、別々の入力を有さない。代わりに、複数の信号を受け取るのに単一の入力が使用される。具体例として、ビットストリームマルチプレクサ３６０は、単一の入力のみを有することができる。単一の入力が、ＭＶＣ／ＳＶＣエンコーダ３０５からの出力に加えて、ＳＥＩメッセージ構成器３６５からの出力も受け取る。さらに、３Ｄビュー成分構成器３５５の別の実装は、信号をＳＥＩメッセージ構成器３６５に提供するとともに、信号をＭＶＣ／ＳＶＣエンコーダ３０５にも提供する単一の出力のみを有する。同様の適合が、図４の実装、ならびに本出願において説明される他の図および実装についても企図される。

【0025】

図５は、本発明の原理の一実装による、本発明の原理を適用できる例示的な映像送信システム７００を示している。映像送信システム７００は、例えば、衛星、ケーブル、電話回線、または地上放送など、様々な媒体のいずれかを使用して信号を送信するための、例えば、ヘッドエンドまたは送信システムとすることができる。送信は、インターネットまたは他の何らかのネットワークを介して提供することができる。

【0026】

映像送信システム７００は、例えば、映像コンテンツおよび奥行きを生成し、配信することが可能である。これは、奥行き情報、または例えばデコーダを有することができる受信機側で奥行き情報を合成するために使用することが可能な情報を含む、符号化された信号を生成することによって達成される。

【0027】

映像送信システム７００は、エンコーダ７１０と、符号化された信号を送信することが可能な送信機７２０とを含む。エンコーダ７１０は、映像情報を受け取り、映像情報および／または奥行き情報に基づいて、符号化された信号を生成する。エンコーダ７１０は、例えば、上で詳細に説明されたエンコーダ３００とすることができる。エンコーダ７１０は、例えば、情報の様々な断片を受け取り、格納用または送信用の構造化フォーマットに組み立てるためのアセンブリユニットを含む、サブモジュールを含むことができる。情報の様々な断片は、例えば、符号化されたまたは符号化されない映像、符号化されたまたは符号化されない奥行き情報、ならびに例えば、動きベクトル、符号化モードインジケータ、およびシンタックス要素などの符号化されたまたは符号化されない要素を含むことができる。

【0028】

送信機７２０は、例えば、符号化されたピクチャおよび／またはそれに関連する情報を表す１またはそれより多くのビットストリームを有する番組信号を送信するように適合することができる。典型的な送信機は、例えば、誤り訂正符号化を提供すること、信号内でデータをインタリーブすること、信号内でエネルギーをランダム化すること、および信号を１又はそれより多くの搬送波上に変調することのうちの１またはそれより多くのこと等の、機能を実行する。送信機は、アンテナ（図示されず）を含むことができ、またはアンテナとインタフェースを取ることができる。したがって、送信機７２０の実装は、変調器を含むが、これに限定されない。

【0029】

図６は、本発明の原理の一実施形態による、本発明の原理を適用できる例示的な映像受信システム８００を示している。映像受信システム８００は、例えば、衛星、ケーブル、電話回線、または地上放送など、様々な媒体を介して信号を受信するように構成することができる。信号を、インターネットまたは他の何らかのネットワークを介して受信することができる。

【0030】

映像受信システム８００は、例えば、セルフォン、コンピュータ、セットトップボックス、テレビ、または符号化された映像を受信し、例えば、ユーザへの表示用または格納用に復号された映像を提供する他のデバイスとすることができる。したがって、映像受信システム８００は、その出力を、例えば、テレビ画面、コンピュータモニタ、（格納、処理、もしくは表示用の）コンピュータ、または他の何らかの格納、処理、もしくは表示デバイスに提供することができる。

【0031】

映像受信システム８００は、映像情報を含む映像コンテンツを受信し、処理することが可能である。映像受信システム８００は、例えば、本出願の実装で説明される信号など、符号化された信号を受信することが可能な受信機８１０と、受信信号を復号することが可能なデコーダ８２０とを含む。

【0032】

受信機８１０は、例えば、符号化されたピクチャを表す複数のビットストリームを有する番組信号を受信するように適合することができる。典型的な受信機は、例えば、変調された符号化データ信号を受信すること、１又はそれより多くの搬送波からデータ信号を復調すること、信号内でエネルギーを逆ランダム化すること、信号内でデータをデインタリーブすること、および信号を誤り訂正復号することのうちの１またはそれより多くのこと等の、機能を実行する。受信機８１０は、アンテナ（図示されず）を含むことができ、またはアンテナとインタフェースを取ることができる。受信機８１０の実装は、復調器を含むことができるが、これに限定されない。

【0033】

デコーダ８２０は、映像情報および奥行き情報を含む映像信号を出力する。デコーダ８２０は、例えば、上で詳細に説明されたデコーダ４００とすることができる。

【0034】

図７は、本発明の原理の一実施形態による、本発明の原理が適用できる例示的な映像処理デバイス９００を示している。映像処理デバイス９００は、例えば、セットトップボックス、または符号化された映像を受け取り、例えば、ユーザへの表示用もしくは格納用の復号された映像を提供する他のデバイスとすることができる。したがって、映像処理デバイス９００は、その出力を、テレビ、コンピュータモニタ、またはコンピュータもしくは他の処理デバイスに提供することができる。

【0035】

映像処理デバイス９００は、ＦＥ（フロントエンド）デバイス９０５と、デコーダ９１０とを含む。フロントエンドデバイス９０５は、例えば、符号化されたピクチャを表す複数のビットストリームを有する番組信号を受信し、復号する１またはそれより多くのビットストリームを複数のビットストリームから選択するように適合された受信機とすることができる。典型的な受信機は、例えば、変調された符号化データ信号を受信すること、データ信号を復調すること、データ信号の１またはそれより多くの符号化（例えば、チャネル符号化および／もしくは情報源符号化）を復号すること、および／またはデータ信号を誤り訂正することのうちの１又はそれより多くのことなどの、機能を実行する。フロントエンドデバイス９０５は、例えば、アンテナ（図示されず）から番組信号を受け取る。フロントエンドデバイス９０５は、受け取ったデータ信号をデコーダ９１０に提供する。

【0036】

デコーダ９１０は、データ信号９２０を受け取る。データ信号９２０は、例えば、１つまたは複数のＡＶＣ（高度映像符号化）、ＳＶＣ（スケーラブル映像符号化）、またはＭＶＣ（多視点映像符号化）互換ストリームを含むことができる。

【0037】

ＡＶＣとは、より正確に言えば、既存のＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）ＭＰＥＧ−４（ムービングピクチャエクスパートグループ−４）パート１０ ＡＶＣ（高度映像符号化）規格／ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）Ｈ．２６４勧告のことである（これ以降、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格」、またはそれを略して「ＡＶＣ規格」もしくは単に「ＡＶＣ」などと呼ぶ）。

【0038】

ＭＶＣとは、より正確に言えば、ＡＶＣ規格のＭＶＣ（「多視点映像符号化」）拡張（付属書Ｈ）のことであり、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＶＣ拡張（「ＭＶＣ拡張」または単に「ＭＶＣ」）と呼ばれる。

【0039】

ＳＶＣとは、より正確に言えば、ＡＶＣ規格のＳＶＣ（「スケーラブル映像符号化」）拡張（付属書Ｇ）のことであり、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＳＶＣ拡張（「ＳＶＣ拡張」または単に「ＳＶＣ」）と呼ばれる。

【0040】

デコーダ９１０は、受信信号９２０のすべてまたは部分を復号し、出力として復号された映像信号９３０を提供する。復号された映像９３０は、選択器９５０に提供される。デバイス９００は、ユーザ入力９７０を受け取るユーザインタフェース９６０も含む。ユーザインタフェース９６０は、ユーザ入力９７０に基づいて、ピクチャ選択信号９８０を選択器９５０に提供する。ピクチャ選択信号９８０およびユーザ入力９７０は、複数のピクチャ、シーケンス、スケーラブルバージョン、ビュー、または利用可能な復号データの他の選択項目のうちのどれを表示することをユーザが望んでいるかを指示する。選択器９５０は、選択されたピクチャを出力として提供する。選択器９５０は、ピクチャ選択情報９８０を使用して、復号された映像９３０内のどのピクチャを出力９９０として提供するかを選択する。

【0041】

様々な実装では、選択器９５０は、ユーザインタフェース９６０を含むが、他の実装では、別個のインタフェース機能を実行せずに、選択器９５０がユーザ入力９７０を直接的に受け取るので、ユーザインタフェース９６０は必要とされない。選択器９５０は、例えば、ソフトウェアで、または集積回路として実装することができる。一実装では、選択器９５０は、デコーダ９１０と組み込まれ、別の実装では、デコーダ９１０、選択器９５０、およびユーザインタフェース９６０のすべてが統合される。

【0042】

１つの応用では、フロントエンドデバイス９０５は、様々なテレビ番組の放送を受信し、処理する１つを選択する。１つの番組の選択は、視聴したい所望のチャンネルについてのユーザ入力に基づく。フロントエンドデバイス９０５へのユーザ入力は、図７には示されていないが、フロントエンドデバイス９０５は、ユーザ入力９７０を受け取る。フロントエンドデバイス９０５は、放送を受信してから、放送スペクトルの関連部分を復調し、復調された番組のアウター符号化（ｏｕｔｅｒ ｅｎｃｏｄｉｎｇ）を復号することによって、所望の番組を処理する。フロントエンドデバイス９０５は、復号された番組をデコーダ９１０に提供する。デコーダ９１０は、デバイス９６０および９５０を含む統合ユニットである。したがって、デコーダ９１０は、ユーザ入力を受け取るが、それは、番組中の視聴したい所望のビューについてのユーザ提供の指示である。デコーダ９１０は、選択されたビューに加えて、他のビューからの必要な参照ピクチャも復号し、復号されたビュー９９０をテレビ（図示されず）への表示用に提供する。

【0043】

上の応用を続けると、ユーザは、表示されるビューを切り換えることを望むことができ、その場合、新しい入力をデコーダ９１０に提供することができる。ユーザから「ビュー変更」を受け取った後、デコーダ９１０は、旧いビューおよび新しいビューの両方に加えて、旧いビューと新しいビューの間にあるビューも復号する。すなわち、デコーダ９１０は、旧いビューを撮影したカメラと新しいビューを撮影したカメラの間に物理的に配置されたカメラから取得したビューを復号する。フロントエンドデバイス９０５は、旧いビュー、新しいビュー、およびその間のビューを識別する情報も受け取る。そのような情報を、例えば、ビューのロケーションについての情報を有するコントローラ（図７には図示されず）、またはデコーダ９１０によって提供することができる。他の実装は、フロントエンドデバイスと統合されたコントローラを有するフロントエンドデバイスを使用することができる。

【0044】

デコーダ９１０を、これら復号されたビューのすべてを出力９９０として提供する。旧いビューから新しいビューへの滑らかな推移を提供するために、ポストプロセッサ（図７には図示されず）が、ビューの間を補間し、この推移をユーザに表示する。新しいビューに推移した後、ポストプロセッサは、（図示されていない１またはそれより多くの通信リンクを介して）デコーダ９１０およびフロントエンドデバイス９０５に、新しいビューのみが必要であることを通知する。その後、デコーダ９１０は、出力９９０として新しいビューのみを提供する。

【0045】

システム９００を、イメージシーケンスの複数のビューを受け取るために、単一のビューを表示用に提示するために、および様々なビューの間で滑らかな方法で切り換えを行うために使用することができる。滑らかな方法は、ビューの間を補間して別のビューに移ることを含むことができる。加えて、システム９００は、ユーザが、物体もしくはシーンを回転できるように、または別の方法で物体もしくはシーンの３次元表現を見られるようにすることができる。物体の回転は、例えば、ビューからビューに移動することに、およびビューの間を補間して、ビューの間の滑らかな推移を獲得すること、または３次元表現を単に獲得することに対応することができる。すなわち、ユーザは、補間ビューを、表示すべき「ビュー」として「選択」することができる。

【0046】

映像送信システム７００、映像受信システム８００、および映像処理デバイス９００をすべて、本出願で説明される様々な実装とともに使用するために適合できること明らかであろう。例えば、システム７００、８００、９００を、説明される３ＤＶフォーマットの１つにおけるデータを用いて、および関連するシグナリング情報を用いて動作するように適合することができる。

【0047】

実施形態１：ＭＶＣ用の３ＤＶフォーマットＳＥＩメッセージ
ＭＶＣのフレームワークでは、３ＤＶ成分シーケンスは、異なる「ビュー」として符号化される。したがって、成分間冗長性は、ＭＶＣの機能であるビュー間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）によって取り除くことができる。例えば、２Ｄビューと隠れビューの間の冗長性を、効率的に取り除くことができる。表１は、実施形態１に関連するＭＶＣ用の３ＤＶフォーマットＳＥＩメッセージについてのシンタックス案を示している。この実施形態では、ＭＶＣビットストリームは、３ＤＶ成分シーケンスとは別のより多くのビューを含み得ることに留意されたい。

【0048】

【表1】

【0049】

表１のシンタックス要素の意味は以下の通りである。
ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄは、３ＤＶフォーマットＳＥＩメッセージの用途を識別するのに使用できる識別番号を含む。値は、０以上２³²−２以下の範囲にあるものとする。０から２５５までの値および５１２から２³¹−１までの値を、アプリケーションによって決定されたように使用できることに留意されたい。２５６から５１１までの値および２³¹から２³²−２までの値は、将来の使用のために予約されている。デコーダは、２５６から５１１までの範囲内または２³¹から２³²−２までの範囲内にあるｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄの値を含む、すべての３ＤＶフォーマットＳＥＩメッセージを無視し（ビットストリームから取り除いて、廃棄し）、ビットストリームは、そのような値を含んではならない。

【0050】

ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇは、１に等しい場合、その３ＤＶフォーマットＳＥＩメッセージが、出力順序における先行する３ＤＶフォーマットＳＥＩメッセージの持続性を打ち切ることを示す。ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇは、０に等しい場合、３ＤＶフォーマット情報が後続することを示す。

【0051】

ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１は、これに１を加算した値が、３ＤＶデータを有するビューの数を表す。各ビューは、０以上ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１以下の範囲の、３ＤＶフォーマットのコンテキスト内において一意的なＩＤ番号である３ｄｖ＿ｖｉｅｗ＿ｉｄを有する。３ｄｖ＿ｖｉｅｗ＿ｉｄは、ＭＶＣのコンテキスト内のｖｉｅｗ＿ｉｄとは異なることに留意されたい。２Ｄビューなどの１つのビューからの３ＤＶデータの場合、その奥行きマップなどは、ＭＶＣでは異なるビューとして扱われ、異なるｖｉｅｗ＿ｉｄを有するが、同じ視点位置の異なる成分シーケンスに対応するので、同じ３ｄｖ＿ｖｉｅｗ＿ｉｄを共有する。

【0052】

ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは、ＭＶＣビットストリーム内に含まれる基本３ＤＶフォーマットタイプを示す。３ＤＶフォーマットは、２つのタイプのいずれか、すなわち、２Ｄ＋ＺまたはＬＤＶとすることができる。２Ｄ＋Ｚフォーマットは、１つの視点位置からの、２Ｄビューおよびその奥行きマップを含む。ＬＤＶフォーマットは、１つの視点位置からの、２Ｄビュー、その奥行きマップ、隠れビュー、および隠れ奥行きマップを含む。

【0053】

ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは、０に等しい場合、ＭＶＣビットストリームが、（ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１＋１）組の２Ｄ＋Ｚデータを含むことを示す。データの各組は、１つの視点位置に対応する。ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１は、０に等しい場合、２Ｄ＋Ｚフォーマットを表す。ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１は、１に等しい又は１より多い場合、ＭＶＤフォーマットを表す。

【0054】

ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは、１に等しい場合、ＭＶＣビットストリームが、（ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１＋１）組のＬＤＶデータを含むことを示す。データの各組は、１つの視点位置に対応する。ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１は、０に等しい場合、ＬＤＶフォーマットを表す。ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１は、１に等しい場合、ＤＥＳフォーマットを表す。１より大きな値は許されていないことに留意されたい。

【0055】

ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して２Ｄ映像成分が存在するかどうかを示す。１の値は、２Ｄビュー成分が存在することを示す。０の値は、２Ｄビュー成分が存在しないことを示す。

【0056】

ｖｉｄｅｏ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、３ｄｖ＿ｖｉｅｗ＿ｉｄを有する３ＤＶビューに対応する、ＭＶＣビットストリームにおけるｖｉｅｗ＿ｉｄを示す。−１の値は、３ＤＶビューのための２Ｄビュー成分がビットストリームにおいて利用可能でないことを示す。

【0057】

ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して奥行きマップ成分が存在するかどうかを示す。１の値は、奥行きマップ成分が存在することを示す。０の値は、奥行きマップ成分が存在しないことを示す。

【0058】

ｄｅｐｔｈ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、３ｄｖ＿ｖｉｅｗ＿ｉｄを有する３ＤＶ奥行き成分に対応する、ＭＶＣビットストリームにおけるｖｉｅｗ＿ｉｄを示す。−１の値は、３ＤＶビューのための奥行き成分がビットストリームにおいて利用可能でないことを示す。

【0059】

ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して隠れ映像成分が存在するかどうかを示す。１の値は、隠れ映像成分が存在することを示す。０の値は、隠れ映像成分が存在しないことを示す。

【0060】

ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、３ｄｖ＿ｖｉｅｗ＿ｉｄを有する隠れ映像成分に対応する、ＭＶＣビットストリームにおけるｖｉｅｗ＿ｉｄを示す。−１の値は、３ＤＶビューのための隠れ映像成分がビットストリームにおいて利用可能でないことを示す。

【0061】

ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して隠れ奥行き成分が存在するかどうかを示す。１の値は、隠れ奥行き成分が存在することを示す。０の値は、隠れ奥行き成分が存在しないことを示す。

【0062】

ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、３ｄｖ＿ｖｉｅｗ＿ｉｄを有する隠れ奥行き成分に対応する、ＭＶＣビットストリームにおけるｖｉｅｗ＿ｉｄを示す。−１の値は、３ＤＶビューのための隠れ奥行き成分がビットストリームにおいて利用可能でないことを示す。

【0063】

ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、３ＤＶフォーマットＳＥＩメッセージの持続性を指定し、別の３ＤＶフォーマットＳＥＩが同じ値のｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄを有する間隔である、ピクチャ順序カウント間隔（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ ｉｎｔｅｒｖａｌ）を指定することができ、または符号化された映像シーケンスの終了がビットストリーム内に存在することを指定することができる。したがって、このシンタックスは、ＳＥＩが有効な時間範囲を指定する。１つの例示的な実装は、ＰＯＣ（ピクチャ順序カウント）間隔の使用を含む。ＰＯＣを、符号化されるフレームのインデックスと理解することができ、表示時刻が増加するとともに、値が大きくなる。ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄの値は、０以上１６３８４以下の範囲内になければならない。ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、０に等しい場合、３ＤＶフォーマットＳＥＩメッセージが現在の復号ピクチャのみに適用されることを指定する。ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、１に等しい場合、以下の条件のいずれかが真になるまで、３ＤＶフォーマットＳＥＩメッセージが出力順序における持続性を維持することを指定する。
−新しい符号化映像シーケンスが開始する。
−同じ値のｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄを有する３ＤＶフォーマットＳＥＩメッセージを含むアクセスユニット内のピクチャは、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）よりも大きなＰｉｃＯｒｄｅｒＣｎｔ（）を有する出力である。

【0064】

ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、０または１に等しい場合、同じ値のｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄを有する別の３ＤＶフォーマットＳＥＩメッセージが存在することもあり、または存在しないこともある。ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、１よりも大きい場合、以下の条件のいずれかが真になるまで、３ＤＶフォーマットＳＥＩメッセージが持続性を維持することを指定する。
−新しい符号化映像シーケンスが開始する。
−同じ値のｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄを有する３ＤＶフォーマットＳＥＩメッセージを含むアクセスユニット内のピクチャが、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）よりも大きく、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）＋ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄよりも小さいＰｉｃＯｒｄｅｒＣｎｔ（）を有する出力である。

【0065】

ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、１よりも大きい場合、同じ値のｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄを有する別の３ＤＶフォーマットＳＥＩメッセージが、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）よりも大きく、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）＋ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄと同じかそれより小さいＰｉｃＯｒｄｅｒＣｎｔ（）を有する出力である、アクセスユニット内のピクチャのために存在しなければならないことを示すが、ビットストリームが終了する場合、またはそのようなピクチャの出力を伴わずに、新しい符号化映像シーケンスが開始する場合は、この限りではない。

【0066】

ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、０に等しい場合、３ＤＶフォーマットＳＥＩメッセージ内において、さらなるデータが後続しないことを示す。ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値は、０に等しくなければならない。ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇに対する１の値は、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣによって、将来の使用のために予約されている。Ｈ．２６４規格に準拠するデコーダは、ピクチャが空間的にインタリーブされるＳＥＩメッセージ（ｓｐａｔｉａｌｌｙ ｉｎｔｅｒｌｅａｖｅｄ ｐｉｃｔｕｒｅｓ ＳＥＩ ｍｅｓｓａｇｅ）において、１の値のａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇに対する１の値に後続するすべてのデータを無視しなければならない。

【0067】

以下に３つの例が与えられる。

【0068】

例１：図８は、ＭＶＣ構造においてＭＶＤフォーマットを符号化する例１０００を示す図である。この例では、２つの３ＤＶビューが存在する。左ビューの３ｄｖ＿ｖｉｅｗ＿ｉｄは０であり、右ビューの３ｄｖ＿ｖｉｅｗ＿ｉｄは１である。左ビューは、ベースビューとして扱われ、ＡＶＣ互換デコーダによって復号することができる。左ビュー１０１０のｖｉｅｗ＿ｉｄは１である。左奥行き１００５、右ビュー１０１５、および右奥行き１０２０のｖｉｅｗ＿ｉｄは、それぞれ０、２、および３である。表２は、実施形態１の例１に対応するＭＶＣ用の３ＤＶ ＳＥＩメッセージのＭＶＤ例を示している。

【0069】

【表2】

【0070】

図８に示されるようなビュー依存性情報は、Ｈ．２６４付属書ＨのＳＰＳ拡張（Ｈ．２６４のＭＶＣ拡張、または単にＭＶＣ拡張としても知られる）によって信号伝達されることに留意されたい。

【0071】

例２：図９は、ＭＶＣ構造においてＬＤＶフォーマットを符号化する例１１００を示す図である。この例では、ただ１つの３ＤＶビューが存在する。２Ｄビューは、ベースビューとして扱われ、ＡＶＣ互換デコーダによって復号することができる。２Ｄビュー１１１０のｖｉｅｗ＿ｉｄは１である。奥行きマップ１１０５、隠れ映像１１１５、および隠れ奥行きマップ１１２０のｖｉｅｗ＿ｉｄは、それぞれ０、２、および３である。表３は、実施形態１の例２に対応するＭＶＣ用の３ＤＶ ＳＥＩメッセージのＬＤＶ例を示している。

【0072】

【表3】

【0073】

例３：図１０は、ＭＶＣ構造においてＤＥＳフォーマットを符号化する例１２００を示す図である。この例では、２つの３ＤＶビューが存在する。左側からの２Ｄビューは、ベースビューとして扱われ、ＡＶＣ互換デコーダによって復号することができる。左側からの２Ｄビュー１２２０のｖｉｅｗ＿ｉｄは３である。左側からの奥行きマップ１２１５、隠れ映像１２１０、および隠れ奥行きマップ１２０５のｖｉｅｗ＿ｉｄは、それぞれ２、１、および０である。右側からの２Ｄビュー１２２５、奥行きマップ１２３０、隠れ映像１２３５、および隠れ奥行き１２４０のｖｉｅｗ＿ｉｄは、それぞれ４、５、６、および７である。表４は、実施形態１の例３に対応するＭＶＣ用の３ＤＶ ＳＥＩメッセージのＤＥＳ例を示している。

【0074】

【表4】

【0075】

上の３つの例では、３ＤＶビューに加えて、２Ｄ映像データのみを有する他のいくつかのビューも同じビットストリーム内にインタリーブできることに留意されたい。デコーダは、依然として、ビットストリームから正しい３ＤＶビューを正しく抽出することができる。追加のビューは、例えば、受信機側でレンダリング品質を高めるために使用することができる。

【0076】

図１１は、本発明の原理の一実施形態による、３ＤＶフォーマットを符号化するための例示的な方法１３００を示すフロー図である。図１１は、実施形態１に関し、実施形態１に対応する例１から例３をまとめて包含する。ステップ１３０５において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄが符号化される。ステップ１３１０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇが符号化される。ステップ１３１５において、ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０であるかどうかが判定される。０である場合、制御はステップ１３８５に渡される。０でない場合、制御はステップ１３２０に渡される。ステップ１３２０において、シンタックス要素ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１が符号化される。ステップ１３２５において、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが符号化される。ステップ１３３０において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを開始する。ステップ１３３５において、３ｄｖ＿ｖｉｅｗ＿ｉｄが０でない場合、シンタックス要素ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化され、０である場合、シンタックス要素３ｄｖ＿ｖｉｅｗ＿ｉｄは１に等しいと仮定される。ステップ１３４０において、ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｖｉｄｅｏ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ１３４５において、シンタックス要素ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ１３５０において、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｄｅｐｔｈ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ１３５５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化され、１でない場合、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは０に等しいと仮定される。ステップ１３６０において、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が０でない場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ１３６５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化され、１でない場合、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔは０に等しいと仮定される。ステップ１３７０において、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が０でない場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ１３７５において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを終了する。ステップ１３８０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが符号化される。ステップ１３８５において、シンタックス要素ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが符号化される。

【0077】

図１２は、本発明の原理の一実施形態による、３ＤＶフォーマットを復号するための例示的な方法１４００を示すフロー図である。図１２は、実施形態１に関し、実施形態１に対応する例１から例３をまとめて包含する。ステップ１４０５において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄが復号される。ステップ１４１０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇが復号される。ステップ１４１５において、ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０であるかどうかが判定される。０である場合、制御はステップ１４８５に渡される。０でない場合、制御はステップ１４２０に渡される。ステップ１４２０において、シンタックス要素ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１が復号される。ステップ１４２５において、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが復号される。ステップ１４３０において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを開始する。ステップ１４３５において、３ｄｖ＿ｖｉｅｗ＿ｉｄが０でない場合、シンタックス要素ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号され、０である場合、シンタックス要素３ｄｖ＿ｖｉｅｗ＿ｉｄは１に等しいと仮定される。ステップ１４４０において、ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｖｉｄｅｏ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ１４４５において、シンタックス要素ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ１４５０において、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｄｅｐｔｈ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ１４５５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号され、１でない場合、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは０に等しいと仮定される。ステップ１４６０において、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が０でない場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ１４６５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号され、１でない場合、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは０に等しいと仮定される。ステップ１４７０において、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が０でない場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ１４７５において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを終了する。ステップ１４８０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが復号される。ステップ１４８５において、シンタックス要素ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが復号される。

【0078】

実施形態２：ＭＶＣ用の簡略化３ＤＶフォーマットＳＥＩメッセージ
別の実施形態では、暗黙的な方法でｖｉｅｗ＿ｉｄを３ｄｖ＿ｖｉｅｗ＿ｉｄにマッピングするのが望ましいことがあり、シンタックスは実施形態１よりも簡略化できることに留意されたい。表５は、ＭＶＣ用の簡略化３ＤＶフォーマットＳＥＩメッセージを示している。

【0079】

【表5】

【0080】

簡略化ＳＥＩメッセージを用いた場合、ｖｉｅｗ＿ｉｄは、以下の暗黙的な方法で、３ｄｖ＿ｖｉｅｗ＿ｉｄにマッピングされる。ｂａｓｉｃ＿３ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが０である場合、昇順のｖｉｅｗ＿ｉｄが、表６に示されるように、３ｄｖ＿ｖｉｅｗ＿ｉｄにマッピングされる。ｂａｓｉｃ＿３ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、昇順のｖｉｅｗ＿ｉｄが、表７に示されるように、３ｄｖ＿ｖｉｅｗ＿ｉｄにマッピングされる。

【0081】

【表6】

【0082】

【表7】

【0083】

例１
図１３は、表６のｖｉｅｗ＿ｉｄから３ｄｖ＿ｖｉｅｗ＿ｉｄへのマッピングが使用される、ＭＶＣ構造においてＭＶＤフォーマットを符号化する別の例１５００を示す図である。ボックス１５０５、１５１０、１５１５、および１５２０内にそれぞれ示された数詞Ｖ０、Ｖ１、Ｖ２、およびＶ３は、そのボックスに対応するｖｉｅｗ＿ｉｄを表す。各ボックスに対応する３ｄｖ＿ｖｉｅｗ＿ｉｄは、各ボックスの下にそれぞれ示されている。矢印は、参照ビューから出て、予測されるビューを指している。ボックス１５０５は、左ビューの２Ｄ映像を示す。ボックス１５１０は、左ビューの奥行きを示す。ボックス１５１５は、右ビューの２Ｄ映像を示す。ボックス１５２０は、右ビューの奥行きを示す。

【0084】

例２
図１４は、表７のｖｉｅｗ＿ｉｄから３ｄｖ＿ｖｉｅｗ＿ｉｄへのマッピングが使用される、ＭＶＣ構造においてＬＤＶフォーマットを符号化する別の例１６００を示す図である。ボックス１６０５、１６１０、１６１５、および１６２０内にそれぞれ示された数詞Ｖ０、Ｖ１、Ｖ２、およびＶ３は、そのボックスに対応するｖｉｅｗ＿ｉｄを表す。各ボックスの下に、３ＤＶのコンテキストにおけるそのボックスの役割が示されている。矢印は、参照ビューから出て、予測されるビューを指している。ボックス１６０５は、２Ｄ映像を示す。ボックス１６１０は、対応する奥行きを示す。ボックス１６１５は、対応する隠れ映像を示す。ボックス１６２０は、対応する隠れ奥行きを示す。

【0085】

例３
図１５は、表７のｖｉｅｗ＿ｉｄから３ｄｖ＿ｖｉｅｗ＿ｉｄへのマッピングが使用される、ＭＶＣ構造においてＤＥＳフォーマットを符号化する別の例１７００を示す図である。ボックス１７０５、１７１０、１７１５、１７２０、１７２５、１７３０、１７３５、および１７４０内にそれぞれ示された数詞Ｖ０、Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６、およびＶ７は、そのボックスに対応するｖｉｅｗ＿ｉｄを表す。各ボックスの下に、３ＤＶのコンテキストにおけるそのボックスの役割が示されている。矢印は、参照ビューから出て、予測されるビューを指している。ボックス１７０５は、左ビューの２Ｄ映像を示す。ボックス１７１０は、左ビューの対応する奥行きを示す。ボックス１７１５は、左ビューの対応する隠れ映像を示す。ボックス１７２０は、左ビューの対応する隠れ奥行きを示す。ボックス１７２５は、右ビューの２Ｄ映像を示す。ボックス１７３０は、右ビューの対応する奥行きを示す。ボックス１７３５は、右ビューの対応する隠れ映像を示す。ボックス１７４０は、右ビューの対応する隠れ奥行きを示す。

【0086】

図１６は、本発明の原理の一実施形態による、３ＤＶフォーマットを符号化するための例示的な方法１８００を示すフロー図である。図１６は、実施形態２に関し、実施形態２に対応する例１から例３をまとめて包含する。ステップ１８０５において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄが符号化される。ステップ１８１０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇが符号化される。ステップ１８１５において、ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０であるかどうかが判定される。０である場合、制御はステップ１８３５に渡される。０でない場合、制御はステップ１８２０に渡される。ステップ１８２０において、シンタックス要素ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１が符号化される。ステップ１８２５において、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが符号化される。ステップ１８３０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが符号化される。ステップ１８３５において、シンタックス要素ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが符号化される。

【0087】

図１７は、本発明の原理の一実施形態による、３ＤＶフォーマットを復号するための例示的な方法１９００を示すフロー図である。図１７は、実施形態２に関し、実施形態２に対応する例１から例３をまとめて包含する。ステップ１９０５において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄが復号される。ステップ１９１０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇが復号される。ステップ１９１５において、ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０であるかどうかが判定される。０である場合、制御はステップ１９３５に渡される。０でない場合、制御はステップ１９２０に渡される。ステップ１９２０において、シンタックス要素ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１が復号される。ステップ１９２５において、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが復号される。ステップ１９３０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが復号される。ステップ１９３５において、シンタックス要素ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが復号される。

【0088】

実施形態３：ＳＶＣ用の３ＤＶフォーマットＳＥＩ
ＡＶＣへの別の拡張として、ＳＶＣは、時間領域、空間領域、または品質領域においてスケーラビリティを提供するために、階層化符号化構造をサポートする。この実施形態では、発明者らは、表８に示されるような、３ＤＶフォーマットを信号伝達するためのＳＶＣ用の３ＤＶフォーマットＳＥＩメッセージを提案する。ＳＶＣを使用する利点の１つは、レイヤ間予測を利用して、例えば、映像内の動きと奥行きマップ内の動きの間の冗長性など、成分間冗長性を取り除くことができることである。

【0089】

【表8】

【0090】

ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して２Ｄ映像成分が存在するかどうかを示す。１の値は、２Ｄビュー成分が存在することを示す。０の値は、２Ｄビュー成分が存在しないことを示す。

【0091】

ｖｉｄｅｏ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｖｉｄｅｏ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｖｉｄｅｏ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、指定された３ｄｖ＿ｖｉｅｗ＿ｉｄを有する３ＤＶビューからの２Ｄビュー成分シーケンスのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄをそれぞれ示す。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄのそれぞれの定義は、Ｈ．２６４付属書Ｇに規定されている。

【0092】

ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して奥行きマップ成分が存在するかどうかを示す。１の値は、奥行きマップ成分が存在することを示す。０の値は、奥行きマップ成分が存在しないことを示す。

【0093】

ｄｅｐｔｈ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｄｅｐｔｈ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｄｅｐｔｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、指定された３ｄｖ＿ｖｉｅｗ＿ｉｄを有する３ＤＶビューからの奥行きマップ成分シーケンスのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄをそれぞれ示す。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄのそれぞれの定義は、Ｈ．２６４付属書Ｇに規定されている。

【0094】

ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して隠れ映像成分が存在するかどうかを示す。１の値は、隠れ映像成分が存在することを示す。０の値は、隠れ映像成分が存在しないことを示す。

【0095】

ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ ｉｄ］、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、指定された３ｄｖ＿ｖｉｅｗ＿ｉｄを有する３ＤＶビューからの隠れビュー成分シーケンスのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄをそれぞれ示す。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄのそれぞれの定義は、Ｈ．２６４付属書Ｇに規定されている。

【0096】

ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は、現在の３Ｄビューに対して隠れ奥行き成分が存在するかどうかを示す。１の値は、隠れ奥行き成分が存在することを示す。０の値は、隠れ奥行き成分が存在しないことを示す。

【0097】

ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ ｉｄ］は、指定された３ｄｖ＿ｖｉｅｗ＿ｉｄを有する３ＤＶビューからの隠れ奥行きマップ成分シーケンスのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄをそれぞれ示す。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、およびｔｅｍｐｏｒａｌ＿ｉｄのそれぞれの定義は、Ｈ．２６４付属書Ｇに規定されている。

【0098】

実施形態１で列挙された（図８から図１０に関する）３つの例をすべて、ＳＶＣフレームワークにマッピングできることを理解されたい。例えば、ＬＤＶフォーマットは、図１８にあるようにＳＶＣにおいて実装することができ、図１８は、実施形態１の図９に対応する。ボックス２００５、２０１０、２０１５、および２０２０内にそれぞれ示された数詞Ｌ３、Ｌ２、Ｌ１、およびＬ０は、そのボックスに対するｄｅｐｅｎｄｅｎｃｙ＿ｉｄを表す。ボックスの左に、３ＤＶのコンテキストにおける役割が示されている。矢印は、参照ビューから出て、予測されるビューを指している。ボックス２０２０は、２Ｄ映像を示す。ボックス２０１５は、対応する奥行きを示す。ボックス２０１０は、対応する隠れ映像を示す。ボックス２００５は、対応する隠れ奥行きを示す。

【0099】

表９は、本発明の原理の一実施形態による、ＳＶＣ用の３ＤＶフォーマットＳＥＩメッセージの一例を示している。

【0100】

【表9】

【0101】

図１９は、本発明の原理の一実施形態による、３ＤＶフォーマットを符号化するための例示的な方法２１００を示すフロー図である。図１９は、実施形態３に関する。ステップ２１０５において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄが符号化される。ステップ２１１０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇが符号化される。ステップ２１１５において、ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０であるかどうかが判定される。０である場合、制御はステップ２１８５に渡される。０でない場合、制御はステップ２１２０に渡される。ステップ２１２０において、シンタックス要素ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１が符号化される。ステップ２１２５において、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが符号化される。ステップ２１３０において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ＤＶ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを開始する。ステップ２１３５において、３ｄｖ＿ｖｉｅｗ＿ｉｄが０でない場合、シンタックス要素ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化され、０である場合、シンタックス要素３ｄｖ＿ｖｉｅｗ＿ｉｄは１に等しいと仮定される。ステップ２１４０において、ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｖｉｄｅｏ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｖｉｄｅｏ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｖｉｄｅｏ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ２１４５において、シンタックス要素ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ２１５０において、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｄｅｐｔｈ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｄｅｐｔｈ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｄｅｐｔｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ２１５５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化され、１でない場合、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは０に等しいと仮定される。ステップ２１６０において、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ２１６５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化され、１でない場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は０に等しいと仮定される。ステップ２１７０において、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が符号化される。ステップ２１７５において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを終了する。ステップ２１８０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが符号化される。ステップ２１８５において、シンタックス要素ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが符号化される。

【0102】

図２０は、本発明の原理の一実施形態による、３ＤＶフォーマットを復号するための例示的な方法２２００を示すフロー図である。図２０は、実施形態３に関する。ステップ２２０５において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｉｄが復号される。ステップ２２１０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇが復号される。ステップ２２１５において、ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０であるかどうかが判定される。０である場合、制御はステップ２２８５に渡される。０でない場合、制御はステップ２２２０に渡される。ステップ２２２０において、シンタックス要素ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１が復号される。ステップ２２２５において、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが復号される。ステップ２２３０において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ＤＶ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを開始する。ステップ２２３５において、３ｄｖ＿ｖｉｅｗ＿ｉｄが０でない場合、シンタックス要素ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号され、０である場合、シンタックス要素３ｄｖ＿ｖｉｅｗ＿ｉｄは１に等しいと仮定される。ステップ２２４０において、ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合シンタックス要素ｖｉｄｅｏ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｖｉｄｅｏ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｖｉｄｅｏ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ２２４５において、シンタックス要素ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ２２５０において、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｄｅｐｔｈ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｄｅｐｔｈ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｄｅｐｔｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ２２５５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号され、１でない場合、シンタックス要素ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄは０に等しいと仮定される。ステップ２２６０において、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｏｃｃｌｕｓｉｏｎ＿ｖｉｄｅｏ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ２２６５において、ｂａｓｉｃ＿ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｉｄが１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号され、１でない場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］は０に等しいと仮定される。ステップ２２７０において、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が１である場合、シンタックス要素ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、ｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｑｕａｌｉｔｙ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］、およびｏｃｃｌｕｓｉｏｎ＿ｄｅｐｔｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ［３ｄｖ＿ｖｉｅｗ＿ｉｄ］が復号される。ステップ２２７５において、ｆｏｒ（３ｄｖ＿ｖｉｅｗ＿ｉｄ＝０； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＜＝ｎｕｍ＿ｔｈｒｅｅ＿ｄｖ＿ｖｉｅｗ＿ｍｉｎｕｓ１； ３ｄｖ＿ｖｉｅｗ＿ｉｄ＋＋）をループ条件とするループを終了する。ステップ２２８０において、シンタックス要素ｔｈｒｅｅ＿ｄｖ＿ｆｏｒｍａｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが復号される。ステップ２２８５において、シンタックス要素ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが復号される。

【0103】

実施形態４：ＳＶＣ／ＭＶＣ用の３ＤＶフォーマットＳＥＩ
先の３つの実施形態では、各３ＤＶ成分は、ＭＶＣにおけるビューとしても、またはＳＶＣにおけるレイヤとしても、別々に扱われる。この実施形態では、最初にいくつかの３ＤＶ成分に対して空間インタリーブを行い、次に空間インタリーブされた成分をＭＶＣにおけるビューまたはＳＶＣにおけるレイヤとして扱うことが提案される。

【0104】

実装には多くの異なる組み合わせが存在し得る。ＭＶＤ表現フォーマットの場合、１つの例は、２Ｄとその奥行きとを隣合せて配置し、その後、各２Ｄ＋ＺイメージシーケンスをＭＶＣにおける１つのビュー（またはＳＶＣにおける１つのレイヤ）として扱うというものである。別の例では、２つの２Ｄイメージが最初に隣合せて配置され、２つの奥行きマップも隣合せて配置される。その後、組み合わされた２Ｄイメージシーケンスを１つのビュー（または１つのレイヤ）として扱い、組み合わされた奥行きマップを別のビュー（または別のレイヤ）として扱う。

【0105】

本明細書で提供された本発明の原理の教示が与えられれば、当技術分野および関連技術分野の当業者が、様々な対応する実装を有するＬＤＶのケースに本発明の原理を容易に拡張できることを理解されたい。

【0106】

空間インタリーブは、隣合せ、上下、市松模様、行インタリーブ、および列インタリーブなどとすることができる。

【0107】

先の実施形態のシグナリング方法は、これらの実施形態にも適用することができ、または適合させることができる。

【0108】

図２１は、本発明の原理の一実施形態による、３ＤＶフォーマットを符号化するための例示的な方法２３００を示すフロー図である。図２１は、実施形態４に関する。ステップ２３０５において、いくつかの３ＤＶ成分に対して空間インタリーブが実行され、空間インタリーブは、例えば、隣合せ、上下、市松模様、行インタリーブ、または列インタリーブのいずれかである。ステップ２３１０において、空間インタリーブされた３ＤＶ成分がＭＶＣ下のビューとして扱われるかどうかが判定される。そのように扱われる場合、制御はステップ２３１５に渡される。扱われない場合、制御はステップ２３２０に渡される。ステップ２３１５において、インタリーブされた「ビュー」が、ＭＶＣエンコーダを用いて符号化される。ステップ２３２０において、空間インタリーブされた３ＤＶ成分がＳＶＣ下のビューとして扱われるかどうかが判定される。そのように扱われる場合、制御はステップ２３２５に渡される。扱われない場合、制御はステップ２３３０に渡される。ステップ２３２５において、インタリーブされた「レイヤ」は、ＳＶＣエンコーダを用いて符号化される。ステップ２３３０において、プロセスは、他のエンコーダのために予約されている。

【0109】

図２２は、本発明の原理の一実施形態による、３ＤＶフォーマットを復号するための例示的な方法２４００を示すフロー図である。図２２は、実施形態４に関する。ステップ２４０５において、空間インタリーブされた３ＤＶ成分がＭＶＣ下のビューとして扱われるかどうかが判定される。そのように扱われる場合、制御はステップ２４１０に渡される。扱われない場合、制御はステップ２４１５に渡される。ステップ２４１０において、インタリーブされた「ビュー」が、ＭＶＣデコーダを用いて復号される。ステップ２４１５において、空間インタリーブされた３ＤＶ成分がＳＶＣ下のビューとして扱われるかどうかが判定される。そのように扱われる場合、制御はステップ２４２０に渡される。扱われない場合、制御はステップ２４２５に渡される。ステップ２４２０において、インタリーブされた「レイヤ」は、ＳＶＣデコーダを用いて復号される。ステップ２４２５において、プロセスは、他のデコーダのために予約されている。ステップ２４３０において、いくつかの３ＤＶ成分に対して空間デインタリーブが実行される。空間デインタリーブは、例えば、隣合せ、上下、市松模様、行インタリーブ、または列インタリーブのいずれかである。

【0110】

したがって、発明者らは、特定の特徴および態様を有する１またはそれより多くの実装を提供する。しかし、説明された実装の特徴および態様を、他の実装のために適合することもできる。

【0111】

加えて、説明された実装を、様々な方法で適合することができる。例えば、実装は、様々な説明された実装のシンタックスおよびセマンティクスにおいて提供される、３ＤＶビューの数および／または３ＤＶフォーマットタイプの数を拡張することができる。加えて、実装は、時間的に予測を実行することができる。例えば、３ＤＶ成分を、（例えば、図８におけるように）同じ３ＤＶ成分、異なる３ＤＶ成分（例えば、図１０の右３ＤＶビューのＶ４は左３ＤＶビューのＶ３から予測される）、および／または異なる時点に生じる異なる３ＤＶ成分を参照として予測することができる。例えば、図８の左奥行きイメージ１００５を、先に生じた３ＤＶビューからの左奥行きイメージを参照として予測することができる。

【0112】

本出願で説明される実装および特徴のいくつかを、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＡＶＣ）規格、またはＭＶＣ拡張を有するＡＶＣ規格、もしくはＳＶＣ拡張を有するＡＶＣ規格に関連して使用することができる。しかし、これらの実装および特徴を、（既存もしくは将来の）別の規格に関連して、または規格を伴わない状況において使用することができる。したがって、発明者らは、特定の特徴および態様を有する１またはそれより多くの実装を提供する。しかし、説明された実装の特徴および態様を、他の実装のために適合させることもできる。

【0113】

実装は、限定することなく、ＳＥＩメッセージ、スライスヘッダ、他の高レベルシンタックス、非高レベルシンタックス、帯域外情報、データストリームデータ、および暗黙的シグナリングを含む、様々な技法を使用して情報を信号伝達することができる。したがって、本明細書で説明された実装は、特定の状況において説明することができるが、そのような説明は、特徴および概念をそのような実装または状況に限定するものと決して解釈されるべきではない。

【0114】

加えて、多くの実装は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、またはエンコーダに入力を提供するプリプロセッサのうちの１またはそれより多くのもので実装することができる。さらに、本開示によって他の実装も企図されている。

【0115】

本明細書において、本発明の原理の「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」もしくは「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、または「一実装（ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」もしくは「一実装（ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」、およびそれらの他の変形について言及がなされる場合、それは、その実施形態に関連して説明された特定の特徴、構造、および特性などが、本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の様々な場所に出現する「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）では」もしくは「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）では」、または「一実装（ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）では」もしくは「一実装（ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）では」という語句、および他の任意の変形の出現は、必ずしもすべてが、同じ実施形態について言及しているわけではない。

【0116】

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも一方」などのケースの、次の「／」、「および／または」、および「の少なくとも一方」のいずれかの使用は、第１の列挙選択肢（Ａ）のみの選択、第２の列挙選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含することが意図されていることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」、ならびに「Ａ、Ｂ、およびＣの少なくとも１つ」、および「Ａ、Ｂ、またはＣの少なくとも１つ」などのケースでは、それらの語句は、第１の列挙選択肢（Ａ）のみの選択、もしくは第２の列挙選択肢（Ｂ）のみの選択、もしくは第３の列挙選択肢（Ｃ）のみの選択、または第１および第２の列挙選択肢（ＡとＢ）のみの選択、もしくは第１および第３の列挙選択肢（ＡとＣ）のみの選択、もしくは第２および第３の列挙選択肢（ＢとＣ）のみの選択、または３つの選択肢すべての選択（ＡとＢとＣ）を包含することを意図している。当技術分野および関連技術分野の当業者には容易に明らかなように、列挙項目がいくつに増えても、こうした拡張が可能である。

【0117】

また、本明細書で使用される「ピクチャ」および「イメージ」という語は、交換可能に使用され、例えば、静止画の全体もしくは部分（一部）、または映像シーケンスからのピクチャの全体もしくは部分（一部）を指す。より一般的には、ピクチャは、例えば、イメージまたは映像データの任意の組を指す。ピクチャは、例えば、ピクセル、マクロブロック、スライス、フレーム、フィールド、全ピクチャ、ピクチャ内のオブジェクトと境界を示す領域、ピクチャの前景、ピクチャの背景、またはピクチャ内の（ｘ，ｙ）座標の特定の組とすることができる。同様に、ピクチャの「一部」は、例えば、ピクセル、マクロブロック、スライス、フレーム、フィールド、ピクチャ内のオブジェクトと境界を示す領域、ピクチャの前景、ピクチャの背景、またはピクチャ内の（ｘ，ｙ）座標の特定の組とすることができる。別の例として、奥行きピクチャ（奥行きイメージ）は、例えば、完全な奥行きマップ、または例えば、対応する映像フレームの単一のマクロブロックについての奥行き情報のみを含む、部分奥行きマップとすることができる。

【0118】

加えて、本出願または特許請求の範囲は、情報の様々な一部を「決定する」ことに言及することがある。情報の決定は、例えば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の取り出しのうちの１またはそれより多くのものを含むことができる。

【0119】

同様に、「アクセスする」は、広範な用語であることが意図されている。情報の一部へのアクセスは、例えば、情報を使用し、格納し、送り、送信し、受信し、取り出し、変更し、または提供する任意のオペレーションを含むことができる。

【0120】

本明細書で説明された実装は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装することができる。（例えば方法としてのみ説明されるなど）単一の形態の実装に関連して説明されただけであるとしても、説明された特徴の実装は、他の形態（例えば、装置またはプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。方法は、例えば、プロセッサなどの、例えば、装置で実装することができ、プロセッサは、一般に処理デバイスを指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能論理回路を含む。プロセッサは、例えば、コンピュータ、セルフォン、ＰＤＡ（個人向け／携帯情報端末）、およびエンドユーザ間での情報の伝達を容易にする他のデバイスなどの、通信デバイスも含む。

【0121】

本明細書で説明された様々なプロセスおよび特徴の実装は、様々な異なる機器またはアプリケーションで、特に、例えば、データ符号化および復号に関連する機器またはアプリケーションで具現することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、映像コーダ、映像デコーダ、映像コーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルフォン、ＰＤＡ、および他の通信デバイスを含む。明らかなように、機器は移動可能とすることができ、移動車両に設置することさえできる。

【0122】

加えて、方法は、プロセッサによって実行される命令によって実装することができ、そのような命令（および／または実装によって生成されたデータ値）を、例えば、集積回路、ソフトウェア搬送物、または例えば、ハードディスク、コンパクトディスケット、ＲＡＭ（「ランダムアクセスメモリ」）、もしくはＲＯＭ（「リードオンリメモリ」）などの他の記憶デバイスなどの、プロセッサ可読媒体に格納することができる。命令は、プロセッサ可読媒体上で有形に具現されるアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせの中に存在することができる。命令は、例えば、オペレーティングシステム、別個のアプリケーション、または両方の組み合わせの中に見出すことができる。したがって、プロセッサは、例えば、プロセスを実施するように構成されたデバイスと、プロセスを実施するための命令を有する（記憶デバイスなどの）プロセッサ可読媒体を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実装によって生成されたデータ値も格納することができる。

【0123】

当業者に明らかなように、実装は、例えば、格納または送信できる情報を搬送するようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実装の１つによって生成されたデータを含むことができる。例えば、信号を、説明された実施形態のシンタックスを書き込み、もしくは読み取るためのルールをデータとして搬送するように、または説明された実施形態によって書き込まれた実際のシンタックス値をデータとして搬送するようにフォーマットすることができる。そのような信号を、例えば、（例えば、スペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットは、例えば、データストリームの符号化、および符号化されたデータストリームを用いた搬送波の変調を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号を、知られているように、様々な異なる有線リンクまたは無線リンクを介して送信することができる。信号を、プロセッサ可読媒体に格納することができる。

【0124】

多くの実装が説明された。それにも係わらず、様々な変更を施し得ることが理解されよう。例えば、異なる実装の要素は、組み合わせ、補足し、変更し、または取り除いて、他の実装を生成することができる。さらに、オペレーションを機能ブロック間で交換することもできる。加えて、当業者は、開示された構造およびプロセスを他の構造およびプロセスで置き換えることができ、その結果の実装が、開示された実装と、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行して、少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、上記および他の実装が、本出願によって企図されており、以下の特許請求の範囲内にある。

【0125】

同様に、実装についての上の説明では、開示を簡素化し、様々な態様の１またはそれより多くの態様の理解を助ける目的で、様々な特徴が、単一の実装、図、または説明に一緒にグループ化されることもあることを理解されたい。しかし、開示のこの方法は、特許請求される発明が各請求項で明示的に列挙されるよりも多くの特徴を必要とするという意図を反映したものと解釈されるべきではない。むしろ、以下の特許請求の範囲が反映しているように、本発明の態様は、単一の上で開示された実施形態のすべての特徴よりも僅かな特徴に存し得る。したがって、請求項の各々は別個の実装も提供することが理解される。
(付記１)
映像イメージと前記映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化することであって、前記映像イメージと前記映像イメージに対応する前記奥行きイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されることと、
前記符号化されたイメージを、前記イメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べることと、
シグナリング情報を使用して、前記特定の順序を指示することと
を含む、方法。
(付記２)
前記シグナリング情報は、ＳＥＩメッセージまたは他の高レベルシンタックス内に含まれる、付記１に記載の方法。
(付記３)
前記ビットストリームは、国際標準化機構／国際電気標準会議ムービングピクチャエクスパーツグループ−４パート１０高度映像符号化規格／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の、多視点映像符号化拡張またはスケーラブル映像符号化拡張の一方またはそれより多くに準拠する、付記１に記載の方法。
(付記４)
前記特定の３Ｄ映像フォーマットの特定の成分は、１またはそれより多くの特定のビューまたは特定のレイヤに割り当てられ、前記特定のビューまたは前記特定のレイヤの１またはそれより多くを、別のビューまたは別のレイヤのための参照として使用して、それらの間の冗長性を利用することが可能である、付記１に記載の方法。
(付記５)
前記特定の３Ｄ映像フォーマットは、前記符号化されたイメージをそれに従って並べることができる、複数の異なる３Ｄ映像フォーマットのうちの１つであり、前記シグナリング情報は、前記複数の異なる３Ｄ映像フォーマットのうちから前記特定の３Ｄ映像フォーマットを指示する、付記１に記載の方法。
(付記６)
前記１組のイメージは、２次元映像イメージと、対応する奥行きイメージとを含む、付記１に記載の方法。
(付記７)
前記２次元映像イメージおよび前記対応する奥行きイメージは、第１の視点からのものであり、前記１組のイメージは、第２の視点からの、別の２次元映像イメージと、別の奥行きイメージとをさらに含み、前記別の奥行きイメージは、前記別の２次元映像イメージに対応する、付記６に記載の方法。
(付記８)
前記１組のイメージは、隠れ映像イメージと、隠れ奥行きイメージとをさらに含む、付記６に記載の方法。
(付記９)
前記隠れ映像イメージおよび前記隠れ奥行きイメージは、第１の視点からのものであり、前記１組のイメージは、第２の視点からの、別の隠れ映像イメージと、別の隠れ奥行きイメージとをさらに含み、前記別の隠れ奥行きイメージは、前記別の隠れ映像イメージに対応する、付記８に記載の方法。
(付記１０)
映像イメージと前記映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化するための手段であって、前記映像イメージと前記映像イメージに対応する前記奥行きイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、手段と、
前記符号化されたイメージを、前記イメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べるための手段と、
シグナリング情報を使用して、前記特定の順序を指示するための手段と
を備える、装置。
(付記１１)
プロセッサに、少なくとも、
映像イメージと前記映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化することであって、前記映像イメージと前記映像イメージに対応する前記奥行きイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されることと、
前記符号化されたイメージを、前記イメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べることと、
シグナリング情報を使用して、前記特定の順序を指示することと
を実行させるための命令を格納する、プロセッサ可読媒体。
(付記１２)
少なくとも、
映像イメージと前記映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化することであって、前記映像イメージと前記映像イメージに対応する前記奥行きイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されることと、
前記符号化されたイメージを、前記イメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べることと、
シグナリング情報を使用して、前記特定の順序を指示することと
を実行するように構成されたプロセッサを備える、装置。
(付記１３)
映像イメージと前記映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化するためのエンコーダ（３０５）であって、前記映像イメージと前記映像イメージに対応する前記奥行きイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、エンコーダ（３０５）と、
前記符号化されたイメージを、前記イメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べるビットストリームマルチプレクサ（３６０）と、
シグナリング情報を使用して、前記特定の順序を指示するメッセージ構成器（３６５）と
を備える、装置。
(付記１４)
映像イメージと前記映像イメージに対応する奥行きイメージとを含む、１組のイメージを符号化するためのエンコーダ（３０５）であって、前記映像イメージと前記映像イメージに対応する前記奥行きイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、エンコーダ（３０５）と、
前記符号化されたイメージを、前記イメージに関連する前記特定の３Ｄ映像フォーマットに基づいて、特定の順序でビットストリーム内に並べるビットストリームマルチプレクサ（３６０）と、
シグナリング情報を使用して、前記特定の順序を前記ビットストリーム内で指示するメッセージ構成器（３６５）と、
前記符号化されたイメージと前記シグナリング情報とを含む信号を変調するための変調器（７２０）と
を備える、装置。
(付記１５)
符号化された１組のイメージを含むビットストリームにアクセスすることであって、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されることと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスすることであって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づくことと、
前記シグナリング情報を使用して、前記１組のイメージを復号することと
を含む、方法。
(付記１６)
符号化された１組のイメージを含むビットストリームにアクセスするための手段であって、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、手段と、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスするための手段であって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、手段と
前記シグナリング情報を使用して、前記１組のイメージを復号するための手段と
を備える、装置。
(付記１７)
プロセッサに、少なくとも、
符号化された１組のイメージを含むビットストリームにアクセスすることであって、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されることと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスすることであって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づくことと
前記シグナリング情報を使用して、前記１組のイメージを復号することと
を実行させるための命令を格納する、プロセッサ可読媒体。
(付記１８)
少なくとも、
符号化された１組のイメージを含むビットストリームにアクセスすることであって、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化されることと、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスすることであって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づくことと
前記シグナリング情報を使用して、前記１組のイメージを復号することと
を実行するように構成されたプロセッサを備える、装置。
(付記１９)
符号化された１組のイメージを含むビットストリームにアクセスするためのビットストリームデマルチプレクサ（４６０）であって、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、ビットストリームデマルチプレクサ（４６０）と、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスするためのメッセージ解析器（４６５）であって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、メッセージ解析器（４６５）と、
前記シグナリング情報を使用して、前記１組のイメージを復号するためのデコーダ（４０５）と
を備える、装置。
(付記２０)
前記装置は、映像エンコーダまたは映像デコーダの少なくとも一方で実装される、付記１９に記載の装置。
(付記２１)
ビットストリームを含む信号を復調するための復調器（８１０）であって、前記ビットストリームは、符号化された１組のイメージを含み、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、復調器（８１０）と、
前記ビットストリームにアクセスするためのビットストリームデマルチプレクサ（４６０）と、
前記符号化された１組のイメージを前記ビットストリーム内に並べる特定の順序を指示するシグナリング情報にアクセスするためのメッセージ解析器（４６５）であって、前記特定の順序は、前記１組のイメージに関連する前記特定の３Ｄ映像フォーマットに基づく、メッセージ解析器（４６５）と、
前記シグナリング情報を使用して、前記１組のイメージを復号するためのデコーダ（４０５）と
を備える、装置。
(付記２２)
情報を含むようにフォーマットされた映像信号であって、前記映像信号は、符号化された１組のイメージをビットストリーム内に並べる特定の順序を指示するシグナリング情報を含むシグナリングセクションを含み、前記特定の順序は、前記１組のイメージに関連する特定の３Ｄ映像フォーマットに基づく、映像信号。
(付記２３)
前記符号化された１組のイメージを含む符号化ピクチャセクションであって、前記１組のイメージは、映像イメージと前記映像イメージに対応する奥行きイメージとを含み、前記１組のイメージは、前記特定の３Ｄ映像フォーマットに従って関連付けられ、前記１組のイメージは、前記１組のイメージのうちのイメージの間の冗長性を利用する方法で符号化される、符号化ピクチャセクション
をさらに含む付記２２に記載の映像信号。
(付記２４)
符号化された１組のイメージをビットストリーム内に並べる特定の順序を指示するシグナリング情報を含むシグナリングセクションを含む映像信号構造であって、前記特定の順序は、前記１組のイメージに関連する特定の３Ｄ映像フォーマットに基づく、映像信号構造。
(付記２５)
映像信号構造を格納するプロセッサ可読媒体であって、前記映像信号構造は、符号化された１組のイメージをビットストリーム内に並べる特定の順序を指示するシグナリング情報を含むシグナリングセクションを含み、前記特定の順序は、前記１組のイメージに関連する特定の３Ｄ映像フォーマットに基づく、プロセッサ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】