特許 6176871 ビデオ符号化のためのフレーム・パッキング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6176871

(24)【登録日】2017年7月21日

(45)【発行日】2017年8月9日

(54)【発明の名称】ビデオ符号化のためのフレーム・パッキング

(51)【国際特許分類】

   H04N 19/70 20140101AFI20170731BHJP

   H04N 19/597 20140101ALI20170731BHJP

   H04N 19/88 20140101ALI20170731BHJP

   H04N 19/80 20140101ALI20170731BHJP

   H04N 13/00 20060101ALI20170731BHJP

   H04N 13/02 20060101ALI20170731BHJP

【ＦＩ】

   H04N19/70

   H04N19/597

   H04N19/88

   H04N19/80

   H04N13/00 480

   H04N13/02 710

   H04N13/00 590

   H04N13/02 820

【請求項の数】14

【外国語出願】

【全頁数】71

(21)【出願番号】特願2016-10304(P2016-10304)

(22)【出願日】2016年1月22日

(62)【分割の表示】特願2011-547968(P2011-547968)の分割

【原出願日】2010年1月26日

(65)【公開番号】特開2016-105631(P2016-105631A)

(43)【公開日】2016年6月9日

【審査請求日】2016年1月29日

(31)【優先権主張番号】61/205,938

(32)【優先日】2009年1月26日

(33)【優先権主張国】US

(31)【優先権主張番号】61/269,955

(32)【優先日】2009年7月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】ティアン，ドン

(72)【発明者】

【氏名】レイ，ポーリン

(72)【発明者】

【氏名】ルオ，ジアンコン

(72)【発明者】

【氏名】イン，ペン

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 国際公開第２００８／１２７６７６（ＷＯ，Ａ１）

【文献】 国際公開第２００８／１５６３１８（ＷＯ，Ａ１）

【文献】 特開２００８−０３４８９２（ＪＰ，Ａ）

【文献】 Gary J. Sullivan (外1名)，Joint Draft 1.0 of Amendment to ITU-T Rec. H.264 | ISO/IEC 14496-10: Constrained Baseline Profile and supplemental enhancement information，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) JVT-AC204，米国，ITU-T，２００８年１１月 １日，p.1-7

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／００−１５／００

(57)【特許請求の範囲】

【請求項1】

方法であって、
単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャにアクセスする工程であって、前記ビデオ・ピクチャが、受け取られたビデオ・ストリームの一部である、前記工程と、
前記受け取られたビデオ・ストリームの一部である情報にアクセスする工程であって、前記アクセスされた情報は、前記アクセスされたビデオ・ピクチャにおける前記複数のピクチャがどのようにして合成されるかを示し、前記アクセスされた情報は、付加拡張情報（ＳＥＩ）メッセージに含まれ、空間インターリーブ情報及びサンプリング情報を含み、前記空間インターリーブ情報は、空間インターリーブ・タイプを示し、前記空間インターリーブ・タイプは、前記単一のピクチャを形成するうえで前記複数のピクチャに適用される、サイドバイサイド・インターリーブ、上下インターリーブ、行単位インターリーブ、列単位インターリーブ、又はチェッカーボード・インターリーブであり、前記サンプリング情報は、別の解像度に前記複数のピクチャそれぞれをアップサンプリングするためにアップサンプリング・フィルタに関する１つ又は複数のパラメータを示し、前記アップサンプリング・フィルタに関する１つ又は複数のパラメータはフィルタリング方向を示すパラメータを含み、前記空間インターリーブ情報は関係情報を更に含み、前記関係情報は、前記複数のピクチャが画像のステレオ・ビューであること、前記複数のピクチャが関連していないこと、前記複数のピクチャが２Ｄ画像及びその関連した深度マップ（２Ｄ＋Ｚ）であること、前記複数のピクチャが、２Ｄ＋Ｚの複数の組（ＭＶＤ）であること、前記複数のピクチャが、層状深度ビデオ形式（ＬＤＶ）で画像を表すこと、又は、前記複数のピクチャが、２つのＬＤＶ（ＤＥＳ）の組における画像を表すこと、を示し、前記空間インターリーブ・タイプを示す構文要素は、前記関係情報を示す構文要素とは異なる、前記工程と、
前記ビデオ・ピクチャを復号して、前記複数のピクチャのうちの少なくとも１つのピクチャを復号したものを提供する工程と、
を含む、前記方法。

【請求項2】

請求項１記載の方法であって、前記復号することは、前記空間インターリーブ情報及び前記サンプリング情報に基づいて行われる、前記方法。

【請求項3】

請求項１記載の方法であって、前記アクセスされた情報は、更に、カメラ・パラメータ情報を含み、前記カメラ・パラメータ情報は、カメラの焦点距離、基線距離、少なくとも１つのカメラ位置、前記カメラと、前記複数のピクチャにおける画像との間の最小距離を示すためのＺｎｅａｒパラメータ、前記カメラと前記複数のピクチャ内の前記画像間の最大距離を示すためのＺｆａｒパラメータ、３×３内部マトリクス、３×３回転マトリクス、及び３Ｄ変換ベクトルのうちの少なくとも１つを含み、前記復号することは更に、前記カメラ・パラメータ情報に基づく、前記方法。

【請求項4】

請求項１記載の方法であって、前記サンプリング情報は、前記サンプリング情報がアップサンプリングに関係するか、又はダウンサンプリングに関係するかを示すパラメータ、サンプリング係数、サンプリング・フィルタ・タイプ、フィルタ係数の数、及び１つ又は複数のサンプリング・フィルタ係数値のうちの少なくとも１つを含む、前記方法。

【請求項5】

請求項４記載の方法であって、前記サンプリング・フィルタ・タイプは、２次元対称ＦＩＲフィルタ、補間フィルタ、双線形フィルタ、キュービック・フィルタ、スプライン・フィルタ、ウィーナー・フィルタ、最小二乗フィルタ、６タップＡＶＣフィルタ、４タップＳＶＣフィルタ、２Ｄのカストマイズされたフィルタを含むカスタム・フィルタ、１Ｄフィルタ、又は非線形フィルタとなるサンプリング・フィルタのタイプを示す、前記方法。

【請求項6】

請求項４記載の方法であって、前記復号することは、前記アクセスされた情報に含まれるダウンサンプリング・フィルタ係数値から１つ又は複数のアップサンプリング・フィルタ係数値の組を導き出す工程を更に含む、前記方法。

【請求項7】

請求項１記載の方法であって、前記アクセスされた情報に基づいて、前記復号された表現の更なる処理のための出力として前記復号された表現及び前記アクセスされた情報を提供する工程を更に含む、前記方法。

【請求項8】

請求項１記載の方法であって、前記アップサンプリング・フィルタに関係する前記１つ又は複数のパラメータは、前記単一のピクチャに前記複数のピクチャを合成するよう前記複数のピクチャのうちの１つ又は複数のダウンサンプリングに使用するフィルタ・パラメータを含む、前記方法。

【請求項9】

請求項８記載の方法であって、ダウンサンプリングに使用されるフィルタ・パラメータは、前記復号された表現を供給するためにアップサンプリングにおいて使用するアップサンプル・フィルタ・パラメータを求めるうえで使用可能である、前記方法。

【請求項10】

方法であって、
単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャを符号化する工程と、
アクセスされたビデオ・ピクチャにおける前記複数のピクチャがどのようにして合成されるかを示す情報を生成する工程であって、前記生成された情報は、付加拡張情報（ＳＥＩ）メッセージに含まれ、空間インターリーブ情報及びサンプリング情報を含み、前記空間インターリーブ情報は、空間インターリーブを示し、前記空間インターリーブは、前記単一のピクチャを形成するうえで前記複数のピクチャに適用される、サイドバイサイド・インターリーブ、上下インターリーブ、行単位インターリーブ、列単位インターリーブ、又はチェッカーボード・インターリーブであり、前記サンプリング情報は、別の解像度に前記複数のピクチャそれぞれをアップサンプリングするためにアップサンプリング・フィルタに関する１つ又は複数のパラメータを示し、前記アップサンプリング・フィルタに関する１つ又は複数のパラメータはフィルタリング方向を示すパラメータを含み、前記空間インターリーブ情報は関係情報を更に含み、前記関係情報は、前記複数のピクチャが画像のステレオ・ビューであること、前記複数のピクチャが関連していないこと、前記複数のピクチャが２Ｄ画像及びその関連した深度マップ（２Ｄ＋Ｚ）であること、前記複数のピクチャが、２Ｄ＋Ｚの複数の組（ＭＶＤ）であること、前記複数のピクチャが、層状深度ビデオ形式（ＬＤＶ）で画像を表すこと、又は、前記複数のピクチャが、２つのＬＤＶ（ＤＥＳ）の組における画像を表すこと、を示す、前記工程と、
前記符号化されたビデオ・ピクチャ及び前記生成された情報を含むビットストリームを形成する工程であって、前記生成された情報は、前記符号化されたビデオ・ピクチャを処理するうえで使用するための情報を提供する、前記工程と、
を含む、前記方法。

【請求項11】

請求項１０記載の方法であって、前記サンプリング情報は、前記サンプリング情報がアップサンプリングに関係するか、又はダウンサンプリングに関係するかを示すパラメータ、サンプリング係数、サンプリング・フィルタ・タイプ、フィルタ係数の数、及び１つ又は複数のサンプリング・フィルタ係数値のうちの少なくとも１つを含む、前記方法。

【請求項12】

請求項１１記載の方法であって、前記サンプリング・フィルタ・タイプは、２次元対称ＦＩＲフィルタ、補間フィルタ、双線形フィルタ、キュービック・フィルタ、スプライン・フィルタ、ウィーナー・フィルタ、最小二乗フィルタ、６タップＡＶＣフィルタ、４タップＳＶＣフィルタ、２Ｄのカストマイズされたフィルタを含むカスタム・フィルタ、１Ｄフィルタ、又は非線形フィルタとなるサンプリング・フィルタのタイプを示す、前記方法。

【請求項13】

装置であって、
単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャを符号化する手段と、
ビデオ・ピクチャにおける前記複数のピクチャがどのようにして合成されるかを示す情報を生成する手段であって、前記生成された情報は、付加拡張情報（ＳＥＩ）メッセージに含まれ、空間インターリーブ情報及びサンプリング情報を含み、前記空間インターリーブ情報は、空間インターリーブを示し、前記空間インターリーブは、前記単一のピクチャを形成するうえで前記複数のピクチャに適用される、サイドバイサイド・インターリーブ、上下インターリーブ、行単位インターリーブ、列単位インターリーブ、又はチェッカーボード・インターリーブであり、前記サンプリング情報は、別の解像度に前記複数のピクチャそれぞれをアップサンプリングするためにアップサンプリング・フィルタに関する１つ又は複数のパラメータを示し、前記アップサンプリング・フィルタに関する１つ又は複数のパラメータはフィルタリング方向を示すパラメータを含み、前記空間インターリーブ情報は関係情報を更に含み、前記関係情報は、前記複数のピクチャが画像のステレオ・ビューであること、前記複数のピクチャが関連していないこと、前記複数のピクチャが２Ｄ画像及びその関連した深度マップ（２Ｄ＋Ｚ）であること、前記複数のピクチャが、２Ｄ＋Ｚの複数の組（ＭＶＤ）であること、前記複数のピクチャが、層状深度ビデオ形式（ＬＤＶ）で画像を表すこと、又は前記複数のピクチャが、２つのＬＤＶ（ＤＥＳ）の組における画像を表すこと、を示す、前記手段と、
前記符号化されたビデオ・ピクチャ及び前記生成された情報を含むビットストリームを形成する手段であって、前記生成された情報は、前記符号化されたビデオ・ピクチャを処理するうえで使用するための情報を提供する、前記手段と、を備える、前記装置。

【請求項14】

装置であって、
ビデオ・ピクチャの符号化を含む符号化ピクチャ部を送信する手段であって、前記ビデオ・ピクチャが単一のピクチャに合成された複数のピクチャを含む符号化ピクチャ部を送信する、前記手段と、
前記ビデオ・ピクチャにおける前記複数のピクチャがどのようにして合成されるかを示す生成された情報の符号化を含むシグナリング部を送信する手段と、を備え、
前記生成された情報は、付加拡張情報（ＳＥＩ）メッセージに含まれ、空間インターリーブ情報及びサンプリング情報を含み、
前記空間インターリーブ情報は、空間インターリーブを示し、前記空間インターリーブは、前記単一のピクチャを形成するうえで前記複数のピクチャに適用される、サイドバイサイド・インターリーブ、上下インターリーブ、行単位インターリーブ、列単位インターリーブ、又はチェッカーボード・インターリーブであり、
前記サンプリング情報は、別の解像度に前記複数のピクチャそれぞれをアップサンプリングするためにアップサンプリング・フィルタに関する１つ又は複数のパラメータを示し、前記アップサンプリング・フィルタに関する１つ又は複数のパラメータはフィルタリング方向を示すパラメータを含み、
前記空間インターリーブ情報は関係情報を更に含み、前記関係情報は、前記複数のピクチャが画像のステレオ・ビューであること、前記複数のピクチャが関連していないこと、前記複数のピクチャが２Ｄ画像及びその関連した深度マップ（２Ｄ＋Ｚ）であること、前記複数のピクチャが、２Ｄ＋Ｚの複数の組（ＭＶＤ）であること、前記複数のピクチャが、層状深度ビデオ形式（ＬＤＶ）で画像を表すこと、又は、前記複数のピクチャが、２つのＬＤＶ（ＤＥＳ）の組における画像を表すこと、を示し、
前記生成された情報は、前記符号化されたビデオ・ピクチャを復号するうえで使用するための情報を提供する、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本出願は、（１）「Ｓｐａｔｉａｌ Ｉｎｔｅｒｌｅａｖｉｎｇ」と題する、西暦２００９年１月２６日付出願の米国特許仮出願第６１／２０５９３８号（代理人整理番号ＰＵ０９００１０）、及び（２）「Ｃｏｍｍｕｎｉｃａｔｉｎｇ Ｆｉｌｔｅｒ Ｐａｒａｍ ｅｔｅｒｓ ｆｏｒ Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ」と題する西暦２００９年７月１日付出願の米国特許仮出願第６１／２６９９５５号（代理人整理 番号ＰＵ０９００８４）それぞれの利益を主張する。

【0002】

本出願は、「Ｔｉｌｉｎｇ Ｉｎ Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ Ａｎｄ Ｄｅｃｏ ｄｉｎｇ」と題する、国際出願日が西暦２００８年４月１１日である国際出願（ＰＣＴ／ＵＳ２００８／００４７４７号）にも関する。本出願の原文は、米国特許出願第１２／４ｒ５０８２９号（代理人整理番号ＰＵ０７００７８）としても識別されている。

【0003】

（技術分野）
概括的に、ビデオ符号化及び／又は復号化の分野に関する実現形態を説明する。

【背景技術】

【0004】

立体ディスプレイ及び自動立体ディスプレイを含む、市場における３Ｄディスプレイの
出現により、より多くの３Ｄコンテンツが利用可能になることに対する需要が急増している。通常、複数のビューを伴い、場合によっては、対応する深度マップも伴う３Ｄコンテンツを符号化することは、困難な作業である。３Ｄコンテンツの各フレームは、システムが膨大な量のデータを処理することを必要とし得る。通常の３Ｄビデオ・アプリケーションでは、マルチビュー・ビデオ信号は、例えば、処理の制限、記憶の制限、及び送信帯域幅における制限により、効率的に伝送し、又は記憶する必要がある。マルチビュー・ビデオ符号化（ＭＶＣ）は、複数のビューの符号化を容易にするために高水準構文を使用して、Ｈ．２６４／高度ビデオ符号化（ＡＶＣ）を拡張する。この構文は、画像プロセッサによる３Ｄ画像の後の処理に役立つ。

【0005】

Ｈ．２６４／ＡＶＣは、表面的には２Ｄビデオ用に企図されているが、フレーム・パッキング手法を利用することにより、ステレオ・コンテンツを伝送するために使用することも可能である。フレーム・パッキングの手法は、単純に以下のように示される。すなわち、符号化器側では、２つのビュー又はピクチャは一般に、単一の１つのビデオ・フレームにパッキングするためにダウンサンプリングされ、これは次いで、ビットストリームとしての出力のためにＨ．２６４／ＡＶＣ符号化器に供給される。復号化器側では、ビットストリームが復号化され、回復フレームが次いでアンパックされる。アンパックは、回復フレームからの元の２つのビューを抽出することを可能にし、一般に、表示のためにビューをレンダリングすることが可能であるように各ビューに対して元のサイズを回復するためのアップサンプリング動作を伴う。この手法は、マルチビュー画像、又は深度情報等を備えた２つ以上のビューのために使用することができる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

フレーム・パッキングは、フレーム及びそのビューに関連付けられた補助情報の存在に依存し得る。付加拡張情報（ＳＥＩ）メッセージは、特定のフレーム・パッキング情報を伝達するために使用し得る。例として、ＡＶＣの修正案では、構成されたピクチャがチェッカーボード空間インターリーブによって構成されることを含む、パッキングされたピクチャの種々の空間インターリーブ特性を復号化器に通知するためにＳＥＩメッセージを使用し得るということが提案されている。ＳＥＩメッセージを使用することにより、ＡＶＣを直接使用して、ステレオ・ビデオ画像のチェッカーボード・インターリーブされたピクチャを符号化することが考えられる。図２６は、チェッカーボード・インターリーブの既知の例を示す。しかし、現在まで、ＳＥＩメッセージ・コンテンツ、及び他の高水準構文のコンテンツは、フレーム・パッキングを受けたピクチャ又はビューに関連する情報の伝達において制限されてきた。

【課題を解決するための手段】

【0007】

一般的な局面によれば、単一のピクチャに合成された複数のピクチャを含むビデオ・ピクチャが符号化される。アクセスされたビデオ・ピクチャにおける複数のピクチャがどのようにして合成されるかを示す情報が生成される。生成された情報は、空間インターリーブ情報及びサンプリング情報を含む。空間インターリーブ情報は、単一のピクチャを構成するうえで複数のピクチャに適用される空間インターリーブを示す。サンプリング情報は、所望の解像度に複数のピクチャそれぞれを復元するためのアップサンプリング・フィルタに関する１つ又は複数のパラメータを示す。アップサンプリング・フィルタに関する１つ又は複数のパラメータは、フィルタリング方向の表示を含む。符号化されたビデオ・ピクチャ及び生成された情報を含むビットストリームが生成される。生成された情報は、符号化されたビデオ・ピクチャの処理において使用するための情報を提供する。

【0008】

別の一般的な局面によれば、ビデオ信号又はビデオ構造は、符号化されたピクチャ部、及びシグナリング部を含む。符号化されたピクチャ部は、ビデオ・ピクチャの符号化を含み、ビデオ・ピクチャは、単一のピクチャに合成された複数のピクチャを含む。シグナリング部は、アクセスされたビデオ・ピクチャにおける複数のピクチャがどのようにして合成されるかを示す生成された情報の符号化を含む。生成された情報は、空間インターリーブ情報及びサンプリング情報を含む。空間インターリーブ情報は、単一のピクチャを構成するうえで複数のピクチャに適用される空間インターリーブを示す。サンプリング情報は、所望の解像度に複数のピクチャそれぞれを復元するためのアップサンプリング・フィルタに関する１つ又は複数のパラメータを示す。アップサンプリング・フィルタに関する１つ又は複数のパラメータは、フィルタリング方向の表示を含む。生成された情報は、符号化されたビデオ・ピクチャの復号化において使用するための情報を提供する。

【0009】

別の一般的な局面によれば、単一のピクチャに合成される複数のピクチャを含むビデオ・ピクチャがアクセスされ、ビデオ・ピクチャは、受け取られたビデオ・ストリームの一部である。受け取られたビデオ・ストリームの一部である情報がアクセスされ、アクセスされた情報は、アクセスされたビデオ・ピクチャにおける複数のピクチャがどのようにして合成されるかを示す。アクセスされた情報は、空間インターリーブ情報及びサンプリング情報を含む。空間インターリーブ情報は、単一のピクチャを構成するうえで複数のピクチャに適用される空間インターリーブを示す。サンプリング情報は、所望の解像度に複数のピクチャそれぞれを復元するためのアップサンプリング・フィルタに関する１つ又は複数のパラメータを示す。アップサンプリング・フィルタに関する１つ又は複数のパラメータは、フィルタリング方向の表示を含む。ビデオ・ピクチャは、複数のピクチャのうちの少なくとも１つの復号化された表現を供給するよう復号化される。

【図面の簡単な説明】

【0010】

【図1】単一のフレーム上にタイリングされた４つのビューの例を示す図である。

【図2】単一のフレーム上で反転させられ、タイリングされた４つのビューの例を示す図である。

【図3】本願の原理を適用し得るビデオ符号化器の実現形態を示すブロック図である。

【図4】本願の原理を適用し得るビデオ復号化器の実現形態を示すブロック図である。

【図5A】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューについてピクチャを符号化する方法の実現形態を示すフロー図である。

【図5B】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューについてピクチャを符号化する方法の実現形態を示すフロー図である。

【図6A】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューについてピクチャを復号化する方法の実現形態を示すフロー図である。

【図6B】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューについてピクチャを復号化する方法の実現形態を示すフロー図である。

【図7A】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度についてピクチャを符号化する方法の実現形態を示すフロー図である。

【図7B】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度についてピクチャを符号化する方法の実現形態を示すフロー図である。

【図8A】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度についてピクチャを復号化する方法の実現形態を示すフロー図である。

【図8B】ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度についてピクチャを復号化する方法の実現形態を示すフロー図である。

【図9】深度信号の例を示す図である。

【図10】タイルとして加えられた深度信号の例を示す図である。

【図11】単一のフレーム上にタイリングされた５つのビューの例を示す図である。

【図12】本願の原理を適用し得る例示的なマルチビュー・ビデオ符号化（ＭＶＣ）符号化器を示すブロック図である。

【図13】本願の原理を適用し得る例示的なマルチビュー・ビデオ符号化（ＭＶＣ）復号化器を示すブロック図である。

【図14】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用したピクチャの符号化の準備において複数のビューについてピクチャを処理する方法の実現形態を示すフロー図である。

【図15A】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビューについてピクチャを符号化する方法の実現形態を示すフロー図である。

【図15B】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビューについてピクチャを符号化する方法の実現形態を示すフロー図である。

【図16】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用したピクチャの復号化の準備において複数のビューについてピクチャを処理する方法の実現形態を示すフロー図である。

【図17A】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビューについてピクチャを復号化するための方法の実現形態を示すフロー図である。

【図17B】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビューについてピクチャを復号化するための方法の実現形態を示すフロー図である。

【図18】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用したピクチャの符号化の準備における複数のビュー及び深度についてのピクチャの処理の方法の実現形態を示すフロー図である。

【図19A】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビュー及び深度についてピクチャを符号化する方法の実現形態を示すフロー図である。

【図19B】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビュー及び深度についてピクチャを符号化する方法の実現形態を示すフロー図である。

【図20】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用したピクチャの復号化の準備において複数のビュー及び深度についてピクチャを処理する方法の実現形態を示すフロー図である。

【図21A】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビュー及び深度についてピクチャを復号化する方法の実現形態を示すフロー図である。

【図21B】ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用して複数のビュー及び深度についてピクチャを復号化する方法の実現形態を示すフロー図である。

【図22】画素レベルでのタイリングの例を示す図である。

【図23】本願の原理を適用し得るビデオ処理装置の実現形態を示すブロック図である。

【図24】例示的な３Ｄビデオ・システムを示す、単純化された図である。

【図25】別々の参照ビューからの画像を示す例示的な左深度マップ及び右深度マップである。

【図26】チェッカーボード・インターリーブを使用した、単一のピクチャ又はフレームへの２つの構成ピクチャの空間インターリーブを示す例示的なブロック図である。

【図27】２つの構成ピクチャのサイドバイサイド空間インターリーブの例示的なピクチャを示す図である。

【図28】２つの構成ピクチャの上下空間インターリーブの例示的なピクチャを示す図である。

【図29】２つの構成ピクチャの行単位の空間インターリーブの例示的なピクチャを示す図である。

【図30】２つの構成ピクチャの列単位の空間インターリーブの例示的なピクチャを示す図である。

【図31】右側のピクチャを水平に反転させた２つの構成ピクチャのサイドバイサイド空間インターリーブの例示的なピクチャを示す図である。

【図32】下のピクチャを垂直に反転させた２つの構成ピクチャの上下空間インターリーブの例示的なピクチャを示す図である。

【図33】構成ピクチャが、層状深度ビデオ（ＬＤＶ）フォーマットを表す例示的なインターリーブされたピクチャ又はフレームを示す図である。

【図34】構成ピクチャが２Ｄ＋深度フォーマットを表す例示的なインターリーブされたピクチャ又はフレームを示す図である。

【図35】情報のフレーム・パッキングのためにＳＥＩメッセージを使用してビデオ画像の符号化及び復号化を処理するための別々の実施例の例示的なフローチャートを示す図である。

【図36】情報のフレーム・パッキングのためにＳＥＩメッセージを使用してビデオ画像の符号化及び復号化を処理するための別々の実施例の例示的なフローチャートを示す図である。

【図37】情報のフレーム・パッキングのためにＳＥＩメッセージを使用してビデオ画像の符号化及び復号化を処理するための別々の実施例の例示的なフローチャートを示す図である。

【図38】情報のフレーム・パッキングのためにＳＥＩメッセージを使用してビデオ画像の符号化及び復号化を処理するための別々の実施例の例示的なフローチャートを示す図である。

【図39】本願の原理を適用し得る例示的なビデオ送信システムを示す図である。

【図40】本願の原理を適用し得る例示的なビデオ受信システムを示す図である。

【図41】本願の原理を適用し得る例示的なビデオ処理装置を示す図である。

【発明を実施するための形態】

【0011】

１つ又は複数の実現形態の詳細は、添付図面及び以下の明細書に記載する。特定の１つのやり方で説明されていても、実現形態を種々のやり方で構成又は実施し得るということは明らかであるはずである。例えば、実現形態は、方法として行うか、動作の組を行うよう構成された装置として実施するか、動作の組を行うための命令を記憶した装置として実施するか、又は信号内で実施し得る。他の局面及び構成は、以下の詳細な説明を添付図面及び特許請求の範囲とともに検討することにより、明らかになるであろう。

【0012】

本明細書及び特許請求の範囲に記載の例示的な実施例は種々の実施例を示し、前述の例示的な実施例は、いかなるやり方でも本開示の範囲を限定するものと解されないこととする。

【実施例】

【0013】

種々の実現形態は、ビデオ符号化及び復号化におけるビュー・タイリングの方法及び装置に関する。よって、本明細書及び特許請求の範囲に明記又は明示していないが、本願の原理を実施し、その趣旨及び範囲内に含まれる種々の構成を当業者が考え出すことができるであろうということが認識されるであろう。

【0014】

本明細書及び特許請求の範囲記載の実施例及び条件的な文言は全て、本願の原理、及び当該技術分野を発展させるために本発明者が寄与する概念を本開示の読者が理解する手助けとなるための教育学的目的を意図しており、前述の具体的に記載された例及び条件に限定することなく、解されるものとする。

【0015】

更に、本願の原理の実施例、局面、及び原理を記載する本明細書及び特許請求の範囲記載の文言は全て、その構造上及び機能上の均等物を包含することが意図されている。更に、前述の均等物が、現在知られている均等物、及び将来開発される均等物、すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素を含むことが意図されている。

【0016】

よって、例えば、本明細書及び特許請求の範囲記載のブロック図が、例示的なシステム構成部分及び／回路の概念的なビューを表すということは、当業者によって理解されるであろう。同様に、何れのフローチャート、フロー図、状態遷移図、擬似コード等も、当該コンピュータ又はプロセッサが明示されているかにかかわらず、コンピュータ読み取り可能な媒体において実質的に表され、コンピュータ又はプロセッサによってそのように実行され得る種々の処理を表すということが理解されるであろう。

【0017】

図に示す種々の構成要素の機能は、適切なソフトウェアに関してソフトウェアを実行することができるハードウェア、及び専用ハードウェアの使用によって提供し得る。プロセッサによって提供されると、機能は、単一専用プロセッサ、単一共有プロセッサ、又は、個々の複数のプロセッサ（この一部は共有され得る）によって提供し得る。更に、「プロセッサ」又は「コントローラ」という語が明示的に使用されていることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解されるべきでなく、暗黙的には、限定列挙でないが、ディジタル信号プロセッサ（「ＤＳＰ」）のハードウェア、ソフトウェアを記憶するためのリードオンリメモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び不揮発性記憶装置を含み得る。

【0018】

従来のものであり、かつ／又はカスタムのものである他のハードウェアも、種々の実現形態の実現に含まれ得る。例えば、図に示すスイッチは何れも概念的なものに過ぎない。前述の機能は、プログラム・ロジックの動作によるか、専用ロジックの動作によるか、プログラム制御及び専用ロジックの相互作用によるか、又は手作業で行い得、具体的な手法は、コンテキストから更に具体的に理解されるように実現者によって選択可能である。

【0019】

本願の特許請求の範囲では、特定された機能を行う手段として表される構成要素は何れも、例えば、ａ）その機能を行う回路構成要素の組み合わせ、又は、ｂ）上記機能を行うための当該ソフトウェアを実行するために、適切な回路と組み合わせた何れかの形式のソフトウェア（したがって、ファームウェア、マイクロコード等を含む）を含むその機能を行う何れかのやり方を包含することが意図されている。前述の特許請求の範囲によって規定されたような本願の原理は、記載された種々の手段によって提供される機能が、特許請求の範囲に求められるやり方で組み合わせされ、集約されるということに存在している。よって、前述の機能を提供することが可能な手段は何れも、本明細書及び特許請求の範囲に記載されたものと均等であるとみなされる。

【0020】

本願の原理の「一実施例」（若しくは「一実現形態」）又は「実施例」（若しくは「実現形態」）に明細書中で言及していることは、前述の実施例に関して説明した特定の構成、構造、特性等が本願の原理の少なくとも１つの実施例に含まれているということを意味している。よって、本明細書の随所に「一実施例における」又は「実施例における」という句が存在していることは、必ずしも、全て、同じ実施例を表している訳でない。

【0021】

本願の原理の１つ又は複数の実施例は、本明細書及び特許請求の範囲では、ＭＰＥＧ−４ＡＶＣ標準に関して説明しているが、本出願に記載した原理は前述の標準に限定されるものでなく、よって、本出願の原理の趣旨を維持しながら、他の標準、勧告、及びそれらの拡張（特に、ＭＰＥＧ−４ＡＶＣ標準の拡張を含む、ビデオ符号化標準、勧告、及びそれらの拡張）に関して利用し得る。

【0022】

更に、１つ又は複数の他の実施例は本明細書及び特許請求の範囲では、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化拡張に関して説明しているが、本願の原理は前述の拡張及び／又は前述の標準のみに限定されるものでなく、よって、本出願の原理の趣旨を維持しながら、マルチビュー・ビデオ符号化に関する他のビデオ符号化標準、勧告及び前述の拡張に関して利用し得る。マルチビュー・ビデオ符号化（ＭＶＣ）は、マルチビューシーケンスの符号化のための圧縮フレームワークである。マルチビュー・ビデオ符号化（ＭＶＣ）シーケンスは、別の視点から同じシーンをキャプチャする２つ以上のビデオ・シーケンスの組である。

【0023】

更に、ビデオ・コンテンツに関する深度情報を使用する他の１つ又は複数の実施例を本明細書及び特許請求の範囲において説明しているが、本出願の原理は前述の実施例に限定されるものでなく、よって、本願の原理の趣旨を維持しながら、深度情報を使用しない他の実施例を実現し得る。

【0024】

更に、本明細書及び特許請求の範囲記載の「高水準構文」は、階層的にマクロブロック層よりも上に位置するビットストリームに存在する構文を表す。例えば、本明細書及び特許請求の範囲記載の高水準構文は、限定列挙でないが、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）及びネットワーク抽象化レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルにおける構文を表し得る。

【0025】

国際標準化機構／国際電子技術委員会（ＩＳＯ／ＩＥＣ）動画像専門家グループ−４（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合、電気通信セクタ（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降、「ＭＰＥＧ−４ ＡＶＣ Ｓｔａｎ ｄａｒｄ」と呼ぶ）に基づいたマルチビュー符号化（ＭＶＣ）の現在の実現形態では、基準ソフトウェアは、単一の符号化器により、各ビューを符号化し、ビュー間参照を考慮に入れることにより、マルチビュー予測を実現する。各ビューはその元の解像度で符号化器により、別個のビットストリームとして符号化され、その後、ビットストリームは全て、単一のビットストリームを形成するよう合成され、上記単一のビットストリームは次いで復号化される。各ビューは別個のＹＵＶ復号化された出力を生成する。

【0026】

３Ｄ画像の生成及び使用をサポートする例示的なビデオ・システムを図２４に模式的に示す。システムのコンテンツ生成側は、限定列挙でないが、２Ｄ画像から３Ｄ画像への変換、同時に動作する複数のカメラ、デプス・カメラ、及びステレオ・カメラを含む種々の手段による画像キャプチャを示す。同じシーンの左ビュー及び右ビューについてキャプチャされた深度マップ情報（例えば、Ｚ情報）の例を図２５に示す。前述の手法はそれぞれ、ビデオ画像コンテンツをキャプチャするのみならず、一部は、更に、キャプチャされたビデオ画像に関連付けられた特定の深度情報も生成する。処理され、符号化されると、前述の情報は全て、配信、送信、及び最終的なレンダリングに利用可能である。メタデータも、３Ｄビデオの後のレンダリングにおける使用のためにビデオ・コンテンツとともに生成される。レンダリングは、２Ｄディスプレイ・システム又は３Ｄディスプレイを使用して行うことが可能である。３Ｄディスプレイは、図に示すようにステレオ・ディスプレイからマルチビュー３Ｄディスプレイまで多様であり得る。

【0027】

マルチビュー予測の別の手法には、ビューの組を擬似ビューにグループ化することが関係する。前述の手法の一例では、考えられるダウンサンプリング又は他の動作により、より大きなフレーム上又はスーパーフレーム上に、（同時にサンプリングされる）合計でＭ個のビューのうちのＮ個のビュー毎にピクチャをタイリングすることが可能である。図１に移れば、単一のフレーム上にタイリングされた４つのビューの例の全体を参照符号１００で示す。４つのビューは全て、それらの通常の向きにある。

【0028】

図２に移れば、単一のフレーム上に反転させ、タイリングされた４つのビューの例の全体を参照符号２００で示す。左上ビューはその通常の向きにある。右上ビューは水平方向に反転させている。左下ビューは垂直方向に反転させている。右下ビューは水平方向及び垂直方向に反転させている。よって、４つのビューが存在している場合、各ビューからのピクチャは、タイルのようなスーパーフレームにおいて配置される。これは、解像度が大きな、符号化されていない単一の入力シーケンスをもたらす。

【0029】

あるいは、より小さな解像度をもたらすよう画像をダウンサンプリングすることが可能である。よって、併せてタイリングされる別々のビューをそれぞれが含む複数のシーケンスを作成する。前述のシーケンスはその場合、擬似ビューを形成し、ここで、各擬似ビューは、別々のＮ個のタイリングされたビューを含む。図１は一擬似ビューを示し、図２は別の擬似ビューを示す。これらの擬似ビューは次いで、ＩＳＯ／ＩＥＣＭＰＥＧ−２標準及びＭＰＥＧ−４ ＡＶＣ標準などの既存のビデオ符号化標準を使用して符号化することが可能である。

【0030】

マルチビュー符号化の更に別の手法は単に、新たな標準を使用して、別々のビューを独立して符号化し、復号化後、プレイヤによって要求されるようにビューをタイリングすることが関係する。

【0031】

更に、別の手法では、ビューは、画素単位のやり方でタイリングすることも可能である。例えば、４つのビューを含むスーパービューでは、画素（ｘ，ｙ）はビュー０からであり得る一方、画素（ｘ＋１，ｙ）はビュー１からであり得、画素（ｘ，ｙ＋１）はビュー２からであり得、画素（ｘ＋１，ｙ＋１）はビュー３からであり得る。

【0032】

多くのディスプレイ製造業者は、単一のフレーム上に別々のビューを配置又はタイリングし、次いで、それぞれの位置からのビューを抽出し、それらをレンダリングする前述のフレームワークを使用する。前述の場合には、ビットストリームがそのような特性を有しているかを判定する標準的なやり方は存在しない。よって、システムが、大きなフレームにおいて別々のビューのピクチャをタイリングする方法を使用する場合、別々のビューを抽出する方法は専用のものである。

【0033】

しかし、ビットストリームがそのような特性を有しているかを判定する標準的なやり方は存在しない。本出願では、表示又は他の後処理を支援するために前述の情報をレンダラ又はプレイヤが抽出することを容易にするために高水準構文を提案している。更に、サブピクチャが別々の解像度を有し、当該ビューを最終的にレンダリングするために、ある程度のアップサンプリングが必要であり得るということも考えられる。ユーザは、高水準構文にアップサンプルの方法を示させたいことがあり得る。更に、焦点深度を変えるためのパラメータも送信することが可能である。

【0034】

一実施例では、別のビューに属するサブピクチャを各ピクチャが含むＭＰＥＧ−４ＡＶＣ標準互換ビットストリームにおいてマルチビュー情報をシグナリングするための新たな付加拡張情報（ＳＥＩ）を提案している。実施例は、前述のフレームワークを使用し得る３次元（３Ｄ）モニタに対する、マルチビュー・ビデオ・ストリームの簡単かつ便利な表示を意図している。上記概念は、高水準構文を使用した前述の情報をシグナリングする他のビデオ符号化標準及び勧告に拡張することが可能である。

【0035】

更に、一実施例では、マルチビュー・ビデオ符号化器及び／又は復号化器に送出される前にビューをどのようにして配置するかというシグナリング方法を提案している。効果的には、実施例は、マルチビュー符号化の単純化された実現形態につながり得、符号化効率を向上させ得る。特定のビューを集約し、擬似ビュー又はスーパービューを形成することが可能であり、次いで、タイリングされたスーパービューは、例えば、マルチビュー・ビデオ符号化の現行のＭＰＥＧ−４ ＡＶＣ標準ベースの実現形態のように、通常のマルチビュー・ビデオ符号化器及び／又は復号化器により、通常のビューとして扱われる。表１に示す新たなフラグは、擬似ビューの手法の使用をシグナリングするためにマルチビュー・ビデオ符号化のシーケンス・パラメータ・セット（ＳＰＳ）の拡張において提案されている。実施例は、前述のフレームワークを使用し得る３Ｄモニタ上の、マルチビュー・ビデオ・ストリームの簡単かつ便利な表示を意図している。

【0036】

マルチビュー符号化の別の手法には、考えられるダウンサンプリング動作により、より大きなフレーム上又はスーパーフレーム上に（同時にサンプリングされた）ビューそれぞれからのピクチャをタイリングすることが関係する。図１を参照するに、単一のフレーム上にタイリングされた４つのビューの例の全体を参照符号１００で示す。図２に移れば、単一のフレーム上で反転させ、タイリングされた４つのビューの例の全体を参照符号２００で示す。よって、４つのビューが存在する場合、各ビューからのピクチャが、タイルのようなスーパーフレームに配置される。これは、解像度が大きな、符号化されていない単一の入力シーケンスをもたらす。前述の信号は次いで、ＩＳＯ／ＩＥＣＭＰＥＧ−２標準及びＭＰＥＧ−４ ＡＶＣ標準などの既存のビデオ符号化標準を使用して符号化することが可能である。

【0037】

図３に移れば、ＭＰＥＧ−４標準 ＡＶＣに応じてビデオ符号化を行うことができるビデオ符号化器全体を参照符号３００で示す。

【0038】

ビデオ符号化器３００は、合成器３８５の非反転入力と信号通信する出力を有するフレーム配列バッファ３１０を含む。合成器３８５の出力は、変換器及び量子化器３２５の第１の入力と信号通信で接続される。変換器及び量子化器３２５の出力は、エントロピ符号化器３４５の第１の入力、並びに、逆変換器及び逆量子化器３５０の第１の入力と信号通信で接続される。エントロピ符号化器３４５の出力は合成器３９０の第１の非反転出力と信号通信で接続される。合成器３９０の出力は出力バッファ３３５の第１の入力と信号通信で接続される。

【0039】

符号化器コントローラ３０５の第１の出力は、フレーム配列バッファ３１０の第２の入力、逆変換器及び逆量子化器３５０の第２の入力、ピクチャ・タイプ決定モジュール３１５の入力、マクロブロック−タイプ（ＭＢタイプ）決定モジュール３２０の入力、イントラ予測モジュール３６０の第２の入力、デブロッキング・フィルタ３６５の第２の入力、動き補償器３７０の第１の入力、動き推定器３７５の第１の入力、及び参照ピクチャ・バッファ３８０の第２の入力と信号通信で接続される。

【0040】

符号化器コントローラ３０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器３３０の第１の入力、変換器及び量子化器３２５の第２の入力、エントロピ符号化器３４５の第２の入力、出力バッファ３３５の第２の入力、並びに、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の入力と信号通信で接続される。

【0041】

ピクチャ・タイプ決定モジュール３１５の第１の出力はフレーム配列バッファ３１０の第３の入力と信号通信で接続される。ピクチャ・タイプ決定モジュール３１５の第２の出力は、マクロブロックタイプ決定モジュール３２０の第２の入力と信号通信で接続される。

【0042】

シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力は合成器３９０の第３の非反転入力と信号通信で接続される。ＳＥＩ挿入器３３０の出力は、合成器３９０の第２の非反転入力と信号通信で接続される。

【0043】

逆量子化器及び逆変換器３５０の出力は、合成器３１９の第１の非反転入力と信号通信で接続される。合成器３１９の出力は、デブロッキング・フィルタ３６５の第１の入力、及びイントラ予測モジュール３６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ３６５の出力は参照ピクチャ・バッファ３８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ３８０の出力は、動き推定器３７５の第２の入力及び動き補償器３７０の第１の入力と信号通信で接続される。動き推定器３７５の第１の出力は動き補償器３７０の第２の入力と信号通信で接続される。動き推定器３７５の第２の出力はエントロピ符号化器３４５の第３の入力と信号通信で接続される。

【0044】

動き補償器３７０の出力はスイッチ３９７の第１の入力と信号通信で接続される。イントラ予測モジュール３６０の出力はスイッチ３９７の第２の入力と信号通信で接続される。
マクロブロックタイプ決定モジュール３２０の出力は、スイッチ３９７に制御入力を供給するためにスイッチ３９７の第３の入力と信号通信で接続される。スイッチ３９７の第３の入力は、（制御入力、すなわち第３の入力と比較して）スイッチの「データ」入力を動き補償器３７０によって供給するか、イントラ予測モジュール３６０によって供給するかを判定する。スイッチ３９７の出力は、合成器３１９の第２の非反転入力、及び合成器３８５の反転入力と信号通信で接続される。

【0045】

フレーム配列バッファ３１０及び符号化器コントローラ１０５の入力は、入力ピクチャ３０１を受け取るために、符号化器３００の入力として利用可能である。更に、付加拡張情報（ＳＥＩ）挿入器３３０の入力は、メタデータを受け取るために、符号化器３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するために、符号化器３００の入力として利用可能である。

【0046】

図４に移れば、ＭＰＥＧ−４標準に応じてビデオ復号化を行うことができるビデオ復号化器の全体を参照符号４００で示す。

【0047】

ビデオ復号化器４００は、エントロピ復号化器４４５の第１の入力と信号通信で接続された出力を有する入力バッファ４１０を含む。エントロピ復号化器４４５の第１の出力は、逆変換器及び逆量子化器４５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器４５０の出力は、合成器４２５の第２の非反転入力と信号通信で接続される。合成器４２５の出力は、デブロッキング・フィルタ４６５の第２の入力及びイントラ予測モジュール４６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ４６５の第２の出力は、参照ピクチャ・バッファ４８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ４８０の出力は、動き補償器４７０の第２の入力と信号通信で接続される。

【0048】

エントロピ復号化器４４５の第２の出力は、動き補償器４７０の第３の入力及びデブロッキング・フィルタ４６５の第１の入力と信号通信で接続される。エントロピ復号化器４４５の第３の出力は復号化器コントローラ４０５の入力と信号通信で接続される。復号化器コントローラ４０５の第１の出力はエントロピ復号化器４４５の第２の入力と信号通信で接続される。復号化器コントローラ４０５の第２の出力は、逆変換器及び逆量子化器４５０の第２の入力と信号通信で接続される。復号化器コントローラ４０５の第３の出力はデブロッキング・フィルタ４６５の第３の入力と信号通信で接続される。復号化器コントローラ４０５の第４の出力は、イントラ予測モジュール４６０の第２の入力、動き補償器４７０の第１の入力、及び参照ピクチャ・バッファ４８０の第２の入力と信号通信で接続される。

【0049】

動き補償器４７０の出力は、スイッチ４９７の第１の入力と信号通信で接続される。イントラ予測モジュール４６０の出力はスイッチ４９７の第２の入力と信号通信で接続される。スイッチ４９７の出力は、合成器４２５の第１の非反転入力と信号通信で接続される。

【0050】

入力バッファ４１０の入力は、入力ビットストリームを受け取るために、復号化器４００の入力として利用可能である。デブロッキング・フィルタ４６５の第１の出力は、出力ピクチャを出力するために、復号化器４００の出力として利用可能である。

【0051】

図５に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを符号化する例示的な方法の全体を参照符号５００で示す。

【0052】

方法５００は、機能ブロック５０４に制御を渡す開始ブロック５０２を含む。機能ブロック５０４は、タイル形式におけるサブピクチャとして特定のタイムインスタンスにおいて各ビューを構成し、制御を機能ブロック５０６に渡す。機能ブロック５０６は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック５０８に渡す。機能ブロック５０８は、構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック５１０に渡す。機能ブロック５１０は変数ｉをゼロに等しく設定し、制御を決定ブロック５１２に渡す。決定ブロック５１２は、変数ｉがビューの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック５１４に渡される。さもなければ、制御は機能ブロック５２４に渡される。

【0053】

機能ブロック５１４は構文要素ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック５１６に渡す。機能ブロック５１６は、構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック５１８に渡す。機能ブロック５１８は変数ｊをゼロに等しく設定し、制御を決定ブロック５２０に渡す。決定ブロック５２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］よりも少ないか否かを判定する。肯定の場合、制御を機能ブロック５２２に渡す。さもなければ、制御を機能ブロック５２８に渡す。

【0054】

機能ブロック５２２は、ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］；及びｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素を設定し、変数ｊを増やし、次いで、制御を決定ブロック５２０に戻す。

【0055】

機能ブロック５２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック５３０に渡す。決定ブロック５３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック５３２に渡される。さもなければ、制御は決定ブロック５３４に渡される。

【0056】

機能ブロック５３２は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック５３４に渡す。

【0057】

決定ブロック５３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック５３６に渡される。さもなければ、制御は機能ブロック５４０に渡される。

【0058】

機能ブロック５３６は、ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］；及びｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の構文要素を設定し、制御を機能ブロック５３８に渡す。

【0059】

機能ブロック５３８は、ＹＵＶ成分毎のフィルタ係数を設定し、制御を機能ブロック５４０に渡す。

【0060】

機能ブロック５４０は変数ｉを増やし、制御を決定ブロック５１２に戻す。

【0061】

機能ブロック５２４は前述の構文要素を、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダの少なくとも１つに書き込み、制御を機能ブロック５２６に渡す。機能ブロック５２６は、ＭＰＥＧ−４ ＡＶＣ標準又は他の単一ビュー・コーデックを使用して各ピクチャを符号化し、制御を終了ブロック５９９に渡す。

【0062】

図６に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビューのピクチャを復号化する例示的な方法の全体を参照符号６００で示す。

【0063】

方法６００は、機能ブロック６０４に制御を渡す開始ブロック６０２を含む。機能ブロック６０４は、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダの少なくとも１つから当該構文要素を解析し、制御を機能ブロック６０６に渡す。機能ブロック６０６は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック６０８に渡す。機能ブロック６０８は、構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック６１０に渡す。機能ブロック６１０は変数ｉをゼロに等しく設定し、制御を決定ブロック６１２に渡す。決定ブロック６１２は、変数ｉがビューの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック６１４に渡される。さもなければ、制御は機能ブロック６２４に渡される。

【0064】

機能ブロック６１４は、構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック６１６に渡す。機能ブロック６１６は構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック６１８に渡す。機能ブロック６１８は変数ｊをゼロに等しく設定し、制御を決定ブロック６２０に渡す。決定ブロック６２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック６２２に渡される。さもなければ、制御は機能ブロック６２８に渡される。

【0065】

機能ブロック６２２は、ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； 及び ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素を解析し、変数ｊを増やし、次いで、制御を決定ブロック６２０に戻す。

【0066】

機能ブロック６２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック６３０に渡す。決定ブロック６３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック６３２に渡される。さもなければ、制御は決定ブロック６３４に渡される。

【0067】

機能ブロック６３２は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック６３４に渡す。

【0068】

決定ブロック６３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック６３６に渡される。さもなければ、制御は機能ブロック６４０に渡される。

【0069】

機能ブロック６３６は、ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］； ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］； 及び ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック６３８に渡す。

【0070】

機能ブロック６３８は、ＹＵＶ成分毎のフィルタ係数を解析し、制御を機能ブロック６４０に渡す。

【0071】

機能ブロック６４０は変数ｉを増やし、制御を決定ブロック６１２に戻す。

【0072】

機能ブロック６２４は、ＭＰＥＧ−４ＡＶＣ標準又は他の単一ビューのコーデックを使用して各ピクチャを復号化し、制御を機能ブロック６２６に渡す。機能ブロック６２６は、高水準構文を使用してピクチャから各ビューを分離し、制御を終了ブロック６９９に制御を渡す。

【0073】

図７に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを符号化する例示的な方法の全体を参照符号７００で示す。

【0074】

方法７００は、機能ブロック７０４に制御を渡す開始ブロック７０２を含む。機能ブロック７０４は、タイル形式におけるサブピクチャとして特定のタイムインスタンスにおいて各ビュー及び対応する深度を構成し、制御を機能ブロック７０６に渡す。機能ブロック７０６は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック７０８に渡す。機能ブロック７０８は、構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック７１０に渡す。機能ブロック７１０は変数ｉをゼロに等しく設定し、制御を決定ブロック７１２に渡す。決定ブロック７１２は、変数ｉがビューの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック７１４に渡される。さもなければ、制御は機能ブロック７２４に渡される。

【0075】

機能ブロック７１４は、構文要素ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック７１６に渡す。機能ブロック７１６は構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック７１８に渡す。機能ブロック７１８は変数ｊをゼロに等しく設定し、制御を決定ブロック７２０に渡す。決定ブロック７２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック７２２に渡される。さもなければ、制御は機能ブロック７２８に渡される。

【0076】

機能ブロック７２２は、ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； 及び ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素を設定し、変数ｊを増やし、次いで、制御を決定ブロック７２０に戻す。

【0077】

機能ブロック７２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック７３０に渡す。決定ブロック７３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック７３２に渡される。さもなければ、制御は決定ブロック７３４に渡される。

【0078】

機能ブロック７３２は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック７３４に渡す。

【0079】

決定ブロック７３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック７３６に渡される。さもなければ、制御は機能ブロック７４０に渡される。

【0080】

機能ブロック７３６は、ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］； ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］； 及びｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の構文要素を設定し、制御を機能ブロック７３８に渡す。

【0081】

機能ブロック７３８は、ＹＵＶ成分毎のフィルタ係数を設定し、制御を機能ブロック７４０に渡す。

【0082】

機能ブロック７４０は変数ｉを増やし、制御を決定ブロック７１２に戻す。

【0083】

機能ブロック７２４は、前述の構文要素を、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダの少なくとも１つに前述の構文要素を書き込み、制御を機能ブロック７２６に渡す。機能ブロック７２６は、ＭＰＥＧ−４ ＡＶＣ標準又は他の単一ビューのコーデックを使用して各ピクチャを符号化し、制御を終了ブロック７９９に渡す。

【0084】

図８に移れば、ＭＰＥＧ−４ＡＶＣ標準を使用して複数のビュー及び深度のピクチャを復号化する例示的な方法の全体を参照符号８００で示す。

【0085】

方法８００は、機能ブロック８０４に制御を渡す開始ブロック８０２を含む。機能ブロック８０４は、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、付加拡張情報（ＳＥＩ）メッセージ、ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・ヘッダ、及びスライス・ヘッダの少なくとも１つから当該構文要素を解析し、制御を機能ブロック８０６に渡す。機能ブロック８０６は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック８０８に渡す。機能ブロック８０８は、構文要素ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌを解析し、制御を決定ブロック８１０に渡す。決定ブロック８１０は変数ｉをゼロに等しく設定し、制御を決定ブロック８１２に渡す。決定ブロック８１２は、変数ｉがビューの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック８１４に渡される。さもなければ、制御は機能ブロック８２４に渡される。

【0086】

機能ブロック８１４は構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック８１６に渡す。機能ブロック８１６は、構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓ１［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック８１８に渡す。機能ブロック８１８は変数ｊをゼロに等しく設定し、制御を決定ブロック８２０に移す。決定ブロック８２０は、変数ｊの現在値が構文要素ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック８２２に渡される。さもなければ、制御は機能ブロック８２８に渡される。

【0087】

機能ブロック８２２は、ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］； ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］ ； 及び ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素を解析し、変数ｊを増やし、次いで、制御を決定ブロック８２０に戻す。

【0088】

機能ブロック８２８は構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック８３０に渡す。決定ブロック８３０は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック８３２に渡される。さもなければ、制御は決定ブロック８３４に渡される。

【0089】

機能ブロック８３２は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック８３４に渡す。

【0090】

決定ブロック８３４は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック８３６に渡される。さもなければ、制御は機能ブロック８４０に渡される。

【0091】

機能ブロック８３６は、ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］； ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］； 及び ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］の構文要素を解析し、制御を機能ブロック８３８に渡す。

【0092】

機能ブロック８３８は、ＹＵＶ成分毎のフィルタ係数を解析し、制御を機能ブロック８４０に渡す。

【0093】

機能ブロック８４０は、変数ｉを増やし、制御を決定ブロック８１２に戻す。

【0094】

機能ブロック８２４は、ＭＰＥＧ−４ＡＶＣ標準又は他の単一ビュー・コーデックを使用して各ピクチャを復号化し、制御を機能ブロック８２６に渡す。機能ブロック８２６は、高水準構文を使用してピクチャから、各ビュー及び対応する深度を分離し、制御を機能ブロック８２７に渡す。機能ブロック８２７は潜在的には、抽出されたビュー及び深度信号を使用してビュー合成を行い、制御を終了ブロック８９９に渡す。

【0095】

図７及び図８において使用する深度に関し、図９は、深度信号９００の例を示し、深度は、画像の対応する位置毎の画素値として与えられる（図示せず）。更に、図１０は、タイル１０００に含まれる２つの深度信号の例を示す。タイル１０００の右上部分は、タイル１０００の左上の画像に対応する深度値を有する深度信号である。タイル１０００の右下部分は、タイル１０００の左下の画像に対応する深度値を有する深度信号である。

【0096】

図１１に移れば、単一のフレーム上にタイリングされた５つのビューの例の全体を参照符号１１００で示す。上の４つのビューは通常の向きにある。５番目のビューも、通常の向きにあるが、タイル１１００の最下部に沿った２つの部分に分離される。５番目のビューの左部分は５番目のビューの「最上部」を示し、５番目のビューの右部分は、５番目のビューの「最下部」を示す。

【0097】

図１２に移れば、例示的なマルチビュー・ビデオ符号化（ＭＶＣ）符号化器の全体を参照符号１２００で示す。符号化器１２００は、変換器１２１０の入力と信号通信で接続された出力を有する合成器１２０５を含む。変換器１２１０の出力は、量子化器１２１５の入力と信号通信で接続される。量子化器１２１５の出力は、エントロピ符号化器１２２０の入力及び逆量子化器１２２５の入力と信号通信で接続される。逆量子化器１２２５の出力は、逆変換器１２３０の入力と信号通信で接続される。逆変換器１２３０の出力は、合成器１２３５の第１の非反転入力と信号通信で接続される。合成器１２３５の出力はデブロッキング・フィルタ１２５０の入力及びイントラ予測器１２４５の入力と信号通信で接続される。デブロッキング・フィルタ１２５０の出力は、（ビューiの場合の）参照ピクチャ記憶装置１２５５の入力と信号通信で接続される。参照ピクチャ記憶装置１２５５の出力は、動き補償器１２７５の第１の入力及び動き推定器１２８０の第１の入力と信号通信で接続される。動き推定器１２８０の出力は、動き補償器１２７５の第２の入力と信号通信で接続される。

【0098】

（他のビューの場合の）参照ピクチャ記憶装置１２６０の出力は、ディスパリティ推定器１２７０の第１の入力及びディスパリティ補償器１２６５の第１の入力と信号通信で接続される。ディスパリティ推定器１２７０の出力は、ディスパリティ補償器１２６５の第２の入力と信号通信で接続される。

【0099】

エントロピ復号化器１２２０の出力は符号化器１２００の出力として利用可能である。合成器１２０５の非反転入力は符号化器１２００の入力として利用可能であり、ディスパリティ推定器１２７０の第２の入力及び動き推定器１２８０の第２の入力と信号通信で接続される。スイッチ１２８５の出力は、合成器１２３５の第２の非反転入力及び合成器１２０５の反転入力と信号通信で接続される。スイッチ１２８５は、イントラ予測器１２４５の出力と信号通信で接続された第３の入力、ディスパリティ補償器１２６５の出力と信号通信で接続された第２の入力、及び動き補償器１２７５の出力と信号通信で接続された第１の入力を含む。

【0100】

モード決定モジュール１２４０は、スイッチ１２８５により、どの入力が選択されるかを制御するためにスイッチ１２８５に接続された出力を有する。

【0101】

図１３に移れば、例示的なマルチビュー・ビデオ符号化（ＭＶＣ）復号化器の全体を参照符号１３００で示す。復号化器１３００は、逆量子化器１３１０の入力と信号通信で接続された出力を有するエントロピ復号化器１３０５を含む。逆量子化器の出力は、逆変換器１３１５の入力と信号通信で接続される。逆変換器１３１５の出力は、合成器１３２０の第１の非反転入力と信号通信で接続される。合成器１３２０の出力は、デブロッキング・フィルタ１３２５の入力及びイントラ予測器１３３０の入力と信号通信で接続される。デブロッキング・フィルタ１３２５の出力は、（ビューｉの場合、）参照ピクチャ記憶装置１３４０の入力と信号通信で接続される。参照ピクチャ記憶装置１３４０の出力は、動き補償器１３３５の第１の入力と信号通信で接続される。

【0102】

（他のビューの場合の）参照ピクチャ記憶装置１３４５の出力は、ディスパリティ補償器１３５０の第１の入力と信号通信で接続される。

【0103】

エントロピ符号化器１３０５の入力は、残差ビットストリームを受け取るために、復号化器１３００への入力として利用可能である。更に、モード・モジュール１３６０の入力は、どの入力がスイッチ１３５５によって選択されるかを制御する旨の制御構文を受け取るために、復号化器への入力としても利用可能である。更に、動き補償器１３３５の第２の入力は、動きベクトルを受け取るために、復号化器１３００の入力として利用可能である。更に、ディスパリティ補償器１３５０の第２の入力は、ディスパリティ・ベクトルを受け取るために、復号化器１３００への入力として利用可能である。

【0104】

スイッチ１３５５の出力は合成器１３２０の第２の非反転入力と信号通信で接続される。スイッチ１３５５の第１の入力は、ディスパリティ補償器１３５０の出力と信号通信で接続される。スイッチ１３５５の第２の入力は、動き補償器１３３５の出力と信号通信で接続される。スイッチ１３５５の第３の入力は、イントラ予測器１３３０の出力と信号通信で接続される。モード・モジュール１３６０の出力は、スイッチ１３５５により、どの入力が選択されるかを制御するためにスイッチ１３５５と信号通信で接続される。デブロッキング・フィルタ１３２５の出力は復号化器１３００の出力として利用可能である。

【0105】

図１４に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）拡張を使用してピクチャを符号化するための準備として複数のビューのピクチャを処理する例示的な方法の全体を参照符号１４００で示す。

【0106】

方法１４００は、機能ブロック１４１０に制御を渡す開始ブロック１４０５を含む。機能ブロック１４１０は、タイル形式でスーパーピクチャとして特定のタイムインスタンスで、合計Ｍ個のビューのうちのＮ個毎のビューを構成する。機能ブロック１４１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック１４２０に渡す。機能ブロック１４２０は、（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌ＋１）ビュー全ての構文要素ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック１４２５に渡す。機能ブロック１４２５は、アンカ・ピクチャのビュー間参照依存度情報を設定し、制御を機能ブロック１４３０に渡す。機能ブロック１４３０は、非アンカ・ピクチャのビュー間参照依存度情報を設定し、制御を機能ブロック１４３５に渡す。機能ブロック１４３５は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを設定し、制御を決定ブロック１４４０に渡す。決定ブロック１４４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが真（ｔｒｕｅ）に等しいか否かを判定する。肯定の場合、制御は機能ブロック１４４５に渡される。さもなければ、制御は終了ブロック１４９９に渡される。

【0107】

機能ブロック１４４５は、ｔｉｌｉｎｇ＿ｍｏｄｅ； ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ； 及び ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ
の構文要素を設定し、制御を機能ブロック１４５０に渡す。機能ブロック１４５０は、符号化されたビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック１４９９に渡す。

【0108】

図１５に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビューのピクチャを符号化する例示的な方法の全体を参照符号１５００で示す。

【0109】

方法１５００は、入力パラメータｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｄを有する開始ブロック１５０２を含み、制御を機能ブロック１５０４に渡す。機能ブロック１５０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック１５０６に渡す。機能ブロック１５０６は変数ｉをゼロに等しく設定し、制御を決定ブロック１５０８に渡す。決定ブロック１５０８は、変数ｉが、ｓｕｂ＿ｖｉｅｗｓの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１５１０に渡される。さもなければ、制御は機能ブロック１５２０に渡される。

【0110】

機能ブロック１５１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック１５１２に渡す。機能ブロック１５１２は構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック１５１４に渡す。機能ブロック１５１４は変数ｊをゼロに等しく設定し、制御を決定ブロック１５１６に渡す。決定ブロック１５１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１５１８に渡される。さもなければ、制御は決定ブロック１５２２に渡される。

【0111】

機能ブロック１５１８は、ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； 及び ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］
の構文要素を解析し、変数ｊを増やし、制御を決定ブロック１５１６に戻す。

【0112】

機能ブロック１５２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のビューの現在のピクチャを符号化し、制御を終了ブロック１５９９に渡す。

【0113】

決定ブロック１５２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御が機能ブロック１５２４に渡される。さもなければ、制御が機能ブロック１５３８に渡される。

【0114】

機能ブロック１５２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック１５２６に渡す。決定ブロック１５２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック１５２８に渡される。さもなければ、制御は決定ブロック１５３０に渡される。

【0115】

機能ブロック１５２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック１５３０に渡す。決定ブロック１５３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック１５３２に渡される。さもなければ、制御は機能ブロック１５３６に渡される。

【0116】

機能ブロック１５３２は、ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；及びｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の構文要素を設定し、制御を機能ブロック１５３４に渡す。機能ブロック１５３４は、ＹＵＶ成分毎のフィルタ係数を設定し、制御を機能ブロック１５３６に渡す。

【0117】

機能ブロック１５３６は変数ｉを増やし、制御を決定ブロック１５０８に戻す。

【0118】

機能ブロック１５３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック１５４０に渡す。機能ブロック１５４０は変数ｊをゼロに等しく設定し、制御を決定ブロック１５４２に渡す。決定ブロック１５４２は、変数ｊの現在値が、構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１５４４に渡される。さもなければ、制御は機能ブロック１５３６に渡される。

【0119】

機能ブロック１５４４は、構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、機能ブロック１５４６に制御を渡す。

【0120】

図１６に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの復号化の準備において複数のビューのピクチャを処理する例示的な方法の全体を参照符号１６００で示す。

【0121】

方法１６００は、制御を機能ブロック１６１５に渡す開始ブロック１６０５を含む。機能ブロック１６１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック１６２０に渡す。機能ブロック１６２０は、（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌ＋１）個のビュー全ての構文要素ビュー［ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１６２５に渡す。機能ブロック１６２５は、アンカ・ピクチャのビュー間参照依存度情報を解析し、制御を機能ブロック１６３０に渡す。機能ブロック１６３０は、非アンカ・ピクチャのビュー間参照依存度情報を解析し、制御を機能ブロック１６３５に渡す。機能ブロック１６３５は構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを解析し、制御を決定ブロック１６４０に渡す。決定ブロック１６４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値が真に等しいか否かを判定する。肯定の場合、制御は機能ブロック１６４５に渡される。さもなければ、制御は終了ブロック１６９９に渡される。

【0122】

機能ブロック１６４５は、ｔｉｌｉｎｇｍｏｄｅ； ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ； 及び ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ
の構文要素を解析し、制御を機能ブロック１６５０に戻す。機能ブロック１６５０は、符号化されたビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック１６９９に渡す。

【0123】

図１７に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビューのピクチャを復号化する例示的な方法の全体を参照符号１７００で示す。

【0124】

方法１７００は、入力パラメータｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｄで開始する開始ブロック１７０２を含み、制御を機能ブロック１７０４に渡す。機能ブロック１７０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック１７０６に渡す。機能ブロック１７０６は変数ｉをゼロに等しく設定し、制御を決定ブロック１７０８に渡す。決定ブロック１７０８は、変数ｉが、ｓｕｂ＿ｖｉｅｗｓの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１７１０に渡される。さもなければ、制御は機能ブロック１７２０に渡される。

【0125】

機能ブロック１７１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック１７１２に渡す。機能ブロック１７１２は構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１７１４に渡す。機能ブロック１７１４は変数ｊをゼロに等しく設定し、制御を決定ブロック１７１６に渡す。決定ブロック１７１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１７１８に渡される。さもなければ、制御は決定ブロック１７２２に渡される。

【0126】

機能ブロック１７１８は、ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］ ； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］ ； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］ ； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； 及び ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］
の構文要素を設定し、変数ｊを増やし、次いで、制御を決定ブロック１７１６に戻す。

【0127】

機能ブロック１７２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のビューの各ピクチャを復号化し、制御を機能ブロック１７２１に渡す。機能ブロック１７２１は、高水準構文を使用してピクチャから各ビューを分離し、制御を終了ブロック１７９９に渡す。

【0128】

復号化されたピクチャからの各ビューの分離は、ビットストリームに示された高水準構文を使用して行われる。この高水準構文は、ピクチャに存在しているビュー（及び考えられる対応する深度）の正確な位置及び考えられる向きを示し得る。

【0129】

決定ブロック１７２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御は機能ブロック１７２４に渡される。さもなければ、制御は機能ブロック１７３８に渡される。

【0130】

機能ブロック１７２４は、ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック１７２６に渡す。決定ブロック１７２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック１７２８に渡される。さもなければ、制御は決定ブロック１７３０に渡される。

【0131】

機能ブロック１７２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック１７３０に渡す。決定ブロック１７３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック１７３２に渡される。さもなければ、制御は機能ブロック１７３６に渡される。

【0132】

機能ブロック１７３２は、ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］； 及び ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック１７３４に渡す。機能ブロック１７３４は、ＹＵＶ成分毎のフィルタ係数を解析し、制御を機能ブロック１７３６に渡す。

【0133】

機能ブロック１７３６は変数ｉを増やし、制御を決定ブロック１７０８に戻す。

【0134】

機能ブロック１７３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１７４０に渡す。機能ブロック１７４０は変数ｊをゼロに等しく設定し、制御を決定ブロック１７４２に渡す。決定ブロック１７４２は、変数ｊの現在値が、構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１７４４に渡される。さもなければ、制御は機能ブロック１７３６に渡される。

【0135】

機能ブロック１７４４は、構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１７４６に渡す。機能ブロック１７７６は、画素タイリング・フィルタ全ての係数を解析し、制御を機能ブロック１７３６に渡す。

【0136】

図１８に移れば、ＭＰＥＧ−４ ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの符号化の準備において複数のビュー及び深度についてピクチャを処理する例示的な方法全体を参照符号１８００で示す。

【0137】

方法１８００は、機能ブロック１８１０に制御を渡す開始ブロック１８０５を含む。機能ブロック１８１０は、タイル形式でのスーパーピクチャとして特定のタイムインスタンスで、合計Ｍ個のビュー及び深度マップのうちのＮ個毎のビュー及び深度マップを構成すし、制御を機能ブロック１８１５に渡す。機能ブロック１８１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック１８２０に渡す。機能ブロック１８２０は、ｖｉｅｗ＿ｉｄ［ｉ］に対応する（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌ＋１）個の深度全ての構文要素ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック１８２５に渡す。機能ブロック１８２５は、アンカ深度ピクチャのビュー間参照依存度情報を設定し、制御を機能ブロック１８３０に渡す。機能ブロック１８３０は、非アンカ深度ピクチャのビュー間参照依存度情報を設定し、制御を機能ブロック１８３５に渡す。機能ブロック１８３５は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを設定し、制御を決定ブロック１８４０に渡す。決定ブロック１８４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値が真に等しいか否かを判定する。肯定の場合、制御は機能ブロック１８４５に渡される。さもなければ、制御は終了ブロック１８９９に渡される。

【0138】

機能ブロック１８４５は、ｔｉｌｉｎｇｍｏｄｅ；ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ；及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌの構文要素を設定し、制御を機能ブロック１８５０に戻す。機能ブロック１８５０は、符号化されたビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック１８９９に渡す。

【0139】

図１９に移れば、ＭＰＥＧ−４ ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを符号化する例示的な方法の全体を参照符号１９００で示す。

【0140】

方法１９００は、制御を機能ブロック１９０４に渡す開始ブロック１９０２を含む。機能ブロック１９０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを設定し、制御を機能ブロック１９０６に渡す。機能ブロック１９０６は変数ｉをゼロに等しく設定し、制御を決定ブロック１９０８に渡す。決定ブロック１９０８は、変数ｉが、ｓｕｂ＿ｖｉｅｗｓの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１９１０に渡される。さもなければ、制御は機能ブロック１９２０に渡される。

【0141】

機能ブロック１９１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック１９１２に渡す。機能ブロック１９１２は構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック１９１４に渡す。機能ブロック１９１４は変数ｊをゼロに等しく設定し、制御を決定ブロック１９１６に渡す。決定ブロック１９１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１９１８に渡される。さもなければ、制御は決定ブロック１９２２に渡される。

【0142】

機能ブロック１９１８は、ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］ ； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； 及び ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］
の構文要素を設定し、変数ｊを増やし、制御を決定ブロック１９１６に戻す。

【0143】

機能ブロック１９２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のビューの現在の深度を符号化し、制御を終了ブロック１９９９に渡す。深度信号は、その対応するビデオ信号が符号化されるやり方と同様に符号化し得る。例えば、他の深度信号のみを含むか、若しくはビデオ信号のみを含むか、又は深度信号及びビデオ信号をともに含むタイル上にビューの深度信号を含み得る。タイル（擬似ビュー）は次いで、ＭＶＣの単一のビューとして扱われ、更に、推測するところ、ＭＶＣの他のビューとして扱われる他のタイルも存在している。

【0144】

決定ブロック１９２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御は機能ブロック１９２４に渡される。さもなければ、制御は機能ブロック１９３８に渡される。

【0145】

機能ブロック１９２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック１９２６に渡す。決定ブロック１９２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック１９２８に渡される。さもなければ、制御は決定ブロック１９３０に渡される。

【0146】

機能ブロック１９２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を決定ブロック１９３０に渡す。決定ブロック１９３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック１９３２に渡される。さもなければ、制御は機能ブロック１９３６に渡される。

【0147】

機能ブロック１９３２は、ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］； 及び ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を設定し、制御を機能ブロック１９３４に渡す。機能ブロック１９３４は、ＹＵＶ成分毎のフィルタ係数を設定し、制御を機能ブロック１９３６に渡す。

【0148】

機能ブロック１９３６は変数ｉを増やし、制御を決定ブロック１９０８に戻す。

【0149】

機能ブロック１９３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック１９４０に渡す。機能ブロック１９４０は変数ｊをゼロに等しく設定し、制御を決定ブロック１９４２に渡す。決定ブロック１９４２は、変数ｊの現在値が、構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック１９４４に渡される。さもなければ、制御は機能ブロック１９３６に渡される。

【0150】

機能ブロック１９４４は、構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック１９４６に渡す。機能ブロック１９４６は、画素タイリング・フィルタ全ての係数を設定し、制御を機能ブロック１９３６に渡す。

【0151】

図２０に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用したピクチャの復号化の準備において複数のビュー及び深度のピクチャを処理する例示的な方法の全体を参照符号２０００で示す。

【0152】

方法２０００は、制御を機能ブロック２０１５に渡す開始ブロック２００５を含む。機能ブロック２０１５は、構文要素ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック２０２０に渡す。機能ブロック２０２０は、ｖｉｅｗ＿ｉｄ［ｉ］に対応する（ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌ＋１）個の深度全ての構文要素ｖｉｅｗ＿ｉｄ［ｉ］を解析し、制御を機能ブロック２０２５に渡す。機能ブロック２０２５は、アンカ深度ピクチャのビュー間参照依存度情報を解析し、制御を機能ブロック２０３０に渡す。機能ブロック２０３０は、非アンカ深度ピクチャのビュー間参照依存度情報を解析し、制御を機能ブロック２０３５に渡す。機能ブロック２０３５は構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを解析し、制御を決定ブロック２０４０に渡す。決定ブロック２０４０は、構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの現在値が真に等しいか否かを判定する。肯定の場合、制御は機能ブロック２０４５に渡される。さもなければ、制御は終了ブロック２０９９に渡される。

【0153】

機能ブロック２０４５は、ｔｉｌｉｎｇｍｏｄｅ；ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ；及びｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ
の構文要素を解析し、制御を機能ブロック２０５０に渡す。機能ブロック２０５０は、符号化されたビュー毎に構文要素ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ（ｖｉｅｗ＿ｉｄ）を呼び出し、制御を終了ブロック２０９９に渡す。

【0154】

図２１に移れば、ＭＰＥＧ−４ＡＶＣ標準のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張を使用して複数のビュー及び深度のピクチャを復号化する例示的な方法の全体を参照符号２１００で示す。

【0155】

方法２１００は、入力パラメータｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｄで開始する開始ブロック２１０２を含み、制御を機能ブロック２１０４に渡す。機能ブロック２１０４は、構文要素ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌを解析し、制御を機能ブロック２１０６に渡す。機能ブロック２１０６は、変数ｉをゼロに等しく設定し、制御を決定ブロック２１０８に渡す。決定ブロック２１０８は、変数ｉがｓｕｂ＿ｖｉｅｗｓの数よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック２１１０に渡される。さもなければ、制御は機能ブロック２１２０に渡される。

【0156】

機能ブロック２１１０は、構文要素ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］を設定し、制御を機能ブロック２１１２に渡す。機能ブロック２１１２は構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を設定し、制御を機能ブロック２１１４に渡す。機能ブロック２１１４は変数ｊをゼロに等しく設定し、制御を決定ブロック２１１６に渡す。決定ブロック２１１６は、変数ｊが構文要素ｎｕｍ＿ｐａｒｔｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック２１１８に渡される。さもなければ、制御は決定ブロック２１２２に渡される。

【0157】

機能ブロック２１１８は、ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］； 及びｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］
の構文要素を設定し、変数ｊを増やし、次いで、制御を決定ブロック２１１６に戻す。

【0158】

機能ブロック２１２０は、マルチビュー・ビデオ符号化（ＭＶＣ）を使用して現在のピクチャを復号化し、制御を機能ブロック２１２１に渡す。機能ブロック２１２１は、高水準構文を使用してピクチャから各ビューを分離し、制御を終了ブロック２１９９に渡す。高水準構文を使用した各ビューの分離は上述の通りである。

【0159】

決定ブロック２１２２は、構文要素ｔｉｌｉｎｇ＿ｍｏｄｅがゼロに等しいか否かを判定する。肯定の場合、制御が機能ブロック２１２４に渡される。さもなければ、制御が機能ブロック２１３８に渡される。

【0160】

機能ブロック２１２４は、構文要素ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック２１２６に渡す。決定ブロック２１２６は、構文要素ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値が１に等しいか否かを判定する。肯定の場合、制御は機能ブロック２１２８に渡される。さもなければ、制御は決定ブロック２１３０に渡される。

【0161】

機能ブロック２１２８は構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を決定ブロック２１３０に渡す。決定ブロック２１３０は、構文要素ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の値が３に等しいか否かを判定する。肯定の場合、制御は機能ブロック２１３２に渡される。さもなければ、制御は機能ブロック２１３６に渡される。

【0162】

機能ブロック２１３２は、ｖｅｒｔ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］；ｈｏｒ＿ｄｉｍ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］； 及び ｑｕａｎｔｉｚｅｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］
の構文要素を解析し、制御を機能ブロック２１３４に渡す。機能ブロック２１３４は、ＹＵＶ成分毎のフィルタ係数を解析し、制御を機能ブロック２１３６に渡す。

【0163】

機能ブロック２１３６は変数ｉを増やし、制御を決定ブロック２１０８に戻す。

【0164】

機能ブロック２１３８は、構文要素ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及び構文要素ｆｌｉｐ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、制御を機能ブロック２１４０に渡す。機能ブロック２１４０は変数ｊをゼロに等しく設定し、制御を決定ブロック２１４２に渡す。決定ブロック２１４２は、変数ｊの現在値が、構文要素ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］の現在値よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック２１４４に渡される。さもなければ、制御は機能ブロック２１３６に渡される。

【0165】

機能ブロック２１４４は、構文要素ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］を解析し、機能ブロック２１４６に制御を渡す。機能ブロック２１４６は、画素タイリング・フィルタ全ての係数を解析し、機能ブロック２１３６に制御を渡す。

【0166】

図２２に移れば、画素レベルにおけるタイリング例の全体を参照符号２２００で示す。
図２２については以下に更に説明する。

【0167】

マルチビュー・ビデオ符号化のアプリケーションに、フリービューポイントＴＶ（又はＦＴＶ）がある。上記アプリケーションは、２つ以上のビュー間でユーザが自由に移動可能であることを必要とする。これを実現するために、２つのビュー間の「仮想」ビューは、補間又は合成する必要がある。ビュー補間を行うための手法はいくつか存在している。上記手法の１つは、ビュー補間／合成のために深度を使用する。

【0168】

各ビューは、関連付けられた深度信号を有し得る。よって、深度は、ビデオ信号の別の形式とみなし得る。図９は、深度信号９００の例を示す。ＦＴＶなどのアプリケーションをイネーブルするために、深度信号がビデオ信号とともに送信される。本願提案のタイリング・フレームワークでは、深度信号は、タイルのうちの１つとして追加することも可能である。図１０は、タイルとして加えられた深度信号の例を示す。深度信号／タイルは、図１０の右側に示す。

【0169】

深度がフレーム全体のタイルとして符号化されると、高水準構文は、レンダラが深度信号を適切に使用することが可能であるように、どのタイルが深度信号であるかを示すものとする。

【0170】

（図１に示すものなどの）入力シーケンスが、ＭＰＥＧ−４ＡＶＣ標準符号化器（又は別のビデオ符号化標準及び／又は勧告に対応する符号化器）を使用して符号化される場合、本願提案の高水準構文は、例えば、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、スライス・ヘッダ、及び／又は付加拡張情報（ＳＥＩ）メッセージにおいて存在し得る。本願提案の方法の実施例は表１に示す。ここで、構文は、付加拡張情報（ＳＥＩ）メッセージ内に存在している。

【0171】

（図１に示したものなどの）擬似ビューの入力シーケンスが、ＭＰＥＧ−４ ＡＶＣ標準符号化器のマルチビュー・ビデオ符号化（ＭＶＣ）の拡張（又は、別のビデオ符号化標準及び／若しくは勧告に関するマルチビュー・ビデオ符号化標準に対応する符号化器）を使用して符号化される場合、本願提案の高水準構文はＳＰＳ、ＰＰＳ、スライス・ヘッダ、ＳＥＩメッセージ、又は特定されたプロファイルに存在し得る。本願提案の方法の実施例は表１に示す。表１は、本願の原理に応じて実現される、提案された構文要素を含む、シーケンス・パラメータ・セット（ＳＰＳ）構造に存在している構文要素を示す。

【0172】

【表1】

表２は、表１のｐｓｅｕｄｏ＿ｖｉｅｗ＿ｉｎｆｏ構文要素の構文要素を示す。

【0173】

【表2】

表１及び表２に存在している構文要素の意味論は以下に説明する。すなわち、
ｐｓｅｕｄｏ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが真に等しいことは、特定のビューが、複数のサブビューのスーパービューであることを示す。

【0174】

ｔｉｌｉｎｇ＿ｍｏｄｅが０に等しいことは、サブビューがピクチャレベルでタイリングされることを示す。値１は、タイリングが画素レベルで行われることを示す。

【0175】

新たなＳＥＩメッセージは、ＭＰＥＧ−４ＡＶＣ標準、又はＭＰＥＧ−４ＡＶＣ標準の拡張において使用されていないＳＥＩペイロード・タイプの値を使用することが可能である。新たなＳＥＩメッセージは、以下の意味論を有するいくつかの構文要素を含む。

【0176】

ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌ ＋１は、ビットストリームによってサポートされる符号化ビューの数を示す。ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌの値は、０以上１０２３以下の範囲内にある。

【0177】

ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ ＋１は、マクロブロック単位で各ビューにおけるピクチャの幅を規定する。

【0178】

マクロブロック単位でのピクチャの幅の変数は以下のように導き出される。

【0179】

ＰｉｃＷｉｄｔｈｌｎＭｂｓ＝ｏｒｇ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ ＋１
ルマ（ｌｕｍａ）成分のピクチャ幅の変数は以下のように導き出される。

【0180】

ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ＝ＰｉｃＷｉｄｔｈＩｎＭｂｓ＊１６
クロマ（ｃｈｒｏｍａ）成分のピクチャ幅の変数は以下のように導き出される。

【0181】

ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ＝ＰｉｃＷｉｄｔｈＩｎＭｂｓ＊ＭｂＷｉｄｔｈＣ
ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ ＋１は、マクロブロックの単位で各ビューにおけるピクチャの高さを規定する。

【0182】

マクロブロック単位でのピクチャの高さの変数は以下のように導き出される。

【0183】

ＰｉｃＨｅｉｇｈｔＩｎＭｂｓ＝ｏｒｇ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓｌ ＋１
ルマ（ｌｕｍａ）成分のピクチャの高さの変数は以下のように導き出される。

【0184】

ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬ＝ＰｉｃＨｅｉｇｈｔＩｎＭｂｓ＊１６
クロマ（ｃｈｒｏｍａ）成分のピクチャの高さの変数は以下のように導き出される。

【0185】

ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣ＝ＰｉｃＨｅｉｇｈｔＩｎＭｂｓ＊ＭｂＨｅｉｇｈｔＣ
ｎｕｍ＿ｓｕｂ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌ ＋１は、現在のビューに含まれる符号化サブビューの数を示す。ｎｕｍ＿ｃｏｄｅｄ＿ｖｉｅｗｓ＿ｍｉｎｕｓｌの値は、０以上１０２３以下の範囲内にある。

【0186】

ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］はサブビューのｓｕｂ＿ｖｉｅｗ＿ｉｄを規定し、復号化順序はｉで示す。

【0187】

ｎｕｍ＿ｐａｒｔｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］は、ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］のピクチャが分割される部分の数を規定する。

【0188】

ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］及びｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は、左画素オフセット及び上画素オフセットそれぞれにおける位置を規定し、現在の部分ｊは、ビューの最終再構成ピクチャに配置され、ｓｕｂ＿ｖｉｅｗ＿ｉｄはｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しい。

【0189】

ｖｉｅｗ＿ｉｄ［ｉ］はビューのｖｉｅｗ＿ｉｄを規定し、符号化順序はｉで示す。

【0190】

ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］、及びｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は、出力するためにフレーム座標で規定される矩形領域で、ｎｕｍ＿ｐａｒｔｊ及びｖｉｅｗ＿ｉｄｉの一部である符号化ビデオ・シーケンスにおけるピクチャのサンプルを規定する。

【0191】

変数ＣｒｏｐＵｎｉｔＸ及びＣｒｏｐＵｎｉｔＹは、以下の通りに導き出される。すなわち、
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しい場合、ＣｒｏｐＵｎｉｔＸ及びＣｒｏｐＵｎｉｔＹは以下のように導き出される。

【0192】

ＣｒｏｐＵｎｉｔＸ＝１
ＣｒｏｐＵｎｉｔＹ＝２−ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ
さもなければ（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが１、２、又は３に等しい場合、ＣｒｏｐＵｎｉｔＸ及びＣｒｏｐＵｎｉｔＹは以下のように導き出される。すなわち、
ＣｒｏｐＵｎｉｔＸ＝ＳｕｂＷｉｄｔｈＣ
ＣｒｏｐＵｎｉｔＹ＝ＳｕｂＨｅｉｇｈｔＣ＊（２−ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ）
フレーム・クロッピング矩形は、
ＣｒｏｐＵｎｉｔＸ＊ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔからＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ−（ＣｒｏｐＵｎｉｔＸ＊ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＋１） 及びＣｒｏｐＵｎｉｔＹ＊ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ以上（１６＊ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ）−（ＣｒｏｐＵｎｉｔＹ＊ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＋ １）以下の垂直フレーム座標からの水平フレーム座標を有するルマ（ｌｕｍａ）サンプルを含む。

【0193】

ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しくない場合、２つのクロマ（ｃｈｒｏｍａ）アレイの対応する規定されたサンプルは、フレーム座標（ｘ／ＳｕｂＷｉｄｔｈＣ，ｙ／ＳｕｂＨｅｉｇｈｔＣ）を有するサンプルであり、ここで、（ｘ，ｙ）は規定されたルマ（ｌｕｍａ）サンプルのフレーム座標である。

【0194】

復号化されたフィールドの場合、復号化されたフィールドの規定されたサンプルは、フレーム座標において規定された矩形内に収まるサンプルである。

【0195】

ｎｕｍ＿ｐａｒｔｓ［ｖｉｅｗ＿ｉｄ［ｉ］］は、ｖｉｅｗ＿ｉｄ［ｉ］のピクチャが分割される部分の数を規定する。

【0196】

ｄｅｐｔｈ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］は、現在の部分が深度信号であるか否かを規定する。ｄｅｐｔｈ＿ｆｌａｇが０に等しい場合、現在の部分は深度信号でない。ｄｅｐｔｈ＿ｆｌａｇが１に等しい場合、現在の部分は、ｖｉｅｗ＿ｉｄ［ｉ］によって識別されたビューに関連付けられた深度信号である。

【0197】

ｆｌｉｐ＿ｄｉｒ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は現在の部分の反転方向を規定する。ｆｌｉｐ＿ｄｉｒが０に等しいことは反転がないことを示し、ｆｌｉｐ＿ｄｉｒが１に等しいことは水平方向における反転を示し、ｆｌｉｐ＿ｄｉｒが２に等しいことは垂直方向における反転を示し、ｆｌｉｐ＿ｄｉｒが３に等しいことは水平方向及び垂直方向における反転を示す。

【0198】

ｆｌｉｐ＿ｄｉｒ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は現在の部分の反転方向を規定し、ｆｌｉｐ＿ｄｉｒが０に等しいことは反転がないことを示し、ｆｌｉｐ＿ｄｉｒが１に等しいことは水平方向における反転を示し、ｆｌｉｐ＿ｄｉｒが２に等しいことは垂直方向における反転を示し、ｆｌｉｐ＿ｄｉｒが３に等しいことは水平方向及び垂直方向における反転を示す。

【0199】

ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］及びｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｊ］は、画素オフセットにおける位置を規定し、現在の部分ｊは、ビューの最終再構成ピクチャに配置され、ｖｉｅｗ＿ｉｄはｖｉｅｗ＿ｉｄ［ｉ］に等しい。

【0200】

ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］は、ｖｉｅｗ＿ｉｄ［ｉ］によって規定されたビューに属するピクチャをアップサンプリングする必要があるか否かを示す。ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］が０に等しいことは、ｖｉｅｗ＿ｉｄがｖｉｅｗ＿ｉｄ［ｉ］に等しいピクチャがアップサンプリングされないことを規定する。ｕｐｓａｍｐｌｅ＿ｖｉｅｗ＿ｆｌａｇ［ｖｉｅｗ＿ｉｄ［ｉ］］が１に等しいことは、ｖｉｅｗ＿ｉｄがｖｉｅｗ＿ｉｄ［ｉ］に等しいピクチャがアップサンプリングされることを規定する。

【0201】

ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］は、アップサンプリングに使用される対象のフィルタのタイプを示す。ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が０に等しいことは、６タップＡＶＣフィルタを使用すべきであることを示し、ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が１に等しいことは、４タップＳＶＣフィルタを使用すべきであることを示し、ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が２に等しいことは、双線形フィルタを使用すべきであることを示し、ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が３に等しいことは、カスタム・フィルタ係数が送信されることを示す。ｕｐｓａｍｐｌｅ＿ｆｉｌｔｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］が存在していない場合、０に設定される。この実施例では、２Ｄカスタム化されたフィルタを使用する。１Ｄフィルタ、及び特定の他の非線形フィルタに容易に拡張することが可能である。

【0202】

ｖｅｒｔ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］は、カスタム２Ｄフィルタの垂直方向の寸法を規定する。

【0203】

ｈｏｒ＿ｄｉｍ［ｖｉｅｗ＿ｉｄ［ｉ］］は、カスタム２Ｄフィルタの水平方向の寸法を規定する。

【0204】

ｑｕａｎｔｉｚｅｒ［ｖｉｅｗ＿ｉｄ［ｉ］］は、フィルタ係数毎の量子化係数を規定する。

【0205】

ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ［ｖｉｅｗ＿ｉｄ［ｉ］］［ｙｕｖ］［ｙ］［ｘ］は、量子化されたフィルタ係数を規定し、ｙｕｖはフィルタ係数が適用される成分を示し、ｙｕｖが０に等しいことはＹ成分を規定し、ｙｕｖが１に等しいことはＵ成分を規定し、ｙｕｖが２に等しいことはＶ成分を規定する。

【0206】

ｐｉｘｅｌ＿ｄｉｓｔ＿ｘ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］及びｐｉｘｅｌ＿ｄｉｓｔ＿ｙ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］］はそれぞれ、ｓｕｂ＿ｖｉｅｗ＿ｉｄがｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しいビュー内の隣接画素間の最終再構成擬似ビュー内の水平方向及び垂直方向における距離を規定する。

【0207】

ｎｕｍ＿ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｍｉｎｕｓｌ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］＋１は、タイリング・モードが１に等しくセットされた場合のフィルタ係数の数を示す。

【0208】

ｐｉｘｅｌ＿ｔｉｌｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆｓ［ｓｕｂ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、タイリングされたピクチャをフィルタリングするために使用し得るフィルタを表すのに必要なフィルタ係数を示す。

【0209】

図２２に移れば、４つのビューからの画素をタイリングすることによる、擬似ビューの構成を示す２つの例の全体をそれぞれ、参照符号２２１０及び２２２０で示す。４つのビューは併せて、参照符号２２５０で示す。図２２中の第１の例の構文値は以下の表３で示す。

【0210】

【表3】

図２２における第２の例の構文値は、５に等しいｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ［３］［０］、及び３に等しいｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔ［３］［０］の２つの構文要素を除き、全て同じである。

【0211】

オフセットは、ビューに対応する画素が特定のオフセット位置で始まることを示す。このことは図２２（２２２０）に示す。これは例えば、一方のビューから他方のビューに共通オブジェクトが移動したようにみえる画像を２つのビューがもたらす場合に行い得る。例えば、（第１のビュー及び第２のビューを表す）第１のカメラ及び第２のカメラがオブジェクトのピクチャを撮った場合、オブジェクトは、第１のビューと比較して第２のビューにおいて５画素分、移動しているように見えることもあり得る。このことは、第１のビューにおける画素（ｉ−５，ｊ）が、第２のビューにおける画素（ｉ，ｊ）に対応することを意味している。２つのビューの画素が単に画素単位でタイリングされた場合、タイル内の隣接する画素間の相関はあまりないことがあり得、空間符号化利得は小さいことがあり得る。逆に、ビュー１からの画素（ｉ−５，ｊ）がビュー２からの画素（ｉ，ｊ）の隣に配置されるようにタイリングを移動させることにより、空間相関を増加させることができ、空間符号化利得も増加させることができる。例えば、第１のビュー及び第２のビューにおけるオブジェクトの対応する画素が互いに隣にタイリングされているので、前述のようになる。

【0212】

よって、ｌｏｃ＿ｌｅｆｔ＿ｏｆｆｓｅｔ及びｌｏｃ＿ｔｏｐ＿ｏｆｆｓｅｔの存在は、符号化効率を向上させ得る。オフセット情報は外部手段によって得ることができる。例えば、ビュー間の大局ディスパリティ・ベクトル又はカメラの位置情報は、前述のオフセット情報を求めるために使用し得る。

【0213】

オフセットの結果、擬似ビューにおける一部の画素には、何れのビューからの画素値も割り当てられない。上記例を続ければ、ビュー２からの画素（ｉ，ｊ）に沿ってビュー１からの画素（ｉ−５，ｊ）を、ｉ＝０．．４についてタイリングすると、タイリングする対象のビューからの画素（ｉ−５，ｊ）が存在しないので、前述の画素は、タイルにおいて空き状態である。何れのビューからの画素値も割り当てられない擬似ビュー（タイル）における画素の場合、少なくとも１つの実現形態は、ＡＶＣにおける動き補償におけるサブ画素補間手順と同様な補間手順を使用する。すなわち、空きのタイル画素は、隣接する画素から補間し得る。前述の補間は、タイルにおける、より大きな空間相関、及びタイルの、より大きな符号化利得をもたらし得る。

【0214】

ビデオ符号化では、Ｉ、Ｐ、Ｂピクチャなどのピクチャ毎に、別々の符号化タイプを選ぶことが可能である。更に、マルチビュー・ビデオ符号化の場合、アンカ・ピクチャ及び非アンカ・ピクチャを定義する。一実施例では、グループ化の決定はピクチャ・タイプに基づいて行うことが可能である。グループ化のこの情報は、高水準構文でシグナリングされる。

【0215】

図１１に移れば、単一のフレーム上でタイリングされた５個のビューの例の全体を参照符号１１００で示す。特に、単一のフレーム上にタイリングされた５つのビューを備えたボールルームのシーケンスを示す。更に、５番目のビューは、矩形フレーム上に配置することが可能であるように２つの部分に分けられる。ここでは、各ビューのサイズは、合計フレーム寸法が６４０ｘ６００であるようなＱＶＧＡサイズである。６００は、１６の倍数でないので、６０８に拡張し得る。

【0216】

この例の場合、考えられるＳＥＩメッセージは表４に示すようなものであり得る。

【0217】

【表4】

表５は、表４に示す例のマルチビュー情報を送信するための汎用的な構文構造を示す。

【0218】

【表5】

図２３を参照すれば、ビデオ処理装置２３００を示す。ビデオ処理装置２３００は例えば、符号化されたビデオを受け取るセットトップボックス又は他の装置であり得、例えば、記憶のために、又はユーザに向けた表示のために、復号化されたビデオを供給する。よって、装置２３００は、その出力をテレビジョン受信機、コンピュータ・モニタ、若しくはコンピュータ、又は他の処理装置に供給し得る。

【0219】

装置２３００は、データ信号２３２０を受け取る復号化器２３１０を含む。データ信号２３２０は例えば、ＡＶＣ又はＭＶＣ互換ストリームを含み得る。復号化器２３１０は、受け取られた信号２３２０の全部又は一部を復号化し、復号化されたビデオ信号２３３０及びタイリング情報２３４０を出力として供給する。復号化されたビデオ２３３０及びタイリング情報２３４０は選択器２３５０に供給される。装置２３００は、ユーザ入力２３７０を受け取るユーザ・インタフェース２３６０も含む。ユーザ・インタフェース２３６０は、ユーザ入力２３７０に基づいてピクチャ選択信号２３８０を選択器２３５０に供給する。ピクチャ選択信号２３８０及びユーザ入力２３７０は、複数のピクチャのうちのどれをユーザが表示させたいかを示す。選択器２３５０は、選択されたピクチャを出力２３９０として供給する。選択器２３５０は、ピクチャ選択情報２３８０を使用して、復号化ビデオ２３３０におけるピクチャのどれを出力２３９０として供給するかを選択する。選択器２３５０は、タイリング情報２３４０を使用して、復号化されたビデオ２３３０における、選択されたピクチャを位置特定する。

【0220】

種々の実現形態では、選択器２３５０はユーザ・インタフェース２３６０を含み、他の実現形態では、ユーザ・インタフェース２３６０は必要でない。選択器２３５０はユーザ入力２３７０を直接、別個のインタフェース機能が行われることなく受け取る。選択器２３５０は、例えば、ソフトウェアで、又は集積回路として実現し得る。選択器２３５０は、更に、復号化器２３１０を組み入れ得る。

【0221】

より一般には、本出願において記載した種々の実現形態の復号化器は、タイル全体を含む復号化された出力を提供し得る。更に、又はあるいは、復号化器は、タイルからの、選択された１つ又は複数のピクチャ（例えば、画像又は深度信号）のみを含む復号化された出力を供給し得る。

【0222】

上述の通り、本願の原理の１つ又は複数の実施例に応じてシグナリングを行うために高水準構文を使用し得る。高水準構文は、限定列挙でないが、より大きなフレームに存在している符号化されたビューの数、ビュー全ての元の幅及び高さ、符号化されたビュー毎の、ビューに対応するビュー識別子、符号化されたビュー毎の、ビューのフレームが分割された部分の数、ビューの部分毎の反転方向（例えば、反転なし、水平方向の反転のみ、垂直方向の反転のみ、又は、水平方向及び垂直方向の反転）、ビューの部分毎の、ビューの最終フレームに現在の部分が属するマクロブロックの数又は画素における左位置、ビューの部分毎の、ビューの最終フレームに現在の部分が属するマクロブロックの数又は画素における部分の上位置、ビューの部分毎の、マクロブロックの数又は画素におけるクロッピング・ウィンドウの、復号化された現在の大きな符号化フレームにおける左位置、ビューの部分毎の、マクロブロックの数又は画素におけるクロッピング・ウィンドウの、復号化／符号化された現在の大きな符号化フレームにおける右位置、ビューの部分毎の、マクロブロックの数又は画素におけるクロッピング・ウィンドウの、復号化／符号化された現在の大きな復号化／符号化フレームにおける上位置、及び、ビューの部分毎の、マクロブロックの数又は画素におけるクロッピング・ウィンドウの、現在の大きな復号化／符号化フレームにおける下位置、及び、符号化されたビュー毎に、出力の前にビューをアップサンプリングする必要があるか否か（アップサンプリングを行う必要がある場合、（限定列挙でないが、ＡＶＣ６タップ・フィルタ、ＳＶＣ４タップ・フィルタ、双線形フィルタ、又は、カスタムの１Ｄ、２Ｄ線形若しくは非線形フィルタを含む）のうちの何れかをシグナリングするために使用し得る。

【0223】

「符号化器」及び「復号化器」の語は、汎用的な構造を暗示しており、何れの特定の機能又は構成にも限定されない。例えば、復号化器は、符号化されたビットストリームを搬送し、符号化されたビットストリームを復調し、ビットストリームを復号化する変調されたキャリアを受け取り得る。

【0224】

種々の方法を説明してきた。前述の方法の多くは、十分な開示を提供するために詳説している。しかし、前述の方法について説明した特定の構成のうちの１つ又は複数を変え得る変形が想定される。更に、記載された構成の多くは、当該技術分野において知られており、よって、更に詳細には説明しない。

【0225】

更に、いくつかの実現形態において、特定の情報を送出するために、高水準構文の使用に言及している。しかし、他の実現形態は、同じ情報（又はその情報の変形）を提供するために、低水準構文、又は、実際には全く他の機構（例えば、符号化データの一部として情報を送出する等）を使用するものとする。

【0226】

種々の実現形態は、複数のビュー（更に一般には、ピクチャ）が、単一のピクチャにタイリングされ、単一のピクチャとして符号化され、単一のピクチャとして送出されることを可能にするためにタイリング及び適切なシグナリングを提供する。シグナリング情報は、ポストプロセッサが、ビュー／ピクチャをバラバラにすることを可能にし得る。更に、タイリングされる複数のピクチャはビューであり得るが、ピクチャの少なくとも１つは深度情報であり得る。前述の実現形態は１つ又は複数の利点を提供し得る。例えば、ユーザは、複数のビューを、タイリングされた態様で表示したいことがあり得、前述の種々の実現形態は、タイリングされたやり方で符号化し、かつ送信し／記憶する前にタイリングすることにより、前述のビューを符号化し、かつ送信し、又は記憶するための効率的なやり方を提供する。

【0227】

更に、ＡＶＣ及び／又はＭＶＣのコンテキストで複数のビューをタイリングする実現形態は、更なる効果を提供する。ＡＶＣは、表面上には、単一のビューにのみ使用されるので、更なるビューは期待されない。しかし、前述のＡＶＣベースの実現形態は、ＡＶＣ環境における複数のビューを提供することが可能である。例えば、タイリングされたピクチャが別々のビューに属している（例えば、擬似ビューにおける左上ピクチャがビュー１であり、右上ピクチャが２である等）ことを復号化器が知っているように、タイリングされたビューを構成することが可能であるからである。

【0228】

更に、ＭＶＣは既に、複数のビューを含んでいるので、複数のビューは、単一の擬似ビューに含まれることが期待されるものでない。更に、ＭＶＣは、サポートすることが可能なビューの数に対する限度を有し、前述のＭＶＣベースの実現形態は、事実上、タイリングするための更なるビューを（ＡＶＣベースの実現形態のように）可能にすることによってサポートすることが可能なビューの数を増加する。例えば、各擬似ビューは、ＭＶＣのサポートされたビューの１つに対応し得、復号化器は、「サポートされたビュー」それぞれが実際に、予め手はずされタイリング順序での４つのビューを含むということが分かっていることがあり得る。よって、前述の実現形態では、考えられるビューの数は、「サポートされたビュー」の数の４倍である。
以下に続く記載では、ＳＥＩメッセージなどの高水準構文は、単一のピクチャとしてタイリングされたピクチャに、複数の空間インターリーブ・モードのうちのどれを、ピクチャに割り当て可能かについての情報を含めるよう種々の実現形態において拡張される。空間インターリーブは、例えば、サイドバイサイド、上下、垂直インタレース、水平インタレース、チェッカーボードなどの複数のモードにおいて行われ得る。更に、タイリングされたピクチャにおけるコンテンツについての関係情報を含めるよう構文が拡張される。関係情報は、ステレオ画像における左ピクチャ及び右ピクチャの指定、あるいは、２Ｄ＋深度がピクチャに使用される場合の深度ピクチャとしての識別情報、あるいは、ピクチャが層状深度ビデオ（ＬＤＶ）信号を形成する旨の表示を含み得る。

【0229】

本明細書において既に上述したように、構文は、スライス・ヘッダ・レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、及びネットワーク抽象化レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルなどの、ＳＥＩメッセージに加えて、何れかの高水準構文において実現されるものとして想定される。更に、低水準構文が、情報をシグナリングするために使用することが可能であることを想定している。更に、種々のやり方で情報を帯域外でシグナリングすることが可能であるということも想定している。

【0230】

ＡＶＣの上述の修正案に記載されたチェッカーボード空間インターリーブのＳＥＩメッセージ構文を以下の表６に定義する。

【0231】

【表6】

このＳＥＩメッセージは、示された空間インターリーブ手法を使用して、別個の複数のピクチャの空間インターリーブにより、出力復号化ピクチャが形成される旨を復号化器に通知する。このＳＥＩメッセージにおける情報は、表示又は他の目的のために、ピクチャ・データを適切にデインターリーブし、処理するために復号化器によって使用することが可能である。

【0232】

表６の空間インターリーブされたピクチャのＳＥＩメッセージの構文の定義された値の意味論は以下の通りである。

【0233】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｉｄは、空間インターリーブされたピクチャのＳＥＩメッセージの使用を識別するために使用することができる識別番号を含む。

【0234】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｃａｎｃｅｌ＿ｆｌａｇが１に等しいことは、空間インターリーブされたピクチャのＳＥＩメッセージが、出力順序における何れの先行する、空間インターリーブされたピクチャのＳＥＩメッセージのパーシステンスをなくすことを示す。ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｃａｎｃｅｌ＿ｆｌａｇが０に等しいことは、空間インターリーブされたピクチャの情報が続くことを示す。

【0235】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄは、単一のタイリングされたピクチャに含まれる複数のピクチャの空間インターリーブのタイプを示す。

【0236】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが０に等しいことは、復号化されたピクチャの各成分平面が、図２６に示すような２つのピクチャの対応する平面の「チェッカーボード」ベースのインターリーブを含む旨を示す。

【0237】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが１に等しいことは、復号化されたピクチャの各成分平面が、図２６に示すような２つのピクチャの対応する平面の「チェッカーボード」ベースのインターリーブを含む旨を示し、更に、図２６に示すようなステレオビュー・シーンの左ビュー及び右ビューからの２つの成分平面を形成することを示す。

【0238】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、空間インターリーブされたピクチャのＳＥＩメッセージのパーシステンスを規定し、符号化ビデオ・シーケンスの終わり、又はｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｉｄの同じ値の、別の空間インターリーブされたピクチャのＳＥＩメッセージがビットストリームに存在しているピクチャ順序カウント間隔を規定し得る。

【0239】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが０に等しいことは、空間インターリーブされたピクチャのＳＥＩメッセージが、現在復号化されているピクチャのみに施される旨を規定する。

【0240】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが１に等しいことは、空間インターリーブされたピクチャのＳＥＩメッセージが、以下の条件の何れかが真の状態になるまで出力順序が持続する旨を規定する。すなわち、新たに符号化されたビデオ・シーケンスが始まる。

【0241】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｉｄの値が同じ空間インターリーブされたピクチャのＳＥＩメッセージを含むアクセス・ユニットにおける、ＰｉｃＯｒｄｅｒＣｎｔ（）がＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）よりも大きなピクチャが出力される。

【0242】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが０に等しいか、又は１に等しいことは、ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｉｄの値が同じ、別の空間インターリーブされたピクチャのＳＥＩメッセージが存在していてもよく、存在していなくてもよいということを示す。

【0243】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが１よりも大きいことは、以下の条件の何れかが真である状態になるまで、空間インターリーブされたピクチャのＳＥＩメッセージが持続するということを規定する。すなわち、新たに符号化されたビデオ・シーケンスが始まる。

【0244】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｉｄの値が同じ、空間インターリーブされたピクチャのＳＥＩメッセージを含むアクセス・ユニットにおける、ＰｉｃＯｒｄｅｒＣｎｔ（）がＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）よりも大きく、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）＋ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄ以下であるピクチャが出力される。

【0245】

ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが１よりも大きいことは、ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｉｄの値が同じ、別の空間インターリーブされたピクチャのＳＥＩメッセージは、出力されたアクセス・ユニットにおける、ＰｉｃＯｒｄｅｒＣｎｔ（）が、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）よりも大きく、ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ）＋ｓｐａｔｉａｌｌｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｐｉｃｔｕｒｅｓ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄ以下であるピクチャに、前述のピクチャの出力なしで、新たな符号化ビデオ・シーケンスが始まるか、又はビットストリームが終了するまで、存在する。

【0246】

ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが０に等しいことは、空間インターリーブされたピクチャのＳＥＩメッセージ内に更なるデータが後続しない旨を示す。

【0247】

ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが０に等しいことは、空間インターリーブされたピクチャのＳＥＩメッセージ内に更なるデータが後続しない旨を示す。

【0248】

表６に示す構文を変えることなく、このアプリケーションの実現形態は、例示的なＳＥＩメッセージ内に空間インターリーブ情報及び関係情報を提供する。ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄの考えられる値の範囲は、１つのチェッカーボード方法のみでなく、複数の空間インターリーブ方法を示すようこの実現形態において修正され、拡張される。更に、パラメータｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄは、特定のタイプの空間インターリーブがピクチャ内に存在している旨、及び構成されたインターリーブ・ピクチャが互いに関係している旨を示すよう活用される。この実現形態では、ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄの場合、意味論は以下の通りである。

【0249】

値２又は３は、図２７に示すように、単一のピクチャが、２つのピクチャの対応する平面の「サイドバイサイド」インターリーブを含むということを意味している。値３は、更に、２つの構成ピクチャがステレオビュー・シーンの左ビュー及び右ビューを形成するということを意味している。サイドバイサイド・インターリーブの場合、一方のピクチャは、コンポジット・ピクチャがサイドバイサイドの２つの画像を含むように他方のピクチャの一方側に配置される。

【0250】

値４又は５は、図２８に示すように、単一のピクチャが、２つのピクチャの対応する平面の「上下」インターリーブを含むということを意味している。値５は、更に、２つの構成ピクチャがステレオビュー・シーンの左ビュー及び右ビューを形成するということを意味している。上下インターリーブの場合、コンポジット・ピクチャが、他方の上に一画像を有するようにみえるように一方のピクチャが他方のピクチャの上に配置される。

【0251】

値６又は７は、図２９に示すように、単一のピクチャが、２つのピクチャの対応する平面の「行単位の」インターリーブ、又は単に行インタレースを含むということを意味している。値７は、更に、２つの構成ピクチャがステレオビュー・シーンの左ビュー及び右ビューを形成するということを意味している。行単位のインターリーブの場合、単一のピクチャの連続する行では、一方の構成ピクチャと他方の構成ピクチャが交番する。基本的には、単一のピクチャは、構成画像の水平スライスの交番である。

【0252】

値８又は９は、図３０に示すように、単一のピクチャが、２つのピクチャの対応する平面の「列単位の」インターリーブを含むということを意味している。値９は、更に、２つの構成ピクチャがステレオビュー・シーンの左ビュー及び右ビューを形成するということを意味している。列単位のインターリーブの場合、単一のピクチャの連続する列では、一方の構成ピクチャと他方の構成ピクチャが交番する。基本的には、単一のピクチャは、構成画像の垂直スライスの交番である。

【0253】

関連付けられたピクチャについての情報を伝えるために例示的なＳＥＩメッセージにおいて使用するための構文の別の実施例では、更なる情報を示すために、いくつかの更なる構文要素が表７に含まれている。例えば、１つ又は複数の構成ピクチャの向き（例えば、反転）を示し、画像について左右ステレオ対関係が存在しているか否かを別個に示し、何れかの構成ピクチャについてアップサンプリングが必要であるか否かを示し、アップサンプリングの考えられる度合い及び方向を示すために、前述の更なる構文要素が含まれる。

【0254】

【表7】

意味論は以下のように定義される。

【0255】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄはピクチャの空間インターリーブのタイプを示す。

【0256】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが０に等しいことは、復号化されたピクチャの各成分平面が、上述の提案（図２６）におけるように２つのピクチャの対応する平面の「チェッカーボード」ベースのインターリーブを含む旨を示す。

【0257】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが１に等しいことは、復号化されたピクチャの各成分平面が、図２７に示すように２つのピクチャの対応する平面の「サイドバイサイド」ベースのインターリーブを含む旨を示す。

【0258】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが２に等しいことは、復号化されたピクチャの各成分平面が、図２８に示すような２つのピクチャの対応する平面の「上下」ベースのインターリーブを含む旨を示す。

【0259】

ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが３に等しいことは、復号化されたピクチャの各成分平面が、図２９に示すような２つのピクチャの対応する平面の「行単位」ベースのインターリーブを含む旨を示す。
ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが４に等しいことは、復号化されたピクチャの各成分平面が、図３０に示すように２つのピクチャの対応する平面の「列単位」ベースのインターリーブを含む旨を示す。

【0260】

ｓｔｅｒｅｏ＿ｐａｉｒ＿ｆｌａｇは、２つの構成ピクチャが、ステレオビュー・シーンの左ビュー及び右ビューを形成するものとしての関係を有するか否かを示す。値０は、構成ピクチャが、左ビュー及び右ビューを形成しない旨を示す。値１は、画像の左ビュー及び右ビューを形成しているものとして関係していることを示す。

【0261】

ｕｐｓａｍｐｌｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、２つの構成ピクチャが、復号化中に単一のピクチャから抽出された後、水平方向においてアップサンプリングが必要であるか否かを示す。値０は、アップサンプリングが必要でない旨を示す。これは、サンプリング係数ゼロに対応する。値１は、サンプリング係数２でのアップサンプリングが必要である旨を示す。

【0262】

ｕｐｓａｍｐｌｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇは、２つの構成ピクチャが、復号化中に、単一のピクチャから抽出された後、垂直方向でのアップサンプリングを必要とするか否かを示す。値０は、アップサンプリングが必要でない旨を示す。これは、サンプリング係数ゼロに対応する。値１は、サンプリング係数２でのアップサンプリングが必要である旨を示す。

【0263】

以下に更に詳細に説明するように、ピクチャ復号化中に、アップサンプリング動作が適切に処理されるように、アップサンプリング動作の多くの局面をＳＥＩメッセージにおいて伝えることが可能であると想定している。例えば、アップサンプリングのための係数の更なる範囲を示すことが可能であり、アップサンプリング・フィルタのタイプを示すことも可能であり、ダウンサンプリング・フィルタは、復号化器が、アップサンプリングするために、適切であるか、又は最適であるフィルタを求めることが可能であるようにも示すことが可能である。更に、アップサンプリング・フィルタ係数の数及び値は、受信器が好ましいアップサンプリング動作を行うように、アップサンプリング・フィルタ係数の数及び値を含むフィルタ係数情報をＳＥＩメッセージにおいて更に示すことが可能であるとも想定している。

【0264】

サンプリング係数は、ビデオ・ピクチャのサンプリングされたサイズと元のサイズとの間の比を示す。例えば、サンプリング係数が２の場合、元のピクチャ・サイズは、サンプリングされたピクチャ・サイズの２倍の大きさである。ピクチャ・サイズは通常、画素単位での解像度の尺度である。よって、水平方向にダウンサンプリングされたピクチャは、元のビデオ・ピクチャの解像度を回復するために、同じ係数での対応する水平アップサンプリングを必要とする。元のピクチャは、例えば、１０２４個の画素の幅を有する場合、幅が５１２個の画素のダウンサンプリングされたピクチャになるようサンプリング係数２で水平方向にダウンサンプリングし得る。ピクチャ・サイズは通常、画素単位の、解像度の尺度である。垂直のダウンサンプリング又はアップサンプリングについても同様な解析を示すことが可能である。サンプリング係数は、合成された水平方向及び垂直方向の手法に依存するダウンサンプリング又はアップサンプリングに適用し得る。

【0265】

ｆｌｉｐ＿ｆｌａｇは、第２の構成ピクチャが反転しているか否かを示す。値０は、そのピクチャにおいて反転が存在していない旨を示す。値１は、反転が行われる旨を示す。反転は、ピクチャの平面における中心軸を中心とした１８０度の回転を伴うものとして当業者によって理解されるはずである。反転の方向は、この実施例では、インターリーブ・タイプによって判定される。例えば、サイドバイサイド・インターリーブ（ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが１に等しい）が構成ピクチャに存在している場合に、（図３１に示すように）ｆｌｉｐ＿ｆｌａｇの適切な値で示された場合、水平方向に（すなわち、垂直軸を中心として）右側ピクチャを反転させることが好ましい。例えば、上下空間インターリーブ（ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが２に等しい）が構成ピクチャに存在している場合に、（図３２に示すように）ｆｌｉｐ＿ｆｌａｇの適切な値で示された場合、垂直方向に（すなわち、中心水平軸を中心として）下のピクチャを反転させることが好ましい。本明細書及び特許請求の範囲において第２の構成ピクチャを反転させることを説明してきたが、（上下インターリーブにおける上のピクチャ、又はサイドバイサイド・インターリーブにおける左のピクチャなどの）第１のピクチャの反転を伴い得ることを想定している。当然、ｆｌｉｐ＿ｆｌａｇの前述の更なる自由度を扱うために、値の範囲を増加させるか、又はそれに関係する別の意味論を導入することが必要であり得る。

【0266】

更に、更なる実施例が、水平方向及び垂直方向にピクチャを反転させることを可能にし得ることも想定している。例えば、図２に示すような４象限毎に１つのビュー（すなわち、ピクチャ）を有する単一のピクチャにおいて４つのビューが併せてタイリングされる場合、左上象限が、反転していない第１のビューを含み、他方で、右上象限は、水平方向にのみ、反転させた第２のビューを含み、左下象限は垂直方向のみに回転させた第３のビューを含み、右下象限は、水平方向及び垂直方向に反転させた第４のビューを含む。このようにしてタイリング又はインターリーブにより、ビュー間のインタフェースにおける境界は、ピクチャ内の隣接するビューから境界の両側に、共通のシーンのコンテンツを有する可能性が高いということが分かる。前述のタイプの反転は、圧縮において更なる効率をもたらし得る。このタイプの反転の表示が、本開示の範囲内で想定される。
更に、表７の構文を、２Ｄ＋深度のインターリーブの処理に使用するよう適合し得るということを想定している。例えば前述の形式を入力とする商用ディスプレイを開発し得る。前述のアプリケーションの例示的な構文を表８に規定する。意味論の多くは、既に上記で規定されている。新たに導入された意味論のみを以下に説明する。

【0267】

【表8】

ｓｅｍａｎｔｉｃｓ＿ｉｄは、先行する例示的な実施例におけるｓｔｅｒｅｏ＿ｐａｉｒ＿ｆｌａｇを置き換え、インターリーブされた２つのピクチャについてどのような関係が意図されているか（すなわち、２つのピクチャが物理的に何を意味しているか）を示すために使用される。値０は、２つの構成ピクチャが、画像の左ビュー及び右ビューを形成することを示す。値１は、第１の構成ピクチャの対応する深度マップを表すことを示す。図３４は、構成ビデオ及び深度画像（例えば、２Ｄ＋Ｚ）がサイドバイサイドでインターリーブされる例示的な単一のピクチャを示す。他のインターリーブ方法は、ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄの特定の値によって示すことが可能である。値２は、インターリーブされた２つのピクチャ間の関係が規定されていない旨を示す。２よりも大きな値は、更なる関係を示すために使用することが可能である。

【0268】

ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔは、カメラに関するシーンのパラメータを示す。パラメータは、この同じＳＥＩメッセージに存在し得るか、あるいは、パラメータは、別のＳＥＩメッセージにおいて伝えることが可能であるか、あるいはＳＰＳ、ＰＰＳ、スライス・ヘッダ等などの他の構文内に存在し得る。カメラ・パラメータは一般に、少なくとも、焦点距離、基準線距離、カメラ位置、Ｚｎｅａｒ（シーンとカメラとの間の最小距離）、及びＺｆａｒ（シーンとカメラとの間の最大距離）を含む。カメラ・パラメータ・セットは、３×３内部マトリクス、３×３回転マトリクス、及び３Ｄ変換ベクトルを含む、カメラ毎のフル・パラメータ・セットも含み得る。例えば、レンダリングし、場合によっては、符号化するためにカメラ・パラメータが使用される。

【0269】

表８に示すものと同等のＳＥＩメッセージ又は他の構文を使用する場合、ビデオと深度とのシステム・レベルにおける同期化に対する必要性を避けることが可能であり得る。ビデオ及び関連付けられた深度が１つの単一のフレームに既にタイリングされているので、このことが生じる。

【0270】

ピクチャの層状深度ビデオ（ＬＤＶ）形式は図３３に示す。この図では、４つのピクチャが、コンポジット・ピクチャを形成するために、サイドバイサイドで、及び上下にインターリーブされる。左上の４象限のピクチャは中心ビュー層を表す一方、右上の４象限のピクチャは中心深度層を表す。同様に、左下の４象限のピクチャはオクルージョン・ビュー層を表す一方、右下の４象限のピクチャはオクルージョン深度層を表す。図３３に示す形式は、商用の自動立体ディスプレイの入力形式として使用し得る。

【0271】

ＬＤＶの存在は、先行する実施例に示されたものと同様な構文を使用して示される。主に、ｓｅｍａｎｔｉｃｓ＿ｉｄの意味論は以下のようにＬＤＶオプション導入するよう拡張される。

【0272】

【表9】

ｓｅｍａｎｔｉｃｓ＿ｉｄは、ピクチャ間の関係（すなわち、インターリーブされたピクチャが互いに対して物理的に何を意味しているか）を示す。

【0273】

値０以上２以下は、２つのピクチャが上述のように関係していることを意味している。値０は、２つのピクチャが、左ビュー及び右ビューを形成する旨を示す。この値は、ビューが、シーンのステレオ・ビューである旨も示すことが可能である。値１は、第２のピクチャが、第１のピクチャの対応する深度マップ（すなわち、２Ｄ＋Ｚピクチャの組）を指す旨を示す。値２は、インターリーブされた２つのピクチャ間の関係が規定されていない旨を示す。

【0274】

値３は、４つの成分ピクチャがインターリーブされている旨を示し、例えば図３３に示すようなＬＤＶ表現の４つの成分ピクチャに対応する。３を超える値は、更なる関係表示について使用することが可能である。

【0275】

本明細書及び特許請求の範囲において想定している更なる関係の表示は、限定列挙でないが、複数のビューが、マルチビュー＋深度（ＭＶＤ）として知られている、２Ｄ＋Ｚピクチャの複数の組であるという表示、複数のビューが、深度拡張ステレオ（ＤＥＳ）として知られている、２つのＬＤＶピクチャの組における画像を表しているという表示を含む。

【0276】

ｓｅｍａｎｔｉｃｓ＿ｉｄが３に等しく、ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが１（サイドバイサイド）又は２（上下）に等しい場合、４つの成分ピクチャは、図３３に示すようにインターリーブされる。

【0277】

ｓｅｍａｎｔｉｃｓ＿ｉｄが３に等しく、ｂａｓｉｃ＿ｓｐａｔｉａｌ＿ｉｎｔｅｒｌｅａｖｉｎｇ＿ｔｙｐｅ＿ｉｄが０に等しい場合、４つのピクチャは、ビュー０に対するビュー１、２及び３のオフセットが、構文内の新たな意味論などを介して特定の表示によって更にシグナリングされた場合に、例１（要素２２１０）又は例２（要素２２２０）として図２２に示すようにインターリーブされる。ｓｅｍａｎｔｉｃｓ＿ｉｄが３に等しい場合、図２２の例１（要素２２１０）に示すようにＬＤＶピクチャに対してインターリーブが行われることを想定している。更に、ｓｅｍａｎｔｉｃｓ＿ｉｄが４に等しい場合、図２２の例２（要素２２２０）に示すようにＬＤＶピクチャに対してインターリーブが行われることを想定している。オフセットのある、ＬＤＶに対するインターリーブ、及びオフセットのない、ＬＤＶに対するインターリーブは、図２２に関して既に説明している。

【0278】

上述の通り、３Ｄ／ステレオ・ビデオ・コンテンツを２Ｄビデオ符号化標準を使用して符号化することが可能である。フレーム・パッキング方法は、空間ダウンサンプリングされたか、又は時間ダウンサンプリングされたビューを、符号化するために一フレームにパッキングすることを可能にする。復号化されたフレームは、構成された複数のビューにアンパックされ、これは次いで、概ね、元の解像度にアップサンプリングされる。

【0279】

アップサンプリング、及び、特に、アップサンプリング・フィルタは、構成されたビュー又はピクチャの再構成の品質において重要な役割を果たす。アップサンプル・フィルタの選択は、通常、符号化器において使用されるダウンサンプル・フィルタに依存する。ビットストリームにおいて、又は標準化されていない手段により、ダウンサンプリング・フィルタ又はアップサンプリング・フィルタについての情報が復号化器に伝えられた場合、アップサンプリングされた復号化ピクチャの品質を改善することが可能である。復号化器におけるアップサンプル・フィルタの特性は必ずしも、逆数の関係のみにより、符号化器におけるダウンサンプル・フィルタの特性に制約されないが、マッチングされたアップサンプル・フィルタは、最適な信号再構成を提供することが期待され得る。実験からの少なくとも１つの実現形態では、アップサンプル・パラメータを復号化器にシグナリングするためにＳＥＩメッセージを使用することが可能であるということが判定されている。他の実現形態では、アップサンプル・フィルタ・パラメータ及びダウンサンプル・フィルタ・パラメータが、ビデオ復号化器に向けたＳＥＩメッセージ内で示されることを想定している。通常のＨ．２６４／ＭＰＥＧ−４ ＡＶＣビデオ符号化器及び復号化器を、上述の通り、図３及び図４それぞれに表す。前述の装置は、本明細書及び特許請求の範囲記載の種々の実現形態の局面の実行に適している。更に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに合わせていないか、又はＨ．２６４／ＭＰＥＧ−４ ＡＶＣとともに動作可能でない他の装置は、本出願に記載した種々の実現形態の実行に適している。

【0280】

上述の通り、フレーム・パッキング・アップサンプルのＳＥＩメッセージは、種々のアップサンプル・フィルタをシグナリングするためのＨ．２６４／ＭＰＥＧ−４ ＡＶＣフレーム・パッキングのフレームワークにおいて以下に定義する。前述の構文はＳＥＩメッセージのみに制限されることを意図するものでない。メッセージ情報は、例えば、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライス・ヘッダ、及びＮＡＬヘッダなどの他の高水準構文において使用されるものなどの他の手段によっても提供することが可能であることを想定している。
アップサンプリング情報を使用する例示的な実施例では、

【数1】

の形式で表されるｋ個の非ナル係数で定義される奇数のタップを有する２次元対称ＦＩＲフィルタとして選択される。

【0281】

フィルタ係数ｃｉは、係数ｃｉ全ての和が、iが範囲｛ｌ，．．．，ｋ｝内にある場合に、０．５であるように正規化される。

【0282】

上述のフィルタ・パラメータを使用した例示的な水平アップサンプル処理は、以下に更に詳細に示されるような一連の工程によって説明する。元の画像は、ｍ×ｎマトリクスＸとして表す。マトリクスＡは、

【数2】

の属性を有するｎ×（２ｋ＋ｎ）マトリクスとして定義される。ここで、

【数3】

は、ｋ×ｋの対角単位マトリクスである。元の画像Ｘは、

【数4】

のようにテンソル積演算を使用して、新たな画像マトリクスＸ’に変換される。

【0283】

マトリクスＨは、連続する行それぞれに沿って移動させ、

【数5】

のように、先行するゼロ及び／又は後続するゼロでパディングされた、上述したようなｋ個の非ナル・タップ係数（すなわち、

【数6】

）を含むｎ×（４ｋ＋ｎ−１）マトリクスとして定義される。

【0284】

水平アップサンプリング後の出力画像マトリクスＹは次いで、

【数7】

として表される。

【0285】

同様に、例示的な垂直アップサンプリング処理は以下のように説明する。新たなマトリクスＡ’は、

【数8】

として、マトリクスと同様に定義される。

【0286】

画像Ｙは次いで、

【数9】

に示すようにテンソル積演算を介して新たな画像マトリクスＹ’に変換される。

【0287】

垂直アップサンプリング後の出力画像マトリクスはその場合、

【数10】

として表す。

【0288】

マトリクスＦは、水平アップサンプリング変換及び垂直アップサンプリング変換後の最終画像マトリクスである。

【0289】

上記例におけるアップサンプリングは水平演算及び垂直演算として表している。水平アップサンプリングの前に垂直アップサンプリングが行われるように動作の順序を逆にすることが可能であることを想定している。更に、１つのタイプのアップサンプリングのみを特定の場合に行い得ることを意図している。

【0290】

アップサンプリング情報を復号化器に伝えるためのＳＥＩメッセージを使用するために、上記構文内に特定の意味論が含まれなければならないことを想定している。以下、表１０に示す構文は、ビデオ復号化器におけるアップサンプリングに有用な情報を含む。以下の構文は、アップサンプリング情報を伝えるために重要なパラメータのみを示すよう省略している。例えば、関係の表示、向きの表示、アップサンプルの表示、及び空間インターリーブの表示に関するかなりの量のフレーム・パッキング情報を伝えるために、先行する構文の何れか１つ又は複数と組み合わせることが可能であるということを当業者は認識するであろう。

【0291】

【表10】

構文要素の意味論は以下に定義する。

【0292】

ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｊｌｔｅｒ＿ｐａｒａｍｅｔｅｒｓ［ｃ］は、色成分ｃの（４ｋ−ｌ）タップの水平フィルタの順序を示し、ここで、ｃは別々の３つの色成分のうちの１つである。

【0293】

ｈ［ｃ］［ｉ］は、２１５−１以上、−２１５以下の範囲内の１６ビット精度で色成分ｃの水平フィルタのｉ番目の係数を規定する。フィルタのノルムは２１６である。

【0294】

ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒｔｉｃａｌ＿ｆｉｌｔｅｒ＿ｐａｒａｍｅｔｅｒｓは色成分ｃの（４ｋ−ｌ）タップの垂直フィルタの順序を示す。

【0295】

ｖ［ｃ］［ｉ］は、２^１５−１以上、−２^１５以下の範囲内の１６ビット精度で色成分ｃの垂直フィルタのｉ番目の係数を規定する。フィルタのノルムは２^１６である。

【0296】

この構文の場合、既知のフィルタ・タイプが復号化器に存在しているものとする。しかし、上記２次元対称ＦＩＲフィルタに加えて、又は前述のフィルタの代わりに、各種アップサンプル・フィルタを使用し得ると想定している。前述の他のアップサンプル・フィルタは、限定列挙でないが、双線形フィルタ、キュービック・フィルタ、スプライン・フィルタ、ウィーナー・フィルタ、又は最小二乗フィルタなどの何れかの補間フィルタを含む。他のフィルタ・タイプが使用するために入手可能である場合、上記構文は、アップサンプリングするためにフィルタ・タイプについての情報を示すための１つ又は複数の意味論を含めるよう拡張される。

【0297】

アップサンプル・フィルタ・パラメータは、ダウンサンプリング・フィルタ情報等などの種々の入力に基づいてＳＥＩメッセージに含めるために符号化器において導き出すことができるということを当業者は認識するであろう。更に、前述の情報は単純に、ＳＥＩメッセージにおいて含めるために符号化器に供給し得るということを認識するであろう。

【0298】

更に、表１０に示す構文は、アップサンプル・フィルタ・パラメータの代わりに、ダウンサンプル・フィルタ・パラメータを送信するよう修正することが可能であると更に想定している。この実施例では、復号化器に対するダウンサンプル・フィルタ・パラメータの表示は、ダウンサンプル・フィルタ・パラメータに基づいて最適なアップサンプル・フィルタ・パラメータを判定するための機能を復号化アプリケーションにもたらす。ダウンサンプル・フィルタにシグナリングするために同様な構文及び意味論を使用することが可能である。ダウンサンプル・フィルタ又はアップサンプル・フィルタをパラメータが表す旨を示すために意味論を含め得る。

【0299】

最適なアップサンプル・フィルタを復号化器によって求める場合、復号化器は、当該技術分野において知られている何れかのやり方で前述の判定を行い得る。更に、復号化器は、最適でないか、又は必ずしも最適でないアップサンプル・フィルタを判定し得る。復号化器における判定は、処理の制約、ディスプレイ・パラメータの考慮点等に基づき得る。更なる例として、復号化器は当初、複数の各種アップサンプリング・フィルタを選択し、次いで、復号化器に最適な特定の復号化器の基準によって判定される結果をもたらす一フィルタを最終的に選択することが可能である。

【0300】

アップサンプル・フィルタ情報の表示に関する例示的な符号化手法を示すフローチャートを図３５に示し、以下に簡単に説明する。当初、符号化器の構成が求められ、高水準構文が作成される。ピクチャ（例えば、ビュー）は、フレームにパッキングするためにダウンサンプル・フィルタによってダウンサンプリングされる。ダウンサンプリングされたピクチャはフレームに空間インターリーブされる。アップサンプル・フィルタ・パラメータは符号化器によって求められるか、又は直接、符号化器に供給される。一実施例では、タイプ、サイズや係数値などのアップサンプル・フィルタ・パラメータはダウンサンプル・フィルタから導き出される。色成分（例えば、ＹＵＶ、ＲＧＢ）毎に、水平アップサンプル・フィルタ・パラメータ及び垂直アップサンプル・フィルタ・パラメータは、数及び値で求められる。これは図３５に３つのループ（すなわち、成分に対する第１のループ、成分の水平フィルタ・パラメータに対する第２のループ（第１のループにネスティングされている）、及び、成分の垂直フィルタ・パラメータに対する（第１のループにネスティングされている）第３のループ）によって示す。アップサンプル・フィルタ・パラメータは次いで、ＳＥＩメッセージに書き込まれる。ＳＥＩメッセージは次いで、ビデオ画像ストリームとは別個に（帯域外で）、又は、ビデオ画像ビットストリームとともに併せて（帯域内で）復号化器に送出される。符号化器は、必要な場合、パッキングされたフレームのシーケンスとメッセージを合成する。

【0301】

図３５に表す符号化方法と対照的に、図３７に示す別の実施例は、ダウンサンプル・フィルタ・パラメータが、アップサンプル・フィルタ・パラメータの代わりにＳＥＩメッセージに含まれることを示す。この実施例では、アップサンプル・フィルタ・パラメータは、符号化器によって導き出されず、パッキングされたフレームとともに復号化器に伝えられる訳でない。

【0302】

アップサンプル・フィルタ情報の表示に関する例示的な復号化手法を示すフローチャートを図３６に示し、以下に簡単に説明する。当初、ＳＥＩメッセージ及び他の関連メッセージは復号化器によって受け取られ、構文は復号化器によって読み取られる。ＳＥＩメッセージは、サンプリング情報、インターリーブ情報等を含む、中に含まれた情報を求めるよう解析される。この例では、色成分毎のアップサンプリング・フィルタ情報がＳＥＩメッセージに含まれていると判定される。垂直アップサンプリング・フィルタ情報及び水平アップサンプリング・フィルタ情報は、各水平アップサンプリング・フィルタ係数及び垂直アップサンプリング・フィルタ係数の数及び値を得るよう抽出される。この抽出は図３６に３つのループ（すなわち、成分に対する第１のループ、成分の水平フィルタ・パラメータに対する第２のループ（第１のループにネスティングされている）、及び、成分の垂直フィルタ・パラメータに対する（第１のループにネスティングされている）第３のループ）によって示す。ＳＥＩメッセージが次いで記憶され、パッキングされたフレームのシーケンスが、その中にパッキングされたピクチャを得るために復号化される。ピクチャは、次いで、その元のフル解像度にピクチャを戻すために、回復したアップサンプリング・フィルタ・パラメータを使用してアップサンプリングされる。

【0303】

図３６に表す復号化方法と対照的に、図３８に示す別の実施例は、ダウンサンプル・フィルタ・パラメータが、アップサンプル・フィルタ・パラメータの代わりにＳＥＩメッセージに含まれることを示す。この実施例では、アップサンプル・フィルタ・パラメータは、符号化器によって導き出されず、パッキングされたフレームとともに復号化器に伝えられる訳でない。よって、復号化器は、パッキングされたビデオ・フレームにおけるインターリーブから抽出されたピクチャに、完全に元の分解能を回復させるために使用する対象のアップサンプル・フィルタ・パラメータを導き出すために、受け取られたダウンサンプル・フィルタ・パラメータを使用する。

【0304】

図３９は、本出願の原理の実現形態に応じ、本出願の原理を適用することができる例示的なビデオ送信システム２５００を示す。ビデオ送信システム２５００は例えば、衛星、ケーブル、電話回線、又は地上波放送などの種々の媒体の何れかを使用して信号を送信するためのヘッドエンド又は送信システムであり得る。送信は、インターネットを介して、又は特定の他のネットワークを介して提供し得る。

【0305】

ビデオ送信システム２５００は、深度を有する圧縮ビデオを生成し、配信することができる。これは、例えば、復号化器を有し得る受信器側で深度情報を合成するために使用することができる情報又は深度情報を含む符号化信号を生成することによって達成される。

【0306】

ビデオ送信システム２５００は、符号化信号の送信ができる送信器２５２０及び符号化器２５１０を含む。符号化器２５１０は、ビデオ情報を受け取り、深度を有する符号化信号を生成する。符号化器２５１０は、例えば、記憶又は送信のための構造化された形式で種々の情報を受け取り、記憶又は送信のための構造化された形式に種々の情報を構成するための構成装置を含むサブモジュールを含み得る。種々の情報は、例えば、符号化されたか、又は符号化されていないビデオ、符号化されたか、又は符号化されていない深度情報、及び符号化されたか、又は符号化されていない構成要素（例えば、動きベクトル、符号化モード表示子、及び構文要素など）を含み得る。

【0307】

送信器２５２０は、例えば、符号化されたピクチャ、及び／又はそれに関係する情報を表す１つ又は複数のビットストリームを有するプログラム信号を送信するよう適合し得る。通常の送信器は、例えば、誤り訂正符号化を提供する機能、信号内のデータをインターリーブする機能、信号内のエネルギをランダム化する機能、及び／又は、信号を１つ又は複数のキャリアに変調する機能などの機能を行う。送信器は例えば、アンテナ（図示せず）を含むか、又は上記アンテナとインタフェースし得る。よって、送信器２５２０の実現形態は、変調器を含み、又は変調器に限定され得る。

【0308】

図４０は、本出願の原理の実施例による、本出願の原理を適用し得る例示的なビデオ受信システム２６００を示す。ビデオ受信システム２６００は、例えば、衛星、ケーブル、電話回線、又は地上波などの各種媒体を介して信号を受信するよう構成し得る。信号は、インターネットを介して、又は特定の他のネットワークを介して受信し得る。

【0309】

ビデオ受信システム２６００は例えば、符号化されたビデオを受信する携帯電話機、コンピュータ、セットトップボックス、テレビジョン受像器、又は他の装置であり得、例えば、記憶のために、又はユーザに向けた表示のために、復号化されたビデオを供給する。よって、ビデオ受信システム２６００は、例えば、テレビジョン受像機、コンピュータ・モニタ、（記憶、処理若しくは表示のための）コンピュータ、又は、特定の他の記憶、処理、若しくは表示装置の画面に対して、その出力を供給し得る。

【0310】

ビデオ受信システム２６００は、ビデオ情報を含むビデオ・コンテンツを受信し、処理することができる。ビデオ受信システム２６００は、例えば、本出願の実現形態において説明した信号などの符号化された信号を受信することができる受信器２６１０と、受信された信号を復号化することができる復号化器２６２０とを含む。

【0311】

受信器２６１０は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するよう適合し得る。通常の受信器は、例えば、変調され、符号化されたデータ信号を受信する機能、１つ又は複数のキャリアからのデータ信号を復調する機能、信号内のエネルギをデランダマイズする機能、信号内のデータをデインターリーブする機能、及び／又は信号を誤り訂正復号化する機能のうちの１つ又は複数などの機能を行う。受信器２６１０は、アンテナ（図示せず）を含むか、又は上記アンテナとインタフェースし得る。受信器２６１０の実現形態は、復調器を含むか、又は復調器に限定され得る。復号化器２６２０は、ビデオ情報及び深度情報を含むビデオ信号を出力する。

【0312】

図４１は、本出願の原理の実現形態による、本出願の原理を適用することができる例示的なビデオ処理装置２７００を示す。ビデオ処理装置２７００は例えば、符号化されたビデオを受け取るセットトップボックス又は他の装置であり得、例えば、記憶のために、又はユーザに向けた表示のために、復号化されたビデオを供給する。よって、ビデオ処理装置２７００は、その出力をテレビジョン受像機、コンピュータ・モニタ、若しくはコンピュータ、又は他の処理装置に供給し得る。

【0313】

ビデオ処理装置２７００は、フロントエンド（ＦＥ）装置２７０５及び復号化器２７１０を含む。フロントエンド装置２７０５は例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受け取り、複数のビットストリームから復号化するために１つ又は複数のビットストリームを選択するよう適合された受信器であり得る。通常の受信器は、例えば、変調され、符号化されたデータ信号を受信する機能、データ信号を復調する機能、データ信号の１つ又は複数の符号化（例えば、チャネル符号化及び／又はソース符号化）を復号化する機能、及び／又はデータ信号を誤り訂正する機能などの機能を行う。フロントエンド装置２７０５は、例えば、アンテナ（図示せず）からプログラム信号を受け取り得る。フロントエンド装置２７０５は、受け取られたデータ信号を復号化器２７１０に供給する。

【0314】

復号化器２７１０はデータ信号２７２０を受け取る。データ信号２７２０は、例えば、１つ又は複数の高度ビデオ符号化（ＡＶＣ）、スケーラブル・ビデオ符号化（ＳＶＣ）、又はマルチビュー・ビデオ符号化（ＭＶＣ）互換ストリームを含み得る。

【0315】

復号化器２７１０は、受け取られた信号２７２０の全部又は一部を復号化し、復号化されたビデオ信号２７３０を出力として供給する。復号化されたビデオ２７３０は選択器２７５０に供給される。装置２７００は、ユーザ入力２７７０を受け取るユーザ・インタフェース２７６０も含む。ユーザ・インタフェース２７６０は、ユーザ入力２７７０に基づいてピクチャ選択信号２７８０を選択器２７５０に供給する。ピクチャ選択信号２７８０及びユーザ入力２７７０は、複数のピクチャ、シーケンス、スケラーブルなバージョン、ビュー、又は利用可能な復号化データの他の選択肢のうちのどれをユーザが表示させたいかを示す。選択器２７５０は、選択されたピクチャを出力２７９０として供給する。選択器２７５０は、ピクチャ選択情報２７８０を使用して、復号化されたビデオ２７３０におけるピクチャのどれを出力２７９０として供給するかを選択する。

【0316】

種々の実現形態では、選択器２７５０はユーザ・インタフェース２７６０を含み、他の実現形態では、ユーザ・インタフェース２７６０は必要でない。選択器２７５０はユーザ入力２７７０を直接、別個のインタフェース機能が行われることなく受け取る。選択器２７５０は、例えば、ソフトウェアで、又は集積回路として実現し得る。一実現形態では、選択器２７５０は、復号化器２７１０に組み入れられ、別の実現形態では、復号化器２７１０、選択器２７５０、及びユーザ・インタフェース２７６０は全て一体化されている。

【0317】

一アプリケーションでは、フロントエンド２７０５は、種々のテレビジョン・ショーの放送を受け取り、処理するためにその１つを選択する。１つのショーの選択は、視聴する対象の所望のチャンネルのユーザ入力に基づく。フロントエンド装置２７０５に対するユーザ入力は図４１に示していないが、フロントエンド装置２７０５はユーザ入力２７７０を受け取る。フロントエンド２７０５は、放送を受け取り、放送スペクトルの適切な部分を復調し、復調されたショーの外部の符号化を復号化することにより、所望のショーを処理する。フロントエンド２７０５は、復号化されたショーを復号化器２７１０に提供する。復号化器２７１０は、装置２７６０及び２７５０を含む一体化された装置である。復号化器２７１０はよって、ショーにおいて視聴する対象の所望のビューのユーザ提供表示であるユーザ入力を受け取る。復号化器２７１０は、選択されたビュー、及び、他のビューからの何れかの所要の参照ピクチャを復号化し、テレビジョン受像機（図示せず）上に表示するために、上記復号化されたビュー２７９０を供給する。

【0318】

上記アプリケーションを続ければ、ユーザは、表示されるビューを切り換えたいことがあり得、その場合、新たな入力を復号化器２７１０に対して供給し得る。ユーザから「ビュー切り換え」を受け取った後、復号化器２７１０は、旧ビュー及び新ビュー、並びに、旧ビューと新ビューとの間にある何れかのビューを復号化する。すなわち、復号化器２７１０は、旧ビューを撮るカメラと新ビューを撮るカメラとの間に物理的に配置されたカメラから撮られた何れかのビューを復号化する。フロントエンド装置２７０５は更に、旧ビュー、新ビュー、及びそれらの間のビューを識別する情報を受け取る。前述の情報は、例えば、復号化器２７１０、又はビューの位置についての情報を有するコントローラ（図４１に示していない）によって提供され得る。他の実現形態は、フロントエンド装置と一体化されたコントローラを有するフロントエンド装置を使用し得る。

【0319】

復号化器２７１０は、出力２７９０として、前述の復号化されたビュー全てを提供する。ポストプロセッサ（図４１に示していない）は、旧ビューから新ビューへの平滑な遷移をもたらすためにビュー間で補間し、ユーザに向けてこの遷移を表示する。新ビューへの遷移の後、ポストプロセッサは、新ビューのみが必要である旨を復号化器２７１０及びフロントエンド装置２７０５に（図示していない１つ又は複数の通信リンクを介して）通知する。その後、復号化器２７１０は、出力２７９０としてのみ、新ビュー２７９０を供給する。

【0320】

システム２７００は、画像シーケンスの複数のビューを受け取り、表示するために単一のビューを提示し、平滑な態様で種々のビュー間で切り換えるために使用し得る。上記平滑な態様は、別のビューに移動するためにビュー間で補間することが関係し得る。更に、システム２７００は、ユーザがオブジェクト又はシーンを回転させ、さもなければ、オブジェクト又はシーンの３次元表現をみることを可能にし得る。オブジェクトの回転は例えば、ビュー間で移動する工程、及びビュー間で平滑な遷移を得るか、又は単に３次元表現を得るためにビュー間で補間する工程に対応し得る。すなわち、ユーザは、補間されたビューを、表示する対象の「ビュー」として「選択」し得る。

【0321】

本明細書及び特許請求の範囲に記載した通り、本出願に記載した実現形態及び構成は、ビデオの符号化、深度の符号化、及び／又は他のタイプのデータの符号化の意味合いで使用し得る。更に、前述の実現形態及び構成は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＡＶＣ）標準、ＭＶＣ拡張を備えたＡＶＣ標準、ＳＶＣ拡張を備えたＡＶＣ標準、３ＤＶ標準、及び／若しくは別の（既存の、又は将来の）標準のコンテキストにおいて使用し得るか、上記コンテキストにおける使用に適合し得るか、又は、標準を伴わないコンテキストにおいて使用し得るか、若しくは、標準を伴わないコンテキストにおける使用に適合し得る。よって、ＡＶＣによって動作する、本出願に記載された特定の実施形態は、ＡＶＣに制限されることを意図しておらず、ＡＶＣの外で使用するよう適合し得る。

【0322】

更に、上述の通り、実現形態は、限定列挙でないが、ＳＥＩメッセージ、スライス・ヘッダ、他の高水準構文、非高水準構文、帯域外情報、データストリーム・データ、及び暗黙的なシグナリングを含む種々の手法を使用して情報をシグナリングするか、又は示し得る。本明細書及び特許請求の範囲記載の実現形態は、特定のコンテキストで説明され得るが、前述の説明は、決して、前述の実現形態又はコンテキストに構成及び概念を限定するものとして解されるべきでない。

【0323】

種々の実現形態には、復号化が関係する。本出願において使用される「復号化」は、例えば、表示に適した最終出力を生成するために、受け取られた符号化シーケンスに対して行われる処理の全部又は一部を包含し得る。前述の処理は、通常、例えば、エントロピ復号化、逆変換、逆量子化、差動復号化などの復号化器によって行われる処理を含み得る。前述の処理は、例えば、タイリングされた（パックされた）ピクチャからピクチャを抽出する処理、使用する対象のアップサンプル・フィルタを判定し、次いで、ピクチャをアップサンプルする処理、その意図された向きにピクチャを戻す処理などの、本出願に記載された種々の実現形態の、復号化器によって行われる処理を含み得る。

【0324】

本出願に開示された種々の実現形態は、複数のピクチャを単一のピクチャに合成する。ピクチャを合成する処理には例として、ピクチャの向きを変更する処理、サンプリング、空間インターリーブ、例えばピクチャ間の関係に基づいてピクチャを選択する処理が関係し得る。よって、合成する処理を表す情報は例えば、関係情報、空間インターリーブ情報、サンプリング情報、及び向き情報を含み得る。

【0325】

空間インターリーブは、種々の実現形態を説明するうえで言及される。本出願で使用される「インターリーブ」は、例えば、「タイリング」及び「パック」とも表される。インターリーブは、例えば、ピクチャのサイドバイサイド並置、ピクチャの上下並置、サイドバイサイド及び上下の合成（例えば、４ピクチャの合成のため）、行単位の交番、列単位の交番、及び種々の画素レベル（画素単位、又は画素ベースとしても表す）の手法を含む各種インターリーブを含む。

【0326】

更に、本明細書及び特許請求の範囲使用の「ピクチャ」及び「画像」の語は同義で使用され、例えば、静止画像の全部若しくは一部、又は、ビデオ・シーケンスからのピクチャの全部若しくは一部を表す。知られているように、ピクチャはフレーム又はフィールドであり得る。更に、本明細書及び特許請求の範囲で使用するように、ピクチャは、例えば、周期的な画素、交番行、交番列、単一のマクロブロック、フレームの上半分などのフレームの部分集合であってもよい。別の例として、深度ピクチャは例として、例えば、対応するビデオ・フレームの単一のマクロブロックの深度情報のみを含む部分的な深度マップ、又は完全な深度マップであり得る。

【0327】

本明細書において本願の原理の「一実施例」若しくは「実施例」又は「一実現形態」若しくは「実施形態」に言及していることは、上記実施例に関して説明した特定の構成、構造、特性等が本願の原理の少なくとも１つの実施例に含まれているということを意味している。よって、本明細書の随所に「一実施例における」若しくは「実施例における」又は「一実現形態における」若しくは「実現形態における」という句が存在していることは、必ずしも、全て、同じ実施例を参照している訳でない。

【0328】

例えば、「Ａ／Ｂ」と、「Ａ及び／又はＢ」と、「Ａ及びＢの少なくとも一方」の場合において、「／」と、「及び／又は」と、「少なくとも一方」を使用していることは、第１に列挙したオプション（Ａ）のみの選択、第２に列挙したオプション（Ｂ）のみの選択、又は、オプション（Ａ及びＢ）の選択を包含することを意図している。更なる例として、「Ａ、Ｂ、及び／又はＣ」と、「Ａ、Ｂ、及びＣの少なくとも１つ」と、「Ａ、Ｂ、又はＣの少なくとも１つ」の場合において、前述の句は、第１に列挙されたオプション（Ａ）のみの選択、あるいは、第２に列挙されたオプション（Ｂ）のみの選択、あるいは、第３に列挙されたオプション（Ｃ）のみの選択、あるいは、第１に列挙されたオプション及び第２に列挙されたオプション（Ａ及びＢ）のみの選択、あるいは、第１に列挙されたオプション及び第３に列挙されたオプション（Ａ及びＣ）のみの選択、あるいは、第２に列挙されたオプション及び第３に列挙されたオプション（Ｂ及びＣ）のみの選択、あるいは、３つのオプション（Ａ、Ｂ、及びＣ）全ての選択を包含することを意図している。これは、列挙された多くの項目について、当該技術分野及び関連した技術分野において通常の知識を有する者により、容易に分かるように拡張し得る。

【0329】

更に、本出願又は本出願の特許請求の範囲は、種々の情報を「判定すること」を表し得る。情報を判定する工程は、例えば、情報を推定する工程、情報を算出する工程、情報を予測する工程、又は情報をメモリから取り出す工程のうちの１つ又は複数を含み得る。

【0330】

同様に、「アクセスする工程」は、広い意味の用語であることを意図している。情報にアクセスする工程は、例えば、情報を使用し、記憶し、送出し、送信し、受信し、取り出し、修正し、又は供給する何れの動作も含み得る。

【0331】

図に示す構成要素は、ハードウェア、ソフトウェア、又はそれらの組み合わせの種々の形態で実現し得る。好ましくは、前述の構成要素は、プロセッサ、メモリ、及び入出力インタフェースを含み得る適切にプログラムされた１つ又は複数の汎用装置上のハードウェア及びソフトウェアの組み合わせで実現される。更に、本明細書及び特許請求の範囲記載の実現形態は、例えば、方法若しくは処理、装置、又はソフトウェア・プログラムとして実現し得る。（例えば、方法としてのみ記載された）実現形態の単一の形態のコンテキストで記載した場合でも、記載された構成の実現形態は、更に、他の形態（例えば、装置又はプログラム）で実現することもできる。装置は上述のように実現し得る。方法は例として、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能な論理装置を含む、一般に、処理装置を表す、例えばプロセッサなどの装置において実現し得る。処理装置は、更に、例えば、コンピュータ、携帯電話機、携帯情報端末（「ＰＤＡ」）、及び、エンドユーザ間での情報の通信を容易にする他の装置などの通信装置も含む。

【0332】

本明細書及び特許請求の範囲記載の種々の処理及び構成の実現形態は、各種機器又はアプリケーション、特に、例えば、データ符号化及び復号化に関連付けられた機器又はアプリケーションにおいて実施し得る。機器の例には、ビデオ符号化器、ビデオ復号化器、ビデオ・コーデック、ウェブ・サーバ、セットトップボックス、ラップトップ、パソコン、携帯電話機、ＰＤＡ、他の通信装置、個人向記録装置（例えば、ＰＶＲ、記録ソフトウェアを実行するコンピュータ、ＶＨＳ記録装置）、カムコーダ、インターネット又は他の通信リンクを介したデータのストリーミング、及びビデオオンデマンドが含まれる。機器は、モバイルであり、モバイル車両に設置し得ることは明らかである。

【0333】

更に、方法は、プロセッサによって実行される命令によって実現し得、前述の命令は、例えば、集積回路、ソフトウェア・キャリア、又は他の記憶装置（例えばハード・ディスク、コンパクト・ディスク、ランダム・アクセス・メモリ（「ＲＡＭ」）、又はリードオンリ・メモリ（「ＲＯＭ」）など）などのプロセッサ読み取り可能な媒体上に記憶し得る。命令は、プロセッサ読み取り可能な媒体上に有形に実施されたアプリケーション・プログラムを形成し得る。プロセッサが、例えば、処理を行うための命令を有するプロセッサ読み取り可能な媒体を含み得る。前述のアプリケーション・プログラムは、何れかの適切なアーキテクチャを含むマシンにアップロードし得、上述のマシンによって実行し得る。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び入力／出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、マイクロ命令コードの一部若しくはアプリケーション・プログラムの一部、又は、ＣＰＵで実行し得る何れかの組み合わせであり得る。更に、更なるデータ記憶装置及び印刷装置などの種々の他の端末装置は、コンピュータ・プラットフォームに接続し得る。

【0334】

当業者に明らかであるように、例えば、記憶又は送信され得る情報を収容するようフォーマッティングされた信号も生成し得る。情報は、例えば、上記実現形態の１つによって生成されるデータ、又は方法を行うための命令を含み得る。前述の信号は例えば、（例えば、スペクトルの無線周波数部分を使用した）電磁波として、又はベースバンド信号としてフォーマッティングし得る。フォーマッティングは例えば、データ・ストリームを符号化する工程、構文を生成する工程、並びに、符号化されたデータ・ストリーム及び構文でキャリアを変調する工程を含み得る。信号が搬送する情報は例えば、アナログ又はディジタル情報であり得る。信号は、知られているように、各種有線又は無線リンクを介して送信し得る。

【0335】

添付図面に表す構成システムの構成部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分又は処理機能ブロック間の実際の接続は、本願の原理がプログラムされたやり方に応じて異なり得る。本明細書及び特許請求の範囲記載の教示によれば、当業者は、本願の原理の前述及び同様な実現形態又は構成を想定することができるであろう。

【0336】

いくつかの実現形態を説明してきた。しかし、種々の修正を行い得るものとする。例えば、種々の実現形態の構成要素は、他の実現形態を生成するよう合成し、補強し、修正し、又は除去し得る。更に、他の構造及び処理は、開示されたものに代え得、結果として生じる実現形態は、開示された実現形態と少なくとも実質的に同じ結果を達成するために少なくとも実質的に同じやり方で少なくとも実質的に同じ機能を行うことを当業者は理解するであろう。特に、例証的な実施例を、添付図面を参照して本明細書及び特許請求の範囲において説明してきたが、本願の原理は前述の厳密な実施例に限定されず、種々の変更及び修正は、本願の原理の範囲又は趣旨から逸脱しない限り、当業者により、本明細書及び特許請求の範囲において行い得る。よって、前述及び他の実現形態は、本出願によって想定され、特許請求の範囲記載の範囲内に収まる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17A】

【図17B】

【図18】

【図19A】

【図19B】

【図20】

【図21A】

【図21B】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】