特許 5738590 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5738590

(24)【登録日】2015年5月1日

(45)【発行日】2015年6月24日

(54)【発明の名称】多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20150604BHJP

   H04N 19/503 20140101ALI20150604BHJP

   H04N 19/597 20140101ALI20150604BHJP

【ＦＩ】

   H04N13/00 480

   H04N19/503

   H04N19/597

【請求項の数】4

【全頁数】20

(21)【出願番号】特願2010-514791(P2010-514791)

(86)(22)【出願日】2008年6月24日

(65)【公表番号】特表2010-531623(P2010-531623A)

(43)【公表日】2010年9月24日

(86)【国際出願番号】US2008007894

(87)【国際公開番号】WO2009005658

(87)【国際公開日】20090108

【審査請求日】2011年6月13日

(31)【優先権主張番号】60/946,932

(32)【優先日】2007年6月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】パンディット，パーヴィン，ビバス

(72)【発明者】

【氏名】イン，ペン

【審査官】 菅 和幸

(56)【参考文献】

【文献】 特開２００７−０３６８００（ＪＰ，Ａ）

【文献】 国際公開第２００８／１３３４５５（ＷＯ，Ａ１）

【文献】 特開平０９−０９３６１４（ＪＰ，Ａ）

【文献】 国際公開第２００８／１２６９８６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００８／００９５２３４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／０１７１９６９（ＵＳ，Ａ１）

【文献】 国際公開第２００８／０８８１７５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１７／０６

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

視点間予測を使用して多視点映像コンテンツを符号化するように構成されたエンコーダを有する装置であって、
前記視点間予測は、ビューを復号するのに、隣接する参照ビューを完全に再構成する必要がないとの表示に基づき、少なくとも前記隣接する参照ビューのデータを推定し、
前記推定されるデータは、イルミネーション補償オフセットに関する、
装置。

【請求項2】

前記視点間予測は、所与のビューに関して前記多視点映像コンテンツの前記参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの符号化及び復号に関連する情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１部に関連する符号化情報を復号することを含む、
請求項１記載の装置。

【請求項3】

視点間予測を使用して多視点映像コンテンツを符号化するステップを含む方法であって、
前記符号化するステップは、ビューを復号するのに、隣接する参照ビューを完全に再構成する必要がないとの表示に基づき、少なくとも前記隣接する参照ビューのデータを推定するステップを含み、
前記推定されるデータは、イルミネーション補償オフセットに関する、
方法。

【請求項4】

前記視点間予測は、所与のビューに関して前記多視点映像コンテンツの前記参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの符号化及び復号に関連する情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１部に関連する符号化情報を復号することを含む、
請求項３記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化及び復号化に関し、より詳細には、多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置に関する。

【0002】

本出願は、2007年6月28日に提出された米国特許仮出願第60/946,932号の利益を特許請求するものであり、この仮出願は、完全な形で本明細書において引用により盛り込まれる。さらに、本出願は、同一出願人によるものであって、本出願と同時に提出される“METHODS AND APPARATUS AT AN ENCODER AND DECODER FOR SUPPORTING SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO”と題された代理人番号PU080067の非仮出願に関するものであり、この仮出願は、本明細書において引用において盛り込まれる。

【背景技術】

【0003】

多視点映像符号化（MVC: Multi-view Video Coding）は、自由視点及び３次元（３Ｄ）ビデオアプリケーション、ホームエンターテイメント及び調査を含む多様な用途に機能する。それら多視点の用途では、関与するビデオデータの量は膨大である。

【0004】

多視点映像源は同じ又は類似のシーンの多数のビューを含むので、多数のビューの画像間で高い程度の相関が存在する。したがって、時間的な冗長度に加えてビューの冗長度を利用することができ、同じ又は類似のシーンの異なるビューにわたりビューの予測を行うことで達成される。

【0005】

第一の従来技術のアプローチでは、ＭＶＣの符号化効率を改善するため、モーションスキップモードが提案される。第一の従来技術のアプローチは、２つの隣接するビュー間の動きの関して類似性が存在するという考えから生じている。

【0006】

モーションスキップモードは、同じ時間的な瞬間での隣接するビューにおける対応するマクロブロックから直接的に、マクロブロックタイプ、動きベクトル、及びリファレンスインデックスのような動き情報を推測する。この方法は、２つの以下のステージに分解される。（１）対応するマクロブロックのサーチ、及び（２）動き情報の導出。第一のステージでは、隣接するビューのピクチャにおける対応する位置（マクロブロック）を示すため、グローバルディスパリティベクトル（ＧＤＶ）が使用される。グローバルディスパリティベクトルは、現在のピクチャと隣接するビューのピクチャとの間のマクロブロックサイズのユニットにより測定される。グローバルディスパリティベクトルは、たとえばアンカーピクチャ毎にといった周期的に予測及び復号化することができる。係るケースでは、ノン・アンカーピクチャのグローバルディスパリティベクトルは、アンカーピクチャから最近のグローバルディスパリティベクトルを使用して補間される。第二のステージでは、動き情報は、隣接するビューのピクチャにおける対応するマクロブロックから導出され、動き情報は、現在のマクロブロックに適用される。モーションスキップモードは、現在のマクロブロックがベースビューのピクチャにあるか、又はJMVM（Joint Multi-view Video Model）で定義されるアンカーピクチャにある場合にディスエーブルにされる。これは、第一の従来技術のアプローチの提案される方法は、インター予測プロセスの別のやり方を与えるため、隣接するビューからのピクチャを利用するためである。

【0007】

デコーダにモーションスキップモードの使用を通知するため、motion_skip_flagが多視点映像符号化のマクロブロックレイヤのシンタックスエレメントのヘッドに含まれる。motion_skip_flagがイネーブルにされた場合、現在のマクロブロックは、隣接するビューにおける対応するマクロブロックから、マクロブロックタイプ、動きベクトル及びリファレンスインデックスを導出する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、実際のシナリオでは、多数のカメラを含む多視点映像システムは、異機種のカメラ、又は完全に較正されていないカメラを使用して構築される。多くのカメラにより、複雑度と同様にデコーダのメモリの要件は、著しく増加する。さらに、所定の用途は、あるビューのセットから幾つかのビューを復号化することのみを必要とする場合がある。結果として、出力のために必要とされないビューを完全に再構成する必要がない場合がある。

【課題を解決するための手段】

【0009】

従来技術のこれらの課題及び問題点並びに他の課題及び問題点は、本発明により対処され、本発明は、多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置に向けられる。

【0010】

本発明の態様によれば、装置が提供される。本装置は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダを含む。

【0011】

本発明の別の態様によれば、方法が提供される。本方法は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をサポートするため、多視点映像コンテンツを符号化するステップを含む。

【0012】

本発明の更に別の態様によれば、装置が提供される。本装置は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、シングルループの復号化を使用して多視点映像コンテンツを復号化するデコーダを含む。

【0013】

本発明の更なる態様によれば、方法が提供される。本方法は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、シングルループの復号化を使用して多視点映像コンテンツを復号化するステップを含む。

【0014】

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0015】

本発明は、以下の例示的な図面に従って良好に理解されるであろう。

【図1】本発明の実施の形態に係る、本発明が適用される場合がある例示的な多視点映像符号化（MVC）エンコーダのブロック図である。

【図2】本発明の実施の形態に係る、本発明が適用される場合がある例示的な多視点映像符号化（MVC）デコーダのブロック図である。

【図3】本発明の実施の形態に係る、本発明が適用される場合がある例示的なMVCシステムの符号化構造の図である。

【図4】本発明の実施の形態に係る、シングルループの復号化を支援する、多視点映像コンテンツを符号化する例示的な方法のフローダイアグラムである。

【図5】本発明の実施の形態に係る、多視点映像コンテンツのシングルループの復号化の例示的な方法のフローダイアグラムである。

【図6】本発明の実施の形態に係る、シングルループの復号化を支援する、多視点映像コンテンツを符号化する別の例示的な方法のフローダイアグラムである。

【図7】本発明の実施の形態に係る、多視点映像コンテンツのシングルループの復号化の別の例示的な方法のフローダイアグラムである。

【発明を実施するための最良の形態】

【0016】

本発明は、多視点符号化映像のシングルループの復号化を支援するエンコーダ及びデコーダでの方法及び装置に向けられる。

【0017】

本実施の形態の記載は、本発明を例示するものである。したがって、当業者であれば、本実施の形態において明示的に記載又は図示されていないが、本発明を実施し、且つ本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されたい。

【0018】

本実施の形態で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的が意図されており、係る引用される例及び条件に限定されないものとして解釈されるべきである。

【0019】

さらに、本発明の原理、態様及び実施の形態を引用する全ての説明は、その特定の例と同様に、本発明の構造的に等価な概念と機能的な等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在公知の等価な概念と同様に、将来的に開発される等価な概念、すなわち構造に係らず、同じ機能を実行する開発されたエレメントの両者を含むことが意図される。

【0020】

したがって、たとえば、本実施の形態で表されるブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読取可能なメディアで実質的に表される様々なプロセスであって、コンピュータ又はプロセッサが明示的に示されるか否かに係らず、コンピュータ又はプロセッサにより実行される様々なプロセスを表すことが理解されるべきである。

【0021】

図示される様々なエレメントの機能は、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアと同様に、専用ハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、機能は、１つの専用プロセッサにより、１つの共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージを暗黙的に含む。

【0022】

コンベンショナル及び／又はカスタムである他のハードウェアも含まれる場合がある。同様に、図示される任意のスイッチは、概念的なものである。その機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は更には手動で実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように実現者により選択可能である。

【0023】

本発明の特許請求の範囲では、ある特定の機能を実行する手段として表現されるエレメントは、たとえば、ａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形式のソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される発明は、様々な引用される手段により提供される機能は結合され、請求項が要求するやり方で纏められるという事実にある。したがって、それらの機能を提供する任意の手段は、本実施の形態に示される機能に等価であるものとみなされる。

【0024】

本発明の「１実施の形態」又は「実施の形態」への明細書における参照は、実施の形態と共に記載される特定の特徴、構造、特性等は、本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な位置に現れるフレーズ「１実施の形態では」又は「実施の形態では」の出現は、必ずしも同じ実施の形態を全て参照するものではない。さらに、フレーズ「別の実施の形態では」は、記載される実施の形態の対象が別の実施の形態と全体的に又は部分的に結合されることから排除しない。

【0025】

たとえば、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合における用語「及び／又は」及び「少なくとも１つ」の使用は、最初に列挙されたオプション（Ａ）のみの選択、又は第二の列挙されたオプション（Ｂ）のみの選択、又は両方のオプションＡ及びＢの選択を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」の場合では、係るフレーズは、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、又は、第三の列挙されたオプション（Ｃ）のみの選択、或いは、第一及び第二の列挙されたオプション（Ａ及びＢ）の選択、或いは、第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、或いは、第二及び第三の列挙されたオプション（Ｂ及びＣ）のみの選択、或いは、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含する。これは、当業者により容易に明らかであるように、列挙される多数のアイテムについて拡張される場合がある。

【0026】

本実施の形態で使用されるように、「多視点映像系列（Multi-view video sequence）」は、異なる視点から同じシーンを捕捉する２以上の映像系列のセットを示す。

【0027】

さらに、本実施の形態において交換可能に使用されるように、「クロスビュー（cross view）」及び「インタービュー（inter-view）」の両者は、現在のビュー以外のビューに属するピクチャを示す。

【0028】

さらに、本実施の形態で使用されるように、フレーズ「完全な再構成がない（without complete reconstruction）」とは、符号化又は復号化ループにおいて動き補償が実行されない場合を示す。

【0029】

さらに、本発明はMPEG-4 AVC標準の多視点映像符号化の拡張に関して本実施の形態で記載されるが、本発明はこの標準及び対応する拡張にのみ限定されるものではなく、本発明の精神を維持しつつ、多視点映像符号化に関連する他のビデオ符号化標準、勧告、及びその拡張に関して利用される場合がある。

【0030】

図１を参照して、例示的な多視点映像符号化（MVC）エンコーダは、参照符号１００により示される。エンコーダ１００は、変換器１１０の入力と信号通信で接続される出力を有する結合手段１０５を有する。変換器１００の出力は、量子化器１１５の入力と信号通信で接続される。量子化器１１５の出力は、エントロピーコーダ１２０の入力及び逆量子化器１２５の入力と信号通信で接続される。逆量子化器１２５の出力は、逆変換器１３０の入力と信号通信で接続される。逆変換器１３０の出力は、結合器１３５の第一の非反転入力と信号通信で接続される。結合器１３５の出力は、イントラ予測器１４５の入力とデブロッキングフィルタ１５０の入力と信号通信で接続される。デブロッキングフィルタ１５０の出力は、（ビューｉ用の）参照画像ストア１５５の入力と信号通信で接続される。参照画像ストア１５５の出力は、動き補償器１７５の第一の入力と動き予測器１８０の第一の入力と信号通信で接続される。動き予測器１８０の出力は、動き補償器１７５の第二の入力と信号通信で接続される。

【0031】

（他のビュー用の）参照画像ストア１６０の出力は、ディスパリティ／イルミネーション予測器１７０の第一の入力とディスパリティ／イルミネーション補償器１６５の第一の入力と信号通信で接続される。ディスパリティ／イルミネーション予測器１７０の出力は、ディスパリティ／イルミネーション補償器１６５の第二の入力と信号通信で接続される。

【0032】

エントロピーデコーダ１２０の出力は、エンコーダ１００の出力として利用可能である。結合器１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、ディスパリティ／イルミネーション予測器１７０の第二の入力と動き予測器１８０の第二の入力と信号通信で接続される。スイッチ１８５の出力は、結合器１３５の第二の非反転入力と結合器１０５の反転入力と信号通信で接続される。スイッチ１８５は、動き補償器１７５の出力と信号通信で接続される第一の入力、ディスパリティ／イルミネーション補償器１６５の出力と信号通信で接続される第二の入力、及びイントラ予測器１４５の出力と信号通信で接続される第三の入力を含む。

【0033】

モード判定モジュール１４０は、どの入力がスイッチ１８５により選択されるかを制御するスイッチ１８５に接続される出力を有する。

【0034】

図２を参照して、例示的な多視点映像符号化（MVC）デコーダは、参照符号２００により示される。デコーダ２００は、逆量子化器２１０の入力と信号通信で接続される出力を有するエントロピーデコーダ２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信で接続される。逆変換器２１５の出力は、結合器２２０の第一の非反転入力と信号通信で接続される。結合器２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信で接続される。デブロッキングフィルタ２２５の出力は、（ビューｉ用の）参照画像ストア２４０の入力と信号通信で接続される。参照画像ストア２４０の出力は、動き補償器２３５の第一の入力と信号通信で接続される。

【0035】

（他のビュー用の）参照画像ストア２４５の出力は、ディスパリティ／イルミネーション補償器２５０の第一の入力と信号通信で接続される。

【0036】

エントロピーコーダ２０５の入力は、残差のビットストリームを受信するため、デコーダ２００の入力として利用可能である。さらに、モードモジュール２６０の入力は、どの入力がスイッチ２５５により選択されるかを制御する制御シンタックスを受信するため、デコーダ２００の入力として利用可能である。さらに、動き補償器２３５の第二の入力は、動きベクトルを受信するため、デコーダ２００の入力として利用可能である。また、ディスパリティ／イルミネーション補償器２５０の第二の入力は、ディスパリティベクトル及びイルミネーション補償シンタックスを受信するため、デコーダ２００への入力として利用可能である。

【0037】

スイッチ２５５の出力は、結合手段２２０の第二の非反転入力と信号通信で接続される。スイッチ２５５の第一の入力は、ディスパリティ／イルミネーション補償器２５０の出力と信号通信で接続される。スイッチ２５５の第二の入力は、動き補償器２３５の出力と信号通信で接続される。スイッチ２５５の第三の入力は、イントラ予測器２３０の出力と信号通信で接続される。モードモジュール２６０の出力は、どの入力がスイッチ２５５により選択されるかを制御するため、スイッチ２５５と信号通信で接続される。デブロッキングフィルタ２２５の出力は、デコーダの出力として利用可能である。

【0038】

上述されたように、本発明は、多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置に向けられる。

【0039】

本発明は、多視点映像コンテンツのうちの所定のビューのみが復号化される場合に特に適する。係る応用は、参照ビュー（すなわち画素データ）を完全に再構成することを含まない。実施の形態では、それらのビューからの所定のエレメントは、他のビューについて推定及び使用され、したがって金と時間が節約される。

【0040】

現在の多視点映像符号化の仕様は、全てのビューが完全に再構成されることを要求する。次いで、再構成されたビューは、ビュー間の参照として使用される。図３を参照して、８つのビューをもつ例示的なＭＶＣシステムの符号化構造は、参照符号３００により示される。

【0041】

再構成されたビューがビュー間の参照として使用された事実の結果として、それぞれのビューは、たとえそれぞれのビューが出力されない場合があるとしても、完全に復号化され、メモリ記憶される必要がある。これは、係る出力されないビューを復号化するプロセッサの時間を費やし、係る出力されたビューの復号化画像を記憶するメモリを費やす必要があるので、メモリ及びプロセッサの利用の観点で非常に効率的ではない。

【0042】

したがって、本発明によれば、多視点符号化系列のシングルループの復号化をサポートする方法及び装置を提案する。上述されたように、本実施の形態で提供される例はMPEG-4AVC標準の多視点映像符号化の拡張に関して記載されるが、本実施の形態で提供される本発明の教示が与えられると、本発明の精神を維持しつつ、当業者により任意の多視点映像符号化システムに本発明が容易に適用される場合があることを理解されるであろう。

【0043】

シングルループの復号化の１実施の形態では、アンカーピクチャのみがリファレンスととして完全に再構成されたピクチャを使用し、ノン・アンカーピクチャは、リファレンスとして完全に再構成されたピクチャを使用しない。ノン・アンカーピクチャの符号化効率を改善するため、ビュー間予測によって、隣接するビューを完全に再構成する必要なしに、隣接するビューから所定のデータが推定されるように、ビュー間予測が使用されることが提案される。隣接する参照ビューは、表１に示されるシーケンスパラメータセットにより示される。表１は、本発明の実施の形態に係る、MPEG-4 AVC標準の多視点映像符号化の拡張のシーケンスパラメータセット（SPS: Sequence Parameter Set）シンタックスを示す。

【0044】

【表1】

完全な再構成なしに隣接する参照ビューから推定することができる情報は、以下の１以上の組み合わせである。（１）動き及びモード情報、（２）残差予測、（３）イントラ予測モード、（４）イルミネーション補償オフセット、（５）深度情報、及び（６）デブロッキング強度。先行するタイプの情報は例示的なものであって、本発明は、完全な再構成なしに隣接するビューから推定することができる情報に関して先行するタイプの情報のみに限定されない。たとえば、ピクチャ又はピクチャ部分の符号化及び／又は復号化に関連する任意のタイプの情報を含めて、隣接するビューからピクチャの少なくとも１部の特性に関連する任意のタイプの情報は、本発明の精神を維持しつつ、本発明に従って使用される場合があることを理解されたい。さらに、係る情報は、本発明の精神を維持しつつ、シンタックス及び／又は他のソースから推定される場合がある。

【0045】

動き及びモード情報に関して、これは、動きベクトル、モード及び参照インデックス情報が隣接するビューから推定することができる現在の多視点映像符号化の仕様におけるモーションスキップモードに類似する。さらに、推定される動き情報は、更なるデータを送出することでリファインすることができる。さらに、ディスパリティ情報も推定される。

【0046】

残差予測に関して、隣接するビューからの残差データは、現在のマクロブロックの残差の予測データとして使用される。この残差データは、現在のマクロブロックについて更なるデータを送出することで更にリファインされる。

【0047】

イントラ予測モードに関して、係るモードを推定することもできる。再構成されたイントラマクロブロックの何れかは、予測データとして直接に使用することができるか、又は、イントラ予測モードは、現在のマクロブロックについて直接に使用することができる。

【0048】

イルミネーション補償オフセットに関して、イルミネーション補償オフセット値を推定することができ、更にリファインすることができる。
深さ情報に関して、深さ情報を推定することができる。

【0049】

多視点映像符号化系列がシングルループの復号化をサポートするかを判定するため、ハイレベルのシンタックスは、以下の１以上で存在することができる。シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、スライスヘッダ、及び補足的な付加情報（SEI）メッセージ。シングルループの多視点映像復号化は、プロファイルとして規定することもできる。

【0050】

表２は、本実施の形態に係る、non_anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。non_anchor_single_loop_decoding_flagは、ノン・アンカーピクチャの参照を示すループに加えられる付加的なシンタックスエレメントである。non_anchor_single_loop_decoding_flagシンタックスエレメントは、ビュー“ｉ”のノン・アンカーピクチャの参照がビュー“ｉ”を復号化するために完全に復号化されるべきか否かを示すために加えられる。non_anchor_single_loop_decoding_flagシンタックスエレメントは、以下のシンタックスを有する。

【0051】

１に等しいnon_anchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのノン・アンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成される必要がないことを示す。０に等しいnon_anchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのノン・アンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成されるべきであることを示す。

【0052】

【表2】

表３は、別の実施の形態に係る、non_anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。non_anchor_single_loop_decoding_flagシンタックスエレメントは、全体のシーケンスについて、全てのノン・アンカーピクチャは、参照ビューを完全に再構成することなしに復号化することができることを示すために使用される。non_anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。

【0053】

１に等しいnon_anchor_single_loop_decoding_flagは、全てのビューの全てのノン・アンカーピクチャは、対応する参照ビューのピクチャを完全に再構成することなしに復号化することができることを示す。

【0054】

【表3】

シングルループの復号化の別の実施の形態では、アンカーピクチャは、シングルループの復号化に関してイネーブルにされる。表４は、別の実施の形態に係る、anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。anchor_single_loop_decoding_flagシンタックスエレメントは、シーケンスパラメータセットにおけるアンカーピクチャ依存ループに存在することができる。anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。

【0055】

１に等しいanchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのアンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成される必要がないことを示す。０に等しいanchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのアンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成されるべきであることを示す。

【0056】

【表4】

表５は、別の実施の形態に係る、anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4 AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。

【0057】

１に等しいanchor_single_loop_decoding_flagは、全てのビューの全てのアンカーピクチャは、対応する参照ビューのピクチャを完全に再構成することなしに復号化することができることを示す。

【0058】

【表5】

図４を参照して、シングルループの復号化のサポートにおける多視点映像コンテンツを符号化する例示的な方法は、参照符号４００により示される。

【0059】

本方法４００は、開始ブロック４０５を含み、この開始ブロックは、機能ブロック４１０に制御を移す。機能ブロック４１０は、エンコーダのコンフィギュレーションファイルを分析し、制御を判定ブロック４１５に移す。判定ブロック４１５は、変数ｉが符号化されるべきビューの数未満であるか否かを判定する。変数ｉが符号化されるべきビューの数未満である場合、制御を判定ブロック４２０に移す。さもなければ、制御を終了ブロック４９９に移す。

【0060】

判定ブロック４２０は、シングルループの符号化がビューｉのアンカーピクチャについてイネーブルにされるか否かを判定する。シングルループの符号化がビューｉのアンカーピクチャについてイネーブルにされる場合、制御を機能ブロック４２５に移す。さもなければ、制御を機能ブロック４６０に移す。

【0061】

機能ブロック４２５は、anchor_single_loop_decoding_flag[i]を１に等しく設定し、制御を判定ブロック４３０に移す。判定ブロック４３０は、シングルループの符号化がビューｉのノン・アンカーピクチャについてイネーブルにされるか否かを判定する。シングルループの符号化がビューｉのノン・アンカーピクチャについてイネーブルにされる場合、制御を機能ブロック４３５に移す。さもなければ、制御を機能ブロック４６５に移す。

【0062】

機能ブロック４３５は、non_anchor_single_loop_decoding_flag[i]を１に等しく設定し、制御を機能ブロック４４０に移す。

【0063】

機能ブロック４４０は、anchor_single_loop_decoding_flag[i]及びnon_anchor_single_loop_decoding_flag[i]をビューｉのシーケンスパラメータセット（SPS）及びピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ及び／又はスライスヘッダに書き込み、制御を機能ブロック４４５に移す。機能ブロック４４５は、インター予測が含まれないとき、あるビューのマクロブロックを符号化する間、ＳＰＳからのビュー間の依存を考慮し、制御を機能ブロック４５０に移す。機能ブロック４５０は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びシングルループの符号化の深度情報の組み合わせを推定し、制御を機能ブロック４５５に移す。機能ブロック４５５は、１だけ変数ｉをインクリメントし、制御を判定ブロック４１５にリターンする。

【0064】

機能ブロック４６０は、anchor_single_loop_decoding_flag[i]をゼロに設定し、制御を判定ブロック４３０に移す。

【0065】

機能ブロック４６５は、non_anchor_single_loop_decoding_flag[i]をゼロに等しく設定し、制御を機能ブロック４４０に移す。

【0066】

図５を参照して、多視点映像コンテンツのシングルループの復号化の例示的な方法は、参照符号５００により示される。

【0067】

本方法５００は、開始ブロック５０５を含み、この開始ブロックは、制御を機能ブロック５１０に移す。機能ブロック５１０は、anchor_single_loop_decoding_flag[i]及びnon_anchor_single_loop_decoding_flag[i]をビューｉのシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、又はスライスヘッダから読取り、制御を判定ブロック５１５に移す。判定ブロック５１５は、変数ｉが復号化されるべきビュー数未満であるか否かを判定する。変数ｉが復号化されるべきビュー数未満である場合、制御を判定ブロック５２０に移す。さもなければ、制御を終了ブロック５９９に移す。

【0068】

判定ブロック５２０は、現在のピクチャがアンカーピクチャであるか否かを判定する。現在のピクチャがアンカーピクチャである場合、制御を判定ブロック５２５に移す。さもなければ、制御を判定ブロック５７５に移す。

【0069】

判定ブロック５２５は、anchor_single_loop_decoding_flag[i]が１に等しいか否かを判定する。anchor_single_loop_decoding_flag[i]が１に等しい場合、制御を機能ブロック５３０に移す。さもなければ、制御を機能ブロック５４０に移す。

【0070】

機能ブロック５３０は、インター予測が含まれないとき、ビューｉのマクロブロックを復号化するとき、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５３５に移す。機能ブロック５３５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、モーションスキップマクロブロックの深さ情報の組み合わせを推定し、制御を機能ブロック５７０に移す。

【0071】

機能ブロック５７０は、１だけ変数ｉをインクリメントし、制御を判定ブロック５１５に移す。

【0072】

判定ブロック５４０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からビュー間の依存度を考慮し、制御を機能ブロック５４５に移す。機能ブロック５４５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さ情報の組み合わせを推定し、制御を機能ブロック５７０に移す。

【0073】

判定ブロック５７５は、anchor_single_loop_decoding_flag[i]が１に等しいか否かを判定する。anchor_single_loop_decoding_flag[i]が１に等しい場合、制御を機能ブロック５５０に移す。さもなければ、制御を機能ブロック５６０に移す。

【0074】

機能ブロック５５０は、ビュー間予測が含まれないとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５５５に移す。機能ブロック５５５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びモーションスキップマクロブロックの深度情報の組み合わせを推定する。

【0075】

機能ブロック５６０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５６５に移す。機能ブロック５６５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さデータの組み合わせを推定し、制御を機能ブロック５７０に移す。

【0076】

図６を参照して、シングルループの復号化のサポートにおける多視点映像コンテンツを符号化する別の例示的な方法は、参照符号６００により示される。

【0077】

本方法６００は、開始ブロック６０５を含み、この開始ブロックは、制御を機能ブロック６１０に移す。機能ブロック６１０は、エンコーダのコンフィギュレーションファイルを分析し、制御を判定ブロック６１５に移す。判定ブロック６１５は、それぞれのビューについて全てのアンカーピクチャについてシングルループの符号化がイネーブルにされるか否かを判定する。シングルループの符号化がイネーブルにされる場合、制御を機能ブロック６２０に移す。さもなければ、制御を機能ブロック６６５に移す。

【0078】

機能ブロック６２０は、anchor_single_loop_decoding_flagを１に等しく設定し、制御を判定ブロック６２５に移す。判定ブロック６２５は、それぞれの全てのノン・アンカーピクチャについてシングルループの符号化がイネーブルにされるか否かを判定する。シングルループの符号化がイネーブルにされる場合、制御を機能ブロック６３０に移す。さもなければ、制御を機能ブロック６６０に移す。

【0079】

機能ブロック６３０は、non_anchor_single_loop_decoding_flagを１に等しく設定し、制御を機能ブロック６３５に移す。機能ブロック６３５は、anchor_single_loop_decoding_flagを、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ及び／又はスライスヘッダに書込み、制御を判定ブロック６４０に移す。判定ブロック６４０は、変数ｉが符号化されるべきビューの数未満であるか否かを判定する。変数ｉが符号化されるべきビューの数未満である場合、制御を機能ブロック６４５に移す。さもなければ、制御を終了ブロック６９９に移す。

【0080】

機能ブロック６４５は、ビュー間予測が含まれないとき、あるビューのマクロブロックを符号化する間、ＳＰＳからのビュー間の依存度を考慮し、制御を機能ブロック６５０に移す。機能ブロック６５０は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、シングルループ符号化の深さ情報の組み合わせを推定し、制御を機能ブロック６５５に移す。機能ブロック６５５は、変数ｉを１だけインクリメントし、制御を判定ブロック６４０に移す。

【0081】

機能ブロック６６５は、anchor_single_loop_decoding_flagをゼロに等しく設定し、制御を判定ブロック６２５に移す。

【0082】

機能ブロック６６０は、non_anchor_single_loop_decoding_flagをゼロに等しく設定し、制御を機能ブロック６３５に移す。

【0083】

図７を参照して、多視点映像コンテンツのシングルループの復号化の別の例示的な方法は、参照符号７００により示される。

【0084】

本方法７００は、開始ブロック７０５を含み、この開始ブロックは、制御を機能ブロック７１０に移す。機能ブロック７１０は、anchor_single_loop_decoding_flag及びnon_anchor_single_loop_decoding_flagを、ビューｉのシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、スライスヘッダから読み出し、制御を判定ブロック７１５に移す。判定ブロック７１５は、変数ｉが復号化されるべきビューの数未満であるか否かを判定する。変数ｉが復号化されるべきビューの数未満である場合、制御を判定ブロック７２０に移す。さもなければ、制御を終了ブロック７９９に移す。

【0085】

判定ブロック７２０は、現在のピクチャがアンカーピクチャであるか否かを判定する。現在のピクチャがアンカーピクチャである場合、制御を判定ブロック７２５に移す。さもなければ、制御を判定ブロック７７５に移す。

【0086】

判定ブロック７２５は、anchor_single_loop_decoding_flagが１に等しいか否かを判定する。anchor_single_loop_decoding_flagが１に等しい場合、制御を機能ブロック７３０に移す。さもなければ、制御を機能ブロック７４０に移す。

【0087】

機能ブロック７３０は、インター予測が含まれないとき、ビューｉのマクロブロックを復号化するとき、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７３５に移す。機能ブロック７３５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、モーションスキップマクロブロックの深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。

【0088】

機能ブロック７７０は、変数ｉを１だけインクリメントし、制御を判定ブロック７１５に移す。

【0089】

機能ブロック７４０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７４５に移す。機能ブロック７４５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。

【0090】

判定ブロック７７５は、non_anchor_single_loop_decoding_flagが１に等しいか否かを判定する。non_anchor_single_loop_decoding_flagが１に等しい場合、制御を機能ブロック７５０に移す。さもなければ、制御を機能ブロック７６０に移す。

【0091】

機能ブロック７５０は、ビュー間予測が含まれないとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７５５に移す。機能ブロック７５５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びモーションスキップマクロブロックの深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。

【0092】

機能ブロック７６０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７６５に移す。機能ブロック７６５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さ情報の組み合わせを推定し、制御を機能ブロック７７０に移す。

【0093】

本発明の多数の付随する利点／特徴のうちの幾つかの説明が与えられ、そのうちの幾つかは、先に記載された。たとえば、１つの利点／特徴は、多視点映像コンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダを有する装置である。

【0094】

別の利点／特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、参照ビュー及び他のビューを含む。他のビューは、参照ビューの完全な再構成なしに再構成可能である。

【0095】

更に別の利点／特徴は、上述されたようなエンコーダを有する装置であり、ビュー間予測は、多視点映像コンテンツの参照ビューからの動き情報、インター予測モード、イントラ予測モード、参照インデックス、残差データ、深度情報、イルミネーション補償オフセット、デブロッキング強度、及びディスパリティデータの少なくとも１つを推定する。

【0096】

更に別の利点／特徴は、上述されたエンコーダを有する装置であり、ビュー間予測は、所与のビューに関して多視点映像コンテンツの参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から多視点コンテンツの所与のビューの情報を推定し、少なくとも１つのピクチャの少なくとも１部に関する情報を復号化することを含む。

【0097】

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、シングルループの複合化が多視点映像コンテンツについてイネーブルにされたことを示すために使用される。

【0098】

さらに、別の利点／特徴は、記載されたハイレベルシンタックスを使用するエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、個々に、多視点映像コンテンツにおけるアンカーピクチャ及びノン・アンカーピクチャについてシングルループの復号化がイネーブルにされたかを示し、シングルループの復号化がイネーブルにされたかをビュー毎に示し、シングルループの復号化がイネーブルにされたかをシーケンス毎に示し、多視点映像コンテンツにおけるノン・アンカーピクチャのみについてシングルループの復号化がイネーブルにされたことを示す。

【0099】

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態における教示に基づいて当業者により容易に確認される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせで実現される場合があることを理解されたい。

【0100】

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされるか、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）及び入力／出力（I/O）インタフェースのようなコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本実施の形態で記載される様々なプロセス及び機能は、CPUにより実行されるマイクロ命令コードの一部又はアプリケーションプログラムの一部であるか、或いはそれらの組み合わせである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

【0101】

さらに、記憶媒体で符号化された映像信号データを有する記憶媒体への引用は、明細書で引用されるか、請求項で引用されるかに係らず、係るデータは記録される任意のタイプのコンピュータ読取可能な記憶媒体を含むことが理解される。

【0102】

添付図面で示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいため、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合があることを理解されたい。本実施の形態の教示が与えられると、当業者であれば、本発明のこれら及び類似の実現又はコンフィギュレーションを創作することができるであろう。

【0103】

例示的な実施の形態は添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更は本発明の範囲又は精神から逸脱することなしに当業者により実施される場合がある。全ての係る変形及び変更は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】