特許 6395667 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6395667

(24)【登録日】2018年9月7日

(45)【発行日】2018年9月26日

(54)【発明の名称】多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20180913BHJP

   H04N 19/70 20140101ALI20180913BHJP

   H04N 13/161 20180101ALI20180913BHJP

【ＦＩ】

   H04N19/597

   H04N19/70

   H04N13/161

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2015-112473(P2015-112473)

(22)【出願日】2015年6月2日

(62)【分割の表示】特願2014-151429(P2014-151429)の分割

【原出願日】2007年12月6日

(65)【公開番号】特開2015-188244(P2015-188244A)

(43)【公開日】2015年10月29日

【審査請求日】2015年6月29日

(31)【優先権主張番号】60/871,401

(32)【優先日】2006年12月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】パンディット，パーヴィン，ビバス

(72)【発明者】

【氏名】スー，イェピン

(72)【発明者】

【氏名】イン，ペン

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 国際公開第２００６／０７２９９３（ＷＯ，Ａ１）

【文献】 Woo-sung Shim et al.，High level syntax for flexible I-frame position，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG JVT-U046，ISO/IEC JTC1/S29/WG11 and ITU-T SG16 Q.6，２００６年１０月２４日，p.1-16

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／００−１３／３９８

(57)【特許請求の範囲】

【請求項1】

多視点映像コンテンツのビューを符号化したものを含む符号化されたピクチャ・セクションを送信するステップと、
ハイレベルシンタックス情報におけるパラメータｖｉｅｗ_ｉｄ［ｉ］の符号化したものを含むシグナリング・セクションを送信するステップであって、前記ビューの復号化順序は、前記インデックスｉにより示され、前記ｖｉｅｗ_ｉｄ［ｉ］は、前記多視点映像コンテンツ内の前記ビューのビュー識別子を表す、前記ステップと、
を含む、方法。

【請求項2】

前記ビューの前記ビュー識別子の値、ｖｉｅｗ_ｉｄ［ｉ］は、前記ビューの前記復号化順序の値、ｉと異なる、請求項１に記載の方法。

【請求項3】

前記ビューの前記復号化順序は、一意的なものである、請求項１に記載の方法。

【請求項4】

前記ビュー識別子のｖｉｅｗ_ｉｄ［ｉ］は、前記復号化順序におけるｉ番目のビューである、請求項１に記載の方法。

【請求項5】

多視点映像コンテンツのビューを符号化したものを含む符号化されたピクチャ・セクションを送信する手段と、
ハイレベルシンタックス情報におけるパラメータｖｉｅｗ_ｉｄ［ｉ］の符号化したものを含むシグナリング・セクションを送信する手段であって、前記ビューの復号化順序は、前記インデックスｉにより示され、前記ｖｉｅｗ_ｉｄ［ｉ］は、前記多視点映像コンテンツ内の前記ビューのビュー識別子を表す、前記手段と、
を含む、装置。

【請求項6】

前記ビューの前記ビュー識別子の値、ｖｉｅｗ_ｉｄ［ｉ］は、前記ビューの前記復号化順序の値、ｉと異なる、請求項５に記載の装置。

【請求項7】

前記ビューの前記復号化順序は、一意的なものである、請求項５に記載の装置。

【請求項8】

前記ビュー識別子のｖｉｅｗ_ｉｄ［ｉ］は、前記復号化順序におけるｉ番目のビューである、請求項５に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ符号化及び復号化全般に関し、より詳細には、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置に関する。
本出願は、2006年12月21日に提出された米国仮出願第60/871,401号の利益を請求するものであり、引用によりその完全な形で本明細書に盛り込まれる。

【背景技術】

【0002】

ISO/IEC（International Organization for Standardization/International Electrotechnical Commission） MPEG-4（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）規格／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下“MPEG-4 AVC規格”）に基づいた現在のバージョンの多視点映像符号化（MVC：Multi-view Video Coding）拡張では、ビュー間の参照を指示するためにシーケンスパラメータセットのMVC拡張において新たなシンタックスが追加される。すなわち、このシンタックスはアンカーピクチャ及びノンアンカーピクチャのために使用されるべきビュー間の参照を示すために使用される。

【0003】

また、このシンタックスは、ビュー依存マップを構築することに役立ち、このビュー依存マップは、ビューのランダムアクセス、暗黙のデコードされた参照画像のマーキングプロセス等のために使用することができる。シンタックスは、変数view_idを０からビューの数−１までをループすることで定義される。変数view_idは、あるビューについてビューの識別子を示す。この変数は、任意の符号化順序の情報を含まない。

【0004】

この定義は、それぞれのビューについてview_idをどのように割り当てるべきかに関する幾つかの制約を与える。この定義は、view_idにおけるギャップを許容しない。後に幾つかのビューが符号化されない場合、この定義は、幾つかの曖昧さを生じさせる。さらに、この定義は、幾つかの特徴を欠いている。たとえば、この定義は、それぞれのビューの符号化順序を規定しない。

【0005】

表１は、シーケンスパラメータセット（SPS：Sequence Parameter Set）の多視点映像符号化の拡張シンタックスを例示する。

【0006】

【表1】

表１におけるシンタックスの意味は、以下のように定義される。
num_views_minus_1プラス１は、ビットストリームにおける全体のビュー数を識別する。num_views_minus_1の値は、０〜１０２３の範囲であるべきである。
num_anchor_refs_I0[i]は、ｉに等しいview_idをもつアンカーピクチャのlist0について、ビュー間予測（inter-view prediction）の参照の数を規定する。num_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
anchor_ref_I0[i][j]は、ｉに等しいview_idをもつビューのアンカーピクチャについて、list0のｊ番目の参照として使用されるビューのview_idを識別する。
num_anchor_refs_I1[i]は、ｉに等しいview_idをもつアンカーピクチャのlist1について、ビュー間予測の参照の数を規定する。num_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
anchor_ref_I1[i][j]は、ｉに等しいview_idをもつビューのアンカーピクチャについて、list1のｊ番目の参照として使用されるビューのview_idを識別する。
num_non_anchor_refs_I0[i]は、ｉに等しいview_idをもつノンアンカーピクチャのlist0について、ビュー間予測の参照の数を規定する。num_non_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
non_anchor_refs_I0[i][j]は、ｉに等しいview_idをもつビューのノンアンカーピクチャについて、list0のｊ番目の参照として使用されるビューのview_idを規定する。

【0007】

num_non_anchor_refs_I1[i]は、ｉに等しいview_idをもつノンアンカーピクチャのlist1について、ビュー間予測の参照の数を規定する。num_non_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しくあるべきである。
non_anchor_refs_I1[i][j]は、ｉに等しいview_idをもつビューのノンアンカーピクチャについて、list1のｊ番目の参照として使用されるビューのview_idを規定する。

【0008】

以下の手順は、現在のビューとは異なるビューからの参照画像を参照予測リストに配置するために行われる。現在のピクチャがアンカーピクチャではない場合、０からnum_anchor_refs_IX−１までのｉのそれぞれの値について、anchor_ref_IX[i]に等しいview_id及び現在のピクチャと同じPicOrderCnt()をもつピクチャは、RefPicListXに添付される。さもなければ、現在のピクチャがアンカーピクチャでない場合、０からnum_non_anchor_refs_IX−１までのｉのそれぞれの値について、non_anchor_ref_IX[i]に等しいview_id及び現在のピクチャと同じPicOrderCnt()をもつピクチャは、RefPicListXに添付される。

【0009】

表１から、多視点映像符号化（MVC）拡張のシーケンスパラメータセットにおけるシンタックスは、０からビュー数−１まで変数view_idを通してループすることで定義されることがわかる。この定義は、それぞれのビューについてview_idをどのように割り当てるかに関する幾つかの制約を提示する。この定義は、view_idsにギャップを許容しない。係る帯域幅の制約又はユーザの関心のような幾つかの理由のため、幾つかのビューが符号化されない場合、この定義は、幾つかの曖昧さを生じさせる。view_idの割り当ての連続性を保持するため、以下を実現することができる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

view_idの割り当ての連続性を保持する第一の従来技術の方法では、シーケンスパラメータセットで保持されている符号化されていないビュー情報及びビュー間の参照の番号はゼロに設定される。しかし、これは、符号化されていないビューが意図的に欠けているか又は伝送エラーのために欠けているかをデコーダが知らないので望まれない。

【0011】

view_idの割り当ての連続性を保持する第二の従来技術の方法では、符号化されていないビュー情報は、シーケンスパラメータセットから除かれる。しかし、これは、view_idのギャップを生じさせる。したがって、view_idが再び割り当てられる必要がある。また、これは、view_idがそれぞれのビューについてもはや固有ではなくなるので望まれない。

【課題を解決するための手段】

【0012】

従来技術のこれらの問題及び課題並びに他の問題及び課題は、本発明の原理により対処され、本発明の原理は、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングの方法及び装置に向けられる。

【0013】

本発明の原理の態様によれば、装置が提供される。本装置は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも１つのビューについて少なくとも１つのピクチャを符号化するエンコーダを含み、前記エンコーダは、ハイレベルシンタックスで少なくとも前記少なくとも１つのピクチャの映像符号化の順序の情報を指示する。

【0014】

本発明の原理の別の態様によれば、方法が提供される。本方法は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも１つのビューについて少なくとも１つのピクチャを符号化するステップを含み、前記符号化ステップは、ハイレベルシンタックスで少なくとも前記少なくとも１つのピクチャの映像符号化の順序の情報を指示する。

【0015】

本発明の原理の更に別の態様によれば、装置が提供される。本装置は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも１つのビューについて少なくとも１つのピクチャを復号化するデコーダを含み、前記デコーダは、ハイレベルシンタックスから少なくとも前記少なくとも１つのピクチャの映像符号化の順序の情報を決定する。

【0016】

本発明の原理の更なる態様によれば、方法が提供される。本方法は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも１つのビューについて少なくとも１つのピクチャを復号化するステップを含み、前記復号化ステップは、ハイレベルシンタックスから少なくとも前記少なくとも１つのピクチャの映像符号化の順序の情報を決定する。

【0017】

本発明の原理のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0018】

本発明の原理は、以下の例示的な図面に従って理解される。

【図1】本発明の原理の実施の形態に係る、本発明の原理が適用される場合がある例示的な多視点映像符号化（MVC）エンコーダのブロック図である。

【図2】本発明の原理の実施の形態に係る、本発明の原理が適用される場合がある例示的な多視点映像符号化（MVC）デコーダのブロック図である。

【図3】本発明の原理の実施の形態に係る、本発明の原理が適用される場合がある８つのビューを持つ多視点映像符号化システムの時間順の符号化構造の図である。

【図4】本発明の原理の実施の形態に係る、多視点映像コンテンツを符号化する例示的な方法のフローチャートである。

【図5】本発明の原理の実施の形態に係る、多視点映像コンテンツを符号化する別の例示的な方法のフローチャートである。

【図6】本発明の原理の実施の形態に係る、多視点映像コンテンツを復号化する例示的な方法のフローチャートである。

【図7】本発明の原理の実施の形態に係る、多視点映像コンテンツを復号化する別の例示的な方法のフローチャートである。

【発明を実施するための形態】

【0019】

本発明の原理は、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置に向けられる。
この記載は、本発明の原理を例示するものである。当業者であれば、本明細書で明示的に記載又は図示されないが、本発明の原理を実施し、且つ本発明の精神及び範囲に含まれる様々なアレンジメントを考案することができることを理解されたい。

【0020】

本明細書で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的が意図されており、係る特定の引用される例及び条件に限定されるものではないものと解釈されるべきである。

【0021】

さらに、本発明の原理、態様、及び実施の形態を引用する全ての説明は、本発明の特別の例と同様に、本発明の構造的且つ機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在公知の等価な概念と同様に、将来的に開発される等価な概念、すなわち構造にかかわらず、同じ機能を実行する開発されたエレメントをも含むことが意図される。

【0022】

したがって、たとえば、本明細書で与えられるブロック図は本発明の原理を実施する例示的な回路の概念図を表すことが当業者により理解される。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な記録媒体で実質的に表され、したがってコンピュータ又はプロセッサが明示的に示されているかに係らず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されたい。

【0023】

図示される様々なエレメントの機能は、専用ハードウェアと同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を通して提供される場合がある。プロセッサにより提供された場合、機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すことが解釈されるべきではなく、限定することなしに、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、及び不揮発性ストレージを暗黙的に含む。

【0024】

コンベンショナル及び／又はカスタムな他のハードウェアもまた含まれる場合がある。同様に、図示されるスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように、実現者により選択可能である。

【0025】

本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、（ａ）その機能を実行する回路エレメントの組み合わせ、又は（ｂ）機能を実行するためのソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形態でのソフトウェアを含む機能を実行する任意の方法を包含することが意図される。係る請求項により定義される本発明の原理は、様々な引用される手段により提供される機能が結合され、請求項が求めるやり方で結合され纏められる事実にある。したがって、それらの機能を提供することができる任意の手段は本明細書で示されるものに等価であるとみなされる。

【0026】

本発明の原理の「１実施の形態」又は「実施の形態」に対する明細書における参照は、実施の形態と共に記載される特定の特徴、構造、特徴等が本発明の原理の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な場所に現れる「１実施の形態では」又は「実施の形態では」の出現は、必ずしも、同じ実施の形態を全て参照するものではない。

【0027】

明細書で使用されるように、「ハイレベルシンタックス」は、マクロブロックレイヤの上の階層にあるビットストリームに存在するシンタックスを示す。たとえば、本明細書で使用されるように、ハイレベルシンタックスは、限定されるものではないが、スライスヘッダレベルでのシンタックス、シーケンスパラメータセット（SPS）レベルでのシンタックス、ピクチャパラメータセット（PPS）レベルでのシンタックス、ビューパラメータセット（VPS）レベルでのシンタックス、ネットワーク抽象レイヤ（NAL）のユニットヘッダレベルでのシンタックス、補足的な付加情報（SEI：Supplemental Enhancement Information）メッセージにおけるシンタックスを示す場合がある。

【0028】

説明及び簡潔さのため、シーケンスパラメータセットにおけるハイレベルシンタックスの使用に関して、以下の実施の形態が記載される。しかし、本発明の原理は本明細書で開示された改善されたシグナリングに関してシーケンスパラメータセットの使用のみに限定されず、したがって、係る改善されたシグナリングは、限定されるものではないが、本発明の精神を維持しつつ、スライスヘッダレベルでのシンタックス、シーケンスパラメータセット（SPS）レベルでのシンタックス、ピクチャパラメータセット（PPS）レベルでのシンタックス、ビューパラメータセット（VPS）レベルでのシンタックス、ネットワーク抽象レイヤ（NAL）のユニットヘッダレベルでのシンタックス、補足的な付加情報（SEI：Supplemental Enhancement Information）メッセージにおけるシンタックスを含む少なくとも上述されたタイプのハイレベルシンタックスに関して実現される場合がある。

【0029】

本発明の原理の１以上の実施の形態がMPEG-4 AVC規格の多視点の拡張に関して本明細書で記載される一方で、本発明の原理は、この規格のみに限定されるものではなく、本発明の原理の精神を維持しつつ、MPEG-4 AVC規格の多視点の拡張の拡張を含めて、他の映像符号化規格、勧告、その拡張に関して利用される場合がある。

【0030】

さらに、たとえば「Ａ及び／又はＢ」の場合における用語「及び／又は」の使用は、最初に列挙されたオプション（Ａ）の選択、次に列挙されたオプション（Ｂ）の選択、又は両方のオプション（Ａ及びＢ）の選択、を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」の場合、係るフレーズは、第一の列挙されたオプション（Ａ）の選択、第二の列挙されたオプション（Ｂ）の選択、第三の列挙されたオプション（Ｃ）の選択、第一及び第二の列挙されたオプション（Ａ及びＢ）の選択、第一及び第三の列挙されたオプション（Ａ及びＣ）の選択、第二及び第三の列挙されたオプション（Ｂ及びＣ）の選択、又は、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、当業者により容易に明らかであるように、列挙された多数のアイテムについて拡張される場合がある。

【0031】

図１を参照して、例示的な多視点映像符号化（MVC）エンコーダは、参照符号１００により示される。エンコーダ１００は、変換器１１０の入力と信号通信で接続される出力を有する結合器１０５を含む。変換器１１０の出力は、量子化器１１５の入力と信号通信で接続される。量子化器１１５の出力は、エントロピー符号化器１２０の入力及び逆量子化１２５の入力と信号通信で接続される。逆量子化器１２５の出力は、逆変換器１３０の入力と信号通信で接続される。逆変換器１３０の出力は、結合器１３５の第一の非反転入力と信号通信で接続される。結合器１３５の出力は、イントラ予測器１４５の入力及びデブロッキングフィルタ１５０の入力と信号通信で接続される。デブロッキングフィルタ１５０の出力は、（ビューｉ用）参照画像ストア１５５の入力と信号通信で接続される。参照画像ストア１５５の出力は、動き補償器１７５の第一の入力及び動き予測器１８０の第一の入力と信号通信で接続される。動き予測器１８０の出力は、動き補償器１７５の第二の入力と信号通信で接続される。

【0032】

（他のビュー用）参照画像ストア１６０の出力は、視差予測器１７０の第一の入力及び視差補償器１６５の第一の入力と信号通信で接続される。視差予測器１７０の出力は、視差補償器１６５の第二の入力と信号通信で接続される。

【0033】

エントロピーデコーダ１２０の出力は、エンコーダ１００の出力として利用可能である。結合器１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、視差予測器１７０の第二の入力及び動き予測器１８０の第二の入力と信号通信で接続される。スイッチ１８５の出力は、結合器１３５の第二の非反転入力と結合器１０５の反転入力と信号通信で接続される。スイッチ１８５は、動き補償器１７５の出力と信号通信で接続される第一の入力、視差補償器１６５の出力と信号通信で接続される第二の入力、及びイントラ予測器１４５の出力と信号通信で接続される第三の入力とを含む。

【0034】

図２を参照して、例示的な多視点映像符号化（MVC）デコーダは、参照符号２００により示される。デコーダ２００は、逆量子化器２１０の入力と信号通信で接続される出力を有するエントロピーデコーダ２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信で接続される。逆変換器２１５の出力は、結合器２２０の第一の非反転入力と信号通信で接続される。結合器２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信で接続される。デブロッキングフィルタ２２５の出力は、（ビューｉ用）参照画像ストア２４０の入力と信号通信で接続される。参照画像ストア２４０の出力は、動き補償器２３５の第一の入力と信号通信で接続される。

【0035】

（他のビュー用）参照画像ストアの出力は、視差補償器２５０の第一の入力と信号通信で接続される。

【0036】

エントロピー符号化器２０５の入力は、残差ビットストリームを受信するため、デコーダ２００の入力として利用可能である。さらに、スイッチ２５５の制御入力は、どの入力がスイッチ２５５により選択されるかを制御する制御シンタックスを受信するため、デコーダ２００への入力としても利用可能である。さらに、動き補償器２３５の第二の入力は、動きベクトルを受信するため、デコーダ２００の入力として利用可能である。また、視差補償器２５０の第二の入力は、視差ベクトルを受信するため、デコーダ２００への入力として利用可能である。

【0037】

スイッチ２５５の出力は、結合器２２０の第二の非反転入力と信号通信で接続される。スイッチ２５５の第一の入力は、視差補償器２５０の出力と信号通信で接続される。スイッチ２５５の第二の入力は、動き補償器２３５の出力と信号通信で接続される。スイッチ２５５の第三の入力は、イントラ予測器２３０の出力と信号通信で接続される。モードモジュール２６０の出力は、どの入力がスイッチ２５５により選択されたかを制御するため、スイッチ２５５と信号通信で接続される。デブロッキングフィルタ２２５の出力は、デコーダの出力として利用可能である。

【0038】

本発明の原理によれば、本方法及び装置は、多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングについて提供される。

【0039】

上述されたように、MPEG-4 AVC標準の現在の多視点映像符号化の拡張は、ビュー間の参照を指示するシンタックスを含む。しかし、更に上述されたように、シンタックスの定義は、幾つかの特徴に欠けている。たとえば、シンタックスの定義は、それぞれのビューの符号化順序を規定しない。この情報は、エラーの弾力性について非常に有効である。適切に定義された場合、所定のビューにおける幾つかのピクチャが欠けていることをデコーダが検出することができ、デコーダは、起こっていることを見失うことなしに、所定のビューにおける失われたピクチャを隠すことができる。

【0040】

図３を参照して、８つのビューをもつ多視点映像符号化システムの時間順の符号化構造は、参照符号３００により示される。図３の例では、異なるビューからの同じ瞬間での全てのピクチャは、隣接して符号化される。したがって、符号化順序の情報を知っている場合、view_idを追跡することで、ある時間でどのビューが失われているかを迅速に検出することができる。また、この情報は、依存度マップの構築を高速化するのに役立つ。たとえば、前に符号化されたビューは、後に符号化されたビューを参照として使用しない。依存度マップは、たとえばランダムアクセス、暗黙的に復号化された参照画像のマーキングプロセス等のために使用される場合がある。

【0041】

シーケンスパラメータセットにおける現在のビューの依存情報から依存度マップ情報を構築するため、再帰型の呼び出しが使用される場合がある。以下の例では、アンカー／ノンアンカーピクチャの両者にアルゴリズムが適用可能であるので、アンカー／ノンアンカーピクチャの指示が与えられる。

【0042】

以下の意味によりpicture_dependency_maps[i][j]を構築する。
１に等しいpicture_dependency_maps[i][j]は、ｊに等しいview_idをもつピクチャが、ｉに等しいview_idをもつピクチャに依存することを示す。

【0043】

スタティックデータ構造を使用することが想定される。picture_dependency_mapsを構築するため、以下の情報を取得することが望まれる。
num_refs[k]は、ｋに等しいview_idをもつビューについてビュー間の参照の番号を示す。
ｋに等しいview_idをもつビューにより参照されるview_idのリスト：refs[k][l]。この場合、ｌは０からnum_refs[k]-1までループされる。

【0044】

【表2】

本発明の原理の様々な実施の形態によれば、MPEG-4 AVC標準の多視点映像符号化（MVC）拡張における既存のシーケンスパラメータセット（SPS）に対する改善を提案する。改善されたシーケンスパラメータセットは、ビューの符号化順序の情報を示し、柔軟なビュー識別子（view_id）の割り当てを可能にする。ビュー識別子としてループ変数を扱う代わりに、ハイレベルシンタックスでビュー識別子(view＿id)が明示的に指示されるので、改善されたシーケンスパラメータセットは、柔軟であると考えられる。勿論、上述されたように、本発明は、MPEG-4 AVC規格の多視点映像符号化の拡張における既存のシーケンスパラメータセットに対する改善の実現に関して本明細書で主に記載されるが、ビューの符号化順序の情報を示すこと、及び柔軟なビュー識別子（view_id）の割り当てを可能にすることに関する係るシグナリングの改善は、シーケンスパラメータセットのみに限定されず、本発明の原理の精神を維持しつつ、スライスヘッダレベルでのハイレベルシンタックス、ピクチャパラメータセット（PPS）レベルでのハイレベルシンタックス、ビューパラメータセット（VPS）レベルでのハイレベルシンタックス、ネットワーク抽象レイヤ（NAL）のユニットヘッダレベルでのハイレベルシンタックス、及び補足的な付加情報（SEI）メッセージにおけるハイレベルシンタックスにより実現される場合がある。

【0045】

以下、本発明の原理の実施の形態に関する説明が与えられる。
表３は、実施の形態に係る提案されるシーケンスパラメータセットの多視点映像符号化（MVC）拡張を示す。

【0046】

【表3】

実施の形態では、ビューを符号化する順序を示すため、ループ変数ｉを使用することを提案する。ループ変数ｉは、それぞれのビューについて常にインクリメントされる。したがって、ビューの符号化順序の番号は、それぞれのビューについて固有である。

【0047】

上述されたように、従来技術は、ループ変数ｉをview_idとして示し、０からnum_view_mius_1までをループしている。対照的に、ループ変数ｉをビューの符号化順序として使用し、０からnum_view_mius_1までをループすることが提案される。さらに、ループ内でview_idが指示される。したがって、任意のview_idをビューに割り当てることができ、MPEG-4 AVC規格の現在の多視点映像符号化の拡張におけるようなループ変数に制限されない。シンタックスの意味は、以下のように定義される。

【0048】

num_view_minus_1プラス１は、ビットストリームにおける符号化されたビューの全体の数を示す。num_view_minus_1の値は、０から１０２３の範囲である。
view_id[i]は、ｉにより示される符号化順序をもつビューのview_idを規定する。
num_anchor_refs_I0[i]は、view_id[i]に等しいview_idをもつアンカーピクチャについて、list0のビュー間予測の参照の番号を規定する。num_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
anchor_refs_I0[i][j]は、view_id[i]に等しいview_idをもつビューのアンカーピクチャについて、list0のｊ番目の参照として使用されるビューのview_idを規定する。
num_anchor_refs_I1[i]は、view_id[i]に等しいview_idをもつアンカーピクチャについて、list1のビュー間予測の参照の番号を規定する。num_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
anchor_refs_I1[i][j]は、view_id[i]に等しいview_idをもつビューのアンカーピクチャについて、list1のｊ番目の参照として使用されるビューのview_idを規定する。

【0049】

num_non_anchor_refs_I0[i]は、view_id[i]に等しいview_idをもつノンアンカーピクチャについて、list0のビュー間予測の参照の番号を規定する。num_non_anchor_refs_I0[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
non_anchor_refs_I0[i][j]は、view_id[i]に等しいview_idをもつビューのノンアンカーピクチャについて、list0のｊ番目の参照として使用されるビューのview_idを規定する。num_non_anchor_refs_I1[i]は、view_id[i]に等しいview_idをもつノンアンカーピクチャについて、list1のビュー間予測の参照の番号を規定する。num_non_anchor_refs_I1[i]の値は、num_ref_framesよりも小さいか、又はnum_ref_framesに等しい。
non_anchor_refs_I1[i][j]は、view_id[i]に等しいview_idをもつビューのノンアンカーピクチャについて、list1のｊ番目の参照として使用されるビューのview_idを規定する。

【0050】

本実施の形態の利点は、ビューに割り当てられるview_idが、意味において定義される範囲を除いて、如何なる制約を有さないことである。現在の多視点映像符号化の拡張の仕様は、常に、view_idを０からを開始して、１だけインクリメントする。view_idを明示的に指示することで、この制約は、本発明の原理に係る実現においてもはや必要とされない。

【0051】

復号化プロセスの間、あるピクチャは、ビュー間の参照画像を必要とする場合があり、必要としない場合がある。所定の画像について必要とされるビュー間の参照画像を決定するため、本発明の原理の実施の形態に従って以下のステップが実行される。（１）NALユニットヘッダから現在のピクチャのview_idが読み取られる。（２）このview_idについてSPSのview_id[]アレイにおいてサーチされる（このアレイは、符号化順序で記憶されるview_idを有する。したがって、このアレイのインデックスは、符号化順序を示す）。（３）現在のピクチャのview_idのインデックス（ｉ）が決定される。これは、符号化順序の番号である。（４）このインデックス値（ｉ）を使用して、現在のピクチャについて必要とされるビュー間の参照を決定するために、シーケンスパラメータセットの他のアレイに索引を付ける。

【0052】

また、本発明の原理は、あるピクチャが伝送の間に失われたかを判定するために有効である。これは、以下のように行うことができる。多視点映像符号化（MVC）拡張の現在の仕様では、時間順の符号化（time-first coding）が行われることが知られている。ある特定の時間の瞬間について復号化を開始する前に、カウンタview_numが０に設定される。この時間の瞬間について受信されたそれぞれのピクチャについて、view_numの値がインクリメントされる。このピクチャの復号化が開始される前に、view_numカウンタを使用してシーケンスパラメータセットのview_id[view_num]アレイが索引が付けられる。このインデックスに対応するview_idが決定される。このview_idが現在のピクチャのview_idと同じである場合、ロスが存在しない。しかし、これらのview_idが異なる場合、索引付けされたview_idが失われたことがわかる。次いで、このピクチャは、適切な誤り隠蔽アルゴリズムにより隠蔽される。また、現在のピクチャのview_idにヒット（整合）するまでview_idをインクリメントすることで、どの位多くのビューが失われたかが分かる。

【0053】

図３の例について、view_idは、上から下方向に増加的に割り当てられる。view_numとview_idとの間のマッピングは以下の通りである。

【0054】

【表4】

現在のビューの依存情報からの依存マップ情報の構築は、利用可能な符号化順序により簡略化される。以下の例では、アンカー／ノンアンカーの両者にアルゴリズムが適用されるので、アンカー／ノンアンカーの指示が与えられる。
スタティックなデータ構造を使用することが推定される。picture_dependency_mapを構築するため、以下の情報を有することが望ましい。

【0055】

num_refs[k]は、ｋに等しいview_idをもつビューについて、ビュー間の参照の番号を示す。
ｋに等しいview_idをもつビューにより参照されるview_idのリスト：refs[k][l]。この場合、ｌは０からnum_refs[k]-1までループされる。
view_in_coding_order[k]は、符号化順序におけるview_idのリストを示す。

【0056】

【表5】

図４を参照して、多視点映像コンテンツを符号化する例示的な方法は、参照符号４００により示される。

【0057】

本方法４００は、開始ブロック４０５を含み、このブロックは、機能ブロック４１０に制御を移す。機能ブロック４１０は、エンコーダのコンフィギュレーションファイルを読み取り、機能ブロック４１５に制御を移す。機能ブロック４１５は、view_direction、view_level、及びview_idをユーザにより定義された値に設定し、機能ブロック４２０に制御を移す。機能ブロック４２０は、（エンコーダのコンフィギュレーションファイルからの）ビュー符号化順序に基づいて、スライスヘッダにおけるview_id[i]、シーケンスパラメータセット（SPS）におけるview_id[i]、ピクチャパラメータセット（PPS）におけるview_id[i]、ビューパラメータセット（VPS）におけるview_id[i]、ネットワーク抽象レイヤ（NAL）ユニットヘッダにおけるview_id[i]、及び／又は補足的な付加情報（SEI）におけるview_id[i]を設定し、エンコーダのコンフィギュレーションファイルに基づいて、他のシーケンスパラメータセットのパラメータを設定し、機能ブロック４２５に制御を移す。機能ブロック４２５は、ビューの数を変数Ｎに等しくし、変数ｉ及び変数ｊの両者を０に初期化し、判定ブロック４３０に制御を移す。判定ブロック４３０は、ｉがＮ以下であるか否かを判定する。ｉがＮ以下である場合、機能ブロック４３５に制御が移される。さもなければ、機能ブロック４８５に制御が移される。

【0058】

判定ブロック４３５は、ｊがビューｉにおけるピクチャの数よりも小さいか否かを判定する。ｊがビューｉにおけるピクチャの数よりも小さい場合、制御は機能ブロック４４０に移される。さもなければ、制御は機能ブロック４８５に移される。機能ブロック４４０は、現在のマクロブロック（MB）の符号化を開始し、機能ブロック４４５に制御を移す。機能ブロック４４５は、マクロブロックのモードを選択し、機能ブロック４５０に制御を移す。機能ブロック４５０は、現在のマクロブロックを符号化し、判定ブロック４５５に制御を移す。判定ブロック４５５は、全てのマクロブロックが符号化されているか否かを判定する。全てのマクロブロックが符号化されている場合、機能ブロック４６０に制御を移す。さもなければ、機能ブロック４４０に制御が移される。

【0059】

機能ブロック４６０は、変数ｊをインクリメントし、機能ブロック４６５に制御を移す。機能ブロック４６５は、frame_num及びpicture_order_count（POC）をインクリメントし、判定ブロック４７０に制御を移す。判定ブロック４７０は、シーケンスパラメータセット（SPS）及び／又はピクチャパラメータセット（PPS）を帯域内で伝送すべきか否かを判定する。帯域内で伝送すべき場合、機能ブロック４７５に制御が移される。さもなければ、機能ブロック４９０に制御が移される。

【0060】

機能ブロック４７５は、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、及び／又はビューパラメータセット（VPS）をファイルに（すなわち帯域内で）伝送し、機能ブロック４８０に制御を移す。機能ブロック４８０は、ビットストリームをファイルに書き込むか、ネットワークを通してビットストリームをストリーミングし、終了ブロック４９９に制御を移す。

【0061】

機能ブロック４８５は、変数ｉをインクリメントし、frame_num及びピクチャオーダカウント（POC）をリセットし、安定ブロック４３０に制御を移す。

【0062】

機能ブロック４９０は、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、及び／又はビューパラメータセット（VPS）を帯域外で送出し、機能ブロック４８０に制御を移す。

【0063】

図５を参照して、多視点映像コンテンツを復号化する例示的な方法は、参照符号５００により示される。

【0064】

本方法５００は、開始ブロック５０５を含み、このブロックは、機能ブロック５１０に制御を移す。機能ブロック５１０は、スライスヘッダ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ビューパラメータセット（VPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、及び／又は補足的な付加情報（SEI）メッセージの何れかからのview_id、view_direction及びview_levelを分析し、機能ブロック５１５に制御を移す。機能ブロック５１５は、ループ変数ｉがビューの符号化順序を示す場合に、スライスヘッダ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ビューパラメータセット（VPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、及び／又は補足的な付加情報（SEI）メッセージからの（異なって符号化された）view_id[i]を分析し、機能ブロック５２０に制御を移す。機能ブロック５２０は、他のシーケンスパラメータセットのパラメータを分析し、機能ブロック５２５に制御を移す。機能ブロック５２５は、view_direction、view_level及びview_idを使用して、現在のピクチャが復号化される必要があるかを判定し（依存度をチェック）、判定ブロック５３０に制御を移す。判定ブロックは、現在のピクチャが復号化を必要とするか否かを判定する。現在のピクチャが復号化を必要とする場合、判定ブロック５４０に制御を移す。さもなければ、機能ブロック５３５に制御を移す。

【0065】

機能ブロック５４０は、現在のピクチャのピクチャオーダカウント（POC）が前のピクチャのピクチャオーダカウント（POC）に等しいか、すなわちＰＯＣ（curr）＝ＰＯＣ（prev）であるかを判定する。現在のピクチャのピクチャオーダカウントが前のピクチャのピクチャオーダカウントに等しい場合、機能ブロック５４５に制御を移す。さもなければ、機能ブロック５５０に制御を移す。

【0066】

機能ブロック５４５は、view_numをゼロに等しく設定し、機能ブロック５５０に制御を移す。機能ブロック５５０は、ビューの符号化順序を決定するためにハイレベルでview_id情報を索引付けし、view_numをインクリメントし、判定ブロック５５５に制御を移す。判定ブロック５５５は、現在のピクチャが期待される符号化順序にあるか否かを判定する。現在のピクチャが期待される符号化順序にある場合、機能ブロック５６０に制御を移す。さもなければ、機能ブロック５９０に制御を移す。

【0067】

機能ブロック５６０は、スライスヘッダを分析し、機能ブロック５６５に制御を移す。機能ブロック５６５は、マクロブロック（MB）モード、動きベクトル（MV）、参照インデックス（ref_idx）を分析し、機能ブロック５７０に制御を移す。機能ブロック５７０は、現在のマクロブロックを復号化し、判定ブロック５７５に制御を移す。判定ブロック５７５は、全てのマクロブロックが現在のピクチャで復号化されているか否かを判定する。全てのマクロブロックが現在のピクチャにおいて復号化されている場合、機能ブロック５８０に制御を移す。さもなければ、機能ブロック５６５に制御を移す。

【0068】

機能ブロック５８０は、現在のピクチャを復号化ピクチャバッファ（DPB）に挿入し、判定ブロック５８５に制御を移す。判定ブロック５８５は、全てのピクチャが復号化されているか否かを判定する。全てのピクチャが復号化されている場合、終了ブロック５９９に制御を移す。さもなければ、機能ブロック５６０に制御を移す。
機能ブロック５９０は、現在のピクチャを隠し、機能ブロック５３５に制御を移す。

【0069】

本発明の原理の別の実施の形態に関する説明が与えられる。
実施の形態では、ビューの符号化順序は、ビットストリームで明示的に指示される。ビューの符号化順序の情報は、限定されるものではないが、スライスヘッダレベルでのシンタックス、シーケンスパラメータセット（SPS）レベルでのシンタックス、ピクチャパラメータセット（PPS）レベルでのシンタックス、ビューパラメータセット（VPS）レベルでのシンタックス、ネットワーク抽象レイヤ（NAL）ユニットヘッダレベルでのシンタックス、及び補足的な付加情報（SEI）メッセージにおけるシンタックスを含む、任意のハイレベルシンタックスで示される。

【0070】

表６は、本実施の形態に係る、提案されるシーケンスパラメータセットの多視点映像符号化（MVC）拡張のシンタックスを示す。したがって、表６は、多視点映像符号化（MVC）拡張の現在の仕様についてビューの符号化順序の挿入を例示する。これは、多視点映像符号化（MVC）拡張の現在の仕様におけるシーケンスパラメータセットの設計の構造を保持するが、view_numをループに加えるものである。このview_numは、符号化順序を指示するものである。

【0071】

【表6】

新たに追加された意味は、以下のように定義される。
view_num[i]は、ｉに等しいview_idのビューの符号化順序を規定する。view_numは、符号化順序でそれぞれの符号化されたビューについて１だけインクリメントされる。

【0072】

図３の例について、view_idは、上から下方向に増加的に割り当てられる。view_num以下のようなビューの符号化順序に基づいて割り当てられる。

【0073】

【表7】

現在の設計では、現在のview_idと参照のview_idとの間の差とは対照的に、絶対のview_idを使用して現在のビューについてビュー間の参照が符号化される。大部分のケースでは、妥当なビュー間の参照は、現在のビューに近いビューであるべきであるので、現在のview_idとビュー間の参照view_idとの間の差が符号化される。

【0074】

［誤り検出の応用］
失われたピクチャを検出するために提案されるview_numの使用を含む１つの例は、以下の通りである。時間順の符号化では、瞬間Ｔ８で、view_idの順序、０１４３５７の順序でパケットが受信される。view_id ０及びview_id １が受信された後、view_id ２がview_id １の前に受信されるはずであるため、view_id ２が失われたことが分かる。次いで、view_id ４，３及び５が取得され、view_id ６がview_id ５の前に受信されるはずであるため、view_id ６が失われたことが分かる。

【0075】

伝送エラーのため、view_id ２及びview_id ６における欠けているピクチャが失われたかが判定されるか、又は、意図的に欠けている場合に、表６におけるシンタックスの例を使用するかが判定される。したがって、所定のビューを意図的に符号化しないことを望む場合、符号化されないview_idsをシーケンスパラメータセットに配置する必要がない。

【0076】

図６を参照して、多視点映像コンテンツの別の例示的な方法は、参照符号６００により示される。
本方法６００は、開始ブロック６０５を含み、このブロックは、機能ブロック６１０に制御を移す。機能ブロック６１０は、エンコーダのコンフィギュレーションファイルを読み取り、機能ブロック６１５に制御を移す。機能ブロック６１５は、view_direction、view_level、view_idをユーザにより定義された値に設定し、機能ブロック６２０に制御を移す。機能ブロック６２０は、（エンコーダのコンフィギュレーションファイルからの）view_idのビューの符号化順序に基づいて、スライスヘッダ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ビューパラメータセット（VPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、及び／又は補足的な付加情報（SEI）メッセージにおけるview_num[i]を柔軟に設定し、エンコーダのコンフィギュレーションファイルに基づいて他のシーケンスパラメータセットのパラメータを設定し、機能ブロック６２５に制御を移す。機能ブロック６２５は、ビューの数を変数Ｎに等しくし、変数ｉ及び変数ｊの両者を０に初期化し、判定ブロック６３０に制御を移す。判定ブロック６３０は、ｉがＮよりも小さいか否かを判定する。ｉがＮよりも小さい場合、機能ブロック６３５に制御を移す。さもなければ、機能ブロック６８５に制御を移す。

【0077】

判定ブロック６３５は、ｊがビューｉにおけるピクチャ数よりも少ないか否かを判定する。ｊがビューｉにおけるピクチャ数よりも少ない場合、機能ブロック６４０に制御を移す。さもなければ、機能ブロック６８５に制御を移す。

【0078】

機能ブロック６４０は、現在のマクロブロック（MB）の符号化を開始し、機能ブロック６４５に制御を移す。機能ブロック６４５は、マクロブロックモードを選択し、機能ブロック６５０に制御を移す。機能ブロック６５０は、現在のマクロブロックを符号化し、判定ブロック６５５に制御を移す。判定ブロック６５５は、全てのマクロブロックが符号化されているかを判定する。全てのマクロブロックが符号化されている場合、機能ブロック６６０に制御を移す。さもなければ、機能ブロック６４０に制御を移す。

【0079】

機能ブロック６６０は、変数ｊをインクリメントし、機能ブロック６６５に制御を移す。機能ブロック６６５は、frame_num及びピクチャオーダカウント（POC）をインクリメントし、判定ブロック６７０に制御を移す。判定ブロック６７０は、シーケンスパラメータセット（SPS）及び／又はピクチャパラメータセット（PPS）を帯域内で送出するか否かを判定する。シーケンスパラメータセット（SPS）及び／又はピクチャパラメータセット（PPS）を帯域内で送出する場合、機能ブロック６７５に制御を移す。さもなければ、機能ブロック６９０に制御を移す。

【0080】

機能ブロック６７５は、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、及び／又はビューパラメータセット（VPS）をファイル（すなわち帯域内“in-band”で）送出し、機能ブロック６８０に制御を移す。機能ブロック６８０は、ビットストリームをファイルに書き込むか、又はネットワークを通してビットストリームをストリーミングし、終了ブロック６９９に制御を移す。

【0081】

機能ブロック６８５は、変数ｉをインクリメントし、frame_num及びピクチャオーダカウント（POC）をリセットし、判定ブロック６３０に制御を移す。
機能ブロック６９０は、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、及び／又はビューパラメータセット（VPS）を帯域外“out-of-band”で送出し、機能ブロック６８０に制御を移す。

【0082】

図７を参照して、多視点映像コンテンツを復号化する例示的な方法は、参照符号７００により示される。
本方法７００は、開始ブロック７０５を含み、このブロックは、機能ブロック７１０に制御を移す。機能ブロック７１０は、スライスヘッダ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ビューパラメータセット（VPS）、ネットワーク抽象レイヤ（NAL）のユニットヘッダ、及び／又は補足的な付加情報（SEI）メッセージの何れかからのview_id、view_direction及びview_levelを分析し、機能ブロック７１５に制御を移す。機能ブロック７１５は、ループ変数ｉがview_idを示す場合に、スライスヘッダ、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ビューパラメータセット（VPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、及び／又は補足的な付加情報（SEI）メッセージからのview_num[i]を分析し、機能ブロック７２０に制御を移す。機能ブロック７２０は、他のシーケンスパラメータセットのパラメータを分析し、機能ブロック７２５に制御を移す。機能ブロック７２５は、view_direction、view_level及びview_idを使用して、現在のピクチャが復号化される必要があるかを判定し（依存度をチェック）、判定ブロック７３０に制御を移す。判定ブロックは、現在のピクチャが復号化を必要とするかを判定する。現在のピクチャが復号化を必要とする場合、判定ブロック７４０に制御を移す。さもなければ、機能ブロック７３５に制御を移す。

【0083】

機能ブロック７４０は、現在のピクチャのピクチャオーダカウント（POC）が前のピクチャのピクチャオーダカウント（POC）に等しいか、すなわちPOC（curr）＝POC（prev）であるかを判定する。現在のピクチャのピクチャオーダカウントが前のピクチャのピクチャオーダカウントに等しい場合、機能ブロック７４５に制御を移す。さもなければ、機能ブロック７５０に制御を移す。

【0084】

機能ブロック７４５は、view_numをゼロに設定し、機能ブロック７５０に制御を移す。機能ブロック７５０は、ハイレベルでview_id情報を索引付けしてビューの符号化順序を決定し、view_numをインクリメントし、判定ブロック７５５に制御を移す。判定ブロック７５５は、現在のピクチャが期待される符号化順序にあるか否かを判定する。現在のピクチャが期待される符号化順序にある場合、機能ブロック７６０に制御を移す。さもなければ、機能ブロック７９０に制御を移す。

【0085】

機能ブロック７６０は、スライスヘッダを分析し、機能ブロック７６５に制御を移す。機能ブロック７６５は、マクロブロック（MB）モード、動きベクトル（MV）、及び参照インデックス（ref_idx）を分析し、機能ブロック７７０に制御を移す。機能ブロック７７０は、現在のマクロブロックを復号化し、判定ブロック７７５に制御を移す。判定ブロック７７５は、全てのマクロブロックが現在のピクチャで復号化されているか否かを判定する。全てのマクロブロックが現在のピクチャで復号化されている場合、機能ブロック７８０に制御を移す。さもなければ、機能ブロック７６５に制御を移す。

【0086】

機能ブロック７８０は、復号化ピクチャバッファ（DPB）に現在のピクチャを挿入し、判定ブロック７８５に制御を移す。判定ブロック７８５は、全てのピクチャが復号化されているか否かを判定する。全てのピクチャが復号化されている場合、終了ブロック７９９に制御を移す。さもなければ、機能ブロック７６０に制御を移す。
機能ブロック７９０は、現在のピクチャを隠し、機能ブロック７３５に制御を移す。

【0087】

ここで、本発明の多数の付随する利点／特徴の幾つかに関する説明が与えられ、そのうちの幾つかは上述された。たとえば、１つの利点／特徴は、結果として得られるビットストリームにおける多視点映像コンテンツに対応する少なくとも１つのビューについて少なくとも１つのピクチャを符号化するエンコーダを有する装置であり、このエンコーダは、ハイレベルシンタックスで少なくとも前記少なくとも１つのピクチャのビデオ符号化順序の情報を指示する。

【0088】

別の利点／特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、シーケンスパラメータセット、ピクチャパラメータセット、ビューパラメータセット、補足的な付加情報のメッセージ、スライスヘッダ、ネットワーク抽象レイヤのユニットヘッダのうちの少なくとも１つに含まれる。

【0089】

更に別の利点／特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも１つのビューを含む少なくとも２つのビューに対応し、前記エンコーダは、符号化順序で少なくとも２つのビューのそれぞれについて、ハイレベルシンタックスでビュー識別子を通してループする複数の繰り返しを実行することで、ハイレベルシンタックスでビューの符号化順序の情報を指示する。

【0090】

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも１つのビューを含む少なくとも２つのビューに対応し、前記エンコーダは、少なくとも２つのビューのそれぞれについて、ハイレベルシンタックスでビューの符号化順序を通してループする複数の繰り返しを実行することで、ハイレベルシンタックスでビューの符号化順序の情報を指示する。

【0091】

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスは、帯域内及び帯域外の少なくとも１つで送出される。

【0092】

また、別の利点／特徴は、上述されたエンコーダを有する装置であり、前記エンコーダは、少なくとも１つのピクチャを符号化するために使用されるビュー間の参照画像のビュー識別子を異なって符号化し、前記エンコーダは、少なくとも１つのピクチャについてビューの依存情報を符号化する。

【0093】

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、前記エンコーダは、別のハイレベルシンタックスで少なくとも１つのビューについてビュー識別子を柔軟に割り当てる。

【0094】

さらに、別の利点／特徴は、上述された別のハイレベルシンタックスで少なくとも１つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、他のハイレベルシンタックスエレメントは、シーケンスパラメータセット、ピクチャパラメータセット、ビューパラメータセット、補足的な付加情報のメッセージ、スライスヘッダ及びネットワーク抽象レイヤのユニットヘッダの少なくとも１つに含まれる。

【0095】

さらに、別の利点／特徴は、上述された別のハイレベルシンタックスで少なくとも１つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも１つのビューを含む少なくとも２つのビューに対応し、前記エンコーダは、符号化順序で少なくとも２つのビューのそれぞれについて、他のハイレベルシンタックスでビュー識別子を通してループする複数の繰り返しを実行することで、他のハイレベルシンタックスで少なくとも２つのビューのそれぞれについてビュー識別子を柔軟に割り当てる。

【0096】

さらに、別の利点／特徴は、上述された符号化順序で少なくとも２つのビューのそれぞれについて、他のハイレベルシンタックスでビュー識別子を通してループする複数の繰り返しを実行するエンコーダを有する装置であり、少なくとも２つのビューのそれぞれのビュー識別子の柔軟な割り当ては、連続するビュー識別子間のギャップを許容する。

【0097】

また、別の利点／特徴は、上述された別のハイレベルシンタックスで少なくとも１つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、多視点映像コンテンツは、前記少なくとも１つのビューを含む少なくとも２つのビューに対応し、前記エンコーダは、少なくとも２つのビューのそれぞれについて、他のハイレベルシンタックスでビューの符号化順序を通してループする複数の繰り返しを実行することで、他のハイレベルシンタックスで少なくとも２つのビューのそれぞれについてビュー識別子を柔軟に割り当てる。

【0098】

さらに、別の利点／特徴は、上述された別のハイレベルシンタックスで少なくとも１つのビューについてビュー識別子を柔軟に割り当てるエンコーダを有する装置であり、他のハイレベルシンタックスは、帯域内及び帯域外の少なくとも１つで送出される。
さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、エンコーダは、ハイレベルシンタックスでビュー間の依存情報を柔軟に指示する。

【0099】

本発明の原理のこれらの特徴及び利点並びに他の特徴及び利点は、本明細書における教示に基づいて当業者により容易に確認される場合がある。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの様々な形態で実現される場合がある。

【0100】

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記憶装置で実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載された様々な処理及び機能は、マイクロ命令コードの一部、又はアプリケーションプログラムの一部、或いはその組み合わせの何れかである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

【0101】

添付図面で記載されるシステムの構成要素及び方法の幾つかは、ソフトウェアで実現されることが好ましく、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に依存して異なる場合がある。本明細書での教示が与えられると、当業者であれば、本発明の原理のこれらの実現又はコンフィギュレーション及び類似の実現又はコンフィギュレーションを考案することができるであろう。

【0102】

例示的な実施の形態が添付図面を参照して記載されたが、本発明の原理は、それら正確な実施の形態に限定されるものではなく、様々な変形及び変更が本発明の原理の範囲又は精神から逸脱することなしに当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べる本発明の原理の範囲に含まれることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】