特許第5713466号(P5713466)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トムソン ライセンシングの特許一覧

特許5713466マルチビュービデオ符号化及び復号化のためにフレームナンバー及び/又はピクチャオーダカウント(POC)を分離する方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5713466
(24)【登録日】2015年3月20日
(45)【発行日】2015年5月7日
(54)【発明の名称】マルチビュービデオ符号化及び復号化のためにフレームナンバー及び/又はピクチャオーダカウント(POC)を分離する方法及び装置
(51)【国際特許分類】
   H04N 19/597 20140101AFI20150416BHJP
【FI】
   H04N19/597
【請求項の数】1
【外国語出願】
【全頁数】39
(21)【出願番号】特願2012-280495(P2012-280495)
(22)【出願日】2012年12月25日
(62)【分割の表示】特願2009-518403(P2009-518403)の分割
【原出願日】2007年7月5日
(65)【公開番号】特開2013-138428(P2013-138428A)
(43)【公開日】2013年7月11日
【審査請求日】2013年1月18日
(31)【優先権主張番号】60/818,874
(32)【優先日】2006年7月6日
(33)【優先権主張国】US
(31)【優先権主張番号】60/807,706
(32)【優先日】2006年7月18日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】501263810
【氏名又は名称】トムソン ライセンシング
【氏名又は名称原語表記】Thomson Licensing
(74)【代理人】
【識別番号】100134094
【弁理士】
【氏名又は名称】倉持 誠
(74)【代理人】
【識別番号】100121175
【弁理士】
【氏名又は名称】石井 たかし
(74)【代理人】
【識別番号】100123629
【弁理士】
【氏名又は名称】吹田 礼子
(72)【発明者】
【氏名】パンディット,パーヴィン,ビバス
(72)【発明者】
【氏名】スー,イェピン
(72)【発明者】
【氏名】イン,ペン
(72)【発明者】
【氏名】ゴミラ,クリスティーナ
【審査官】 堀井 啓明
(56)【参考文献】
【文献】 特開2004−048579(JP,A)
【文献】 国際公開第2006/001653(WO,A1)
【文献】 特表2008−503973(JP,A)
【文献】 国際公開第2007/114610(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N19/00−19/98
(57)【特許請求の範囲】
【請求項1】
マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するステップを含む方法であって、
前記復号化するステップは、デフォルトのリファレンスピクチャリストの構築プロセス及びリファレンスピクチャリストのリオーダリングプロセスにおいて再定義された変数を使用して、前記少なくとも2つのビューのうちの少なくとも1つを復号化
ビューの数及びビュー識別情報の少なくとも1つは、前記変数を再定義するために使用される、前記方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化及び復号化全般に関し、より詳細には、マルチビュービデオ符号化及び復号化向けにフレームナンバー及び/又はピクチャオーダカウント(POC: Picture Order Count)を分離する方法及び装置に関する。
【0002】
本出願は、2006年7月6日に提出された米国仮出願60/818,874号及び2006年7月18日に提出された米国仮出願60/807,706号の利益を特許請求するものであり、これらは、それぞれ完全な形で本明細書に引用により盛り込まれる。
【0003】
さらに、本出願は、本出願と共に同時に提出される、“Method and Apparatus for Decoupling Frame Number and/or Picture Order Count (POC) for Multi-view Video Encoding and Decoding”と題された仮出願ではない、代理人ドケットPU060136号に関連するものであり、同一出願人によるものであって、本明細書に引用により盛り込まれる。
【背景技術】
【0004】
ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)MPEG−4(Moving Picture Experts Group-4)Part10 AVC(Advanced Video Coding)規格/ITU−T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下“MPEG−4AVC標準”)では、ピクチャの識別子としてシンタックスエレメントのframe_numが使用され、MPEG−4AVC標準で定義される幾つかの制約を有する。frame_numの主要な目的は、ピクチャがデコードされるたびにインクリメントされるカウンタとしての役割を果たし、データの損失がある場合に、デコーダは幾つかのピクチャが失われたことを検出し、問題を隠すことができる。frame_numは、アクセスユニットの復号化順序で増加し、表示順序を必ずしも示さない。MMCO(Memory Management Control Operations)は、frame_numの値を使用して、長期及び短期のリファレンスとしてピクチャをマークするか、リファレンスピクチャについて不使用であるとしてリファレンスピクチャをマークする。また、frame_numは、P及びSPスライスについてデフォルトのリファレンスリストのオーダリングのために使用される。
【0005】
MPEG−4AVC標準におけるピクチャオーダカウントは、特定のピクチャのタイミング又は出力のオーダリングの指示である。ピクチャオーダカウントは、復号化順序における前のIDR(Instantaneous Decoding Refresh)ピクチャに関して、又は「リファレンスのために使用されていない」として全てのリファレンスピクチャをマークするメモリマネージメント制御動作を含む前のピクチャに関して、出力順序において増加するピクチャの位置につれて減少しない値を有する変数である。ピクチャオーダカウント(Picture Order Count)は、スライスヘッダシンタックスエレメントから導出される。ピクチャオーダカウントは、テンポラルダイレクトモードでの動きベクトルの導出、暗黙の重み付け予測、及びBスライスのデフォルトのイニシャルリファレンスピクチャリストのオーダリングで使用される。
【0006】
特に、時間的相関関係を使用したダイレクトモードの動きパラメータは、その後のリファレンスピクチャ又はより正確には第一のLIST1リファレンスにおける共に配置される位置での動き情報を考慮することで現在のマクロブロック/ブロックについて典型的に導出される。図1を参照して、Bスライス符号化におけるテンポラルダイレクト予測を例示する図は、参照符号100により一般に示される。オブジェクトが一定の速度で移動するという仮定に続いて、これらのパラメータは、関連するリファレンスピクチャの(図1に示されるような)時間的な距離に従ってスケーリングされる。ダイレクト符号化ブロックの動きベクトル
(外1)
に対する第一のLIST1リファレンスにおけるその共に配置される位置の動きベクトル
(外2)
は、以下のように計算される。
【数1】
【0007】
先の式では、TD及びTDは、それぞれ、現在及びLIST1ピクチャに比較してLIST1ピクチャにおける共に配置されるブロックのLIST0動きベクトルにより使用されるリファレンスピクチャの時間的な距離であり、又はより正確には、ピクチャオーダカウント(POC)距離である。LIST1リファレンスピクチャ及びLIST1における共に配置されるブロックの動きベクトルにより参照されるLIST0におけるリファレンスは、ダイレクトモードの2つのリファレンスとして使用される。リファレンスインデックスrefldxL0が長期のリファレンスピクチャを参照するか、又はDiffPicOderCnt(pic1, pic0)が0に等しい場合、ダイレクトモードのパーティションの動きベクトル
(外3)
は、以下により導出される。
【数2】
【0008】
また、暗黙の重み付けされた予測ツールは、重みを決定するためにピクチャオーダカウント情報を使用する。重み付け予測(WP)暗黙モードでは、重み付けファクタは、スライスヘッダで明示的に送信されないが、代わりに、現在のピクチャとリファレンスピクチャとの間の相対的な距離に基づいて導出される。暗黙のモードは、ダイレクトモードを使用するものを含めて、双方向予測されたマクロブロック及びBスライスにおけるマクロブロックのパーティションについてのみ使用される。暗黙のモードについて、オフセット値O0及びO1がゼロに等しく、重みファクタW0及びW1が式(6)〜式(10)における以下の式を使用して導出されることを除いて、式(1)に示される式が使用される。
【数3】
【0009】
これは、ディビジョンフリーな、以下の16ビットセーフオペレーションの実現である。
【数4】
ここでTDは、LIST1リファレンスピクチャとLIST0リファレンスピクチャとの間の時間差であり、レンジ「−128,127」にクリップされ、TDは、現在のピクチャとLIST0リファレンスピクチャとの間の差であり、レンジ「−128,127」にクリップされる。マルチビュービデオコーディングでは、TDDがゼロに評価することができる場合が存在する(これは、式(11)におけるDiffPicOderCnt(pic1,pic2)がゼロになるときに起こる)。係るケースでは、重みW0及びW1は32に設定される。
【発明の概要】
【発明が解決しようとする課題】
【0010】
マルチビュービデオ符号化(MVC)の現在のMPEG−4AVCに準拠した実現では、リファレンスソフトウェアは、全てのビデオ系列を1つのストリームにインタリーブすることでマルチビュー予測を達成する。このように、ビュー間のframe_num及びピクチャオーダカウントは、互いに結合される。これは、幾つかの問題を有する。1つの問題点は、部分的な復号化についてframe_numの値におけるギャップが存在することである。これは、リファレンスピクチャリストの管理を複雑にするか、又はframe_numのギャップに基づいたエラーロスの検出を不可能にする点である。別の利点は、ピクチャオーダカウントが現実的な物理的な意味を有さない点であり、テンポラルダイレクトモード又は暗黙の重み予測のようなピクチャオーダカウント情報を当てにする符号化ツールをブレイクする可能性がある。さらに別の問題点は、上記結合によりマルチビューシーケンスのパラレルな符号化を更に困難にする点である。
【課題を解決するための手段】
【0011】
従来技術のこれらの課題及び問題点、並びに他の課題及び問題点は、本発明の原理により対処され、マルチビュービデオ符号化及び復号化向けにフレームナンバーとピクチャオーダカウント(POC)とを分離する方法及び装置に向けられる。
【0012】
本発明の態様によれば、ビットストリームから、マルチビュービデオコンテンツの少なくとも2つのビューのうちの少なくとも1つに対応する少なくとも1つのピクチャを復号化するデコーダを含む装置が提供される。ビットストリームでは、少なくとも1つのピクチャについて符号化順序情報及び出力順序情報の少なくとも1つは、少なくとも1つのピクチャが対応する少なくとも1つのビューから分離される。
【0013】
本発明の原理の別の態様によれば、ビットストリームから、マルチビュービデオコンテンツの少なくとも2つのビューのうちの少なくとも1つに対応する少なくとも1つのピクチャを復号化するステップを含む方法が提供される。ビットストリームでは、少なくとも1つのピクチャについて符号化順序情報及び出力順序情報の少なくとも1つは、少なくとも1つのピクチャが対応する少なくとも1つのビューから分離される。
【0014】
本発明の更に別の態様によれば、マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するデコーダを含む装置が提供される。このデコーダは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding Standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応するデフォルトのリファレンスピクチャリストのコンストラクションプロセス及びリファレンスピクチャリストのリオーダリングにおける再定義された変数を使用して、少なくとも2つのビューのうちの少なくとも1つを復号化する。
【0015】
本発明の原理のなお更に別の態様によれば、マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するデコーダ250を含む装置が提供される。このデコーダは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding Standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationのデコードされたリファレンスピクチャのマーキングプロセスにおける再定義された変数を使用して、少なくとも2つのビューのうちの少なくとも1つを復号化する。
【0016】
本発明の原理の更に別の態様によれば、マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するステップを含む方法が提供される。この復号化ステップは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding Standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationのデコードされたリファレンスピクチャのマーキングプロセスにおける再定義された変数を使用して、少なくとも2つのビューのうちの少なくとも1つを復号化する。
【0017】
本発明の原理のなお更に別の態様によれば、マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するステップを含む方法が提供される。この復号化するステップは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding Standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationのデコードされたリファレンスピクチャのマーキングプロセスにおける再定義された変数を使用して、少なくとも2つのビューのうちの少なくとも1つを復号化する。
【0018】
本発明の原理のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。本発明の原理は、以下の例示的な図面に従って良好に理解されるであろう。
【図面の簡単な説明】
【0019】
図1】Bスライスの符号化におけるテンポラルダイレクト予測を例示する図である。
図2A】本発明の実施の形態に係る、本発明の原理が適用される場合がある、例示的なマルチビュービデオコーディング(MVC)のブロック図である。
図2B】本発明の実施の形態に係る、本発明の原理が適用される場合がある、例示的なマルチビュービデオコーディング(MVC)のブロック図である。
図3】本発明の実施の形態に係る、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを符号化する例示的な方法のフローチャートである。
図4】本発明の実施の形態に係る、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する例示的な方法のフローチャートである。
図5】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを符号化する例示的な方法のフローチャートである。
図6】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法のフローチャートである。
図7】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを符号化する更に別の例示的な方法のフローチャートである。
図8】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する例示的な方法のフローチャートである。
図9】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法のフローチャートである。
図10】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する更に別の例示的な方法のフローチャートである。
図11】本発明の実施の形態に係る、テンポラルダイレクトモード及び暗黙の重み予測を使用してマルチビュービデオコンテンツを符号化する例示的な方法のフローチャートである。
図12】本発明の実施の形態に係る、テンポラルダイレクトモード及び暗黙の重み予測を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法のフローチャートである。
図13】本発明の実施の形態に係る、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する例示的な方法のフローチャートである。
図14】本発明の実施の形態に係る、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法のフローチャートである。
図15】本発明の実施の形態に係る、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを符号化する例示的な方法のフローチャートである。
図16】本発明の実施の形態に係る、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する例示的な方法のフローチャートである。
図17】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを符号化する例示的な方法のフローチャートである。
図18】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法のフローチャートである。
図19】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを復号化する例示的な方法のフローチャートである。
図20】本発明の実施の形態に係る、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法のフローチャートである。
図21】本発明の実施の形態に係る、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの初期化を使用した、マルチビュービデオコンテンツを符号化する例示的な方法のフローチャートである。
図22】本発明の実施の形態に係る、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの初期化を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法のフローチャートである。
図23】本発明の実施の形態に係る、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する例示的な方法のフローチャートである。
図24】本発明の実施の形態に係る、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法のフローチャートである。
【発明を実施するための形態】
【0020】
本発明は、マルチビュービデオ符号化及び復号化のため、フレームナンバーとピクチャオーダカウント(POC)を分離する方法及び装置に向けられる。この開示は、本発明の原理を例示するものである。したがって、当業者であれば、本実施の形態では明示的に記載又は図示されないが、本発明を実施し、本発明の精神及び範囲に含まれる様々なアレンジメントを考案するであろうことを理解されたい。本実施の形態で示される全ての例及び条件付き言語は、本発明の原理、及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的が意図され、係る特に引用される例及び条件に限定するものではないとして解釈されるべきである。
【0021】
さらに、本発明の原理、態様及び実施の形態を引用する全ての説明は、その特別の例と共に、本発明の構造的且つ機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在知られている等価な概念と同様に、将来に開発される等価な概念、すなわち構造に関わらず、同じ機能を実行する開発されたエレメントを含む。
【0022】
したがって、たとえば、本明細書で与えられるブロック図は、本発明の原理を実施する例示的な回路の概念図を表わすことが当業者により理解されるであろう。同様に、何れかのフローチャート、フロー図、状態遷移図、擬似コード等は、コンピュータ読取り可能なメディアで実質的に表現され、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されるであろう。
【0023】
図示される様々なエレメントの機能は、専用のハードウェアと同様に、適切なソフトウェアに関連するソフトウェアを実行可能なハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、機能は、1つの専用のプロセッサにより提供されるか、1つの共有プロセッサにより提供されるか、そのうちの幾つかが共有される複数の個別のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すために解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ(DSP)ハードウェア、ソフトウェアを記憶するリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性ストレージを暗黙に含む場合がある。
【0024】
コンベンショナル及び/又はカスタムな他のハードウェアが含まれる場合もある。同様に、図示されるスイッチは、概念のみである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御及び専用ロジックのインタラクションを通して実行されるか、又は、更には手動的に実行され、特定の技術は、コンテクストから更に詳細に理解されるように実現者により選択可能である。
【0025】
その請求項では、指定された機能を実行する手段として表現されるエレメントは、たとえば、a)その機能を実行する回路エレメントの組み合わせ、又はb)機能を実行するためにソフトウェアを実行する適切な回路と共に結合される、ファームウェア、マイクロコード等を含む何れかの形式でのソフトウェアを含めて、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明の原理は、様々な引用された手段により提供される機能は結合され、請求項が求めるやり方でまとめられるという事実にある。したがって、それらの機能を提供する任意の手段は、本明細書に示される手段に等価であるとみなされる。
【0026】
本発明の原理の「1実施の形態」又は「実施の形態」への明細書における参照は、実施の形態と共に記載される特定の特徴、機能、特性等が本発明の原理の少なくとも1つに含まれることを意味する。したがって、明細書を通して様々な位置で現れるフレーズ「1実施の形態では」又は「実施の形態では」の出現は、同じ実施の形態を必ずしも示すものではない。
【0027】
本明細書で使用されるように、「ハイレベルシンタックス」は、マクロブロックレイヤの階層的に上にあるビットストリームに存在するシンタックスを示す。たとえば、ハイレベルシンタックスは、本明細書で使用されるように、限定されるものではないが、スライスヘッダレベル、SEI(Supplemental Enhancement Information)レベル、ピクチャパラメータセットレベル、シーケンスパラメータセットレベル及びNALユニットヘッダレベルでのシンタックスを示す場合がある。
【0028】
さらに、本明細書で使用されるように、「以前に使用されていないシンタックス」は、現在知られているビデオ符号化標準及び勧告、及び限定されるものではないがMPEG−4AVC標準を含むその拡張に未だ存在しないシンタックスを示す。
【0029】
また、本明細書で使用されるように、「符号化順序情報」は、ビットストリームにおけるピクチャが符号化及び/又は復号化される順序を示すビットストリームに存在する情報を示す。符号化順序情報は、たとえばframe_numを含む場合がある。
【0030】
さらに、本明細書で使用されるように、「出力順序情報」は、ビットストリームにおけるピクチャが出力される順序を示すビデオビットストリームに存在する情報を示す。出力順序情報は、たとえばピクチャオーダカウント(POC)値を含む場合がある。
【0031】
さらに、本発明の原理は、MPEG−4AVC標準に関して本実施の形態で記載されるが、本発明の原理は、この標準のみに限定されるものではなく、したがって、本発明の原理の精神を維持しつつ、他の符号化標準及びMPEG−4AVC標準の拡張を含むその拡張に関して利用される場合があることを理解されたい。
【0032】
さらに、本明細書で交換可能に使用されるように、「クロスビュー(cross view)」及び「インタービュー(inter view)」の両者は、現在のビュー以外のビューに属するピクチャを示す。
【0033】
図2Aを参照して、例示的なマルチビュービデオコーディング(MVC)エンコーダは、参照符号100により全般的に示される。エンコーダ100は、変換器110の入力と信号通信で接続される出力を有する結合器105を含む。変換器110の出力は、量子化器115の入力と信号通信で接続される。量子化器115の出力は、エントロピーコーダ120の入力及び逆量子化器125の入力と信号通信で接続される。逆量子化器125の出力は、逆変換器130の入力と信号通信で接続される。逆変換器130の出力は、結合器135の第一の非反転入力と信号通信で接続される。結合器135の出力は、イントラ予測器145の入力及びデブロッキングフィルタ150の入力と信号通信で接続される。デブロッキングフィルタ150の出力は、(ビューiについて)リファレンスピクチャストア155の入力と信号通信で接続される。リファレンスピクチャストア155の出力は、動き補償器175の第一の入力及び動き予測器180の第一の入力と信号通信で接続される。動き予測器180の出力は、動き補償器175の第二の入力と信号通信で接続される。
【0034】
(他のビューについて)リファレンスピクチャストア160の出力は、ディスパリティ予測器170の第一の入力及びディスパリティ補償器165の第一の入力と信号通信で接続される。ディスパリティ予測器170の出力は、ディスパリティ補償器165の第二の入力と信号通信で接続される。
【0035】
エントロピーデコーダ120の出力は、エンコーダ100の出力として利用可能である。結合器105の非反転入力は、エンコーダ100の入力として利用可能であり、ディスパリティ予測器170の第二の入力及び動き予測器180の第二の入力と信号通信で接続される。スイッチ185の出力は、結合器135の第二の非反転入力及び結合器105の反転入力と信号通信で接続される。スイッチ185は、動き補償器175の出力と信号通信で接続される第一の入力、ディスパリティ補償器165の出力と信号通信で接続される第二の入力、及びイントラ予測器145の出力と信号通信で接続される第三の入力を含む。
【0036】
図2Bを参照して、例示的なマルチビュービデオコーディング(MVC)デコーダは、参照符号3200により全般的に示される。デコーダ3200は、逆量子化器3210の入力と信号通信で接続される出力を有するエントロピーデコーダ3205を含む。逆量子化器の出力は、逆変換器3215の入力と信号通信で接続される。逆変換器3215の出力は、結合器3220の第一の非反転入力と信号通信で接続される。結合器3220の出力は、デブロッキングフィルタ3225の入力とイントラ予測器3230の入力と信号通信で接続される。デブロッキングフィルタ3225の出力は、(ビューiについて)リファレンスピクチャストア3240の入力と信号通信で接続される。リファレンスピクチャストア3240の出力は、動き補償器3235の第一の入力と信号通信で接続される。
【0037】
(他のビューについて)リファレンスピクチャストア3245の出力は、ディスパリティ補償器250の第一の入力と信号通信で接続される。
【0038】
エントロピーコーダ3205の入力は、残余のビットストリームを受信するため、デコーダ3200への入力として利用可能である。さらに、スイッチ3255の制御入力は、どの入力がスイッチ3255により選択されるかを制御するコントロールシンタックスを受信するため、デコーダ3200への入力として利用可能である。さらに、動き補償器3235の第二の入力は、動きベクトルを受信するため、デコーダ3200の入力として利用可能である。また、ディスパリティ補償器3250の第二の入力は、ディスパリティベクトルを受信するため、デコーダ3200への入力として利用可能である。
【0039】
スイッチ3255の出力は、結合器3220の第二の非反転入力と信号通信で接続される。スイッチ3255の第一の入力は、ディスパリティ補償器3250の出力と信号通信で接続される。スイッチ3255の第二の入力は、動き補償器3235の出力と信号通信で接続される。スイッチ3255の第三の入力は、イントラ予測器3230の出力と信号通信で接続される。モードモジュール3260の出力は、どの入力がスイッチ3255により選択されるかを制御するためにスイッチ3255と信号通信で接続される。デブロッキングフィルタ3225の出力は、デコーダの出力として利用可能である。
【0040】
本発明の原理によれば、マルチビュービデオ系列の効果的な符号化向けMPEG−4AVC標準のハイレベルシンタックスに対して幾つかの変形が提案される。実施の形態では、マルチビュービデオ系列を符号化するとき、ビュー間でフレームナンバー(frame_num)とピクチャオーダカウント(POC)値を分離することが提案される。1つの可能な応用は、それぞれのビューについて、独立に、MPEG−4AVCに準拠した復号化及び出力プロセスを適用することができる。実施の形態では、ビュー間のフレームナンバー及び/又はピクチャオーダカウント値は、ビューのそれぞれについてview-idを送出することで分離される。ビュー補間/合成、ビューのランダムアクセス、パラレル処理等を含めて幾つかのマルチビュービデオコーディング(MVC)の要件についてview_id情報が必要とされるので、以前に、ハイレベルシンタックスにおいてビュー識別子(view_id)を付加することがシンプルに提案されている。また、view_id情報は、クロスビュー予測にのみ関連する特別の符号化モードについて有効となる。このview_idは、マルチビュービデオコンテンツのビュー間でフレームナンバーとピクチャオーダカウント値とを分離するため、本発明の原理に従って使用される。さらに、実施の形態では、マルチビュービデオコーディングに関してMPEG−4AVC標準における符号化ツールを固定するためのソリューションが提案されている。
【0041】
実施の形態では、それぞれのビューは、異なるview_idを有し、したがって同じframe_num及びPOCを異なるビューについて再使用することができる。
(外4)
【0042】
異なるビューを符号化して並列処理を可能にする幾つかのやり方が存在する。1つの可能なやり方は、はじめに、あるビューにおけるピクチャがあるGOPについて符号化され、続いて、そのGOPについて全てのビューが符号化されるまで、同じGOPサイズについて別のビューからのピクチャが符号化される。次いで、プロセスは、他のGOPについて繰り返される。先の例示では、はじめに、ビューS0におけるピクチャが符号化され、続いて、ビューS2からのピクチャ、次いでビューS1からのピクチャが符号化される。
【0043】
別の可能なやり方は、はじめに符号化されるべき同じ時間的な瞬間に属する全てのビューにおける全てのピクチャを符号化し、続いて、全てのビューにおける別の時間的な瞬間に属する別のピクチャのセットを符号化することである。このプロセスは、全てのピクチャが符号化されるまで繰り返される。先の例では、はじめに、時間の瞬間T0でのビューS0,S1,S2における全てのピクチャが符号化され、T8,T4等が後続する。本発明は、ピクチャが符号化される順序にとらわれない。
【0044】
以下では、本発明の原理の様々な実施の形態に係るMPEG−4AVC標準に対する変形を説明する。また、1以上の変形がマルチビューシーケンスの並列の符号化をどのように可能にするかを示す。しかし、本発明の原理がMPEG−4AVC標準に関して本実施の形態で主に記載されるが、本発明の原理は、本発明の原理の範囲を維持しつつ、本実施の形態で提供される本発明の原理の教示が与えられたときに当業者により容易に決定されるように、他のビデオ符号化標準及び勧告並びにその拡張と同様に、MPEG−4AVC標準の拡張に関して実現される場合があることを理解されたい。
【0045】
[デコードされたリファレンスピクチャのマーキングプロセス]
現在のMPEG−4AVC標準では、デコードされたピクチャバッファ(DPB)において同じframe_numをもつ多数のピクチャを有することは許可されない。しかし、本発明の原理の実施の形態によれば、この制約は、マルチビュービデオコーディング(MVC)において緩和される。これは、frame_num及び/又はピクチャオーダカウントが分離されるためであり、すなわち、それぞれのビューがそれ自身の独立なframe_num及びピクチャオーダカウント値を有することが提案されるためである。これを可能にするため、実施の形態では、view_idをデコードされたピクチャと関連付ける。これにより、それぞれのピクチャについて別の次元が導入される。したがって、実施の形態では、デコードされたリファレンスピクチャのマーキングプロセスは、view_idを含むように再定義される。
【0046】
MPEG−4AVC標準がデコードされたリファレンスピクチャマーキングを可能にする2つの方法が存在する。MPEG−4AVC標準におけるデコードされたリファレンスピクチャのマーキングの第一の方法は、スライディングウィンドウによるリファレンスピクチャのマーキングを含む。MPEG−4AVC標準におけるデコードされたリファレンスピクチャのマーキングの第二の方法は、適応メモリ制御によるデコードされたリファレンスピクチャのマーキングを含む。
【0047】
本発明の原理の様々な実施の形態によれば、1以上のこれらの方法は、スライスヘッダに存在する新たなview_idを考慮するために変更される。表1は、本発明の原理の実施の形態に係るスライスヘッダのシンタックスを例示する。
【表1】
【0048】
MPEG−4AVC標準におけるデコードされたリファレンスピクチャのマーキングの第一の方法について、同じframe_num/POC値をもち、異なるview_id値をもつピクチャが存在するとき、デフォルトの振る舞いが特定される。本発明の原理に従う係るデフォルトの振る舞いの1つの実施の形態は、現在のデコードされたピクチャと同じview_idをもつピクチャにMMCOコマンドを適用する。
【0049】
MPEG−4AVC標準におけるデコードされたリファレンスピクチャのマーキングの第二の方法について、本発明の原理に係る様々な実施の形態が提供され、ここで、新たなMMCO(Memory Management Control Operation)コマンドを導入し、及び/又は、マークされる必要があるピクチャのview_idを考慮するためにMPEG−4AVC標準における既存のMMCOコマンドを変更する。(memory_management_control_operationが1に等しいとき)既存のMMCOを再定義する1実施の形態は、以下を含む。
【数5】
ここでpicNumX, CurrPicNum, difference_of_pic_nums_minus1は、現在のMPEG−4AVC標準で定義されたものであり、viewIdXは、MMCOコマンドを使用してマークされるべきピクチャのveiewIdであり、CurrViewIdは、現在のデコードされたピクチャのviewIdであり、difference_of_view_ids_minus1は、現在のviewIdとMMCOコマンドを使用してマークされるピクチャのviewIdとの間の差である。
【0050】
さらに、スライディングウィンドウのデコードされたリファレンスピクチャのマーキングプロセスのデフォルトの振る舞いについて、現在のピクチャと同じview_idをもつピクチャのみが「リファレンスのために不使用」としてマークされるように考慮される。
【0051】
図3を参照して、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを符号化する例示的な方法は、参照符号300により全般的に示され、この方法は、ビューファーストコーディングを使用する。
【0052】
本方法300は、機能ブロック310に制御を移す開始ブロック305を含む。機能ブロック310は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック315に移す。機能ブロック315は、ビューの番号をNとし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック320に移す。判定ブロック320は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック325に移す。さもなければ、制御を終了ブロック399に移す。
【0053】
判定ブロック325は、jがビューiにおけるピクチャナンバー未満であるか否かを判定する。ピクチャナンバー未満である場合、制御を機能ブロック330に移す。さもなければ、制御を機能ブロック350に移す。
【0054】
機能ブロック330は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を判定ブロック335に移す。判定ブロック335は、MMCO(Memory Management Control Operation)コマンドが現在のピクチャと関連されるか否かを判定する。関連する場合、制御を機能ブロック340に移す。さもなければ、制御を機能ブロック355に移す。
【0055】
機能ブロック340は、difference_of_pic_nums_minus1及びdifference_of_view_ids_minus1を計算し、ピクチャ及び「リファレンスのために不使用」としてマークされるべきリファレンスピクチャのview_idを判定し、制御を機能ブロック345に移す。機能ブロック345は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を機能ブロック360に移す。機能ブロック360は、現在のview_idについてframe_numとピクチャオーダカウント(POC)を変え、制御を機能ブロック325に移す。
【0056】
機能ブロック350は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック320に移す。
【0057】
機能ブロック355は、スライディングウィンドウによるリファレンスピクチャのマーキングについて、MPEG−4AVCプロセスによる使用のため、「リファレンスのために不使用」としてマークされるべき現在のピクチャのview_idに等しいview_idをもつピクチャを選択し、制御を機能ブロック355に移す。
【0058】
図4を参照して、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する例示的な方法は、参照符号400により全般的に示される。
【0059】
本方法400は、開始ブロック405を含み、この開始ブロックは、制御を機能ブロック410に移す。機能ブロック410は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック415に移す。機能ブロック415は、現在のピクチャをデコードし、制御を判定ブロック420に移す。判定ブロック420は、MMCO(Memory Management Control Operation)コマンドが存在するか否かを判定する。MMCOコマンドが存在する場合、制御を機能ブロック425に移す。さもなければ、制御を機能ブロック440に移す。
【0060】
機能ブロック425は、difference_of_pic_nums_minus1及びdifference_of_view_ids_minus1を分析し、ピクチャ及び、「リファレンスのために不使用」であるリファレンスピクチャのview_idを判定し、制御を機能ブロック430に移す。機能ブロック430は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を判定ブロック435に移す。判定ブロック435は、全てのピクチャがデコードされたかを否かを判定する。デコードされた場合、制御を終了ブロック499に移す。さもなければ、制御を機能ブロック410に移す。
【0061】
機能ブロック440は、スライディングウィンドウによるデコードされたリファレンスピクチャのマーキングについて、MPEG−4AVCプロセスとの使用のため、「リファレンスのために不使用」としてマークされる現在のピクチャのview_idに等しいview_idをもつピクチャを選択し、制御を機能ブロック430に移す。
【0062】
図15を参照して、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを符号化する例示的な方法は、参照符号1500により全般的に示される。
【0063】
方法1500は、開始ブロック1505を含み、この開始ブロックは、制御を機能ブロック1510に移す。機能ブロック1510は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック1515に移す。機能ブロック1515は、ビューの番号をNとし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック1520に移す。判定ブロック1520は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック1525に移す。さもなければ、制御を終了ブロック1599に移す。
【0064】
判定ブロック1525は、jがビューiにおけるピクチャナンバー未満であるか否かを判定する。ピクチャナンバー未満である場合、制御を機能ブロック1530に移す。さもなければ、制御を機能ブロック1550に移す。
【0065】
機能ブロック1530は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を判定ブロック1535に移す。判定ブロック1535は、MMCO(Memory Management Control Operation)コマンドが現在のピクチャと関連されるか否かを判定する。関連する場合、制御を機能ブロック1540に移す。さもなければ、制御を機能ブロック1555に移す。
【0066】
機能ブロック1540は、現在のピクチャのview_idに等しいview_idをもつピクチャに関してのみ、関連されるMMCOコマンドを実行し、制御を機能ブロック1545に移す。機能ブロック1545は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を機能ブロック1560に移す。機能ブロック1560は、現在のview_idについてframe_numとピクチャオーダカウント(POC)を変え、機能ブロック1525に制御を移す。
【0067】
機能ブロック1550は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック1520に移す。
【0068】
機能ブロック1555は、スライディングウィンドウによるリファレンスピクチャのマーキングについて、MPEG−4AVCプロセスによる使用のため、「リファレンスのために不使用」としてマークされるべき現在のピクチャのview_idに等しいview_idをもつピクチャを選択し、制御を機能ブロック1555に移す。
【0069】
図16を参照して、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する例示的な方法は、参照符号1600により全般的に示される。
【0070】
本方法1600は、開始ブロック1605を含み、この開始ブロックは、制御を機能ブロック1610に移す。機能ブロック1610は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック1615に移す。機能ブロック1615は、現在のピクチャをデコードし、制御を判定ブロック1620に移す。判定ブロック1620は、MMCO(Memory Management Control Operation)コマンドが存在するか否かを判定する。MMCOコマンドが存在する場合、制御を機能ブロック1625に移す。さもなければ、制御を機能ブロック440に移す。
【0071】
機能ブロック1625は、MMCO(Memory Management Control Operation)コマンドを分析し、現在のピクチャのview_idに等しいview_idをもつピクチャに関してのみ、MMCOコマンドを実行し、制御を機能ブロック1630に移す。機能ブロック1630は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を判定ブロック1635に移す。判定ブロック1635は、全てのピクチャがデコードされたかを否かを判定する。デコードされている場合、制御を終了ブロック1699に移す。さもなければ、制御を機能ブロック1610に移す。
【0072】
機能ブロック1640は、スライディングウィンドウによるデコードされたリファレンスピクチャのマーキングについて、MPEG−4AVCプロセスとの使用のため、「リファレンスのために不使用」としてマークされる現在のピクチャのview_idに等しいview_idをもつピクチャを選択し、制御を機能ブロック1630に移す。
【0073】
[リファレンスピクチャリストの構築]
本発明の原理に係る実施の形態によれば、view_idをデコードされたリファレンスピクチャと関連付けする。したがって、実施の形態では、view_idを含むために、リファレンスピクチャのために初期化プロセスを再定義し、リファレンスピクチャリスト向けにリオーダリングプロセスを再定義する。
【0074】
MPEG−4AVC標準は、P及びBスライスのためにリファレンスリストを初期化するデフォルトプロセスを規定する。デフォルトプロセスは、ビットストリームに存在する特別のRPLR(Reference Picture List Reordering)コマンドにより変更することができる。
【0075】
このリファレンスピクチャのデフォルトのオーダリング及びリオーダリングは、frame_num及びピクチャオーダカウント値に基づく。しかし、同じframe_num/POC値をもつピクチャがデコードされたピクチャバッファ(DPB)に存在するのを可能にするので、view_idを使用して、同じframe_num/POC値間で区別する必要がある。実施の形態では、リファレンスピクチャリストを設定するために1以上のこれらのプロセスが変化される。P及びBスライスについてリファレンスリストを初期化するデフォルトの初期化プロセスの1実施の形態は、リファレンスリストにおけるテンポラルリファレンスピクチャのみを許容し、現在のピクチャのview_idとは異なるview_idをもつ全てのピクチャを無視することを含む。テンポラルリファレンスピクチャは、MPEG−4AVC標準で規定される同じデフォルトの初期化プロセスに従う。別の実施の形態は、最も接近したview_idがリストにおいて先に配置されるように、クロスビューリファレンスのみをリストに配置することを含む。別の実施の形態は、はじめに、テンポラルリファレンスを使用してリファレンスリストを初期化し、次いで、たとえば構築中のリファレンスリストの終わりといった所定の固定された位置にクロスビューリファレンスフレームを配置することを含む。
【0076】
リストを再び順序付けるリファレンスピクチャリストのリオーダリングコマンドについて、実施の形態では、新たなコマンドが導入されるか、及び/又は、既存のコマンドのセマンティクスは、移動される必要があるピクチャのview_idを考慮するために変更される。
【0077】
実施の形態では、以下のように、MPEG−4AVC標準で規定されるリファレンスピクチャリストのリオーダリングコマンドが変更されないままであるように、このプロセスで使用されるMPEG−4AVC標準の変数を再定義する。
【0078】
リファレンスリストのリオーダリングに関するMPEG−4AVC標準の変数を再定義する1実施の形態が以下に示される。この実施の形態では、以下が適用される。
【数6】
【0079】
変数CurrPicNumは、以下のように導出される。field_pic_flagが0に等しい場合、CurrPicNumは、frame_num*N+view_idに等しく設定され、さもなければ、field_pic_flagが1に等しい場合、CurrPicNumは、2*(frame_num*N+view_id)+1に等しく設定される。
【0080】
MPEG−4AVC標準におけるスライスのピクチャオーダカウントは、以下のように定義される。
【数7】
【0081】
マルチビュービデオのコーディングスライスについて、ピクチャオーダカウントは、リファレンスピクチャリストの構築のための復号化プロセス及びデコードされたリファレンスピクチャのマーキングプロセスのため、以下のように導出される。
【数8】
ここでNはビューの数を示す。ビューの数は、ビットストリームにおけるハイレベルシンタックスを使用して示され、バンド内又はバンド外で伝達することができる。1実施の形態は、これをMPEG−4AVC標準のパラメータセット(たとえば、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、又はVPS(View Parameter Set))に含むことである。
【0082】
リファレンスリストのリオーダリングに関するMPEG−4AVC標準の変数を再定義する別の実施の形態は、以下に示される。この実施の形態では、以下が適用される。
【数9】
【0083】
マルチビュービデオコーディングのスライスについて、ピクチャオーダカウントは、リファレンスピクチャリストの構築のための復号化プロセス及びデコードされたリファレンスピクチャのマーキングプロセスについて、以下のように導出される。
【数10】
【0084】
GOP_lengthは、アンカーピクチャと、それぞれのビューについてアンカーピクチャと前のアンカーピクチャの間に一時的に位置される全てのピクチャとして定義される。
【0085】
別の実施の形態では、現在のビューと同じview_idを有するピクチャのみが適用されるように、既存のRPLRコマンドのセマンティクスを変化させる。
【0086】
図5を参照して、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを符号化する例示的な方法は、参照符号500により全般的に示される。本方法500は、開始ブロック505を含み、この開始ブロックは、機能ブロック510に制御を移す。機能ブロック510は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック515に移す。機能ブロック515は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック520に移す。判定ブロック520は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック525に移す。さもなければ、制御を終了ブロック599に移す。
【0087】
判定ブロック525は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック530に移す。さもなければ、制御を機能ブロック545に移す。
【0088】
機能ブロック530は、インターピクチャについて、リファレンスリストの初期化について、MPEG−4AVCプロセッサによる使用のため、現在のピクチャのview_idに等しいview_idをもつピクチャのみを含み、制御を機能ブロック532に移す。機能ブロック532は、リファレンスリストを再び順序付けし、制御を機能ブロック535に移す。機能ブロック535は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を判定ブロック540に移す。機能ブロック540は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック525に移す。
【0089】
機能ブロック545は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック520に移す。
【0090】
図6を参照して、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法は、参照符号600により全般的に示される。
【0091】
本方法600は、開始ブロック605を含み、この開始ブロックは、機能ブロック610に制御を移す。機能ブロック610は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック615に移す。機能ブロック615は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック620に移す。判定ブロック620は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック625に移す。さもなければ、制御を終了ブロック699に移す。
【0092】
判定ブロック625は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック630に移す。さもなければ、制御を機能ブロック645に移す。
【0093】
機能ブロック630は、インターピクチャについて、最も接近したview_idがリストにおいて先に配置されるように、現在のピクチャと同じ時間でサンプリングされ、オーダリングされる、現在のピクチャのview_idとは異なるview_idをもつピクチャのみをもつリファレンスリストを初期化し、制御を機能ブロック632に移す。機能ブロック632は、リファレンスリストを再び順序付けし、制御を機能ブロック635に移す。機能ブロック635は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を判定ブロック640に移す。機能ブロック640は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック625に移す。
【0094】
機能ブロック645は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック620に移す。
【0095】
図7を参照して、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを符号化する更に別の例示的な方法は、参照符号700により全般的に示される。
【0096】
本方法700は、開始ブロック705を含み、この開始ブロックは、機能ブロック710に制御を移す。機能ブロック710は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック715に移す。機能ブロック715は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック720に移す。判定ブロック720は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック725に移す。さもなければ、制御を終了ブロック799に移す。
【0097】
判定ブロック725は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック730に移す。さもなければ、制御を機能ブロック745に移す。
【0098】
機能ブロック730は、リファレンスリストの初期化について、MPEG−4AVCプロセッサによる使用のため、現在のピクチャのview_idに等しいview_idをもつピクチャのみを含み、制御を機能ブロック732に移す。機能ブロック732は、現在のピクチャと同じ時間的な位置をもつクロスビューピクチャをリファレンスリストの終わりに挿入し、制御を機能ブロック735に移す。機能ブロック735は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を機能ブロック740に移す。機能ブロック740は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック725に移す。
【0099】
機能ブロック745は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック720に移す。
【0100】
図8を参照して、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する例示的な方法は、参照符号800により全般的に示される。本方法800は、開始ブロック805を含み、この開始ブロックは、機能ブロック810に制御を移す。機能ブロック810は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック815に移す。機能ブロック815は、リファレンスリストの初期化について、MPEG−4AVCプロセスによる使用のため、現在のピクチャのview_idに等しいview_idをもつピクチャのみを含み、制御を判定ブロック820に移す。判定ブロック820は、現在のピクチャをデコードして、制御を機能ブロック825に移す。機能ブロック825は、デコードされたピクチャバッファに現在のピクチャを挿入し、制御を判定ブロック830に移す。判定ブロック830は、全てのピクチャがデコードされたか否かを判定する。デコードされている場合、制御を終了ブロック899に移す。さもなければ、制御を機能ブロック810に移す。
【0101】
図9は、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法は、参照符号900により全般的に示される。本方法900は、開始ブロック905を含み、この開始ブロックは、制御を機能ブロック910に移す。機能ブロック910は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック915に移す。機能ブロック915は、最も接近したview_idがリストにおいて先に配置されるように、現在のピクチャと同じ時間でサンプリングされ、オーダリングされる、現在のピクチャのview_idとは異なるview_idをもつピクチャのみでリファレンスリストを初期化し、制御を判定ブロック920に移す。機能ブロック920は、現在のピクチャをデコードして、制御を機能ブロック925に移す。機能ブロック925は、デコードされたピクチャバッファ(DPB)に現在のピクチャを挿入し、制御を判定ブロック930に移す。判定ブロック930は、全てのピクチャがデコードされたか否かを判定する。デコードされた場合、制御を終了ブロック999に移す。さもなければ、制御を機能ブロック910に移す。
【0102】
図10を参照して、変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する更に別の例示的な方法は、参照符号1000により全般的に示される。本方法1000は、開始ブロック1005を含み、この開始ブロックは、制御を機能ブロック1010に移す。機能ブロック1010は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック1015に移す。機能ブロック1015は、リファレンスリストの初期化について、MPEG−4AVCプロセスによる使用のため、現在のピクチャのview_idに等しいview_idをもつピクチャのみを含み、制御を判定ブロック1020に移す。機能ブロック1020は、現在のピクチャと同じ時間的な位置をもつクロスビューピクチャをリファレンスリストの終わりに挿入し、制御を機能ブロック1025に移す。機能ブロック1025は、現在のピクチャをデコードされたピクチャバッファに挿入し、制御を判定ブロック1030に移す。判定ブロック1030は、全てのピクチャがデコードされたかを判定する。デコードされている場合、制御を終了ブロック1099に移す。さもなければ、制御を機能ブロック1010に移す。
【0103】
図17を参照して、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを符号化する例示的な方法は、参照符号1700により全般的に示される。
【0104】
本方法1700は、開始ブロック1705を含み、この開始ブロックは、機能ブロック1710に制御を移す。機能ブロック1710は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック1715に移す。機能ブロック1715は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック1720に移す。判定ブロック1720は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック1725に移す。さもなければ、制御を終了ブロック1799に移す。
【0105】
判定ブロック1725は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック1730に移す。さもなければ、制御を機能ブロック1745に移す。
【0106】
機能ブロック1730は、frame_num=frame_num*N+view_idを設定し、PicOrderCnt(picX)=PicOrderCnt(picX)*N+view_idを設定し、制御を機能ブロック1735に移す。機能ブロック1735は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を機能ブロック1740に移す。機能ブロック1740は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック1725に移す。
【0107】
機能ブロック1745は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック1720に移す。
【0108】
図18を参照して、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法は、参照符号1800により全般的に示される。
【0109】
本方法1800は、開始ブロック1805を含み、この開始ブロックは、制御を機能ブロック1810に移す。機能ブロック1810は、エンコーダのコンフィギュレーションファイルを読取る。機能ブロック1815は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック1820に移す。判定ブロック1820は、iがN未満であるか否かを判定する。N未満である場合、制御を判定ブロック1825に移す。さもなければ、制御を終了ブロック1899に移す。
【0110】
判定ブロック1825は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック1830に移す。さもなければ、制御を機能ブロック1845に移す。
【0111】
機能ブロック1830は、frame_num = GOP_length*view_id+frame_numを設定し、PicOrderCnt(picX) = PicOrderCnt(PicX) + GOP_length*view_idを設定し、制御を機能ブロック1835に移す。機能ブロック1835は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を機能ブロック1840に移す。機能ブロック1840は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック1825に移す。
【0112】
機能ブロック1845は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック1820に移す。
【0113】
図19を参照して、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを復号化する例示的な方法は、参照符号1900により全般的に示される。
【0114】
本方法1900は、開始ブロック1905を含み、この開始ブロックは、制御を機能ブロック1910に移す。機能ブロック1910は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック1915に移す。機能ブロック1915は、frame_num=frame_num*N+view_idを設定し、PicOrderCnt(picX) = PicOrderCnt(picX)*N + view_idを設定し、制御を機能ブロック1920に移す。機能ブロック1920は、現在のピクチャをデコードし、制御を機能ブロック1925に移す。機能ブロック1925は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を判定ブロック1930に移す。判定ブロック1930は、全てのピクチャがデコードされたかを判定する。デコードされている場合、制御を終了ブロック1999に移す。さもなければ、制御を機能ブロック1910に移す。
【0115】
図20を参照して、変更されたリファレンスピクチャリストの構築及びフレームナンバーの計算を使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法は、参照符号2000により全般的に示される。本方法2000は、開始ブロック2005を含み、この開始ブロックは、制御を機能ブロック2010に移す。機能ブロック2010は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック2015に移す。機能ブロック2015は、frame_num = GOP_length*view_id_frame_numを設定し、PicOrderCnt(picX) = PicOrderCnt(picX) + GOP_length*view_idを設定し、制御を機能ブロック2020に移す。機能ブロック2020は、現在のピクチャをデコードし、制御を機能ブロック2025に移す。機能ブロック2025は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を判定ブロック2030に移す。判定ブロック2030は、全てのピクチャがデコードされたかを判定する。デコードされている場合、制御を終了ブロック2099に移す。さもなければ、制御を機能ブロック2010に移す。
【0116】
図21を参照して、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの初期化を使用した、マルチビュービデオコンテンツを符号化する例示的な方法は、参照符号2100により全般的に示される。
【0117】
本方法2100は、開始ブロック2105を含み、この開始ブロックは、制御を機能ブロック2110に移す。機能ブロック2110は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック2115に移す。機能ブロック2115は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック2120に移す。判定ブロック2120は、iがN未満であるか否かを判定する。N未満である場合、制御を機能ブロック2125に移す。さもなければ、制御を終了ブロック2199に移す。
【0118】
機能ブロック2125は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック2130に移す。さもなければ、制御を機能ブロック2145に移す。
【0119】
機能ブロック2130は、インターピクチャについて、デフォルトリファレンスリストの初期化を実行し、制御を機能ブロック2132に移す。機能ブロック2132は、エンコーダのコンフィギュレーションファイルからRPLRコマンドを読取り、制御を機能ブロック2134に移す。機能ブロック2134は、現在のピクチャのview_idに等しいview_idをもつピクチャに関してのみRPLRコマンドを実行し、制御を機能ブロック2135に移す。機能ブロック2135は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を機能ブロック2140に移す。機能ブロック2140は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック2130に移す。
【0120】
機能ブロック2145は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック2120に移す。
【0121】
図22を参照して、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの初期化を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法は、参照符号2200により全般的に示される。
【0122】
本方法2200は、開始ブロック2205を含み、この開始ブロックは、制御を機能ブロック2210に移す。機能ブロック2210は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック2215に移す。機能ブロック2215は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック2220に移す。判定ブロック2220は、iがN未満であるか否かを判定する。N未満である場合、制御を機能ブロック2225に移す。さもなければ、制御を終了ブロック2299に移す。
【0123】
機能ブロック2225は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を機能ブロック2230に移す。さもなければ、制御を機能ブロック2245に移す。
【0124】
機能ブロック2230は、インターピクチャについて、デフォルトのリファレンスリストの初期化を実行し、制御を機能ブロック2232に移す。機能ブロック2232は、エンコーダのコンフィギュレーションファイルからRPLRコマンドを読取り、制御を機能ブロック2234に移す。機能ブロック2234は、RPLRコマンドで示されるview_idで規定されるピクチャにRPLRコマンドを実行し、制御を機能ブロック2235に移す。機能ブロック2235は、ビューiにおけるピクチャjを符号化し、jをインクリメントし、制御を機能ブロック2240に移す。機能ブロック2240は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック2230に移す。
【0125】
機能ブロック2245は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック2220に移す。
【0126】
図23を参照して、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する例示的な方法は、参照符号2300により全般的に示される。
【0127】
本方法2300は、開始ブロック2305を含み、この開始ブロックは、制御を機能ブロック2310に移す。機能ブロック2310は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック2315に移す。機能ブロック2315は、リファレンスリストの初期化について、MPEG−4AVCプロセスによる使用のため、現在のピクチャのview_idに等しいview_idをもつピクチャのみを含み、制御を機能ブロック2317に移す。機能ブロック2317は、RPLRコマンドを読取り、制御を機能ブロック2319に移す。機能ブロック2319は、現在のピクチャのview_idに等しいview_idをもつピクチャに関してのみRPLRコマンドを実行し、制御を機能ブロック2320に移す。機能ブロック2320は、現在のピクチャをデコードし、制御を機能ブロック2325に移す。機能ブロック2325は、現在のピクチャをデコードされたピクチャバッファ(DPB)に挿入し、制御を判定ブロック2330に移す。判定ブロック2330は、全てのピクチャがデコードされたかを判定する。デコードされた場合、制御を終了ブロック2399に移す。さもなければ、制御を機能ブロック2310に移す。
【0128】
図24を参照して、RPLR(Reference Picture List Reordering)コマンドによる変更されたリファレンスピクチャリストの構築を使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法は、参照符号2400により全般的に示される。
【0129】
本方法2400は、開始ブロック2405を含み、この開始ブロックは、制御を機能ブロック2410に移す。機能ブロック2410は、ビットストリーム、view_id、frame_num、及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック2415に移す。機能ブロック2415は、リファレンスリストの初期化について、MPEG−4AVCプロセスによる使用のため、現在のピクチャのview_idに等しいview_idをもつピクチャのみを含み、制御を機能ブロック2417に移す。機能ブロック2417は、RPLRコマンドを読取り、制御を機能ブロック2419に移す。機能ブロック2419は、現在のピクチャのview_idに等しいview_idをもつピクチャに関してのみRPLRコマンドを実行し、制御を機能ブロック2420に移す。機能ブロック2420は、現在のピクチャをデコードし、制御を機能ブロック2425に移す。機能ブロック2425は、現在のピクチャをデコードされたピクチャバッファに挿入し、制御を判定ブロック2430に移す。判定ブロック2430は、全てのピクチャがデコードされたかを判定する。デコードされている場合、制御を終了ブロック2499に移す。さもなければ、制御を機能ブロック2410に移す。
【0130】
[テンポラルダイレクトモード]
上述されたように、テンポラルダイレクトモードは、ピクチャオーダカウント情報を使用し、所与のマクロブロックについて動きベクトルを導出する。frame_num及び/又はピクチャオーダカウント値を分離し、マルチビューのビデオコンテンツのそれぞれのビューについてview_idを導出し、デコーダピクチャバッファ及びリファレンスリストにおいてクロスビューピクチャを配置することが可能であるので、実施の形態では、クロスビューピクチャが現在のビューとは異なるビューからのピクチャを参照するケースを扱うため、このモードをリファインする。
【0131】
テンポラルダイレクトモードでは、以下の例示的なケースを有する。

(1)ref list 1におけるピクチャ及びref list 0におけるピクチャは、異なるPOC及び同じview_idを有する。
(2)ref list 1におけるピクチャ及びref list 0におけるピクチャは、異なるPOC及び異なるview_idを有する。
(3)ref list 1におけるピクチャ及びref list 0におけるピクチャは、同じPOC及び異なるview_idを有する。
(4)ref list 1におけるピクチャ及びref list 0におけるピクチャは、同じPOC及び同じview_idを有する。
【0132】
テンポラルダイレクトモードにおいて動きベクトルを取得する1実施の形態は、ビットストリームに存在するview_id情報をシンプルに無視する既存のMPEG−4AVC方法を使用することである。別の実施の形態では、ピクチャオーダカウント情報と共にview_idを考慮するため、テンポラルダイレクトモードをリファインする。
【0133】
[暗黙の重み予測]
テンポラルダイレクトモードと同様に、(上述された)暗黙の重み付け予測は、ピクチャオーダカウント値を使用して、リファレンスピクチャに与えられる重みを決定する。結果として、実施の形態では、テンポラルダイレクトモードに適用される全ての変形は、暗黙の重み付けされた予測モードを間接的に固定する。別の実施の形態では、暗黙の重み付けされた予測モードにおける重みを取得する方法は、ピクチャオーダカウント情報と共にview_id情報を考慮するために再定義される。たとえば、上述のようにview_id情報とビューの数を考慮することで、ピクチャオーダカウントを計算し、その後、必要とされる値を取得して暗黙の重み付け予測を実行するため、ピクチャオーダカウント間の差を取る場合がある。
【0134】
図11を参照して、テンポラルダイレクトモード及び暗黙の重み付けされた予測を使用した、マルチビュービデオコンテンツを符号化する例示的な方法は、参照符号1100により全般的に示される。
【0135】
本方法1100は、開始ブロック1105を含み、この開始ブロックは、制御を機能ブロック1110に移す。機能ブロック1110は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック1115に移す。機能ブロック1115は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック1120に移す。判定ブロック1120は、iがN未満であるか否かを判定する。N未満である場合、制御を機能ブロック1125に移す。さもなければ、制御を終了ブロック1199に移す。
【0136】
機能ブロック1125は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を判定ブロック1132に移す。さもなければ、制御を機能ブロック1145に移す。
【0137】
判定ブロック1132は、重み付け予測が現在のスライスについてイネーブルにされたか否かを判定する。イネーブルにされた場合、制御を機能ブロック1134に移す。さもなければ、制御を機能ブロック1136に移す。
【0138】
機能ブロック1134は、重み付け予測についてview_idを無視し、制御を機能ブロック1136に移す。
【0139】
機能ブロック1136は、現在のマクロブックの符号化を開始し、制御を判定ブロック1138に移す。判定ブロック1138は、マクロブロックについてダイレクトモードを選択するか否かを判定する。ダイレクトモードを選択する場合、制御を機能ブロック1142に移す。さもなければ、制御を機能ブロック1152に移す。機能ブロック1142は、ダイレクトモードについてview_idを無視し、制御を機能ブロック1152に移す。機能ブロック1152は、現在のマクロブロックを符号化し、制御を判定ブロック1154に移す。判定ブロック1154は、全てのマクロブロックがエンコードされたか否かを判定する。エンコードされた場合、制御を機能ブロック1156に移す。さもなければ、制御を機能ブロック1136に戻す。
【0140】
機能ブロック1156は、変数jをインクリメントし、制御を機能ブロック1140に移す。機能ブロック1140は、frame_num及びピクチャオーダカウント(POC)をインクリメントし、制御を判定ブロック1125に移す。
【0141】
機能ブロック1145は、iをインクリメントし、frame_num及びピクチャオーダカウント(POC)をリセットし、制御を判定ブロック1120に移す。
【0142】
図12を参照して、テンポラルダイレクトモード及び暗黙の重み付け予測を使用した、マルチビュービデオコンテンツを符号化する別の例示的な方法は、参照符号1200により全般的に示される。
【0143】
本方法100は、開始ブロック1205を含み、この開始ブロックは、制御を機能ブロック1210に移す。機能ブロック1210は、エンコーダのコンフィギュレーションファイルを読取り、制御を機能ブロック1215に移す。機能ブロック1215は、ビューの番号を変数Nに等しくし、変数i(ビューナンバーインデックス)及びj(ピクチャナンバーインデックス)の両者をゼロに等しく設定し、制御を判定ブロック1220に移す。判定ブロック1220は、iがN未満であるか否かを判定する。N未満である場合、制御を機能ブロック1225に移す。さもなければ、制御を終了ブロック1299に移す。
【0144】
機能ブロック1225は、jがビューiにおけるピクチャの数未満であるか否かを判定する。ピクチャの数未満である場合、制御を判定ブロック1232に移す。さもなければ、制御を機能ブロック1245に移す。
【0145】
判定ブロック1232は、重み付け予測が現在のスライスについてイネーブルにされたか否かを判定する。イネーブルにされた場合、制御を機能ブロック1234に移す。さもなければ、制御を機能ブロック1236に移す。
【0146】
機能ブロック1234は、重み付け予測についてview_idを無視し、制御を機能ブロック1236に移す。
【0147】
機能ブロック1236は、現在のマクロブックの符号化を開始し、制御を判定ブロック1238に移す。判定ブロック1238は、マクロブロックについてダイレクトモードを選択するか否かを判定する。ダイレクトモードを選択する場合、制御を機能ブロック1242に移す。さもなければ、制御を機能ブロック1252に移す。機能ブロック1242は、ダイレクトモードについてview_idを無視し、制御を機能ブロック1252に移す。
【0148】
機能ブロック1252は、現在のマクロブロックを符号化し、制御を判定ブロック1254に移す。判定ブロック1254は、全てのマクロブロックがエンコードされたか否かを判定する。エンコードされた場合、制御を機能ブロック1256に移す。さもなければ、制御を機能ブロック1236に戻す。
【0149】
機能ブロック1256は、変数jをインクリメントし、制御を機能ブロック1240に移す。機能ブロック1240は、frame_num及びピクチャオーダカウントをインクリメントし、制御を判定ブロック1225に移す。
【0150】
機能ブロック1245は、iをインクリメントし、frame_num及びピクチャオーダカウントをリセットし、制御を判定ブロック1220に移す。
【0151】
図13を参照して、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する例示的な方法は、参照符号1300により全般的に示される。
【0152】
本方法1300は、開始ブロック1305を含み、この開始ブロックは、制御を機能ブロック1310に移す。機能ブロック1310は、ビットストリーム、view_id、frame_num及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック1315に移す。機能ブロック1315は、マクロブロックモード、動きベクトル、ref_idxを分析し、制御を判定ブロック1320に移す。判定ブロック1320は、重み付け予測がピクチャについてイネーブルにされたか否かを判定する。イネーブルにされた場合、制御を機能ブロック1325に移す。さもなければ、制御を判定ブロック1330に移す。
【0153】
機能ブロック1325は、重み付け予測についてview_id情報を無視し、制御を判定ブロック1330に移す。
【0154】
判定ブロック1330は、マクロブロックがダイレクトモードのマクロブロックであるか否かを判定する。ダイレクトモードのマクロブックである場合、制御を機能ブロック1355に移す。さもなければ、制御を機能ブロック1335に移す。
【0155】
機能ブロック1355は、ダイレクトモードについてview_id情報を無視し、制御を機能ブロック1335に移す。
【0156】
機能ブロック1335は、現在のマクロブロックをデコードし、制御を判定ブロック1340に移す。判定ブロック1340は、全てのマクロブロックがデコードされたか否かを判定する。デコードされた場合、制御を機能ブロック1345に移す。さもなければ、制御を機能ブロック1315に戻す。
【0157】
機能ブロック1345は、現在のピクチャをデコードされたピクチャのバッファに挿入し、制御を判定ブロック1350に移す。判定ブロック1350は、全てのピクチャがデコードされているか否かを判定する。デコードされている場合、制御を終了ブロック1399に移す。さもなければ、制御を機能ブロック1310に戻す。
【0158】
図14を参照して、変更されたデコードされたリファレンスピクチャのマーキングを使用した、マルチビュービデオコンテンツを復号化する別の例示的な方法は、参照符号1400により全般的に示される。
【0159】
本方法1400は、開始ブロック1405を含み、この開始ブロックは、制御を機能ブロック1410に移す。機能ブロック1410は、ビットストリーム、view_id、frame_num及びピクチャオーダカウント(POC)を分析し、制御を機能ブロック1415に移す。機能ブロック1415は、マクロブロックモード、動きベクトル、ref_idxを分析し、制御を判定ブロック1420に移す。判定ブロック1420は、重み付け予測がピクチャについてイネーブルにされたか否かを判定する。イネーブルにされた場合、制御を機能ブロック1425に移す。さもなければ、制御を判定ブロック1430に移す。
【0160】
機能ブロック1425は、重み付け予測についてview_id情報を無視し、制御を判定ブロック1430に移す。
【0161】
判定ブロック1430は、マクロブロックがダイレクトモードのマクロブロックであるか否かを判定する。ダイレクトモードのマクロブックである場合、制御を機能ブロック1455に移す。さもなければ、制御を機能ブロック1435に移す。
【0162】
機能ブロック1455は、ダイレクトモードについてview_id情報を考慮し、制御を機能ブロック1435に移す。
【0163】
機能ブロック1435は、現在のマクロブロックをデコードし、制御を判定ブロック1440に移す。判定ブロック1440は、全てのマクロブロックがデコードされたか否かを判定する。デコードされた場合、制御を機能ブロック1445に移す。さもなければ、制御を機能ブロック1415に戻す。
【0164】
機能ブロック1445は、現在のピクチャをデコードされたピクチャのバッファに挿入し、制御を判定ブロック1450に移す。判定ブロック1450は、全てのピクチャがデコードされているか否かを判定する。デコードされている場合、制御を終了ブロック1499に移す。さもなければ、制御を機能ブロック1410に戻す。
【0165】
[MVCの並列符号化]
マルチビュービデオコンテンツ系列の処理に含まれるデータ量のため、マルチビュービデオコーディングにおける並列の符号化/復号化のサポートは、多くの用途、特にリアルタイムの制約にとって非常に重要である。マルチビュービデオコーディングの現在のMPEG−4AVCに準拠した実現では、クロスビュー予測がイネーブルにされるが、クロスビューリファレンスからテンポラルリファレンスを区別する手段がない。View_idサポートをマルチビュービデオコーディングのエンコーダ及び/又はデコーダに追加し、本実施の形態で提案したデコードされたリファレンスピクチャのマネージメントの構築及びリファレンスリストの構築にview_idを含めることで、並列処理のエンジン間のデータ依存性が明らかに定義され、これにより、MVCコーデックについて並列の実現が容易となる。
【0166】
ここで、先に本発明の多くの付随する利点/特徴の幾つかに関する説明が与えられ、そのうちの幾つかは先に記載された。たとえば、1つの利点/特徴は、ビットストリームから、ビューのマルチビュービデオコンテンツの少なくとも2つのうちの少なくとも1つに対応する少なくとも1つのピクチャを復号化するデコーダを含む装置であり、ビットストリームでは、少なくとも1つのピクチャの符号化順序情報及び出力順序情報のうちの少なくとも1つは、少なくとも1つのピクチャが対応する少なくとも1つのビューから分離される。
【0167】
別の利点/特徴は、上述されたデコーダを有する装置であり、デコーダは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する少なくとも1つの既存のシンタックスエレメント(frame_num及びpic_order_cnt_lsb)を使用した、少なくとも1つのピクチャの符号化順序情報と出力順序情報のうちの少なくとも1つを分離の存在を判定する。
【0168】
更に別の利点/特徴は、上述されたようなデコーダを有する装置であり、デコーダは、ビュー識別子を使用して、少なくとも1つのピクチャの符号化順序情報と出力順序情報の少なくとも1つの分離の存在を判定する。
【0169】
更に別の利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、ビュー識別子は、ビットストリームにおけるスライスレベルに存在する。
【0170】
更なる利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、ビュー識別子は、ビットストリームにおけるマクロブロックレベルよりも高いレベルに存在する。
【0171】
さらに、別の利点/特徴は、上述されたように、マクロブロックのレベルよりも上位のレベルにあるビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、デコードされたリファレンスピクチャのマーキングプロセスによる使用のため、ビットストリームからのビュー識別子を分析する。
【0172】
さらに、別の利点/特徴は、上述されたように、ビットストリームからのビュー識別子を分析するデコーダを有する装置であって、デコーダは、少なくとも2つのビューのどちらに、デコードされたリファレンスピクチャのマーキングプロセスによりマークされるべき特定のピクチャが属するかを判定するため、ビットストリームからのビュー識別子を分析する。
【0173】
また、別の利点/特徴は、上述されたように、マクロブロックのレベルよりも上位のレベルにあるビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であって、デコーダは、再定義されたデコードされたリファレンスピクチャのマーキングプロセスにおいてビュー識別子の使用をサポートするため、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する再定義されたデコードされたリファレンスピクチャのマーキングプロセスでの使用向けに再定義される少なくとも1つの既存のシンタックスエレメントのセマンティクスをもつ、少なくとも1つの既存のシンタックスエレメント(no_output_of_prior_pics_flag, long_term_reference_flag, adaptive_ref_pic_marking_mode_flag, memory_management_control_operation, difference_of_pic_nums_minus1, long_term_pic_num, long_term_frame_idx, max_long_term_frame_idx_plus1)を使用する。
【0174】
さらに、別の利点/特徴は、上述されたように、少なくとも1つの既存のシンタックスエレメントを使用するデコーダを有する装置であり、再定義されたデコードされたリファレンスピクチャのマーキングプロセスでは、現在のデコードされたピクチャと同じビュー識別子をもつピクチャのみがマークされる。
【0175】
さらに、別の利点/特徴は、上述されたように、少なくとも1つの既存のシンタックスエレメントを使用するデコーダを有する装置であり、スライディングウィンドウのデコードされたリファレンスピクチャのマーキングプロセス及び適応メモリ制御によるデコードされたリファレンスピクチャのマーキングプロセスの少なくとも1つが適用される。
【0176】
さらに、別の利点/特徴は、上述されたように、少なくとも1つの既存のシンタックスエレメントを使用するデコーダを有する装置であり、再定義されたデコードされたリファレンスピクチャのマーキングプロセスでは、少なくとも1つのピクチャとは異なるビュー識別子を有するピクチャは、以前に使用されていないシンタックスエレメント(difference_of_view_ids_minus1)を使用してマークされる。
【0177】
また、別の利点/特徴は、上述されたように、マクロブロックのレベルよりも上位のレベルにあるビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、デフォルトのリファレンスピクチャリストの構築について、ビットストリームからのビュー識別子を分析する。
【0178】
さらに、別の利点/特徴は、上述されたように、ビットストリームからのビュー識別子を分析するデコーダを有する装置であり、インタービューリファレンスピクチャは、リファレンスピクチャリストの構築のために少なくとも1つの既存のシンタックスエレメント(frame_num及びpic_order_cnt_lsb)に従って、リファレンスピクチャリストの構築に対応するデフォルトのリファレンスピクチャリストの作成プロセスのために、リファレンスリストに追加されるのを禁止される。
【0179】
さらに、別の利点/特徴は、上述されたように、ビットストリームからのビュー識別子を分析するデコーダを有する装置であり、インタービューリファレンスピクチャのみが、デフォルトのリファレンスピクチャリストの構築のための少なくとも1つの既存のシンタックスエレメント(frame_num及びpic_order_cnt_lsb)に従って、リファレンスピクチャリストの構築に対応するデフォルトのリファレンスピクチャリストの作成プロセスのためにリファレンスリストに追加される。
【0180】
さらに、別の利点/特徴は、デコーダを有する装置であり、インタービューリファレンスピクチャのみが、上述されたように、デフォルトのリファレンスピクチャリストの作成プロセスについてリファレンスリストに追加され、インタービューリファレンスピクチャは、テンポラルリファレンスの後に追加される。
【0181】
また、別の利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、再定義されたリファレンスピクチャリストのリオーダリングプロセスにおけるビュー識別子の使用をサポートするため、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する再定義されたリファレンスピクチャリストのリオーダリングプロセスにおける使用向けに定義される、少なくとも1つの既存のシンタックスエレメント(ref_pic_list_reordering_flag_l0, reordering_of_pic_nums_idc, abs_diff_pic_num_minus1, long_term_pic_num, ref_pic_list_reordering_flag_l1, reordering_of_pic_nums_idc, abs_diff_pic_num_minus1, long_term_pic_num)を使用する。
【0182】
さらに、別の利点/特徴は、上述されたように、少なくとも1つの既存のシンタックスエレメントを使用するデコーダを有する装置であり、再定義されたリファレンスピクチャリストのリオーダリングプロセスでは、現在デコードされたピクチャと同じビュー識別子をもつピクチャのみが再び順序付けされる。
【0183】
さらに、別の利点/特徴は、デコーダを有する装置であり、再定義されたリファレンスピクチャリストのリオーダリングプロセスにおいて、上述されたように、現在デコードされたピクチャと同じビュー識別子をもつピクチャのみが再び順序付けされる。再定義されたリファレンスピクチャリストのリオーダリングプロセスにおいて、ビュー識別子は、少なくとも2つのビューのうちのどちらが、対応するリファレンスピクチャリストにおける現在のインデックスに移動されるべき特定のピクチャに対応するかを示す。
【0184】
さらに、別の利点/特徴は、デコーダを有する装置であって、上述されたように、再定義されたリファレンスピクチャリストのリオーダリングプロセスにおいて、現在デコードされたピクチャと同じビュー識別子をもつピクチャのみが再び順序付けされる。再定義されたリファレンスピクチャリストのリオーダリングプロセスにおいて、ビュー識別子は、オーダリングされるべきリファレンスピクチャのビュー識別子が少なくとも1つのピクチャのビュー識別子と異なるときにのみ必要とされる。
【0185】
また、別の利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、テンポラルダイレクトモードにおけるビュー識別子の使用をサポートするため、テンポラルダイレクトモードについて再定義される既存のシンタックスエレメント(pic_order_cnt_lsb)、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する既存のシンタックスを使用する。
【0186】
さらに、別の利点/特徴は、上述されたように、既存のシンタックスエレメントを使用するデコーダを有する装置であり、テンポラルダイレクトモードは、ピクチャオーダカウント及びビュー識別子のうちの1つに基づいて導出される。
【0187】
さらに、別の利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、既存のシンタックスエレメント(pic_order_cnt_lsb)、既存のセマンティクス、及びテンポラルダイレクトモードのための既存の復号化プロセス、既存のシンタックス、既存のセマンティクス、及び、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する既存の復号化プロセスを使用する。
【0188】
さらに、別の利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、暗黙の重み予測について再定義された既存のシンタックスエレメント(pic_order_cnt_lsb)、暗黙の重み予測においてビュー識別子の使用をサポートするため、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する既存のシンタックスを使用する。
【0189】
また、別の利点/特徴は、上述されたように、既存のシンタックスエレメントを使用するデコーダを有する装置であり、暗黙の重み予測は、ピクチャオーダカウント値とビュー識別子の少なくとも1つに基づいて導出される。
【0190】
さらに、別の利点/特徴は、上述されたように、ビュー識別子を使用して、分離の存在を判定するデコーダを有する装置であり、デコーダは、既存のシンタックスエレメント(pic_order_cnt_lsb)、既存のセマンティクス、及び暗黙の重み予測のための既存の復号化プロセス、既存のシンタックス、既存のセマンティクス、及び、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応する既存の復号化プロセスを使用する。
【0191】
さらに、別の利点/特徴は、上述されたようなデコーダを有する装置であり、デコーダは、特定のピクチャに対応する少なくとも2つのビューのうちの特定の1つを使用して、少なくとも2つのビューのうちの異なるビューの並列な復号化におけるビュー間の依存度を判定する。
【0192】
さらに別の利点/特徴は、マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するデコーダを有する装置である。デコーダは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationに対応するデフォルトのリファレンスピクチャリストの構築プロセス及びリファレンスピクチャリストの再順序付けにおける再定義された変数を使用して、少なくとも2つのビューのうちの少なくとも1つを復号化する。
【0193】
さらに、別の利点/特徴は、上述されたデコーダを有する装置であり、変数を再定義するためにビューの数及びビュー識別情報のうちの少なくとも1つが使用される。
【0194】
さらに、別の利点/特徴は、上述されたようなデコーダを有する装置であり、変数を再定義するためにグループオブピクチャのレングス及びビュー識別情報のうちの少なくとも1つが使用される。
【0195】
さらに別の利点/特徴は、マルチビュービデオコンテンツに対応する少なくとも2つのビューのうちの少なくとも1つを復号化するデコーダを有する装置である。デコーダは、International Organization for Standardization/International Electrotechnical Commission Moving Picture Experts Group-4 Part 10 Advanced Video Coding standard/International Telecommunication Union, Telecommunication Sector H.264 recommendationのデコードされたリファレンスピクチャのマーキングプロセスにおいて再定義された変数を使用して、少なくとも2つのビューのうちの少なくとも1つを復号化する。
【0196】
さらに、別の利点/特徴は、上述されたデコーダを有する装置であり、ビューの数及びビュー識別情報の少なくとも1つは、変数を再定義するために使用される。
【0197】
さらに、別の利点/特徴は、上述されたデコーダを有する装置であり、グループオブピクチャのレングス及びビュー識別情報のうちの少なくとも1つは、変数を再定義するために使用される。
【0198】
なお、特定のシンタックスの名前、特に、本発明の原理の様々な本発明の態様に関して記載された以前に使用されていないシンタックス名の選択は、例示及び明確化のためであって、本明細書で提供された本発明の原理の教示が与えられると、他の名前及び/又は文字等は、本発明の原理に精神を維持しつつ、本明細書で提供されたシンタックス名の代わりに、該シンタックス名に加えて使用される場合があることを理解されたい。
【0199】
本発明の原理のこれらの特徴及び利点、並びに他の特徴及び利点は、本明細書での教示に基づいて当業者により容易に確認される。なお、本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はその組み合わせからなる様々な形式で実現される場合があることを理解されたい。
【0200】
最も好適には、本発明の原理の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、任意の適切なアーキテクチャを有するコンピュータにアップロードされるか、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、1以上の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、及び入力/出力(I/O)インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載された様々な処理及び機能は、CPUにより実行される場合がある、マイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはその組み合わせである。さらに、様々な他の周辺ユニットは、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。
【0201】
添付図面に示されるシステム構成要素又は方法の幾つかはソフトウェアで実現されることが好ましいが、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に依存して異なる場合がある。本明細書での教示が与えられると、当業者であれば、本発明の原理のこれらの実現又はコンフィギュレーション、並びに類似の実現又はコンフィギュレーションを考案することができる。
【0202】
例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明の原理は、これら正確な実施の形態に限定されるものではなく、様々な変形及び変更は、本発明の原理の範囲又は精神から逸脱することなしに、当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べたように、本発明の原理の範囲に含まれることが意図される。
図1
図2A
図2B
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24