特許 6389833 三次元ビデオ符号化の視点間候補導出の方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6389833

(24)【登録日】2018年8月24日

(45)【発行日】2018年9月12日

(54)【発明の名称】三次元ビデオ符号化の視点間候補導出の方法と装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20180903BHJP

   H04N 19/52 20140101ALI20180903BHJP

   H04N 13/161 20180101ALI20180903BHJP

【ＦＩ】

   H04N19/597

   H04N19/52

   H04N13/161

【請求項の数】17

【全頁数】12

(21)【出願番号】特願2015-561933(P2015-561933)

(86)(22)【出願日】2014年3月20日

(65)【公表番号】特表2016-513924(P2016-513924A)

(43)【公表日】2016年5月16日

(86)【国際出願番号】CN2014073786

(87)【国際公開番号】WO2014166329

(87)【国際公開日】20141016

【審査請求日】2015年9月11日

(31)【優先権主張番号】61/810,383

(32)【優先日】2013年4月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516251901

【氏名又は名称】寰發股▲ふん▼有限公司

【氏名又は名称原語表記】ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許業務法人

(72)【発明者】

【氏名】リン， ジャン−リャン

(72)【発明者】

【氏名】チェン， イー−ウェン

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 国際公開第２０１３／００２３４２（ＷＯ，Ａ１）

【文献】 再公表特許第２０１３／００２３４２（ＪＰ，Ａ１）

【文献】 Li Zhang(外3名)，3D-CE5.h: Merge candidates derivation from disparity vector shifting，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-C0045，米国，ITU-T，２０１３年 １月２３日，p.1-4

【文献】 Christine Guillemot(外1名)，3D-CE5.h: Additional merge candidates derived from shifted disparity candidate predictors，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-C0148，米国，ITU-T，２０１３年 １月２３日，p.1-5

【文献】 Jaewon Sung(外2名)，3D-CE2.h related: Motion Aware Temporal Disparity Vector Derivation，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-C0117r1，米国，ITU-T，２０１３年 １月２３日，p.1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／００−１３／３９８

(57)【特許請求の範囲】

【請求項1】

三次元（３Ｄ）、または、マルチビュー符号化システムにおけるＭｅｒｇｅモード、Ｓｋｉｐモード、または、Ｉｎｔｅｒモードの候補リストを生成する方法であって、前記方法は、
従属ビュー中の現在のテクスチャブロックの動き情報に関連する入力データを受信する工程と、
すでに符号化された、または、復号化されたテクスチャデータに基づいて、第一インタービュー候補を決定し、前記第一インタービュー候補が前記候補リストに挿入される工程と、
前記候補リストの前記のすでに符号化された、または、復号化されたテクスチャデータに基づいて、第二インタービュー候補を決定する工程、および、
前記候補リストを用いて、前記現在のテクスチャブロックの前記動き情報を符号化、または、復号化する工程と、
を有し、
前記第二インタービュー候補は、リファレンスビュー中の対応するブロックに関連する前記動き情報から決定され、前記対応するブロックは、前記現在のテクスチャブロックの空間的隣接ブロックの位置と選択された視差ベクトルにしたがって前記現在のテクスチャブロック中に配置されることを特徴とする方法。

【請求項2】

前記選択された視差ベクトルは、前記第一インタービュー候補を生成するのに用いられる同一視差ベクトルであることを特徴とする請求項１に記載の方法。

【請求項3】

前記選択された視差ベクトルは、第二視差ベクトルとオフセット値に基づいて生成され、前記第二視差ベクトルは、前記第一インタービュー候補の生成に用いられることを特徴とする請求項１に記載の方法。

【請求項4】

前記候補リストは視差候補を有し、前記選択された視差ベクトルは前記視差候補と同じであることを特徴とする請求項１に記載の方法。

【請求項5】

前記選択された視差ベクトルは、前記現在のテクスチャブロックに関連するすでに符号化された深さブロックのひとつ以上の深さサンプルから生成されることを特徴とする請求項１に記載の方法。

【請求項6】

前記選択された視差ベクトルは、グローバル視差ベクトルから生成されることを特徴とする請求項１に記載の方法。

【請求項7】

前記候補リストは一時的候補を有し、前記第二インタービュー候補は、所定の順序にしたがって、前記一時的候補の前に、前記候補リスト中に挿入されることを特徴とする請求項１に記載の方法。

【請求項8】

前の有効な候補の数量が前もって指定された数量より少ないときだけ、前記第二インタービュー候補が前記候補リストに挿入されることを特徴とする請求項１に記載の方法。

【請求項9】

第一インタービュー候補が利用不可であるときだけ、前記第二インタービュー候補が前記候補リストに挿入されることを特徴とする請求項１に記載の方法。

【請求項10】

冗長性確認のため、前記第二インタービュー候補だけが、第一インタービュー候補と比較されることを特徴とする請求項１に記載の方法。

【請求項11】

前記第一インタービュー候補は、所定の順序にしたがって、常に、前記候補リストの第一位置に位置し、前記第一インタービュー候補が利用不可である場合、前記第一インタービュー候補が前記第二インタービュー候補により代替され、前記第二インタービュー候補も利用不可である場合、前記第一インタービュー候補がデフォルト候補により代替されることを特徴とする請求項１に記載の方法。

【請求項12】

前記第二インタービュー候補が前記候補リストに挿入されるとき、前記候補リスト中の候補総数は１増加することを特徴とする請求項１に記載の方法。

【請求項13】

前記第二インタービュー候補が前記候補リストから選択されるとき、インタービュー残差予測は前記現在のテクスチャブロックに適用されないことを特徴とする請求項１に記載の方法。

【請求項14】

前記第二インタービュー候補が前記候補リストから選択されるとき、インタービュー残差予測は、前記第二インタービュー候補にしたがって、前記現在のテクスチャブロックに適用されることを特徴とする請求項１に記載の方法。

【請求項15】

前記第二インタービュー候補が前記候補リストから選択されるとき、システム構成、または、フラグに基づいて、インタービュー残差予測（視点間残差予測）が前記現在のテクスチャブロックに、選択的に適用されることを特徴とする請求項１に記載の方法。

【請求項16】

前記第二インタービュー候補が視差ベクトルにしたがって生成され、前記視差ベクトルは、前記現在のテクスチャブロックの後続ブロックの第二視差ベクトルを生成するのに用いられることを特徴とする請求項１に記載の方法。

【請求項17】

三次元（３Ｄ）、または、マルチビュー符号化システムにおけるＭｅｒｇｅモード、Ｓｋｉｐモード、または、Ｉｎｔｅｒモードの候補リストを生成する装置であって、前記装置は、ひとつ以上の電子回路を有し、前記ひとつ以上の電子回路が、
従属ビュー中の現在のテクスチャブロックの動き情報に関連する入力データを受信する;
すでに符号化された、または、復号化されたテクスチャデータに基づいて、第一インタービュー候補を決定し、前記第一インタービュー候補が前記候補リストに挿入される;
前記候補リストの前記のすでに符号化された、または、復号化されたテクスチャデータに基づいて、第二インタービュー候補を決定する;
前記候補リストを用いて、前記現在のテクスチャブロックの前記動き情報を符号化、または、復号化するように設定され、
前記第二インタービュー候補は、リファレンスビュー中の対応するブロックに関連する前記動き情報から決定され、前記対応するブロックは、前記現在のテクスチャブロックの空間的隣接ブロックの位置と選択された視差ベクトルにしたがって前記現在のテクスチャブロック中に配置されることを特徴とする装置。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０１３年４月１０日に出願された“Additional Inter-view Candidate for 3D and Multi-view Video Coding”と題された米国特許仮出願番号61/810,383から、優先権を主張するものであり、その内容は引用によって本願に援用される。

【0002】

本発明はビデオ符号化に関するものであって、特に、本発明は、三次元／マルチビュー（多視点）ビデオ符号化における動きベクトル／視差ベクトル、または、動きベクトル予測／視差ベクトル予測のインタービュー（視点間）候補導出に関するものである。

【背景技術】

【0003】

三次元（３Ｄ）テレビは、近年、視聴者に、センセーショナルな視覚体験をもたらす技術となっている。マルチビュービデオ（多視点ビデオ）は、３Ｄビデオを捕捉、および、表示する技術である。マルチビュービデオは、通常、複数のカメラを同時に利用して、シーンを捕捉することにより生成され、複数のカメラが適切に設置されて、各カメラが、１ビューポイント（１視点）からシーンを捕捉することができる。視点に関連する大量のビデオシーケンスを有するマルチビュービデオは大量のデータを表す。したがって、マルチビュービデオは、保存のための大きいストレージ空間、および／または、送信のための高帯域幅を必要とする。これにより、マルチビュービデオ符号化技術は、必要なストレージ空間と伝送帯域幅を減少させる領域で発展してきた。真正面から取り組むやり方は、単に、従来のビデオ符号化技術を各単一ビュービデオシーケンス（単一視点ビデオシーケンス）に独立して応用するだけで、異なるビュー間の相互関係を無視する。このような直接的な技術は符号化パフォーマンスを低下させる。マルチビュービデオ符号化効率を改善するため、マルチビュービデオ符号化は、常に、インタービュー冗長性（視点間冗長性）を有効に使う。２視点間の視差は２つの対応するカメラの位置と角度により生じる。

【0004】

インタービュー冗長性を減少させるため、視差−補償予測（ＤＣＰ）が代替案として、動き補償予測（ＭＣＰ）に用いられている。図１に示されるように、ＭＣＰは、異なるアクセスユニット中の同じ視点のすでに符号化されたピクチャを用いるピクチャ内予測を参照し、ＤＣＰは、同じアクセスユニット中の別の視点のすでに符号化されたピクチャを用いるピクチャ内予測を参照する。三次元／マルチビューデータは、テクスチャピクチャ（１１０）と深度図（１２０）から構成される。動き補償予測は、一時的方向（すなわち、図１中水平方向）で、テクスチャピクチャ、または、深度図に適用される。視差補償予測は、視点方向（すなわち、図１中垂直方向）で、テクスチャピクチャ、または、深度図に適用される。ＤＣＰに用いられるベクトルは視差ベクトル（ＤＶ）と称され、ＭＣＰに用いられる動きベクトル（ＭＶ）に類似する。

【0005】

３Ｄ−ＨＥＶＣは、３Ｄビデオの符号化／復号化に発展するＨＥＶＣ（高効率ビデオ符号化）の延伸である。視点のひとつは、ベースビュー、または、独立ビューと称される。ベースビューは、深さデータと同様に、独立して符号化された別の視点である。さらに、ベースビューは、従来のＨＥＶＣビデオコーダーを用いて符号化される。

【0006】

３Ｄ−ＨＥＶＣにおいて、今でも、ハイブリッドブロックベースの動き補償ＤＣＴ類転換符号化機構が用いられている。符号化ユニット（ＣＵ）と称される圧縮の基本ユニットは２Ｎｘ２Ｎ四角ブロックで、且つ、所定の最小サイズになるまで、各ＣＵは、再帰的に、４個の小さいＣＵに分割される。各ＣＵはひとつ以上の予測ユニット（ＰＵ）を含む。ＰＵサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、または、ＮｘＮである。非対称運動パーティション（asymmetric motion partition、ＡＭＰ）がサポートされるとき、ＰＵサイズは、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２ＮおよびnRx2Nでもよい。

【0007】

３Ｄ−ＨＥＶＣにおいて、動きベクトル競争（ＭＶＣ）ベースのスキームも、所定の候補集合（または、候補リスト）間で、動きベクトル予測／視差ベクトル予測（ＭＶＰ／ＤＶＰ）を選択するのに適用される。３つのインター予測モード、Ｉｎｔｅｒ（インター）、Ｓｋｉｐ（スキップ）およびＭｅｒｇｅ（マージ、併合）がある。Ｉｎｔｅｒモードは、送信された動きベクトル／視差ベクトル（ＭＶ／ＤＶ）で、動き補償予測／視差−補償予測を実行し、ＳｋｉｐとＭｅｒｇｅモードは、推論手法を用いて、候補リストから、ＭＶ、または、ＤＶを選択して、動き情報を得る。候補リストは、現在のピクチャに位置する空間的隣接ブロック、スライスヘッダー、または、インタービューリファレンス画像中（視点間基準画像中、視点間参照画像中）の対応するブロックでシグナリングされる一時的配列ピクチャ中に位置する一時的隣接ブロックからの候補を有する。これらの候補は、競争順序にしたがって、候補リスト中にアレンジされ、リスト中の一候補は、ＭＶ／ＤＶ、または、ＭＶＰ／ＤＶＰとして選択される。ＰＵが、Ｓｋｉｐ、または、Ｍｅｒｇｅモードで符号化されるとき、選択された候補の索引を除けば、動き情報が送信されない。Ｓｋｉｐモードで符号化されるＰＵについて、残留信号も省略される。

【0008】

ＨＴＭ−４．０（３Ｄ−ＨＥＶＣ based Test Model version 4.0）中のＩｎｔｅｒモードにおいて、アドバンスト動きベクトル予測（ＡＭＶＰ）スキームが、ＡＭＶＰ候補集合間の動きベクトル予測を選択するのに用いられる。ＭｅｒｇｅとＳｋｉｐモードにおいて、Ｍｅｒｇｅスキームが、Ｍｅｒｇｅ候補集合間の動きベクトル予測を選択するの用いられる。レート歪み最適化（rate-distortion optimization、RDO）決定に基づいて、エンコーダは、Ｉｎｔｅｒ、Ｓｋｉｐ、または、ＭｅｒｇｅモードのＭＶＰ／ＤＶＰの所定の候補集合中で、１つの最終ＭＶＰ／ＤＶＰを選択すると共に、選択されたＭＶＰ／ＤＶＰの索引をデコーダに送信する。選択されたＭＶＰ／ＤＶＰは、一時的距離、または、視点距離にしたがって、線形で拡大縮小される。

【0009】

深さ符号化のＩｎｔｅｒモードにおいて、リファレンス画像索引が、明示的に、デコーダに送信される。その後、ＭＶＰ／ＤＶＰが、所定のリファレンス画像索引の候補集合間で選択される。図２に示されるように、ＨＴＭ−４．０中のＩｎｔｅｒモードのＭＶＰ／ＤＶＰ候補集合は、２個の空間的ＭＶＰ／ＤＶＰ、インタービュー候補（視点間候補）、および、一時的ＭＶＰ／ＤＶＰを有する。ある空間的ＭＶＰ／ＤＶＰ候補はB0、B1とB2から選択され、その他の空間的ＭＶＰ／ＤＶＰ候補はＡ０とＡ１から選択される。一時的ＭＶＰ／ＤＶＰ候補はＴＢＲから選択される。ＴＢＲが利用不可である場合、ＴＣＴが用いられる。一時的ブロックＴＢＲとＴＣＴは、一時的リファレンス画像中に位置する。ＭＶＰ／ＤＶＰ候補集合のサイズは、インタービュー候補が含まれるかどうかに基づいて、２か３に固定される。

【0010】

３Ｄ−ＨＥＶＣにおいて、特定のブロックがＭｅｒｇｅモードを用いて符号化される場合、Ｍｅｒｇｅ索引がシグナリングされて、Ｍｅｒｇｅ候補集合中のどのＭＶＰ／ＤＶＰ候補が、統合されるこのブロックに用いられるかを示す。動き情報共有の本質を理解するため、各統合されたＰＵは、選択された候補のＭＶ、予測方向、および、リファレンス画像索引を再利用する。一時的統合候補において、リファレンス画像索引がゼロに設定され、且つ、ＭＶは、ＰＯＣ距離にしたがって縮尺される。図２に示されるように、Ｍｅｒｇｅ候補集合は、５個の空間的統合候補、１つのインタービュー候補、１つの視差候補、１つのＶＳＰ候補、および、一つの一時的統合候補を有する。Ｍｅｒｇｅ候補集合のサイズは６に固定される。一時的候補は、一時的に配列されるブロックの右下ブロック（ＴＢＲ）に基づく。右下ブロック（ＴＢＲ）が、利用不可である場合、一時的に配列されるブロックの中央ブロック（ＴＣＴ）が用いられる。３Ｄ−ＨＥＶＣ中のテクスチャ符号化の候補集合は以下のように示される:
インタービュー候補
- Ａ１
- Ｂ１
- Ｂ０
- Ａ０
- 視差候補（ＤＶ）
- Ｂ２
- ＶＳＰ候補
- 一時的候補.

【0011】

候補は、上述の競争順序（すなわち、インタービュー候補から一時的候補）にしたがって、ひとつづつ、候補リストに挿入される。併合候補リスト（マージ候補リスト）中の候補の総数が6に達するとき（with redundant candidates removed）、挿入される追加の候補がない。

【0012】

ＭｅｒｇｅモードとＳｋｉｐモードにおいて、候補リストがよいＭＶ／ＤＶ、または、ＭＶＰ／ＤＶＰをもたらす場合、さらに多くのブロックが、Ｍｅｒｇｅモード、または、Ｓｋｉｐモードで符号化される。したがって、符号化効率が改善される。これにより、符号化効率を改善することができる併合候補リストを発展させることが望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0013】

Ｍｅｒｇｅモード、Ｓｋｉｐモード、または、ＡＭＶＰベース（アドバンスト動きベクトル予測ベース）Ｉｎｔｅｒモードの候補リスト中の第二インタービュー候補を含む候補リストを用いた三次元／マルチビュー符号化の方法と装置が開示される。

【課題を解決するための手段】

【0014】

本発明による具体例は、候補リストの前記のすでに符号化された、または、復号化されたテクスチャデータに基づいて、第二インタービュー候補を生成すると共に、候補リストを用いて、現在のテクスチャブロックの動き情報を符号化／復号化する。第二インタービュー候補は、リファレンスビュー中の対応するブロックに関連する動き情報から決定され、対応するブロックは、右下の隣接ブロックの位置と選択された視差ベクトルに従って配置される。右下の隣接ブロックは、現在のテクスチャブロックの右下隅から横切るように配置される。

【0015】

本発明の一態様は、選択された視差ベクトルの導出にアドレスする。一実施態様において、選択された視差ベクトルは、同一の視差ベクトルで、第一インタービュー候補を生成する。候補リストが視差候補を有するとき、選択された視差ベクトルは、視差候補と同じである。選択された視差ベクトルは、さらに、現在のテクスチャブロックに関連するすでに符号化された深さブロックのひとつ以上の深さサンプルから生成される。選択された視差ベクトルは、グローバル視差ベクトルから生成される。候補リストが一時的候補を有するとき、第二インタービュー候補は、競争順序にしたがって、一時的候補の前に、候補リストに挿入される。

【0016】

第二インタービュー候補は、条件付きで、候補リストに挿入される。たとえば、前の利用可能な候補の数量が前もって指定された数量より少ないときだけ、第二インタービュー候補が候補リストに挿入される。あるいは、第一インタービュー候補が利用不可であるときだけ、第二インタービュー候補が候補リストに挿入される。候補リスト構成を簡潔にするため、冗長性確認のために、第二インタービュー候補が第一インタービュー候補と比較される。一実施態様において、第一インタービュー候補は、競争順序にしたがって、常に、候補リストの第一位置に位置する。第一インタービュー候補が利用不可である場合、第二インタービュー候補により代替される。第二インタービュー候補も利用不可である場合、デフォルト値が用いられる。第二インタービュー候補が候補リストに挿入されるとき、候補リスト中の候補の総数は１増加する。

【0017】

一実施態様において、第二インタービュー候補が候補リストから選択されるとき、インタービュー残差予測（視点間残差予測）は現在のテクスチャブロックに適用されない。別の実施例において、第二インタービュー候補が候補リストから選択されるとき、インタービュー残差予測が現在のテクスチャブロックに適用される。さらに別の実施例において、第二インタービュー候補が候補リストから選択されるとき、インタービュー残差予測は、選択的に、システム構成、または、フラグに基づいて、現在のテクスチャブロックに適用される。第二インタービュー候補は、視差ベクトルにしたがって生成され、視差ベクトルが、現在のテクスチャブロックの後続ブロックの第二視差ベクトルを生成するのに用いられる。

【図面の簡単な説明】

【0018】

【図1】動き補償予測（ＭＣＰ）と視差補償予測（ＤＣＰ）が用いられる三次元／マルチビュー符号化の例を示す図である。

【図2】高効率ビデオ符号化基準にしたがって、Ｍｅｒｇｅ／Ｓｋｉｐ／Ｉｎｔｅｒモードの候補リストを生成するのに用いられる空間的と一時的隣接ブロック設置を示す図である。

【図3】２個のインタービュー候補が併合候補リスト中に含まれる本発明の具体例を組み込んだ併合候補リストの例を示す図である。

【図4】本発明の具体例を組み込んだ三次元とマルチビュー符号化システムにおけるＭｅｒｇｅモード、Ｓｋｉｐモード、または、ＡＭＶＰ−ベースのＩｎｔｅｒモードの候補リストを生成するフローチャートである。

【発明を実施するための形態】

【0019】

本発明において、追加インタービュー候補（追加視点間候補）が併合候補リストに組み込まれて、三次元／マルチビュー符号化システム（多視点符号化システム）の符号化効率を改善する。図３に示されるように、実施例による追加インタービュー候補（３２０）が、リファレンスビュー中の対応するブロックから生成され、対応するブロックは、選択された視差ベクトルによりシフトされる右下の隣接ブロック（ブロックＨ位置）の位置にしたがって配置される。右下の隣接ブロックは、現在のテクスチャブロック右下隅から横切るように配置される。選択された視差ベクトルは、第一インタービュー候補（３１０）の導出に用いられるものと同じ、または、併合候補リスト中の視差候補と同じである。

【0020】

選択された視差ベクトルは、第一インタービュー候補の導出に用いられる視差ベクトル、または、視差候補プラスオフセット値である。オフセット値は、水平、垂直、または、水平と垂直両方の方向で加えられる。

【0021】

選択された視差ベクトルは、さらに、隣接空間ブロック、または、一時的ブロックの視差ベクトルから決定される。さらに、選択された視差ベクトルが、さらに、関連する深さブロックから生成される。選択された視差ベクトルは、さらに、グローバル視差ベクトルから生成される。

【0022】

追加インタービュー候補は、さらに、選択された視差ベクトルによりシフトされる別の位置（たとえば、ブロックA0、A1、B0、B1またはB2）により配置されるリファレンスビュー中の対応するブロックから生成される。

【0023】

追加インタービュー候補は、任意の可能は位置で、併合候補リスト中に挿入される。たとえば、併合候補リストは競争順序（すなわち、高優先順序に対応する第一）の通りである:
テクスチャ符号化の併合候補リスト（サイズ＝６）
インタービュー候補１
- Ａ１
- Ｂ１
- Ｂ０
- 視差候補（Ｎ’＜＝４のとき）
- Ａ０
- Ｂ２（Ｎ’＜＝４のときだけ）
- ＶＳＰ候補（Ｎ’＜＝４のときだけ）
- インタービュー候補２（Ｎ’＜＝４のとき）
- 一時的候補（Ｎ’＜＝５のとき）、
Ｎ’は現在の候補を挿入するときまでの利用可能な候補の数量を示す整数である。

【0024】

上述の例において、併合候補リストのサイズは６で、且つ、追加インタービュー候補（すなわち、第二インタービュー候補）は一時的候補（競争順序中）の前に挿入される。一実施態様において、本発明による追加インタービュー候補はある所定条件下で加えられる。上述の例において、追加インタービュー候補は、前の利用可能な候補数量が４またはそれより小さいときだけ加えられる。つまり、追加インタービュー候補は、前の利用可能な候補の数量が前もって指定された数量より少ないときだけ、候補リストに挿入される。

【0025】

選別過程において、追加インタービュー候補は、すべての前の候補と比較されて、冗長性を除去する。簡潔にするため、追加インタービュー候補は第一インタービュー候補とだけ比較され、且つ、第一インタービュー候補と同じである場合、追加インタービュー候補は併合候補リスト中に追加されない。

【0026】

別の実施例において、追加インタービュー候補は、第一インタービュー候補が利用不可であるときだけ、併合候補リストに加えられる。

【0027】

本発明のさらにべつの実施例において、インタービュー候補は、常に、固定候補索引を有する候補に対応する。たとえば、候補索引=0である場合、インタービュー候補は、常に、Ｉｎｔｅｒ、Ｍｅｒｇｅ、または、Ｓｋｉｐモードの候補リスト中、第一位置にある。インタービュー候補が候補索引=0に対応し、且つ、第一インタービュー候補が利用不可であるとき、インタービュー候補は、追加インタービュー候補（すなわち、第二インタービュー候補）により代替される。追加インタービュー候補が利用不可である場合、インタービュー候補は、デフォルト候補、たとえば、ゼロＭＶＰにより代替される。

【0028】

上述の追加インタービュー候補は、さらに、ＡＭＶＰ候補リストに加えられる。

【0029】

本発明による追加インタービュー候補が、併合候補リスト、または、ＡＭＶＰ候補リスト中に含まれるとき、候補リストのサイズは１増加する。たとえば、ＨＴＭ−６．０において、従属ビューを符号化する併合候補リストのサイズは６で、且つ、追加インタービュー候補が候補リスト中に含まれるとき、サイズは７に増加する。

【0030】

三次元／マルチビュー符号化システムが複雑な制約を有する、または、複雑性を減少させることを好む場合、本発明による追加インタービュー候補が、ＭＶ／ＤＶ、または、ＭＶＰ／ＤＶＰとして候補リストから選択されるとき、追加インタービュー候補はインタービュー残差予測に適用されない。

【0031】

一方、三次元／マルチビュー符号化システムが、改善された符号化ゲインを有することを好む場合、本発明による追加インタービュー候補が、ＭＶ／ＤＶ、または、ＭＶＰ／ＤＶＰとして、候補リストから選択されるとき、追加インタービュー候補がインタービュー残差予測に適用される。

【0032】

あるいは、本発明による追加インタービュー候補が、ＭＶ／ＤＶ、または、ＭＶＰ／ＤＶＰとして、候補リストから選択されるとき、追加インタービュー候補は、選択的に、インタービュー残差予測に適用される。この選択は、システム構成、たとえば、低複雑度、または、高性能の優先権に基づく。この選択は、フラグにより示される。

【0033】

追加インタービュー候補を生成する選択されたＤＶは、以下のＣＵ／ＰＵのＤＶ導出に用いられる。

【0034】

追加インタービュー候補を有する本発明の具体例を組み込んだ３Ｄ／マルチビュービデオ符号化システムのパフォーマンスが、表１に示されるように、ＨＴＭ−６．０に基づいて、従来のシステムのパフォーマンスと比較される。性能比較は、第一カラムでリストされる異なる組のテストデータに基づく。ＢＤ率差は、view 1（video 1）とview 2（video 2）中のテクスチャピクチャに示される。ＢＤ率の負値は、本発明がよい性能を有することを意味する。表１に示されるように、本発明の具体例を組み込んだvideo 1とvideo 2のＢＤ率は、それぞれ、０．２％と０．１％減少する。第二群のパフォーマンスは、テクスチャビデオのみ（ビデオＰＳＮＲ／ビデオビットレート）のＢＤ率差、テクスチャビデオ（ビデオＰＳＮＲ／総ビットレート）のテクスチャＰＳＮＲ対総ビットレート（テクスチャビットレートと深さビットレート）のＢＤ率差、および、６個の合成されたビュー対総ビットレート（シンセ．ＰＳＮＲ／総ビットレート）の平均ＰＳＮＲである。表１に示されるように、この群の平均パフォーマンスも、従来のＨＴＭ−６．０よりわずかな改善（０．１％）を表す。処理時間（符号化時間、復号化時間、および、レンダリング時間）も比較される。表１に示されるように、符号化時間、復号化時間、および、レンダリング時間はほぼ同じである。

【0035】

【表1】

【0036】

図４は、本発明の具体例による第二インタービュー候補を有する候補リストを組み込んだ三次元／マルチビュー符号化システムのフローチャートである。システムは、ステップ４１０で、従属ビュー中の現在のテクスチャブロックの動き情報に関連する入力データを受信する。符号化において、現在のテクスチャブロックの動き情報に関連する入力データは、符号化される動き情報に対応する。復号化において、現在のテクスチャブロックの動き情報に関連する入力データは、復号化される符号化動き情報に対応する。現在のテクスチャブロックの動き情報は、メモリ（たとえば、コンピュータメモリ、バッファ（ＲＡＭ、または、ＤＲＡＭ）、または、その他の媒体）から、または、プロセッサから回収される。第一インタービュー候補は、ステップ４２０において、すでに符号化された、または、復号化されたテクスチャデータにしたがって決定され、第一インタービュー候補は併合候補リストに挿入される。第二インタービュー候補は、ステップ４３０において、候補リストの前記のすでに符号化された、または、復号化されたテクスチャデータに基づいて決定される。現在のテクスチャブロックの動き情報は、その後、ステップ４４０で、候補リストを用いて符号化、または、復号化される。

【0037】

上述のフローチャートは、第二インタービュー候補を有する候補リストを用いた３Ｄ／マルチビュー符号化の例を説明することを目的とする。当業者は、本発明を逸脱しない範囲で、各ステップを修正したり、ステップ再アレンジしたり、ステップを分割したり、組み合わせたりすることができる。

【0038】

上の記述が提示されて、当業者に、特定のアプリケーションとその要求のコンテキストに記述される通り、本発明を行うことができる。当業者なら、記述された具体例への各種修正が理解でき、ここで定義される一般原則は別の実施例にも応用できる。よって、本発明は、記述される特定の実施例に制限することを目的としておらず、原理と新規特徴と一致する最大範囲に一致する。上述の記述において、本発明の十分な理解を提供するため、各種特定の詳細が説明される。当業者なら、本発明が行えることが理解できる。

【0039】

上述の本発明の具体例は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の具体例は、画像圧縮チップに整合される回路、または、画像圧縮ソフトウェアに整合されるプログラムコードで、上述の処理を実行する。本発明の具体例は、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードで、上述の処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械読み取り可能ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明による特定のタスクを実行するように設定される。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語、および、異なるフォーマット、または、スタイルで開発される。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明によるタスクを実行するソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、設定コードのその他の手段は、本発明の精神を逸脱しない。

【0040】

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

【図1】

【図2】

【図3】

【図4】