特許 6042536 ３Ｄビデオ符号化におけるビュー間候補導出の方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6042536

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月14日

(54)【発明の名称】３Ｄビデオ符号化におけるビュー間候補導出の方法と装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20161206BHJP

   H04N 19/52 20140101ALI20161206BHJP

   H04N 19/105 20140101ALI20161206BHJP

   H04N 19/139 20140101ALI20161206BHJP

   H04N 19/176 20140101ALI20161206BHJP

   H04N 13/00 20060101ALI20161206BHJP

【ＦＩ】

   H04N19/597

   H04N19/52

   H04N19/105

   H04N19/139

   H04N19/176

   H04N13/00 480

【請求項の数】11

【全頁数】19

(21)【出願番号】特願2015-518817(P2015-518817)

(86)(22)【出願日】2013年7月2日

(65)【公表番号】特表2015-525997(P2015-525997A)

(43)【公表日】2015年9月7日

(86)【国際出願番号】CN2013078631

(87)【国際公開番号】WO2014005503

(87)【国際公開日】20140109

【審査請求日】2014年12月26日

(31)【優先権主張番号】61/667,242

(32)【優先日】2012年7月2日

(33)【優先権主張国】US

(31)【優先権主張番号】61/744,859

(32)【優先日】2012年10月3日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516251901

【氏名又は名称】寰發股▲ふん▼有限公司

【氏名又は名称原語表記】ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許業務法人

(72)【発明者】

【氏名】リン， ジャン−リャン

(72)【発明者】

【氏名】チェン， イー−ウェン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 国際公開第２０１３／１８８７８４（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１８４４６８（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１３８６２１（ＷＯ，Ａ１）

【文献】 Thomas Wiegand et al.，WD3: Working Draft 3 of High-Efficiency Video Coding，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH，２０１１年 ６月，JCTVC-E603_d8，pp.i-vii,46-48,74-78,105-119

【文献】 Hideki Takehara et al.，Non-CE9: Merge candidates pruning without TMVP，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，8th Meeting: San Jose, CA, USA，２０１２年 １月，JCTVC-H0133，pp.1-6

【文献】 Christian Bartnik et al.，HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG)，44nd Meeting: San Jose, CA, USA，２０１２年 ２月，VCEG-AR13，pp.1-42

【文献】 Toshiyasu Sugio and Takahiro Nishi，Modified derivation process on motion vector predictor and weighted prediction for HEVC multi-view extension，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，9th Meeting: Geneva, CH，２０１２年 ４月，JCTVC-I0436_r1，pp.1-17

【文献】 Jian-Liang Lin et al.，3D-CE5.h related: Pruning process for inter-view candidate，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，1st Meeting: Stockholm, SE，２０１２年 ７月，JCT2-A0048_r2，pp.1-4

【文献】 Li Zhang et al.，3D-CE5.h related: Improved merge mode for inter-view predicted motion，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，1st Meeting: Stockholm, SE，２０１２年 ７月，JCT2-A0096，pp.1-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ １３／００ − １３／０４

(57)【特許請求の範囲】

【請求項1】

三次元ビデオ符号化または復号化システムのための方法であって、前記方法は、
現在のブロックに関連する処理されるデータを受信する工程と、
前記現在のブロックの空間隣接ブロックに関連する空間候補、および、前記現在のブロックのビュー間候補と時間的候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定する工程と、
ひとつ以上の特定の空間候補、および、前記ビュー間候補と前記時間的候補の少なくともひとつに対する選択工程を適用して、保留候補集合を生成する工程であって、
前記ひとつ以上の特定の空間候補は、前記空間候補の一部であり、
前記選択工程は、
前記特定の空間候補の各々を前記ビュー間候補と前記時間的候補の少なくともひとつと比較する工程と、
前記特定の空間候補が、前記ビュー間候補と前記時間的候補の少なくともひとつと同じ動き情報を有する時に、前記特定の空間候補を除去する工程とを有する
前記選択工程を適用して保留候補集合を生成する工程と、
前記保留候補集合を含むマージ／スキップ候補リストを生成する工程と、
前記処理されるデータが、マージ／スキップモードで、符号化または復号化されるとき、前記マージ／スキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する工程と、
を含むことを特徴とする方法。

【請求項2】

前記ひとつ以上の特定の空間候補および前記ビュー間候補は前記選択工程により処理され、前記時間的候補は、前記選択工程から除外されることを特徴とする請求項１に記載の方法。

【請求項3】

前記ひとつ以上の特定の空間候補の各々は、予め規定された隣接するブロックの位置に基づいて決定されることを特徴とする請求項１に記載の方法。

【請求項4】

Ａ１候補が前記ひとつ以上の特定の空間候補に属し、Ａ１ブロックが前記現在のブロックの左下側に隣接するものであるとき、当該Ａ１候補が、前記ビュー間候補または前記時間的候補と同じ動き情報を有する場合、当該Ａ１候補は候補リストから除外されることを特徴とする請求項１に記載の方法。

【請求項5】

Ｂ１候補が前記ひとつ以上の特定の空間候補に属し、Ｂ１ブロックが前記現在のブロックの右上側に隣接するものであるとき、前記Ｂ１候補が、前記ビュー間候補または前記時間的候補と同じ動き情報を有する場合、当該Ｂ１候補は前記候補リストから除外されることを特徴とする請求項１に記載の方法。

【請求項6】

前記ビュー間候補は、常に、前記保留候補集合中で保留されることを特徴とする請求項１に記載の方法。

【請求項7】

三次元ビデオ符号化または復号化システムのための装置であって、前記装置は、
現在のブロックに関連する処理されるデータを受信する手段と、
前記現在のブロックの空間隣接ブロックに関連する空間候補、および、前記現在のブロックのビュー間候補と時間的候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定する手段と、
ひとつ以上の特定の空間候補、および、前記ビュー間候補と前記時間的候補の少なくともひとつに対する選択工程を適用して、保留候補集合を生成する手段であって、
前記ひとつ以上の特定の空間候補は、前記空間候補の一部であり、
前記選択工程は、
前記特定の空間候補の各々を前記ビュー間候補と前記時間的候補の少なくともひとつと比較する工程と、
前記特定の空間候補が、前記ビュー間候補と前記時間的候補の少なくともひとつと同じ動き情報を有する時に、前記特定の空間候補を除去する工程とを有する工程である
前記選択工程を適用して、保留候補集合を生成する手段と、
前記保留候補集合を含むマージ／スキップ候補リストを生成する手段と、
前記処理されるデータが、マージ／スキップモードで、符号化または復号化されるとき、前記マージ／スキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する手段と、
を有することを特徴とする装置。

【請求項8】

インター予測、マージまたはスキップモードを用いる三次元ビデオ符号化または復号化システムのための方法であって、前記方法は、
現在のブロックに関連する処理されるデータを受信する工程と、
前記現在のブロックの空間隣接ブロックに関連する空間候補と前記現在のブロックのビュー間候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定する工程と、
前記ビュー間候補と前記空間候補の一部を含む選択候補集合に、前記選択候補集合中の任意の冗長候補を除去する選択工程を適用し、保留候補集合を生成する工程と、
前記保留候補集合を含むインター予測、マージまたはスキップ候補リストを生成する工程と、
前記処理されるデータが、それぞれ、前記インター予測、マージまたはスキップモードで符号化、または、復号化されるとき、前記インター予測、マージまたはスキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する工程とを含み、
前記選択候補集合は、前記ビュー間候補、第一空間候補および第二空間候補を含み、前記選択工程は、前記ビュー間候補と前記第一空間候補間の一比較、および、前記ビュー間候補と前記第二空間候補間の別の比較に対応することを特徴とする方法。

【請求項9】

前記第一または第二空間候補が、前記ビュー間候補と異なる場合のみ、前記第一または第二空間候補が、それぞれ、前記インター予測、マージまたはスキップモードの前記インター予測、マージまたはスキップ候補リスト中で保留されることを特徴とする請求項８に記載の方法。

【請求項10】

さらに、前記現在のブロックの時間的候補を決定する工程を含み、前記選択候補集合は、さらに、前記時間的候補を有することを特徴とする請求項８に記載の方法。

【請求項11】

Ａ１ブロックは、前記現在のブロックの左下側に隣接し、Ｂ１ブロックは、前記現在のブロックの右上側に隣接するものであるとき、前記選択候補集合中の二個の空間候補は、Ａ１とＢ１ブロックに関連することを特徴とする請求項８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０１２年７月２日に出願された“Modification of the pruning process for interview candidate”と題された米国特許仮出願番号６１／６６７，２４２号、および、２０１２年１０月３日に出願された“Improvement of the pruning process for inter-view candidate”と題された米国特許仮出願番号６１／７４４，８５９号から、優先権を主張するものであり、その内容は引用によって本願に援用される。

【0002】

本発明は、三次元ビデオ符号化に関するものであって、特に、インター予測またはマージ／スキップモードにおける３Ｄビデオ符号化の候補リストの導出に関するものである。

【背景技術】

【0003】

三次元（３Ｄ）テレビは、近年、視聴者に、感覚的な視覚体験をもたらす技術となっている。３Ｄ鑑賞を可能にするために、各種技術が発展している。それらの間で、多視点ビデオは、その他の中の３ＤＴＶアプリケーションの鍵となる技術である。従来のビデオは、カメラの視点からの光景の単一ビューだけを視聴者に提供する二次元（２Ｄ）媒体である。しかし、多視点ビデオは、動的光景の任意の視点を提供し、視聴者に現実の感覚を提供することができる。

【0004】

多視点ビデオは、一般に、多数のカメラを同時に用いることにより光景を捕捉することにより形成され、多数のカメラは適切に配置されて、各カメラが、一視点からの光景を捕捉する。したがって、多数のカメラは、多重の視点に対応する多重動画像列を捕捉する。さらに多くの表示を提供するため、さらに多くのカメラが用いられて、表示に関連する多くの動画像列と、多視点ビデオを生成する。したがって、多視点ビデオは、保存のための大きい格納スペースおよび／または伝送のための高バンド幅を必要とする。よって、多視点ビデオ符号化技術は、必要な格納スペースまたは送信バンド幅を減少させるという技術領域中で発展している。

【0005】

真正面から正直に攻めるやり方は、従来のビデオ符号化技術を、単独で、各単一ビュー動画像列に適用すると共に、異なるビュー間では相互関係を無視するというものである。このような符号化システムは、とても非効率である。多視点ビデオ符号化の効率を改善するため、一般の多視点ビデオ符号化はビュー間冗長を利用する。よって、大部分の３Ｄビデオ符号化（３ＤＶＣ）システムは、多重ビューと深度図に関連する映像データの相互関係を考慮する。標準的な発展体、ＩＴＵ−Ｔビデオ符号化専門家グループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣエムペグ（Moving Picture Experts Group、MPEG）のジョイントビデオチームは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣを、ステレオと多視点ビデオの多視点ビデオ符号化（ＭＶＣ）に拡張する。

【0006】

ＭＶＣは、時間的予測と空間予測を採用し、圧縮効率を改善する。ＭＶＣの発展中、いくつかのマクロブロックレベルの符号化ツールが提案され、照明補償、適応参照フィルタリング、動きスキップモードとビュー合成予測を含む。これらの符号化ツールが提案され、多重ビュー間の冗長を利用する。照明補償は、異なるビュー間の照明変動の補償を対象とする。カメラ間の焦点ミスマッチのため、適応参照フィルタリングは、変動を減らすことを目的としている。動きスキップモードは、別のビューから推論される現在のビュー中で、運動ベクトルを許可する。ビュー合成予測は、別のビューから現在のビューのピクチャを予測する。

【0007】

しかし、ＭＶＣにおいて、深度図とカメラパラメーターは符号化されない。新世代の３Ｄビデオ符号化（３ＤＶＣ）の近年の標準化発展において、テクスチャデータ、深さデータとカメラパラメーターがすべて符号化される。たとえば、図１は、３Ｄビデオ符号化の一般的予測構造を示し、標準適合ビデオコーダーが、ベースビュービデオ（base-view video）に用いられる。入ってくる３Ｄ映像データは、多重ビューに対応するイメージ（１１０−０，１１０−１，１１０−２，…）からなる。各ビューに収集されるイメージは、対応する視点の画像シーケンスを形成する。通常、ベースビュー（独立視点とも称される）に対応する画像シーケンス１１０−０は、単独で、ビデオコーダー１３０−０適合により、ビデオ符号化基準、たとえば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ（高効率ビデオ符号化）に符号化される。従属視点（つまり、視点１，２，…）に関する画像シーケンスのビデオコーダー（１３０−１，１３０−２，…）は、時間的予測に加え、さらに、ビュー間予測を利用する。ビュー間予測は図１の短い点線によって示される。

【0008】

相互作用的アプリケーションをサポートするため、それぞれのビューで光景に関連する深度図（１２０−０，１２０−１，１２０−２，…）も、ビデオビットストリーム中に含まれる。深度図に関連するデータを減少させるため、深度図は、深度図符号器（１４０−０，１４０−１，１４０−２，…）を用いて圧縮され、圧縮深度図データは、図１に示されるビットストリーム中に含まれる。マルチプレクサ１５０が用いられて、画像符号器と深度図符号器から、圧縮データを結合する。立体情報（depth information）は、選択されたインター予測視点で、バーチャルビューを合成するのに用いられる。選択された視点に対応するイメージは、別の視点に対応するイメージに基づいて、ビュー間予測を用いて符号化される。この場合、選択された視点のイメージは、従属視点と呼ばれる。

【0009】

隣接するビューの前に符号化された動き情報を再利用するために、ＨＥＶＣベース３Ｄビデオ符号化バージョン３．１（ＨＴＭ３．１）の参照ソフトウェアにおいて、ビュー間候補が、インター（つまり、時間的）、マージおよびスキップモードの運動ベクトル（ＭＶ）または視差ベクトル（ＤＶ）候補として加えられる。ＨＴＭ３．１において、符号化ユニット（ＣＵ）である圧縮のための基本単位は、２Ｎｘ２Ｎ四角ブロックである。所定の最小サイズに到達するまで、各ＣＵは、再帰的に、四つの小さいＣＵに分割される。各ＣＵは、ひとつ以上の予測単位（ＰＵｓ）を含む。３ＤＶ−ＨＴＭにおいて、ビュー間候補導出プロセスは、選択工程、すなわち、冗長候補を除去する工程を含む。選択工程は、インター予測、マージおよびスキップモードで、空間候補だけに適用される。選択工程は、時間的候補にもビュー間候補にも適用されない。マージ候補導出プロセスが図２で示される。

【0010】

図２に示されるように、選択工程は、少数の並列な、空間候補間の動き情報比較を含む。たとえば、空間候補１−４（２１１−２１４）が選択されて、数量が削減された空間候補または候補をマージ候補リスト（２５０）に提供する。マージ候補導出プロセスにおいて、時間的候補およびビュー間候補が、選択工程から除外される。つまり、ビュー間候補と時間的候補は、常に、選択された候補リスト中に含まれる。空間候補の動き情報は、この空間候補の特定条件に基づいて、マージリスト中に挿入される。運動ベクトルがＡ１に対し有効である場合、選択工程は、常に、リスト中で、Ａ１（図３に示される）を保留する。マージ候補リストから除外されるこれらの空間候補の条件は以下のようである（図３に示される）：
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印３１０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印３２０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印３３０で示される）
・Ｂ２：Ｂ２は、Ａ１と同じ動き情報を有する（矢印３４０で示される）またはＢ１と同じ動き情報を有する（矢印３５０で示される）。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかがマージリストから除外される場合のみ、Ｂ２がチェックされる。

【0011】

空間隣接ブロックの位置は図３に示され、空間隣接ブロック集合は、現在のブロックの対角線上の左下隅の位置（つまり、Ａ０）、現在のブロックの左下側に隣接する位置（つまり、Ａ１）、現在のブロックの対角線上の左上隅の位置（つまり、Ｂ２）、現在のブロックの対角線上の右上隅の位置（つまり、Ｂ０）、および、現在のブロックの右上側に隣接する位置（つまり、Ｂ１）を含む。ブロック指定（すなわち、Ｂ０，Ｂ１，Ｂ２，Ａ０とＡ１）が上述のようであるとき、便宜上、ブロック指定は、ブロックに関連する運動ベクトルまたは運動ベクトル予測を参照する。たとえば、“Ａ１は有効”は“Ａ１の運動ベクトルは有効”という意味を含む。ＨＴＭ３．１において、インター予測モードの候補集合は、一ビュー間予測（候補）、二つの空間予測（候補）とひとつの時間的予測（候補）を含む：
１． ビュー間予測（候補），
２． １st空間予測（候補），
３． ２nd空間予測（候補）および
４． 時間的予測（候補）

【0012】

ＨＴＭ３．１中の二個の空間候補は、現在のブロックの左下側に隣接するＡ１ブロックと現在のブロックの右上側に隣接するブロックＢ１に対応する。ビュー間予測（候補）は、深度図から導出するビュー間画像または視差ベクトル中、対応するブロックの運動ベクトルである。時間的予測（候補）は、配列された画像中に位置するブロック（TBRまたはTCTR）から生成される。ＨＴＭｖ３．１において、有効なビュー間と空間予測の数が２である時だけ、選択工程が適用されて、これらの二つの予測を比較し、冗長の方を除去する。時間的予測が、選択工程から除外される。選択工程の後、最初の三つの有効な予測だけが、候補集合に含まれる。図２に示されるように、有効な予測の数が３より小さい場合、ゼロ予測（２４０）が挿入される。

【0013】

マージ候補リスト中の候補の総数が、リストサイズ（たとえば、５）より小さい場合、ひとつ以上の結合された運動ベクトルが、追加候補として追加される。結合されたＭＶＰ２３０を用いることにより、選択工程２２０から、結合された運動ベクトルが、選択された空間候補から生成される。たとえば、バイプレディクティブ（bi-predictive）マージ候補は、リスト０中で、リファレンス画像をポイントするＭＶ候補とリスト１中で、リファレンス画像をポイントする別のＭＶ候補を結合することにより形成される。
改善されたパフォーマンス、たとえば、RD−レートまたは減少した計算時間または記憶保存を導くビュー間候補、空間候補および時間的候補で、選択工程を発展させることが望まれる。

【0014】

上述の討論に示されるように、候補集合導出プロセスは、各種空間と時間的隣接ブロックを含む。候補集合導出の複雑性を減少させ、システムパフォーマンスへの顕著な影響がないことが望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明においては、三次元ビデオ符号化または復号化システムのための方法と装置が開示される。

【課題を解決するための手段】

【0016】

本発明の実施形態は、選択工程を、ひとつ以上の空間候補およびビュー間候補と時間的候補の少なくともひとつに適用し、保留候補集合を生成する。選択工程は、ひとつ以上の空間候補およびビュー間候補と時間的候補の少なくともひとつ間で、任意の冗長候補を除去する。その後、マージ／スキップ候補リストが生成され、保留候補集合を含む。一実施形態において、ひとつ以上の空間候補とビュー間候補が選択工程により処理されると共に、時間的候補は、選択工程から除外される。別の実施形態において、ひとつ以上の空間候補と時間的候補が選択工程により処理され、ビュー間候補は選択工程から除外される。

【0017】

本発明の一形態は、選択工程に取り組む。選択工程が、ひとつ以上の空間候補とビュー間候補に適用されるとき、ビュー間候補は、ひとつ以上の空間候補のうちのひとつと同じ動き情報を有する場合、ビュー間候補が、候補リストから選択される。ひとつ以上の空間候補のうちのひとつは、ひとつ以上の空間候補の第一有効候補に対応する。ひとつ以上の空間候補のうちのひとつは、また、隣接ブロック集合のＡ１またはＢ１ブロックに対応する。選択工程が、ひとつ以上の空間候補と時間的候補に適用されるとき、時間的候補が、ひとつ以上の空間候補のうちのひとつと同じ動き情報を有する場合、時間的候補は、候補リストから選択される。さらに、ひとつ以上の空間候補のうちのひとつは、ひとつ以上の空間候補の第一有効候補に対応する。また、ひとつ以上の空間候補のうちのひとつは、隣接ブロック集合のＡ１またはＢ１ブロックに対応する。ビュー間または時間的候補の選択に代わって、空間候補も選択される。たとえば、Ａ１候補が、ビュー間候補または時間的候補と同じ動き情報を有する場合、Ａ１候補は、候補リストから選択することができる。同様に、Ｂ１候補が、ビュー間候補または時間的候補と同じ動き情報を有する場合、Ｂ１候補が、候補リストから選択される。選択工程は、任意の順序で、候補を有する候補集合に適用される。

【0018】

本発明の別の実施形態において、インター予測、マージまたはスキップモードにおける３Ｄビデオ符号化の選択工程が開示される。現在のブロックの空間隣接ブロックに関連する空間候補および現在のブロックのビュー間候補が決定される。候補は、運動ベクトル候補または視差ベクトル候補である。選択工程が選択候補集合に適用されて、保留候補集合を生成する；選択候補集合は、ビュー間候補と少なくとも二つの空間候補を含み、選択工程は、選択候補集合中の任意の冗長候補を除去する。その後、保留候補集合を含むインター予測、マージまたはスキップ候補リストが生成される。処理されるデータが、それぞれ、インター予測、マージまたはスキップモードで、符号化または復号化されるとき、インター予測、マージまたはスキップ候補リストを用いて、ビュー間予測符号化または復号化は、処理されるデータに適用される。一実施形態において、選択候補集合は、ビュー間候補、第一空間候補および第二空間候補に対応し、選択工程は、ビュー間候補と第一空間候補間の一比較、および、ビュー間候補と第二空間候補間の別の比較に対応する。さらに、第一または第二空間候補が、ビュー間候補と異なる場合に限り、第一または第二空間候補は、それぞれ、インター予測、マージまたはスキップモードのインター予測、マージまたはスキップ候補リストで保留される。別の実施形態において、選択候補集合は、さらに、時間的候補を有する。

【図面の簡単な説明】

【0019】

【図1】図１は、三次元ビデオ符号化システムの予測構造の例を示す図である。

【図2】図２は、３ＤＶ−ＨＴＭバージョン３．１に従ったマージ候補リストの導出プロセスの例を示す図である。

【図3】図３は、３ＤＶ−ＨＴＭバージョン３．１に従ったマージ候補リストの空間候補における選択工程を示す図である。

【図4】図４は、本発明の一実施形態によるマージ／スキップ候補リストの空間候補とビュー間候補における導出プロセスの例を示す図である。

【図5】図５は、本発明の一実施形態によるインター予測（ＡＭＶＰ）候補リストの空間候補とビュー間候補における導出プロセスの例を示す図である。

【図6】図６は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第１の図である。

【図7】図７は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第２の図である。

【図8】図８は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第３の図である。

【図9】図９は、本発明の一実施形態によるマージ／スキップ候補リストの空間候補、時間的候補およびビュー間候補における導出プロセスの例を示す図である。

【図10】図１０は、本発明の一実施形態によるインター予測（ＡＭＶＰ）候補リストの空間候補、時間的候補およびビュー間候補における導出プロセスの例を示す図である。

【図11】図１１は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第１の図である。

【図12】図１２は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第２の図である。

【図13】図１３は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第３の図である。

【図14】図１４は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第４の図である。

【図15】図１５は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第５の図である。

【図16】図１６は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第６の図である。

【図17】図１７は、本発明の一実施形態によるインター予測またはマージ／スキップ候補リストの導出プロセスの例を示す第７の図である。

【図18】図１８は、本発明の一実施形態による選択工程を組み込んだ三次元符号化システムのフローチャートである。

【図19】図１９は、本発明の一実施形態による選択工程を組み込んだ別の三次元符号化システムのフローチャートである。

【発明を実施するための形態】

【0020】

三次元ビデオ符号化または復号化システム中、インター予測（Inter）またはマージ／スキップ候補リストの選択工程（pruning process）が開示され、選択工程は、空間候補およびビュー間（inter-view）候補と時間的候補の少なくともひとつに適用される。

【0021】

第一実施形態において、選択工程は、インター予測、マージおよびスキップモードの空間候補とビュー間候補に適用される。時間的候補は、選択工程から除外される。図４は、マージ／スキップモードのマージ／スキップ候補導出プロセスを示す図で、ビュー間候補２１０と空間候補１−４（２１１−２１４）が選択工程４１０に提供される。時間的候補（２１５）に沿った選択工程４１０からの保留候補（つまり、選択工程により除去されない候補）が、マージ／スキップ候補リスト４３０中に含まれる。マージ／スキップ候補リスト４３０のリストサイズがスレショルドより小さい場合、結合されたＭＶＰ４２０を用いることにより、結合されたマージ／スキップ候補が加えられる。結合されたＭＶＰ４２０は、選択工程４１０と時間的候補２１５からの保留候補を用いて、ひとつ以上のバイプレディクティブマージ／スキップ候補を形成する。マージ／スキップ候補の数量がスレショルド（たとえば、３）より少ない場合、ゼロＭＶＰ（２４０）は、マージ／スキップ候補リスト４３０中に含まれる。図５は、インター予測モードのインター予測候補導出プロセスを示し、選択工程５２０が、ビュー間候補２１０、第一空間候補５１１と第二空間候補５１２に適用される。その後、選択工程５２０からの保留候補は、時間的候補２１５と共に、インター予測候補リスト５３０中に含まれる。再度、候補の数量がスレショルド以下である場合、ゼロＭＶＰ（２４０）は、インター予測候補リスト５３０中に含まれる。インター予測モードは、この領域で、高効率ビデオ符号化（ＨＥＶＣ）として知られている高度な運動ベクトル予測（ＡＭＶＰ）方法に対応する。この開示において、候補は、運動ベクトルまたは視差ベクトルに対応する。

【0022】

第二実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報がマージ／スキップ候補リストに挿入される。動き情報（たとえば、運動ベクトルまたは視差ベクトル）がＡ１に対し有効である場合、選択工程は、常に、リスト中で、Ａ１を保留する。インター予測またはマージ／スキップ候補リストから排除される空間とビュー間候補の候補は以下のようである（図６に示される）：
・Ｂ１：Ｂ１はＡ１と同じ動き情報を有する（矢印６１０で示される）
・Ｂ０：Ｂ０はＢ１と同じ動き情報を有する（矢印６２０で示される）
・Ａ０：Ａ０はＡ１と同じ動き情報を有する（矢印６３０で示される）
・Ｂ２：Ｂ２はＡ１と同じ動き情報を有する（矢印６４０で示される）またはＢ１と同じ動き情報を有する（矢印６５０で示される）。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。
・Ｉ：ＩはＡ１と同じ動き情報を有する（Ｉはビュー間候補）（矢印６６０で示される）

【0023】

第三実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間の少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、マージ／スキップ候補リスト中に挿入される。動き情報（たとえば、運動ベクトルまたは視差ベクトル）がＩに対し有効である場合、選択工程は、常に、マージ／スキップ候補リスト中で、Ｉ（つまり、ビュー間候補）を保留する。インター予測またはマージ／スキップ候補リストから除外される空間候補の条件は以下のようである（図７に示される）：
・Ａ１：Ａ１はＩと同じ動き情報を有する（矢印７１０で示される）
・Ｂ１：Ｂ１はＡ１と同じ動き情報を有する（矢印７２０で示される）
・Ｂ０：Ｂ０はＢ１と同じ動き情報を有する（矢印７３０で示される）
・Ａ０：Ａ０はＡ１と同じ動き情報を有する（矢印７４０で示される）
・Ｂ２：Ｂ２はＡ１と同じ動き情報を有する（矢印７５０で示される）またはＢ１と同じ動き情報を有する（矢印７６０で示される）。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかがインター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0024】

第四実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間、時間的及びビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。この空間候補、時間的候補またはビュー間候補の特定条件に基づいて、空間候補、時間的候補またはビュー間候補の動き情報が、インター予測またはマージ／スキップ候補リストに挿入される。動き情報（たとえば、運動ベクトルまたは視差ベクトル）がＡ１に対し有効である場合、選択工程は、常に、リスト中で、Ａ１を保留する。インター予測またはマージ／スキップ候補リストから排除される空間候補、時間的候補およびビュー間候補の条件は以下のようである（図８に示される）：
・Ｂ１：Ｂ１はＡ１と同じ動き情報を有する（矢印８１０で示される）
・Ｂ０：Ｂ０はＢ１と同じ動き情報を有する（矢印８２０で示される）
・Ａ０：Ａ０はＡ１と同じ動き情報を有する（矢印８３０で示される）
・Ｂ２：Ｂ２はA１と同じ動き情報を有する（矢印８４０で示される）またはＢ１と同じ動き情報を有する（矢印８５０で示される）。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。
・Ｉ：ＩＡ１と同じ動き情報を有する（矢印８６０で示される）
・T：TはＡ１と同じ動き情報を有する（Tは時間的候補）（矢印８７０で示される）

【0025】

第五実施形態において、選択工程は、インター予測、マージおよびスキップモードの空間候補、時間的候補およびビュー間候補に適用される。図９は、マージ／スキップモードのマージ／スキップ候補導出プロセスを示し、ビュー間候補２１０、空間候補１−４（２１１−２１４）と時間的候補２１５が選択工程９１０に提供される。選択工程９１０からの保留候補は、マージ／スキップ候補リスト９３０中に含まれる。候補の数量がスレショルド（たとえば、３）より小さい場合、ゼロＭＶＰ（２４０）は、マージ／スキップ候補リスト９３０中に含まれる。マージ／スキップ候補リストの候補の数量がスレショルド（たとえば、５）以下である場合、結合されたＭＶＰ９２０を用いて、ひとつ以上の結合されたＭＶＰが含まれる。選択工程９１０からの保留候補に基づいて、結合されたＭＶＰプロセス（９２０）が、ひとつ以上のバイプレディクティブマージ／スキップ候補を生成する。図１０は、インター予測モードのインター予測（ＡＭＶＰ）候補導出プロセスを示す図であり、選択工程１０１０は、ビュー間候補２１０、第一空間候補５１１、第二空間候補５１２と時間的候補２１５に適用される。その後、選択工程１０１０からひとつ以上の保留候補は、インター予測（ＡＭＶＰ）候補リスト１０２０中に含まれる。再度、候補の数量がスレショルド（たとえば、３）以下である場合、ゼロＭＶＰ（２４０）は、インター予測（ＡＭＶＰ）候補リスト１０２０中に含まれる。

【0026】

第六実施形態において、インター予測（ＡＭＶＰ）モードの選択工程は、二個の空間候補間の一比較だけを実行する。時間的候補とビュー間候補は、選択工程から除外される。たとえば、それが、第一空間候補と異なる場合だけ、第二空間候補が、候補集合に挿入される。ＨＴＭ３．１中、インター予測モードの二個の空間候補は、現在のブロックの左下側に隣接するＡ１ブロックと現在のブロックの右上側に隣接するＢ１ブロックに対応する。しかし、本発明によるインター予測モードの二個の空間候補は、Ａ１とＢ１以外の空間隣接ブロックと関連する。

【0027】

第七実施形態において、インター予測（ＡＭＶＰ）モードの選択工程は、空間とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が候補集合に挿入される。それが有効である限りは、第一空間候補は、常に、インター予測（ＡＭＶＰ）候補リストに挿入される。インター予測（ＡＭＶＰ）候補リストから除外される空間とビュー間候補の条件は以下のようである。
・第二空間候補：第二空間候補は、第一空間と同じ動き情報を有する。
・ビュー間候補：ビュー間候補は、第一空間候補と同じ動き情報を有する。

【0028】

第八実施形態において、インター予測（ＡＭＶＰ）モードの選択工程は、空間とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が候補集合に挿入される。それが有効である限りは、ビュー間候補は、常に、インター予測（ＡＭＶＰ）候補リストに挿入される。インター予測（ＡＭＶＰ）候補リストから除外される空間候補の条件は以下のようである。
・第一空間候補：第一空間候補は、ビュー間候補と同じ動き情報を有する。
・第二空間候補：第二空間候補は、第一空間候補と同じ動き情報を有する。

【0029】

第九実施形態において、インター予測（ＡＭＶＰ）モードの選択工程は、空間候補、時間的候補およびビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。この空間候補、時間的候補またはビュー間候補の特定条件に基づいて、空間候補、時間的候補またはビュー間候補の動き情報が候補集合に挿入される。それが有効である限りは、第一空間候補は、常に、インター予測（ＡＭＶＰ）候補リストに挿入される。インター予測（ＡＭＶＰ）候補リストから除外される空間候補、時間的候補およびビュー間候補の条件は以下のようである。
・第二空間候補：第二空間候補は、第一空間候補と同じ動き情報を有する。
・ビュー間候補：ビュー間候補は、第一空間候補と同じ動き情報を有する。
・時間的候補：時間的候補は、第一空間と同じ動き情報を有する。

【0030】

第十実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、インター予測またはマージ／スキップ候補リストに挿入される。動き情報（たとえば、運動ベクトルまたは視差ベクトル）がＡ１に対し有効である場合、選択工程は、常に、リスト中で、空間候補Ａ１を保留する。インター予測またはマージ／スキップ候補リストから除外される空間とビュー間候補の条件は以下のようである（図１１に示される）：
・Ｉ：Ｉは、Ａ１と同じ動き情報を有する（矢印１１１０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１１２０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１１３０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１１４０で示される）
先ほどの例において、Ｂ２が有効である場合、Ｂ２は、インター予測またはマージ／スキップ候補リスト中に含まれる。たとえば、Ｂ２は動き情報を有するか、または、イントラ符号化ブロックではない。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0031】

第十一実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、インター予測またはマージ／スキップ候補リストに挿入される。運動ベクトルがＩに対し有効である場合、選択工程は、常に、インター予測またはマージ／スキップ候補リスト中で、Ｉ（つまり、ビュー間候補）を保留する。インター予測またはマージ／スキップ候補リストから除外される空間候補の条件は以下のようである（図１２に示される）：
・Ａ１：Ａ１はＩと同じ動き情報を有する（矢印１２１０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１２２０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１２３０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１２４０で示される）
先ほどの例において、Ｂ２が有効である場合、Ｂ２は、インター予測またはマージ／スキップ候補リスト中に含まれる。たとえば、Ｂ２は動き情報を有するかまたは、イントラ符号化ブロックではない。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２が確認される。

【0032】

第十二実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、インター予測またはマージ／スキップ候補リストに挿入される。動き情報（たとえば、運動ベクトルまたは視差ベクトル）がＡ１に対し有効である場合、選択工程は、常に、インター予測またはマージ／スキップ候補リスト中、Ａ１を保留する。マージ／スキップ候補リストから除外される空間とビュー間候補の条件は以下のようである（図１３に示される）：・Ｉ：Ｉは、Ａ１と同じ動き情報を有する（矢印１３１０で示される）または、Ｂ１と同じ動き情報を有する（矢印１３７０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１３２０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１３３０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１３４０で示される）
・Ｂ２：Ｂ２は、Ａ１と同じ動き情報を有する（矢印１３５０で示される）または、Ｂ１と同じ動き情報を有する（矢印１３６０で示される）。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0033】

第十三実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、マージ／スキップ候補リストに挿入される。運動ベクトルがＡ１に対し有効である場合、選択工程は、常に、インター予測またはマージ／スキップ候補リストで、A１を保留する。インター予測またはマージ／スキップ候補リストから除外される空間とビュー間候補の条件は以下のようである（図１４）：
・Ｉ：Ｉは、Ａ１と同じ動き情報を有する（矢印１４１０で示される）または、Ｂ１と同じ動き情報を有する（矢印１４５０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１４２０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１４３０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１４４０で示される）
先ほどの例において、Ｂ２が有効である場合、Ｂ２がインター予測またはマージ／スキップ候補リスト中に含まれる。たとえば、Ｂ２は動き情報を有するまたはイントラ符号化ブロックではない。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0034】

第十四実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報は、インター予測またはマージ／スキップ候補リストに挿入される。運動ベクトルがＩに対し有効である場合、選択工程は、常に、インター予測またはマージ／スキップ候補リスト中で、Ｉ（つまり、ビュー間候補）を保留する。インター予測またはマージ／スキップ候補リストから除外されるこれらの空間候補の条件は以下のようである（図１５に示される）：
・Ａ１：Ａ１はＩと同じ動き情報を有する（矢印１５１０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１５２０で示される）またはＩと同じ動き情報を有する（矢印１５３０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１５４０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１５５０で示される）
・Ｂ２：Ｂ２は、Ａ１と同じ動き情報を有する（矢印１５６０で示される）または、Ｂ１と同じ動き情報を有する（矢印１５７０で示される）。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0035】

第十五実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、インター予測またはマージ／スキップ候補リストに挿入される。動き情報（たとえば、運動ベクトルまたは視差ベクトル）がＩに対して有効である場合、選択工程は、常に、マージ／スキップ候補リスト中で、Ｉ（つまり、ビュー間候補）を保留する。マージ／スキップ候補リストから除外される空間候補の条件は以下のようである（図１６に示される）：
・Ａ１：Ａ１はＩと同じ動き情報を有する（矢印１６１０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１６２０で示される）またはＩと同じ動き情報を有する（矢印１６３０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１６４０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１６５０で示される）
先ほどの例において、Ｂ２が有効である場合、Ｂ２がインター予測またはマージ／スキップ候補リスト中に含まれる。たとえば、Ｂ２は動き情報を有するまたはイントラ符号化ブロックではない。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0036】

第十六実施形態において、インター予測、マージおよびスキップモードの選択工程は、空間候補、時間的候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。この空間候補、時間的候補またはビュー間候補の特定条件に基づいて、空間候補、時間的候補またはビュー間候補の動き情報が、インター予測またはマージ／スキップ候補リストに挿入される。運動ベクトルがＡ１に対し有効である場合、選択工程は、常に、リスト中で、Ａ１を保留する。インター予測またはマージ／スキップ候補リストから除外されるこれらの空間候補の条件は以下のようである（図１７に示される）：
・Ｉ：Ｉは、Ａ１と同じ動き情報を有する（Ｉはビュー間候補）（矢印１７１０で示される）
・Ｂ１：Ｂ１は、Ａ１と同じ動き情報を有する（矢印１７２０で示される）
・Ｂ０：Ｂ０は、Ｂ１と同じ動き情報を有する（矢印１７３０で示される）
・Ａ０：Ａ０は、Ａ１と同じ動き情報を有する（矢印１７４０で示される）
・T：Tは、Ａ１と同じ動き情報を有する（矢印１７５０で示される）
先ほどの例において、Ｂ２が有効である場合、Ｂ２は、インター予測またはマージ／スキップ候補リスト中に含まれる。たとえば、Ｂ２は動き情報を有するまたはイントラ符号化ブロックではない。Ａ１，Ｂ１，Ｂ０またはＡ０のいづれかが、インター予測またはマージ／スキップ候補リストから除外される場合のみ、Ｂ２がチェックされる。

【0037】

第十七実施形態において、マージとスキップモードの選択工程だけが、空間候補、時間的候補およびビュー間候補から候補間で、少数の並列な動き情報比較を実行する。ビュー間候補、時間的候補、または、ビュー間候補と時間的候補両方が、第一有効空間候補と比較される。

【0038】

第十八実施形態において、インター予測モード（ＡＭＶＰ）の選択工程は、空間とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。時間的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、候補集合に挿入される。それが有効である限りは、ビュー間候補は、常に、インター予測（ＡＭＶＰ）候補リストに挿入される。ＡＭＶＰ候補リストから除外される空間候補の条件は以下のようである。
・第一空間候補：第一空間候補は、ビュー間候補と同じ動き情報を有する。
・第二空間候補：第二空間候補は、ビュー間候補と同じ動き情報を有する。
上述の実施形態において、時間的候補に代わって、ビュー間候補が、選択工程から除外される。それが有効である限りは、時間的候補は、常に、インター予測（ＡＭＶＰ）候補リストに挿入される。また、ビュー間候補と比較するのに代わって、第一と第二空間候補が、時間的候補と比較される。

【0039】

さらに、上述の実施形態において、空間候補が常に候補リスト中に含まれるとき、Ａ１ブロックが選択される。別の隣接ブロックも選択される。たとえば、空間候補が常に候補リスト中に含まれるとき、Ａ１ブロックに代わって、Ｂ１ブロックが選択される。

【0040】

図１８は、本発明の一実施形態による選択工程を組み込んだ三次元符号または復号化システムのフローチャートである。ステップ１８１０において、システムは、現在のテクスチャブロックに関連する処理されるデータを受信する。符号化において、現在のテクスチャブロックに関連する処理されるデータは、オリジナルの画素データ、深さデータまたは符号化される現在のブロック（たとえば、運動ベクトル、視差ベクトル、運動ベクトル差異または視差ベクトル差異）に関連する別の情報に対応する。処理されるデータは、さらに、ビュー間予測される残余画素データに対応する。後者の場合は、残余画素データが、ビュー間予測を用いて、さらに予測されて、残余画素データの別の残余データを生成する。復号化において、処理されるデータは、残余データ（残余画素データまたは深さデータ）、または、別の残余データのビュー間残余データに対応して、画素データまたは深さデータ、または、現在のブロックに関連する別の圧縮されたまたは符号化情報（たとえば、運動ベクトル、視差ベクトル、運動ベクトル差異または視差ベクトル差異）を再構成する。処理されるデータは、ストレージ、たとえば、コンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）または別の媒体から検索される。処理されるデータは、また、プロセッサ、たとえば、処理されるデータを生成するコントローラー、中央処理装置、デジタル信号プロセッサまたは電子回路から受信される。現在のブロックの空間隣接ブロックに関連する空間候補および現在のブロックのビュー間候補と時間的候補がステップ１８２０で決定され、候補は、運動ベクトル候補または視差ベクトル候補に対応する。その後、ステップ１８３０に示されるように、選択工程が、ひとつ以上の空間候補およびビュー間候補と時間的候補の少なくともひとつに適用されて、保留候補集合を生成する；選択工程は、ひとつ以上の空間候補とビュー間候補と時間的候補の少なくともひとつ間で、任意の冗長候補を除去する。ステップ１８４０において、マージ／スキップ候補リストが生成され、候補リストは保留候補集合を含む。その後、ステップ１８５０において、処理されるデータが、マージ／スキップモードで符号化または復号化されるとき、ビュー間予測符号化は、マージ／スキップ候補リストを用いることにより、処理されるデータに適用される。

【0041】

図１９は、本発明の一実施形態による選択工程を組み込んだ別の三次元符号化または復号化システムのフローチャートである。ステップ１９１０に示されるように、システムは、現在のテクスチャブロックに関連する処理されるデータを受信する。ステップ１９２０において、現在のブロックの空間隣接ブロックに関連する空間候補と現在のブロックのビュー間候補が決定され、候補は、運動ベクトル候補または視差ベクトル候補に対応する。その後、ステップ１９３０において、選択工程が、選択候補集合に適用されて、保留候補集合を生成する；選択候補集合は、ビュー間候補と少なくとも二つの空間候補を含み、選択工程選択候補集合は、選択候補集合中、任意の冗長候補を除去する。保留候補集合を含むインター予測、マージまたはスキップ候補リストがステップ１９４０において生成される。その後、ステップ１９５０において、処理されるデータが、それぞれ、インター予測、マージまたはスキップモードで、符号化または復号化されるとき、ビュー間予測符号化または復号化は、インター予測、マージまたはスキップ候補リストを用いて、処理されるデータに適用される。

【0042】

上述のフローチャートは、本発明の一実施形態によるひとつ以上の空間候補およびビュー間候補と時間的候補の少なくともひとつに基づいて、保留候補集合を生成する選択工程の例を説明することを目的する。当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で、各ステップを修正、再アレンジ、ステップを分割、ステップを結合することができる。

【0043】

上述の記述が提示され、当業者は、特定のアプリケーションとその要求の内容で提供されるように、本発明を実施することができる。記述された具体例への各種修正は当業者には明らかであり、ここで定義される一般原則は別の実施形態に適用できる。よって、本発明は、図示および記述される特定の実施形態に限定されず、開示される原則と新規特徴と一致する幅広い範囲が認められる。上記の詳細な説明において、本発明を十分に理解するため、各種特定の詳細が説明されている。

【0044】

上述される本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の実施形態は、ビデオ圧縮チップに整合される回路またはビデオ圧縮ソフトウェアに整合されるプログラムコードで、ここで記述される処理を実行する。本発明の実施形態は、デジタル信号プロセッサ（ＤＳＰ）で実行されるプログラムコードで、ここで記述される処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコードまたはファームウェアコードを実行することにより、本発明による特定のタスクを実行することができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語および異なるフォーマットまたはスタイルで展開される。ソフトウェアコードは、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明に関連するタスクを実行する異なるコードフォーマット、ソフトウェアコードのスタイルと言語および設定コードの別の手段は、本発明の精神と領域を脱しない。

【0045】

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変更を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】