特許 6042556 ３Ｄビデオ符号化における制約される視差ベクトル導出の方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6042556

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月14日

(54)【発明の名称】３Ｄビデオ符号化における制約される視差ベクトル導出の方法と装置

(51)【国際特許分類】

   H04N 19/513 20140101AFI20161206BHJP

   H04N 19/597 20140101ALI20161206BHJP

   H04N 19/70 20140101ALI20161206BHJP

【ＦＩ】

   H04N19/513

   H04N19/597

   H04N19/70

【請求項の数】20

【全頁数】18

(21)【出願番号】特願2015-542150(P2015-542150)

(86)(22)【出願日】2013年11月15日

(65)【公表番号】特表2016-501469(P2016-501469A)

(43)【公表日】2016年1月18日

(86)【国際出願番号】CN2013087215

(87)【国際公開番号】WO2014075625

(87)【国際公開日】20140522

【審査請求日】2015年7月17日

(31)【優先権主張番号】61/727,220

(32)【優先日】2012年11月16日

(33)【優先権主張国】US

(31)【優先権主張番号】61/756,043

(32)【優先日】2013年1月24日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516251901

【氏名又は名称】寰發股▲ふん▼有限公司

【氏名又は名称原語表記】ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許業務法人

(72)【発明者】

【氏名】チェン， イー−ウェン

(72)【発明者】

【氏名】リン， ジャン−リャン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 Yi-Wen Chen et al.，3D-CE5.h related: Constrained DV for inter-view data access，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: Shanghai, CN，２０１２年１０月１３日，[JCT3V-B0087]

【文献】 Wenyi Su et al.，3DV-CE1.a: Block-based View Synthesis Prediction for 3DV-ATM，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 1st Meeting: Stockholm, SE，２０１２年 ７月１６日，[JCT2-A0107]

【文献】 Tadashi Uchiumi et al.，3D-CE5.h related: Restricted motion vector coding for inter-view prediction，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: Shanghai, CN，２０１２年１０月１３日，[JCT3V-B0113]

【文献】 Yu-Lin Chang et al.，3D-CE5.h related: Depth-oriented Neighboring Block Disparity Vector (DoNBDV) with virtual depth，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: Shanghai, CN，２０１２年１０月１３日，[JCT3V-B0090]

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

三次元または多視点ビデオの復号化の方法であって、本方法は、
ディペンデントビューに対応する現在のテクスチャフレームの現在のテクスチャブロックに関連する入力データを受信する工程と、
前記現在のテクスチャブロックの生成されたＤＶ（視差ベクトル）を決定する工程と、
ＤＶ制約を、前記生成されたＤＶに適用し、または、適用せずに、最後に生成されたＤＶを得る工程と、
選択された符号化ツールの少なくともひとつを用いて、ビュー間予測復号化を前記入力データに適用する工程であって、同じ最後に生成されたＤＶが、選択された符号化ツール全てにより用いられ、選択された符号化ツールは、ＤＣＰ（視差補償予測）は除外し、ビュー間残差予測、ビュー合成予測、および、ビュー間動きパラメータ予測を含む工程と
を有することを特徴とする方法。

【請求項2】

前記最後に生成されたＤＶが用いられて、前記ビュー間残差予測のビュー間ピクチャ中のリファレンス残差ブロックを配置し、前記最後に生成されたＤＶ、または、前記最後に生成されたＤＶにより配置されるリファレンスブロックに関連する、関連する動きベクトルが、前記ビュー間動きパラメータ予測のビュー間動きベクトル予測として用いられ、前記最後に生成されたＤＶが用いられて、ビュー合成予測のビュー間深さ画像中のリファレンス深さブロックを配置することを特徴とする請求項１に記載の方法。

【請求項3】

ＤＶ制約表示にしたがって、前記生成されたＤＶにＤＶ制約を適用する、または、適用しないことが決定されることを特徴とする請求項１に記載の方法。

【請求項4】

符号化プロファイルにしたがって、前記ＤＶ制約表示が決定されることを特徴とする請求項３に記載の方法。

【請求項5】

前記ＤＶ制約表示が、前記ＤＶ制約が第一プロファイルにとって有効であることを示すとき、選択された符号化ツールは前記ＤＣＰ（視差補償予測）を除外すると共に、前記ＤＣＰに用いられる生成された一ＤＶの垂直方向成分が小範囲で設定され、選択された符号化ツールに用いられる生成された一ＤＶの一垂直方向成分がゼロに設定されることを特徴とする請求項４に記載の方法。

【請求項6】

前記ＤＶ制約表示は、ＶＰＳ（ビデオパラメータセット）、ＰＰＳ（picture parameter set）、ＳＰＳ（sequence parameter set）、スライスヘッダー、シーケンスレベル、ビューレベル、ピクチャレベル、スライスレベル、ＬＣＵレベル、ＣＴＵレベル、ＣＵレベル、または、ＰＵレベルで、構文要素を用いてシグナリングされることを特徴とする請求項３に記載の方法。

【請求項7】

構文要素が、ＶＰＳ（ビデオパラメータセット）、ＰＰＳ（picture parameter set）、ＳＰＳ（sequence parameter set）、スライスヘッダー、シーケンスレベル、ビューレベル、ピクチャレベル、スライスレベル、ＬＣＵレベル、ＣＴＵレベル、ＣＵレベル、または、ＰＵレベルでシグナリングされて、前記ＤＶ制約が適用される前記生成されたＤＶのどの成分かを示すことを特徴とする請求項１に記載の方法。

【請求項8】

ＤＶ制約の前記適用は、前記最後に生成されたＤＶの垂直方向成分、または、水平成分をゼロに、または、縮小範囲に設定することを特徴とする請求項１に記載の方法。

【請求項9】

前記最後に生成されたＤＶがサブ−サンプル位置を指し示し、ＤＶ制約が適用されるとき、１Ｄフィルター（一次元フィルター）を用いて、リファレンスビューの残差サンプルを補間することにより、前記ビュー間残差予測の残差予測信号が生成されることを特徴とする請求項１に記載の方法。

【請求項10】

前記１Ｄフィルターは１Ｄ線形フィルターとして選択されることを特徴とする請求項９に記載の方法。

【請求項11】

前記最後に生成されたＤＶがサブ−サンプル位置を指し示し、ＤＶ制約が適用されないとき、２Ｄフィルター（二次元フィルター）を用いて、リファレンスビューの残差サンプルを補間することにより、前記ビュー間残差予測の残差予測信号が生成されることを特徴とする請求項１に記載の方法。

【請求項12】

前記２Ｄフィルターは２Ｄ双線形フィルターとして選択されることを特徴とする請求項１１に記載の方法。

【請求項13】

前記符号化ツールは、さらに、ＤｏＮＢＤＶ（深さ配向の隣接ブロックの視差ベクトル）を有し、最後に生成されたＤＶがサブ−サンプル位置を指し示し、ＤＶ制約が適用されるとき、１Ｄフィルター（一次元フィルター）を用いて、リファレンスビューの深さサンプルを補間することにより、ＤｏＮＢＤＶの深さ信号が生成されることを特徴とする請求項１に記載の方法。

【請求項14】

前記１Ｄフィルターは、前記最後に生成されたＤＶを整数値にラウンディングすることにより生成されるラウンディングＤＶにより指し示される第一整数深さサンプルの第一値を用いる１Ｄラウンディングフィルターであることを特徴とする請求項１３に記載の方法。

【請求項15】

ＤＶ制約が適用されるとき、ＤｏＮＢＤＶにより生成される前記ＤＶの垂直方向成分がゼロに設定されることを特徴とする請求項１３に記載の方法。

【請求項16】

前記符号化ツールは、さらに、ＤｏＮＢＤＶ（深さ配向の隣接ブロックの視差ベクトル）を含み、前記最後に生成されたＤＶがサブ−サンプル位置を指し示し、および、ＤＶ制約インジケーターが適用されないとき、２Ｄフィルター（二次元フィルター）を用いて、リファレンスビューの深さサンプルを補間することにより、ＤｏＮＢＤＶの深さ信号が生成されることを特徴とする請求項１に記載の方法。

【請求項17】

前記２Ｄフィルターは、前記最後に生成されたＤＶを整数値にラウンディングすることにより生成されるラウンディングＤＶにより指し示される第一整数深さサンプルの第一値を用いる２Ｄラウンディングフィルターであることを特徴とする請求項１６に記載の方法。

【請求項18】

三次元または多視点ビデオの復号化装置であって、前記装置は、ひとつ、または、それ以上の電子回路を有し、前記ひとつ、または、それ以上の電子回路は、
ディペンデントビューに対応する現在のテクスチャフレームの現在のテクスチャブロックに関連する入力データを受信し、
前記現在のテクスチャブロックの生成されたＤＶ（視差ベクトル）を決定し、
前記生成されたＤＶに、ＤＶ制約を適用する、または、適用せずに、最後に生成されたＤＶを得て、
選択された符号化ツールの少なくともひとつを利用して、ビュー間予測復号化を、前記入力データに適用し、最後に生成された同じＤＶがすべての選択された符号化ツールにより用いられ、前記選択された符号化ツールは、ＤＣＰ（視差補償予測）は除外し、ビュー間残差予測、ビュー合成予測、および、ビュー間動きパラメータ予測を含む
ように構成されていることを特徴とする装置。

【請求項19】

三次元または多視点ビデオの符号化の方法であって、本方法は、
ディペンデントビューに対応する現在のテクスチャフレームの現在のテクスチャブロックに関連する入力データを受信する工程と、
前記現在のテクスチャブロックの生成されたＤＶ（視差ベクトル）を決定する工程と、
ＤＶ制約を、前記生成されたＤＶに適用し、または、適用せずに、最後に生成されたＤＶを得る工程と、
選択された符号化ツールの少なくともひとつを用いて、ビュー間予測符号化を前記入力データに適用する工程であって、同じ最後に生成されたＤＶが、選択された符号化ツール全てにより用いられ、選択された符号化ツールは、ＤＣＰ（視差補償予測）は除外し、ビュー間残差予測、ビュー合成予測、および、ビュー間動きパラメータ予測を含む工程と
を有することを特徴とする方法。

【請求項20】

三次元または多視点ビデオの符号化装置であって、前記装置は、ひとつ、または、それ以上の電子回路を有し、前記ひとつ、または、それ以上の電子回路は、
ディペンデントビューに対応する現在のテクスチャフレームの現在のテクスチャブロックに関連する入力データを受信し、
前記現在のテクスチャブロックの生成されたＤＶ（視差ベクトル）を決定し、
前記生成されたＤＶに、ＤＶ制約を適用する、または、適用せずに、最後に生成されたＤＶを得て、
選択された符号化ツールの少なくともひとつを利用して、ビュー間予測符号化を、前記入力データに適用し、最後に生成された同じＤＶがすべての選択された符号化ツールにより用いられ、前記選択された符号化ツールは、ＤＣＰ（視差補償予測）は除外し、ビュー間残差予測、ビュー合成予測、および、ビュー間動きパラメータ予測を含む
ように構成されていることを特徴とする装置。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０１２年１１月１６日に出願された“Controlling of disparity vector constraint for video coding ”と題された米国特許仮出願番号６１／７２７２２０号、および、２０１３年１月２４日に出願された“Inter-view signal prediction conditional on disparity vector constraints for video ”と題された米国特許仮出願番号６１／７５６０４３号から、優先権を主張するものであり、その内容は引用によって本願に援用される。

【0002】

本発明は、三次元のビデオ符号化（ビデオ信号の符号化）に関するものであって、特に、３Ｄビデオ符号化におけるビュー間残差予測、および、ビュー間動きパラメータ予測の視差ベクトル導出に関するものである。

【背景技術】

【0003】

三次元（３Ｄ）テレビは、近年、視聴者に、センセーショナルな視覚体験をもたらす技術となっている。各種技術が発展し、３Ｄ鑑賞を可能にする。それらの間で、多視点ビデオは、その他の中で、３ＤＴＶアプリケーションの鍵となる技術である。従来のビデオは、カメラの投射からの場面の単一ビューだけを視聴者に提供する二次元（２Ｄ）媒体である。しかし、多視点ビデオは、動的情景の任意の視点を提供し、視聴者に実際の感覚を提供することができる。

【0004】

多視点ビデオは、一般に、多眼カメラを同時に用いることにより場面をキャプチャする（取り込む）ことにより形成され、多眼カメラは適切に配置されて、各カメラは各々一視点からの場面をキャプチャする。したがって、多眼カメラは、多重の視点に対応する多重動画像列をキャプチャする。さらに多くの表示を提供するため、さらに多くのカメラが用いられて、表示に関連する多くの動画像列と、多視点ビデオを生成する。したがって、多視点ビデオは、保存のための大きい記録領域および／または伝送のための高バンド幅を必要とする。よって、多視点ビデオ符号化技術がその領域中で発展し、必要な記録領域または送信バンド幅を減少させている。

【0005】

真正面からの正直取り組み方は、従来のビデオ符号化技術を、単独で、各単一ビュー動画像列に適用すると共に、異なるビュー間での相互関係を無視する方法である。このような符号化システムは、とても非効率である。多視点ビデオ符号化の効率を改善するため、一般の多視点ビデオ符号化はビュー間（画像間）冗長を利用する。よって、大部分の３Ｄビデオ符号化（３ＤＶＣ）システムは、多重ビューと深度図に関連する映像データの相互関係を考慮する。標準的な発展体、ＩＴＵ−Ｔビデオ符号化専門家グループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣエムペグ（Moving Picture Experts Group、MPEG）のジョイントビデオチームは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣを、ステレオと多視点ビデオの多視点ビデオ符号化（ＭＶＣ）に拡張する。

【0006】

ＭＶＣは、時間的および空間的予測を採用し、圧縮効率を改善する。ＭＶＣの発展中、いくつかのマクロブロックレベルの符号化ツールが提案され、照明補償、適応参照フィルタリング、動きスキップモードとビュー合成予測を含む。これらの符号化ツールが提案され、多重ビュー間の冗長を利用する。照明補償は、異なるビュー間の照明変動の補償を対象とする。カメラ間の焦点ミスマッチのため、適応参照フィルタリングは、変動を減らすことを目的としている。動きスキップモードは、別のビューから推論される現在のビュー中で、運動ベクトルを許可する。ビュー合成予測は、別のビューから現在のビューのピクチャを予測する。

【0007】

ＨＥＶＣベースの３Ｄビデオ符号化（３Ｄ-ＨＴＭ）のリファレンスソフトウェアにおいて、隣接するビューの予め符号化された動き情報を再設定するため、ビュー間候補が、Ｉｎｔｅｒ、Ｍｅｒｇｅ、および、Ｓｋｉｐモードの動きベクトル（ＭＶ）、または、視差ベクトル（ＤＶ）候補として加えられる。３Ｄ−ＨＴＭにおいて、符号化ユニット（ＣＵ）として知られる圧縮の基本ユニットは２Ｎｘ２Ｎの四角形ブロックである。各ＣＵは、所定の最小サイズになるまで、再帰的に、４つの小さいＣＵに分ける。各ＣＵはひとつ以上の予測ユニット（ＰＵ）を含む。

【0008】

隣接するビューの予め符号化されたテクスチャ情報をシェアするため、視差補償予測（ＤＣＰ）として知られる技術は、動き補償予測（ＭＣＰ）の代替の符号化ツールとして、３Ｄ−ＨＴＭ中に含まれている。ＭＣＰは、同じビューの予め符号化された画像を用いるピクチャ間（inter-picture）予測、ＤＣＰは、同じアクセスユニット中、その他のビューの予め符号化された画像を用いたピクチャ間予測である。図１は、ＭＣＰとＤＣＰを組み込んだ３Ｄビデオ符号化システムの例を示す図である。ＤＣＰに用いられるベクトル（１１０）は視差ベクトル（ＤＶ）で、ＭＣＰに用いられる動きベクトル（ＭＶ）に類似する。図１は、ＭＣＰに関連する３個のＭＶ（１２０、１３０、および、１４０）を説明する。さらに、ＤＣＰブロックのＤＶは、さらに、ビュー間リファレンス画像を用いる隣接ブロック、または、時間的配列ブロックから生成する視差ベクトル予測（ＤＶＰ）候補により予測される。３Ｄ−ＨＴＭにおいて、Ｍｅｒｇｅ／Ｓｋｉｐモードのビュー間合併候補を生成するとき、対応するブロックの動き情報が利用可能でない、または、有効出ない場合、ビュー間合併候補がＤＶにより代替される。

【0009】

ビュー間残差予測は、３Ｄ−ＨＴＭ中に用いられる別の符号化ツールである。図２に示されるように、隣接するビューの予め符号化された残差情報をシェアするため、現在の予測ブロック（ＰＵ）の残留信号は、ビュー間ピクチャ中の対応するブロックの残留信号により予測される。対応するブロックは対応するＤＶにより設置される。特定のカメラ位置に対応する映像、および、奥行きマップが、ビュー識別子（すなわち、図２中のＶ０、Ｖ１とＶ２）で示される。同じカメラ位置に属する全映像と奥行きマップは、同じビューＩｄ（すなわち、ビュー識別子）に関連する。ビュー識別子が用いられて、アクセスユニット中の符号順序を指定し、エラーが出やすい環境において、紛失したビューを検出する。アクセスユニットは、同一時刻に対応する全映像と奥行きマップを含む。アクセスユニット中、ビューＩｄが０の映像、および、関連する奥行きマップが存在するとき、まず、ビューＩｄが１の映像と奥行きマップが符号化される。ビューＩｄが０（すなわち、図２中のＶ０）のビューも、ベースビュー、または、ディペンデントビューと称される。ベースビュー映像は、従来のＨＥＶＣビデオコーダーを用いて符号化され、別のビューに頼る必要がない。

【0010】

図２に示されるように、現在のブロックにとって、動きベクトル予測（ＭＶＰ）／視差ベクトル予測（ＤＶＰ）が、ビュー間ピクチャ中のビュー間ブロックから生成される。続いて、ビュー間ピクチャ中のビュー間ブロックが、ビュー間ブロックとして短縮される。生成された候補はビュー間候補で、ビュー間ＭＶＰ、または、ＤＶＰになる。別のビュー中の予め符号化された動き情報に基づいた現在のブロック（たとえば、現在の予測ユニット、ＰＵ）の動き情報を符号化する符号化ツールは、ビュー間動きパラメータ予測である。さらに、隣接するビュー中の対応するブロックはビュー間ブロックで、ビュー間ブロックが、現在の画像中の現在のブロックの深さ情報から生成される視差ベクトルを用いて配置される。

【0011】

ビュー合成予測（ＶＳＰ）は、異なる視点から、ビデオ信号間のビュー間冗長を除去する技術で、合成シグナルがリファレンスとして用いられ、現在の画像を予測する。３Ｄ−ＨＥＶＣテストモデルにおいて、視差ベクトル予測を生成するいくつかのプロセスがある。その後、生成された視差ベクトルが用いられて、リファレンスビューの深さイメージ中で、深さブロックをフェッチする。フェッチされた深さブロックは、現在の予測ユニット（ＰＵ）と同サイズで、その後、現在のＰＵに後方ラッピング（backward warping）を施すのに用いられる。このほか、ラッピング操作は、サブ−ＰＵレベルの精度、たとえば、８ｘ４、または、４ｘ８ブロックで実行される。最大深度値がサブ−ＰＵブロックに選定され、サブ−ＰＵブロック中の全画素をラッピングするのに用いられる。ＶＳＰ技術は、テクスチャ画像符号化に適用される。現在の実行において、ＶＳＰは新しい合成候補として加えられ、ＶＳＰ予測の使用を示す。このような方法において、ＶＳＰブロックは、いかなる残差もないスキップしたブロックであるか、または、符号化した残差情報を有する合併ブロックである。

【0012】

図２に示される例は、Ｖ０（すなわち、ベースビュー）、Ｖ１、および、Ｖ２からのビュー符号化順序に対応する。符号化されている現在の画像の現在のブロックはＶ２である。ＨＴＭ３．１によると、ビュー間ピクチャが、現在の画像のリファレンス画像リスト中になくても、予め符号化されたビュー中のリファレンスブロックの全ＭＶは、ビュー間候補として見なされる。図２中、フレーム２１０、２２０、および、２３０は、それぞれ、時間ｔ１で、ビューＶ０、Ｖ１とＶ２からの映像、または、奥行きマップに対応する。ブロック２３２は、現在のビュー中の現在のブロックであり、ブロック２１２と２２２は、それぞれ、Ｖ０とＶ１中の現在のブロックである。ＶＯ中の現在のブロック２１２において、視差ベクトル（２１６）が用いられて、ビュー間配列ブロック（２１４）を配置する。同様に、Ｖ１中の現在のブロック２２２において、視差ベクトル（２２６）が用いられて、ビュー間配列ブロック（２２４）を配置する。ＨＴＭ３．１によると、任意の符号化されたビューからのビュー間配列ブロックに関連する動きベクトル、または、視差ベクトルは、ビュー間候補中に含まれる。よって、ビュー間候補の数量は相当大きく、これは、さらに多くの処理時間とストレージ空間が必要になる。処理時間、および／または、ストレージ要求を減少させ、ＢＤ率やその他の性能測定方面で、システムパフォーマンスに非常に注目すべき衝撃を与えることがない方法を開発することが必要である。

【0013】

３ＤＶ−ＨＴＭにおいて、視差ベクトルは、ＩｎｔｅｒモードのＤＶＰ候補、または、Ｍｅｒｇｅ／Ｓｋｉｐモードの合併候補として用いられる。生成された視差ベクトルは、また、ビュー間動き予測とビュー間残差予測のオフセットベクトルとして用いられる。オフセットベクトルとして用いられるとき、図３に示されるように、ＤＶが、空間的、または、時間的隣接ブロックから派生する。所定の順序にしたがって、複数の空間的、および、時間的隣接ブロックが決定され、空間的、および、時間的隣接ブロックのＤＶの可用性が確認される。隣接（空間的、および、時間的）ブロックに基づいたＤＶ導出のこの符号化ツールは、隣接ブロックＤＶ（ＮＢＤＶ）と称される。図３Ａに示されるように、空間的隣接ブロック集合は、現在のブロックの左下角位置（すなわち、Ａ０）、現在のブロックの左下側位置（すなわち、Ａ１）、現在のブロックの左上角位置（すなわち、Ｂ２）、現在のブロックの右上角位置（すなわち、Ｂ０）、および、現在のブロックの右上側の位置（すなわち、Ｂ１）を含む。図３Ｂに示されるように、時間的隣接ブロック集合は、時間的リファレンス画像中、現在のブロックの中心位置（すなわち、ＢＣＴＲ）、および、現在のブロックの右下角位置（すなわち、ＲＢ）を含む。中央位置を除いて、時間的リファレンス画像中の現在のブロック内の別の位置（たとえば、右下のブロック）も用いられる。つまり、現在のブロックと配置される任意のブロックは、時間的ブロック集合中に含まれる。一旦、ブロックがＤＶを有すると識別されると、確認プロセスが終了する。図３Ａ中の空間的隣接ブロックの例の検索順序は、（Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２）である。図３Ｂ中の時間的隣接ブロックの例の検索順序は（ＢＲ，ＢＣＴＲ）である。空間的、および、時間的隣接ブロックは、ＨＥＶＣ中のＡＭＶＰとＭｅｒｇｅモードの空間的、および、時間的隣接ブロックと同じである。

【0014】

ＤＣＰ符号化ブロックが、隣接ブロック集合（すなわち、図３Ａと図３Ｂに示されるように、空間的、および、時間的隣接ブロック）で見つからない場合、視差情報は、別の符号化ツール（ＤＶ−ＭＣＰ）から得られる。この場合は、隣接ブロックがＭＣＰ符号化ブロックで、且つ、その動きが、ビュー間動き予測により予測されるとき、図４に示されるように、ビュー間動き予測に用いられる視差ベクトルは、現在とビュー間リファレンス画像間の動き通信を示す。この種の動きベクトルは、ビュー間予測動きベクトルと称され、ブロックはＤＶ−ＭＣＰブロックと称される。図４は、ＤＶ−ＭＣＰブロックの例を示す図で、ＤＶ−ＭＣＰブロック（４１０）の動き情報が、ビュー間リファレンス画像中の対応するブロック（４２０）から予測される。対応するブロック（４２０）の位置が視差ベクトル（４３０）により指定される。ＤＶ−ＭＣＰブロック中で用いられる視差ベクトルは、現在とビュー間リファレンス画像間の動き通信を示す。対応するブロック（４２０）の動き情報（４２２）が用いられて、現在のビュー中の現在のブロック（４１０）の動き情報（４１２）を予測する。

【0015】

ＭＣＰブロックが、符号化されるＤＶ−ＭＣＰであるかを示し、ビュー間動きパラメータ予測の視差ベクトルを保存するため、二つの変数が用いられて、各ブロックの動きベクトル情報を表す。ｄｖＭｃｐＦｌａｇ、および、ｄｖＭｃｐＤｉｓｐａｒｉｔｙである。

【0016】

ｄｖＭｃｐＦｌａｇが１のとき、ｄｖＭＣＰ視差は、視差ベクトルがビュー間動きパラメータ予測に用いられることを示すように設定される。ＡＭＶＰとＭｅｒｇｅ候補リストの構成プロセスにおいて、候補がビュー間動きパラメータ予測により生成される場合、候補のｄｖＭｃｐＦｌａｇは、１に設定され、そうでない場合は、０に設定される。ＤＶ−ＭＣＰブロックからの視差ベクトルは以下の順序で用いられる：Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（すなわち、配列ブロックＢＣＴＲまたはＲＢ）。

【0017】

奥行きマップから、さらに精密な視差ベクトルを抽出することにより、ＮＢＤＶを増強する方法が、現在の３Ｄ−ＨＥＶＣに用いられている。まず、同じアクセスユニット中で符号化された奥行きマップからの深さブロックが検索され、現在のブロックの仮想深さとして用いられる。ＤＶ導出のためのこの符号化ツールは、深さ配向ＮＢＤＶ（ＤｏＮＢＤＶ）と称される。共同テスト条件下で、ビュー１とビュー２中のテクスチャを符号化する間、ビュー０の奥行きマップはすでに利用可能である。ビュー１とビュー２中のテクスチャの符号化は、ビュー０の奥行きマップから恩恵を受けることができる。図５で示されるように、推定された視差ベクトルは、仮想深さから引き出される。全体の流れは以下のようである：
１．現在の３Ｄ−ＨＴＭ中のＮＢＤＶである推定された視差ベクトルを用いて、符号化されたテクスチャビュー中、対応するブロックを配置する。
２．現在のブロック（符号化ユニット）の符号化されたビュー中の配列深さを、仮想深さとして用いる。
３．前のステップで検索された仮想深さ中の最大値から、ビュー間動き予測の視差ベクトルを抽出する。

【0018】

図５で説明される例において、ビュー０中の符号化された奥行きマップが用いられて、ＤＶを符号化されるビュー１中のテクスチャフレームに派生させる。ビュー０中の推定された視差ベクトル（５４０）、および、符号化された奥行きマップの現在のブロックの位置（５２０）にしたがって、符号化されたＤ０中の対応する深さブロック（５３０）が、現在のブロック（ＣＢ,５１０）に検索される。検索されたブロック（５３０）は、その後、現在のブロックの仮想深さブロック（５３０’）として用いられ、ＤＶを生成する。仮想深さブロック（５３０’）中の最大値が用いられて、ビュー間動き予測の視差ベクトルを取り出す。

【0019】

現在の３Ｄ−ＡＶＣ（3D video coding based on Advanced video coding （ＡＶＣ））において、視差ベクトル（ＤＶ）が、視差補償予測（ＤＣＰ）、予測ＤＶに用いられると共に、ビュー間対応ブロックに、ビュー間候補を生成するよう指示する。

【0020】

リファレンスビューの予め符号化されたテクスチャ情報をシェアするため、視差補償予測（ＤＣＰ）のコンセプトが代替方式として、動き補償予測（ＭＣＰ）に追加されている。ＭＣＰは、異なるアクセスユニット中の同じビューのすでに符号化された画像を用いるピクチャ間予測で、ＤＣＰは、同じアクセスユニット中の別のビューのすでに符号化された画像を用いるピクチャ間予測である。ＤＣＰに用いられるベクトルは視差ベクトル（ＤＶ）で、ＭＣＰに用いられる動きベクトル（ＭＶ）に類似する。

【0021】

Ｉｎｔｅｒモードにおいて、方向分離動きベクトル予測は、３Ｄ−ＡＶＣ中に用いられる別の符号化ツールである。方向分離動きベクトル予測は、時間的、および、ビュー間動きベクトル予測から構成される。ターゲットリファレンス画像が時間的予測画像である場合、現在のブロックＣｂ、図６Ａ中のたとえば、Ａ、Ｂ、および、Ｃ周辺の隣接するブロックの時間的動きベクトルが、動きベクトル予測の導出に用いられる。時間的動きベクトルが利用可能でない場合、ビュー間動きベクトルが用いられる。ビュー間動きベクトルが、深さから変換されるＤＶで示される対応するブロックから生成される。その後、動きベクトル予測が、隣接するブロックＡ、Ｂ、および、Ｃの動きベクトルの中央値として生成される。Ｃが利用可能でないとき、ブロックＤだけが用いられる。

【0022】

それどころか、ターゲットリファレンス画像が、ビュー間予測画像である場合、隣接ブロックのビュー間動きベクトルがビュー間予測に用いられる。ビュー間動きベクトルが利用可能でない場合、関連する深さブロック中の４個のコーナー深さサンプルの最大深度値から生成される視差ベクトルが用いられる。その後、動きベクトル予測が、隣接するブロックＡ、Ｂ、および、Ｃのビュー間動きベクトルの中央値として生成される。

【0023】

ターゲットリファレンス画像がビュー間予測画像であるとき、隣接ブロックのビュー間動きベクトルが用いられて、ビュー間動きベクトル予測を生成する。図６Ｂのブロック６１０において、対応するブロックのテクスチャデータに基づいて、空間的隣接ブロックのビュー間動きベクトルが生成される。現在のブロックＣｂに関連する奥行きマップも、ブロック６６０中に提供される。ブロック６２０中で、ブロックＡ、Ｂ、および、Ｃのビュー間動きベクトルの可用性が確認される。ブロック６３０に示されるように、ビュー間動きベクトルが利用可能でない場合、現在のブロックの視差ベクトルが用いられて、利用可能でないビュー間動きベクトルを代替する。ブロック６７０に示されるように、視差ベクトルが、関連する深さブロックの最大深度値から生成される。ブロックＡ、Ｂ、および、Ｃのビュー間動きベクトルの中央値が、ビュー間動きベクトル予測として用いられる。ブロック６４０に示されるように、従来のＭＶＰ工程において、最終ＭＶＰは、ビュー間ＭＶＰ、または、時間的ＭＶＰの動きベクトルの中央値に基づいて生成される。ブロック６５０に示されるように、動きベクトル予測に基づいて、動きベクトル符号化が実行される。

【0024】

Ｓｋｉｐ／Ｄｉｒｅｃｔモードの優先ベースのＭＶＰ候補導出は、３Ｄ−ＡＶＣの別の符号化ツールである。Ｓｋｉｐ／Ｄｉｒｅｃｔモードにおいて、ＭＶＰ候補は、所定の導出順序に基づいて生成される。図７に示されるように、隣接ブロックＡ、Ｂ、および、Ｃ（Ｃが利用可能ではないとき、Ｄだけが用いられる）から、ビュー間候補、および、３個の空間的候補の中央値が生成される。

【0025】

ビュー間ＭＶ候補導出も図７で示される。ディペンデントビューの現在のブロック（７１０）の中央点（７１２）、および、その視差ベクトルが用いられて、ベースビュー、または、リファレンスビュー中の対応点を探す。その後、ベースビュー中の対応点を含むブロックのＭＶが、現在のブロックのビュー間候補として用いられる。視差ベクトルは、隣接ブロック（Ａ、Ｂ、および、Ｃ／Ｄ）、および、中央点の深度値両方から生成される。特に、一個の隣接ブロックだけが視差ベクトル（ＤＶ）を有する場合、ＤＶは視差として用いられる。そうでなければ、ＤＶは、その後、隣接するブロックＡ、Ｂ、および、ＣのＤＶ（７２０）の中央値として生成される。ＤＶが利用可能でない場合、深さから変換されたＤＶが代わりに用いられる。生成されたＤＶは、リファレンス画像（７３０）中の対応するブロック（７４０）を配置するのに用いられる。

【0026】

上述のように、３Ｄ−ＨＥＶＣと３Ｄ−ＡＶＣ両方の３Ｄビデオ符号化において、ＤＶ導出は重大な意味を持つ。３Ｄシーケンスをテストする条件が修正され、且つ、ビュー間に垂直偏移がないことを考慮すると、ある符号化ツールは、ビュー間データアクセスの垂直方向成分がないＤＶだけを使用する。しかし、入力データが修正されない時、ＤＶの垂直方向成分で、別のビュー中の正確な対応ブロックを示す必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0027】

三次元のビデオ符号化、または、復号化の方法と装置が開示される。

【課題を解決するための手段】

【0028】

一実施形態において、現在のテクスチャブロックの生成されたＤＶ（視差ベクトル）が決定され、且つ、ＤＶ制約が、生成されたＤＶに適用され、または、適用されず、最後に生成されたＤＶを獲得する。その後、選択された符号化ツールの少なくともひとつを用いて、ビュー間予測符号化、または、復号化が入力データに適用され、最後に生成された同じＤＶが選択された符号化ツール全てにより用いられ、選択された符号化ツールは、ビュー間残差予測、ビュー合成予測、および、ビュー間動きパラメータ予測を有する。最後に生成されたＤＶが用いられて、ビュー間残差予測のビュー間ピクチャ中のリファレンス残差ブロックを配置し、最後に生成されたＤＶ、または、最後に生成されたＤＶにより配置されるリファレンスブロックに関連する、関連する動きベクトルは、ビュー間動きパラメータ予測のビュー間動きベクトル予測として用いられ、最後に生成されたＤＶが用いられて、ビュー合成予測のビュー間深さ画像中のリファレンス深さブロックを配置する。符号化ツールはＤＣＰ（視差補償予測）を除外する。ＤＶ制約表示が用いられて、ＤＶ制約が、生成されたＤＶに適用されるかどうか判断し、符号化プロファイルにしたがって、ＤＶ制約表示が決定される。

【0029】

一実施形態において、ＤＶ制約が第一プロファイルに適用されるとき、選択された符号化ツールはＤＣＰ（視差補償予測）を除外し、ＤＣＰに用いられる生成されたＤＶの垂直方向成分が、小範囲で設定され、選択された符号化ツールに生成されたＤＶの垂直方向成分がゼロに設定される。ＶＰＳ（ビデオパラメータセット）、ＰＰＳ（picture parameter set）、ＳＰＳ（sequence parameter set）、スライスヘッダー、シーケンスレベル、ビューレベル、ピクチャレベル、スライスレベル、ＬＣＵ（Coding Tree Unit;CTUとも称される）レベル、ＣＵレベル、または、ＰＵレベルで、構文要素を用いて、ＤＶ制約表示がシグナリングされる。ＤＶ制約は、最後に生成されたＤＶの垂直方向成分、または、水平成分をゼロに設定するか、または、小範囲に設定する。

【0030】

本発明の一態様は、ビュー間残差予測の補間プロセスに取り組む。最後に生成されたＤＶがサブ−サンプル位置を指し示し、ＤＶ制約が適用されるとき、１Ｄフィルター（一次元フィルター）を用いて、リファレンスビューの残差サンプルを補間することにより、ビュー間残差予測の残差予測信号が生成される。しかし、ＤＶ制約が適用されない場合、２Ｄフィルター（二次元フィルター）を用いて、リファレンスビューの残差サンプルを補間することにより、ビュー間残差予測の残差予測信号が生成される。ＤｏＮＢＤＶ（深さ配向隣接ブロック視差ベクトル）にとって、および、最後に生成されたＤＶがサブ−サンプル位置を指し示し、ＤＶ制約が適用されるとき、１Ｄフィルター（一次元フィルター）を用いて、リファレンスビューの残差サンプルを補間することにより、ＤｏＮＢＤＶの深さ信号が生成される。しかし、ＤＶ制約が適用されないとき、２Ｄフィルター（二次元フィルター）を用いて、リファレンスビューの残差サンプルを補間することにより、ＤｏＮＢＤＶの深さ信号が生成される。２Ｄフィルターは、最後に生成されたＤＶをラウンディングすることにより生成されるラウンディングＤＶにより指し示される第一整数深さサンプルの第一値を整数値にする２Ｄラウンディングフィルターである。ＤＶ制約インジケーターが、ＤＶ制約が有効であることを示すとき、ＤｏＮＢＤＶにより派生したＤＶの垂直方向成分がゼロに設定される。

【図面の簡単な説明】

【0031】

【図1】図１は、動き補償予測（ＭＣＰ）の代替方式として視差補償予測（ＤＣＰ）を組み込んだ三次元符号化の例を示す図である。

【図2】図２は、隣接するビューの予め符号化された情報、または、残差情報を用いた三次元符号化の例を示す図である。

【図3A】図３Ａは、現在のブロックの視差ベクトルを生成する現在のブロックの空間的隣接ブロックを示す図である。

【図3B】図３Ｂは、現在のブロックの視差ベクトルを生成する現在のブロックの時間的隣接ブロックを示す図である。

【図4】図４は、対応するブロックの位置が視差ベクトルにより指定される視差−ベクトルベースの動き補償予測（ＤＶ−ＭＣＰ）ブロックの例を示す図である。

【図5】図５は、ブロックの仮想深さに基づいた推定された視差ベクトルの導出の例を示す図である。

【図6A】図６Ａは、Ｉｎｔｅｒモードの方向分離の動きベクトル予測の導出に用いられるブロックを示す図である。

【図6B】図６Ｂは、Ｉｎｔｅｒモードの方向分離の動きベクトル予測の例を示す図である。

【図7】図７は、Ｓｋｉｐ／Ｄｉｒｅｃｔモードの優先ベースのＭＶＰ候補導出の例を示す図である。

【図8】図８は、本発明の一実施形態による条件制約される視差ベクトルを組み込んだビュー間予測符号化システムのフローチャートである。

【発明を実施するための形態】

【0032】

上述のように、ＤＶは、３Ｄ−ＨＥＶＣ、および、３Ｄ−ＡＶＣ両方の３Ｄビデオ符号化において非常に重要な意味を持つ。本発明の実施形態において、視差ベクトル（ＤＶ）に、条件付きで、制約を適用する、または、除去する方法が開示される。さらに、本方法は、選択的に、３Ｄ、および、多視点ビデオ符号化システムにおいて、ＤＶに適用される。

【0033】

現有の３Ｄ−ＨＥＶＣと３Ｄ−ＡＶＣにおいて、いくつかの符号化ツール中、制約が適用されて、垂直方向ＤＶ成分を強制的にゼロにする。しかし、別の符号化ツールにおいて、制約は垂直方向ＤＶ成分に適用されない。本発明の一実施形態において、視差補償予測（ＤＣＰ）に用いられるＤＶを除いて、制約が、統一方式で、全符号化ツールのＤＶに適用される、または、除去される。つまり、ＤＣＰに用いられるもの以外の全ＤＶの垂直方向成分が強制的にゼロ（あるいは、元のＤＶよりさらに小さい範囲内）になる、または、非ゼロ値を有することが容認される。制約はＤＶの水平成分に適用してもよい。さらに、制約は、選択された符号化ツールに用いられるＤＶだけに適用される。別の符号化ツールに用いられるＤＶは何の制約も受けない。あるいは、異なる制約が、別の符号化ツールに用いられるＤＶに適用される。

【0034】

現有の３Ｄ−ＨＥＶＣと３Ｄ−ＡＶＣにおいて、ＤＶ−ＭＣＰブロックから生成されるＤＶの水平成分だけが保存され、垂直方向成分が破棄される。制約がＤＶで除去されるとき、ＤＶ−ＭＣＰブロックから生成されるＤＶの垂直方法成分が非ゼロになる。この場合は、生成されるＤＶの垂直方向成分が保存される。ＤＶの条件付き制約が、ＤＶ−ＭＣＰブロックから派生するＤＶに適用される。同様に、ＤＶ上の条件付き制約が、別の３Ｄビデオ符号化ツールに適用される。

【0035】

上述の条件付き制約は、ＤＶの垂直（または、水平）成分を、強制的にゼロ、または、ＭからＮの所定範囲内で小さい値にする。特定の実施方式において、ＤＶの垂直（水平）成分をゼロに設定する代わりに、ＤＶの水平（または、垂直）成分だけが用いられる。よって、いくつかのメモリバッファが省略できる。さらに、一追加構文要素が、ＰＰＳ（picture parameter set）、ＳＰＳ（sequence parameter set）、スライスヘッダー、シーケンスレベル、ビューレベル、ピクチャレベル、スライスレベル、ＬＣＵレベル、ＣＵレベル、ＰＵレベル、または、その他のレベルでシグナリングされて、どの成分（垂直、または、水平）が制約を受けるか示す。

【0036】

ＤＶの条件付き制約は、以下の条件に基づく：
１．カメラが水平に配列されるとき。
２．入力多視点ビデオが修正されるとき。
３．ビュー間に垂直視差が存在しないとき。
４．カメラの光軸が水平で、ビューが修正されて、垂直視差が存在しないとき。
５．カメラが垂直に配列されるとき。
６．ビュー間に、水平視差が存在しないとき。
７．カメラの光軸が垂直で、ビューが修正されて、水平視差が存在しないとき。

【0037】

追加構文が、ＶＰＳ（ビデオパラメータセット）、ＰＰＳ、ＳＰＳ、スライスヘッダー、シーケンスレベル、ビューレベル、ピクチャレベル、スライスレベル、ＬＣＵレベル、ＣＵレベル、ＰＵレベル、または、その他のレベルでシグナリングされて、制約がＤＶに適用されるかどうか示す。プロファイル依存スキームが別の実施形態に用いられて、制約が生成されたＤＶに適用されるかどうか示す。符号化システムにおいて、通常、符号化プロファイルが定義され、異なるアプリケーションの符号化システムを設定する。たとえば、メインプロファイルがコモンアプリケーションに用いられる。

【0038】

単独で、または、組み合わせて、上述の例の条件が用いられる。たとえば、構文要素がシグナリングされて、ＤＣＰに用いられるＤＶの垂直方向成分が小さい範囲内にあるか、および、ＤＣＰに用いられるもの以外の全ＤＶの垂直成分が強制的にゼロになるかを示す。別の例において、構文がシグナリングされて、ＤＣＰに用いられるもの以外の全ＤＶの垂直方向成分が強制的にゼロになるか示す。この場合は、ＤＣＰに用いられるＤＶの垂直方向成分が縮小範囲に制限される、または、デフォルト設計に応じず、追加構文を送信しない。さらに別の例において、構文がシグナリングされて、ＤＣＰに用いられるＤＶの垂直方向成分が縮小範囲内にあるか示す。ＤＣＰに用いられる以外の全ＤＶの垂直方向成分は、ゼロ、または、デフォルト設計に基づいて、非ゼロになり、追加構文を送信しない。さらに別の例において、追加構文がシグナリングされて、ＤＣＰに用いられるＤＶの垂直方向成分が縮小範囲内にあるか示す。さらに、追加構文がシグナリングされて、ＤＣＰに用いられるもの以外の全ＤＶの垂直方向成分が強制的にゼロになるか示す。さらに別の例において、特定のプロファイルの選択に対し、ＤＣＰに用いられるＤＶの垂直方向成分は縮小範囲内にあり、且つ、ＤＣＰに用いられるもの以外の全ＤＶの垂直方向成分が強制的にゼロになる。

【0039】

本発明の別の実施形態において、条件付き制約が、３Ｄ、および、多視点ビデオ符号化システム中の適応符号化に適用される。ＤＶ制約は、特定範囲内で生成されたＤＶの制限されたｘ−成分（すなわち、水平成分）、ｙ−成分（すなわち、垂直方向成分）、または、両方に対応する。

【0040】

本発明の一態様は、視差ベクトルがサブ−サンプル位置を指し示すとき、ビュー間残差予測のＤＶの条件付き制約のＤＶ導出に取り組む。この場合は、１Ｄ（一次元）フィルターを用いて、リファレンスビューの残差サンプルを補間することにより、残差予測信号が得られる。以下のリストから１Ｄフィルターが選択される：
１．１Ｄ（一次元）線形フィルター、
２．二つの最も近い整数残差サンプルを平均する１Ｄ平均フィルター、
３．二つのもっとも近い整数残差サンプルの最小値を選択する１Ｄ最小フィルター、
４．二つのもっとも近い整数残差サンプルの最大値を選択する１Ｄ最大フィルター、
５．ラウンディングＤＶにより指し示される整数残差サンプルの値を用いる １Ｄラウンディングフィルター、および、
６．短縮型ＤＶにより指し示される整数残差サンプルの値を用いる１Ｄ短縮型（truncating）フィルター。

【0041】

ビュー間残差予測のＤＶ制約が無効である場合、視差ベクトルがサブ−サンプル位置を指し示す場合、２Ｄ（二次元）フィルターを用いて、リファレンスビューの残差サンプルを補間することにより、残差予測信号が得られる。２Ｄフィルターは以下のリストから選択される：
１．２Ｄ双線形フィルター、
２．４つの最も近い整数残差サンプルを平均する２Ｄ平均フィルター、
３．４つの最も近い整数残差サンプルの最小値を選択する２Ｄ最小フィルター、
４．４つの最も近い整数残差サンプルの最大値を選択する２Ｄ最大フィルター、
５．４つの最も近い整数残差サンプルの中央値を用いる２Ｄ中央値フィルター、
６．ラウンディングＤＶにより指し示される整数残差サンプルの値を用いる２Ｄラウンディングフィルター、および、
７．短縮型ＤＶにより指し示される整数残差サンプルの値を用いる２Ｄ短縮型フィルター。

【0042】

上述のリストは、イメージ処理に用いられる従来の１Ｄフィルターを示す。しかし、リストは、包括的リストの方式ではない。本発明の別の態様は、視差ベクトルがサブ−サンプル位置を指し示すとき、深さ配向の隣接ブロックの視差ベクトル（ＤｏＮＢＤＶ）の条件付き制約のＤＶ導出に取り組む。この場合は、１Ｄ（一次元）フィルターを用いて、リファレンスビューの深さサンプルを補間することにより、リファレンスビュー中の深さ信号が得られる。１Ｄフィルターが同じ１Ｄフィルターリストから選択され、有効なＤＶの条件付き制約を有するビュー間残差予測に用いられる。

【0043】

ＤｏＮＢＤＶのＤＶ制約が無効であるとき、視差ベクトルがサブ−サンプル位置を指し示す場合、２Ｄ（二次元）フィルターを用いて、リファレンスビューの深さサンプルを補間することにより、リファレンスビュー中の深さ信号が得られる。２Ｄフィルターが、同一の２Ｄフィルターリストが選択され、無効のＤＶの条件付き制約を有するビュー間残差予測に用いられる。一実施形態において、補間に用いられる２Ｄフィルターは、最後に生成されたＤＶをラウンディングすることにより生成されるラウンディングＤＶに指し示される第一整数深さサンプルの第一値を整数値にする２Ｄラウンディングフィルターである。

【0044】

本発明の一実施形態を組み込んだシステムのパフォーマンスと従来のシステムを比較する。コモンテスト条件（ＣＴＣ）シーケンスとして設計されるテストシーケンス、および、多視点符号化（ＭＶＣ）テストシーケンスが用いられて、システムパフォーマンスを比較する。ＣＴＣシーケンス（ＣＴＣ＿Ｎｏｓｈｉｆｔ）がすべて修正され、且つ、垂直方向ＤＶ成分を含まない。しかし、実際のアプリケーション中、入力多視点映像は必ずしも修正されない。よって、垂直方向ＤＶ成分（ＣＴＣ＿Ｓｈｉｆｔ１６，ＣＴＣ＿Ｓｈｉｆｔ３２ｔｏＣＴＣ＿Ｓｈｉｆｔ６４）を有するシーケンスもテスティングに用いられる。同様に、ＭＶＣシーケンスは、垂直方向ＤＶ成分（ＭＶＣ＿Ｓｈｉｆｔ）を有するテストシーケンス、および、垂直方向ＤＶ成分（ＭＶＣ＿ＮｏＳｈｉｆｔ）を有するテストシーケンスを含む。表１は、現有のＨＴＭ中のＤＶ制約、および、本発明の実施形態を組み込んだシステムのＤＶ制約をまとめる。つまり、システム１はＨＴＭ−５.１システムに対応し、システム２は、本発明の一実施形態に対応し、システム２は、ビュー間残差予測とビュー間動きパラメータ予測両方に有効なＤＶ制約を有し、システム３は、本発明の一実施形態に対応し、システム３は、ビュー間残差予測とビュー間動きパラメータ予測両方に無効なＤＶ制約を有する。

【0045】

【表1】

【0046】

ＨＴＭ−５.１が、比較のためのアンカーシステムとして用いられる。アンカーシステムに関連する本発明の実施形態を組み込んだシステムの符号化パフォーマンスが表２に示される。垂直方向ＤＶ成分を有する、および、有さないＣＴＣとＭＶＣテストシーケンス両方を用いて、性能比較が実行される。ビュー１（ｖｉｄｅｏ １）、ビュー２（ｖｉｄｅｏ ２）、および、既定ピーク信号対ノイズ比（ビデオＰＳＮＲ／総ビットレート）に達するビットレート全体中のテクスチャ画像のＢＤレート差異が示される。ＢＤレート中の負の値は、本発明が高パフォーマンス（すなわち、低ビットレート）を有することを意味する。表２に示されるように、ソーステストシーケンス中に垂直方向ＤＶ成分がないとき、有効、または、無効のＤＶ制約を有する現在の発明のＢＤレートは、ＨＴＭ−５.１のＢＤレートパフォーマンスと比較可能である（総ビットレート中、０．３％減少するわずかによいパフォーマンス）。しかし、ビュー間の垂直偏移を有するシーケンスのＤＶ制約を無効にするのは、それぞれ、シフトがあるＭＶＣシーケンス、および、シフトがあるＣＴＣシーケンスに対し、０．７％と０．３％の総ＢＤレート減少を達成することができる。一方、表２に示されるように、ソーステストシーケンスが、ビュー間の垂直偏移を含むとき、ＤＶ制約を有効にすると、顕著な性能低下を生じる（総ビットレートで３％の損失）。

【0047】

【表2】

【0048】

図８は、本発明の一実施形態による条件制約される視差ベクトルを組み込んだ三次元の符号化、または、復号化システムのフローチャートである。ステップ８１０に示されるように、システムは、ディペンデントビューに対応する現在のテクスチャフレームの現在のテクスチャブロックに関連する入力データを受信する。符号化において、現在のテクスチャブロックに関連する入力データは、符号化される現在のブロック（たとえば、動きベクトル、視差ベクトル、動きベクトル差異、または、視差ベクトル差異）に関連する元の画素データ、深さデータ、残差データ、または、その他の情報に対応する。復号化において、入力データは、復号化される符号化テクスチャブロックに対応する。入力データが、ストレージ、たとえば、コンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）、または、別の媒体から検索される。入力データは、また、第一データを生成するプロセッサ、たとえば、コントローラー、中央処理ユニット、デジタル信号プロセッサ、または、電子回路から受信される。ステップ８２０に示されるように、生成されたＤＶ（視差ベクトル）が現在のテクスチャブロックに決定される。ステップ８３０において、ＤＶ制約が、生成されたＤＶに適用され、または、適用されずに、最後に生成されたＤＶを得る。ステップ８４０において、選択された符号化ツールの少なくともひとつを用いて、ビュー間予測符号化、または、復号化が入力データに適用され、最後に生成された同じＤＶがすべての選択された符号化ツールにより用いられ、選択された符号化ツールは、ビュー間残差予測、ビュー合成予測、および、ビュー間動きパラメータ予測を有する。

【0049】

上述のフローチャートは、条件制約される視差ベクトルを用いて、ビュー間予測の例を説明することを目的としている。当業者は、本発明の精神を逸脱しない範囲内で、各ステップを修正、ステップを再アレンジ、ステップを分割、または、ステップを結合して、本発明を実行することができる。

【0050】

特定のアプリケーションとその要求を提供する背景下で、上述の描写が当業者に提示されて、本発明を実施できる。記述された実施形態の各種修正は当業者に明らかであり、ここで定義される一般原則は、その他の実施形態に適用される。よって、本発明は、特定の実施形態に限定することを目的としておらず、ここで開示される原理と新規性と一致する最大範囲を与える。詳細な記述において、本発明の十分な理解を提供するため、各種特定の詳細が説明される。しかし、当業者なら、本発明を理解して、実現することができる。

【0051】

上述の本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の一実施形態は、画像圧縮チップに整合される回路、または、画像圧縮ソフトウェアに整合されるプログラムコードで、記述される処理を実行する。本発明の一実施形態は、また、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードで、記述される処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。本発明によると、これらのプロセッサが設置されて、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより特定のタスクを実行する。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語と異なるフォーマットやスタイルで発展する。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明によるタスクを実行する設定コードのソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、他の手段は、本発明の精神と範囲を逸脱しない。

【0052】

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】