特許 5986657 簡易化した深度ベースのブロック分割の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5986657

(24)【登録日】2016年8月12日

(45)【発行日】2016年9月6日

(54)【発明の名称】簡易化した深度ベースのブロック分割の方法

(51)【国際特許分類】

   H04N 19/119 20140101AFI20160823BHJP

   H04N 19/157 20140101ALI20160823BHJP

   H04N 19/176 20140101ALI20160823BHJP

   H04N 19/597 20140101ALI20160823BHJP

   H04N 13/00 20060101ALI20160823BHJP

【ＦＩ】

   H04N19/119

   H04N19/157

   H04N19/176

   H04N19/597

   H04N13/00 480

【請求項の数】15

【全頁数】12

(21)【出願番号】特願2015-50810(P2015-50810)

(22)【出願日】2015年3月13日

(65)【公開番号】特開2015-177547(P2015-177547A)

(43)【公開日】2015年10月5日

【審査請求日】2015年3月13日

(31)【優先権主張番号】PCT/CN2014/073360

(32)【優先日】2014年3月13日

(33)【優先権主張国】WO

(73)【特許権者】

【識別番号】510122658

【氏名又は名称】メディアテック シンガポール ピーティーイー エルティーディー

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許業務法人

(72)【発明者】

【氏名】張 賢國

(72)【発明者】

【氏名】林 建良

(72)【発明者】

【氏名】張 凱

(72)【発明者】

【氏名】安 基程

(72)【発明者】

【氏名】黄 ▲かん▼

【審査官】 岩井 健二

(56)【参考文献】

【文献】 国際公開第２０１５／１３７７８３（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／００９６４４（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０６８５６４（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０４７８０５（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０１６２３１（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０４６６０７（ＷＯ，Ａ２）

【文献】 Min Woo Park et al.，Simplification of DBBP in 3D-HEVC，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，8th Meeting: Valencia, ES，２０１４年 ３月，JCT3V-H0068_r1，pp.1-5

【文献】 Xianguo Zhang et al.，Simplification on depth-based block partitioning (DBBP)，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，8th Meeting: Valencia, ES，２０１４年 ３月，JCT3V-H0073，pp.1-6

【文献】 Fabian Jager et al.，CE3: Results on Depth-based Block Partitioning (DBBP)，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，7th Meeting: San Jose, USA，２０１４年 １月，JCT3V-G0106，pp.1-12

【文献】 Fabian Jager et al.，CE3: Results on Depth-based Block Partitioning (DBBP)，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，6th Meeting: Geneva, CH，２０１３年１０月，JCT3V-F0137，pp.1-11

【文献】 Fabian Jager et al.，CE3-related: Depth-based Block Partitioning，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，5th Meeting: Vienna, AT，２０１３年 ７月，JCT3V-E0118，pp.1-8

【文献】 Tomohiro Ikai，AHG7: Controllable memory bandwidth reduction with bi-pred to uni-pred conversion，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，8th Meeting: San Jose, CA, USA，２０１２年 ２月，JCTVC-H0096_r3，pp.1-8

【文献】 Yusuke Itani et al.，Improvement to AMVP/Merge process，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH，２０１１年 ３月，JCTVC-E064_r1，pp.1-8

【文献】 Hideki Takehara and Shigeru Fukushima，Temporal predictor restriction harmonized with motion vector compression，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH，２０１１年 ３月，JCTVC-E097，pp.1-5

【文献】 Fabian Jager，Depth-based Block Partitioning for 3D Video Coding，Picture Coding Symposium (PCS)，IEEE，２０１３年１２月，pp.410 - 413

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ １３／００ − １３／０４

(57)【特許請求の範囲】

【請求項1】

マルチビュー映像符号化または３次元（３Ｄ）映像符号化用の簡易化した深度ベースのブロック分割（ＤＢＢＰ）の方法であって、前記方法は、
カレントテクスチャ画像のカレントテクスチャブロックと関連した入力データを受信するステップ、
前記カレントテクスチャブロック用に深度画像の対応する深度ブロックを決定するステップ、
前記対応する深度ブロックからカレントセグメンテーションマスクを生成するステップ、
ＤＢＢＰの符号化のために、全セットの分割候補から、選択されたセットの分割候補を決定するステップ、
前記選択されたセットの前記分割候補から選択されるカレントブロック分割を決定するステップ、および
前記生成されたカレントセグメンテーションマスクおよび前記選択されたカレントブロック分割に応じて、前記カレントテクスチャブロックに前記ＤＢＢＰの符号化をするステップを含む方法。

【請求項2】

前記全セットの分割候補は、２ＮｘＮ、Ｎｘ２Ｎ、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎのブロック分割からなる請求項１に記載の方法。

【請求項3】

前記選択されたセットは、２ＮｘＮとＮｘ２Ｎのブロック分割からなり、前記選択したセットの分割候補を示す必要がない請求項１に記載の方法。

【請求項4】

前記選択されたセットの分割候補は、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示される請求項１に記載の方法。

【請求項5】

前記選択されたセットの分割候補は、有意マップ、有意テーブル、または有意フラグを用いて表される請求項４に記載の方法。

【請求項6】

前記選択されたセットの分割候補は、カレントブロックサイズが１セットの許容されたブロックサイズに属する場合、任意の分割候補を２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎの分割候補から除外する請求項１に記載の方法。

【請求項7】

前記許容されたブロックサイズのセットは、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、有意マップ、有意テーブル、または有意フラグを用いて示される請求項６に記載の方法。

【請求項8】

前記許容されたブロックサイズのセットは、予め定義され、前記ブロックサイズセットを明白に示す必要がない請求項６に記載の方法。

【請求項9】

マルチビュー映像符号化または３次元（３Ｄ）映像符号化用の簡易化した深度ベースのブロック分割（ＤＢＢＰ）の方法であって、前記方法は、
カレントテクスチャ画像のカレントテクスチャブロックと関連した入力データを受信するステップ、
カレントブロックサイズが１セットの許容されたブロックサイズに属するかどうかを決定するステップ、
前記カレントブロックサイズが前記セットの許容されたブロックサイズに属する場合、
前記カレントテクスチャブロック用に深度画像の対応する深度ブロックを決定するステップ、
前記対応する深度ブロックからカレントセグメンテーションマスクを生成するステップ、
ＤＢＢＰの符号化のためにセットの分割候補から選択されるカレントブロック分割を決定するステップ、および
前記生成されたカレントセグメンテーションマスクおよび前記カレントブロック分割に応じて、前記カレントテクスチャブロックに前記ＤＢＢＰの符号化をするステップを含む方法。

【請求項10】

前記許容されたブロックサイズのセットは、予め定義され、ブロックサイズセットを明白に示す必要がない請求項９に記載の方法。

【請求項11】

前記許容されたブロックサイズのセットは、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示される請求項９に記載の方法。

【請求項12】

前記許容されたブロックサイズのセットは、有意マップ、有意テーブル、または有意フラグを用いて表される請求項１１に記載の方法。

【請求項13】

前記許容されたブロックサイズのセットは、全てのＮｘＮのブロックからなり、前記Ｎは、正の整数Ｍより大きい請求項９に記載の方法。

【請求項14】

前記Ｎは、明白に示されるか、または予め定義される請求項１３に記載の方法。

【請求項15】

前記Ｍは、８に対応する請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元（３Ｄ）およびマルチビュー映像符号化に関し、特に、簡易化した深度ベースのブロック分割（ｄｅｐｔｈ−ｂａｓｅｄ ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ； ＤＢＢＰ）を用いたテクスチャ符号化に関するものである。

【背景技術】

【0002】

３次元（３Ｄ）テレビは、視聴者にセンセーショナルな視聴体験をもたらすことを目的とする近年の技術である。様々な技術が３Ｄ視聴を可能にするように開発されてきた。その中でも、マルチビュー映像は、３ＤＴＶアプリケーションの中でも鍵となる技術である。従来の映像は、カメラの視点から視聴者にシーンの単一のビューのみを提供する２次元の（２Ｄ）媒体である。しかしながら、３Ｄ映像は、動的シーンの任意の視点を提供し、視聴者に臨場感を体感させることができる。

【0003】

３Ｄ映像は、通常、深度情報をキャプチャする関連装置を備えた映像カメラを用いて、または同時に複数のカメラを用いてシーンをキャプチャすることによって作られ、複数のカメラは、各カメラが１つの視点からシーンをキャプチャするように適切に配置される。シーンに対応するテクスチャデータと深度データは、通常、実質的な相関関係を示す。従って、深度情報は、テクスチャデータに対して、符号化効率を向上させる、または処理の複雑度を低減させるのに用いられることができ、逆の場合も同様である。例えば、テクスチャブロックの対応する深度のブロックは、ピクセルレベルオブジェクトセグメントに対応する類似した情報を明らかにする。従って、深度情報は、ピクセルレベルのセグメントベースの動き補償を実現する助けをすることができる。従って、深度ベースのブロック分割（ＤＢＢＰ）は、現在の高効率映像符号化（ＨＥＶＣ）規格に準拠した３Ｄ映像符号化（３Ｄ−ＨＥＶＣ）においてテクスチャ映像符号化用に用いられている。

【0004】

現在の深度ベースのブロック分割（ＤＢＢＰ）は、仮想深度導出（Ｖｉｒｔｕａｌ ｄｅｐｔｈ ｄｅｒｉｖａｔｉｏｎ）、ブロックセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、ブロック分割、およびバイセグメント補償（ｂｉ−ｓｅｇｍｅｎｔ ｃｏｍｐｅｎｓａｔｉｏｎ）のステップを含む。まず、仮想深度が隣接ブロックからの視差ベクトル（ＮＢＤＶ）を用いてカレントテクスチャブロック用に導出される。導出された視差ベクトル（ＤＶ）は、カレントテクスチャブロックの位置から参照ビューに深度ブロックを配置するように用いられる。参照ビューは、ベースビューとすることができる。参照ビューにある配置された深度ブロックは、次いでカレントテクスチャブロックを符号化する仮想の深度ブロックとして用いられる。仮想の深度ブロックは、配置されたテクスチャブロック用にブロック分割を導出するものであり、ブロックセグメントは非長方形でもよい。仮想の深度ブロックの平均値、d_ＡＶＥが測定される。バイナリセグメンテーションマスクは、仮想深度値を平均値 d_ＡＶＥと比較することによって、ブロックの各ピクセル用に生成する。図１Ａ及び図１Ｂは、仮想ブロックに基づくブロックセグメントの例を表している。図１Ａでは、ディペンデントビュー中のカレントテクスチャブロック１１０用の参照ビュー中の対応する深度ブロック１２０は、カレントテクスチャブロックの位置と、３Ｄ−ＨＥＶＣに応じたＮＢＤＶを用いて導出された、導出されたＤＶ１１２とに基づいて配置される。仮想ブロックの平均値は、ステップ１４０で決定される。仮想深度のサンプル値は、ステップ１５０において平均深度値と比較され、セグメンテーションマスク１６０を生成する。図１Ｂの２つの異なるラインパターンによって示されるように、セグメントマスクは、バイナリデータで表され、下にあるピクセルがセグメント１またはセグメント２に属しているかどうかを示す。

【0005】

ピクセルベースの動き補償に係る計算の複雑さを避けるために、ＤＢＢＰはブロックベースの動き補償を用いる。各テクスチャブロックは、２ＮｘＮ、Ｎｘ２Ｎ、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎからなる６つの非正方形の分割の中の１つを用いることができる。後の４つのブロック分割は非対称動き分割（ａｓｙｍｍｅｔｒｉｃ ｍｏｔｉｏｎ ｐａｒｔｉｔｉｏｎ； ＡＭＰ）に対応する。ブロック分割がブロック分割の選択プロセスによって、これらのブロック分割候補から選択された後、２つの予測動きベクトル（ＰＭＶ）が、それぞれ分割されたブロック用に導出される。

【0006】

次いでＰＭＶは、分割される２つのセグメントを補償するように用いられる。現在の３Ｄ−ＨＥＶＣに応じて、最良のブロック分割は、セグメンテーションマスクとセグメンテーションマスクのネゲート（ｎｅｇａｔｉｏｎ）（即ち、反転されたセグメントマスク）を６つの非正方形の分割候補（即ち、２ＮｘＮ、Ｎｘ２Ｎ、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎ）と比較することによって選択される。ピクセル毎の比較は、セグメンテーションマスクとブロック分割パターンとの間のいわゆるマッチングしたピクセル（ｍａｔｃｈｅｄ ｐｉｘｅｌ）の数を数える。２つの相補的セグメンテーションマスクと６つのブロック分割タイプの組み合せに対応する１２セットのマッチングしたピクセルが数えられる必要がある。

【0007】

ブロック分割プロセスは、マッチングしたピクセルの数が最も多い候補を選択する。図２は、ブロック分割選択プロセスの例を示している。図２では、６つの非正方形のブロック分割タイプは、セグメンテーションマスクと対応する反転されたセグメントマスクの上に積層される。ブロック分割タイプとセグメントマスクとの間の最良のマッチング分割は、ＤＢＢＰのプロセス用にブロック分割として選択される。

【0008】

ブロック分割のタイプが選択された後、２つの予測動きベクトルを決定することができる。各２つの予測動きベクトルは、全てのブロックに用いられ、対応する予測ブロックを形成する。次いで、２つの予測ブロックは、セグメンテーションマスクに応じてピクセル単位でピクセル上に１つにマージされる。このプロセスは、バイセグメント補償（ｂｉ−ｓｅｇｍｅｎｔ ｃｏｍｐｅｎｓａｔｉｏｎ）とも呼ばれる。図３は、ＤＢＢＰのプロセスの例を示している。この例では、Ｎｘ２Ｎのブロック分割タイプが選択され、２つの対応する動きベクトル（ＭＶ１とＭＶ２）が２つの分割されたブロックにそれぞれ導出される。各動きベクトルは、全てのテクスチャブロックを補償するように用いられる（３１０）。従って、動きベクトルＭＶ１は、テクスチャブロック３２０に用いられ、動きベクトルＭＶ１に応じて予測ブロック３３０を生成し、動きベクトルＭＶ２もテクスチャブロック３２０に用いられ、動きベクトルＭＶ２に応じて予測ブロック３３２を生成する。２つの予測ブロックは、各々のセグメンテーションマスクを用いることによってマージされ（３４０と３４２）、最終の予測ブロックを生成する（３５０）。

【0009】

ＤＢＢＰのプロセスは、ピクセル毎のベースの動き補償を避けることによって計算量を減少しているが、ブロック分割およびブロックセグメンテーションのステップにおける問題はなお存在する。問題の１つは、ブロック分割候補のセットからブロック分割を選択することに関連するものである。図２に示されるように、カレントブロックの分割のプロセスは、６つのブロック分割候補と、各ブロック分割候補の２つの相補的セグメンテーションマスクからブロック分割を選択しなければならない。従って、ブロック分割プロセスを簡易化することが望ましい。

【0010】

もう１つの問題は、計算量と、ＤＢＢＰのプロセスと関連したメモリアクセスに関する問題である。処理される各２Ｎｘ２Ｎテクスチャブロックに対しては、対応する深度ブロックがアクセスされなければならない。カレントテクスチャブロックは、２つのＰＭＶに基づき、動き補償用に２回アクセスされなければならない。ブロックセグメンテーションプロセス、ブロック分割プロセス、およびバイセグメント補償プロセスは、全て集中的な計算を含む。ブロックサイズが小さくなったとき、画像はより多くのブロックに分割され、より多くのメモリにアクセス可能になる。従って、ＤＢＢＰのプロセスと関連する計算量とメモリアクセスを減少することが望ましい。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明は、簡易化した深度ベースのブロック分割の方法を提供する。

【課題を解決するための手段】

【0012】

本発明は、３次元（３Ｄ）およびマルチビュー映像符号化用の簡易化した深度ベースのブロック分割（ＤＢＢＰ）の方法を説明する。１つの実施形態では、選択されたセットの分割候補は、全セットより少ない分割候補からなる少なくとも一部のセットの分割候補を含む１つ以上のセットの分割候補から決定される。全セットの分割候補は、２ＮｘＮ、Ｎｘ２Ｎ、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎのブロック分割からなる。１つ以上のセットの分割候補は、２ＮｘＮとＮｘ２Ｎの分割候補からなる１つの簡易化したセットだけに対応し、選択したセットの分割候補を示す（信号により伝える）必要がない。２ＮｘＮとＮｘ２Ｎからなる１つの簡易化したセットは、前記１つ以上のセットの分割候補の中の１つでもよい。前記１つ以上のセットの分割候補は、予め定義され、前記１つ以上のセットのそれぞれは、インデックスによって示される。選択されたセットのインデックスは、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示すことができる。また、選択されたセットの分割候補は、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示すことができる。この場合、選択されたセットの分割候補は、有意マップ、有意テーブル、または有意フラグを用いて表されることができる。

【0013】

選択されたセットの分割候補は、カレントブロックサイズが１セットの許容されたブロックサイズに属する場合、任意の分割候補を２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎの分割候補から除外することができる。許容されたブロックサイズのセットは、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、有意マップ、有意テーブル、または有意フラグを用いて示す（知らせる）ことができる。許容されたブロックサイズのセットも予め定義されることができ、ブロックサイズセットを明白に示す（知らせる）必要がない。

【0014】

本発明のもう１つの実施形態では、深度ベースのブロック分割（ＤＢＢＰ）の符号化は、ブロックサイズが１セットの許容されたブロックサイズに属する場合にのみ、カレントブロックに用いられる。許容されたブロックサイズのセットは、予め定義されることができ、ブロックサイズのセットを明白に示す（知らせる）必要がない。許容されたブロックサイズのセットは、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示す（知らせる）ことができる。この場合、有意マップ、有意テーブル、または有意フラグを用いて表されることができる。許容されたブロックサイズのセットは、全てのＮｘＮのブロックサイズからなることができ、Ｎは、正の整数Ｍより大きく、Ｎは、明白に示す（知らせる）か、または予め定義される。一実施形態では、Ｍは８となるように選択される。

【図面の簡単な説明】

【0015】

【図1A】図１Ａは、ディペンデントビューのカレントテクスチャブロック用に参照ビューの対応する深度ブロックを導出する例示的な導出プロセスを示す図である。

【図1B】図１Ｂは、ディペンデントビューのカレントテクスチャブロック用に参照ビューの対応する深度ブロックに基づくセグメンテーションマスクを生成する例示的な導出プロセスを示す図である。

【図2】図２は、ブロック分割選択用にブロック分割タイプとセグメンテーションマスク／反転されたセグメントマスクの１２の可能な組み合わせの例を示す図である。

【図3】図３は、深度ベースのブロック分割（ＤＢＢＰ）を用いた３Ｄまたはマルチビュー符号化の例示的な処理フローを示す図である。

【図4】図４は、２ＮｘＮとＮｘ２Ｎの分割候補からなる一部の分割候補を用いた簡易化した深度ベースのブロック分割（ＤＢＢＰ）を例示する図である。

【図5】図５は、分割候補の一部のセットが用いられている、深度ベースのブロック分割（ＤＢＢＰ）を簡易化する本発明の実施形態を組み込んだ例示的なシステムのフローチャートである。

【図6】図６は、ブロックサイズが１セットの許容されたブロックサイズに属する場合にのみ、ＤＢＢＰのプロセスが用いられる、深度ベースのブロック分割（ＤＢＢＰ）を簡易化する本発明の実施形態を組み込んだ例示的なシステムのフローチャートである。

【発明を実施するための形態】

【0016】

現存する深度ベースのブロック分割（ＤＢＢＰ）プロセスと関連した大量の計算及び計算の複雑性という問題を克服するために、本発明は、計算量および／またはメモリアクセスを減少するさまざまな実施形態を提供する。

【0017】

１つの実施形態では、深度ベースのブロック分割（ＤＢＢＰ）プロセスは、全分割候補の一部のセットを用いている。言い換えれば、選択されたセットの候補数は、全セットの候補数より少なくすることができる。選択されたセットのブロック分割候補は、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示す（知らせる）ことができる。選択されたセットのブロック分割は、予め規定された、または予め定義されたセットの複数のセットから選択されることができる。この場合、表示は、複数のセットから選択されたセットを識別するように示さ（知らせら）れる。例えば、インデックスは、各セットと関連されることができ、且つインデックスは、明白に示（知らせら）れるか、暗に導出されることができる。或いは、一部の候補を表すさまざまな手段が、用いられることができる。例えば、有意マップがセット用に選択された特定の候補を識別するように用いられることができる。６ビットからなる全分割マップが用いられうる場合、各ビットは１つの候補に対応する。前記選択されたセットの候補に属する場合、対応のビットは１の値を有することができる。さもなければ、対応するビットは、０値を有する。有意マップは、分割候補を表す例として示されているが、他の手段、例えば、有意テーブルまたは１セットの有意フラグも用いられることができる。

【0018】

選択されたセットのブロック分割候補も暗に導出されることができる。候補のセットは、符号器および復号器が同じ導出プロセスを用いた場合、合図なく（信号により伝達されることなく）、全分割候補の予め規定されたサブセットに対応する複数のセットから選択されることができる。１セットの候補しかなく、前記セットの候補が復号器で予め定義された場合、その選択を信号により伝達（合図）する必要がない。例えば、図４に示されるように、分割候補は、全候補を除外する全てのＡＭＰ分割候補を有するセットに対応することができる。これが選択される候補の唯一のセットである場合、選択されたセットの候補を信号により伝達する必要がない。この場合、サブサンプルレベルの平均値の計算とピクセル毎のＣＵのセグメンテーションマスクの導出の後、分割選択は、２ＮｘＮとＮｘ２Ｎ分割に対応する分割候補用に評価する（即ち、マッチングしたサンプルを計算する）必要があるだけである。

【0019】

選択されたセットの分割候補もカレントブロックサイズによって決まる。例えば、選択されたセットの分割候補は、カレントブロックサイズが １セットの許容されたブロックサイズに属する場合、任意の分割候補を２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２Ｎの分割候補から除外することができる。許容されたブロックサイズのセットは、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、有意マップ、有意テーブル、または有意フラグを用いて示す（知らせる、伝達する）ことができる。許容されたブロックサイズのセットは、予め定義されることができ、ブロックサイズセットを明白に示す必要がない。

【0020】

本発明のもう１つの実施形態に係る、ＤＢＢＰのプロセスは、カレントブロックサイズ（即ち、ＣＵサイズ）に応じてカレントブロックに用いられる。言い換えれば、ＤＢＢＰのプロセスは、ブロックサイズが１セットの許容されたブロックサイズに属する場合にのみ、用いられる。ブロックサイズ制限の情報は、ビットストリームの映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、符号化ツリーユニット（ＣＴＵ）、符号化ツリーブロック（ＣＴＢ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、または変換ユニット（ＴＵ）レベルで、明白に示すことができる。また、ブロックサイズ制限に関する情報は、送信される情報がなくても復号器側で暗に決定されることができる。許容されたブロックサイズは、１つ以上の予め定義されたＣＵサイズを含む予め規定された、または予め定義されたサブセットであることができる。例えば、許容されたブロックサイズのセットは、ＮｘＮのブロックに対応することができ、Ｎは、正の整数Ｍより大きい。Ｍのセット選択は、ビットストリームで明白に示さ（知らせら）れるか、または明白に示される（信号により伝達される、知らされる）ことなく暗に導出されることができる。例えば、各ビデオシーケンスでは、許容されたブロックサイズは、ＤＢＢＰモードを用いるために８ｘ８より大きい任意のサイズであることができる。符号器および復号器は、隣接のブロックに基づく許容されたブロックサイズのセットを選択する同じ手順を用いて、明白な合図（信号による伝達）の必要をなくすこともできる。許容されたブロックサイズのセットは、有意マップ、有意テーブル、または有意フラグを用いて表されることができる。

【0021】

図５は、少なくとも１セットの分割候補が一部の分割候補だけからなる、深度ベースのブロック分割（ＤＢＢＰ）を簡易化する本発明の実施形態を組み込んだ例示的なシステムのフローチャートを示している。ステップ５１０に示されるように、前記システムは、カレントテクスチャ画像のカレントテクスチャブロックと関連した入力データを受信する。符号化では、入力データは、符号化されるピクセルデータに対応する。復号化では、入力データは、復号化される符号化ピクセルデータに対応する。入力データは、メモリ（例えばコンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）、または他のメディア）から、またはプロセッサから取得されることができる。

【0022】

ステップ５２０では、深度画像の対応する深度ブロックは、カレントテクスチャブロック用に決定される。ステップ５３０では、カレントセグメンテーションマスクは、対応する深度ブロックから生成される。ステップ５４０では、選択されたセットの分割候補は、全セットより少ない分割候補からなる、少なくとも一部のセットの分割候補を含む１つ以上のセットの分割候補から決定される。ステップ５５０では、カレントブロック分割は、対応する深度ブロックに基づく選択されたセットの分割候補から生成される。次いで、ステップ５６０では、ＤＢＢＰの符号化は、生成されたカレントセグメンテーションマスクおよび選択されたカレントブロック分割に応じて、カレントテクスチャブロックに用いられる。

【0023】

図６は、ブロックサイズが一セットの許容されたブロックサイズに属する場合にのみ、ブロックに用いられるＤＢＢＰのプロセスに、本発明の実施形態を組み込んだ例示的なシステムのフローチャートを示している。ステップ６１０に示されるように、前記システムは、カレントテクスチャ画像のカレントテクスチャブロックと関連した入力データを受信する。ステップ６２０では、カレントブロックサイズが１セットの許容されたブロックサイズに属するかどうかを決定するようにチェックされる。１セットの許容されたブロックサイズ（即ち、ｙｅｓ ｐａｔｈ）に属する場合、６３０〜６６０のステップが行われる。ステップ６３０では、深度画像の対応する深度ブロックは、カレントテクスチャブロック用に決定される。ステップ６４０では、カレントセグメンテーションマスクは、対応する深度ブロックから生成される。ステップ６５０では、カレントブロック分割は、１セットの分割候補から選択される。ステップ６６０では、ＤＢＢＰの符号化は、生成されたカレントセグメンテーションマスクおよび選択されたカレントブロック分割に応じて、カレントテクスチャブロックに用いられる。カレントブロックサイズが１セットの許容されたブロックサイズ（即ち、Ｎｏ ｐａｔｈ）に属さない場合、６３０〜６６０のステップがスキップされる。

【0024】

上述のフローチャートは、本発明に係る、簡易化した深度ベースのブロック分割（ＤＢＢＰ）を例示するものである。当業者は、各ステップを変更、再構成、分割、または組合せを行うことができる。

【0025】

上述の説明は、特定のアプリケーションおよびその要求の文脈に提供されるように、当業者が本発明を実行できるように示している。本願発明に関する種々の変更は、当業者には明らかであり、ここに定義される一般原理は、他の実施形態に用いられ得る。従って、本発明は、ここで述べられた特定の実施形態を限定することを意図するものではなく、ここで述べられる原理および新しい特徴を包括する最も広い範囲を付与されるものとする。上述の詳細の説明では、各種の特定の詳細が本発明の完全な理解を提供するために述べられる。しかしながら、本発明を実施され得る当業者には理解できるであろう。

【0026】

上述の本発明の実施形態は、さまざまなハードウェア、ソフトウェアコード、またはその組み合わせに行われることができる。例えば、本発明の実施形態は、ここに述べられる処理を行う、画像圧縮チップ内に統合された回路、または画像圧縮ソフトウェア内に統合されたプログラムコードであることができる。本発明の実施形態は、ここで述べられる処理を行う、デジタル信号プロセッサ（ＤＳＰ）で実行されるプログラムコードでもよい。本発明は、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって行なわれるいくつかの機能も含むことができる。これらのプロセッサは、発明で実現される特定の方法を定める機械読み取り可能なソフトウェアコードまたはファームウェアコードを実行することによって、発明に応じて特定のタスクを行うように構成されることができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語と異なるフォーマットまたはスタイルで開発されることができる。ソフトウェアコードは、異なるターゲットプラットホーム用にコンパイルされてもよい。しかしながら、ソフトウェアコードの異なるコードフォーマット、スタイルと、言語、および本発明に応じてタスクを行うコードを設定する他の手段は、本発明の精神および範囲を逸脱しない。

【0027】

本発明は、その精神と基本的な特徴から逸脱することなく他の特定のフォームに統合され得る。上述の実施例は、本明細書中に記述される発明を限定するものでなく、あらゆる局面において例示的であると考えられる。よって本発明の範囲は、前述の説明によってではなく、添付の請求の範囲によって示され、請求の範囲と等価な意義と範囲内にある全ての変更は、この中に含まれることが意図される。

【符号の説明】

【0028】

１１０ ディペンデントビューのテクスチャ画像
１１２ 導出されたＤＶ
１２０ 参照ビューの深度画像
１４０ 平均値
１５０ バイナリマスクの生成
１６０ セグメンテーションマスク

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】