特許 5872676 ３Ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5872676

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】３Ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置

(51)【国際特許分類】

   H04N 19/119 20140101AFI20160216BHJP

   H04N 19/159 20140101ALI20160216BHJP

   H04N 19/176 20140101ALI20160216BHJP

   H04N 19/597 20140101ALI20160216BHJP

   H04N 13/00 20060101ALI20160216BHJP

【ＦＩ】

   H04N19/119

   H04N19/159

   H04N19/176

   H04N19/597

   H04N13/00 480

【請求項の数】31

【全頁数】13

(21)【出願番号】特願2014-505504(P2014-505504)

(86)(22)【出願日】2012年6月15日

(65)【公表番号】特表2014-517563(P2014-517563A)

(43)【公表日】2014年7月17日

(86)【国際出願番号】CN2012076975

(87)【国際公開番号】WO2012171477

(87)【国際公開日】20121220

【審査請求日】2013年10月17日

(31)【優先権主張番号】61/497,441

(32)【優先日】2011年6月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】504146800

【氏名又は名称】メディアテック インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チャン，ユ−リン

(72)【発明者】

【氏名】シアン，シー−タ

(72)【発明者】

【氏名】ウ，チ−リン

(72)【発明者】

【氏名】フ，チー−ミン

(72)【発明者】

【氏名】チェン，チア−ピン

(72)【発明者】

【氏名】ツァイ，ユ−パオ

(72)【発明者】

【氏名】ホァン，ユ−ウェン

(72)【発明者】

【氏名】レイ，シャウ−ミン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 国際公開第２０１２／１２２３６４（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０４６６０７（ＷＯ，Ａ２）

【文献】 国際公開第２０１０／０４３７７３（ＷＯ，Ａ１）

【文献】 国際公開第２００９／１３１６８８（ＷＯ，Ａ２）

【文献】 Philipp Fechteler and Peter Eisert，Depth map enhanced macroblock partitioning for H.264 video coding of computer graphics content，16th IEEE International Conference on Image Processing (ICIP 2009)，IEEE，２００９年１１月，pp.3441 - 3444

【文献】 Gianluca Cernigliaro et al.，Fast mode decision for multiview video coding based on depth maps，Visual Communications and Image Processing 2009，SPIE，２００９年 １月，Vol.7257，pp.1-10

【文献】 Cevahir Cigla and A.A. Alatan，Depth Assisted Object Segmentation in Multi-View Video，3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video，IEEE，２００８年 ５月，pp.185 - 188

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ １３／００ − １３／０４

(57)【特許請求の範囲】

【請求項1】

３次元ビデオコーディングシステムにおけるテクスチャーイメージ圧縮のための方法であって：
深さマップに関する深さ情報を引き出すステップであり、前記深さマップはテクスチャーイメージと関連するステップと；
引き出された前記深さ情報に基づいて前記テクスチャーイメージをエンコーディングまたはデコーディングするステップと、を含み、
前記テクスチャーイメージは、テクスチャーブロックへとパーティション化され、かつ、
前記テクスチャーイメージの現在テクスチャーブロックに係る前記パーティション化は、前記深さマップの前記深さ情報に基づいており、
前記テクスチャーイメージの前記現在テクスチャーブロックをパーティション化するかどうかは、前記深さマップの対応する現在ブロックに係る前記深さ情報に基づいており、
前記深さマップの前記対応する現在ブロックに係る前記深さが、前記テクスチャーイメージの前記テクスチャーブロックをサブブロックにパーティション化するために使用されているかどうか、を示すようにフラグが使用されている、
ことを特徴とする方法。

【請求項2】

３次元ビデオコーディングシステムにおけるテクスチャーイメージ圧縮のための方法であって：
深さマップに関する深さ情報を引き出すステップであり、前記深さマップはテクスチャーイメージと関連するステップと；
引き出された前記深さ情報に基づいて前記テクスチャーイメージをエンコーディングまたはデコーディングするステップと、を含み、
前記テクスチャーイメージは、テクスチャーブロックへとパーティション化され、
前記テクスチャーイメージのテクスチャーブロックに係る動作情報は、別のビューにおける対応するテクスチャーブロック、または、前記深さマップの対応する深さブロックの動作情報から引き出され、かつ、
前記対応するテクスチャーブロックの位置は、前記深さマップに基づいて引き出される、
ことを特徴とする方法。

【請求項3】

前記深さ情報は、深さデータおよびパーティション情報を含む、
請求項１または２に記載の方法。

【請求項4】

デコーダー側に対して、前記深さマップは、現在ビューに対する第１の圧縮された深さマップを含む第１のビットストリームからデコードされるか、他のビューに対する第２の圧縮された深さマップを含む第２のビットストリームからデコードかつ引き出されるか、または、デコードされたテクスチャーイメージから引き出される、
請求項１または２に記載の方法。

【請求項5】

ブロックに依るインターリーブまたは映像に依るインターリーブは、前記テクスチャーイメージに関するフラグに従って選択される、
請求項１または２に記載の方法。

【請求項6】

前記フラグは、シ−ケンスレベル、画像レベル、スライスレベル、または、ブロックレベルに取り入れられている、
請求項５に記載の方法。

【請求項7】

前記テクスチャーブロックは、任意形状または長方形である、
請求項１に記載の方法。

【請求項8】

前記サブブロックの形状は、前記深さマップの前記対応する現在ブロックに係る前記深さ情報に基づいている、
請求項１に記載の方法。

【請求項9】

前記テクスチャーイメージはテクスチャーブロックへとパーティション化され、かつ、
前記テクスチャーイメージの現在テクスチャーブロックを前記テクスチャーイメージの別のテクスチャーブロックと併合するかどうかは、前記深さマップの前記深さ情報に基づいている、
請求項１または２に記載の方法。

【請求項10】

マージモードがイネーブルされているかどうかを示すようにフラグが使用されている、
請求項９に記載の方法。

【請求項11】

前記対応するテクスチャーブロックの位置は、現在ビューにおける前記深さマップに基づいて引き出される、
請求項２に記載の方法。

【請求項12】

前記動作情報は、ＭＶ、参照映像インデックス、領域パーティション、予測方向、および、予測モードを含む、
請求項２に記載の方法。

【請求項13】

前記テクスチャーイメージの前記エンコーディングまたはデコーディングは、前記テクスチャーイメージに関する動作ベクトルに従って前記テクスチャーイメージに対する予測モードを定めるステップを含み、かつ、
前記動作ベクトルは、前記深さ情報に基づいて区分される、
請求項１または２に記載の方法。

【請求項14】

前記テクスチャーイメージにおける近い対象物に対応する第１の領域においては、空間的なＭＶＰ（動作ベクトル予測）が優先的に選択され、かつ、
前記テクスチャーイメージにおける遠い対象物に対応する第２の領域においては、時間的またはビュー間のＭＶＰが優先的に選択される、
請求項１３に記載の方法。

【請求項15】

前記テクスチャーイメージの前記エンコーディングまたはデコーディングは、前記テクスチャーイメージに関する動作ベクトルに従って前記テクスチャーイメージに対するＭＶＰ（動作ベクトル予測）を取り除くステップを含み、かつ、
前記動作ベクトルは、前記深さ情報に基づいて区分される、
請求項１または２に記載の方法。

【請求項16】

ＭＶＰ候補リストから一つまたはそれ以上の余分なＭＶＰ候補が除去され、かつ、
深さ情報によって示されるように、前記テクスチャーイメージにおける遠い対象物に対応する領域に対して大きな動作を伴なう前記ＭＶＰ候補は、除去されるか、または、ＭＶＰ候補リストにおいて低い優先度が与えられる、
請求項１５に記載の方法。

【請求項17】

前記テクスチャーイメージの前記エンコーディングまたはデコーディングは、前記テクスチャーイメージに対する動作ベクトルを引き出すための動作モデルを定めるステップを含み、かつ、
前記動作モデルの決定は、前記深さマップに依存する、
請求項１または２に記載の方法。

【請求項18】

前記テクスチャーイメージにおける遠い対象物に対応する第１の領域は、並進モデルに従った前記動作ベクトルから引き出され、かつ、
前記テクスチャーイメージにおける近い対象物に対応する第２の領域は、遠近モデルに従った前記動作ベクトルから引き出される、
請求項１７に記載の方法。

【請求項19】

前記テクスチャーイメージの前記エンコーディングまたはデコーディングは、別のビューにおける対応するテクスチャーイメージの対応する領域に係るモードに基づいて、前記テクスチャーイメージの現在領域に対するモードを決定するステップを含む、
請求項１または２に記載の方法。

【請求項20】

前記対応するテクスチャーブロックの位置は、現在ビューにおける前記深さマップに基づいて引き出され、
前記対応する領域の位置は、前記現在領域の位置、および、前記テクスチャーイメージに関する前記深さマップと前記別のビューにおける前記対応するテクスチャーイメージに関する前記深さマップとの間の位置対応から引き出される、
請求項１９に記載の方法。

【請求項21】

前記モードは、予測タイプ、ブロックサイズ、参照映像インデックス、予測方向、および、パーティションを含む、
請求項１９に記載の方法。

【請求項22】

３次元ビデオコーディングシステムにおけるテクスチャーイメージ圧縮する装置であって：
深さマップマップに関する深さ情報を引き出すための手段であり、前記深さマップはテクスチャーイメージと関連する手段と；
引き出された前記深さ情報に基づいて前記テクスチャーイメージをエンコーディングまたはデコーディングするための手段と、を含み、
前記テクスチャーイメージは、テクスチャーブロックへとパーティション化され、かつ、
前記テクスチャーイメージの現在テクスチャーブロックに係る前記パーティション化は、前記深さマップの前記深さ情報に基づいており、
前記テクスチャーイメージの前記現在テクスチャーブロックをパーティション化するかどうかは、前記深さマップの対応する現在ブロックに係る前記深さ情報に基づいており、
前記深さマップの前記対応する現在ブロックに係る前記深さが、前記テクスチャーイメージの前記テクスチャーブロックをサブブロックにパーティション化するために使用されているかどうか、を示すようにフラグが使用されている、
ことを特徴とする装置。

【請求項23】

３次元ビデオコーディングシステムにおけるテクスチャーイメージ圧縮する装置であって：
深さマップマップに関する深さ情報を引き出すための手段であり、前記深さマップはテクスチャーイメージと関連する手段と；
引き出された前記深さ情報に基づいて前記テクスチャーイメージをエンコーディングまたはデコーディングするための手段と、を含み、
前記テクスチャーイメージは、テクスチャーブロックへとパーティション化され、
前記テクスチャーイメージのテクスチャーブロックに係る動作情報は、別のビューにおける対応するテクスチャーブロック、または、前記深さマップの対応する深さブロックの動作情報から引き出され、かつ、
前記対応するテクスチャーブロックの位置は、前記深さマップに基づいて引き出される、
ことを特徴とする装置。

【請求項24】

前記深さ情報は、深さデータおよびパーティション情報を含む、
請求項２２または２３に記載の装置。

【請求項25】

デコーダー側に対して、前記深さマップは、現在ビューに対する第１の圧縮された深さマップを含む第１のビットストリームからデコードされるか、他のビューに対する第２の圧縮された深さマップを含む第２のビットストリームからデコードかつ引き出されるか、または、デコードされたテクスチャーイメージから引き出される、
請求項２２または２３に記載の装置。

【請求項26】

前記テクスチャーイメージはテクスチャーブロックへとパーティション化され、かつ、
前記テクスチャーイメージの現在テクスチャーブロックを前記テクスチャーイメージの別のテクスチャーブロックと併合するかどうかは、前記深さマップの前記深さ情報に基づいている、
請求項２２または２３に記載の装置。

【請求項27】

前記テクスチャーイメージは、テクスチャーブロックへとパーティション化され、かつ、
前記テクスチャーイメージのテクスチャーブロックに係る動作情報は、別のビューにおける対応するテクスチャーブロック、または、前記深さマップの対応する深さブロックの動作情報から引き出される、
請求項２２に記載の装置。

【請求項28】

前記テクスチャーイメージをエンコーディングまたはデコーディングするための手段は、前記テクスチャーイメージに関する動作ベクトルに従って前記テクスチャーイメージに対する予測モードを定めるための手段を含み、かつ、
前記動作ベクトルは、前記深さ情報に基づいて区分される、
請求項２２または２３に記載の装置。

【請求項29】

前記テクスチャーイメージをエンコーディングまたはデコーディングするための手段は、前記テクスチャーイメージに関する動作ベクトルに従って前記テクスチャーイメージに対するＭＶＰ（動作ベクトル予測）を取り除くための手段を含み、かつ、
前記動作ベクトルは、前記深さ情報に基づいて区分される、
請求項２２または２３に記載の装置。

【請求項30】

前記テクスチャーイメージをエンコーディングまたはデコーディングするための手段は、前記テクスチャーイメージに対する動作ベクトルを引き出すための動作モデルを定めるための手段を含み、かつ、
前記動作モデルの決定するための手段は、前記深さマップに依存する、
請求項２２または２３に記載の装置。

【請求項31】

前記テクスチャーイメージをエンコーディングまたはデコーディングするための手段は、別のビューにおける対応するテクスチャーイメージの対応する領域に係るモードに基づいて、前記テクスチャーイメージの現在領域に対するモードを決定するための手段を含む、
請求項２２または２３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオコーディングに関する。特定的には、本発明は、３Ｄビデオコーディングにおけるテクスチャーイメージ圧縮に関する。

【背景技術】

【0002】

本発明は以下に対しての優先権を主張する。米国仮特許出願第６１／４９７４４１号、２０１１年６月１５日出願、タイトル「Ｍｅｔｈｏｄ ｏｆ ｃｏｍｐｒｅｓｓｉｎｇ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ ｕｓｉｎｇ ｄｅｐｔｈ ｍａｐｓ ｉｎ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ」。この米国仮特許出願は、その全てがここにおいて参照として包含される。

【0003】

３次元（３Ｄ）テレビは、近年におけるテクノロジートレンドとなっており、視聴者に対してセンセーショナルな視聴経験をもたらすことを目的としている。３Ｄ鑑賞を可能にするための種々のテクノロジーが開発されてきている。その中でも、マルチビュービデオ（ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ）は、３ＤＴＶのアプリケーションにとってのキーとなる技術である。従来のビデオは２次元（２Ｄ）の媒体であり、視聴者に対してカメラ視点からシーン（ｓｃｅｎｅ）の単一ビュー（ｖｉｅｗ）を提供するだけである。しかしながら、マルチビュービデオは、ダイナミックなシーンについて任意の視点を与えることが可能であり、視聴者にリアリズムのセンセーションを提供する。

【0004】

マルチビュービデオは、典型的には、複数のカメラを同時に使用してシーンをキャプチャーすることによって創出される。複数のカメラは、それぞれのカメラが１つの視点からのシーンをキャプチャーするように適正に配置されている。従って、複数のカメラは、複数のビューに対応する複数のビデオシーケンスをキャプチャーする。より多くのビューを提供するために、ビューに関する数多くのビデオシーケンスを伴なうマルチビュービデオを生成するようにより多くのカメラが使用されてきている。従って、マルチビュービデオは、保管のための大きなストレージスペース、及び／又は、伝送のための高いバンド幅を必要とする。そのため、業界では、必要とされるストレージスペース、または、伝送のバンド幅を削減するためにマルチビュービデオコーディング技術が開発されてきた。端的なアプローチは、従来のビデオコーディング技術を単純にそれぞれの単一ビューのビデオシーケンスに対して独立して適用して、異なるビュー間のあらゆる相関を無視することである。マルチビュービデオコーディングの効率を改善するために、典型的なマルチビュービデオコーディングは、いつでもビュー間の冗長性を利用している。

【0005】

３Ｄビデオコーディングにおけるテクスチャーイメージのコーディング効率の改善のためにビュー間の相関が有効である一方で、テクスチャーイメージと深さマップとの間にも顕著な相関が存在している。テクスチャーイメージ圧縮のコーディング効率をさらに改善するためには、テクスチャーイメージと深さマップとの間の相関を利用することが有益であろう。

【発明の概要】

【発明が解決しようとする課題】

【0006】

さらに、Ｈ．２６４／ＡＶＣまたは台頭している高効率ビデオコーディング（ＨＥＶＣ）システムといった既存の高効率コーディング規格に対する改善されたコーディング効率をもったテクスチャーイメージ圧縮スキーム（ｓｃｈｅｍｅ）を開発することが望ましい。

【課題を解決するための手段】

【0007】

３Ｄビデオコーディングシステムにおけるテクスチャーイメージ圧縮方法及び装置が開示される。本発明に従った実施例は、最初に、テクスチャーイメージに関連した深さマップに関する深さ情報を引き出し、次に、引き出された深さ情報に基づいてテクスチャーイメージを処理する。本発明は、デコーダー側と同様に、エンコーダー側にも適用することができる。深さ情報は、深さデータとパーティション情報を含み得る。深さマップは、第１の圧縮された深さマップを含む第１のビットストリームからデコードされるか、他のビューに対する第２の圧縮された深さマップを含む第２のビットストリームからデコード及び引き出されるか、または、デコードされたテクスチャーイメージから引き出されるか、のいずれであってもよい。深さマップおよびテクスチャーイメージに対するエンコーディング順序またはデコーディング順序は、ブロック依り（ｂｒｏｃｋ−ｗｉｓｅ）のインターリーブまたは映像依り（ｐｉｃｔｕｒｅ−ｗｉｓｅ）のインターリーブに基づくことができる。ブロック依りのインターリーブまたは映像依りのインターリーブは、テクスチャーイメージに関するビットストリームにおけるフラグに従って選択され得る。さらに、フラグは、シーケンスレベル、映像レベル、スライス（ｓｌｉｃｅ）レベル、または、ブロックレベルに織り込まれてもよい。

【0008】

本発明に係る一つの実施態様は、深さマップの深さ情報に基づいたテクスチャーイメージのパーティション化に関する。テクスチャーイメージは、テクスチャーブロックにパーティション化され、テクスチャーイメージに係る現在のテクスチャーブロックのパーティション化は、深さマップの深さ情報に基づいている。テクスチャーブロックは、任意の形状または長方形であってよい。テクスチャーイメージに係る現在のテクスチャーブロックがサブブロックにパーティション化されるかどうかは、対応する深さマップのブロックに係る深さ情報に基づいてよい。サブブロックの形状は、対応する深さマップのブロックに係る深さ情報に基づいてよい。テクスチャーイメージに係る現在のテクスチャーブロックをサブブロックにパーティション化するために、対応する深さマップのブロックに係る深さ情報が使用されるかどうかを示すようにフラグを使用することができる。テクスチャーイメージに係る現在のテクスチャーブロックがテクスチャーイメージに係る別のテクスチャーブロックと併合されるかどうかは、深さマップの深さ情報に基づいてよい。

【0009】

本発明に従った別の実施例において、テクスチャーイメージはテクスチャーブロックにパーティション化され、テクスチャーイメージに係るテクスチャーブロックの動作情報は、別のビューにおける対応するテクスチャーブロックの動作情報から引き出され得る。対応するテクスチャーブロックの位置は、現在のビューにおける深さマップに基づいて引き出され得る。動作情報は、ＭＶ、参照映像インデックス、領域パーティション、予測方向、および、予測モード、を含み得る。本発明に従ったさらに別の実施例において、テクスチャーイメージに対する予測モードは、テクスチャーイメージに関する動作ベクトルに従って決定され得るもので、動作ベクトルは深さ情報に基づいて区分される。テクスチャーイメージにおける近い対象物に対応する領域は、深さ情報によって示されるように、空間的なＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ：動作ベクトル予測）を選択することを好む。一方、テクスチャーイメージにおける遠い対象物に対応する領域は、深さ情報によって示されるように、一時的またはビュー間のＭＶＰを選択することを好む。

【0010】

本発明の別の実施態様は、動作ベクトルまたは動作ベクトル予測処理に関する。一つの実施例において、テクスチャーイメージに対するＭＶＰ（動作ベクトル予測）を取り除くことは、テクスチャーイメージに関する動作ベクトルに基づくことができる。動作ベクトルは、深さ情報に基づいて区分されている。一つまたはそれ以上の余分なＶＭＰ候補は、ＭＶＰ候補リストから除去され得る。深さ情報によって示されるように、テクスチャーイメージにおける遠い対象物に対応する領域に対して大きな動作を伴なうＭＶＰ候補は、除去されるか、または、ＭＶＰ候補リストにおいて低い優先度が与えられ得る。テクスチャーイメージについて派生する動作ベクトルに対する動作モデルは、深さマップに基づいて決定される。テクスチャーイメージにおける遠い対象物に対応する領域は、並進モデルに従って動作ベクトルを引き出すことができ、テクスチャーイメージにおける近い対象物に対応する領域は、遠近モデルに従って動作ベクトルを引き出すことができる。さらに別の実施例において、テクスチャーイメージの現在の領域に対するモードは、別のビューにおける対応するテクスチャーイメージの対応する領域のモードに基づいて決定することができる。対応する領域の位置は、現在の領域の位置、および、テクスチャーイメージに関する深さマップと別のビューにおける対応するテクスチャーイメージに関する深さマップとの間の位置対応から引き出すことができる。モードは、パーティション、インター／イントラモード、そして、スキップモードを含んでよい。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明に従って、深さ情報を利用するテクスチャーイメージ圧縮の実施例を示している。

【図2】図２は、テクスチャーイメージおよび深さマップのブロックへのパーティション化を示しており、処理順序は映像依り、または、ブロック依りである。

【図3】図３は、テクスチャーイメージ圧縮に対する深さ情報を引き出すための典型的な方法を示している。

【図4】図４は、深さマップの領域パーティション情報に基づいたテクスチャーイメージの領域パーティション化の実施例を示している。

【図5】図５は、２つの深さマップ間の対応を利用したテクスチャーイメージコーディングのための動作ベクトル予測処理の実施例を示している。

【発明を実施するための形態】

【0012】

本発明の実施例は、３Ｄビデオコーディングシステムにおけるテクスチャーイメージのエンコーディングおよびデコーディングのための方法及び装置を提供する。本発明に従って、エンコーディングおよびデコーディングは、対応する深さマップの情報を利用する。テクスチャーイメージと深さマップとの間の相関は、テクスチャーイメージ圧縮のコーディング効率を改善するために役立つものである。

【0013】

本発明の一つの実施例に従って、深さマップはそれぞれのテクスチャーイメージ以前にコード化されている。よって、テクスチャーイメージ圧縮は、深さマップに関する深さ情報を利用することができる。深さ情報は、深さデータとパーティション情報を含み得る。パーティション情報は、たいてい深さマップのエンコーディングの最中に生成される。典型的なコーディングシステムは深さマップをブロックまたは領域にパーティション化し、ブロックまたは領域毎にエンコーディング処理を適用するからである。深さマップとテクスチャーのコーディング順序は、画像依り、または、ブロック依りの方法であり得る。図１は、深さマップからの深さ情報を利用しているテクスチャーイメージ圧縮の実施例を説明している。テクスチャーイメージ１１０における現在ブロック１１２の圧縮は、対応する深さマップ１２０からの情報を利用する。現在ブロック１１２に対応する深さマップ１２０におけるブロック１２２を特定することができる。テクスチャーイメージ１１０における現在ブロック１１２の処理以前に対応するブロック１２２に対する情報が利用可能なので、コーディング効率を改善するように、対応するブロック１２２に対する深さ情報が、現在ブロック１１２の圧縮のための深さ情報が現在ブロック１１２の圧縮のために使用され得る。図１の実施例は、深さマップにおける対応するブロックが現在ブロックの圧縮のために使用されることを示している一方で、深さマップにおけるこうしたブロックの深さ情報が現在ブロックの処理以前に知られている限りは、深さマップにおける１つ以上のブロックも、また、テクスチャーイメージの現在ブロックの圧縮のために使用され得るものである。さらに、１つ以上の深さマップからのブロックも、また、これらの深さマップにおけるブロックの深さ情報が現在ブロックの処理以前に知られている場合に、本発明を実行するために使用され得る。

【0014】

テクスチャーイメージにおいてブロックを圧縮するために深さマップからの情報を使用するためには、テクスチャーイメージにおけるブロックの圧縮のために深さマップから必要とされる情報が、現在ブロックの圧縮以前に利用可能とされる必要がある。典型的なビデオ圧縮または処理システムにおいて、テクスチャーイメージと深さマップは、図２に示されるように、たいていブロックごとに処理される。テクスチャーイメージは、テクスチャーブロックＴ１、Ｔ２、Ｔ３、・・・Ｔｎにパーティション化され、深さマップは、深さブロックＤ１、Ｄ２、Ｄ３・・・Ｄｎにパーティション化される。ここでｎは、テクスチャーイメージまたは深さマップにおけるブロックの数量である。テクスチャーイメージの処理順序は映像依りであってよい、つまり、全ての深さマップがテクスチャーイメージの処理以前に処理される。複数の深さマップも、また、テクスチャーイメージ処理以前に処理され、テクスチャーブロックの圧縮は、複数の深さマップからの情報を利用することができる。テクスチャーイメージの処理順序も、また、ブロック依りであってよい、つまり、テクスチャーブロックと深さブロックは、インターリーブされた方法で処理される。例えば、処理順序は、Ｄ１、Ｔ１、Ｄ２、Ｔ２、Ｄ３、Ｔ３、・・・、Ｄｎ、Ｔｎであり得る。複数のブロックがインターリーブされ得るもので、インターリーブはＮブロック毎に基づいて行うことができる。例えば、Ｎが４に等しい場合は、ブロック依りのインターリーブ処理順序は、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８、Ｔ５、Ｔ６、Ｔ７、Ｔ８、等といったものである。他のブロック依りのインターリーブパターンも、また使用される。さらに、テクスチャーブロックの処理は、対応する深さブロックに関連して遅れることがある。例えば、現在テクスチャーブロックの処理は、配置された深さブロックの周りの深さブロックに関する深さ情報を使用し得る。この場合、現在テクスチャーブロックの処理は、必要とされる深さブロックが利用可能となるまで待たねばならない。図２に示されるブロックは、テクスチャーイメージ２１０または深さマップ２２０をブロックにパーティション化するデモンストレーションの実施例として使用される。ブロックは、サイズが異なっていてもよい。例えば、ブロックは、４×４、８×８、１６×１６、３２×３２、または、６４×６４のピクセルといった正方形、長方形、または、映像の幅にわたり拡がるストライプであってよい。ブロックは、あらゆる形状であってもよい。

【0015】

上述のように、本発明の実施例は、テクスチャーブロックの圧縮のために利用可能な深さ情報を使用する。図３に示すように、深さブロックおよび関連する情報を引き出すための種々の手段が存在している。本発明の一つの実施例に従えば、深さブロックおよび関連する情報は、現在ビューに関する深さビットストリームから引き出すことができる。深さビットストリームは、テクスチャーイメージビットストリームとは分離され得るものである。深さビットストリームは、また、単一のビットストリームを形成するために、テクスチャーイメージビットストリームと結合されてもよい。ブロック３１０に示されるように、深さデコーダーは、深さブロックおよび現在ビューの関連する情報を回復するように深さビットストリームをデコードするために使用され得る。深さブロックおよび現在ビューの関連する情報は、また、他のビューの深さマップから引き出され得る。この場合、ブロック３２０に示されるように、深さデコーダーは、他のビューの深さブロックに関連する深さ情報を回復するようにビットストリームをデコードするために使用され得る。現在ビューに対応する深さマップも、また、他のビューに対する深さマップから引き出され得る。本発明のさらなる別の実施例において、深さブロックおよび関連する情報は、ブロック３３０に示されるように、深さマップ生成を使用して、デコードされたテクスチャーイメージから引き出され得る。この場合、現在ビューに対応する深さマップは、現在ビューまたは他のビューに関するデコードされたテクスチャーイメージから引き出されてもよい。引き出された深さマップは、深さマップ参照バッファー３４０の中に保管され、深さマップに関する情報は、ブロック３５０に示されるように、現在ビューに対するテクスチャーイメージのエンコーディングまたはデコーディングのために使用され得る。図３に示されるように、種々の方法に従って引き出された深さマップは、現在ビューに対するテクスチャーイメージのデコーディング／エンコーディングのために、独立して、または、まとめて適用され得る。

【0016】

本発明に従った一つの実施例において、テクスチャーイメージの領域パーティション化は、深さマップの領域パーティション化から引き出し、または、推定することができる。図４は、深さマップに対応する領域パーティション化に従ったテクスチャーイメージの領域パーティション化の実施例を示している。テクスチャーイメージのブロックは、深さマップの領域パーティションに従って、任意形状または長方形でサブブロックにパーティション化することができる。例えば、現在テクスチャーブロック４１０の分割は、対応する深さマップ４１０ａに依存し得る。現在テクスチャーブロック４１０は、深さブロック４１０ａが隣接ブロック４２０ａ、４３０ａ、および、４４０ａのうちの一つに併合されているかどうかに従って、隣接ブロック４２０、４３０、および、４４０のうちの一つに併合され得る。テクスチャーイメージに対する領域パーティション化が深さマップから引き出されているかどうかを示すために、一つのフラグが使用され得る。さらに、サブブロック、および、その隣接のコード化されたブロックが同様な深さデータを有している場合、サブブロックと隣接のコード化されたブロックは併合されてよく、隣接ブロックの動作情報が現在ブロックによって共有され得る。選択された空間的または時間的な隣接ブロックを併合するために動作情報を共有する方法は、高効率ビデオコーディングテストモデル バージョン３．０（ＨＭ３．０）のマージモード（Ｍｅｒｇｅ ｍｏｄｅ）に類似している。マージがイネーブルされているか否かを示すために、別のフラグが使用されてもよい。

【0017】

図５に示すように、現在ビューの動作情報は、動作ベクトル予測処理の最中に別のビューから予測することができる。ここで、テクスチャーイメージ５１０は現在テクスチャーイメージであり、深さマップ５２０は現在ビューの深さマップであり、テクスチャーイメージ５１０ａは別のビューにおける対応するテクスチャーイメージであり、そして、深さマップ５２０ａは別のビューの深さマップに対応している。現在ビューにおける深さマップ５２０の深さブロック５２２と別のビューにおける深さマップ５２０ａの対応する深さブロック５２２ａとの対応が定められる場合は、現在テクスチャーイメージ５１０の現在ブロック５１２に関する別のビューにおける対応するテクスチャーブロック５１２ａが引き出され得る。対応するブロック５１２ａの、動作ベクトルといった、動作情報が、現在ビューにおける現在ブロック５１２に適用される。動作情報は、また、参照画像インデックス、領域パーティション、予測方向、および、予測モードを含み得る。同様に、対応するブロック５１２ａの動作ベクトル（ＭＶ）が、現在ブロック５１２の動作ベクトル予測（ＭＶＰ）として使用され得る。

【0018】

深さマップは、また、アダプティブ（ａｄａｐｔｉｖｅ）動作処理のためにも使用され得る。ＭＶは、近い対象物はテクスチャーイメージにおいてより速く移動すると仮定した深さマップに従ってパーティション化され得る。動作の視差のために、近い対象物はしばしば大きな動作を有し、一方、遠い対象物はしばしば小さな動作を有する。大きな動作を含む領域においては、種々の理由のために、時間的またはビュー間の予測よりも空間的予測のパフォーマンスの方が良い。従って、実際の深さが小さい場合に空間的ＭＶＰがより高い優先度を有することになり、近くの対象物であることにより動作が大きく、空間的な相関がより高いことを意味している。他方、実際の深さが大きい場合に時間的またはビュー間のＭＶＰがより高い優先度を有することになり、遠くの対象物であることにより動作が小さく、時間的またはビュー間の相関がより高いことを意味している。従って、深さマップの深さ情報に適用される動作処理の一つの実施例として、深さマップは、空間的、または、時間的／ビュー間のＭＶＰのアダプティブな選択のために使用される。

【0019】

深さ情報に基づいたＭＶパーティション化は、また、ＭＶＰ除去処理に対しても適用され得る。遠い対象物を含んでいるテクスチャーブロックに対して、小さなＭＶ候補は、候補リストの中でより高い優先度を有する。別の言葉で言えば、大きなＭＶ候補の優先度は、より低く、遠い対象物を含んでいる領域におけるリストから除去される。上述のように、動作の視差のために、遠い対象物は、近い対象物が結果としてより小さな動作ベクトルを生じるのと同じ変位を受ける。従って、遠くの対象物を含んでいる領域において大きな動作ベクトルを有することはありそうにない。近くの対象物に関しては、小さな動作ベクトル（ゼロ値の動作ベクトルを含む）と大きな動作ベクトルの両方がおそらく表れる。これらの動作ベクトル、大きい又は小さい、は、近い対象物の実際の変位を表し得る。従って、近い対象物を含んでいる領域は、動作パーティション化に対して適用されたＭＶＰ候補に優先度を付けることはしない。

【0020】

本発明の別の実施例に従えば、動作モデルは、また、ＭＶ予測処理において深さマップに対して適用され得る。遠近モデルに対しては、近い対象物のテクスチャーイメージが適している。一方で、並進モデルに対しては、遠い対象物のテクスチャーイメージが適している。再び、上述の理由により、遠くの対象物は、近くの対象物が動作の視差のために結果としてより小さな動作ベクトルを生じるのと同じ変位を受ける。より大きな動作にためには、より複雑な遠近モデルを追求する必要があろう。

【0021】

本発明のさらに別の実施例に従えば、現在ビューの予測モードは、別のビューまたは他のビューから引き出すことができる。別のビューにおいて対応するテクスチャーブロックは、深さ情報を使用することで得ることができる。対応するテクスチャーブロックのモードは、予測タイプ、ブロックサイズ、参照画像インデックス、予測方向、および、パーティション、といったものであるが、次に、現在テクスチャーブロックに対して適用される。予測タイプは、インター／イントラ（Ｉｎｔｅｒ／Ｉｎｔｒａ）、スキップ（Ｓｋｉｐ）、マージ（Ｍｅｒｇｅ）、および、ダイレクト（Ｄｉｒｅｃｔ）モ−ドを含み得る。

【0022】

上記の説明は、所定のアプリケーションやその要求に係る文脈において提供されたように、当業者が本発明を実施できるようにするために表されたものである。記述された実施例に対する種々の変更は、当業者にとって明らかなものであり、ここにおいて定められた一般的な趣旨は、他の実施例に対して適用することができる。従って、本発明は、示され、説明された所定の実施例に限定されるように意図されたものではなく、ここにおいて開示された趣旨および新規な特徴と矛盾のない最も広い範囲と一致するように意図されたものである。上記の詳細な説明においては、本発明の完全な理解を提供するために種々の所定の詳細が説明されている。やはり、当業者には、本発明が実施され得ることが理解されよう。

【0023】

上述のように本発明に従った３次元ビデオコーディングシステムにおける深さマップを使用したテクスチャーイメージのエンコーディングおよびデコーディングの実施例は、種々のハードウェア、ソフトウェアコード、または両方の組合せにおいて実施され得る。例えば、本発明の実施例は、ここにおいて説明された処理を実行するためのビデオ圧縮チップの中に集積された回路であり、または、ビデオ圧縮ソフトウェアの中に統合されたプログラムコードであり得る。本発明の実施例は、また、ここにおいて説明された処理を実施するために、デジタル信号プロセッサ（ＤＳＰ）上で実行されるべきプログラムコードでもよい。本発明は、また、コンピュータープロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、または、フィールドでプログラム可能なゲートアレイ（ＦＰＧＡ）によって実行されるべき多くの機能を含み得る。これらのプログラムは、本発明に従って所定のタスクを実行するように構成され得る。本発明によって実施される所定の方法を定める機械で読取り可能なソフトウェアコードまたはファームウェアコードを実行するように構成され得る。ソフトウェアコードまたはファームウェアコードは、異なるプログラム言語およびプログラムフォーマットまたはスタイルで開発され得る。ソフトウェアコードは、また、異なるターゲットプラットフォームに対してコンパイルされ得る。しかしながら、本発明に従ってタスクを実行するための異なるコードフォーマット、ソフトウェアコードおよび他の構成コード手段に係るスタイルと言語は、本発明の範囲から逸脱するものではない。

【0024】

本発明は、本発明の精神または本質的な特徴から逸脱することなく他の所定のフォームにおいて実施され得る。説明された実施例は、あらゆる点において、単なる説明であって、本発明を限定するものではないように理解されるべきである。従って、本発明の範囲は、前出の説明によるより、むしろ添付の請求項によって示されるものである。請求項の均等物の意味および範囲の中に入る全ての変更は、本発明の範囲の中に包含されるべきものである。

【図1】

【図2】

【図3】

【図5】

【図4】