特許 6517691 少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6517691

(24)【登録日】2019年4月26日

(45)【発行日】2019年5月22日

(54)【発明の名称】少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム

(51)【国際特許分類】

   H04N 19/119 20140101AFI20190513BHJP

   H04N 19/96 20140101ALI20190513BHJP

   H04N 19/597 20140101ALI20190513BHJP

   H04N 19/176 20140101ALI20190513BHJP

【ＦＩ】

   H04N19/119

   H04N19/96

   H04N19/597

   H04N19/176

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2015-519291(P2015-519291)

(86)(22)【出願日】2013年6月25日

(65)【公表番号】特表2015-526008(P2015-526008A)

(43)【公表日】2015年9月7日

(86)【国際出願番号】FR2013051474

(87)【国際公開番号】WO2014001703

(87)【国際公開日】20140103

【審査請求日】2016年6月16日

(31)【優先権主張番号】1256129

(32)【優先日】2012年6月27日

(33)【優先権主張国】FR

【前置審査】

(73)【特許権者】

【識別番号】591034154

【氏名又は名称】オランジュ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジョエル・ジュン

(72)【発明者】

【氏名】カルティク・ヴィスワナタン

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 国際公開第２０１１／１２７９６６（ＷＯ，Ａ１）

【文献】 Dmytro Rusanovskyy(外1名)，Suggestion for a depth-enhanced multiview video coding extension to H.264 Annex A: Nokia 3DV Test Model (3DV-TM) Codec Description and Simulation Results，ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) VCEG-AR14-AnnexA，米国，ITU-T，２０１２年 ２月１０日，p.1-14

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

バイナリシーケンスを生成するための方法であって、
少なくとも１つの第２の画像成分（ＣＩ_２１）の参照ブロック（ＣＴＢｒ_ｉ）に対して第１の画像成分（ＣＩ_１１）の少なくとも１つの現在ブロック（ＣＴＢ_ｕ；ＣＴＢ’_ｕ）を符号化するステップであって、前記第１および第２の画像成分は、全く同じ場面を表現するものであり、前記参照ブロックは、予め分割により符号化され、次に復号され、前記参照ブロックの前記分割は、決定された分割深度レベル（ｋ）（ｋ≧０）が得られるまで複数回実行され、
− 前記第１の画像成分が第２のタイプの画像であるとともに前記第２の画像成分が第１のタイプの画像である場合、前記参照ブロックの前記分割深度レベル（ｋ）に応じた分割深度レベル（ｋ’）まで予め初期化された（Ｃ３３ｂ））分割深度レベルに基づいて前記現在ブロックを分割すること（Ｃ３４ｂ））
を含む、ステップを含み、
前記生成されたバイナリシーケンスは、前記現在ブロックの前記分割を表現するものである、バイナリシーケンスを生成するための方法。

【請求項2】

予め初期化された分割深度レベルに基づいて前記現在ブロックを分割する前記ステップは、前記第１のタイプの画像が深度画像であり、前記第２のタイプの画像が前記深度画像と関連付けられたテクスチャ画像である際に実装され、前記現在ブロックおよび前記参照ブロックはそれぞれ、前記第１の画像成分および前記第２の画像成分において同一の場所を有する、請求項１に記載のバイナリシーケンスを生成するための方法。

【請求項3】

バイナリシーケンスを生成するための装置であって、
少なくとも１つの第２の画像成分（ＣＩ_２１）の参照ブロック（ＣＴＢｒ_ｉ）に対して第１の画像成分（ＣＩ_１１）の少なくとも１つの現在ブロック（ＣＴＢ_ｕ；ＣＴＢ’_ｕ）を符号化するための手段であって、前記第１および第２の画像成分は、全く同じ場面を表現するものであり、前記参照ブロックは、予め分割により符号化され、次に復号され、前記参照ブロックの前記分割は、決定された分割深度レベル（ｋ）（ｋ≧０）が得られるまで複数回実行され、
− 前記第１の画像成分が第２のタイプの画像であるとともに前記第２の画像成分が第１のタイプの画像である場合、前記参照ブロックの前記分割深度レベル（ｋ）に応じた分割深度レベル（ｋ’）まで予め初期化された前記現在ブロックの分割深度レベルに基づいて前記現在ブロックを分割するように適合される前記現在ブロックを分割するための手段（ＭＰ２）
を備える、手段を備え、
前記生成されたバイナリシーケンスは、前記現在ブロックの前記分割を表現するものである、バイナリシーケンスを生成するための装置。

【請求項4】

前記分割するための手段は、前記第１のタイプの画像が深度画像であり、前記第２のタイプの画像が前記深度画像と関連付けられたテクスチャ画像である際に実施され、前記現在ブロックおよび前記参照ブロックはそれぞれ、前記第１の画像成分および前記第２の画像成分において同一の場所を有する、請求項３に記載のバイナリシーケンスを生成するための装置。

【請求項5】

プログラムがプロセッサによって実行される際、請求項１〜２のいずれか一項に記載のバイナリシーケンスを生成するための方法を実装するための命令を含むコンピュータプログラム。

【請求項6】

プログラムがプロセッサによって実行される際、請求項１〜２のいずれか一項に記載のバイナリシーケンスを生成するための方法のステップを実行するための命令を含むコンピュータプログラムが記録されたコンピュータによって読み取ることができる記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、画像処理の分野に関し、より正確には、デジタル画像およびデジタル画像シーケンスの符号化に関する。

【背景技術】

【0002】

したがって、本発明は、具体的には、将来において現映像コーダで実装される映像符号化（ＩＴＵ−Ｔ／ＩＳＯ ＭＰＥＧ ＨＥＶＣ）およびそれらの拡張機能に適用することができる。

【0003】

現在起草され、文献（非特許文献１）で説明されているＨＥＶＣ規格は、映像シーケンスのブロック分割を使用するという意味で、これまでのＨ．２６４規格と同様である。しかし、ＨＥＶＣ規格は、実装される分割が「四分木」と呼ばれる木のような構造に適合するという点で、Ｈ．２６４規格とは区別される。このため、図１Ａに示されるように、現在画像Ｉ_Ｎは、最初は、サイズ６４×６４画素（１≦ｉ≦Ｌ）の複数の正方形のブロックＣＴＢ_１、ＣＴＢ_２、・・・、ＣＴＢ_ｉ、・・・、ＣＴＢ_Ｌに分割される。所定のブロックＣＴＢ_ｉに対し、このブロックは、符号化ツリーのルートを構成すると見なされ、
− ルート配下の第１のレベルのリーフは、ブロックＣＴＢ_ｉが１回目に複数の符号化ブロックに分割される、ブロックＣＴＢ_ｉの第１のレベルの分割深度に相当し、
− 第１のレベルのリーフ配下の第２のレベルのリーフは、１回目に分割されたブロックＣＴＢ_ｉが２回目に複数の符号化ブロックに分割される、ブロックＣＴＢ_ｉの第２のレベルの分割深度に相当し、
− 第ｋ−１のレベルのリーフ配下の第ｋのレベルのリーフは、ｋ−１回目に分割されたブロックＣＴＢ_ｉが最後にもう１回複数の符号化ブロックに分割される、ブロックＣＴＢ_ｉの第ｋのレベルの分割深度に相当する。

【0004】

ＨＥＶＣ対応コーダでは、ブロックＣＴＢ_ｉの分割の反復は、既定のレベルの分割深度まで実行される。

【0005】

ブロックＣＴＢ_ｉの前述の連続分割の完了時に、図１Ａに示されるように、ブロックＣＴＢ_ｉは、最後は、ＣＢ_１、ＣＢ_２、・・・、ＣＢ_ｊ、・・・、ＣＢ_Ｍ（１≦ｊ≦Ｍ）で示される複数の符号化ブロックに分割される。

【0006】

前記符号化ブロックのサイズは、「四分木」タイプのツリーに適合するブロックの分割を用いて、適応性のある方法で選択することができ、四分木では、前記ツリーのリーフはそれぞれ、様々なレベルの分割深度で得られる符号化ブロックＣＢ_１、ＣＢ_２、・・・、ＣＢ_ｊ、・・・、ＣＢ_Ｍを表す。

【0007】

図１Ａを参照すると、所定のブロックＣＢ_ｊに対し、このブロックは、前記ブロックに対する予測および変換ツリーのルートを構成すると見なされる（例えば、離散コサイン変換（ＤＣＴ）タイプ）。所定のブロックＣＢ_ｊに対する予測ツリーは、ブロックＣＢ_ｊが複数のブロックＰＢ_１、ＰＢ_２、・・・、ＰＢ_ｔ、・・・、ＰＢ_Ｐ（１≦ｔ≦Ｐ）に分割される方法を表現するものであり、これらの複数のブロックは、予測ブロックと呼ばれる。考慮対象の予測ブロックＰＢ_ｔに対し、予測パラメータ（例えば、符号化モード、動きベクトルなど）は、予測単位で指定される。

【0008】

考慮対象の符号化ブロックＣＢ_ｊに対し、様々な分割モードが存在する。図１Ａは、例えば、考慮対象の符号化ブロックＣＢ_ｊに対するインター予測の場合の、考慮対象の符号化ブロックＣＢ_ｊの様々な分割モードを示す。４つの前記分割モードが存在する。
− ＰＡＲＴ＿２Ｎ×２Ｎモードは、考慮対象の符号化ブロックＣＢ_ｊの分割無しに相当し、したがって、このブロックは単一の予測ブロックＰＢ_１に相当し、
− ＰＡＲＴ＿２Ｎ×Ｎモードは、２つの長方形の予測ブロックＰＢ_１およびＰＢ_２への考慮対象の符号化ブロックＣＢ_ｊの水平分割に相当し、
− ＰＡＲＴ＿Ｎ×２Ｎモードは、２つの長方形の予測ブロックＰＢ_１およびＰＢ_２への考慮対象の符号化ブロックＣＢ_ｊの垂直分割に相当し、
− ＰＡＲＴ＿Ｎ×Ｎモードは、すべてが同じサイズを有する４つの正方形の予測ブロックのＰＢ_１、ＰＢ_２、ＰＢ_３、ＰＢ_４への考慮対象の符号化ブロックＣＢ_ｊの分割に相当する。

【0009】

考慮対象の符号化ブロックＣＢ_ｊの予測符号化後、考慮対象の符号化ブロックＣＢ_ｊは、複数のより小さなブロックＴＢ_１、ＴＢ_２、・・・、ＴＢ_ｖ、・・・、ＴＢ_Ｑ（１≦ｖ≦Ｑ）に再び分割することができ、これらの複数のより小さなブロックは、変換ブロックと呼ばれる。そのような分割は、「残余四分木（ｒｅｓｉｄｕａｌ ｑｕａｄｔｒｅｅ）」と呼ばれる「四分木」タイプのツリーに適合し、残余四分木では、前記ツリーのリーフはそれぞれ、様々なレベルの分割深度で得られる符号化ブロックＴＢ_１、ＴＢ_２、・・・、ＴＢ_ｖ、・・・、ＴＢ_Ｑを表す。

【0010】

図１Ａは、ＰＡＲＴ＿Ｎ×Ｎ分割を用いて予測された符号化ブロックＣＢ_ｊの例示的な分割を示す。示される例では、符号化ブロックＣＢ_ｊのブロックＰＢ_２およびＰＢ_３は各々、例えば、すべてが同じサイズを有する４つのより小さな正方形のブロックＴＢ_１、ＴＢ_２、ＴＢ_３、ＴＢ_４およびＴＢ_５、ＴＢ_６、ＴＢ_７、ＴＢ_８のそれぞれに分割される。図１Ａでは、そのような分割は破線で表される。

【0011】

図１Ｂは、前記ブロックの予測符号化および変換符号化後に得られた考慮対象のブロックＣＴＢ_ｉの例示的な分割ならびに対応する分割ツリーを示す。示される例では、
− 符号化ツリーのルートと見なされるブロックＣＴＢ_ｉは、太い実線で表され、
− 一方では符号化ツリーのリーフを構成し、他方では「残余四分木」ツリーのルートを構成する符号化ブロックＣＢ_１〜ＣＢ_１６は、細い実線で表され、
− 「残余四分木」ツリーのリーフを構成する変換ブロックＴＢ_１〜ＴＢ_１６は、破線で表される。

【0012】

このように構成されたツリー的構造には、
− 単にブロックＣＢ_１〜ＣＢ_４などの符号化ブロックを含む、第１のレベルの分割深度ＮＰ１と、
− 第２のレベルの分割深度ＮＰ２であって、
− ブロックＣＢ_１の分割の完了時に得られるブロックＣＢ_５〜ＣＢ_８およびブロックＣＢ_４の分割の完了時に得られるブロックＣＢ_９〜ＣＢ_１２などの符号化ブロック、
− ブロックＣＢ_２の分割の完了時に得られるブロックＴＢ_１〜ＴＢ_４などの変換ブロック
を含む、第２のレベルの分割深度ＮＰ２と、
− 第３のレベルの分割深度ＮＰ３であって、
− ブロックＣＢ_１０の分割の完了時に得られるブロックＣＢ_１３〜ＣＢ_１６などの符号化ブロック、
− ブロックＣＢ_７の分割の完了時に得られるブロックＴＢ_５〜ＴＢ_８、ブロックＴＢ_２の分割の完了時に得られるブロックＴＢ_９〜ＴＢ_１２、ブロックＣＢ_１２の分割の完了時に得られるブロックＴＢ_１２〜ＴＢ_１６などの変換ブロック
を含む、第３のレベルの分割深度ＮＰ３と
が存在する。

【0013】

ＨＥＶＣ対応コーダでは、考慮対象のブロックＣＴＢ_ｉに対し、最善の分割、すなわち、当業者には既知の基準である既定の符号化性能基準（例えば、レート／歪みコストまたはそうでなければ効率／複雑性の妥協）に従って、考慮対象のブロックＣＴＢ_ｉの符号化を最適化する分割、を選択する目的で、前記ブロックのいくつかの異なる分割をコーダで競争させる、すなわち、分割反復の異なるそれぞれの組合せを競争させる。

【0014】

考慮対象のブロックＣＴＢ_ｉの最適な分割が行われた時点で、例えば、この最適な分割を表現するビット列などのデジタル情報シーケンスは、映像デコーダによって読み取られることを意図して、ストリームで送信される。

【0015】

そのようなストリームは、
− 量子化された残余ブロックの係数である残余データ、および、任意選択により、インターモードで符号化する際は、動きベクトルの残余データ、
− 使用される符号化モードを表現する符号化パラメータ、具体的には、
− 予測モード（イントラ予測、インター予測、デフォルト予測（デコーダに情報が送信されない予測を行う、すなわち、「スキッピング」））、
− 予測タイプを指定する情報（向き、参照画像成分など）、
− 変換タイプ（例えば、４×４ＤＣＴ、８×８ＤＣＴなど）、
− 必要ならば、動き情報、
− その他
も含む。

【0016】

より具体的には、３Ｄ ＨＥＶＣ技術では、既に符号化され、次に復号された少なくとも１つの第２の画像成分に対して第１の画像成分を符号化することが提案されており、前記第１および第２の画像成分は、全く同じ場面を表現するものである。

【0017】

前述の第１および第２の画像成分はそれぞれ、現開発の対象であるＭＶＤ（「多視点映像＋深度」）と呼ばれる新しい映像符号化形式で実装されるような、例えば、テクスチャ成分およびその関連深度成分である。

【0018】

あるいは、前述の第１および第２の画像成分はそれぞれ、深度成分およびその関連テクスチャ成分であり得る。

【0019】

３Ｄ ＨＥＶＣ技術によれば、第１および第２の成分は各々、複数のブロックに分割され、その後、上記で説明されるように分割される。そのような分割処理は、その全体をまずは第２の成分上で実行し、次いで、第１の成分上で実行しなければならないため、コーダでの計算面において非常にコストがかかることが判明している。

【先行技術文献】

【非特許文献】

【0020】

【非特許文献1】Ｂ．Ｂｒｏｓｓ，Ｗ．−Ｊ．Ｈａｎ，Ｊ．−Ｒ．Ｏｈｍ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，ａｎｄ Ｔ．Ｗｉｅｇａｎｄ，“Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ６，”ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ−Ｈ１００３ ｏｆ ＪＣＴ−ＶＣ，Ｓａｎ Ｊｏｓｅ ＣＡ，ＵＳＡ，Ｆｅｂｒｕａｒｙ ２０１２

【発明の概要】

【発明が解決しようとする課題】

【0021】

本発明の目的の１つは、前述の先行技術の欠点を改善することである。

【課題を解決するための手段】

【0022】

このため、本発明の対象は、少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の少なくとも１つの現在ブロックを符号化するための方法であって、第１および第２の画像成分は、全く同じ場面を表現するものであり、参照ブロックは、予め分割により符号化され、次に復号され、参照ブロックの分割は、決定された分割深度レベルが得られるまで複数回実行される、方法に関する。

【0023】

そのような符号化方法は、第１および第２の画像成分のタイプの関数として、
− 参照ブロックの分割レベルに応じた分割深度レベルが得られるまで、現在ブロックを複数回分割すること、
− または、参照ブロックの分割深度レベルに応じた分割深度レベルまで予め初期化された分割深度レベルに基づいて現在ブロックを分割すること
を含むステップを含むことを特徴とする。

【0024】

したがって、そのような規定により、第１および第２の画像成分の性質に従って、
− 既定の符号化性能基準（例えば、レート／歪みコストなど）に適合するため、十分と見なされる分割深度レベルで、現在ブロックの分割についての一連の処理を停止すること、
− または、参照ブロックの分割深度レベルのものに近い既に確立された分割深度レベルに基づいて現在ブロックを直接分割すること
が可能になる。

【0025】

この結果、コーダでの計算の複雑性において無視できないほどの低減をもたらし、これは、第１および第２の画像成分が全く同じ場面を表すものであるということにより可能になる。

【0026】

第１および第２の画像成分は画像の一部分ではなく、全く同じ場面を表す完全な画像の２つの異なる視点を表すことに留意されたい。

【0027】

１つの特定の実施形態によれば、複数回、現在ブロックを分割するステップは、第１の画像成分が深度画像であり、第２の画像成分が深度画像と関連付けられたテクスチャ画像である際に実装され、現在ブロックおよび参照ブロックはそれぞれ、第１の画像成分および第２の画像成分において同一の場所を有する。

【0028】

そのような規定により、テクスチャ画像に対して深度画像が符号化される際、コーダでの計算面における複雑性の低減が可能になる。

【0029】

別の特定の実施形態によれば、予め初期化された分割深度レベルに基づいて現在ブロックを分割するステップは、第１の画像成分がテクスチャ画像であり、第２の画像成分がテクスチャ画像と関連付けられた深度画像である際に実装され、現在ブロックおよび参照ブロックはそれぞれ、第１の画像成分および第２の画像成分において同一の場所を有する。

【0030】

そのような規定により、深度画像に対してテクスチャ画像が符号化される際、コーダでの計算面における複雑性の低減が可能になる。

【0031】

当然ながら、他のタイプの第１および第２の画像成分を想定することもできる。

【0032】

したがって、第１および第２の画像成分はそれぞれ、
− 全く同じ多視点画像の２つの視点であって、同じ瞬間または異なる瞬間の同じ場面を表す、２つの視点、
− 輝度成分およびクロマ成分、あるいはそうでなければ、
− スケーラブル映像符号化の間の２つの異なる層であって、現在ブロックおよび参照ブロックはそれぞれ、第１の画像成分および第２の画像成分において同一の場所を有する、２つの異なる層
であり得る。

【0033】

また、第２の画像成分および第３の画像成分に対する第１の画像成分の符号化を想定することも可能である。この場合、例えば、
− 第１の画像成分はＹ成分であり得る、
− 第２の画像成分はＵ成分であり得る、
− 第３の画像成分はＶ成分であり得る。

【0034】

また、本発明は、少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の少なくとも１つの現在ブロックを符号化するための装置であって、第１および第２の画像成分は、全く同じ場面を表現するものであり、参照ブロックは、予め分割により符号化され、次に復号され、参照ブロックの分割は、決定された分割深度レベルが得られるまで複数回実行される、装置にも関する。

【0035】

そのような符号化装置は、
− 参照ブロックの分割レベルに応じた分割深度レベルが得られるまで、現在ブロックを複数回分割するように適合される現在ブロックを分割するための第１の手段、
− 参照ブロックの分割深度レベルに応じた分割深度レベルまで予め初期化された現在ブロックの分割深度レベルに基づいて現在ブロックを分割するように適合される現在ブロックを分割するための第２の手段
を備え、第１および第２の分割手段は、第１および第２の画像成分のタイプの関数として選択的に実施されるという点に関して注目すべきものである。

【0036】

１つの特定の実施形態によれば、第１の分割手段は、第１の画像成分が深度画像であり、第２の画像成分が深度画像と関連付けられたテクスチャ画像である際に実施され、現在ブロックおよび参照ブロックはそれぞれ、第１の画像成分および第２の画像成分において同一の場所を有する。

【0037】

別の特定の実施形態によれば、第２の分割手段は、第１の画像成分がテクスチャ画像であり、第２の画像成分がテクスチャ画像と関連付けられた深度画像である際に実施され、現在ブロックおよび参照ブロックはそれぞれ、第１の画像成分および第２の画像成分において同一の場所を有する。

【0038】

本発明は、さらに、コンピュータ上で実行される際、本発明による符号化方法を実装するための命令を含むコンピュータプログラムに関する。

【0039】

このプログラムは、いかなるプログラミング言語も使用することができ、ソースコード、オブジェクトコードまたはソースコードとオブジェクトコードの中間のコードの形式（部分的にコンパイルされた形式または他の任意の望ましい形式など）であり得る。

【0040】

また、本発明は、コンピュータプログラムが記録されたコンピュータによって読み取ることができる記録媒体であって、このプログラムは、上記で説明されるような、本発明による符号化方法の実装に適した命令を含む、記録媒体も目的とする。

【0041】

情報媒体は、プログラムの格納が可能ないかなる実体または装置でもあり得る。例えば、媒体は、ＲＯＭ（例えば、ＣＤ−ＲＯＭまたは超小型電子回路ＲＯＭ）またはそうでなければ磁気記録手段（例えば、ＵＳＢキーまたはハードディスク）などの格納手段を備え得る。

【0042】

その上、情報媒体は、電気または光信号などの伝送媒体であり得、電気または光ケーブルを介して、電波によって、または、他の手段によって搬送することができる。本発明によるプログラムは、具体的には、インターネットタイプのネットワークにアップロードすることができる。

【0043】

あるいは、情報媒体は、プログラムが組み込まれる集積回路であり得、回路は、本方法を実行するかまたは本方法の実行に使用されるように適合される。

【0044】

前述の符号化装置および対応するコンピュータプログラムは、本発明による符号化方法によって与えられるものと少なくとも同じ利点を呈する。

【0045】

他の特性および利点については、図面を参照して説明される好ましい実施形態を読み進めると同時に明らかになるであろう。

【図面の簡単な説明】

【0046】

【図1A】ＨＥＶＣ技術によるブロックの分割についての一連の処理を示す。

【図1B】前記ブロックの予測および変換後に得られた符号化ブロックの例示的な分割、ならびに、対応する予測および変換ツリーを示す。

【図2A】本発明による符号化方法のステップを示す。

【図2B】本発明による符号化方法のステップを示す。

【図3】本発明による符号化装置の一実施形態を示す。

【図4A】既に符号化され、次に復号された画像成分の参照ブロックの例示的な分割、および、実行された分割を表現するツリーを示す。

【図4B】図４Ａに示される参照ブロックの分割に対して符号化すべき画像成分の現在ブロックの例示的な分割、および、実行された分割を表現するツリーを示す。

【図4C】図４Ａに示される参照ブロックの分割に対して符号化すべき画像成分の現在ブロックの別の例示的な分割、および、実行された分割を表現するツリーを示す。

【発明を実施するための形態】

【0047】

ここでは、起草されている３Ｄ ＨＥＶＣ規格に従って符号化することによって得られるものに近いバイナリストリームに従って画像シーケンスを符号化するために本発明による符号化方法が使用される本発明の一実施形態について説明する。この実施形態では、本発明による符号化方法は、例えば、最初は３Ｄ ＨＥＶＣ規格に準拠するコーダに対する変更によって、ソフトウェアまたはハードウェアを使用して実装される。本発明による符号化方法は、図２Ａおよび２Ｂに示されるように、ステップＣ１〜Ｃ４ａ）またはそうでなければＣ１〜Ｃ４ｂ）を含むアルゴリズムの形態で表される。

【0048】

本発明の実施形態によれば、本発明による符号化方法は、図３に示される符号化装置ＣＯにおいて実装される。

【0049】

上記の記述で説明されるように、図２および３を参照すると、本発明による符号化方法は、より具体的には、符号化すべき画像のシーケンスの参照画像成分である（すなわち、予め符号化され、次に復号された）少なくとも１つの第２の画像成分ＣＩ_２１に対して、符号化すべき画像のシーケンスＳの現成分（ＣＩ_１１、ＣＩ_２１）、・・・、（ＣＩ_１Ｗ、ＣＩ_２Ｗ）である第１の画像成分ＣＩ_１１を符号化するステップを含む。第１の画像成分ＣＩ_１１は、第２の画像成分ＣＩ_２１と関連付けて取得され、第１および第２の画像成分は、全く同じ場面を表現するものである。

【0050】

今まさに符号化された画像成分ＣＩ_２１がテクスチャ画像であり、画像成分ＣＩ_２１と関連付けられた符号化すべき画像成分ＣＩ_１１が深度画像である場合、本来既知の方法において、シーケンスＳの成分ＣＩ_２１、・・・、ＣＩ_２Ｗが最初に符号化され、次に復号される。次に、シーケンスＳの成分ＣＩ_１１、・・・、ＣＩ_１Ｗがそれらの成分の処理時に次々と符号化される。

【0051】

様々なＳＶＣ層またはＹＵＶ成分などの他のタイプの成分の場合、処理は、本来既知の方法において、成分ＣＩ_２１の符号化／復号、次いで、成分ＣＩ_２１に対する成分ＣＩ_１１の符号化など（成分ＣＩ_２Ｗの符号化／復号、次いで、成分ＣＩ_２Ｗに対する成分ＣＩ_１Ｗの符号化まで）を伴う。

【0052】

図２Ａに示されるステップＣ１の間、処理は、本来既知の方法において、画像成分ＣＩ_２１の分割による符号化を伴う。

【0053】

図２Ａに示されるサブステップＣ１１の間、画像成分ＣＩ_２１は、サイズ６４×６４画素（１≦ｉ≦Ｌ）の複数のブロックＣＴＢｒ_１、ＣＴＢｒ_２、・・・、ＣＴＢｒ_ｉ、・・・、ＣＴＢｒ_Ｌに分割される。そのような分割は、図３に示される分割ソフトウェアモジュールＭＰＣＩによって実行される。

【0054】

本発明の意義の範囲内では、用語「ブロック」は、符号化単位を意味することに留意されたい。「ブロック」という用語は、具体的には、ＨＥＶＣ規格で、例えば、文献“Ｂ．Ｂｒｏｓｓ，Ｗ．−Ｊ．Ｈａｎ，Ｊ．−Ｒ．Ｏｈｍ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，ａｎｄ Ｔ．Ｗｉｅｇａｎｄ，“Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ６，”ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ−Ｈ１００３ ｏｆ ＪＣＴ−ＶＣ，Ｓａｎ Ｊｏｓｅ ＣＡ，ＵＳＡ，Ｆｅｂｒｕａｒｙ ２０１２”で使用される。

【0055】

具体的には、そのような符号化単位は、ブロック、マクロブロックとも呼ばれる長方形もしくは正方形状の画素セット、またはそうでなければ、他の幾何学的形状を呈する画素セットを一緒に分類する。

【0056】

図２Ａに示されるサブステップＣ１２の間、画像成分ＣＩ_２１のブロックＣＴＢｒ_ｉが選択される。

【0057】

図２Ａに示されるサブステップＣ１３の間、選択されたブロックＣＴＢｒ_ｉは、複数の符号化ブロックＢｒ_１、Ｂｒ_２、・・・、Ｂｒ_ｊ、・・・、Ｂｒ_Ｍ（１≦ｊ≦Ｍ）に分類される。

【0058】

前述の分割は、決定された分割深度レベルｋ（ｋ≧０）が得られるまで複数回実行されるように適合され、選択されたブロックＣＴＢｒ_ｉに対して得られた最終的な分割は、符号化性能基準（例えば、具体的には、レート／歪みコスト）を最適化する。

【0059】

前記分割は、図３に示される分割ソフトウェアモジュールＭＰ１によって実装される。

【0060】

図２Ａに示されるサブステップＣ１４の間、選択されたブロックＣＴＢｒ_ｉの分割深度レベルは、値ｋに初期化される。

【0061】

ステップＣ１２〜Ｃ１４は、ブロックセットＣＴＢｒ_１、ＣＴＢｒ_２、・・・、ＣＴＢｒ_Ｌに対して繰り返される。

【0062】

図４Ａでは、ブロックＣＴＢｒ_ｉの例示的な分割が示される。

【0063】

示される例では、実行される分割は、上記の記述で説明されるような「四分木」タイプのツリーに適合し、分割深度レベルｋは、３に初期化される。

【0064】

当然ながら、他のタイプのツリーを想定することもできる。

【0065】

図４Ａを参照すると、所定のブロックＣＴＢｒ_ｉに対し、このブロックは、符号化ツリーＡＣｒのルートを構成すると見なされ、
− ルート配下の第１のレベルのリーフは、ブロックＣＴＢｒ_ｉが１回目に複数の符号化ブロック（例えば、４つの符号化ブロックＢｒ_１、Ｂｒ_２、Ｂｒ_３、Ｂｒ_４）に分割される、ブロックＣＴＢｒ_ｉの第１のレベルの分割深度に相当し、
− 第１のレベルのリーフ配下の第２のレベルのリーフは、１回目に分割されたブロックＣＴＢｒ_ｉが２回目に複数の符号化ブロック（例えば、ブロックＢｒ_１の分割から生じる４つの符号化ブロックＢｒ_５、Ｂｒ_６、Ｂｒ_７、Ｂｒ_８）に分割される、ブロックＣＴＢｒ_ｉの第２のレベルの分割深度に相当し、
− 第２のレベルのリーフ配下の第３のレベルのリーフは、２回目に分割されたブロックＣＴＢｒ_ｉが３回目に複数の符号化ブロック（例えば、ブロックＢｒ_７の分割から生じる４つの符号化ブロックＢｒ_９、Ｂｒ_１０、Ｂｒ_１１、Ｂｒ_１２）に分割される、ブロックＣＴＢｒ_ｉの第３のレベルの分割深度に相当する。

【0066】

図２Ａに示されるステップＣ２の間、処理は、ブロックＣＴＢｒ_１、ＣＴＢｒ_２、・・・、ＣＴＢｒ_ｉ、・・・、ＣＴＢｒ_Ｌのそれぞれで実行された分割を表現するものであるビットＳｒ_１、Ｓｒ_２、・・・、Ｓｒ_ｉ、・・・、Ｓｒ_ＬのＬ個のシーケンスの生成を伴う。また、処理は、ブロックＣＴＢｒ_１、ＣＴＢｒ_２、・・・、ＣＴＢｒ_ｉ、・・・、ＣＴＢｒ_Ｌの復号バージョンの生成も伴い、それらは、図２および３では、ＣＴＢＤｒ_１、ＣＴＢＤｒ_２、・・・、ＣＴＢＤｒ_ｉ、・・・、ＣＴＢＤｒ_Ｌで示される。そのような復号ブロックは、具体的には、成分ＣＩ_１１などの後続の画像成分を符号化するためにコーダＣＯで再利用することが意図される。

【0067】

バイナリシーケンスを生成するそのようなステップは、図３に示されるエントロピコーダＣＥによって実装される。

【0068】

前述の復号ステップは、その一部が、図３に同様に示される復号モジュールＭＤによって実装される。

【0069】

図２Ｂを参照すると、本発明によれば、第１および第２の画像成分ＣＩ_１１およびＣＩ_２１のタイプの関数として、分割による符号化に対し、２つの代替手段Ｃ３ａ）およびＣ３ｂ）が想定される。

【0070】

例えば、今まさに符号化された画像成分ＣＩ_２１がテクスチャ画像であり、画像成分ＣＩ_２１と関連付けられた符号化すべき画像成分ＣＩ_１１が深度画像である場合、以下の符号化代替手段Ｃ３ａ）が選択される。

【0071】

図２Ｂに示されるサブステップＣ３１ａ）の間、画像成分ＣＩ_１１は、サイズ６４×６４画素（１≦ｕ≦Ｓ）の複数のブロックＣＴＢ_１、ＣＴＢ_２、・・・、ＣＴＢ_ｕ、・・・、ＣＴＢ_Ｓに分割される。そのような分割ステップは、図３に示される分割モジュールＭＰＣＩによって実装される。

【0072】

図２Ｂに示されるサブステップＣ３２ａ）の間、予め符号化され、次に復号された画像成分ＣＩ_２１のブロックＣＴＢｒ_１、ＣＴＢｒ_２、・・・、ＣＴＢｒ_ｉ、・・・、ＣＴＢｒ_Ｌの中から選択された少なくとも１つの符号化され、次に復号された参照ブロックに対して、符号化すべき現在ブロックとして画像成分ＣＩ_１１のブロックＣＴＢ_ｕが選択される。以下に続く記述では、選択された参照ブロックは、例えば、ブロックＣＴＢｒ_ｉであると考えられ、現在ブロックＣＴＢ_ｕおよび参照ブロックＣＴＢｒ_ｉはそれぞれ、第１の画像成分ＣＩ_１１および第２の画像成分ＣＩ_２１において同一の場所を有する。

【0073】

図２Ｂに示されるサブステップＣ３３ａ）の間、選択されたブロックＣＴＢ_ｕは、複数のブロックＢ_１、Ｂ_２、・・・、Ｂ_ｆ、・・・、Ｂ_Ｇ（１≦ｆ≦Ｇ）に分割される。

【0074】

本発明によれば、ブロックＣＴＢ_ｕの分割は、参照ブロックＣＴＢｒ_ｉの分割深度レベルｋに応じたレベルｋ’（ｋ’≧０）が得られるまで複数回実行される。

【0075】

そのような依存関係は、方程式ｋ’＝ａ^＊ｋ＋ｂで表現され、式中、ａおよびｂは、コーダで事前に決定される相対整数である。

【0076】

したがって、そのような依存関係は、符号化におけるブロックＣＴＢ_ｕの過剰回数の再分割を回避することを可能にし、この過剰回数の再分割は、依然として符号化性能基準（例えば、レート／歪みコストなど）に従ったままの状態のブロックＣＴＢ_ｕの分割を得ることに成功する一方で、複雑性の面で。

【0077】

前記分割は、図３に示される前記第１の分割ソフトウェアモジュールＭＰ１によって実装される。

【0078】

ステップＣ３２ａ）〜Ｃ３３ａ）は、ブロックＣＴＢ_１、ＣＴＢ_２、・・・、ＣＴＢ_Ｓの全セットに対して繰り返される。

【0079】

ブロックＣＴＢ_ｕの例示的な分割は、図４Ｂに示される。

【0080】

示される例では、現在ブロックＣＴＢ_ｕの分割は、深度レベルｋ’＝２で実行され、深度レベルｋ’＝２は、参照ブロックＣＴＢｒ_ｉの分割深度レベルｋより低い。このため、関係ｋ’＝ａ^＊ｋ＋ｂでは、ａおよびｂは、コーダにおいて、次のように、すなわち、ａ＝１およびｂ＝−１であるように、あらかじめ固定されている。

【0081】

当然ながら、想定される符号化コンテキスト（例えば、画像成分ＣＩ_１１およびＣＩ_２１のコンテンツなど）に従って、分割深度レベルｋ’は、２つ以上の分割深度レベル分、分割深度レベルｋより低いことも、高いこともあり得る。依存関係ｋ’＝ａ^＊ｋ＋ｂは、符号化の間に遭遇する状況に従って分割深度レベルｋ’への適合におけるある程度の柔軟性を可能にするため、この意味で特に有利である。

【0082】

図４Ｂを参照すると、所定の現在ブロックＣＴＢ_ｕに対し、このブロックは、符号化ツリーＡＣのルートを構成すると見なされ、
− ルート配下の第１のレベルのリーフは、ブロックＣＴＢ_ｕが１回目に複数の符号化ブロック（例えば、４つの符号化ブロックＢ_１、Ｂ_２、Ｂ_３、Ｂ_４）に分割される、ブロックＣＴＢ_ｕの第１のレベルの分割深度に相当し、
− 第１のレベルのリーフ配下の第２のレベルのリーフは、１回目に分割されたブロックＣＴＢ_ｕが２回目に複数の符号化ブロック（例えば、Ｂ_１の分割から生じる４つの符号化ブロックＢ_５、Ｂ_６、Ｂ_７、Ｂ_８）に分割される、ブロックＣＴＢ_ｕの第２のレベルの分割深度に相当する。

【0083】

したがって、示される例では、ブロックＢ_７は、参照ブロックＣＴＢｒ_ｉのブロックＢｒ_７のように４つのブロックには再分割されていない。

【0084】

図２Ｂに示されるステップＣ４ａ）の間、処理は、ブロックＣＴＢ_１、ＣＴＢ_２、・・・、ＣＴＢ_ｕ、・・・、ＣＴＢ_Ｓのそれぞれで実行された分割を表現するものであるビットＳ_１、Ｓ_２、・・・、Ｓ_ｕ、・・・、Ｓ_ＳのＳ個のシーケンスの生成を伴う。また、処理は、ブロックＣＴＢ_１、ＣＴＢ_２、・・・、ＣＴＢ_ｕ、・・・、ＣＴＢ_Ｓの復号バージョンの生成も伴い、それらは、図２Ｂでは、ＣＴＢＤ_１、ＣＴＢＤ_２、・・・、ＣＴＢＤ_ｕ、・・・、ＣＴＢＤ_Ｓで示される。そのような復号ブロックは、後続の画像成分を符号化するためにコーダＣＯで再利用することが意図される。

【0085】

バイナリシーケンスを生成するそのようなステップは、図３に示されるエントロピコーダＣＥによって実装される。

【0086】

前述の復号ステップは、その一部が、図３に同様に示される復号モジュールＭＤによって実装される。

【0087】

ここでは、本発明に従って想定される分割による符号化のための第２の代替手段Ｃ３ｂ）について、図２Ｂを参照して説明する。

【0088】

そのような代替手段は、例えば、今まさに符号化された画像成分ＣＩ_２１が深度画像であり、画像成分ＣＩ_２１と関連付けられた符号化すべき画像成分ＣＩ_１１がテクスチャ画像である場合に想定される。

【0089】

図２Ｂに示されるサブステップＣ３１ｂ）の間、画像成分ＣＩ_１１は、サイズ６４×６４画素（１≦ｕ≦Ｓ）の複数のブロックＣＴＢ’_１、ＣＴＢ’_２、・・・、ＣＴＢ’_ｕ、・・・、ＣＴＢ’_Ｓに分割される。そのような分割ステップは、図３に示される分割モジュールＭＰＣＩによって実装される。

【0090】

図２Ｂに示されるサブステップＣ３２ｂ）の間、予め符号化された画像成分ＣＩ_２１のブロックＣＴＢｒ_１、ＣＴＢｒ_２、・・・、ＣＴＢｒ_ｉ、・・・、ＣＴＢｒ_Ｌの中から選択された少なくとも１つの符号化され、次に復号された参照ブロックに対して、符号化すべき現在ブロックとして画像成分ＣＩ_１１のブロックＣＴＢ’_ｕが選択される。以下に続く記述では、選択された参照ブロックは、例えば、ブロックＣＴＢｒ_ｉであると考えられ、現在ブロックＣＴＢ’_ｕおよび参照ブロックＣＴＢｒ_ｉはそれぞれ、第１の画像成分ＣＩ_１１および第２の画像成分ＣＩ_２１において同一の場所を有する。

【0091】

図２Ｂに示されるサブステップＣ３３ｂ）の間、処理は、分割深度レベルｋ’＝ａ^＊ｋ＋ｂに基づく、ブロックＣＴＢ’_ｕの分割深度レベルの初期化を伴う。

【0092】

このため、図２Ｂに示されるサブステップＣ３４ｂ）の間、ブロックＣＴＢ’_ｕは、予め初期化された分割深度レベルｋ’に基づいて、複数の符号化ブロックＢ’_１、Ｂ’_２、・・・、Ｂ’_ｇ、・・・、Ｂ’_Ｈ（１≦ｇ≦Ｈ）に直接分割される。ブロックＣＴＢ’_ｕの分割の中間のステップはこうして回避され、それにより、符号化の間、計算面における複雑性が著しく低減される。

【0093】

ブロックＣＴＢ’_ｕの分割のステップＣ３４ｂ）に続いて、ブロックＣＴＢ’_ｕは、再び、コーダで既定の分割深度レベルが得られるまで複数回分割することができる。

【0094】

前記分割は、図３に示される第２の分割ソフトウェアモジュールＭＰ２によって実装される。

【0095】

ステップＣ３２ｂ）〜Ｃ３４ｂ）は、ブロックＣＴＢ’_１、ＣＴＢ’_２、・・・、ＣＴＢ’_Ｓの全セットに対して繰り返される。

【0096】

ブロックＣＴＢ’_ｕの例示的な分割は、図４Ｃに示される。

【0097】

この例では、現在ブロックＣＴＢ’_ｕを符号化するために使用された参照ブロックＣＴＢｒ_ｉは、図４Ａに示されるように分割されているものと考えられる。

【0098】

図４Ｃに示される例では、現在ブロックＣＴＢ’_ｕの分割は、深度レベルｋ’＝４に基づいて実行され、深度レベルｋ’＝４は、参照ブロックＣＴＢｒ_ｉの分割深度レベルｋより高い。このため、関係ｋ’＝ａ^＊ｋ＋ｂでは、ａおよびｂは、コーダにおいて、次のように、すなわち、ａ＝１およびｂ＝１であるように、あらかじめ固定されている。上記の記述で説明してきたように、分割深度レベルｋ’の他の選択は、映像コンテキストに従って可能である。具体的には、分割深度レベルｋ’は、２つ以上の分割深度レベル分、分割深度レベルｋより低いことも、高いこともあり得る。

【0099】

図４Ｃを参照すると、所定の現在ブロックＣＴＢ’_ｕに対し、このブロックは、符号化ツリーＡＣ’のルートを構成すると見なされ、
− ルート配下の第１のレベルのリーフは、ブロックＣＴＢ’_ｕが１回目に複数の符号化ブロック（例えば、４つの符号化ブロックＢ’_１、Ｂ’_２、Ｂ’_３、Ｂ’_４）に分割される、ブロックＣＴＢ’_ｕの第１のレベルの分割深度に相当し、
− 第１のレベルのリーフ配下の第２のレベルのリーフは、１回目に分割されたブロックＣＴＢ’_ｕが２回目に複数の符号化ブロック（例えば、ブロックＢ’_１の分割から生じる４つの符号化ブロックＢ’_５、Ｂ’_６、Ｂ’_７、Ｂ’_８）に分割される、ブロックＣＴＢ’_ｕの第２のレベルの分割深度に相当し、
− 第２のレベルのリーフ配下の第３のレベルのリーフは、２回目に分割されたブロックＣＴＢ’_ｕが３回目に複数の符号化ブロック（例えば、ブロックＢ’_７の分割から生じる４つの符号化ブロックＢ’_９、Ｂ’_１０、Ｂ’_１１、Ｂ’_１２）に分割される、ブロックＣＴＢ’_ｕの第３のレベルの分割深度に相当し、
− 第３のレベルのリーフ配下の第４のレベルのリーフは、３回目に分割されたブロックＣＴＢ’_ｕが４回目に複数の符号化ブロック（例えば、ブロックＢ’_１１の分割から生じる４つの符号化ブロックＢ’_１３、Ｂ’_１４、Ｂ’_１５、Ｂ’_１６）に分割される、ブロックＣＴＢ’_ｕの第４のレベルの分割深度に相当する。

【0100】

したがって、示される例では、ブロックＢ’_１１は、参照ブロックＣＴＢｒ_ｉのブロックＢｒ_１１とは対照的に、４つのブロックに分割されている。

【0101】

図２Ｂに示されるステップＣ４ｂ）の間、処理は、ブロックＣＴＢ’_１、ＣＴＢ’_２、・・・、ＣＴＢ’_ｕ、・・・、ＣＴＢ’_Ｓのそれぞれで実行された分割を表現するものであるビットＳ’_１、Ｓ’_２、・・・、Ｓ’_ｕ、・・・、Ｓ’_ＳのＳ個のシーケンスの生成を伴う。また、処理は、ブロックＣＴＢ’_１、ＣＴＢ’_２、・・・、ＣＴＢ’_ｕ、・・・、ＣＴＢ’_Ｓの復号バージョンの生成も伴い、それらは、図２Ｂでは、ＣＴＢＤ’_１、ＣＴＢＤ’_２、・・・、ＣＴＢＤ’_ｕ、・・・、ＣＴＢＤ’_Ｓで示される。そのような復号ブロックは、後続の画像成分を符号化するためにコーダＣＯで再利用することが意図される。

【0102】

バイナリシーケンスを生成するそのようなステップは、図３に示されるエントロピコーダＣＥによって実装される。

【0103】

前述の復号ステップは、その一部が、図３に同様に示される復号モジュールＭＤによって実装される。

【0104】

上記で説明してきた実施形態は、単に完全に非限定的なものを示すものとして与えているものであり、本発明の範囲から逸脱することなく、当業者が多くの変更形態を容易に導入できることは言うまでもない。

【符号の説明】

【0105】

ＣＴＢ ブロック
ＣＢ 符号化ブロック
ＣＩ 画像成分
Ｓ 分割を表現するビット
ＣＴＢＤ 復号ブロック

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】