特許第6545672号(P6545672)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エルジー エレクトロニクス インコーポレイティドの特許一覧

特許6545672マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
<>
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000004
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000005
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000006
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000007
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000008
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000009
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000010
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000011
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000012
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000013
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000014
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000015
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000016
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000017
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000018
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000019
  • 特許6545672-マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6545672
(24)【登録日】2019年6月28日
(45)【発行日】2019年7月17日
(54)【発明の名称】マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
(51)【国際特許分類】
   H04N 19/52 20140101AFI20190705BHJP
   H04N 19/597 20140101ALI20190705BHJP
   H04N 19/70 20140101ALI20190705BHJP
【FI】
   H04N19/52
   H04N19/597
   H04N19/70
【請求項の数】8
【全頁数】34
(21)【出願番号】特願2016-524022(P2016-524022)
(86)(22)【出願日】2014年10月20日
(65)【公表番号】特表2016-537869(P2016-537869A)
(43)【公表日】2016年12月1日
(86)【国際出願番号】KR2014009861
(87)【国際公開番号】WO2015057039
(87)【国際公開日】20150423
【審査請求日】2017年10月16日
(31)【優先権主張番号】61/892,443
(32)【優先日】2013年10月18日
(33)【優先権主張国】US
(31)【優先権主張番号】61/892,444
(32)【優先日】2013年10月18日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】キム テソプ
(72)【発明者】
【氏名】イェ セフン
(72)【発明者】
【氏名】ホ チン
(72)【発明者】
【氏名】ソ チョントン
(72)【発明者】
【氏名】ユ ソンミ
(72)【発明者】
【氏名】ナム チョンハク
【審査官】 岩井 健二
(56)【参考文献】
【文献】 国際公開第2015/056620(WO,A1)
【文献】 国際公開第2014/171769(WO,A1)
【文献】 Min Woo Park et al.,3D-CE4.h related: Illumination compensation for BVSP and adaptive IC model,Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting: Vienna, AT,2013年 7月,JCT3V-E0143_r1,pp.1-5
【文献】 Jin Young Lee, Min Woo Park, and Chanyul Kim,3D-CE3 related: VSP and temporal candidates in Merge list construction,Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting: Vienna, AT,2013年 7月,JCT3V-E0145,pp.1-5
【文献】 Taesup Kim, Junghak Nam and Sehoon Yea,3D-CE3.h Related: Improvement on Merge Candidate List Construction,Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting: Vienna, AT,2013年 7月,JCT3V-E0187_r1,pp.1-3
【文献】 Gun Bang et al.,3D-CE3.h related: Simple merge candidate list construction for 3DV,Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting: Vienna, AT,2013年 7月,JCT3V-E0213_r3,pp.1-5
【文献】 Gerhard Tech et al.,3D-HEVC Draft Text 1,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting: Vienna, AT,,2013年 9月,JCT3V-E1001-v3,pp.17-19,27-28,47-51
【文献】 Li Zhang et al.,3D-HEVC Test Model 5,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,5th Meeting: Vienna, AT,2013年 9月,JCT3V-E1005,pp.10-23
【文献】 Tomohiro Ikai et al.,CE3-related: Removal of redundancy on VSP, ARP and IC,Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,6th Meeting: Geneva, CH,2013年10月,JCT3V-F0104_r2,pp.1-7
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
予測ブロックのサブブロック単位にマルチビュービデオをデコードするビデオデコード方法であって、
現在予測ブロックのための予測モードを決定するステップと、
前記現在予測ブロックのための予測モードがマージモード又はスキップモードである時、前記現在予測ブロックの周辺ブロックから動き情報を、マージ候補として導き出すステップと、
前記周辺ブロックの動き情報と前記現在予測ブロックの周辺ブロックから導き出したディスパリティ情報を利用して、マージ候補リストを構成するステップと、
前記現在予測ブロックに対応するデプスブロックを特定するステップと、
前記デプスブロックの4つのコーナーサンプルのデプス(depth)値を利用して、前記現在予測ブロックをサブブロックに分割するステップと、
前記サブブロックに対応するデプスブロックを利用して、各サブブロック別にディスパリティーベクトルを導き出すステップと、
前記ディスパリティーベクトルを利用して、前記サブブロック別に予測サンプルを導き出すステップとを含み、
前記マージ候補リストの構成は、前記現在予測ブロックの周辺ブロックから導き出された前記ディスパリティ情報により特定された参照ビューで参照ブロックの動き情報から導き出された第1マージ候補と、前記現在予測ブロックの左側ブロックから導き出された動き情報を表す第2マージ候補と、前記現在予測ブロックの上側ブロックから導き出された動き情報を表す第3マージ候補と、前記現在予測ブロックの右上側ブロックから導き出された動き情報を表す第4マージ候補と、前記ディスパリティ情報から導き出された第5マージ候補と、ビュー合成のためのディスパリティ情報から導き出された第6マージ候補と、前記現在予測ブロックの左下側ブロックから導き出された動き情報を表す第7マージ候補と、前記現在予測ブロックの左上側ブロックから導き出された動き情報を表す第8マージ候補と、の順にマージ候補を配置し、
前記マージ候補を構成するステップは、照度補償が前記現在予測ブロックに適用されるかを決定するステップと、前記第6マージ候補は前記照度補償が前記現在予測ブロックに適用されるかに基づいて前記マージ候補リストの中に含まれるかを決定するステップを含み、
前記照度補償が前記現在予測ブロックに適用される時、前記第6マージ候補は前記マージ候補リストに含まれない、ビデオデコード方法。
【請求項2】
前記デプスブロックは、前記現在予測ブロックを含むピクチャと同じPOC(picture order count)のデプスピクチャ内のブロックである、請求項1に記載のビデオデコード方法。
【請求項3】
前記現在予測ブロックを分割するステップは、
前記デプスブロックの4つのコーナーサンプルのデプス値の大きさを対角線方向に比較して、前記サブブロックの大きさを決定する、請求項1に記載のビデオデコード方法。
【請求項4】
前記デプスブロックの左上側コーナーサンプルである第1サンプル、右上側コーナーサンプルである第2サンプル、左下側コーナーサンプルである第3サンプル、右下側コーナーサンプルである第4サンプルに対して、
前記第1サンプルのデプス値が前記第4サンプルのデプス値より小さく、前記第2サンプルのデプス値が前記第3サンプルのデプス値より小さな第1の場合、及び前記第1サンプルのデプス値が前記第4サンプルのデプス値より大きく、前記第2サンプルのデプス値が前記第3サンプルのデプス値より大きな第2の場合には、前記現在予測ブロックを水平方向のサブブロックに分割する、請求項3に記載のビデオデコード方法。
【請求項5】
前記第1の場合及び第2の場合に該当しなければ、前記現在予測ブロックを垂直方向のサブブロックに分割する、請求項4に記載のビデオデコード方法。
【請求項6】
前記サブブロックは、4x8サブブロックまたは8x4サブブロックのうちの何れか一つである、請求項3に記載のビデオデコード方法。
【請求項7】
前記デプスブロックの左上側コーナーサンプルである第1サンプル、右上側コーナーサンプルである第2サンプル、左下側コーナーサンプルである第3サンプル、右下側コーナーサンプルである第4サンプルに対して、
前記第1サンプルのデプス値が前記第4サンプルのデプス値より小さく、前記第2サンプルのデプス値が前記第3サンプルのデプス値より小さな第1の場合、及び前記第1サンプルのデプス値が前記第4サンプルのデプス値より大きく、前記第2サンプルのデプス値が前記第3サンプルのデプス値より大きな第2の場合には、前記現在予測ブロックを8x4サブブロックに分割し、
前記第1の場合及び第2の場合でなければ、前記現在予測ブロックを4x8サブブロックに分割する、請求項3に記載のビデオデコード方法。
【請求項8】
予測ブロックのサブブロック単位にマルチビュービデオをエンコードするビデオエンコード方法であって、
現在予測ブロックのための予測モードを決定するステップと、
前記現在予測ブロックのための予測モードがマージモード又はスキップモードである時、前記現在予測ブロックの周辺ブロックから動き情報を、マージ候補として導き出すステップと、
前記周辺ブロックの動き情報と前記現在予測ブロックの周辺ブロックから導き出したディスパリティ情報を利用して、マージ候補リストを構成するステップと、
前記現在予測ブロックに対応するデプスブロックを特定するステップと、
前記デプスブロックの4つのコーナーサンプルのデプス(depth)値を利用して、前記現在予測ブロックをサブブロックに分割するステップと、
前記サブブロックに対応するデプスブロックを利用して、各サブブロック別にディスパリティーベクトルを導き出すステップと、
前記ディスパリティーベクトルを利用して、前記サブブロック別に予測サンプルを導き出すステップと、
前記現在予測ブロックのための予測ブロックを示す情報を含むビットストリームを生成するステップとを含み、
前記マージ候補リストの構成は、前記現在予測ブロックの周辺ブロックから導き出された前記ディスパリティ情報により特定された参照ビューで参照ブロックの動き情報から導き出された第1マージ候補と、前記現在予測ブロックの左側ブロックから導き出された動き情報を表す第2マージ候補と、前記現在予測ブロックの上側ブロックから導き出された動き情報を表す第3マージ候補と、前記現在予測ブロックの右上側ブロックから導き出された動き情報を表す第4マージ候補と、前記ディスパリティ情報から導き出された第5マージ候補と、ビュー合成のためのディスパリティ情報から導き出された第6マージ候補と、前記現在予測ブロックの左下側ブロックから導出された動き情報を表す第7マージ候補と、前記現在予測ブロックの左上側ブロックから導き出された動き情報を表す第8マージ候補と、の順にマージ候補を配置し、
前記マージ候補を構成するステップは、照度補償が前記現在予測ブロックに適用されるかを決定するステップと、前記第6マージ候補は前記照度補償が前記現在予測ブロックに適用されるかに基づいて前記マージ候補リストの中に含まれるかを決定するステップを含み、
前記照度補償が前記現在予測ブロックに適用される時、前記第6マージ候補は前記マージ候補リストに含まれない、ビデオエンコード方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオコーディングに関する技術であり、さらに具体的には、3Dビデオ映像のコーディングに関する。
【背景技術】
【0002】
最近、高解像度、高品質の映像に対する要求が多様な応用分野において増加している。しかしながら、映像が高解像度を有し高品質になるほど、該当映像に関する情報量も共に増加する。
【0003】
したがって、従来の有無線広帯域回線のような媒体を利用して、映像情報を送信するか、または従来の格納媒体を利用して映像情報を格納する場合には、情報の送信費用と格納費用が増加するようになる。高解像度、高品質映像の情報を効果的に送信し、格納し、再生するために、高効率の映像圧縮技術を利用できる。
【0004】
一方、高解像/大容量の映像を処理できるようになるにつれて、3Dビデオを利用したデジタル放送サービスが次世代放送サービスの一つとして注目されている。3Dビデオは、複数の視点(view)チャネルを利用して現場感と没入感を提供できる。
【0005】
3Dビデオは、FVV(free view point video)、FTV(free view point TV)、3DTV、社会安全網(surveillance)及びホームエンターテイメントのような多様な領域に使用することができる。
【0006】
シングルビュービデオ(single view video)とは異なり、マルチビューを利用した3Dビデオは、同じPOC(picture order count)のビューの間に高い相関度(correlation)を有する。マルチビュー映像は、隣接した複数のカメラ、すなわち、複数視点(view)を利用して全く同じ場面を同時に撮影するから、視差と一抹の照明差を除外すると、ほとんど同じ情報を含んでいるので、互いに異なるビュー間の相関度が高い。
【0007】
したがって、マルチビュービデオのエンコード/デコードでは、互いに異なるビュー間の相関度を考慮して、現在ビューのエンコード及び/またはデコードに必要な情報を獲得できる。例えば、現在ビューのデコード対象ブロックを他のビューのブロックを参照して予測またはデコードできる。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、インタビュー予測を効果的に行うためのマージ候補導出方法及びマージ候補リスト構成方法及び装置を提供することを目的とする。
【0009】
本発明は、マージ候補リストを構成する場合に、各マージ候補の有効な導出条件及び利用可能性を考慮できる方法及び装置を提供することを目的とする。
【0010】
本発明は、デプス情報を利用して現在ブロックに対するデコードを効果的に行うために、現在ブロックのサブブロック単位にディスパリティーベクトルを導き出し、予測を行うことができる方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の一実施の形態は、マルチビュービデオにおいてマージ候補リストを構成する方法であって、現在ブロックに対する予測モードを決定するステップと、現在ブロックに対する予測モードがマージモードまたはスキップモードである場合に、前記現在ブロックの周辺ブロックから動き情報をマージ候補として導き出すステップと、前記周辺ブロックの動き情報と現在ブロックの周辺ブロックから導き出したディープパリティ情報とを利用して、マージ候補リストを構成するステップとを含み、前記マージ候補リストを構成するステップでは、前記現在ブロックの周辺ブロックから導き出した第1ディスパリティ情報、前記現在ブロックの左側ブロックから導き出した動き情報、前記現在ブロックの上側ブロックから導き出した動き情報、前記現在ブロックの右上側ブロックから導き出した動き情報、前記第1ディスパリティ情報を基盤としてデプス情報を利用して導き出した第2ディスパリティ情報、ビュー合成に基づいて導き出した第3ディスパリティ情報、前記現在ブロックの左下側ブロックから導き出した動き情報、前記現在ブロックの左上側ブロックから導き出した動き情報の順にマージ候補が配置されることができる。
【0012】
本発明の他の実施の形態は、ビュー合成予測を利用して、現在ブロックのサブブロック単位にマルチビュービデオをデコードする方法であって、現在予測ブロックに対応するデプスブロックを特定するステップと、前記デプスブロックの4つのコーナーサンプルのデプス(depth)値を利用して、前記現在予測ブロックをサブブロックに分割するステップと、前記サブブロックに対応するデプスブロックを利用して、各サブブロック別にディスパリティーベクトルを導き出すステップと、前記導き出したディスパリティーベクトルを利用して、前記サブブロック別に予測サンプルを導き出すステップとを含むことができる。
【発明の効果】
【0013】
本発明によれば、インタビュー予測を行うためのマージ候補を効果的に導き出し、これを利用してマージ候補リストを構成することによって、コーディング効率を上げることができる。
【0014】
本発明によれば、マージ候補リストを構成する場合に、各マージ候補の有効な導出条件及び利用可能性を考慮して、マージモードあるいはスキップモードの効果を高めることができる。
【0015】
本発明によれば、現在ブロックのサブブロック単位にディスパリティーベクトルを導き出し予測を行って、ビュー合成予測の効果を高めることができる。
【図面の簡単な説明】
【0016】
図1】3Dビデオのエンコード及びデコード過程を概略的に説明する図である。
図2】ビデオエンコード装置の構成を概略的に説明する図である。
図3】ビデオデコード装置の構成を概略的に説明する図である。
図4】インタビューコーディングを概略的に説明する図である。
図5】デプスマップを利用するマルチビューコーディング方法を概略的に説明する。
図6】DV−MCPブロックを概略的に説明する図である。
図7】現在ブロックの周辺ブロックの一例を概略的に説明する図である。
図8】マージ候補リストを構成している一例を概略的に説明する図である。
図9】ICが適用されない場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
図10】ICが適用される場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
図11】ICが適用される場合のマージ候補リスト構成方法に関する他の例を概略的に説明する図である。
図12】現在ブロックに対してVSPを適用するために、対応するデプスブロックを特定する方法を概略的に説明する図である。
図13】VSPを適用してサブブロック単位にDCPを行う方法の一例を概略的に説明する図である。
図14】VSPを適用してサブブロック単位にDCPを行う方法の他の例を概略的に説明する図である。
図15】VSPを適用してサブブロック単位にDCPを行う方法のさらに他の例を概略的に説明する図である。
図16】本発明によってマージ候補リストを構成する方法の一例を概略的に説明するフローチャートである。
図17】本発明によってVSPを行う方法の一例を概略的に説明するフローチャートである。
【発明を実施するための形態】
【0017】
本明細書においてピクセル(pixel)またはペル(PEL)は、一つの映像を構成する最小の単位を意味できる。また、特定のピクセルの値を表す用語として「サンプル(sample)」が使用されることができる。サンプルは、一般にピクセルの値を表すが、輝度(Luma)成分のピクセル値のみを指示することもでき、色差(Chroma)成分のピクセル値のみを指示することもできる。
【0018】
「ユニット(unit)」は、映像処理の基本単位または映像の特定位置を意味できる。ユニットは、場合によって「ブロック(block)」または「領域(area)」などの用語と互いに混用して使用されることができる。通常の場合、MxNブロックは、M個の列とN個の行からなるサンプルまたは変換係数(transform coefficient)の集合を表すことができる。
【0019】
以下、図を利用して、本発明について具体的に説明する。
【0020】
図1は、3Dビデオのエンコード及びデコード過程を概略的に説明する図である。
【0021】
図1を参照すると、3Dビデオエンコーダは、ビデオピクチャ及びデプスマップ(depth map)とエンコーダをエンコードして、ビットストリームとして出力できる。
【0022】
デプスマップは、対応するビデオピクチャ(テクスチャピクチャ)のピクセルに対して、カメラと被写体間の距離情報(深さ情報)から構成されることができる。例えば、デプスマップは、深さ情報をビットデプス(bit depth)に従って正規化した映像でありうる。このとき、デプスマップは、色差表現なしで記録された深さ情報から構成されることができる。
【0023】
一般に、被写体との距離と変位(ディスパリティー)は、互いに反比例するので、カメラパラメータを利用してデプスマップの深さ情報からビュー間の相関度を表すディスパリティー情報を導き出すことができる。
【0024】
一般的なカラー映像、すなわち、ビデオピクチャ(テクスチャピクチャ)と共にデプスマップとカメラ情報を含むビットストリームは、ネットワークまたは格納媒体を介してデコーダに送信されることができる。
【0025】
デコーダ側では、ビットストリームを受信してビデオを復元できる。デコーダ側において3Dビデオデコーダが利用される場合に、3Dビデオデコーダは、ビットストリームからビデオピクチャとデプスマップ及びカメラパラメータをデコードできる。デコードされたビデオピクチャとデプスマップ、そしてカメラパラメータを基盤とするマルチビュー(multi view)ディスプレイに必要なビューを合成できる。このとき、使用されるディスプレイがステレオ(streo)ディスプレイであると、復元されたマルチビューのうち、二つのピクチャを利用して3D映像をディスプレイできる。
【0026】
ステレオビデオデコーダが使用される場合に、ステレオビデオデコーダは、ビットストリームから両眼に各々入射される二つのピクチャを復元できる。ステレオディスプレイでは、左眼に入射される左側映像と右眼に入射される右側映像の視差(view difference)あるいは変位(disparity)を利用して立体映像をディスプレイできる。ステレオビデオデコーダと共にマルチビューディスプレイが使用される場合には、復元された二つのピクチャに基づいて他のビューを生成して、マルチビューをディスプレイすることもできる。
【0027】
2Dデコーダが使用される場合には、2次元映像を復元して2Dディスプレイに映像を出力できる。2Dディスプレイを使用するが、デコーダは、3Dビデオデコーダを使用するか、またはステレオビデオデコーダを使用する場合には、復元された映像のうちのいずれか一つを2Dディスプレイに出力することもできる。
【0028】
図1の構成において、ビュー合成は、デコーダ側で行われることもでき、ディスプレイ側で行われることもできる。また、デコーダとディスプレイは、一つの装置の場合であってもよく、別の装置であってもよい。
【0029】
図1では、説明の便宜上、3Dビデオデコーダとステレオビデオデコーダ、及び2Dビデオデコーダが別のデコーダであると説明したが、一つのデコード装置が3Dビデオデコード、ステレオビデオデコード、及び2Dビデオデコードを全部行うこともできる。また、3Dビデオデコード装置が3Dビデオデコードを行い、ステレオビデオデコード装置がステレオビデオデコードを行い、2Dビデオデコード装置が2Dビデオデコード装置を行うこともできる。なお、マルチビューディスプレイが2Dビデオを出力するか、またはステレオビデオを出力することもできる。
【0030】
図2は、ビデオエンコード装置の構成を概略的に説明する図である。図2に示すように、ビデオエンコード装置200は、ピクチャ分割部205、予測部210、減算部215、変換部220、量子化部225、再整列部230、エントロピーエンコード部235、逆量子化部240、逆変換部245、加算部250、フィルタ部255及びメモリ260を備える。
【0031】
ピクチャ分割部205は、入力されたピクチャを少なくとも一つの処理単位ブロックに分割できる。このとき、処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、コーディングの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割(Partitioning)されるブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることができ、変換係数を導き出す単位ブロックまたは変換係数から残留信号を導き出す単位ブロックでありうる。
【0032】
以下、説明の便宜上、コーディング単位ブロックは、コーディングブロックまたはコーディングユニット(coding unit:CU)といい、予測単位ブロックは、予測ブロックまたは予測ユニット(prediction unit:PU)といい、変換単位ブロックは、変換ブロックまたは変換ユニット(transform unit:TU)という。
【0033】
予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、予測サンプルのアレイを意味することもできる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、変換係数またはレジデュアルサンプルのアレイを意味することもできる。
【0034】
予測部210は、処理対象ブロック(以下、現在ブロックとする)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部210で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。
【0035】
予測部210は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定できる。
【0036】
イントラ予測の場合に、予測部210は、現在ブロックが属するピクチャ(以下、現在ピクチャ)内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを導き出すことができる。このとき、予測部210は、(i)現在ブロックの周辺参照サンプルの平均あるいは補間(interpolation)を基盤とする予測サンプルを導き出すこともでき、(ii)現在ブロックの周辺ブロックのうち、予測対象ピクセルに対して特定方向に存在する参照サンプルに基づいて、予測サンプルを導き出すこともできる。説明の便宜上、(i)の場合を非方向性モード、(ii)の場合を方向性モードという。予測部210は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
【0037】
インター予測の場合に、予測部210は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを導き出すことができる。予測部210は、スキップ(skip)モード、マージ(merge)モード、及びMVPモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを導き出すことができる。スキップモードとマージモードの場合に、予測部210は、周辺ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプル間の差(レジデュアル)が送信されない。MVPモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor:MVP)として利用して、現在ブロックの動きベクトルを導き出すことができる。
【0038】
インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロックと参照ピクチャ(collocated picture)に存在する時間的周辺ブロックを含む。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。
【0039】
従属ビュー(dependent view)に対するエンコードの場合に、予測部210は、インタビュー予測を行うことができる。
【0040】
予測部210は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。インタビュー予測のために、予測部210は、ディスパリティ(disparity)ベクトルを導き出すことができる。現在ビュー内の他のピクチャで現在ブロックに対応するブロックを特定する動きベクトルとは異なり、ディスパリティベクトルは、現在ピクチャと同じAU(Access Unit)の他のビューで現在ブロックに対応するブロックを特定できる。
【0041】
予測部210は、ディスパリティベクトルに基づいて、デプスビュー(depth view)内のデプスブロック(depth block)を特定でき、マージリストの構成、インタビュー動き予測(interview motion prediction)、レジデュアル予測、IC(Illumination Compensation)、ビュー合成などを行うことができる。
【0042】
現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から導き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから導き出されることができる。
【0043】
例えば、予測部210は、参照ビュー(reference view)の時間的動き情報に対応するインタビューマージ候補(inter−view merging candidate:IvMC)、ディスパリティベクトルに対応するインタビューディスパリティベクトル候補(inter−view disparity vector candidate:IvDC)、ディスパリティベクトルのシフト(shift)により導き出されるシフトインタビューマージ候補(shifted IvMC)、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから導き出されるテクスチャマージ候補(texture merging candidate:T)、テクスチャマージ候補からディスパリティを利用して導き出されるディスパリティ導出マージ候補(disparity derived merging candidate:D)、ビュー合成に基づいて導き出されるビュー合成予測マージ候補(view synthesis prediction merge candidate:VSP)などをマージ候補リストに追加できる。
【0044】
このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。
【0045】
また、予測部210は、インタビュー動きベクトル予測を適用して、ディスパリティーベクトルに基づいて、現在ブロックの動きベクトルを予測することもできる。このとき、予測部210は、対応する深さブロック内の最大深さ値の転換(conversion)に基づいて、ディスパリティーベクトルを導き出すことができる。参照ビュー内の現在ブロックのサンプル位置にディスパリティーベクトルを足して、参照ビュー内の参照サンプルの位置が特定されると、参照サンプルを含むブロックを参照ブロックとして利用できる。予測部210は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、前記ディスパリティーベクトルをディスパリティ補償予測(Disparity−Compensated Prediction:DCP)のための候補ディスパリティーベクトルとして利用できる。
【0046】
減算部215は、原本サンプルと予測サンプル間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、上述のように、レジデュアルサンプルを生成しなくても良い。
【0047】
変換部220は、変換ブロック単位にレジデュアルサンプルを変換して、変換係数(transform coefficient)を生成する。量子化部225は、変換係数を量子化して、量子化された変換係数を生成できる。
【0048】
再整列部230は、量子化された変換係数を再整列する。再整列部230は、係数をスキャニング(Scanning)方法によりブロック形態の量子化された変換係数を1次元ベクトル形態に再整列できる。
【0049】
エントロピーエンコード部235は、量子化された変換係数に対するエントロピーエンコードを行うことができる。エントロピーエンコードには、例えば、指数ゴロム(Exponential Golomb)、CAVLC(Context−Adaptive Variable Length Coding)、CABAC(Context−Adaptive Binary Arithmetic Coding)などのようなエンコード方法を使用することができる。エントロピーエンコード部235は、量子化された変換係数の他にビデオ復元に必要な情報(例えば、シンタックスエレメント(syntax element)の値等)を共にまたは別にエンコードすることもできる。
【0050】
エントロピーエンコードされた情報は、ビットストリーム形態でNAL(Network Abstraction Layer)ユニット単位に送信または格納されることができる。
【0051】
逆量子化(dequantization)部240は、量子化された変換係数を逆量子化して、変換係数を生成する。逆変換(inverse transform)部245は、変換係数を逆変換してレジデュアルサンプルを生成する。
【0052】
加算部250は、レジデュアルサンプルと予測サンプルを合わせてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックを生成することもできる。ここで、加算部250は、別の構成と説明したが、加算部250は、予測部210の一部であっても良い。
【0053】
復元されたピクチャ(reconstructed picture)に対してフィルタ部255は、デブロッキングフィルタ及び/またはオフセットを適用できる。デブロッキングフィルタリング及び/またはオフセットを介して、復元ピクチャ内のブロック境界のアーチファクトまたは量子化過程での歪みが補正されることができる。オフセットは、サンプル単位に適用されても良く、デブロッキングフィルタリングの過程が完了した後に適用されても良い。
【0054】
メモリ260は、復元ピクチャまたはエンコード/デコードに必要な情報を格納することができる。例えば、メモリ260は、インター予測/インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インター予測/インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。
【0055】
ここでは、一つのエンコード装置が独立ビュー及び従属ビューをエンコードすると説明したが、これは、説明の便宜のためのものであり、各ビュー別に別のエンコード装置が構成されるか、または各ビュー別に別の内部モジュール(例えば、各ビュー別予測部)が構成されることもできる。
【0056】
図3は、ビデオデコード装置の構成を概略的に説明する図である。図3を参照すると、ビデオデコード装置300は、エントロピーデコード部310、再整列部320、逆量子化部330、逆変換部340、予測部350、加算部360、フィルタ部370、メモリ380を備える。
【0057】
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置300は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元できる。
【0058】
例えば、ビデオデコード装置300は、ビデオエンコード装置で適用された処理単位を利用して、ビデオデコードを行うことができる。したがって、ビデオデコードの処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、デコードの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割される(partitioning)ブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることもでき、変換係数を導き出す単位ブロックまたは変換係数から残留信号を導き出す単位ブロックでありうる。
【0059】
エントロピーデコード部310は、ビットストリームをパッシングしてビデオ復元またはピクチャ復元に必要な情報を出力できる。例えば、エントロピーデコード部310は、指数ゴロム、CAVLC、CABACなどに基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力できる。
【0060】
3Dビデオを再生するために、複数のビュー(view)を処理する場合、ビットストリームは、各ビュー別に入力されることができる。あるいはビットストリーム内で各ビューに対する情報がマルチプレクスされていることもできる。この場合、エントロピーデコード部310は、ビットストリームを逆多重化(de−multiplexing)して、ビュー別にパッシングすることもできる。
【0061】
再整列部320は、量子化されている変換係数を2次元のブロック形態に再整列できる。再整列部320は、エンコード装置で行われた係数スキャニングに対応して再整列を行うことができる。
【0062】
逆量子化部330は、量子化されている変換係数を(逆)量子化パラメータに基づいて逆量子化して、変換係数を出力できる。このとき、量子化パラメータを導き出すための情報は、エンコード装置からシグナリングされることができる。
【0063】
逆変換部340は、変換係数を逆変換してレジデュアルサンプルを導き出すことができる。
【0064】
予測部350は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部350で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。
【0065】
予測部350は、イントラ予測を適用するかインター予測を適用するかを決定できる。このとき、イントラ予測とインター予測のうちのどれを適用するかを決定する単位と予測サンプル生成する単位とは、互いに異なりうる。また、インター予測とイントラ予測において、予測サンプルを生成する単位もやはり、互いに異なりうる。
【0066】
イントラ予測の場合に、予測部350は、現在ピクチャ内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを導き出すことができる。予測部350は、現在ブロックの周辺参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを導き出すことができる。このとき、周辺ブロックのイントラ予測モードを利用して、現在ブロックに適用する予測モードが決定されることもできる。
【0067】
インター予測の場合に、予測部350は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを導き出すことができる。予測部350は、スキップ(skip)モード、マージ(merge)モード及びMVPモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを導き出すことができる。
【0068】
スキップモードとマージモードの場合に、周辺ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
【0069】
予測部350は、利用可能(available)周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。
【0070】
スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差(レジデュアル)が送信されない。
【0071】
MVPモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(MVP)として利用して、現在ブロックの動きベクトルが導き出されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
【0072】
従属ビュー(dependent view)に対するエンコードの場合に、予測部350は、インタビュー予測を行うこともできる。このとき、予測部350は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。
【0073】
インタビュー予測のために、予測部210は、ディスパリティ(disparity)ベクトルを導き出すことができる。予測部350は、ディスパリティベクトルに基づいて、デプスビュー(depth view)内のデプスブロック(depth block)を特定でき、マージリストの構成、インタビュー動き予測(interview motion prediction)、レジデュアル予測、IC(Illumination Compensation)、ビュー合成などを行うことができる。
【0074】
現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から導き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから導き出されることができる。カメラパラメータは、エンコード装置からシグナリングされることができる。
【0075】
従属ビューの現在ブロックにマージモードを適用する場合に、予測部350は、参照ビュー(reference view)の時間的動き情報に対応するIvMC、ディスパリティベクトルに対応するIvDC、ディスパリティベクトルのシフト(shift)により導き出されるシフトIvMC、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから導き出されるテクスチャマージ候補(T)、テクスチャマージ候補からディスパリティを利用して導き出されるディスパリティ導出マージ候補(D)、ビュー合成に基づいて導き出されるビュー合成予測マージ候補(VSP)などをマージ候補リストに追加できる。
【0076】
このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。
【0077】
また、予測部350は、インタ−ビュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部350は、ディスパリティベクトルによって特定される参照ビュー内のブロックを参照ブロックとして利用できる。予測部350は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、前記ディスパリティベクトルをDCPのための候補ディスパリティーベクトルとして利用できる。
【0078】
加算部360は、レジデュアルサンプルと予測サンプルを足して現在ブロックあるいは現在ピクチャを復元できる。加算部360は、レジデュアルサンプルと予測サンプルをブロック単位に足して現在ピクチャを復元することもできる。スキップモードが適用された場合には、レジデュアルが送信されないので、予測サンプルが復元サンプルになることができる。ここでは、加算部360を別の構成と説明したが、加算部360は、予測部350の一部であっても良い。
【0079】
フィルタ部370は、復元されたピクチャにデブロッキングフィルタリング及び/またはオフセットを適用できる。このとき、オフセットは、サンプル単位のオフセットとして適応的に適用されることができる。
【0080】
メモリ380は、復元ピクチャまたはデコードに必要な情報を格納することができる。例えば、メモリ380は、インター予測/インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インター予測/インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、参照ピクチャとして利用されることができる。
【0081】
また、メモリ380は、復元されたピクチャを出力順序に従って出力することもできる。3D映像を再生するために、図示していないが、出力部は、複数の互いに異なるビューをディスプレイできる。
【0082】
図3の例では、一つのデコード装置において独立ビュー(independent view)と従属ビュー(dependent view)がデコードされると説明したが、これは、説明の便宜のためのものであり、本発明は、これに限定されない。例えば、ビュー別に各々のデコード装置が動作することもでき、一つのデコード装置内に各ビューに対応する動作部(例えば、予測部)が備えられることができる。
【0083】
マルチビューのビデオをコーディングする場合に、エンコード装置及びデコード装置は、現在ピクチャと同じAU(Access Unit)に属する他のビューのコーディングされるデータを利用して、現在ビューに対するビデオコーディングの効率を上げることができる。このとき、POC(Picture Order Count)が同じピクチャを一つのAUとすることができる。POCは、ピクチャのディスプレイ順序に対応する。
【0084】
エンコード装置及びデコード装置は、AU単位にビューをコーディングすることもでき、ビュー単位にピクチャをコーディングすることもできる。ビューの間には、決まった順序にしたがってコーディングが行われる。最も速くコーディングされるビューをベースビュー(base view)または独立ビューということができる。独立ビューがコーディングされた後に、他のビューを参照してコーディングされることのできるビューを従属ビューということができる。また、現在ビューが従属ビューである場合に、現在ビューのコーディング(エンコード/デコード)に参照される他のビューを参照ビューということもできる。
【0085】
図4は、インタビューコーディングを概略的に説明する図である。図4の例において、コーディングは、AU単位に行われ、V0が独立ビューでV1が従属ビューという。現在ピクチャ410内のブロックAのように、動きベクトルを利用して同じビューの他のピクチャ430を参照するインターピクチャ予測を動き補償予測(Motion−Compensated Prediction:MCP)といえる。また、現在ピクチャ内のブロックBのように、ディスパリティーベクトルを利用して同じアクセスユニット内の、すなわち同じPOCを有する他のビューのピクチャ420を参照するインターピクチャ予測をディスパリティ補償予測(Disparity−Compensated Prediction:DCP)ということができる。
【0086】
マルチビューのビデオをコーディングする時、他のビューのピクチャを利用する方法の他に、デプスマップ(depth map)を利用しても良い。
【0087】
図5は、デプスマップを利用するマルチビューコーディング方法を概略的に説明する。
【0088】
図5を参照すると 、現在ビュー内の現在ピクチャ500のブロック(現在ブロック)505は、デプスマップ510を利用してコーディング(エンコード/デコード)されることができる。このとき、現在ブロック505内のサンプル515の位置(x,y)に対応するデプスマップ510内のサンプル520の位置(x,y)の深さ(depth)値dがディスパリティーベクトル525に変換されることができる。深さ値dは、サンプル(ピクセル)とカメラ間の距離に基づいて導き出されることができる。
【0089】
エンコード装置及びデコード装置は、ディスパリティーベクトル525をサンプル530位置(x,y)に足して、参照ビュー内の現在ピクチャ540内の参照サンプル535の位置を決定できる。ディスパリティーベクトルは、x軸成分だけを有していることができる。したがって、ディスパリティーベクトルの値は、(disp、0)でありえ、参照サンプル540の位置(xr,y)は、(x+disp,y)に決定されることができる。
【0090】
エンコード装置及びデコード装置は、参照ピクセル535を含む参照ブロック545の動きパラメータ(motion parameter)現在ブロックの動きパラメータの候補として使用することができる。例えば、参照ビュー内の参照ピクチャ550が参照ブロック545に対した参照ピクチャであれば、参照ブロック545の動きベクトル555は、現在ブロック505の動きベクトル560に導き出されることもできる。このとき、ピクチャ565は、現在ビュー内の参照ピクチャである。
【0091】
一方、上述のように、マルチビューのビデオデコードにおいては、ディスパリティーベクトルを利用して、他のビューの情報を参照できる。
【0092】
従属ビューのピクチャをコーディング(エンコード/デコード)する場合に、既にコーディングされた周辺ブロックの中でDCPコーディングされたブロックがある場合、DCPコーディングブロックのディスパリティーベクトルを現在ブロックに適用するディスパリティーベクトルとして利用できる。このとき、周辺ブロックから導き出したディスパリティーベクトル、すなわちDCPコーディングされたブロックのディスパリティーベクトルは、現在ブロックにインタビュー動き予測(IVMP)とインタビューレジデュアル予測(IVRP)を適用するためのディスパリティーベクトルとして利用されることができる。
【0093】
現在ブロックの動きベクトルがIVMPにより決定された場合をまず説明する。動きベクトル予測モード(motion vector prediction:MVPあるいはadvanced motion vector prediction:AMVP)モード、マージ(merge)モードあるいはスキップ(SKIP)モードにおいて、インタビュー参照ピクチャ内の対応ブロックの動きベクトルから導き出される候補が現在ブロックに適用された動きベクトルとして選択された場合、現在ブロックは、MCPでコーディングされる。
【0094】
このようにMCPでコーディングされたブロックのうち、IVMP方法でモーションベクトルが予測されたブロックをDV−MCPブロックという。
【0095】
図6は、DV−MCPブロックを概略的に説明する図である。図6では、現在ビューの現在ピクチャ610内の現在ブロック620をインター予測する場合を示している。
【0096】
図6を参照すると、現在ブロック620のインター予測に使用される周辺ブロック630の動きベクトル(MV1)がベースビュー内の参照ピクチャ640の対応ブロック650から導き出される。このとき、対応ブロックは、ディスパリティーベクトルDV660により特定される。現在ブロック630のインター予測に使用される候補ブロックとして、周辺ブロック630の動きベクトルMV1は、対応ブロック650の動きベクトルMV2に設定されるか、またはMV2から導き出されることができる。
【0097】
このとき、ベースビュー内の参照ピクチャ640と現在ピクチャ610のPOCは、同一でありうる。他のビュー内の対応ブロック650の動きベクトル(MV2)から予測された動きベクトル(MV1)が適用された周辺ブロック630をDV−MCPブロックということができる。
【0098】
エンコード装置とデコード装置は、DV−MCPブロックの動きベクトル予測に利用されたディスパリティーベクトルの情報を格納して、周辺ブロックのディスパリティーベクトル導出過程に活用できる。
【0099】
図7は、現在ブロックの周辺ブロックの一例を概略的に説明する図である。図7の周辺ブロックは、現在ブロックをデコードする時点において既にデコードが終わり、接近(access)が可能なブロックである。
【0100】
現在ブロック710の周辺ブロックは、空間的(spatial)周辺ブロックA0、A1、B0、B1、B2と時間的(temporal)周辺ブロックcol−CTR(col−center)、col−RB(col−right bottom)を含む。空間的周辺ブロックは、現在ブロック710の位置を基準として各々の位置が特定される。
【0101】
また、時間的周辺ブロックは、参照ピクチャのうちの一つであるコル−ピクチャ(collocated picture)において現在ブロックに対応する位置720を基準として各々の位置が特定される。時間的周辺ブロックの場合、現在ピクチャあるいは現在スライスをデコードする時点において指定されたコル−ピクチャ(collocated picture)での現在ブロック720の重心に位置したピクセルを含むコーディングブロックがcol−CTRになる。また、コル−ピクチャでの現在ブロック720の右下端ピクセル位置が(x,y)である場合、(x+1,y+1)位置のピクセルを含むコーディングブロックがcol−RBになる。以下、本明細書では、説明の便宜のために、col−CTRは、CTR、col−BRは、BRと表現することもある。
【0102】
コル−ピクチャ(col−located picture)は、現在ピクチャあるいは現在スライスの参照ピクチャリストに含まれた時間的参照ピクチャ(temporal reference picture)のうちの一つが時間的ディスパリティーベクトル導出(temporal disparity vector derivation)のために選択されたことがありうる。
【0103】
コル−ピクチャは、スライスヘッダ(slice header)を介してデコーダに知られることができる。例えば、どんなピクチャをコル−ピクチャとして使用するかを指示する情報は、スライスヘッダでシグナリングされることができる。
【0104】
一方、インタビュー予測を利用して現在ブロックを復元する場合に、現在ブロックに対してマージモードが適用される時には、予測ブロック(例えば、Prediction Unit:PU)またはサブ−予測ブロック(例えば、サブ−PU)単位に予測サンプルを導き出すこともできる。
【0105】
例えば、エンコード装置及びデコード装置の予測部は、現在予測ブロックがテクスチャー内にあり、現在スライス内に少なくとも一つのインタビュー参照ブロックがあれば、現在ブロックに対応するブロックがディスパリティーベクトルを基盤として特定されることができ、前記対応ブロックを利用してPUレベルあるいはサブPUレベルにおいて予測サンプルを導き出すことができる。
【0106】
マルチビュービデオのデコードにおいてマージモードを利用した予測が現在ブロックに適用される場合、エンコード装置及びデコード装置の予測部は、ベースビューにおける方法と同じ方法でマージ候補リストを構成した後、参照ビュー内の対応ブロックの動きベクトルを利用するインタビューマージ候補(inter−view merge candidate、IvMC)、参照ビュー内の対応ブロックのディスパリティーベクトルを利用するインタビューディスパリティーベクトル候補(inter−view disparity vector candidate、IvDC)、IvMCとIvDCをシフト(shift)した シフトされたIvMC(shifted IvMC)とシフトされたIvDC(shifed IvDC)、デプスを基盤として導き出されるビュー合成予測(view synthesis prediction、VSP)マージ候補をマージ候補リストに追加できる。
【0107】
以下、マージ候補リストを構成するマージ候補を概略的に説明する。
【0108】
まず、ベースビューにおいて用いられるマージ候補リストと同様に、空間的周辺ブロックから利用可能な動きベクトルが導き出される。このとき、現在ブロックの空間的周辺ブロックは、図7に示す現在ブロック710周辺のブロックA0、A1、B0、B1、B2になる。
【0109】
また、現在ビューとは異なる参照ビュー内の対応ブロックの情報を現在ブロックのマージ候補として利用できる。対応ブロックは、ディスパリティーベクトルにより特定されることができる。ディスパリティーベクトルは、DCPまたはMCPが適用された周辺ブロックのディスパリティーベクトルまたは動きベクトルから導き出されることもでき、前記導き出された動きベクトルをデプスマップを利用して修正した値をディスパリティーベクトルとして使用することもできる。便宜上、周辺ブロックから導き出したディスパリティーベクトルをNBDV(Disparity vector from neighbouring blocks)といい、深さ値を利用してNBDVから導き出すディスパリティーベクトルをDoNBDV(depth oriented NBDV)という。
【0110】
エンコード装置及びデコード装置の予測部は、インタビューマージ候補(IvMC)として参照ビューにおいてディスパリティーベクトルにより特定される参照ブロックが時間的動き補償をする場合に使用した動きベクトルを利用できる。すなわち、参照ビューにおいてMCPが適用されたブロックの動きベクトルを現在ブロックの動きベクトル候補として使用することができる。このとき、参照ブロックを特定するのに利用されるディスパリティーベクトルは、現在ブロックの周辺ブロックを基盤として導き出されるNBDVまたはDoNBDVが使用されても良く、デプスマップを基盤として導き出される値が使用されても良い。一方、IvMCの導出のために、PUレベルまたはサブPUレベルの導出方法が使用されることができる。
【0111】
また、エンコード装置及びデコード装置の予測部は、インタビューディスパリティーベクトル候補(IvDC)として、参照ビュー内の対応ブロックのディスパリティーベクトルを利用できる。
【0112】
エンコード装置とデコード装置の予測部は、ディスパリティーベクトルを特定値分だけシフトした後、シフトされたディスパリティーベクトルにより特定される対応ブロックの動きベクトルをシフトされたIvMC(shifted IvMC、IvMCShift)に導き出すことができる。予測部は、ディスパリティーベクトルを現在予測ブロックの高さと幅を利用してシフトできる。例えば、予測部は、現在ブロックの高さがnPbH、幅がnPbWである場合に、ディスパリティーベクトルをx軸方向にnPbW*2+2分だけシフトし、y軸方向にnPbH*2+2分だけシフトして、IvMCShiftを導き出すことができる。予測部は、IvMCとIvMCShiftとが同一でない場合に、IvMCShiftを現在ブロックのマージ候補として追加できる。
【0113】
エンコード装置とデコード装置の予測部は、ディスパリティーベクトルを特定値分だけシフトした後、シフトされたディスパリティーベクトル(shifted IvDC、IvDCShift)を現在ブロックのマージ候補に追加できる。例えば、予測部は、IvDCをx軸にのみ所定距離(例えば、4)移動したディスパリティーベクトルをIvDCShiftとして利用できる。また、予測部は、ビュー合成予測が適用される場合を考慮して、IvDCShiftを導き出すことができる。例えば、予測部は、ビュー合成予測が行われることのできる場合には、IvDCShiftのy成分を0に置くことができる。
【0114】
一方、エンコード装置及びデコード装置の予測部は、インタビュー予測を基盤として動きベクトルをマージ候補リストに追加する場合に、デプスマップの情報を基盤とする候補を導き出すことができる。
【0115】
例えば、予測部は、ビデオ信号とデプス信号間の類似性を基盤として、ビデオ信号から動き情報を取って使用する動きパラメータ継承方法(motion parameter inheritance、MPI)を適用することもできる。この場合、一つのデプスPUから分割されたサブPU別に互いに異なる動きベクトルがテクスチャーから継承されることができる。現在ブロックがデプスマップのブロックでMPIが適用される場合に、予測部は、テクスチャーから継承した動きベクトルを利用するマージ候補TとTを基盤として導き出されたデプス候補Dをマージ候補として追加できる。Dが利用される場合に、予測サンプルは、対応するディスパリティーベクトルから導き出されるデプス値に設定されることができる。
【0116】
最後に、エンコード装置及びデコード装置の予測部は、ビュー合成予測(View Synthesis Prediction、VSP)によるディスパリティーベクトルをマージ候補(VSP)として追加できる。予測部は、周辺ブロックのディスパリティーベクトルを現在ブロックに対するマージ候補として追加でき、このディスパリティーベクトルを利用してデプスマップ上において特定される対応ブロックのデプス値を基盤として、現在ブロックのデプス情報を導き出すことができる。
【0117】
上述したマージ候補を利用してエンコード装置及びデコード装置の予測部は、次のようにマージ候補リストを構成できる。マージ候補は、マージ候補リスト上において以下の順に位置するようになる。
【0118】
(1)予測部は、MPI候補としてTとDをマージ候補リストに追加する。具体的には予測部は、Tが利用可能かどうかを判断して、利用可能な場合(available)にTを追加する。予測部は、Dが利用可能かどうかを判断して、利用可能な場合にDをTの次に追加する。
【0119】
(2)予測部は、IvMCが利用可能な場合において、Tが利用不可でるか、TとIvMCが同一でない場合に、IvMCをマージ候補リストのDの次の位置に挿入する。
【0120】
(3)予測部は、A1が利用可能な場合に、A1をマージ候補リストに追加する。マージ候補の重複を防止するために、予測部は、既に追加されたマージ候補とA1との同一性を比較できる。既に追加されたマージ候補Nは、デプスを使用することができる場合にTでありえ、デプスを使用しない場合には、IvMCでありうる。予測部は、A1とNとが同じ場合には、A1をマージ候補から除くことができる。
【0121】
(4)予測部は、B1が利用可能な場合に、B1をマージ候補リストに追加する。マージ候補の重複を防止するために、予測部は、B1と前もって追加された候補と同じ場合には、B1をマージ候補から除くことができる。
【0122】
(5)予測部は、B0が利用可能な場合にB0をマージ候補リストに追加できる。
【0123】
(6)予測部は、IvDCが利用可能な場合にIvDCをマージ候補リストに追加できる。ただし、予測部は、符号化効率を上げ重複を防止するために、(i)A1が利用可能でないか、またはA1とIvDCが互いに異なり、(ii)B1が利用可能でないか、またはB1とIvDCが互いに異なり、(iii)現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、IvMCをマージ候補リストに追加することもできる。
【0124】
(7)予測部は、VSPに導き出されたディスパリティーベクトル(以下、VSPという)が利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、VSPをマージ候補リストに追加できる。この場合、予測部は、符号化効率を上げるために、付加的なコーディング方法、例えばIC(illumination compensation)などが使用されないことを条件としてVSPをマージ候補リストに追加することもできる。したがって、付加的なコーディング方法、例えばICが使用される場合には、VSP候補をマージ候補から除くことができるが、これについては後述する。
【0125】
(8)予測部は、A0が利用可能で、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、A0をマージ候補リストに追加できる。
【0126】
(9)予測部は、B2が利用可能で、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、B2をマージ候補リストに追加できる。
【0127】
(10)予測部は、(a)IvMCShiftが利用可能で、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えなく、(b)IvMCが利用可能でないか、またはIvMCとIvMCShiftとが同一でない場合に、IvMCShiftをマージ候補リストに追加できる。
【0128】
(11)予測部は、IvDCShiftが利用可能で現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、IvDCShiftをマージ候補リストに追加できる。
【0129】
上述のように、マージモードを介して予測するサンプルがデプスに関するものであれば、MPIによった候補TとDが利用され、そうでない場合には、TとDが利用されない場合もある。
【0130】
図8は、マージ候補リストを構成している一例を概略的に説明する図である。
【0131】
図8の例では、TとDが使用されない場合にマージ候補リストを構成する方法を概略的に説明している。また、図8の例では、時間的候補とコンバイン(combined)候補を除いてマージ候補リストを構成する例を説明する。
【0132】
このとき、図8を参照すると、復元しようとする現在PUにマージモードあるいはスキップモードが適用される場合に、次のような順にマージ候補リストが構成されることができる。説明の便宜のために、エンコード装置及びデコード装置の予測部がマージ候補リストを構成すると説明する。
【0133】
(i)予測部は、復元しようとするPU(以下、「現在PU」という)のDoNBDVを利用して、参照ピクチャにおいて対応ブロックを特定できる。予測部は、対応ブロックから動き情報を持ってくることができる。例えば、予測部は、対応ブロックの重心(center)あるいは左上端サンプルを基準に対応ブロックに対する動き情報を現在PUに対したマージ候補として導き出すことができる。
【0134】
(ii)予測部は、現在PUの左側(left)位置において動き情報を持ってくることができる。例えば、予測部は、図8に示された左側ブロックLの動き情報を現在PUに対したマージ候補として導き出すことができる。
【0135】
(iii)予測部は、現在PUの上側(above)位置において動き情報を持ってくることができる。例えば、予測部は、図8に示す上側ブロックAの動き情報を現在PUに対したマージ候補として導き出すことができる。
【0136】
(iv)予測部は、現在PUの右上側(aboveright)位置において動き情報を持ってくることができる。例えば、予測部は、図8に示す右上側ブロックARの動き情報を現在PUに対したマージ候補として導き出すことができる。
【0137】
(v)予測部は、現在PUの周辺ブロックを基盤として導き出したディスパリティーベクトルをマージ候補として追加できる。例えば、予測部は、現在PUに対したDoNBDV、すなわち、現在PUの周辺ブロックとデプスマップを基盤として導き出したディスパリティーベクトルを現在PUに対したマージ候補(動き情報)としてマージ候補リストに追加できる。
【0138】
(vi)予測部は、現在PUに対したVSPをマージ候補にすることができる。例えば、予測部は、現在PUにVSPを適用して導き出したディスパリティーベクトル(例えば、NBDV)を現在PUに対したマージ候補(動き情報)としてマージ候補リストに追加できる。
【0139】
(vii)予測部は、現在PUの左下側(bottom left)位置において動き情報を持ってくることができる。例えば、予測部は、図8に示された左下側ブロックBLの動き情報を現在PUに対したマージ候補として導き出すことができる。
【0140】
(viii)予測部は、現在PUの左上側(left above)位置において動き情報を持ってくることができる。例えば、予測部は、図8に示す左上側ブロックLAの動き情報を現在PUに対したマージ候補として導き出すことができる。
【0141】
(ix)予測部は、ディスパリティーベクトルを利用して参照ピクチャで現在PUに対応するブロックを特定し、特定されたブロックの右下側(bottomright)位置において動き情報を導き出すことができる。言い換えれば、予測部は、ディスパリティーベクトルを利用して導き出したインタビュー動きベクトルをシフトしてマージ候補として追加することもできる。例えば、予測部は、図8に示された、対応ブロックの右下側ブロックBRから導き出された動き情報をマージ候補として利用できる。
【0142】
(x)予測部は、現在PUの周辺ブロックから導き出したディスパリティーベクトルを修正した動き情報をマージ候補として利用できる。例えば、予測部は、現在PUのディスパリティーベクトルを所定値分だけシフトして、マージ候補として利用できる。
【0143】
一方、(ix)及び(x)において導き出されたシフトされた動き情報及びシフトされたディスパリティ情報は、先の(10)と(11)において説明したIvMCShiftとIvDCShiftに対応できる。
【0144】
また、上述の(1)ないし(11)ステップにて適用されたマージ候補間の同一性判断が図8の例にも適用されることができる。したがって、(i)ないし(x)のステップにてマージ候補リストに追加される動き情報を以前に追加されたマージ候補との同一性を判断して、同じ場合には、マージ候補から除かれることができる。
【0145】
また、インタビュー予測を基盤とするマージ候補、例えばデプスを利用して導き出される候補、またはディスパリティーベクトルである候補、ディスパリティーベクトルを利用して導き出される候補がマージ候補リストに含まれる条件もやはり、先の(1)ないし(11)にて説明したものと同様に適用されることができる。
【0146】
また、スキップモードが適用される場合に、現在ブロックは、現在PUではない現在CUである場合もある。
【0147】
上述のように、TとMが使用されない場合(復元しようとするPUがデプスビューのPUではない場合)に、予測部は、現在PU周辺の復元されたブロックにおいて使用した動き情報と新しい動き情報(周辺ブロックの動き情報を基盤として導き出された動き情報)を利用して、マージ候補リストを構成できる。
【0148】
(i)ないし(x)において動き情報は、動きベクトルを含み、DCPブロックから導き出される動き情報の場合、動き情報は、ディスパリティーベクトルを含むか、またはマージ候補としてディスパリティーベクトルを動きベクトルと対等に使用することもできる。同様に、現在PU周辺の復元されたブロックにMCPが適用された場合(MCPブロックである場合)、マージ候補リストのマージ候補としてMCP情報(例えば、動きベクトル、参照ピクチャインデックスなど)が含まれることができる。
【0149】
言い換えれば、予測部は、現在PUの復元された周辺ブロックからMCP、DCP、VSP情報を持ってきて、マージ候補リストを構成できる。
【0150】
特に、VSPの動き情報を格納するために、マージ候補リストの追加情報としてVSPフラグリスト(VSP flag list)が利用されることができる。周辺の復元されたブロックがVSPが適用されたブロックである場合に、VSPフラグリストにおいて前記ブロックに対するVSPフラグの値は、1に格納されることができる。周辺の復元されたブロックがDCPまたはMCPが適用されたブロックである場合に、VSPフラグリストにおいて前記ブロックに対するVSPフラグ値は、0に格納されることができる。
【0151】
これは、言い換えれば、マージ候補リストに複数のVSP、DCP、MCP候補が存在できることを意味するが、前記(i)ないし(x)でも(v)と(x)は、DCPにより導き出されるマージ候補である。
【0152】
一方、ビュー間の照度(illumination)差を補正する照度補償(illumination compensation、IC)がインタビュー予測に適用されることができる。例えば、インタビュービデオのコーディングにおいては、同じ時刻に互いに異なる視点(view point)において互いに異なるカメラを利用して撮影されたピクチャ間の参照がなされるので、カメラの条件と撮影環境によって差が発生できる。
【0153】
したがって、他のビューを参照して予測サンプルを導き出す過程においてこういう差を補償することができる。ICは、線形補償の形態で適用されることができ、予め決まったあるいはシグナリングされた値を基盤として導き出された加重値(weighting factor)とオフセットを利用して、サンプル値の修正がなされることができる。
【0154】
しかしながら、現在ピクチャと参照ピクチャ間のピクセル分布の差が大きくない場合、または撮影条件の差が大きく問題にならないビュー間あるいはピクチャ間には複雑度を増加させ、コーディング効率を低下させる恐れがあるから、ICを適用しなくても良い。
【0155】
したがって、ICが適用されるかどうかによって、マージ候補をどのように調整できるかを検討する必要がある。
【0156】
まず、復元しようとするPU(現在ブロック)にICが適用されない場合に、現在ブロック周辺の復元されたブロックの動き情報を、上述のようにそのままマージ候補リストに追加できる。
【0157】
すなわち、先に(1)〜(11)及び(i)〜(x)にて説明したように、MCP、DCP、VSP候補がそのままマージ候補リストに追加されることができる。
【0158】
復元しようとするPU(現在ブロック)にICが適用される場合に、VSPに導き出された動き情報がマージ候補リストから除かれる。例えば、ICが適用される場合に、類似の条件で撮影されたデプスピクチャのサンプルを利用してテクスチャーピクチャのサンプルを導き出すVSPは、マージ候補から除かれることができる。一方、現在ブロック周辺の復元されたブロックから導き出された動き情報がDCPまたはMCPである場合には、ICが適用されない場合と同様に、導き出されたMCPとDCPがマージ候補リストに追加されることができる。
【0159】
したがって、ICが適用される場合にVSPマージ候補は、マージ候補リストから除かれ、ICが適用されない場合にVSPマージ候補は、導き出されたそのまま追加的な修正無しでマージ候補リストに含まれることができる。先の(7)ではこれを考慮して、付加的なコーディング方法、すなわちICが適用される場合にVSPがマージ候補から除かれうることを説明した。
【0160】
なお、エンコード装置及びデコード装置の予測部は、マージ候補リストを構成するとき、ICが適用された場合、VSPフラグの値を0に格納し、VSP適用過程において導き出した周辺ブロックのディスパリティーベクトルをDCP候補としてマージ候補リストに追加することもできる。
【0161】
図9は、ICが適用されない場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
【0162】
上述のようにICが適用されない場合に、VSPは、導き出されたそのままにマージ候補として使用されることができる。したがって、利用可能性に関する他の条件を満たすと、VSP候補は、マージ候補リスト910に含まれることができる。
【0163】
図10は、ICが適用される場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
【0164】
上述のようにICが適用される場合に、VSPは、マージ候補として使用されない。したがって、VSP候補は、マージ候補リスト1010から除かれる。
【0165】
図11は、ICが適用される場合のマージ候補リスト構成方法に関する他の例を概略的に説明する図である。
【0166】
上述のようにICが適用される場合に、VSPは、マージ候補として使用されない。このとき、マージ候補リストを構成する予測部は、VSP過程で導き出されるディスパリティーベクトルをVSP候補の代わりにDCP候補としてマージ候補リスト1110に含めることもできる。
【0167】
図9ないし図11の例では、説明の便宜のために、複数のVSP候補と複数のDCP候補が特定の順序なしで含まれるマージ候補リストを例として説明したが、これは、説明の便宜のためである。したがって、図9ないし図11の例を適用する場合にも、上述の(1)〜(11)または(i)〜(x)に従ってマージ候補リストが構成されることができる。
【0168】
このように、エンコード装置及びデコード装置の予測部は、ICが適用されるかどうかに応じてマージ候補リストにVSP候補を追加するかどうかを決定できる。VSPを追加することができない場合には、VSP候補を単純にマージ候補リストから除くか、またはVSP候補をDCP候補として仮定してマージ候補リストに追加できる。
【0169】
上述のVSP(View Synthesis Prediction)候補は、従来のDCP(Disparity Compensated Prediction)と類似のインタビュー予測である。先にVSPに関して説明したように、VSPの場合には、DCPとは異なりデプスマップ(depth map)を参照して予測を行うようになる。このとき、参照するデプスマップは、既にデコードされた(復元された)デプスマップでありうる。
【0170】
参照するデプスマップ(復元されたデプスマップ)は、周辺ビューにおいて現在ピクチャと同じPOC(Picture Order Count)を有するデプスマップであっても良く、現在ビューにおいて以前に復元されたデプスマップであっても良い。
【0171】
以下、説明の便宜のために、VSPがエンコード装置及びデコード装置の予測部で行われると説明する。復元しようとするPU(現在ブロック)にVSPが適用される場合、予測部は、現在ブロックに対応するデプスブロック(depth block)をまず特定する。予測部は、デプスブロックを特定するために、動きベクトルまたはディスパリティーベクトルを使用することができる。このとき、使用されるディスパリティーベクトルまたは動きベクトルは、周辺ブロックのディスパリティーベクトルまたは動きベクトルでありうる。
【0172】
図12は、現在ブロックに対してVSPを適用するために、対応するデプスブロックを特定する方法を概略的に説明する図である。
【0173】
図12を参照すると、現在ピクチャ1210内の現在ブロック1220の対応ブロック1240がデプスマップ1230内で特定される。このとき、現在ピクチャ1210は、現在ビュー内のテクスチャーピクチャである。現在ピクチャ1210とデプスマップ1230とは、同一時刻(同一POC)のピクチャでありうる。現在ブロック1220が参照するデプスマップ1230は、現在ブロックがコーディングされる視覚に既にコーディングが完了したり復元されたピクチャである。
【0174】
予測部は、デプスマップ1230において動きベクトルまたはディスパリティーベクトルにより特定されるデプスブロック1240の情報を利用したワーピング(warping)を介して、仮像の予測ブロックを生成できる。あるいは予測部は、デプスブロック1240のデプス値から転換(convert)されたディスパリティーベクトルを利用して、現在ブロックに対するDCPを行うことができる。
【0175】
デプスブロック1240を特定するために、予測部は、デプスマップ1230が同一ビュー内のピクチャ裏面動きベクトルを使用して、デプスマップ1230が他のビューのピクチャ裏面ディスパリティーベクトルを使用することができる。このとき、ディスパリティーベクトルは、現在ブロックの周辺ブロックから導き出すことができる。
【0176】
上述のように、VSPを利用して予測を行うためには、現在ブロックに対応するデプスブロックのデプス値を参照して、インタビュー予測を行うことができる。このとき、現在ブロック(現在予測ブロック)は、特定ブロック単位に分割されることができ、エンコード装置及びデコード装置の予測部は、次のようにインタビュー予測を行うことができる。
【0177】
1)予測部は、現在予測ブロック(現在PU)を特定ブロック(サブ予測ブロック)単位に分割する。
【0178】
2)予測部は、分割されたサブ予測ブロック単位に次の2−A〜2−Dの過程を行うことができる。
【0179】
2−A)予測部は、サブ予測ブロックに対応するデプスブロックを特定できる。このとき、予測部は、現在予測ブロックに対応するデプスブロックを特定するディスパリティーベクトルと現在予測に対して、各サブ予測ブロックを特定する位置を利用して各サブ予測ブロックに対応するデプスブロックを特定できる。
【0180】
2−B)予測部は、サブ予測ブロックに対応するデプスブロックから代表デプス(depth)値を抽出できる。
【0181】
2−C)予測部は、代表デプス値をディスパリティーベクトルに転換できる。
【0182】
2−D)予測部は、前記ディスパリティーベクトルを利用して、サブ予測ブロック単位にDCPを行うことができる。
【0183】
このように、予測部は、予測ブロックを特定ブロック(サブ予測ブロック)単位に分けてDCPを適用できる。
【0184】
図13は、VSPを適用してサブブロック単位にDCPを行う方法の一例を概略的に説明する図である。
【0185】
図13を参照すると、エンコード装置及びデコード装置の予測部は、現在ビューのテクスチャーピクチャ1300内の現在PU1310をサブブロック(サブ予測ブロック)B0、B1、B2、B3に分割(partitioning)できる。
【0186】
予測部は、デプスピクチャ1320内の対応デプスブロック1330をディスパリティーベクトルを介して特定できる。このとき、ディスパリティーベクトルは、現在PUの周辺ブロック(例えば、DCPブロック)から導き出されることができる。
【0187】
予測部は、対応デプスブロック1330をサブ予測ブロックB0、B1、B2、B3に対応するサブデプスブロックB0’、B1’、B2’、B3’に分割して特定できる。予測部は、サブデプスブロックのデプス値(代表デプス値)を導き出すことができる。予測部は、サブデプスブロック別にデプス値を転換(convert)して、各サブ予測ブロックに対するディスパリティーベクトルを導き出すことができる。
【0188】
例えば、サブ予測ブロックB1に対して、予測部は、対応するデプスブロックB1’を特定し、B1’のデプス値を基盤としてディスパリティーベクトルMV1350を導き出すことができる。
【0189】
予測部は、導き出したディスパリティーベクトルを利用して、サブ予測ブロック単位にDCPを行うことができる。例えば、予測部は、サブ予測ブロックB1に対して導き出したディスパリティーベクトルMV1350を利用して、参照ピクチャ1340内の参照ブロックB1”1360を特定し、B1”1360のサンプルをサブ予測ブロックB1の予測サンプルとして利用できる。
【0190】
説明したように、現在PUを特定サブPUに分割してVSPが行われることができるが、現在PUをサブPUに分割する方式の一例は以下のとおりである。
【0191】
A)エンコード装置及びデコード装置の予測部は、復元しようとするPU(対象PUあるいは現在PU)を8x8ピクセルブロック単位(すなわち、8x8大きさのサブPU)にまず分割できる。
【0192】
B)予測部は、8x8ピクセルブロック単位に次のB−1〜B−4の過程を行うことができる。
【0193】
B−1)予測部は、8x8ピクセルブロックに対応するデプスブロックを特定できる。このとき、予測部は、現在PUに対応するデプスブロックを特定するディスパリティーベクトルとサブPUの大きさ8x8を利用して、各8x8ブロック(サブPU)に対応するデプスブロックを特定できる。
【0194】
B−2)予測部は、8x8ブロックに対応するデプスブロックの4個の頂点のデプス値を比較できる。
【0195】
B−3)予測部は、頂点のデプス値を比較することによって、8x8ブロックを追加的に2個の8x4サブブロックまたは2個の4x8サブブラックに分割できる。
【0196】
B−4)予測部は、追加的に分割された8x4サブブロックまたは4x8サブブロックに対してB−4−1ないしB−4−4の過程を行うことができる。
【0197】
B−4−1)予測部は、サブブロック(8x4サブブロックまたは4x8サブブロック)に対応するデプスマップ内のブロック(デプスブロック)を特定できる。
【0198】
B−4−2)予測部は、サブブロックに対応するデプスブロックのデプス値(代表デプス値)を抽出できる。
【0199】
B−4−3)予測部は、抽出した代表デプス値をディスパリティーベクトルに転換できる。
【0200】
B−4−4)予測部は、代表デプス値から得たディスパリティーベクトルを使用して、サブブロック(8x4サブブロックまたは4x8サブブロック)単位にDCPを行うことができる。
【0201】
このように、予測部は、8x8ブロックを基本単位にして復元しようとするPU(現在PU)をサブブロック(4x8ブロックまたは8x4ブロック)に再分割し、サブブロック単位にDCPを行うこともできる。
【0202】
図14は、VSPを適用してサブブロック単位にDCPを行う方法の他の例を概略的に説明する図である。図14では、前記A)〜B)において説明したVSPの例を概略的に説明している。
【0203】
図14を参照すると、エンコード装置及びデコード装置の予測部は、現在PU1410を8x8ブロック単位に分割できる。
【0204】
予測部は、デプスマップにおいて現在PU1410に対応するデプスブロック1420を特定できる。このとき、デプスブロック1420は、現在PU1410の周辺ブロックから導き出したディスパリティーベクトルを使用して特定されることができる。
【0205】
予測部は、現在PU内の8x8ブロックに対応するデプスブロック(サブデプスブロック)を特定できる。
【0206】
予測部は、サブデプスブロックの4個の頂点(頂点1、頂点2、頂点3、頂点4)のデプス値を利用して、追加分割の形態を特定できる。例えば、予測部は、8x8ブロックの追加分割形態を次の表1のように決定できる:
【0207】
【表1】
【0208】
表1を参照すると、互いに対角線方向に対向する二つの頂点のデプス値を比較して、サブブロックの分割方向が決定されることができる。
【0209】
例えば、図14の例を参照すると、対応デプスブロックにおいて頂点1の深さ値(depth[1])が頂点4の深さ値(depth[4])より小さく、頂点2の深さ値(depth[2])が頂点3の深さ値(depth[3])より小さいと、現在PUの8x8ブロックは、水平方向の二つのサブブロック(8x4ブロック)に分割されることができる。また、対応デプスブロックにおいて頂点1の深さ値(depth[1])が頂点4の深さ値(depth[4])より大きく、頂点2の深さ値(depth[2])が頂点3の深さ値(depth[3])より大きな場合にも、現在PUの8x8ブロックは、水平方向の二つのサブブロック(8x4ブロック)に分割されることができる。前記二つの場合に該当しなければ、現在PUの8x8ブロックは、垂直方向の二つのサブブロック(4x8ブロック)に分割されることができる。
【0210】
また、図14に戻って、現在PU1430内の8x8は、水平方向または垂直方向に分割されることができる。図14の例では、水平方向の二つの8x4ブロック1440、1450に分割されるのを例示している。
【0211】
一方、復元しようとするPU(現在PU)を特定ブロック単位に定義するさらに他の方法を考慮することもできる。具体的にエンコード装置及びデコード装置の予測部は、現在PUを8x8ブロックにでまず分けないで、デプスブロックにおいて現在PUのは、4つの隅に対応するデプス値を比較して、サブPUの分割形態を決定することもできる。
【0212】
この場合、予測部は、次の通りに現在PUに対してVSPを実施できる。
【0213】
a)予測部は、現在PUに対応するデプスブロックの4つのコーナー(corner)でのデプス値を比較できる。予測部は、現在PUに対応するデプスブロックを現在PUの周辺ブロックから導き出されたディスパリティーベクトルを利用して特定できる。
【0214】
b)予測部は、デプス値の比較により、現在PUを8x4サブブロックまたは4x8サブブロックに一律的に分割できる。例えば、予測部は、現在PUに対応するデプスブロックにおいて、左上端コーナーのデプス値が右下端コーナーのデプス値より小さく、右上端コーナーのデプス値が左下端コーナーのデプス値より小さな第1の場合と、左上端コーナーのデプス値が右下端コーナーのデプス値より大きく、右上端コーナーのデプス値が左下端コーナーのデプス値より大きな第2の場合には、現在PUを8x4サブブロック(サブPU)に分割できる。予測部は、デプスブロックの4つのコーナーデプス値を比較した結果、前記第1の場合及び第2の場合に該当しなければ、現在PUを4x8サブブロック(サブPU)に分割できる。
【0215】
c)予測部は、分割されたサブブロック単位に次のc−1ないしc−3の過程を行うことができる。
【0216】
c−1)予測部は、サブブロックに対応するデプスブロックを特定できる。このとき、予測部は、現在PUに対応するデプスブロックにおいてサブブロックの大きさ(8x4または4x8)を利用して、各サブブロック(サブPU)に対応するデプスブロックを特定できる。
【0217】
c−2)予測部は、各サブブロックに対応するデプスブロックのデプス値をディスパリティーベクトルに転換(convert)できる。予測部は、各サブブロックに対応するデプスブロックの代表デプス値を特定し、これを利用してディスパリティーベクトルを導き出すこともできる。
【0218】
c−3)予測部は、導き出したディスパリティーベクトルを利用して、サブブロック単位でDCPを行うことができる。例えば、予測部は、現在PUの参照ビューにおいて、サブブロック単位に導き出されたディスパリティーベクトルにより特定される参照ブロックのサンプルを利用して、現在サブPUの予測サンプルを導き出すことができる。このとき、参照ブロックは、現在PUの参照ビューにおいて、現在PUと同じPUを有するピクチャでありうる。
【0219】
図15は、VSPを適用してサブブロック単位にDCPを行う方法のさらに他の例を概略的に説明する図である。図15は、前記a)〜c)において説明したVSPの例を概略的に説明している。
【0220】
図15を参照すると、エンコード装置及びデコード装置の予測部は、現在PU1510に対応するデプスブロック1520を特定できる。
【0221】
予測部は、デプスマップにおいて現在PU1510に対応するデプスブロック1520を特定できる。このとき、デプスブロック1520は、現在PU1510の周辺ブロックから導き出したディスパリティーベクトルを使用して特定できる。
【0222】
予測部は、デプスブロック1520の4つのコーナーサンプル(コーナーサンプル1、コーナーサンプル2、コーナーサンプル3、コーナーサンプル4)のデプス値を利用して、サブブロック分割の形態を特定できる。例えば、予測部は、サブブロック分割の形態を次の表2のように決定できる:
【0223】
【表2】
【0224】
表2を参照すると、デプスブロックから対角線方向へ向かい合う二つのコーナーサンプルのデプス値を比較して、現在PUの分割方向が決定されることができる。
【0225】
例えば、図15を参照すると、デプスブロック1520においてコーナーサンプル1の深さ値(depth[1])がコーナーサンプル4の深さ値(depth[4])より小さく、コーナーサンプル2の深さ値(depth[2])がコーナーサンプル3の深さ値(depth[3])より小さいと、現在PU1510は、図示のように水平方向のサブブロック1530、すなわち8x4大きさのサブブロック1530に分割されることができる。また、デプスブロック1520においてコーナーサンプル1の深さ値(depth[1])がコーナーサンプル4の深さ値(depth[4])より大きく、コーナーサンプル2の深さ値(depth[2])がコーナーサンプル3の深さ値(depth[3])より大きな場合にも、現在PU1510は、図示のように水平方向のサブブロック1530、すなわち、8x4大きさのサブブロック1530に分割されることができる。前記二つの場合に該当しなければ、現在PUは、図示していないが、垂直方向のサブブロック、すなわち4x8大きさのサブブロックに分割されることができる。
【0226】
図16は、本発明によってマージ候補リストを構成する方法の一例を概略的に説明するフローチャートである。図16の方法は、エンコード装置及びデコード装置で行うことができ、ここでは、説明の便宜のためにエンコード装置及びデコード装置の予測部が実施すると説明する。
【0227】
図16を参照すると、予測部は、現在ブロックの予測モードを決定できる(S1610)。予測部は、現在ブロックにイントラ予測を適用するか、インター予測を適用するかを決定でき、インター予測を適用する場合には、スキップモードを適用するか、マージモードを適用するか、動きベクトル予測モードを適用するかを決定できる。
【0228】
デコード装置の場合、現在ブロックの予測モードは、エンコード装置からシグナリングされる情報に基づいて決定されることができる。
【0229】
現在ブロックに対する予測モードの決定結果、現在ブロックにマージモードまたはスキップモードが適用される場合に、予測部は、マージ候補として周辺ブロックから動き情報を導き出すことができる(S1620)。動き情報は、動きベクトルと参照ピクチャインデックスを含む。
【0230】
このとき、導き出される動き情報は、ベースビューにおいてマージモードが適用される場合に、マージ候補リストを構成する空間的候補と同一でありうる。上述のマージ候補リスト構成において、マージ候補としての動き情報は、図7のA1、B1、B0、A0、B2と同一である。
【0231】
予測部は、動き情報とディスパリティ情報を利用して、マージ候補リストを構成できる(S1630)。上述のように、動き情報は、動きベクトルと参照ピクチャインデックスを含み、ディスパリティ情報は、ディスパリティーベクトルと参照ビューインデックスを含むことができる。ディスパリティーベクトルは、周辺ブロックの情報及び/またはデプス情報を利用して誘導でき、必要によってシフトされた値が使用される場合もある。
【0232】
マージ候補とマージ候補リストを構成する方法に対する具体的な内容は、上述のとおりである。
【0233】
図17は、本発明によってVSPを行う方法の一例を概略的に説明するフローチャートである。図17の方法は、エンコード装置及びデコード装置で行うことができ、ここでは、説明の便宜のためにエンコード装置及びデコード装置の予測部が実施すると説明する。
【0234】
図17を参照すると、予測部は、現在ブロックに対応するデプスブロックを特定できる(S1710)。現在ブロックは、予測ブロックでありえ、対応するデプスブロックは、ディスパリティーベクトル(derived disparity vactor)を利用して、デプスマップ(デプスピクチャ)上において特定されることができる。このとき、デプスブロックを特定するのに利用されるディスパリティーベクトルは、現在ブロックの周辺ブロックの情報を利用して導き出されることができる。またデプスマップは、現在ブロックが属する現在ピクチャと同一ビュー内で以前にコーディング(エンコード/デコード)されたピクチャであっても良く、現在ビューが参照する他のビューにおいて現在ピクチャと同じPOCを有するデプスピクチャであっても良い。POC(picture order count)は、ピクチャの出力順序を特定する値である。
【0235】
予測部は、対応するデプスブロックにおいて4個のコーナーサンプル値を比較できる(S1720)。予測部は、デプスブロックの左上側コーナーサンプル、左下側コーナーサンプル、右上側コーナーサンプル、右下側コーナーサンプル値を比較できる。
【0236】
予測部は、デプスブロックのコーナーサンプルを比較した結果を利用して、現在ブロックをサブブロックに分割できる(S1730)。予測部は、左上側コーナーサンプルのデプス値が右下側コーナーサンプルのデプス値より小さく、右上側コーナーサンプルのデプス値が左下側コーナーサンプルのデプス値より小さな場合(第1の場合)に、現在ブロックを水平方向のサブブロックに分割できる。また、予測部は、左上側コーナーサンプルのデプス値が右下側コーナーサンプルのデプス値より大きく、右上側コーナーサンプルのデプス値が左下側コーナーサンプルのデプス値より大きな場合(第2の場合)に、現在ブロックを水平方向のサブブロックに分割できる。予測部は、第1の場合と第2の場合に該当しなければ、現在ブロックを垂直方向のサブブロックに分割できる。
【0237】
このとき、水平方向のサブブロックは、8x4大きさのサブPUでありえ、垂直方向のサブブロックは、4x8大きさのサブPUでありうる。
【0238】
予測部は、サブブロック別にディスパリティーベクトルを導き出すことができる(S1740)。ディスパリティーベクトルは、デプス値とカメラパラメータを利用して導き出されることができる。予測部は、サブブロック別に対応するデプスブロックを特定して、該当デプスブロックのデプス値を利用して各サブブロックに対するディスパリティーベクトルを導き出すことができる。
【0239】
予測部は、現在ブロックのサブブロック別に予測を行うことができる(S1750)。例えば、先にサブブロック別に導き出したディスパリティーベクトルを利用して、予測部は、各サブブロック別にDCPを行うことができる。
【0240】
具体的なVSP方法及びVSPを利用した現在ブロックのデコード方法は、上述のとおりである。
【0241】
上述の例示的なシステムにおいて、方法は、一連のステップまたはブロックとしてフローチャートに基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、上述のものと異なるステップと異なる順序 にまたは同時に発生できる。また、上述の実施の形態は、多様な様態の例示を含む。したがって、本発明は、以下の特許請求の範囲内に属するすべての他の取替、修正及び変更を含むはずである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17