特許 6154643 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6154643

(24)【登録日】2017年6月9日

(45)【発行日】2017年6月28日

(54)【発明の名称】動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム

(51)【国際特許分類】

   H04N 19/593 20140101AFI20170619BHJP

   H04N 13/00 20060101ALI20170619BHJP

【ＦＩ】

   H04N19/593

   H04N13/00 480

【請求項の数】12

【全頁数】18

(21)【出願番号】特願2013-74975(P2013-74975)

(22)【出願日】2013年3月29日

(65)【公開番号】特開2014-200021(P2014-200021A)

(43)【公開日】2014年10月23日

【審査請求日】2015年8月27日

【新規性喪失の例外の表示】特許法第３０条第２項適用 特許法第３０条第２項適用、ＩＴＵ−ＴのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ ３ｒｄ Ｍｅｅｔｉｎｇ： Ｇｅｎｅｖａ， ＣＨ（平成２５年１月１７日）において、３Ｄ−ＣＥ６．ｈ ｒｅｌａｔｅｄ： Ｃａｌｃｕｌａｔｉｏｎ Ｓａｍｐｌｅ Ｒｅｄｕｃｔｉｏｎ ｆｏｒ Ｄｅｐｔｈ Ｍｏｄｅｌｉｎｇ Ｍｏｄｅ １ ａｎｄ ３と題した刊行物（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ ＪＣＴ３Ｖ−Ｃ０２３０）に発表

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２４年度 独立行政法人情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発 三次元映像Ｅｎｄ−ｔｏ−Ｅｎｄ通信・放送システム（リアルタイムシステム）」、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】内藤 整

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特開２００４−２００８９４（ＪＰ，Ａ）

【文献】 特開２００５−２７７９６８（ＪＰ，Ａ）

【文献】 特開平１０−１６２１１８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１３５８４１（ＷＯ，Ａ１）

【文献】 佐藤雅治(外２名），３Ｄ−ＨＥＶＣにおけるデプス符号化のデコーダ計算量削減手法，電子情報通信学会２０１３年総合大会講演論文集 情報・システム２，日本，一般社団法人電子情報通信学会，２０１３年 ３月 ５日，p.47

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／００−１５／００

(57)【特許請求の範囲】

【請求項1】

多視点映像における各視点のテクスチャ及び奥行きマップに対して、予測を適用し、変換・量子化して符号化する動画像符号化装置であって、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、
対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成するウェッジリスト作成部と、
対象ブロックを複数のサブブロックに分割し、計算対象のサブブロックを、前記ウェッジレットが通過するサブブロックであって当該ウェッジレットの通過長が所定値以上のサブブロックに限定する計算領域限定部と、
各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域での信号の平均値を算出する平均値算出部と、
各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域での信号と、の差分を算出する差分評価部と、
前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを特徴とする動画像符号化装置。

【請求項2】

前記計算領域限定部は、ウェッジレットの通過長が所定値以上ではないサブブロックを計算対象から除外することを特徴とする請求項１に記載の動画像符号化装置。

【請求項3】

前記計算領域限定部は、ウェッジレットの通過長が、当該サブブロックの大きさに対して所定割合以上ではないサブブロックを計算対象から除外することを特徴とする請求項１に記載の動画像符号化装置。

【請求項4】

前記計算領域限定部は、対象ブロックのサイズが所定基準で小さいと判定される場合には、計算対象領域の限定を行わないことを特徴とする請求項１ないし３のいずれかに記載の動画像符号化装置。

【請求項5】

符号化された多視点映像における各視点のテクスチャ及び奥行きマップを復号するに際して、逆変換・逆量子化し、予測を適用して復号する動画像復号装置であって、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、
対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成するウェッジリスト作成部と、
対象ブロックを複数のサブブロックに分割し、計算対象のサブブロックを、前記ウェッジレットが通過するサブブロックであって当該ウェッジレットの通過長が所定値以上のサブブロックに限定する計算領域限定部と、
各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域でのテクスチャ信号の平均値を算出する平均値算出部と、
各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域でのテクスチャ信号と、の差分を算出する差分評価部と、
前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを特徴とする動画像復号装置。

【請求項6】

前記計算領域限定部は、ウェッジレットの通過長が所定値以上ではないサブブロックを計算対象から除外することを特徴とする請求項５に記載の動画像復号装置。

【請求項7】

前記計算領域限定部は、ウェッジレットの通過長が、当該サブブロックの大きさに対して所定割合以上ではないサブブロックを計算対象から除外することを特徴とする請求項５に記載の動画像復号装置。

【請求項8】

前記計算領域限定部は、対象ブロックのサイズが所定基準で小さいと判定される場合には、計算対象領域の限定を行わないことを特徴とする請求項５ないし７のいずれかに記載の動画像復号装置。

【請求項9】

多視点映像における各視点のテクスチャ及び奥行きマップに対して、予測を適用し、変換・量子化して符号化する動画像符号化装置において、奥行きマップに対する予測を適用するデプスイントラ予測方法において、
対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成する手順と、
対象ブロックを複数のサブブロックに分割し、計算対象のサブブロックを、前記ウェッジレットが通過するサブブロックであって当該ウェッジレットの通過長が所定値以上のサブブロックに限定する手順と、
各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域での信号の平均値を算出する手順と、
各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域での信号と、の差分を算出する手順と、
前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する手順と、を含むことを特徴とする動画像符号化装置のデプスイントラ予測方法。

【請求項10】

符号化された多視点映像における各視点のテクスチャ及び奥行きマップを復号するに際して、逆変換・逆量子化し、予測を適用して復号する動画像復号装置において、奥行きマップに対する予測を適用するデプスイントラ予測方法において、
対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成する手順と、
対象ブロックを複数のサブブロックに分割し、計算対象のサブブロックを、前記ウェッジレットが通過するサブブロックであって当該ウェッジレットの通過長が所定値以上のサブブロックに限定する手順と、
各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域でのテクスチャ信号の平均値を算出する手順と、
各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域でのテクスチャ信号と、の差分を算出する手順と、
前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する手順と、を有することを特徴とする動画像復号装置のデプスイントラ予測方法。

【請求項11】

前記請求項９に記載の動画像符号化装置のデプスイントラ予測方法をコンピュータに実行させるプログラム。

【請求項12】

前記請求項１０に記載の動画像復号装置のデプスイントラ予測方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラムに関し、特に、多視点映像における各視点のテクスチャ及び奥行きマップを対象として、奥行きマップに対するデプスイントラ予測を適用する動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラムに関する。

【背景技術】

【0002】

多視点映像符号化方式として、非特許文献1に開示のように、動画像符号化方式AVCを拡張したMVCが国際標準として規格化されている。また、非特許文献2に記載のように、次世代動画像符号化方式HEVCを拡張したMV-HEVCが国際標準として規格化作業中である。

【0003】

さらに、上記に加えて、非特許文献3に記載のように、多視点の映像（テクスチャ）と奥行（デプス）マップを対象とする符号化方式が検討されている。

【0004】

図10は、当該符号化対象となる奥行きマップが対応づけられた多視点映像のデータ構成を概念的に示す図である。図示するように、各カメラ位置に対応する各視点1〜nにおいて撮影された画像としてテクスチャ1〜nが与えられ、それぞれに奥行きマップ1〜nが用意され、このようなデータが各時刻tにおいて用意される。

【0005】

テクスチャi(i=1, 2 , ..., n)の各画素位置(x, y)において撮影されている対象（オブジェクト）の、当該撮影しているカメラからの奥行きの値d(x, y)を与えたものが、奥行きマップi(i=1, 2 , ..., n)となる。こうしたテクスチャ及び奥行きマップは、各視点1〜n以外の任意視点での映像の生成その他の、種々の利用が可能である。

【0006】

なお、奥行きマップは、既存の手法により用意される。例えば、各視点間の位置関係や各カメラパラメータなどを利用のうえ、各テクスチャi間において同一の特徴点の対応付け等の処理を行うことにより、各奥行きマップiを用意することができる。

【0007】

当該各視点i(i=1, 2 , ..., n)のテクスチャi及び奥行きマップiを対象とする符号化方式においては、非特許文献3に記載のように、次のような手法を適用することができる。まず、テクスチャには、通常のイントラ予測と動き補償、予測残差の変換・量子化から構成される動画像符号化方式(非特許文献１，２等の方式)を用いることができる。

【0008】

一方、奥行きマップは、奥行きの値を画素値として有する「画像」とみなすこともできるので、テクスチャと同一の上記動画像符号化方式（通常方式）を適用することができる。さらに、当該通常方式の代わりに、あるいは当該通常方式と併用して、奥行きマップ専用のデプスイントラ予測を用いることもできる

【0009】

なお、ここで、奥行きマップは信号特性がテクスチャのそれと大きく異なることから、専用のデプスイントラ予測が用意されている。奥行きマップの信号特性として、オブジェクト境界においては奥行きが異なるため急峻なエッジが生じる一方で、オブジェクト表面は比較的、奥行きの変化が少ないといった点が挙げられる。

【0010】

すなわち、例えば、手前に存在する第一オブジェクトの「人物」と後方に背景として存在する第二オブジェクトの「壁」といったように、オブジェクトが異なるとオブジェクト内の平均の奥行きが大きく異なるという特性がある。

【0011】

以下、非特許文献3に記載のデプスイントラ予測の一手法を説明する。当該手法は、以下の[手順1]〜[手順4]からなる。図１１は、当該手法を説明するための図である。

【0012】

[手順1] ウェッジリストの作成
[手順2] 領域毎の平均値算出
[手順3] SAD計算でウェッジレットを決定
[手順4] 奥行き値予測画像生成

【0013】

[手順1]では、探索対象となる複数のウェッジレットをリストアップしたウェッジリストを作成する。ウェッジレットは、奥行きマップ内のブロックにおけるオブジェクト境界（例えば、人物と背景である壁との境界など）を直線としてモデル化したものである。

【0014】

図１１の(1)には、予測対象となっているブロックB0が示されており、当該ブロックB0の4辺L1〜L4の中から、異なる2辺に属する点（画素位置の点）を選んで線分として結んだものが、ウェッジレットとなる。例えば(2)に示すように、辺L4上の点P1と、辺L3上の点P2とを結ぶ線分W1が、一つのウェッジレットとなり、当該ウェッジレットW1によって、ブロックB0は領域R1及びR2へと分割される。

【0015】

当該異なる2辺上の2点を結ぶ線分として構成されるウェッジレットの可能なものを全て候補として列挙することで、[手順1]にてウェッジリストが作成される。

【0016】

[手順2]では、ウェッジリスト内の各ウェッジレットにつき、分割された2領域内においてそれぞれ、テクスチャ信号（あるいは、デプス信号）の平均値を求める。例えば図１１の(2)のウェッジレットW1については、分割された領域R1の平均値m(R1)と、領域R2の平均値m(R2)とを求める。

【0017】

[手順3]では、まず、ウェッジリスト内の各ウェッジレットにつき、分割された2領域に対して[手順2]で計算された平均値と、テクスチャ信号値（あるいは、デプス信号）との差分絶対値二乗和(SAD)を求め、当該SADの2領域での和として、予測対象のブロック全体に対する当該ウェッジレットにおけるSADを求める。

【0018】

例えば、図１１の(2)のウェッジレットW1におけるSAD[W1]は、ブロックB0の位置(x, y)における信号値をs(x, y)とすると、以下の(式1)で与えられる。（信号値は、テクスチャまたはデプスの信号値。）

【0019】

【数1】

【0020】

[手順3]では、さらに、ウェッジリスト内の各ウェッジレットWi(i=1, 2 , ..., N)につき、上記(式1)と同様にして計算された差分絶対値二乗和SAD[Wi]が最小となるようなウェッジレットWiを、予測に用いるものとして決定する。

【0021】

[手順4]では、上記[手順3]で最小値を与えるものとして決定されたウェッジレットWiによって、当該予測対象ブロックにおける、奥行き値の予測画像を生成する。当該予測画像は、ウェッジレットWiによって分割された2領域においてそれぞれの代表値を与えたものとして（エンコーダ・デコーダそれぞれの手法で）生成される。代表値には、典型的には各領域の平均値を用いることができるが、当該領域で算出されるその他の値を採用してもよい。

【0022】

なお、奥行き値（デプス信号）の予測「画像」とは、予測された奥行き値が画素位置に対してマッピングされている点で「画像」と呼んでいる。代わりに、奥行き値の予測奥行きマップと称しても良い。

【0023】

例えば、図１１のウェッジレットW1が最小値を与えるものとして決定された場合、ブロックB0の予測画像は、領域R1内の全ての位置において信号値がその代表値dR1であり、領域R2内の全ての位置において信号値がその代表値dR2である画像となる。

【0024】

以上[手順1]〜[手順4]より明らかなように、ウェッジレットによるデプスイントラ予測は、予測対象のブロック内において、当該ブロックを概ね直線で横切るようなオブジェクト境界が存在し、当該境界において奥行きの値が急峻に変化しているような場合に対して好適な予測手法である。

【先行技術文献】

【非特許文献】

【0025】

【非特許文献1】ISO/IEC 14496-10 MPEG-4 Part 10, Advanced Video Coding

【非特許文献2】JCT3V-B1004, MV-HEVC Draft Text 2

【非特許文献3】JCT3V-B1005, 3D-HEVC Test Model 2

【発明の概要】

【発明が解決しようとする課題】

【0026】

しかしながら、デプスイントラ予測は、計算量が多いという課題があった。すなわち、[手順1]にてウェッジリストとして、異なる2辺上の2点の全組み合わせによって、多数のウェッジレットを候補として用意している。当該多数の候補の中から[手順2]及び[手順3]で最小値を与えるものを探索する必要があるため、その計算量は多い。

【0027】

非特許文献3では、上記のような全探索による計算量の削減手段として、以下のようなもの（第一及び第二の手段）を検討している。

【0028】

第一の手段として、図１２に示すように、2ステップで探索する。すなわち、ウェッジレットを構成するための線分の端点を、ブロックの辺上の全ての位置から選ぶのではなく、2点に1点ごとに間引いた位置のみから選ぶようにする。

【0029】

図１２は、図１１の(1)に示した対象とするブロックB0が8×8のサイズである場合の、ウェッジリストのうちの一部分として、辺L1及びL2上から2点を選んで生成される一連のウェッジレットに、当該2ステップを適用することで、計算量が削減される例である。

【0030】

適用しない場合は、L1上の7点(1,2)〜(1,8)とL2上の7点(2,1)〜(8,1)とを端点として、7×7＝49通りのウェッジレットが探索対象となる。これに対して2ステップを適用した場合は、灰色表示の点のみから選択することとすると、L1上の3点(1,3), (1, 5)及び(1, 7)とL2上の3点(3, 1), (5, 1)及び(7, 1)とを端点として、3×3＝9通りに削減されたウェッジレットが探索対象となる。

【0031】

第一の手段ではさらに、当該削減されたウェッジリスト内で最小解を求めたのち、当該最小解の近傍ウェッジレットにおいて2ステップを適用せず、探索を行うことで最終的な解を得る。

【0032】

例えば、(1,5)と(5,1)を結ぶウェッジレットが2ステップの最小解であれば、その近傍として各端点において両隣の点を加えることで、2ステップを適用しない{(1, 4), (1, 5), (1, 6)}と{(4, 1), (5, 1), (6, 1)}のウェッジリスト内から、改めて探索を行い、最終的な解となす。この場合、3×3＝9通りが対象となる。2ステップの9通りと合計して、18通りの探索を行うので、2ステップを適用しない49通りよりも削減されている。

【0033】

第二の手段として、図１３に例を示すように、近傍のブロックにイントラ予測が適用されており、且つ予測の方向が存在する場合、その予測方向に即したウェッジレットのみでウェッジリストを構成する。

【0034】

図１３では、対象とするブロックB0の隣接ブロックB1において方向D1で示されるようなイントラ予測が適用されている。この場合、ブロックB0においては、方向D1と平行なウェッジレット（例えばW11やW12等）のみで構成されたウェッジリストを用いることで、探索総数を大きく削減することができる。

【0035】

以上のような、非特許文献3で検討されている手法に限らず、デプスイントラ予測の際の計算量を削減する手法が望まれている。

【0036】

本発明は、上記課題に鑑み、デプスイントラ予測の際の計算量を削減することが可能な、動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0037】

上記目的を達成するため、本発明は、多視点映像における各視点のテクスチャ及び奥行きマップに対して、予測を適用し、変換・量子化して符号化する動画像符号化装置、及び、符号化された多視点映像における各視点のテクスチャ及び奥行きマップを復号するに際して、逆変換・逆量子化し、予測を適用して復号する動画像復号装置、であって、当該動画像符号化装置（及び動画像復号装置）のそれぞれにおいて、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成するウェッジリスト作成部と、前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において当該ウェッジレットの通過する近傍に計算対象領域を限定する計算領域限定部と、各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域での信号（テクスチャ信号）の平均値を算出する平均値算出部と、各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域での信号（テクスチャ信号）と、の差分を算出する差分評価部と、前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域における信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを第一の特徴とする。

【0038】

また、前記計算領域限定部が、対象ブロック内において当該ウェッジレットの通過する近傍に計算対象領域を限定することに代えて、前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において一様な間引き処理によって計算対象領域を限定することを、第二の特徴とする。

【発明の効果】

【0039】

前記第一の特徴によれば、ウェッジレットの通過する近傍に計算領域を限定するので、計算量が削減される。

【0040】

前記第二の特徴によれば、対象ブロック内において一様な間引き処理によって計算対象領域を限定するので、計算量が削減される。

【図面の簡単な説明】

【0041】

【図1】一実施形態に係る動画像符号化装置の機能ブロック図である。

【図2】一実施形態に係る動画像復号装置の機能ブロック図である。

【図3】デプスイントラ予測を適用する際の符号化手順（復号手順）の例である。

【図4】デプスイントラ予測部の機能ブロック図である。

【図5】計算領域限定部による領域限定を概念的に説明するための例を示す図である。

【図6】計算領域限定部による領域限定を概念的に説明するための例を示す図である。

【図7】計算領域限定部による領域限定を概念的に説明するための例を示す図である。

【図8】第一実施形態による計算領域決定の例を示す図である。

【図9】第二実施形態による計算領域決定の例を示す図である。

【図10】多視点映像における各視点の画像（テクスチャ）に奥行きマップが対応づけられて構成されたデータ構成を説明するための図である。

【図11】デプスイントラ予測の一手法を説明するための図である。

【図12】ウェッジレット探索の計算量削減手段の一つとしての、2ステップの探索を説明するための図である。

【図13】ウェッジレット探索の計算量削減手段の一つとしての、近傍ブロックに適用されたイントラ予測の予測方向を利用することを説明するための図である。

【図14】第三実施形態による計算領域決定の例を示す図である。

【発明を実施するための形態】

【0042】

図１は、本発明の一実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置100は、入力部101、差分器102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、加算器106、ローカル復号画像メモリ107、インループフィルタ108、フレームバッファ109、動き補償部110、デプスイントラ予測部111、イントラ予測部112及び制御部113を備える。

【0043】

図２は、本発明の一実施形態に係る動画像復号装置の機能ブロック図である。動画像復号装置200は、出力部201、エントロピー復号部204、逆量子化・逆変換部205、加算器206、ローカル復号画像メモリ207、インループフィルタ208、フレームバッファ209、動き補償部210、デプスイントラ予測部211、イントラ予測部212及び制御部213を備える。

【0044】

動画像符号化装置100には、図１０で説明したような多視点映像における各視点のテクスチャに奥行きマップを対応づけたデータが入力され、種々の予測などを適用してから、これを符号化する。動画像復号装置200は、当該符号化されたデータを復号して、対応する予測などを適用してから、当初の図１０のデータに対応するものを出力する。

【0045】

なお、動画像符号化装置100をエンコーダ、動画像復号装置200をデコーダと略称する。当該図１及び図２にそれぞれ示したエンコーダ及びデコーダの全体的な構成自体に関しては、非特許文献3などで開示されているものと同じである。本発明における計算量削減は、デプスイントラ予測部111,211の処理によって達成される。

【0046】

以下、エンコーダ及びデコーダの各部の概要を説明する。なお、同一又は対応する処理については、エンコーダ及びデコーダの機能部を併記しながら説明する。

【0047】

入力部101では、図１０のデータをエンコーダ側の入力として受け取り、当該データを差分器102に渡す。出力部201では、当該図１０のデータに対応するものデコーダ側で復号されてフレームバッファ209に蓄積されているのを、デコーダ側の出力として、出力する。差分器102は、入力部101から受け取ったデータにおける信号と、その予測信号として、制御部113の判断によって動き補償部110、デプスイントラ予測部111またはイントラ予測部112のいずれかが生成した信号と、の差分を求めて、当該差分の値を変換・量子化部103へ渡す。

【0048】

変換・量子化部103は、差分器102より得た差分を、ブロック単位で直交変換して変換係数とし、さらに当該変換係数を量子化して、量子化値をエントロピー符号化部104及び逆量子化・逆変換部105へ渡す。エントロピー符号化部104は、変換・量子化部103から得た量子化値と、制御部113が適宜、必要に応じて出力した予測のパラメータ等と、をエントロピー符号化して、エンコーダ側の出力とする。

【0049】

エントロピー復号部204は、エンコーダ側がエントロピー符号化部104で出力したビットストリームを、デコーダ側での入力として受け取り、エントロピー復号して、量子化値及び予測パラメータ等となす。量子化値は逆量子化・逆変換部205へ渡され、予測パラメータ等は、制御部213に渡される。

【0050】

逆量子化・逆変換部105（逆量子化・逆変換部205）は、変換・量子化部103（エントロピー復号部204）より受け取った量子化値を、変換・量子化部103の逆の処理によって、逆量子化及び逆変換して、差分値となし、加算器106,206に渡す。

【0051】

加算器106,206は、制御部113,213の判断によって、動き補償部110,210、デプスイントラ予測部111,211またはイントラ予測部112,212のいずれかが生成した予測信号と、逆量子化・逆変換部105,205が出力した差分値と、を加算して、復号された信号となし、当該復号された信号を、ローカル復号画像メモリ107,207に渡す。

【0052】

ローカル復号画像メモリ107,207は、当該復号された信号を保持して、イントラ予測部112,212が予測を行う際の参照に供すると共に、当該復号された信号をインループフィルタ108,208に出力する。インループフィルタ108,208は、当該復号された信号にインループフィルタの処理を施して、フレームバッファ109,209に出力する。

【0053】

フレームバッファ109,209は、フィルタ処理された信号を保持して、動き補償部110,210及びデプスイントラ予測部111,211が予測を行う際の参照に供する。デコーダ側では前述のように、フレームバッファ209は当該フィルタ処理された信号をデコーダの出力として、出力部201へ渡す。

【0054】

動き補償部110,211は、フレームバッファ109,209の参照信号を用いて動き予測を行い、予測信号を生成し、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。動きベクトルなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。

【0055】

本発明に係るデプスイントラ予測部111,211は、フレームバッファ109,209の参照信号を用いて、前述のようにSAD値が最小となるウェッジレットで分割した場合における2領域の予測信号をブロックの予測信号として生成し、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。予測パラメータ等については後述する。

【0056】

イントラ予測部112,212は、ローカル復号画像メモリ107,207の参照信号を用いてイントラ予測を行い、予測信号を生成して差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。予測モードなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。

【0057】

制御部113,213は、図１０のように構成されるデータに対して、各視点におけるテクスチャ及び奥行きマップをどのような順番でどのような予測を適用して符号化・復号するかに関して、総合的な制御を行う。当該制御にはブロックサイズの設定なども含まれる。エンコーダ側では、当該制御に必要なパラメータ等を符号化させるようにし、デコーダ側では、復号して当該パラメータを必要とする機能部に渡す。

【0058】

エンコーダ側では、制御部113は、いずれかの予測部110,111,112において予測パラメータが生成された場合、エントロピー符号化部104へと渡す。デコーダ側では、予測パラメータが復号された場合、対応する予測部（動き補償部210、デプスイントラ予測部211又はイントラ予測部212）へと渡す。なお、図１，２では、当該制御部113又は213と、予測部110,111,112又は210,211,212と、の間における予測パラメータの授受の流れは、図が煩雑となるため、描くのを省略している。

【0059】

以上のようなエンコーダ及びデコーダにより、テクスチャについては、デプスイントラ予測部111,211以外を利用して、従来の手法と同様にして符号化・復号が可能である。図示はしていないが、4つめの予測部として、視点間での予測を適用する視点間予測部をさらに備えて、視点間予測を適用してもよい。

【0060】

また、奥行きマップについては、上記テクスチャと同様の手法で符号化・復号が可能であると共に、デプスイントラ予測部111,211の適用も可能である。

【0061】

図３は、デプスイントラ予測を適用する際の符号化・復号順序の例である。(2)に示すように、視点i(i=1, 2, ..., n)における時刻tの奥行きマップは、ラスタスキャン順でB10の部分まで符号化・復号済みであり、現時点での符号化・復号対象であるブロックB0以降の領域B11が符号化・復号未完了とする。なお、B10の部分の各ブロックについては、必ずしもデプスイントラ予測が適用されている必要はなく、その他のイントラ予測などが適用されていてもよい。

【0062】

一方、(1)に示すように、同じ視点iの同じ時刻tのテクスチャにおいては、奥行きマップのブロックB0と同位置のブロックA0は符号化・復号済みである。また、ラスタスキャン順でブロックA0までの領域A10も符号化・復号済みである。ブロックA0より後の領域A11は、符号化・復号済みであっても、未完了であってもよい。

【0063】

このような符号化・復号対象の奥行きマップのブロックB0を符号化・復号する際には、例えば、以下の第一モード及び第二モードが可能である。

【0064】

第一モードでは、符号化前の当該ブロックB0における奥行きマップの値に対して、デプスイントラ予測を適用する。従って、エンコーダ側では予測情報としていずれのウェッジレットWiを用いたか特定する情報を生成して符号化し、当該Wiによる分割された2領域の予測信号（前述の各領域の代表値）を生成して符号化すると共に、符号化前の奥行き値と当該予測信号との差分が符号化される。デコーダ側ではウェッジレットWi、予測信号及び差分を復号して、加算することにより奥行き値を復号する。

【0065】

こうして、第一モードにおいては、本発明による計算量削減は、エンコーダ側のみに適用可能である。

【0066】

第二モードでは、対象のブロックB0に対して、符号化・復号済みの同視点・同位置・同時刻のテクスチャにおけるブロックA0を用いて、デプスイントラ予測を適用する。なお、第二モードは、オブジェクト境界は、奥行き値に現れるのと同様のものが画素値においても現れるという想定に基づく。

【0067】

第二モードでは、符号化・復号済みのブロックA0より最適のウェッジレットWiを求めるので、当該Wiのシグナリングは不要である。シグナリング対象は、当該WiによってブロックB0を分割した各領域の代表値と、各領域における代表値からの差分となる。

【0068】

こうして、第二モードにおいては、本発明による計算量削減は、エンコーダ及びデコーダの両方に適用可能である。

【0069】

符号化・復号処理に関しては、以上のように例示した２通りが可能であるが、その他の符号化・復号処理が適用される場合であっても、ウェッジレット探索が実施されるのであれば、本発明は適用可能である。以下、本発明による計算量削減を達成するデプスイントラ予測部111,211の説明を行う。

【0070】

図４は、エンコーダ・デコーダで共通の、デプスイントラ予測部111,211の機能ブロック図である。なお、符号化・復号処理は上述のように種々のものがありうるが、当該機能ブロックにおいては、エンコーダ・デコーダで共通の、計算量の削減を達成する部分のみを説明する。

【0071】

デプスイントラ予測部111,211は、ウェッジリスト作成部31、計算領域限定部40、平均値算出部32、差分評価部33及び予測値生成部34を備える。ここで特に、計算領域限定部40をスキップした構成（計算領域限定部40が省略された構成）においては、一実施形態では前述の「手順1」〜「手順4」と同一の処理が実現される。本発明では特に、「手順1」の後に計算領域限定部40の処理が加わり、当該処理のもとで「手順2」以降が実施されることで、計算量削減の効果を達成する。

【0072】

ウェッジリスト作成部31は、前述の「手順1」を担う。すなわち、対象としているブロックにおけるウェッジリストを作成し、計算領域限定部40に渡す。なお、2点を選んでウェッジレットを構成する全ての組み合わせはブロックサイズに応じて固定的に定まるので、当該予め定まった組み合わせとしてウェッジリストを保持しておいてもよい。

【0073】

ウェッジリスト作成部31はまた、上記全ての組み合わせに対して何らかの制限を加えて、組み合わせ数を減じたものをウェッジリストとして作成してもよい。例えば、制御部113,213からの指示のもとで、図１２や図１３の手法で限定したものとしてウェッジリストを作成してもよい。

【0074】

計算領域限定部40は、ウェッジリスト作成部31より受け取ったウェッジリストに属する各ウェッジレットWi(i=1, 2, ..., N)に対して、当該Wiが対象ブロック内で通過する近辺のみに、後段の平均値算出部32及び差分評価部33が計算の対象とする領域を限定する。当該近辺においてさらに限定を加えてもよい。このため、各ウェッジレットWiに対して、ブロック内で限定された2領域Ri[1]及びRi[2]の予め決まった組み合わせを用意しておく。

【0075】

すなわち、ウェッジレットWiによって分割されたブロック全体における2領域をRi[1]_all及びRi[2]_allとすると、当該2領域Ri[1]及びRi[2]はそれぞれ、
Ri[1] ⊂ R[1]_all …(式2-1)
Ri[2] ⊂ R[2]_all …(式2-2)
という、部分集合の関係にある。Ri[1]及びRi[2]はそれぞれ、連結領域でなくともよい。

【0076】

平均値算出部32は当該2領域Ri[1]及びRi[2]に計算対象を限定したうえで、以下の(式3)のように、各ウェッジレットWiにつき[手順3]を実施し、限定された各領域内の平均値m(Ri[j]) (j=1, 2)を求める。

【0077】

【数2】

【0078】

差分評価部33も同じく、当該2領域Ri[1]及びRi[2]に計算対象を限定したうえで、以下の(式4)のように、各ウェッジレットWiにつき[手順4]を実行して、SADの値としての差異が最小となるWiを決定する。従って、SAD等を計算する個数が減少するため、ウェッジレット１本あたりの計算量が削減されることとなる。

【0079】

【数3】

【0080】

なお、差分評価部33では、差分評価に必ずしもSADを用いる必要はなく、差分絶対値のn乗和など、差分絶対値に基づくその他の計算手法を用いて、差分の大きさを評価してもよい。

【0081】

予測値生成部34は、上記差分が最小となるウェッジレットWiにおいて、[手順4]により、奥行き値の予測信号を生成する。なお、当該生成される対象は、Ri[1]及びRi[2]に限定されるのではなく、対象となるブロック全体を2分割したRi[1]_all及びRi[2]_allとなる。すなわち、代表値を当該対象となる奥行き値のブロック全体を2分割したRi[1]_all及びRi[2]_allにおいて求めたうえで、当該代表値を予測信号とする。

【0082】

以下、計算領域限定部40の詳細を説明する。

【0083】

計算領域限定部40にて、当該2領域Ri[1]及びRi[2]を各ウェッジレットWiにつき、予め設定しておく手法としては、例えば次がある。対象としているブロックを所定のサブブロックに分割し、各サブブロック内において、ウェッジレットWiの通過長さが所定値以上である又はサブブロックの大きさに対する所定割合以上であるという閾値判定を満たす場合に、当該サブブロックを計算対象領域に含め、満たさない場合は除外する。

【0084】

あるいは、上記長さ・割合に基づく判定に代えて、又は当該判定に加えて、ウェッジレットWiのサブブロック内における通過位置を考慮して、当該位置に対する所定条件によって、計算対象領域に、当該サブブロックをウェッジレットWiにおける計算対象領域に含めるか否かを決定してもよい。

【0085】

図５〜図７は、上記手法の概念的な例であり、ここでは全て、対象ブロックのサイズは8×8であり、共通サイズ4×4の4個のサブブロックA, B, C, Dに分割した場合を例としている。ブロック内の座標への言及には、図12での説明と共通のものを利用する。ここで、共通サイズのサブブロックの分割によれば、サブブロック単位で計算するため、連続する画素に同一の演算を適用でき、SIMD機能やハードウェアによる並列化が可能となるという効果がある。

【0086】

なお、一般には、ウェッジレットWi毎にサブブロックへの分割手法が異なっていてもよいし、対象ブロックサイズも所望のものを利用することができる。サブブロックへの分割においては、（並列化などには必ずしも好ましくないが、）サブブロック同士で形が異なっていてもよい。

【0087】

図5は、「Ri[1]∪Ri[2]＝A」となるような一連のウェッジレットWiの例である。例えば、(5,1)と(1,5)とを結ぶウェッジレットは領域B及びDも通過しているが、通過部分がわずかしかないので、計算領域には含めない。

【0088】

図6は、「Ri[1]∪Ri[2]＝A∪B」となるような一連のウェッジレットWiの例である。例えば、(5,1)と(1,8)とを結ぶウェッジレットは領域Bも通過しているが、通過部分がわずかしかないので、計算領域には含めない。

【0089】

図7は、「Ri[1]∪Ri[2]＝B∪D」となるような一連のウェッジレットWiの例である。ここでは、(1, 8)と(8, 1)とを結ぶ1本のウェッジレット以外の残りの8本のウェッジレットは全て、領域Aも通過しているが、通過部分がわずかしかないので、計算領域に含めない。

【0090】

以下、上記手法に基づく各実施形態その他を説明する。

【0091】

（第一実施形態）
図８は、第一実施形態による計算領域決定の例を示す図である。対象ブロックのサイズ、座標指定、サブブロックA,B,C,Dへの分割は図５〜図７の例と共通である。図８では、各サブブロックA,B,C,Dの辺であって且つ、ウェッジレットの端点となりうる各辺がa〜hとして示されている。例えば、サブブロックAの下側の辺がaであり、左側の辺がhである。

【0092】

第一実施形態では、ウェッジレットが当該サブブロックA,B,C,Dの各辺のいずれを2つの端点として有するかに基づいて、以下(1)〜(5)の場合分け規則によって、計算領域を所定のサブブロックに限定して決定することができる。

【0093】

(1)計算領域としてAとBを用いる：
→ウェッジレットの始点と終点の組合せが(h,a), (h,b), (h,c), (c,a), (c,b), (a,b)のいずれかである場合
(2)計算領域としてCとDを用いる：
→ウェッジレットの始点と終点の組合せが(d,e), (d,f), (d,g), (e,f), (e,g), (f,g)のいずれかである場合
(3)計算領域としてAとDを用いる：
→ウェッジレットの始点と終点の組合せが(a,f), (a,g), (h,f), (g,h)のいずれかである場合
(4)計算領域としてBとCを用いる：
→ウェッジレットの始点と終点の組合せが(b,e), (b,d), (c,e), (c,d)のいずれかである場合
(5)計算領域としてA、B、C、Dを用いる場合：
→ウェッジレットの始点と終点の組合せが上記(1)〜(4)以外の場合

【0094】

（第二実施形態）
図９は、第一実施形態による計算領域決定の例を示す図である。対象ブロックのサイズ、座標指定、サブブロックA,B,C,Dへの分割は図５〜図７の例と共通である。図９では、破線a,c,b,eはそれぞれ図示されるようなL字型のブロック境界部分を表している。例えば、破線aは(1,5)〜(1,1)〜(5,1)に位置するL字型領域を表している。同様に、破線d,fは線分としての境界部分であり、例えばdは線分(1,8)〜(5, 8)を表している。

【0095】

図９では、サブブロックA内又は近辺にウェッジレットの少なくとも一端がある場合の、計算領域の決定の例である。従って、サブブロックB,C,Dのいずれかの内部又は近辺にウェッジレットの少なくとも一端がある場合にも、（ブロック名を読み替えることで、）同様に適用可能である。

【0096】

図９では、具体的には、以下の場合分けで計算領域を決定する。この場合、必ず計算領域が半減され、確実に計算量が削減される。

【0097】

(1)Aのみを用いる：
→ウェッジレットの始点と終点の組合せが破線aの範囲にある場合
(2)AとBを用いる：
→ウェッジレットの始点が破線bに、終点が破線fの範囲にある場合
(3)AとDを用いる：
→ウェッジレットの始点が破線bに、終点が破線dの範囲にある場合
(4)AとCを用いる：
→ウェッジレットの始点が破線cに、終点が破線eの範囲にある場合

【0098】

なお、第一及び第二実施形態は、動画像符号化方式3D-HEVCに適用可能である。

【0099】

（第三実施形態）
図１４は、第三実施形態を説明するための図である。ブロックサイズ等は、図５〜図７の例と共通である。第三実施形態では、対象ブロックに対して、一様な間引き処理によって、計算対象領域を限定する。

【0100】

図１４の例では、間引き処理の例として、対象ブロックを市松模様に分離して、分離されたいずれかのみを計算対象とする。すなわち、ブロック内の各位置(u, v)につき、図中グレーで表記する偶数領域（u+vが偶数となる領域）と、奇数領域（u+vが奇数となる領域）と、の区別を設けて、当該偶数領域又は奇数領域のいずれかのみを計算領域とする。その他同様に、n点おきに間引く種々の手法を適用可能である。水平方向と垂直方向とで当該間引きの割合nを変更してもよい。別方向の直線あるいは曲線を想定して間引いてもよい。

【0101】

（第四実施形態）
第四実施形態では、対象としているブロックのサイズが所定基準によって小さいと判定される場合には、計算領域限定部40の適用をスキップする。例えば、4×4サイズのブロックである場合、計算領域限定部40は利用しない。

【0102】

以上、第１〜第３実施形態については、それぞれ単独で実施可能である。第４実施形態については、その他の実施形態と組み合わせて実施可能である。

【0103】

なお、本発明はコンピュータを図１の各部として機能させる、あるいはコンピュータに図１の各部に対応するステップを実行させる動画像符号化プログラムとして、提供することが可能である。同様に、本発明はコンピュータを図２の各部として機能させる、あるいは、コンピュータに図２の各部に対応するステップを実行させる動画像復号プログラムとして、提供することも可能である。さらに、当該各プログラムは、コンピュータ読み取り可能な読み取り媒体に記録して、提供されてもよい。

【符号の説明】

【0104】

100…動画像符号化装置、200…動画像復号装置、111,211…デプスイントラ予測部、31…ウェッジリスト作成部、40…計算領域限定部、32…平均値算出部、33…差分評価部、34…予測値生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】