特許 7417388 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240111BHJP

   H04N 19/85 20140101ALI20240111BHJP

【ＦＩ】

H04N19/597

H04N19/85

【請求項の数】 7

(21)【出願番号】P 2019164370

(22)【出願日】2019-09-10

(65)【公開番号】P2021044658

(43)【公開日】2021-03-18

【審査請求日】2022-08-10

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】原 一宏

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】三科 智之

【審査官】松元 伸次

(56)【参考文献】

【文献】特開２０１９－００４２７１（ＪＰ，Ａ）

【文献】特開２０１９－０４１３４１（ＪＰ，Ａ）

【文献】特開２０１３－０９８７３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ７／１０－７／１７３

７／２０－７／５６

１９／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

多視点映像と前記多視点映像に対応するデプスマップを符号化する符号化装置であって、
各フレームにおいて前記多視点映像と前記デプスマップの視点を間引く視点間引き部と、
前記多視点映像と前記デプスマップのフレームを間引くフレーム間引き部と、
視点間引き及びフレーム間引きされた多視点映像とデプスマップを符号化する符号化部と
を備えた符号化装置において、
前記フレーム間引き部は、各フレームの各視点において視点画像とデプスマップの一方を間引くとともに、間引く対象をフレーム毎に切り替えることを特徴とする、符号化装置。

【請求項2】

請求項１に記載の符号化装置において、
前記フレーム間引き部は、各フレームにおいて、一視点の視点画像とデプスマップの一方を間引くとともに、前記一視点に隣接する少なくとも一つの視点において視点画像とデプスマップの他方を間引くことを特徴とする、符号化装置。

【請求項3】

請求項１又は２に記載の符号化装置において、
前記フレーム間引き部は、視点間引きされた各フレームにおいて、視点画像又はデプスマップが市松模様となるように間引くことを特徴とする、符号化装置。

【請求項4】

請求項１又は２に記載の符号化装置において、
前記フレーム間引き部は、視点間引きされた各フレームにおいて、視点画像とデプスマップが交互に列配置又は行配置となるように間引くことを特徴とする、符号化装置。

【請求項5】

映像符号化データから、多視点映像とデプスマップを復号する復号部と、
前記多視点映像と前記デプスマップに対して、間引きされたフレームを内挿するフレーム内挿部と、
各フレームにおいて、間引きされた視点画像とデプスマップを視点内挿する視点内挿部と
を備え、
前記映像符号化データから復号された前記視点画像及び前記デプスマップの信頼度を、内挿された前記視点画像及び前記デプスマップの信頼度よりも高い値に設定し、
前記視点内挿部は、参照画像の信頼度の重みに基づいて、視点画像の予測を行うことを特徴とする、復号装置。

【請求項6】

コンピュータを、請求項１乃至４のいずれか一項に記載の符号化装置として機能させる、プログラム。

【請求項7】

コンピュータを、請求項５に記載の復号装置として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びプログラムに関し、特に、インテグラル３Ｄ（３次元）映像の表示や自由視点映像の表示に必要となる多視点画像の符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

インテグラル３Ｄ映像を表示する要素画像群を撮影することができるカメラとして、撮像素子のセンサーの手前にレンズアレイを配置するライトフィールドカメラが製品化されている。しかし、一般にライトフィールドカメラは撮影後のリフォーカス機能を目的としている。そのため、ライトフィールドカメラで撮影した画像を用いてインテグラル３Ｄ映像を表示すると、ライトフィールドカメラを構成するメインレンズの直径が、被写体までの距離に比べて小さな値となることから、運動視差が小さく、３次元映像の奥行を十分に再現することができない。この問題は、メインレンズの直径を大きくすることやカメラと被写体との距離を短くすることで理論上は解決することができるが、これらの対策による問題解決は実用的ではない。

【0003】

そこで、通常のカメラを水平・垂直の２次元配列に並べたカメラアレイを用いて、多視点映像を撮影することが考えられている。この場合の要素画像群の生成は、カメラアレイで撮影された複数の映像から視点内挿処理を用いることでカメラ間の視点映像を生成、その後、カメラアレイで撮影した映像と視点内挿映像から要素画像群に変換する処理が行われる（特許文献１）。ここで、カメラアレイのカメラ間距離は、カメラから被写体までの距離や、視点内挿が実用的に可能な距離、表示装置で再現できる視域角によって設計できることが知られている。また、視点内挿処理ではカメラから被写体までの距離を相対的に表現するデプスマップ（奥行き画像）を用いることで高精度な内挿画像の生成が行われている。デプスマップは、画像処理技術による奥行き推定や赤外線を用いて光学的に距離を測定する方法で生成される。このデプスマップ生成の精度を上げると、視点内挿の精度も向上する。

【0004】

インテグラル３Ｄ映像の表示について、３次元映像を再現できる奥行は隣接する多視点画像間の視差、レンズアレイの焦点距離、および要素画像の画素数に関係する。その中でも３次元映像を再現できる奥行きを広げるためには、要素画像の画素数を増やすことが有効であると知られている。この場合、要素画像の画素数は多視点画像の視点数と等しくなることから、奥行きのある３次元映像を生成するためには符号化対象となる多視点画像の視点数が多く必要になり、３次元映像を表示するための情報量は膨大となる。

【0005】

インテグラル３Ｄ映像の伝送や記録では、３次元映像を表示するための膨大な情報量を符号化する。符号化では、要素画像群を多視点画像群に変換後に多視点映像符号化を行う方法や、変換後の多視点映像を符号化時に間引き、復号時に視点内挿する方法が知られている。この方法では多視点画像を間引くことで符号化対象画像を減らし、３次元映像の表示に必要な情報量を低減させている。

【0006】

図９に、従来の符号化対象画像の例を示す。図９は、多視点映像及び多視点映像に対応するデプスマップの１フレームを表しており、これがＮフレーム集まって映像を構成している。各フレームにおいて、例えば、１３×１３＝１６９視点の多視点画像を等間隔で間引いて５×５＝２５視点の多視点画像とし、同様に、１３×１３＝１６９視点のデプスマップを等間隔で間引いて５×５＝２５視点のデプスマップとしている。破線で表されている画像は、符号化しない多視点画像である。符号化対象画像は同視点の多視点画像とデプスマップがそれぞれ等間隔に並ぶ配置となっている。

【0007】

この符号化対象画像の符号化においては、隣接する視点画像（多視点画像のうちの１視点の画像を「視点画像」と言うこととする。）の相関の高さを利用して、基準となる視点画像と符号化対象の視点画像との差分を求めて符号化する方法、及び、視点画像と対応するデプスマップとの相関の高さを利用して符号化を行う方法等を用いて、多視点画像とデプスマップを１フレームとして一体的に符号化処理し、高い圧縮率の符号化が行われる。

【0008】

また、復号側では、符号化対象画像の復号を行った後、間引かれた（不足している）多視点画像の視点内挿を行う。視点内挿は最初にデプスマップの内挿を行い、例えば、５×５＝２５視点のデプスマップから１３×１３＝１６９視点のデプスマップを再生する。次いで、全視点のデプスマップと復号された視点画像をもとに、復号された視点間の視点画像の内挿を行う。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１６－１５８２１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

より奥行きのあるインテグラル３Ｄ映像を表示するためには画素数の多い要素画像群が必要であり、このため多視点画像の視点数が多く必要になる。視点数の多い多視点画像のデータ量を圧縮するために、視点の間引きを多くし、符号化する視点の間隔を広げて、符号化対象画像を減らす方法が考えられる。

【0011】

しかし、視点を多く間引いて符号化対象画像を減らす方法では、伝送や記録において、３次元映像を表示するための情報量を減らすことができる一方で、復号後の視点内挿による画質劣化が発生する。これは、視点内挿で必要となるデプスマップの生成にて、符号化対象画像を減らすことから隣接画像間の距離が遠くなり生成するデプスマップの精度が低下することに起因する。また、視点内挿の予測にて視差が大きくなることからオクルージョン領域を埋めるインペイント処理の精度が低下することも原因として挙げられる。視点内挿による画質劣化には、デプスマップの視点内挿による画質劣化と多視点画像の視点内挿による画質劣化が含まれる。さらに、符号化処理では、符号化の対象である多視点画像間の視差が大きくなることから視点補償予測の精度が低下し、符号化効率を悪化させる。

【0012】

したがって、上記のような問題点に鑑みてなされた本発明の目的は、符号化において、多視点映像及びデプスマップの伝送データ量を効率的に削減し、復号において、視点内挿画像の画質劣化を抑えることができる符号化装置、復号装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0013】

上記課題を解決するために本発明に係る符号化装置は、多視点映像と前記多視点映像に対応するデプスマップを符号化する符号化装置であって、各フレームにおいて前記多視点映像と前記デプスマップの視点を間引く視点間引き部と、前記多視点映像と前記デプスマップのフレームを間引くフレーム間引き部と、視点間引き及びフレーム間引きされた多視点映像とデプスマップを符号化する符号化部とを備えた符号化装置において、前記フレーム間引き部は、各フレームの各視点において視点画像とデプスマップの一方を間引くとともに、間引く対象をフレーム毎に切り替えることを特徴とする。

【0014】

また、前記符号化装置は、前記フレーム間引き部が、各フレームにおいて、一視点の視点画像とデプスマップの一方を間引くとともに、前記一視点に隣接する少なくとも一つの視点において視点画像とデプスマップの他方を間引くことが望ましい。

【0015】

また、前記符号化装置は、前記フレーム間引き部が、視点間引きされた各フレームにおいて、視点画像又はデプスマップが市松模様となるように間引くことが望ましい。

【0016】

また、前記符号化装置は、前記フレーム間引き部が、視点間引きされた各フレームにおいて、視点画像とデプスマップが交互に列配置又は行配置となるように間引くことが望ましい。

【0017】

上記課題を解決するために本発明に係る復号装置は、映像符号化データから、多視点映像とデプスマップを復号する復号部と、前記多視点映像と前記デプスマップに対して、間引きされたフレームを内挿するフレーム内挿部と、各フレームにおいて、間引きされた視点画像とデプスマップを視点内挿する視点内挿部とを備え、前記映像符号化データから復号された前記視点画像及び前記デプスマップの信頼度を、内挿された前記視点画像及び前記デプスマップの信頼度よりも高い値に設定し、前記視点内挿部は、参照画像の信頼度の重みに基づいて、視点画像の予測を行うことを特徴とする。

【0019】

上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記の符号化装置として機能させることを特徴とする。

【0020】

上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記の復号装置として機能させることを特徴とする。

【発明の効果】

【0021】

本発明における符号化装置、復号装置、及びプログラムによれば、符号化において、多視点映像及びデプスマップの伝送データ量を効率的に削減し、復号において、視点内挿画像の画質劣化を抑えることができる。

【図面の簡単な説明】

【0022】

【図1】本発明の符号化装置及び復号装置のブロック図の例である。

【図2】偶数フレーム目の符号化対象画像の一例を示す図である。

【図3】奇数フレーム目の符号化対象画像の一例を示す図である。

【図4】偶数フレーム目の符号化対象画像の別の例を示す図である。

【図5】奇数フレーム目の符号化対象画像の別の例を示す図である。

【図6】偶数フレーム目の符号化対象画像の更に別の例を示す図である。

【図7】奇数フレーム目の符号化対象画像の更に別の例を示す図である。

【図8】本発明の視点内挿処理を説明する図である。

【図9】従来の符号化対象画像の例を示す図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施の形態について説明する。

【0024】

図１に、本発明の符号化装置及び復号装置のブロック図の例を示す。符号化装置１０と復号装置２０は、全体として符号化・復号システムを構成する。符号化装置１０と復号装置２０の間は、情報通信が可能な任意の伝送路で結ばれていてもよく、この場合は、両者は送信装置１０と受信装置２０として機能する。このときの送受信方法としては、放送システム、電波通信、有線・無線ネットワーク等を利用することができる。また、両者をそれぞれ独立した装置とし、記録媒体等を用いて符号化装置１０から復号装置２０へのデータの授受を行ってもよい。

【0025】

以下、符号化装置１０、復号装置２０それぞれについて、詳細に説明する。

【0026】

［符号化装置］
符号化装置１０は、視点間引き部１１、フレーム間引き部１２、及び符号化部１３を備えている。

【0027】

入力画像は、例えば、カメラ（例えば、ＣＭＯＳセンサ）が縦横１３×１３個（＝１６９個）配列された多視点カメラで取得した多視点映像と、当該多視点映像に対応するデプスマップである。多視点映像の１視点の画像（視点画像）のそれぞれは、カラーのテクスチャー画像であり、デプスマップは、多視点映像と同じ視点とフレームを有する多視点の奥行き画像の映像である。入力画像は、視点間引き部１１に入力される。

【0028】

なお、本実施形態では、デプスマップは外部で生成されて、符号化装置１０に入力されるものとしたが、入力映像として多視点映像のみが符号化装置１０に入力され、多視点映像に基づく奥行き推定処理等を行い、デプスマップを符号化装置１０内で生成することもできる。

【0029】

視点間引き部１１は、入力された多視点映像及び多視点映像に対応するデプスマップについて、各フレームにおいて、等間隔で視点を間引く視点間引き処理を行う。例えば、１３×１３＝１６９視点の多視点画像を等間隔で間引いて５×５＝２５視点の多視点画像に縮小する。また、デプスマップも同様に、１３×１３＝１６９視点のデプスマップを間引いて５×５＝２５視点のデプスマップとする。視点間引きの結果得られた多視点映像及びデプスマップは、図９の従来の符号化対象画像（符号化対象映像）と同じであり、各フレームにおいて、多視点画像とデプスマップがそれぞれ同視点で等間隔に並ぶ配置となっている。視点間引きされた多視点映像及びデプスマップは、フレーム間引き部１２に出力される。

【0030】

フレーム間引き部１２は、入力された（視点間引きされた）多視点映像とデプスマップのフレームを間引きする。ここで、フレーム間引きの処理の一例について、図２、図３を用いて説明する。

【0031】

図２は、フレーム間引きされた多視点映像及びデプスマップの偶数（２ｎ：ｎは整数）フレーム目を示しており、図３は、フレーム間引きされた多視点映像及びデプスマップの奇数（２ｎ＋１）フレーム目を示している。すなわち、図２は偶数フレーム目の符号化対象画像の一例を示しており、図３は奇数フレーム目の符号化対象画像の一例を示している。各フレームでは、視点間引きされた５×５＝２５視点において、多視点画像とデプスマップの一方が間引き（フレーム間引き）される。図２と図３を対比すると明らかなように、ある視点において、偶数フレームでデプスマップが間引きされた場合は、奇数フレームでは視点画像が間引きされる。偶数フレームで視点画像が間引きされた視点は、奇数フレームではデプスマップが間引きされる。すなわち、視点画像とデプスマップの間引く対象をフレーム毎に交互に切り替える。

【0032】

さらに、視点間引きされた各フレームにおいて、ある視点でデプスマップを間引いた場合、その視点に（視点間引き後）隣接する少なくとも一つの視点においては視点画像を間引くことが望ましい。すなわち、一視点において視点画像とデプスマップの一方を間引いたとき、その一視点に隣接する少なくとも一つの視点において視点画像とデプスマップの他方を間引くことが望ましい。これにより、隣接する視点において視点画像とデプスマップがそれぞれ符号化される。そして、復号側で視点内挿を行う際に、隣接する視点画像の少なくとも一方が、復号された精度の高い画像となる。

【0033】

図２の例では、ある視点でデプスマップを間引いて視点画像を符号化対象画像としたとき、その上下左右の（視点間引き後）隣接する視点は、視点画像を間引いてデプスマップを符号化対象画像とする。図３の奇数フレームにおいても、視点画像とデプスマップの配置は反対であるが、ある視点とそれに隣接する上下左右の視点において、視点画像とデプスマップが交互に符号化対象画像となっている。このように、図２、図３では、視点間引きされた各フレームにおいて、視点画像（又はデプスマップ）が市松模様となるようにフレーム間引きされる。

【0034】

フレーム間引きの処理の別の例について、図４、図５を用いて説明する。

【0035】

図４は、フレーム間引きされた多視点映像及びデプスマップの偶数（２ｎ：ｎは整数）フレーム目を示しており、図５は、フレーム間引きされた多視点映像及びデプスマップの奇数（２ｎ＋１）フレーム目を示している。すなわち、図４は偶数フレーム目の符号化対象画像の別の例を示しており、図５は奇数フレーム目の符号化対象画像の別の例を示している。各フレームでは、視点間引きされた５×５＝２５視点において、多視点画像とデプスマップの一方が間引き（フレーム間引き）される。図４と図５を対比すると明らかなように、ある視点において、偶数フレームでデプスマップが間引きされた場合は、奇数フレームでは視点画像が間引きされ、偶数フレームで視点画像が間引きされた視点は、奇数フレームではデプスマップが間引きされる。

【0036】

図４の例では、ある視点でデプスマップを間引いて視点画像を符号化対象画像としたとき、その左右の（視点間引き後）隣接する視点は、視点画像を間引いてデプスマップを符号化対象画像とする。図５の奇数フレームにおいても、視点画像とデプスマップの配置は反対であるが、ある視点とそれに隣接する左右の視点において、視点画像とデプスマップが交互に符号化対象画像となっている。このように、図４、図５では、視点間引きされた各フレームにおいて、視点画像及びデプスマップが交互に列配置となるように間引きされることが望ましい。

【0037】

フレーム間引きの処理の更に別の例について、図６、図７を用いて説明する。

【0038】

図６は、フレーム間引きされた多視点映像及びデプスマップの偶数（２ｎ：ｎは整数）フレーム目を示しており、図７は、フレーム間引きされた多視点映像及びデプスマップの奇数（２ｎ＋１）フレーム目を示している。すなわち、図６は偶数フレーム目の符号化対象画像の更に別の例を示しており、図７は奇数フレーム目の符号化対象画像の更に別のを示している。各フレームでは、視点間引きされた５×５＝２５視点において、多視点画像とデプスマップの一方が間引き（フレーム間引き）され、図６と図７を対比すると明らかなように、各視点において、視点画像とデプスマップの間引く対象をフレーム毎に交互に切り替える。

【0039】

図６の例では、ある視点でデプスマップを間引いて視点画像を符号化対象画像としたとき、その上下の（視点間引き後）隣接する視点は、視点画像を間引いてデプスマップを符号化対象画像とする。図７の奇数フレームにおいても、視点画像とデプスマップの配置は反対であるが、ある視点とそれに隣接する上下の視点において、視点画像とデプスマップが交互に符号化対象画像となっている。このように、図６、図７では、視点間引きされた各フレームにおいて、視点画像及びデプスマップが交互に行配置となるように間引きされることが望ましい。

【0040】

図１に戻って、フレーム間引きされた多視点映像とデプスマップ（多視点画像とデプスマップの符号化対象画像）は、符号化部１３に出力される。

【0041】

符号化部１３は、フレーム間引きされた多視点映像とデプスマップ（入力された符号化対象画像）を符号化する。符号化処理は、従来から使用されている符号化ツール（例えば、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の拡張規格、等）によって圧縮・符号化を行う。符号化対象の多視点映像とデプスマップの相関の高さを利用した予測処理により高効率なデータ圧縮を行うことができる。

【0042】

符号化部１３で生成された映像符号化データは、符号化装置１０の出力として、出力される。

【0043】

本実施形態の符号化装置によれば、符号化対象画像（図２～図７）の視点間距離は従来例（図９）と同じでありながら、各視点の視点画像とデプスマップのフレームを交互に間引いており、符号化の情報量を半分に低減させることができる。

【0044】

［復号装置］
復号装置２０は、復号部２１、フレーム内挿部２２、視点内挿部２３、及び多視点画像要素画像変換部２４を備えている。

【0045】

符号化装置１０にて符号化された映像符号化データが、復号部２１に入力される。復号部２１は、入力された映像符号化データを、符号化に対応する復号方法により復号する。復号処理により、フレーム間引きされた多視点映像とデプスマップ（符号化対象画像）が復号される。復号された映像（画像）データは、フレーム内挿部２２に出力される。

【0046】

フレーム内挿部２２は、フレーム間引きされた多視点映像とデプスマップのフレーム内挿を行う。例えば、２ｎフレームにおいてデプスマップが間引きされた視点では、２ｎ－１フレームの同じ視点のデプスマップと、２ｎ＋１フレームの同じ視点のデプスマップとを用いた補間処理等により、２ｎフレームのデプスマップを予測し、デプスマップのフレームを内挿する。なお、２ｎフレーム内の隣接するデプスマップを用いて、イントラ予測を利用してもよい。奇数（２ｎ＋１）フレームの間引きされたデプスマップも同様にフレーム内挿を行う。

【0047】

また、多視点映像のフレーム内挿については、例えば、２ｎフレームにおいて視点画像が間引きされた視点では、２ｎ－１フレームの同じ視点の視点画像と、２ｎ＋１フレームの同じ視点の視点画像とを用いた補間処理に加え、２ｎフレームの当該視点のデプスマップを利用して、２ｎフレームの視点画像を予測し、視点画像のフレームを内挿することが望ましい。当該視点のデプスマップは符号化データを復号して得られた精度の高いデプスマップであり、フレーム内挿する視点画像の精度を高めることができる。奇数（２ｎ＋１）フレームの間引きされた視点画像も同様にフレーム内挿を行う。

【0048】

このように、各フレームの各視点において、フレームが間引かれた多視点映像とデプスマップのフレーム内挿を行う。この結果、フレーム内挿後の多視点映像とデプスマップの情報量と視点の位置関係は、図９と同じになる。フレーム内挿された多視点映像とデプスマップを、視点内挿部２３へ出力する。

【0049】

視点内挿部２３は、フレーム内挿された多視点映像とデプスマップを用いることで、視点間の符号化されなかった多視点画像を視点内挿によって生成する。すなわち、フレーム内挿後の５×５個の多視点画像とデプスマップ（視点間引きされた画像：図９を参照。）から、視点内挿処理によって視点間の視点画像を予測・内挿し、視点間引きを行う前の１３×１３＝１６９視点の多視点画像（図９の全体）を再生する。

【0050】

視点内挿部２３における視点内挿処理を、図８を参照して説明する。図８において、各視点を左上の視点を基準とした二次元座標で表すこととする。例えば、座標（１，１）の視点画像と座標（４，４）の視点画像は、映像符号化データから復号された視点画像であり、座標（１，４）の視点画像と座標（４，１）の視点画像は、フレーム内挿によって生成された視点画像であるとする。また、座標（１，４）のデプスマップと座標（４，１）のデプスマップは、映像符号化データから復号されたデプスマップであり、座標（１，１）のデプスマップと座標（４，４）のデプスマップは、フレーム内挿によって生成されたデプスマップであるとする。

【0051】

本実施形態においては、参照画像である多視点画像とデプスマップの信頼度の重み（係数）を設定する。この信頼度の設定では、フレーム内挿で生成した多視点画像とデプスマップの信頼度を小さくし、伝送や記録された映像符号化データから復号された多視点画像とデプスマップの信頼度を高い値に設定する。

【0052】

視点内挿は、従来と同様に、最初にデプスマップの視点内挿を行う。すなわち、５×５＝２５視点のデプスマップから視点間の全デプスマップを生成して内挿する。図８の例では、ある視点（例えば、座標（３，３））のデプスマップを生成する際には、その周囲の復号された又はフレーム内挿されたデプスマップ（座標（１，１）、（１，４）、（４，１）、（４，４））を参照画像とし、参照画像からの距離に基づいて（例えば、距離の逆数を信頼度として）画像を補間し、当該視点のデプスマップを生成する。

【0053】

本実施形態では、このときに、参照画像であるデプスマップの信頼度の重みを計算要素として加える。すなわち、参照画像からの距離に基づいた信頼度に対して、フレーム内挿で生成したデプスマップ（座標（１，１）、（４，４））に基づく信頼度を小さくするよう補正し、符号化データから復号されたデプスマップ（座標（１，４）、（４，１））に基づく信頼度を高い値に補正する。例えば、内挿されたデプスマップについては０．５の重み係数で信頼度を補正し、復号されたデプスマップについては１．０の重み係数で信頼度を補正する。なお、係数は調整可能である。補正された信頼度に基づいて、参照画像に基づく補間処理を行い、視点間のデプスマップを生成して内挿する。同様の処理を、他の視点のデプスマップについても行う。

【0054】

次いで、すべてのデプスマップの視点内挿後に、多視点画像の視点内挿を行う。例えば、フレーム内挿後の５×５＝２５視点の多視点画像と全デプスマップから、視点間の視点画像を生成して内挿する。ある視点（例えば、座標（３，３））の視点画像を生成する際には、その周囲の復号された又はフレーム内挿された視点画像（座標（１，１）、（１，４）、（４，１）、（４，４））を参照画像とし、参照画像からの距離に基づいて（例えば、距離の逆数を信頼度として）画像を補間し、さらに各視点のデプスマップを用いて、当該視点の視点画像を生成する。

【0055】

本実施形態では、このときに、参照画像である視点画像の信頼度の重みを計算要素として加える。すなわち、参照画像からの距離に基づいた信頼度に対して、フレーム内挿で生成した視点画像（座標（１，４）、（４，１））に基づく信頼度を小さくするよう補正し、符号化データから復号された視点画像（座標（１，１）、（４，４））に基づく信頼度を高い値に補正する。例えば、内挿された視点画像については０．５の重み係数で信頼度を補正し、復号された視点画像については１．０の重み係数で信頼度を補正する。なお、係数は調整可能である。また、デプスマップの利用においても、フレーム内挿又は視点内挿で生成したデプスマップの信頼度を小さくし、符号化データから復号されたデプスマップの信頼度を高く設定して利用する。補正された信頼度に基づいて、参照画像に基づく補間処理を行い、多視点画像を生成して内挿する。同様の処理を、他の視点の視点画像についても行う。

【0056】

こうして、多視点画像の内挿を行い、再生された多視点画像群を、多視点画像要素画像変換部２４へ出力する。

【0057】

多視点画像要素画像変換部２４は、入力された多視点画像を要素画像群に変換する。要素画像群は、多視点画像から変換して作成することができる。すなわち、多視点画像を構成する各視点画像から、互いに同じ座標位置にある１画素を抽出し、多視点画像の全体の配置を保ったまま集積することで、１つの要素画像を生成する。例えば、１３×１３個のカメラで撮影した多視点画像群の各視点画像の１画素から、１３×１３画素の要素画像が生成される。他の要素画像も同様に生成することにより、多視点画像を、１３×１３画素の要素画像が視点画像の画素数集合した、要素画像群に変換することができる。これを復号装置２０の出力画像とする。この出力画像により、インテグラル３Ｄ映像を表示することができる。

【0058】

なお、本実施形態では、出力画像に基づいてインテグラル３Ｄ映像を表示させることを前提として、要素画像群を出力画像としたが、例えば、多視点映像を表示させるためには、多視点画像要素画像変換部２４を設けることなく、視点内挿後の多視点画像を復号装置の出力画像としてもよい。

【0059】

本実施形態の復号装置によれば、各視点の画像の信頼度を利用することにより、精度の高い視点内挿ができる。また、視点間引き後の視点間距離を比較的短くすることで、視点内挿画像の画質劣化を抑えることが可能になる。

【0060】

上記の実施の形態では、符号化装置１０の構成と動作について説明したが、本発明はこれに限らず、多視点画像を符号化する符号化方法として構成されてもよい。すなわち、図１のデータの流れに従って、多視点画像から映像符号化データを生成する符号化方法として構成されてもよい。また、復号装置２０の構成と動作について説明したが、本発明はこれに限らず、映像符号化データを復号する復号方法として構成されてもよい。すなわち、図１のデータの流れに従って、映像符号化データから、要素画像群の出力画像を生成する復号方法として構成されてもよい。

【0061】

なお、上述した符号化装置１０又は復号装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１０又は復号装置２０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0062】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0063】

１０ 符号化装置
１１ 視点間引き部
１２ フレーム間引き部
１３ 符号化部
２０ 復号装置
２１ 復号部
２２ フレーム内挿部
２３ 視点内挿部
２４ 多視点画像要素画像変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】