(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-29
(45)【発行日】2023-12-07
(54)【発明の名称】画像符号化装置およびそのプログラム、ならびに、画像復号装置およびそのプログラム
(51)【国際特許分類】
H04N 19/126 20140101AFI20231130BHJP
H04N 19/136 20140101ALI20231130BHJP
H04N 19/17 20140101ALI20231130BHJP
H04N 19/597 20140101ALI20231130BHJP
【FI】
H04N19/126
H04N19/136
H04N19/17
H04N19/597
(21)【出願番号】P 2019223446
(22)【出願日】2019-12-11
【審査請求日】2022-11-04
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】片山 美和
(72)【発明者】
【氏名】河北 真宏
【審査官】岩井 健二
(56)【参考文献】
【文献】特開2020-120322(JP,A)
【文献】特開2019-041341(JP,A)
【文献】特開2017-085354(JP,A)
【文献】特開2012-191603(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
被写体の撮影画像と前記被写体の奥行情報を示す距離画像とを符号化する画像符号化装置であって、
予め設定された閾値で区分された奥行区間ごとに、前記距離画像で特定される前記奥行区間に対応する画像を前記撮影画像から抽出し、複数の奥行別撮影画像を生成する奥行別撮影画像生成手段と、
前記複数の奥行別撮影画像を、前記奥行区間ごとに予め設定された符号量を制御するパラメータに基づいて符号化し、複数の奥行別撮影画像符号化ストリームを生成する奥行別撮影画像符号化手段と、
前記距離画像を符号化し、距離画像符号化ストリームを生成する距離画像符号化手段と、
前記複数の奥行別撮影画像符号化ストリームと前記距離画像符号化ストリームとを結合した符号化ストリームを生成するストリーム結合手段と、
を備えることを特徴とする画像符号化装置。
【請求項2】
被写体の撮影画像と前記被写体の奥行情報を示す距離画像とを符号化する画像符号化装置であって、
予め設定された閾値で区分された奥行区間ごとに、前記距離画像で特定される前記奥行区間に対応する画像を前記撮影画像から抽出し、複数の奥行別撮影画像を生成する奥行別撮影画像生成手段と、
前記複数の奥行別撮影画像を、前記奥行区間ごとに予め設定された符号量を制御するパラメータに基づいて符号化し、複数の奥行別撮影画像符号化ストリームを生成する奥行別撮影画像符号化手段と、
前記閾値で区分された奥行区間ごとに、前記奥行区間に対応する画像を前記距離画像から抽出し、複数の奥行別距離画像を生成する奥行別距離画像生成手段と、
前記複数の奥行別距離画像を、前記奥行区間ごとに予め設定された前記パラメータに基づいて符号化し、複数の奥行別距離画像符号化ストリームを生成する奥行別距離画像符号化手段と、
前記複数の奥行別撮影画像符号化ストリームと前記複数の奥行別距離画像符号化ストリームとを結合した符号化ストリームを生成するストリーム結合手段と、
を備えることを特徴とする画像符号化装置。
【請求項3】
前記撮影画像は、インテグラル方式の要素画像群を生成するための多視点画像を構成する個々の視点画像であって、
前記パラメータは、前記インテグラル方式のレンズアレイの位置を含んだ奥行区間の画像に対して他の奥行区間よりも多くの符号量を割り当てるように設定された値であることを特徴とする請求項1または請求項2に記載の画像符号化装置。
【請求項4】
前記奥行別撮影画像生成手段は、
前記奥行区間ごとに前記距離画像の領域を区分するマスクデータを生成する領域区分手段と、
前記奥行区間ごとに、前記撮影画像に前記マスクデータを乗算することで前記奥行別撮影画像を生成する領域画像生成手段と、
を備えることを特徴とする請求項1から請求項3のいずれか一項に記載の画像符号化装置。
【請求項5】
コンピュータを、請求項1から請求項4のいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。
【請求項6】
奥行きを区分して被写体の撮影画像を符号化した複数の奥行別撮影画像符号化ストリームと前記被写体の奥行情報を示す距離画像を符号化した距離画像符号化ストリームとを結合した符号化ストリームを復号する画像復号装置であって、
前記符号化ストリームを前記複数の奥行別撮影画像符号化ストリームと前記距離画像符号化ストリームとに分離するストリーム分離手段と、
前記複数の奥行別撮影画像符号化ストリームを復号し、複数の奥行別撮影画像を生成する奥行別撮影画像復号手段と、
前記複数の奥行別撮影画像を合成し、前記撮影画像を生成する撮影画像合成手段と、
前記距離画像符号化ストリームを復号し、前記距離画像を生成する距離画像復号手段と、
を備えることを特徴とする画像復号装置。
【請求項7】
奥行きを区分して被写体の撮影画像を符号化した複数の奥行別撮影画像符号化ストリームと前記被写体の奥行情報を示す距離画像を前記撮影画像と同じ奥行区間で区分して符号化した複数の奥行別距離画像符号化ストリームとを結合した符号化ストリームを復号する画像復号装置であって、
前記符号化ストリームを前記複数の奥行別撮影画像符号化ストリームと前記複数の奥行別距離画像符号化ストリームとに分離するストリーム分離手段と、
前記複数の奥行別撮影画像符号化ストリームを復号し、複数の奥行別撮影画像を生成する奥行別撮影画像復号手段と、
前記複数の奥行別撮影画像を合成し、前記撮影画像を生成する撮影画像合成手段と、
前記複数の奥行別距離画像符号化ストリームを復号し、複数の奥行別距離画像を生成する奥行別距離画像復号手段と、
前記複数の奥行別距離画像を合成し、前記距離画像を生成する距離画像合成手段と、
を備えることを特徴とする画像復号装置。
【請求項8】
コンピュータを、請求項6または請求項7に記載の画像復号装置として機能させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を符号化する画像符号化装置およびそのプログラム、ならびに、符号化された画像を復号する画像復号装置およびそのプログラムに関する。
【背景技術】
【0002】
現在、多視点画像を符号化伝送するにあたり、多視点画像と、撮影位置(視点位置)からの奥行情報を示す距離画像(デプスマップ)とを、併せて伝送する方式が検討されている。国際標準においては、多視点画像と距離画像とを符号化し、復号側で任意の視点画像を生成する3D-AVC、3D-HEVC等の符号化方式が決められている(非特許文献1,2参照)。
また、近年、インテグラル立体の符号化効率の向上のため、高周波成分が高い要素画像群を多視点画像に変換し、多視点画像を符号化する手法が提案されている(非特許文献3)。この要素画像群と多視点画像とは相互に変換可能であり、多視点画像を構成する各視点画像に対応する距離画像と、要素画像群を構成する各要素画像に対応する距離画像とも相互に変換可能である(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【文献】志水、「デプスマップを用いた三次元映像符号化の国際標準化動向」、情報処理学会研究報告、Vol.2013-AVM-82、No.11、pp.1-6(2013).
【文献】妹尾,山本,大井,栗田、「MPEG多視点映像符号化の標準化活動」、情報通信研究機構季報、Vol.56、Nos.1/2、pp.79-90(2010).
【文献】原,洗井,河北,三科、「インテグラル立体の符号化効率向上のための要素画像サイズ変換方法」、情報処理学会研究報告、Vol.2016-AVM-93、No.2、pp.1-4(2016).
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の距離画像を含んだ画像の符号化装置は、距離情報により符号化パラメータを変えるなどの手段をとらず、被写体の画像領域と背景の画像領域とを区別することなく画像の符号化を行っている。
そのため、従来は、画像伝送後の被写体の画像領域と背景の画像領域とは同等の画質で再現されることになる。しかし、被写体の画像領域を背景の画像領域よりも高精細に再現したいという要望がある。
【0006】
また、インテグラル方式を用いた3次元表示装置(IP立体表示装置)は、表示ディスプレイからの距離により表示解像度が変わる。例えば、
図15の空間周波数特性に示すように、IP立体表示装置では、立体像の奥行き位置zがレンズアレイ付近で空間周波数(観視空間周波数β)〔cycle/rad=cpr〕が最も高く(最大空間周波数β
n)、レンズアレイから前方または後方に遠ざかると空間周波数が低くなる(以下の参考文献参照)。なお、
図15において、レンズアレイから観察者Mまでの視距離Lは、レンズアレイから立体像を表示する最も手前の位置までの距離を示している。
このようなIP立体表示装置では、レンズアレイ付近で立体像の解像度が高く表示され、レンズアレイから遠ざかると解像度が低くなり、立体像にぼやけが生じる。
(参考文献)H. Hoshino, F. Okuno, H. Isono and I. Yuyama, “Analysis of resolution limitation of integral photography,” Optical Society of America A, Vol. 15, No. 8, pp. 2059 - 2065 (1998).
そのため、撮影画像(要素画像群)に従来の符号化方式をそのまま適用すると、符号化圧縮により再生画像に劣化が発生した場合、再生画像全体に劣化が発生し、解像度の高いレンズアレイ付近の立体像に対する劣化が目立ってしまうという問題がある。
このように、立体像を表示するための多視点画像や要素画像群を符号化する際に、所望の距離に対して符号化量を変更することが望まれている。
【0007】
本発明は、このような問題や要望に鑑みてなされたものであり、画像を奥行区間ごとに符号量を変えて符号化/復号することが可能な画像符号化装置およびそのプログラム、ならびに、画像復号装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る画像符号化装置は、被写体の撮影画像と被写体の奥行情報を示す距離画像とを符号化する画像符号化装置であって、奥行別撮影画像生成手段と、奥行別撮影画像符号化手段と、距離画像符号化手段と、ストリーム結合手段と、を備える構成とした。
【0009】
かかる構成において、画像符号化装置は、奥行別撮影画像生成手段によって、予め設定された閾値で区分された奥行区間ごとに、距離画像で特定される奥行区間に対応する画像を撮影画像から抽出する。これによって、奥行別撮影画像生成手段は、奥行区間ごとに、複数の奥行別撮影画像を生成する。
そして、画像符号化装置は、奥行別撮影画像符号化手段によって、複数の奥行別撮影画像を、奥行区間ごとに予め設定された量子化パラメータ等の符号量を制御するパラメータに基づいて符号化し、複数の奥行別撮影画像符号化ストリームを生成する。これによって、奥行区間ごとに撮影画像の符号量を制御することが可能になる。
【0010】
また、画像符号化装置は、距離画像符号化手段によって、距離画像を符号化し、距離画像符号化ストリームを生成する。
そして、画像符号化装置は、ストリーム結合手段によって、複数の奥行別撮影画像符号化ストリームと距離画像符号化ストリームとを結合する。これによって、1つの符号化ストリームが生成される。
【0011】
また、前記課題を解決するため、本発明に係る画像符号化装置は、被写体の撮影画像と被写体の奥行情報を示す距離画像とを符号化する画像符号化装置であって、奥行別撮影画像生成手段と、奥行別撮影画像符号化手段と、奥行別距離画像生成手段と、奥行別距離画像符号化手段と、ストリーム結合手段と、を備える構成とした。
【0012】
かかる構成において、画像符号化装置は、奥行別撮影画像生成手段によって、予め設定された閾値で区分された奥行区間ごとに、距離画像で特定される奥行区間に対応する画像を撮影画像から抽出する。これによって、奥行別撮影画像生成手段は、奥行区間ごとに、複数の奥行別撮影画像を生成する。
そして、画像符号化装置は、奥行別撮影画像符号化手段によって、複数の奥行別撮影画像を、奥行区間ごとに予め設定された量子化パラメータ等の符号量を制御するパラメータに基づいて符号化し、複数の奥行別撮影画像符号化ストリームを生成する。これによって、奥行区間ごとに撮影画像の符号量を制御することが可能になる。
【0013】
また、画像符号化装置は、奥行別距離画像生成手段によって、撮影画像と同じ閾値で区分された奥行区間ごとに、奥行区間に対応する画像を距離画像から抽出する。これによって、奥行別距離画像生成手段は、奥行区間ごとに、複数の奥行別距離画像を生成する。
そして、画像符号化装置は、奥行別距離画像符号化手段によって、複数の奥行別距離画像を、奥行区間ごとに予め設定された符号量を制御するパラメータに基づいて符号化し、複数の奥行別距離画像符号化ストリームを生成する。これによって、奥行区間ごとに距離画像の符号量を制御することが可能になる。
そして、画像符号化装置は、ストリーム結合手段によって、複数の奥行別撮影画像符号化ストリームと複数の奥行別距離画像符号化ストリームとを結合する。これによって、1つの符号化ストリームが生成される。
なお、画像符号化装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。
【0014】
また、前記課題を解決するため、本発明に係る画像復号装置は、奥行きを区分して被写体の撮影画像を符号化した複数の奥行別撮影画像符号化ストリームと被写体の奥行情報を示す距離画像を符号化した距離画像符号化ストリームとを結合した符号化ストリームを復号する画像復号装置であって、ストリーム分離手段と、奥行別撮影画像復号手段と、撮影画像合成手段と、距離画像復号手段と、を備える構成とした。
【0015】
かかる構成において、画像復号装置は、ストリーム分離手段によって、符号化ストリームを複数の奥行別撮影画像符号化ストリームと距離画像符号化ストリームとに分離する。
そして、画像復号装置は、奥行別撮影画像復号手段によって、複数の奥行別撮影画像符号化ストリームを復号する。これによって、奥行別撮影画像復号手段は、複数の奥行別撮影画像を生成する。
そして、画像復号装置は、撮影画像合成手段によって、複数の奥行別撮影画像を合成し、撮影画像を生成する。
さらに、画像復号装置は、距離画像復号手段によって、距離画像符号化ストリームを復号し、距離画像を生成する。
【0016】
また、前記課題を解決するため、本発明に係る画像復号装置は、奥行きを区分して被写体の撮影画像を符号化した複数の奥行別撮影画像符号化ストリームと被写体の奥行情報を示す距離画像を撮影画像と同じ奥行区間で区分して符号化した複数の奥行別距離画像符号化ストリームとを結合した符号化ストリームを復号する画像復号装置であって、ストリーム分離手段と、奥行別撮影画像復号手段と、撮影画像合成手段と、奥行別距離画像復号手段と、距離画像合成手段と、を備える構成とした。
【0017】
かかる構成において、画像復号装置は、ストリーム分離手段によって、符号化ストリームを複数の奥行別撮影画像符号化ストリームと複数の奥行別距離画像符号化ストリームとに分離する。
そして、画像復号装置は、奥行別撮影画像復号手段によって、複数の奥行別撮影画像符号化ストリームを復号する。これによって、奥行別撮影画像復号手段は、複数の奥行別撮影画像を生成する。
そして、画像復号装置は、撮影画像合成手段によって、複数の奥行別撮影画像を合成し、撮影画像を生成する。
また、画像復号装置は、奥行別距離画像復号手段によって、複数の奥行別距離画像符号化ストリームを復号する。これによって、奥行別距離画像復号手段は、複数の奥行別距離画像を生成する。
そして、画像復号装置は、距離画像合成手段によって、複数の奥行別距離画像を合成し、距離画像を生成する。
なお、画像復号装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。
【発明の効果】
【0018】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、画像を奥行区間ごとに符号量を制御して符号化/復号することができる。これによって、本発明は、解像度を高めたい奥行きに、他の奥行きに比べて多くの符号量を割り当てることが可能になり、所望の奥行区間の画像の解像度を高めることができる。
【図面の簡単な説明】
【0019】
【
図1】本発明の第1実施形態に係る画像符号化装置の構成を示すブロック構成図である。
【
図2】多視点画像を生成する手法を説明するための説明図である。
【
図3】距離画像を説明するための説明図であって、(a)は撮影画像、(b)は(a)に対応する距離画像を示す。
【
図4】奥行区間の閾値を説明するための説明図である。
【
図5】(a)~(c)は奥行区間ごとのマスクデータを示す図である。
【
図6】(a)~(c)は奥行区間ごとの奥行別撮影画像を示す図である。
【
図7】奥行区間の閾値を等間隔に設定する例を説明するための説明図である。
【
図8】奥行区間の閾値を非等間隔に設定する例を説明するための説明図である。
【
図9】インテグラル方式におけるIP表示装置の概要を示す概略図である。
【
図10】本発明の第1実施形態に係る画像符号化装置の動作を示すフローチャートである。
【
図11】本発明の第1実施形態に係る画像復号装置の構成を示すブロック構成図である。
【
図12】本発明の第1実施形態に係る画像復号装置の動作を示すフローチャートである。
【
図13】本発明の第2実施形態に係る画像符号化装置の構成を示すブロック構成図である。
【
図14】本発明の第2実施形態に係る画像復号装置の構成を示すブロック構成図である。
【
図15】インテグラル方式の空間周波数特性を説明するための説明図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について図面を参照して説明する。
<第1実施形態>
〔画像符号化装置の構成〕
図1を参照して、本発明の第1実施形態に係る画像符号化装置1の構成について説明する。
【0021】
画像符号化装置1は、被写体の撮影画像と被写体の奥行情報を示す距離画像(デプスマップ)とを符号化するものである。この画像符号化装置1は、距離画像で特定される奥行きに応じて、符号量を変えて撮影画像を符号化する。
まず、画像符号化装置1に入力する画像(撮影画像、距離画像)について説明した後、画像符号化装置1の構成について説明する。
【0022】
撮影画像は、被写体を撮影した多視点画像の個々の視点画像である。なお、撮影画像は、実写画像である必要はなく、例えば、仮想的なカメラで仮想的に被写体を撮影したCG画像であってもよい。画像符号化装置1は、多視点画像を視点画像ごとに入力する。
【0023】
距離画像は、被写体を撮影した被写体空間における視点位置から被写体までの距離を、画素ごとに予め定めた奥行最小値から奥行最大値までの範囲に割り当てた画素値で表した画像である。この距離画像は、多視点画像の個々の視点画像に対応した画像である、
【0024】
ここで、
図2および
図3を参照して、撮影画像および距離画像の例について説明する。
図2に示すように、複数(ここでは、一例として9台)のカメラC
1,C
2,…,C
9を2次元状に配列した多視点カメラCで、被写体空間上で奥行きの位置が異なる被写体O(ここでは、O
1,O
2,O
3)を撮影したとする。
図3(a)に示すように、撮影画像Gは、多視点カメラCの1つのカメラ(例えば、C
1)で撮影された画像である。なお、個々のカメラC
1,C
2,…,C
9が撮影する画像は、視点位置が異なるだけで、
図3(a)と同様の画像である。
図3(b)に示すように、距離画像Dは、隣接するカメラ間で撮影した画像をマッチングし、対応する画素の距離に応じた視差に対応する画素値を撮影画像Gの画素位置に割り当てたものである。ここでは、距離画像Dは、視点位置に近いほど白く、視点位置から遠いほど黒く表示している。
【0025】
このように、複数のカメラで撮影した画像から、距離画像を生成する手法は、例えば、特開2019-184308号公報等に開示されている公知の手法を用いることができる。なお、ここでは、距離画像をカメラで撮影した画像から生成したものとしたが、投射したレーザの往復時間から距離を測定する距離画像センサ等によって取得したものでもよい。
図1に戻って、画像符号化装置1の構成について説明する。
【0026】
図1に示すように、画像符号化装置1は、閾値設定手段10と、奥行別撮影画像生成手段11と、符号量制御情報設定手段12と、奥行別撮影画像符号化手段13と、距離画像符号化手段14と、ストリーム結合手段15と、を備える。
【0027】
閾値設定手段10は、距離画像の奥行きを階層的に区分するための閾値を奥行別撮影画像生成手段11に設定するものである。閾値は、距離画像を奥行きで区分した奥行区間の境界を示す奥行値である。
この閾値設定手段10は、予め定めた視点位置を奥行最小値、表示する最も遠方の位置を奥行最大値とし、その間の区間の境界である奥行値を設定する。
閾値設定手段10は、奥行区間の区間数Nに対して、(N-1)個の閾値zp1,zp2,…,zpN-1を外部から入力する。ここでは、奥行区間の区間数Nを“5”とし、奥行最小値と奥行最大値とを5等分した値を閾値zp1,…,zp4とする。
【0028】
奥行区間は、必ずしも等間隔である必要はなく、符号量を可変にしたい区間ごとに不均等に設定してもよい。また、ここでは、奥行区間の区間数を“5”として説明するが、少なくとも“2”以上であればよい。
これによって、
図4に示すように、奥行最大値zfarから閾値zp
1までの区間L
1(区間長zlen
1)、閾値zp
1から閾値zp
2までの区間L
2(区間長zlen
2)、閾値zp
2から閾値zp
3までの区間L
3(区間長zlen
3)、閾値zp
3から閾値zp
4までの区間L
4(区間長zlen
4)、閾値zp
4から奥行最小値znearまでの区間L
5(区間長zlen
5)として、距離画像を区分することができる。
【0029】
この閾値は、例えば、前記した特許文献1に記載の手法により、符号化対象の撮影画像(多視点画像)をインテグラル方式の要素画像群として使用する場合、レンズアレイ付近の奥行きの画像を区切るように設定することが好ましい。これによって、少なくとも、レンズアレイ付近の画像と、それ以外の画像とで、符号量を変えることができる。
この多視点画像をインテグラル方式の要素画像群として使用する場合における閾値の設定の具体例については、後記する。
閾値設定手段10は、入力された閾値(zp1,…,zp4)を奥行別撮影画像生成手段11に出力する。
【0030】
奥行別撮影画像生成手段11は、予め設定された閾値で区分された奥行区間ごとに、距離画像で特定される奥行区間に対応する画像を撮影画像から抽出し、複数の奥行別撮影画像を生成するものである。
ここでは、奥行別撮影画像生成手段11は、領域区分手段110と、領域画像生成手段111と、を備える。
【0031】
領域区分手段110は、閾値設定手段10で設定された閾値で特定される奥行区間ごとに、入力された距離画像の領域を区分する領域情報を生成するものである。
この領域区分手段110は、奥行区間ごとに、対応する奥行値を有する距離画像の画素の集合を、奥行区間に対応する領域を示す領域情報とする。
ここでは、領域区分手段110は、奥行区間ごとの領域情報をマスクデータとして生成する。具体的には、領域区分手段110は、奥行区間ごとに、距離画像の画素値が奥行区間に含まれる画素の画素値を“1”、それ以外の画素値を“0”としてマスクデータを生成する。なお、2つの区間を区分する閾値はいずれか一方の区間に含ませることとする。
【0032】
例えば、
図2に示す被写体O
1,O
2,O
3に対する距離画像が
図3(b)に示す距離画像Dであって、
図4に示すように被写体O
1,O
2,O
3が、区間L
2,L
3,L
4のそれぞれの奥行区間に存在していたとする。
この場合、領域区分手段110は、区間L
1については、距離画像Dにおいて、閾値zp
1以上、奥行最大値zfar以下の画素値を“1”、それ以外の画素値を“0”としてマスクデータ(不図示)を生成する。
また、領域区分手段110は、区間L
2については、距離画像Dにおいて、閾値zp
2以上、閾値zp
1未満の画素値を“1”、それ以外の画素値を“0”として、
図5(a)に示すマスクデータM
1を生成する。
また、領域区分手段110は、区間L
3については、距離画像Dにおいて、閾値zp
3以上、閾値zp
2未満の画素値を“1”、それ以外の画素値を“0”として、
図5(b)に示すマスクデータM
2を生成する。
【0033】
また、領域区分手段110は、区間L
4については、距離画像Dにおいて、閾値zp
4以上、閾値zp
3未満の画素値を“1”、それ以外の画素値を“0”として、
図5(c)に示すマスクデータM
3を生成する。
また、領域区分手段110は、区間L
5については、距離画像Dにおいて、奥行最小値znear以上、閾値zp
4未満の奥行区間の画素の画素値を“1”、それ以外の画素値を“0”としてマスクデータ(不図示)を生成する。
これによって、領域区分手段110は、閾値で特定される奥行区間ごとに、距離画像の領域を区分することができる。
領域区分手段110は、生成した領域情報(マスクデータ)を領域画像生成手段111に出力する。
【0034】
領域画像生成手段111は、奥行区間ごとに、領域区分手段110で生成された領域情報に基づいて撮影画像から奥行別撮影画像を生成するものである。
ここでは、領域画像生成手段111を、奥行区間ごとに、奥行区間の区間数に対応した複数の領域画像生成手段1111,1112,…,1115で構成している。
【0035】
領域画像生成手段1111は、撮影画像のうちで、領域区分手段110で区分された区間L1の領域の画像を、奥行別撮影画像として生成するものである。
領域画像生成手段1112は、撮影画像のうちで、領域区分手段110で区分された区間L2の領域の画像を、奥行別撮影画像として生成するものである。
同様に、領域画像生成手段1113,1114,1115は、それぞれ撮影画像のうちで、領域区分手段110で区分された区間L3,L4,L5の領域の画像を、奥行別撮影画像として生成するものである。
【0036】
領域画像生成手段1111,1112,…,1115は、撮影画像から、所定の奥行区間の領域に対応する奥行別撮影画像を生成する点で同じ処理を行う。
具体的には、領域画像生成手段111は、それぞれ、撮影画像に、領域区分手段110から出力される領域情報であるマスクデータを奥行別に乗算することで、奥行区間ごとの奥行別撮影画像を生成する。
【0037】
例えば、
図3に示す撮影画像Gおよび距離画像Dにおいて、
図4に示すように被写体O
1,O
2,O
3が、区間L
2,L
3,L
4のそれぞれの奥行区間に存在していたとする。
この場合、領域画像生成手段111は、区間L
2に対応する
図6(a)に示す奥行別撮影画像G
1、区間L
3に対応する
図6(b)に示す奥行別撮影画像G
2、区間L
3に対応する
図6(c)に示す奥行別撮影画像G
3を生成する。なお、区間L
1および区間L
5の奥行別撮影画像については図示を省略している。
奥行別撮影画像生成手段11は、生成した奥行区間ごとの奥行別撮影画像を奥行別撮影画像符号化手段13に出力する。
【0038】
符号量制御情報設定手段12は、奥行別撮影画像の符号量を奥行区間ごとに制御するパラメータを奥行別撮影画像符号化手段13に設定するものである。
符号量を制御するパラメータは、奥行別撮影画像を符号化する際の符号量を制御する量子化ステップを特定する情報である。例えば、パラメータとして、HEVC等の符号化方式で用いられる量子化パラメータ(QP:Quantization parameter)を用いることができる。この量子化パラメータの値を大きく設定すると、量子化ステップが大きくなり、符号量が少なくなる。一方、量子化パラメータの値を小さく設定すると、量子化ステップが小さくなり、符号量が多くなる。
ここでは、パラメータとして、量子化パラメータを用いるが、量子化パラメータと対応する量子化ステップを用いてもよい。
【0039】
この符号量制御情報設定手段12は、奥行区間ごとに、それぞれ個別の量子化パラメータQPを外部から入力する。この区間数は、閾値設定手段10で設定する閾値で区分される区間数Nと同じである。すなわち、符号量制御情報設定手段12は、奥行区間ごとの量子化パラメータ(QP1,QP2,…,QPN-1)を外部から入力する。ここでは、奥行区間の区間数Nを“5”とし、量子化パラメータQP1,…,QP4とする。
この量子化パラメータによって、撮影画像のどの奥行区間に対して、符号量を多く割り当てるかを制御することが可能になる。
符号量制御情報設定手段12は、入力された奥行区間ごとの量子化パラメータ(QP1,…,QP4)を、奥行別撮影画像符号化手段13に出力する。
【0040】
奥行別撮影画像符号化手段13は、奥行別撮影画像生成手段11で生成された奥行区間ごとの撮影画像(奥行別撮影画像)を符号化するものである。奥行別撮影画像符号化手段13は、奥行区間ごとに複数の符号化手段130を備える。
【0041】
符号化手段130は、奥行別撮影画像を、符号量制御情報設定手段12で設定された符号量を制御するパラメータ(量子化パラメータ)に基づいて符号化するものである。この符号化手段130は、符号量を制御可能な符号化方式であれば、どのような符号化方式を用いてもよい。例えば、符号化手段130は、HEVC等の符号化方式を用いる。
ここでは、符号化手段130を、奥行区間の区間数に応じた複数の符号化手段1301,1302,…,1305で構成している。
【0042】
符号化手段1301は、奥行別撮影画像生成手段11の領域画像生成手段1111で生成された奥行別撮影画像を符号化するものである。
符号化手段1302は、奥行別撮影画像生成手段11の領域画像生成手段1112で生成された奥行別撮影画像を符号化するものである。
同様に、符号化手段1303,1304,1305は、それぞれ奥行別撮影画像生成手段11の領域画像生成手段1113,1114,1115で生成された奥行別撮影画像を符号化するものである。
【0043】
符号化手段130(1301,…,1305)は、奥行別撮影画像を符号化する点で同じ処理を行う。
具体的には、符号化手段130は、奥行別撮影画像を所定の大きさのブロックごとに直交変換し、周波数成分に変換する。この直交変換は、例えば、離散コサイン変換(DCT)である。そして、符号化手段130は、周波数成分である変換係数を、符号量制御情報設定手段12で設定された量子化パラメータで特定される量子化ステップで量子化する。そして、符号化手段130は、量子化した変換係数(量子化係数)を可変長符号化して、ストリームデータ(奥行別撮影画像符号化ストリーム)を生成する。なお、符号化手段130は、奥行別撮影画像符号化ストリームに、付帯情報として量子化パラメータを付加しておく。
符号化手段130(1301,…,1305)は、それぞれ奥行区間ごとに生成した奥行別撮影画像符号化ストリームをストリーム結合手段15に出力する。
【0044】
距離画像符号化手段14は、距離画像を符号化するものである。この距離画像符号化手段14は、どのような符号化方式を用いてもよいが、例えば、符号化手段130と同じ、HEVC等の符号化方式を用いることができる。
距離画像符号化手段14は、距離画像を符号化したストリームデータ(距離画像符号化ストリーム)をストリーム結合手段15に出力する。
【0045】
ストリーム結合手段15は、奥行別撮影画像符号化手段13で生成された奥行区間ごとの複数の奥行別撮影画像符号化ストリームと、距離画像符号化手段14で生成された距離画像符号化ストリームとを1つのストリームデータとして結合するものである。
例えば、ストリーム結合手段15は、予め定めた符号化手段1301,…,1305の順、または、符号化を完了した順に、生成した奥行別画像符号化ストリームを連結する。また、ストリーム結合手段15は、連結した奥行別画像符号化ストリームの前または後に距離画像符号化ストリームを連結する。
【0046】
さらに、ストリーム結合手段15は、ストリームの構成(例えば、ストリームの配置順、奥行区間の区間数)、撮影画像および距離画像の大きさ(水平画素数、垂直画素数)、奥行別撮影画像符号化ストリームおよび距離画像符号化ストリームの各データ長等のストリームの構成情報をヘッダ情報として生成する。
そして、ストリーム結合手段15は、奥行別画像符号化ストリームおよび距離画像符号化ストリームを連結したストリームに、ヘッダ情報を付加して、符号化ストリームを生成する。なお、ストリーム結合手段15は、多視点画像の視点画像である撮影画像を、予め定めた視点数の符号化ストリーム分だけ連続させて出力する。また、多視点画像が動画像である場合、ストリーム結合手段15は、さらに、符号化ストリームを連続させて出力する。
【0047】
以上説明したように画像符号化装置1を構成することで、画像符号化装置1は、奥行区間ごとに、撮影画像の符号量を制御することができる。
これによって、画像符号化装置1は、高画質化したい奥行区間の符号量を増やすことで、その奥行きで再生される立体像の解像度を高めることができる。
また、画像符号化装置1は、撮影画像を圧縮符号化する場合でも、区間ごとに符号量を増減させることで、所望の奥行区間の解像度の劣化を抑えることができる。
なお、画像符号化装置1は、コンピュータを、前記した各手段として機能させるためのプログラム(画像符号化プログラム)で動作させることができる。
【0048】
〔インテグラル方式の閾値設定について〕
次に、画像符号化装置1が符号化対象とする撮影画像(多視点画像)を、インテグラル方式の要素画像群として使用する場合において、閾値設定手段10が設定する閾値の設定例について説明する。
【0049】
(等間隔の閾値設定)
まず、
図7を参照して、閾値を等間隔に設定する例について説明する。
図7は、横軸をレンズアレイの位置を基準位置“0”(LP)とする距離、縦軸を空間周波数(cycle/rad=cpr)とする空間周波数特性を示す。
ここで、奥行最小置をznear、最も奥の奥行最大値をzfarとする。znearは、基準位置LPから立体像を表示する最も手前(観察者Mの位置)までの視距離Lに対応する位置である。なお、zfarは有限とし、無限遠の像はzfarの位置に存在するものとする。
【0050】
また、奥行区間の区間数をN(Nは3以上の整数)とする。この奥行区間は、基準位置LPを含む区間、その区間の手前側および奥側にそれぞれ1区間とする構成が最小区間構成となる。なお、基準位置LP付近を区間として設定可能であれば、区間数Nは、奇数であっても偶数であっても構わない。
また、閾値をzp
n(n=1,…,N-1)とし、zfarに最も近い閾値をzp
1とする。なお、
図7では、区間数N=5とした例を示している。
ここで、等間隔に閾値を設定する場合、各奥行区間の区間長zlen
n(n=1,…,N)は、以下の式(1)で示す長さとなる。また、閾値zp
n(n=1,…,N-1)は、以下の式(2)で求めることができる。
【0051】
【0052】
【0053】
図7の例では、区間[zp
2,zp
3]に多くの符号量を割り当てることで、レンズアレイ近傍の立体像を再生する際に、高解像度の立体像を表示することが可能になる。
【0054】
(非等間隔の閾値設定)
次に、
図8を参照して、閾値を非等間隔に設定する例について説明する。なお、閾値を非等間隔にする場合、レンズアレイ付近ほど奥行区間を狭くする方が、レンズアレイ付近の画像により多くの符号量を割り当てることが可能になる。
そこで、ここでは、レンズアレイ付近の奥行区間を狭く、レンズアレイから離れた奥行区間を広くすることとする。
図8は、
図7と同様、空間周波数特性を示し、奥行最小置をznear、奥行最大値をzfarとする。
ここで、奥行区間の区間数をN(Nは3以上の整数)とする。また、レンズアレイよりも奥の区間数をM(MはN/2の整数部分)とする。この場合、レンズアレイよりも手前の区間数は(N-(M+1))となる。なお、
図8では、区間数N=5とした例を示している。
このとき、レンズアレイの位置を含む奥行区間を空間周波数が最大となる奥行区間とする。観察者Mが視認する空間周波数(観視空間周波数β)は、以下の式(3)で表さられる。
【0055】
【0056】
ここで、
図9を参照して、式(3)を説明する。
図9は、インテグラル方式における立体像を表示するIP表示装置の概略図である。
fは、レンズアレイL
A(要素レンズL
E)の焦点距離である。pは、要素画像eを表示するディスプレイの画素ピッチ(画素間隔)である。Lは、レンズアレイL
Aから観察者Mまでの視距離である。zは、レンズアレイL
Aからの立体像Tまでの距離(観察者M方向を正)である。
ここで、立体像Tの画素ピッチ(画素間隔)Δは、以下の式(4)で表される。
【0057】
【0058】
また、観視空間周波数βは、観察者が見ることのできる単位角度あたりの最大の縞の数であって、以下の式(5)で表される。
【0059】
【0060】
この式(5)に、式(4)を代入することで、前記式(3)となる。
なお、観察者Mが視距離Lの位置で視認する立体像Tの最大空間周波数βnは、レンズアレイLAの要素レンズLEのレンズピッチpLによって、ナイキスト周波数に制限され、以下の式(6)となる。
【0061】
【0062】
この場合、
図8に示すように、最大空間周波数β
nとなる区間[far
1,near
1]は、前記式(3)の観視空間周波数βに、前記式(6)の最大空間周波数β
nを代入することで求められるzにより、区間[-z,+z]として求めることができる。
ここでは、レンズアレイ付近の奥行区間を、区間[far
1,near
1]の前後に予め定めたマージンを設けた区間とする。
例えば、マージンを設けた奥行区間[far
2,near
2]を、以下の式(7)により求められる区間とする。
【0063】
【0064】
なお、αは“0”以上の任意の定数であって、例えば、“0.2”等である。この値は、奥行区間の区間数を少なくする場合は大きな値とし、奥行区間の区間数を多くする場合は小さな値とすればよい。
ここで、奥行区間の区間数N=5の場合、閾値zp2=far2、閾値zp3=near2とする。
レンズアレイよりも奥のP個の奥行区間、および、レンズアレイよりも手前の(N-(P+1))個の奥行区間については、各奥行区間に割り当てる符号量に応じて閾値を定めればよい。
例えば、レンズアレイよりも奥のP個の奥行区間について、各奥行区間に割り当てる符号量の逆比を、奥側から順にD1:D2:…:DPとする。
この場合、各奥行区間の区間長zlenn(n=1,2,…,P)は、以下の式(8)で示す長さとなる。また、閾値zpn(m=1,2,…,P-1)は、以下の式(9)で求めることができる。
【0065】
【0066】
【0067】
同様に、レンズアレイよりも手前の(N-(P+1))個の奥行区間についても、各奥行区間に割り当てる符号量に応じて定めればよい。
例えば、レンズアレイよりも手前の(N-(P+1))個の奥行区間について、各奥行区間に割り当てる符号量の逆比を、奥側から順にDP+2:DP+3:…:DNとする。
この場合、各奥行区間の区間長zlenn(n=P+2,P+3,…,N)は、以下の式(10)で示す長さとなる。また、閾値zpn(n=P+2,P+3,…,N-1)は、以下の式(11)で求めることができる。
【0068】
【0069】
【0070】
以上説明したように、奥行区間の閾値をレンズアレイの位置を基準として設定することで、レンズアレイ付近の画像に多くの符号量を割り当てることが可能になり、立体像の解像度を高めることができる。
【0071】
〔画像符号化装置の動作〕
次に、
図10を参照(構成については、適宜
図1参照)して、本発明の第1実施形態に係る画像符号化装置1の動作について説明する。
ステップS1において、閾値設定手段10は、撮影画像の奥行区間の閾値を設定する。ここでは、閾値設定手段10は、予め定めた視点位置を奥行最小値、表示する最も遠方の位置を奥行最大値とし、その間の奥行区間の境界である奥行値を外部から入力する。
ステップS2において、符号量制御情報設定手段12は、ステップS1で設定した閾値で特定される奥行区間ごとに、符号量を制御するパラメータ(量子化パラメータ)を設定する。ここでは、符号量制御情報設定手段12は、パラメータとして、区間ごとの量子化パラメータを外部から入力する。
なお、ステップS1およびS2の順番は入れ替えても構わない。
【0072】
ステップS3において、奥行別撮影画像生成手段11は、領域区分手段110によって、ステップS1で設定された閾値で特定される奥行区間ごとに、距離画像の領域を区分した領域情報を生成する。ここでは、領域区分手段110は、奥行区間ごとに、距離画像の対応する奥行値を有する画素の集合を、奥行区間に対応する領域を示す領域情報(マスクデータ)として生成する。
ステップS4において、奥行別撮影画像生成手段11は、領域画像生成手段111によって、奥行区間ごとに、ステップS3で生成された領域情報に対応する撮影画像を抽出して、奥行別撮影画像を生成する。ここでは、奥行別撮影画像生成手段11は、複数の領域画像生成手段1111,…,1115によって、撮影画像に、奥行区間ごとのマスクデータを乗算することで、奥行区間ごとの奥行別撮影画像を生成する。
【0073】
ステップS5において、奥行別撮影画像符号化手段13は、ステップS2で設定されたパラメータ(量子化パラメータ)に基づいて、ステップS4で生成された奥行区間ごとの奥行別撮影画像を符号化する。
ここでは、奥行別撮影画像符号化手段13は、複数の符号化手段1301,…,1305によって、奥行別撮影画像を直交変換し、量子化パラメータで量子化した後、可変長符号化して、奥行別撮影画像符号化ストリームを生成する。
ステップS6において、距離画像符号化手段14は、距離画像を符号化して、距離画像符号化ストリームを生成する。
【0074】
ステップS7において、ストリーム結合手段15は、ステップS5で生成された奥行区間ごとの奥行別撮影画像符号化ストリームと、ステップS6で生成された距離画像符号化ストリームとを結合して、符号化ストリームを生成する。
ここで、次画像(撮影画像、距離画像)がさらに入力される場合(ステップS8でYes)、画像符号化装置1は、ステップS3に戻って動作を続ける。
一方、入力が終了した場合(ステップS8でNo)、画像符号化装置1は、動作を終了する。
以上の動作によって、画像符号化装置1は、距離画像で特定される奥行区間ごとに符号量を変えて撮影画像を符号化することができる。
【0075】
〔画像復号装置の構成〕
次に、
図11を参照して、本発明の第1実施形態に係る画像復号装置2の構成について説明する。
画像復号装置2は、画像符号化装置1(
図1)で生成された符号化ストリームを復号するものである。
図11に示すように、画像復号装置2は、ストリーム分離手段20と、奥行別撮影画像復号手段21と、撮影画像合成手段22と、距離画像復号手段23と、を備える。
【0076】
ストリーム分離手段20は、入力された符号化ストリームを、複数の奥行別撮影画像符号化ストリームと、距離画像符号化ストリームとに分離するものである。
このストリーム分離手段20は、符号化ストリームのヘッダ情報を参照して、符号化ストリームから、複数の奥行別撮影画像符号化ストリームと、距離画像符号化ストリームとを分離して抽出する。
ストリーム分離手段20は、分離した奥行別撮影画像符号化ストリームを、奥行別撮影画像復号手段21に出力する。
また、ストリーム分離手段20は、分離した距離画像符号化ストリームを、距離画像復号手段23に出力する。
【0077】
奥行別撮影画像復号手段21は、ストリーム分離手段20で分離された複数の奥行別撮影画像符号化ストリームを復号するものである。奥行別撮影画像復号手段21は、予め定めた奥行区間の区間数の復号手段210を備える。
【0078】
復号手段210は、個々の奥行別撮影画像符号化ストリームを復号し、奥行別撮影画像を生成するものである。この復号手段210は、
図1で説明した符号化手段130の符号化方式に対応した復号処理を行う。
ここでは、奥行別撮影画像復号手段21を、奥行区間ごとに、区間数に応じた複数の復号手段210
1,210
2,…,210
5で構成している。
【0079】
復号手段2101,…,2105は、奥行別撮影画像符号化ストリームから奥行別撮影画像を復号する点で同じ処理を行う。
具体的には、復号手段210は、奥行別復号画像符号化ストリームを可変長復号し、量子化係数を生成する。そして、復号手段210は、付帯情報として奥行別撮影画像符号化ストリームに付帯されている量子化パラメータで特定される量子化ステップのサイズを量子化係数に乗算し、逆直交変換(逆DCT)することで、奥行別撮影画像を復号する。
復号手段210(2101,…,2105)は、それぞれ奥行区間ごとに生成した奥行別撮影画像を撮影画像合成手段22に出力する。
【0080】
撮影画像合成手段22は、奥行別撮影画像復号手段21で復号された複数の奥行別撮影画像を合成するものである。
この撮影画像合成手段22は、複数の奥行別撮影画像を加算することで撮影画像を生成する。
【0081】
距離画像復号手段23は、ストリーム分離手段20で分離された距離画像符号化ストリームを復号するものである。この距離画像復号手段23は、
図1で説明した距離画像符号化手段14の符号化方式に対応した復号処理を行う。
【0082】
以上説明したように画像復号装置2を構成することで、画像復号装置2は、画像符号化装置1で撮影画像を奥行区間ごとに異なる量子化パラメータで符号化された符号化ストリームを復号することができる。
これによって、画像復号装置2は、符号量を多く割り当てられた奥行きで再生される立体像の解像度を高めることができる。
【0083】
〔画像復号装置の動作〕
次に、
図12を参照(構成については、適宜
図11参照)して、本発明の第1実施形態に係る画像復号装置2の動作について説明する。
ステップS10において、ストリーム分離手段20は、符号化ストリームを、複数の奥行別撮影画像符号化ストリームと、距離画像符号化ストリームとに分離する。
ステップS11において、奥行別撮影画像復号手段21は、ステップS10で分離された複数の奥行別撮影画像符号化ストリームを復号し、奥行区間ごとの奥行別撮影画像を生成する。ここでは、奥行別撮影画像復号手段21は、複数の復号手段210
1,…,210
5によって、個々に奥行別撮影画像符号化ストリームを復号する。
ステップS12において、撮影画像合成手段22は、ステップS11で生成された複数の奥行別撮影画像を合成する。これによって、符号化前の撮影画像が再生される。
【0084】
ステップS13において、距離画像復号手段23は、ステップS10で分離された距離画像符号化ストリームを復号する。これによって、符号化前の距離画像が再生される。
ここで、符号化ストリームがさらに入力される場合(ステップS14でNo)、画像復号装置2は、ステップS10に戻って動作を続ける。
一方、符号化ストリームの入力が終了した場合(ステップS14でYes)、画像復号装置2は、動作を終了する。
以上の動作によって、画像復号装置2は、奥行区間ごとに符号量を変えて符号化された撮影画像を復号することができる。
【0085】
<第2実施形態>
〔画像符号化装置の構成〕
図13を参照して、本発明の第2実施形態に係る画像符号化装置1Bの構成について説明する。
画像符号化装置1Bは、被写体の撮影画像と被写体の奥行情報を示す距離画像とを符号化するものである。なお、
図1で説明した画像符号化装置1との違いは、画像符号化装置1Bが、距離画像についても奥行きに応じて符号量を変えて符号化する点である。
【0086】
図13に示すように、画像符号化装置1Bは、閾値設定手段10と、奥行別撮影画像生成手段11と、符号量制御情報設定手段12と、奥行別撮影画像符号化手段13と、ストリーム結合手段15Bと、奥行別距離画像生成手段16と、奥行別距離画像符号化手段17と、を備える。
閾値設定手段10、奥行別撮影画像生成手段11、符号量制御情報設定手段12および奥行別撮影画像符号化手段13は、
図1で説明した画像符号化装置1と同じ構成であるため、同一の符号を付して説明を省略する。
【0087】
ストリーム結合手段15Bは、奥行別撮影画像符号化手段13で生成された奥行区間ごとの奥行別撮影画像符号化ストリームと、後記する奥行別距離画像符号化手段17で生成された奥行区間ごとの奥行別距離画像符号化ストリームとを1つのストリームデータとして結合するものである。このストリーム結合手段15Bは、ストリーム結合手段15(
図1)で結合する距離画像符号化ストリームが、複数の奥行別距離画像符号化ストリームとなったもので、基本的な処理はストリーム結合手段15と同じである。
【0088】
奥行別距離画像生成手段16は、予め設定された閾値で区分された奥行区間ごとに、距離画像から奥行区間に対応する画像を抽出し、複数の奥行別距離画像を生成するものである。
この奥行別距離画像生成手段16は、奥行区間ごとに、距離画像の画素値が奥行区間に含まれる画素の画素値をそのまま保持し、それ以外の画素値を“0”とすることで、奥行別距離画像を生成する。
もちろん、奥行別距離画像生成手段16は、距離画像に、領域区分手段110で生成される奥行区間ごとの領域情報(マスクデータ)を乗算することで、奥行別距離画像を生成してもよい。
奥行別距離画像生成手段16は、生成した奥行区間ごとの奥行別距離画像を奥行別距離画像符号化手段17に出力する。
【0089】
奥行別距離画像符号化手段17は、奥行別距離画像生成手段16で生成された奥行区間ごとの距離画像を符号化するものである。奥行別距離画像符号化手段17は、奥行区間ごとに複数の符号化手段170を備える。
符号化手段170は、奥行別距離画像を、符号量制御情報設定手段12で設定された奥行区間ごとの符号量を制御するパラメータ(量子化パラメータ)に基づいて符号化するものである。この符号化手段170は、符号化対象(奥行別撮影画像か奥行別距離画像か)が異なるだけで、基本的な処理は符号化手段130と同じである。
符号化手段170(1701,…,1705)は、それぞれ奥行区間ごとに生成した奥行別距離画像符号化ストリームをストリーム結合手段15Bに出力する。
【0090】
以上説明したように画像符号化装置1Bを構成することで、画像符号化装置1Bは、奥行区間ごとに、撮影画像および距離画像の符号量を制御することができる。
なお、画像符号化装置1Bは、コンピュータを、前記した各手段として機能させるためのプログラム(画像符号化プログラム)で動作させることができる。
この画像符号化装置1Bの動作は、
図10で説明した画像符号化装置1の動作において、距離画像を奥行区間ごとに符号化する点が異なるだけであるため、説明を省略する。
【0091】
〔画像復号装置の構成〕
次に、
図14を参照して、本発明の第2実施形態に係る画像復号装置2Bの構成について説明する。
画像復号装置2Bは、画像符号化装置1B(
図13)で生成された符号化ストリームを復号するものである。
【0092】
図14に示すように、画像復号装置2Bは、ストリーム分離手段20Bと、奥行別撮影画像復号手段21と、撮影画像合成手段22と、奥行別距離画像復号手段24と、距離画像合成手段25と、を備える。
奥行別撮影画像復号手段21および撮影画像合成手段22は、
図11で説明した画像復号装置2と同じ構成であるため、同一の符号を付して説明を省略する。
【0093】
ストリーム分離手段20Bは、入力された符号化ストリームを、複数の奥行別撮影画像符号化ストリームと、複数の奥行別距離画像符号化ストリームとに分離するものである。
このストリーム分離手段20Bは、符号化ストリームのヘッダ情報を参照して、符号化ストリームから、複数の奥行別撮影画像符号化ストリームと、複数の奥行別距離画像符号化ストリームとを分離して抽出する。
ストリーム分離手段20Bは、分離した奥行別撮影画像符号化ストリームを、奥行別撮影画像復号手段21に出力する。
また、ストリーム分離手段20Bは、分離した奥行別距離画像符号化ストリームを、奥行別距離画像復号手段24に出力する。
【0094】
奥行別距離画像復号手段24は、ストリーム分離手段20Bで分離された複数の奥行別距離画像符号化ストリームを復号するものである。奥行別距離画像復号手段24は、予め定めた奥行区間の区間数の復号手段240(2401,…,2405)を備える。
【0095】
復号手段240は、奥行区間ごとに、個々の奥行別距離画像符号化ストリームを復号し、奥行別距離画像を生成するものである。この復号手段240は、
図13で説明した符号化手段170の符号化方式に対応した復号処理を行う。
復号手段240(240
1,…,240
5)は、それぞれ奥行区間ごとに生成した奥行別距離画像を距離画像合成手段25に出力する。
【0096】
距離画像合成手段25は、奥行別距離画像復号手段24で復号された複数の奥行別距離画像を合成するものである。
この距離画像合成手段25は、複数の奥行別距離画像を加算することで距離画像を生成する。
以上説明したように画像復号装置2Bを構成することで、画像復号装置2Bは、画像符号化装置1Bで撮影画像および距離画像を奥行区間ごとに異なる量子化パラメータで符号化された符号化ストリームを復号することができる。
【0097】
〔変形例〕
以上、本発明の実施形態に係る画像符号化装置1,1Bおよび画像復号装置2,2Bの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
【0098】
(変形例その1)
ここでは、画像符号化装置1,1Bの閾値設定手段10は、外部から指定されることで閾値を設定した。
しかし、これらの閾値は、画像符号化装置1,1Bの内部メモリ等に予め設定されているものとしてもよい。この場合、画像符号化装置1,1Bは、構成から閾値設定手段10を省略してもよい。また、この場合、領域区分手段110は、予め設定されている閾値によって、距離画像の領域を区分すればよい。
【0099】
(変形例その2)
ここでは、画像符号化装置1,1Bの奥行別撮影画像生成手段11を、複数の領域画像生成手段111(1111,1112,…,1115)で、並列に動作させる構成とした。また、奥行別撮影画像符号化手段13を、複数の符号化手段130(1301,1302,…,1305)で、並列に動作させる構成とした。
また、画像符号化装置1Bの奥行別距離画像符号化手段17を、複数の符号化手段170(1701,1702,…,1705)で、並列に動作させる構成とした。
しかし、領域画像生成手段111、符号化手段130および符号化手段170は、それぞれ、必ずしも並列に動作を行う構成とする必要はなく、単一の構成とし、順番に動作を行うこととしてもよい。
【0100】
また、ここでは、画像復号装置2,2Bの奥行別撮影画像復号手段21を、複数の復号手段210(2101,2102,…,2105)で、並列に動作させる構成とした。
また、画像復号装置2Bの奥行別距離画像復号手段24を、複数の復号手段240(2401,2402,…,2405)で、並列に動作させる構成とした。
しかし、復号手段210および復号手段240は、それぞれ、必ずしも並列に動作を行う構成とする必要はなく、単一の構成とし、順番に動作を行うこととしてもよい。
【符号の説明】
【0101】
1,1B 画像符号化装置
10 閾値設定手段
11 奥行別撮影画像生成手段
110 領域区分手段
111 領域画像生成手段
12 符号量制御情報設定手段
13 奥行別撮影画像符号化手段
14 距離画像符号化手段
15,15B ストリーム結合手段
16 奥行別距離画像生成手段
17 奥行別距離画像符号化手段
170 符号化手段
2,2B 画像復号装置
20,20B ストリーム分離手段
21 奥行別撮影画像復号手段
210 復号手段
22 撮影画像合成手段
23 距離画像復号手段
24 奥行別距離画像復号手段
240 復号手段
25 距離画像合成手段