特開 2023-113380 デプスマップ生成装置、デプスマップ生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023113380

(43)【公開日】2023-08-16

(54)【発明の名称】デプスマップ生成装置、デプスマップ生成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20230808BHJP

   G01B 11/245 20060101ALI20230808BHJP

【ＦＩ】

G06T7/593

G01B11/245 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022015716

(22)【出願日】2022-02-03

(71)【出願人】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】渡邉 隆史

(72)【発明者】

【氏名】酒井 修二

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065DD03

2F065DD06

2F065FF01

2F065FF05

2F065JJ03

2F065JJ05

2F065JJ26

2F065QQ31

2F065QQ33

5L096AA06

5L096CA05

5L096DA01

5L096DA02

5L096EA03

5L096FA06

5L096FA60

5L096FA66

5L096FA67

5L096FA69

5L096KA04

(57)【要約】

【課題】階層探索法を用いて多視点画像からデプスマップを生成する場合において、精度よく奥行値を計算し、かつ、計算時間の増大を抑える。
【解決手段】多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成部と、各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定部と、前記第１決定部により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像から前記対象物のデプスマップを生成するデプスマップ生成装置であって、
前記多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成部と、
各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定部と、
前記第１決定部により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成部と、
を備える、
デプスマップ生成装置。

【請求項2】

前記第１決定部は、上位にある階層における前記近傍視点画像数を、下位にある階層における前記近傍視点画像数より大きい値とする、
請求項１に記載のデプスマップ生成装置。

【請求項3】

前記第１決定部は、最上位層とは異なる第１階層における前記近傍視点画像数を、前記第１階層より上位にある第２階層における前記近傍視点画像数よりも小さい値とする、
請求項１に記載のデプスマップ生成装置。

【請求項4】

各階層において生成されるデプスマップの解像度を決定する第２決定部、を更に備え、
前記第１決定部は、前記第２決定部により決定された解像度に応じて前記近傍視点画像数を決定し、
前記デプスマップ生成部は、前記第１決定部により決定された数に応じた前記近傍視点画像を用いて、前記第２決定部により決定された解像度に応じたデプスマップを生成する、
請求項１から請求項３のいずれか一項に記載のデプスマップ生成装置。

【請求項5】

前記第１決定部により決定された前記近傍視点画像数に応じて、前記参照視点画像ごと、又は、前記参照視点画像における複数の画素群ごとに前記近傍視点画像を選択する管理部を更に備える、
請求項１から請求項４のいずれか一項に記載のデプスマップ生成装置。

【請求項6】

前記管理部は、前記近傍視点画像の候補である候補画像が示された近傍視点マップを用いて、前記近傍視点マップに示された前記候補画像から、前記近傍視点画像数に応じて前記近傍視点画像を選択し、
前記デプスマップ生成部は、前記管理部によって選択された前記近傍視点画像を用いてデプスマップを生成する、
請求項５に記載のデプスマップ生成装置。

【請求項7】

前記近傍視点マップには、前記候補画像が前記近傍視点画像として適切な度合を示す評価値が示され、
前記管理部は、前記近傍視点マップに示された前記候補画像における前記評価値及び前記近傍視点画像数に応じて前記近傍視点画像を選択する、
請求項６に記載のデプスマップ生成装置。

【請求項8】

前記管理部は、最下位層とは異なる第３階層における前記近傍視点画像数が、前記第３階層の下位にある第４階層における前記近傍視点画像数と比較して同じ値か又は小さい値である場合、前記第３階層において選択された前記近傍視点画像の全てを、前記第４階層における前記近傍視点画像として選択し、前記第３階層における前記近傍視点画像数が、前記第４階層における前記近傍視点画像数と比較して大きい値である場合、前記第３階層において選択された前記近傍視点画像における前記評価値に応じて、前記第３階層において選択された前記近傍視点画像から前記第４階層における前記近傍視点画像を選択する、
請求項７に記載のデプスマップ生成装置。

【請求項9】

階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像から前記対象物のデプスマップを生成するデプスマップ生成装置が行うデプスマップ生成方法であって、
前記多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成工程と、
各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定工程と、
前記第１決定工程により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成工程と、
を含む、
デプスマップ生成方法。

【請求項10】

階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像から前記対象物のデプスマップを生成するデプスマップ生成装置としてコンピュータを動作させるプログラムであって、
前記多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成手段、
各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定手段、
前記第１決定手段により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成手段、
として動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デプスマップ生成装置、デプスマップ生成方法、及びプログラムに関する。

【背景技術】

【0002】

従来、対象物を互いに異なる視点から撮像した複数の画像（多視点画像）を用いて、対象物のデプスマップを生成する手法がある。この手法では、多視点画像ごとに対象物の見え方が異なることを利用し、ステレオマッチングの原理を用いて画像における各画素のデプス値（奥行値）を計算する。これにより対象物のデプスマップを生成する。

【0003】

特許文献１には、階層探索法を用いてデプスマップを生成する技術が開示されている。階層探索法は、複数の階層のそれぞれの縮小率に応じて縮小させた画像を用いて奥行値を計算し、各階層におけるデプスマップを生成する手法である。階層探索法を用いることで、上位層において計算した奥行値を、下位層における奥行値の計算に利用することができ、精度よく奥行値を計算することが可能となる。

【0004】

奥行値を精度よく計算するには、適切な近傍視点画像を選択することが重要である。近傍視点画像とは、多視点画像から選択されたデプスマップとして奥行値を計算する画像（参照視点画像）と、ステレオマッチングのペアとなる画像である。適切な近傍視点画像を選択することなく、例えば近傍視点画像をランダムに選択した場合、近傍視点画像として奥行値を計算する対象が撮像されていない画像が選ばれてしまう可能性がある。この場合、デプスマップに、奥行値が計算できないオクルージョン領域が発生してしまう。オクルージョン領域が発生することを低減させる手段として、近傍視点画像の数を多くする、例えば、多視点画像のうち参照視点画像とは異なる全ての画像を近傍視点画像として奥行値を計算することが考えられる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５７８７３９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、奥行値の計算時間は、近傍視点画像の数にほぼ比例する。近傍視点画像の数が多い場合に計算時間が増大となってしまう。階層探索法を用いた場合、各階層においてデプスマップを生成するため、最終的なデプスマップを生成するまでに要する計算時間が膨大となり現実的ではない、という問題があった。

【0007】

本発明は、このような状況に鑑みてなされたもので、階層探索法を用いて多視点画像からデプスマップを生成する場合において、精度よく奥行値を計算することができ、かつ、計算時間の増大を抑えることができるデプスマップ生成装置、デプスマップ生成方法、及びプログラムを提供する。

【課題を解決するための手段】

【0008】

本発明のデプスマップ生成装置は、階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像から前記対象物のデプスマップを生成するデプスマップ生成装置であって、前記多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成部と、各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定部と、前記第１決定部により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成部と、を備える。

【0009】

本発明のデプスマップ生成装置では、前記第１決定部は、上位にある階層における前記近傍視点画像数を、下位にある階層における前記近傍視点画像数より大きい値とする。

【0010】

本発明のデプスマップ生成装置では、前記第１決定部は、最上位層とは異なる第１階層における前記近傍視点画像数を、前記第１階層より上位にある第２階層における前記近傍視点画像数よりも小さい値とする。

【0011】

本発明のデプスマップ生成装置では、各階層において生成されるデプスマップの解像度を決定する第２決定部、を更に備え、前記第１決定部は、前記第２決定部により決定された解像度に応じて前記近傍視点画像数を決定し、前記デプスマップ生成部は、前記第１決定部により決定された数に応じた前記近傍視点画像を用いて、前記第２決定部により決定された解像度に応じたデプスマップを生成する。

【0012】

本発明のデプスマップ生成装置では、前記第１決定部により決定された前記近傍視点画像数に応じて、前記参照視点画像ごと、又は、前記参照視点画像における複数の画素群ごとに前記近傍視点画像を選択する管理部を更に備える。

【0013】

本発明のデプスマップ生成装置では、前記管理部は、前記参照視点画像の候補である候補画像が示された近傍視点マップを用いて、前記近傍視点マップに示された前記候補画像から、前記近傍視点画像数に応じて前記近傍視点画像を選択し、前記デプスマップ生成部は、前記管理部によって選択された前記参照視点画像を用いてデプスマップを生成する。

【0014】

本発明のデプスマップ生成装置では、前記近傍視点マップには、前記候補画像が前記近傍視点画像として適切な度合を示す評価値が示され、前記管理部は、前記近傍視点マップに示された前記候補画像における前記評価値及び前記近傍視点画像数に応じて前記近傍視点画像を選択する。

【0015】

本発明のデプスマップ生成装置では、前記管理部は、最下位層とは異なる第３階層における前記近傍視点画像数が、前記第３階層の下位にある第４階層における前記近傍視点画像数と比較して同じ値か又は小さい値である場合、前記第３階層において選択された前記近傍視点画像の全てを、前記第４階層における前記近傍視点画像として選択し、前記第３階層における前記近傍視点画像数が、前記第４階層における前記近傍視点画像数と比較して大きい値である場合、前記第３階層において選択された前記近傍視点画像における前記評価値に応じて、前記第３階層において選択された前記近傍視点画像から前記第４階層における前記近傍視点画像を選択する。

【0016】

本発明のデプスマップ生成方法は、階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像から前記対象物のデプスマップを生成するデプスマップ生成装置が行うデプスマップ生成方法であって、前記多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成工程と、各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定工程と、前記第１決定工程により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成工程と、を含む。

【0017】

本発明のプログラムは、階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像から前記対象物のデプスマップを生成するデプスマップ生成装置としてコンピュータを動作させるプログラムであって、前記多視点画像を、各階層に対応する縮小率で縮小させた階層画像を生成する階層画像生成手段、各階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である近傍視点画像数を、少なくとも１つの階層における前記近傍視点画像数が、他の階層における前記近傍視点画像数と異なる値に決定する第１決定手段、前記第１決定手段により決定された前記近傍視点画像数に応じた前記近傍視点画像を用いてデプスマップを生成するデプスマップ生成手段、として動作させるプログラム。

【発明の効果】

【0018】

本発明によれば、階層探索法を用いて多視点画像からデプスマップを生成する場合において、精度よく奥行値を計算することができ、かつ、計算時間の増大を抑えることができる。

【図面の簡単な説明】

【0019】

【図1】実施形態に係る各階層における近傍視点画像数の例を示す図である。

【図2】実施形態に係るデプスマップ生成装置１の構成例を示すブロック図である。

【図3】実施形態に係る多視点画像情報記憶部１０７に記憶される情報の例を示す図である。

【図4】実施形態に係る階層画像情報記憶部１０８に記憶される情報の例を示す図である。

【図5】実施形態に係る近傍視点画像数情報記憶部１０９に記憶される情報の例を示す図である。

【図6A】実施形態に係る近傍視点マップ情報記憶部１１０に記憶される情報の例を示す図である。

【図6B】実施形態に係る近傍視点マップ情報記憶部１１０に記憶される情報の例を示す図である。

【図7】実施形態に係るデプスマップ情報記憶部１１１に記憶される情報の例を示す図である。

【図8】実施形態に係るデプスマップ生成装置１が行う処理の流れを示すフローチャートである。

【図9】従来の階層探索法を説明する図である。

【発明を実施するための形態】

【0020】

以下、実施形態のデプスマップ生成装置を、図面を参照しながら説明する。

【0021】

（従来の階層探索法について）
まず、従来の階層探索法について図９を用いて説明する。図９は従来の階層探索法を説明する図である。図９には、４つの階層画像ＫＧ（階層画像ＫＧ１～ＫＧ４）、及び、４つのデプスマップＤＭ（デプスマップＤＭ１～ＤＭ４）が示されている。

【0022】

図９に示すように、階層探索法では、複数の階層ＬＲ（階層ＬＲ１～ＬＲ４）が設けられる。この図の例では、４つの階層が設けられた例が示されているが、層数は２以上であれば任意の数でよい。各階層にある階層画像ＫＧ（階層画像ＫＧ１～ＫＧ４）は、多視点画像ＴＧを縮小した画像である。例えば、最下位にある階層ＬＲ４の階層画像ＫＧ４は、多視点画像ＴＧである。階層ＬＲ４の一つ上にある階層ＬＲ３の階層画像ＫＧ３は、多視点画像ＴＧを縦横それぞれ１／２に縮小させた画像である。階層ＬＲ３の一つ上にある階層ＬＲ２の階層画像ＫＧ２は、多視点画像ＴＧを縦横それぞれ１／４に縮小させた画像である。階層ＬＲ２の一つ上、つまり最上にある階層ＬＲ１の階層画像ＫＧ１は、多視点画像ＴＧを縦横それぞれ１／８に縮小させた画像である。

【0023】

階層探索法では、上位から下位に向かう方向に、順に、各階層にある階層画像ＫＧを用いて画素毎に奥行値が計算される。そして、階層探索法では、上の階層で計算した奥行値が、その下の階層で利用される。例えば、奥行値を計算する際の初期値として利用されたり、そのまま奥行値として採用されたりする。具体的には、まず、最上位にある階層ＬＲ１の階層画像ＫＧ１を用いて、デプスマップＤＭ１が生成される。次に、階層ＬＲ１のひとつ下の階層ＬＲ２の階層画像ＫＧ２と、デプスマップＤＭ１とを用いて、デプスマップＤＭ２が生成される。次に、階層ＬＲ２のひとつ下の階層ＬＲ３の階層画像ＫＧ３と、デプスマップＤＭ２とを用いて、デプスマップＤＭ３が生成される。そして、階層ＬＲ３のひとつ下の階層ＬＲ４の階層画像ＫＧ４と、デプスマップＤＭ３とを用いて、デプスマップＤＭ４が生成される。デプスマップＤＭ４が、多視点画像ＴＧに対応するデプスマップＤＭであり、最終的に出力されるデプスマップとなる。

【0024】

従来の階層探索法では、階層画像ＫＧのうち参照視点画像とは異なる全ての画像を近傍視点画像として用いると奥行値の計算に膨大な時間がかかり現実的ではない、という問題があった。

【0025】

このような問題に対し、本実施形態では各階層における奥行値の計算に用いる近傍視点画像の数（以下、近傍視点画像数という）を、階層ごとに個別に設定するようにした。これにより、各階層における近傍視点画像の数の組合せを工夫することができ、計算時間が膨大とならず、且つ奥行値の計算精度を低下させないようにデプスマップを生成することが可能となる。

【0026】

（デプスマップ生成装置１の概要）
ここで、デプスマップ生成装置１の概要について、図１を用いて説明する。図１は、実施形態に係る各階層における近傍視点画像数の例を示す図である。図１では、縦方向に階層ＬＲ、横方向に奥行値の計算に用いる近傍視点画像の数が示されている。この図の例では、５つの階層が設けられた例が示されている。具体的には、上位から順に、最上位層、中間層１、中間層２、中間層３、及び最下位層が設けられている。

【0027】

図１には、近傍視点画像の数のパターンとしてパターン１～パターン４の４つのパターンが示されている。

【0028】

パターン１は、各階層のうち最上位層における近傍視点画像数を最も大きい値とし、下位ある階層における近傍視点画像数がその上位にある階層における近傍視点画像数よりも小さい値となるようにするパターンである。

【0029】

各階層においてデプスマップＤＭを生成する場合、生成するデプスマップＤＭにおける画素の数（つまり、解像度）だけ奥行値を計算する必要がある。そして、奥行値の計算には、その計算に用いる近傍視点画像数に比例した計算時間が必要となる。つまり、デプスマップＤＭの生成に要する計算時間は、デプスマップＤＭの解像度、及び近傍視点画像数にほぼ比例する。

【0030】

例えば、各階層において、その階層における階層画像ＫＧの解像度と同じ解像度を有するデプスマップＤＭを生成し、奥行値の計算にはその階層における階層画像ＫＧのうち参照視点画像とは異なる全ての近傍視点画像を用いることを考える。この場合、デプスマップＤＭの生成に要する計算時間が、デプスマップＤＭの解像度及び近傍視点画像数に比例することから、下位の階層ほどデプスマップＤＭの生成に要する時間が増大する。

【0031】

そこで、パターン１では、下位の階層における近傍視点画像数を、下位の階層より小さい値とする。この図の例では、最上位層における近傍視点画像数が６４、中間層１における近傍視点画像数が３２、中間層２における近傍視点画像数が１６、中間層３における近傍視点画像数が８、そして最下位層における近傍視点画像数が４である。これにより、デプスマップＤＭの解像度が大きくなる下位の階層ほど、近傍視点画像数を小さい値とすることができ、デプスマップＤＭ生成に要する時間の増大を抑制することができる。

【0032】

パターン２は、最上位層とは異なる階層（第１階層という）における近傍視点画像数を、及び第１階層の上位にある階層（第２階層という）よりも小さい値とするパターンである。

【0033】

階層探索法を用いてデプスマップＤＭを生成する場合、計算時間の増大を抑制するために、各階層において奥行値を計算する画素の数を減らす、いわゆる「間引き」が行われる場合がある。例えば、ある階層における階層画像ＫＧの解像度が６４万［画素］である場合において、その階層において生成するデプスマップＤＭの解像度を６４万［画素］よりも小さい値、例えば、８万［画素］にする場合がある。

【0034】

このような間引きが行われ、例えば、第１階層において生成するデプスマップＤＭの解像度が、第１階層の上位にある第２階層において生成するデプスマップＤＭの解像度よりも小さい値となる場合があり得る。例えば、第１階層において生成するデプスマップＤＭの解像度が８万［画素］であり、第２階層において生成するデプスマップＤＭの解像度が６４万［画素］である場合があり得る。このような場合、第１階層というにおける近傍視点画像数を、第２階層よりも小さい値とする。例えば、第１階層における近傍視点画像数を１６とし、第２階層における近傍視点画像数を３２とする。これにより、上位にある階層か否かに関わらず、デプスマップＤＭの解像度が大きい階層ほど近傍視点画像数を小さい値とすることができ、デプスマップＤＭの生成に要する時間の増大を抑制することができる。

【0035】

パターン３は、最上位層とは異なる階層における近傍視点画像数を一律とするパターンである。この図の例では、最上位層における近傍視点画像数が１６、最上位層とは異なる階層における近傍視点画像数が一律の値である３２である。例えば、上述した間引きが行われ、最上位層とは異なる階層において生成するデプスマップＤＭの解像度が一律に設定される場合があり得る。このような場合、パターン３に示すように、最上位層とは異なる階層における近傍視点画像数を一律とする。これにより、上位にある階層か否かに関わらず、デプスマップＤＭの解像度が同じ階層について近傍視点画像数を一律の値、つまり同じ数とすることができ、デプスマップＤＭの生成に要する時間の増大を抑制することができる。

【0036】

パターン４は、最下位層とは異なる階層における近傍視点画像数を一律とするパターンである。この図の例では、最下位層における近傍視点画像数が３２、最下位層とは異なる階層における近傍視点画像数が一律の値である８である。

【0037】

例えば、多視点画像ＴＧにおいて、同じ領域が撮像された画像が多数ある場合、解像度が小さい画像、すなわち上位にある階層画像ＫＧにおける近傍視点画像数が少ない場合であっても、ステレオマッチングのペアを成立させることができる。一方、最下位層において生成するデプスマップＤＭは、最終的に生成するデプスマップＤＭであることから、特に、写りのよい近傍視点画像を選んでステレオマッチングのペアを成立させる方がよい。このような観点から、パターン４では、最下位層とは異なる階層における近傍視点画像数を一律とし、最下位層における近傍視点画像数を、他の階層における一律の近傍視点画像数よりも大きい値とする。

【0038】

（デプスマップ生成装置１の構成）
ここで、デプスマップ生成装置１の構成について、図２を用いて説明する。図２は、実施形態に係るデプスマップ生成装置１の構成の例を示すブロック図である。デプスマップ生成装置１は、例えば、多視点画像情報取得部１０１と、階層画像生成部１０２と、デプスマップ解像度決定部１０３と、近傍視点画像数決定部１０４と、デプスマップ生成部１０５と、近傍視点画像管理部１０６と、多視点画像情報記憶部１０７と、階層画像情報記憶部１０８と、近傍視点画像数情報記憶部１０９と、近傍視点マップ情報記憶部１１０と、デプスマップ情報記憶部１１１とを備える。

【0039】

多視点画像情報取得部１０１は、多視点画像ＴＧの画像情報を、多視点画像情報記憶部１０７から取得する。多視点画像ＴＧは、互いに異なる視点から対象物が撮像された複数の画像である。ここでの対象物は、撮像し得る物体であって、任意の三次元形状を有する物体である。多視点画像情報取得部１０１は、取得した多視点画像ＴＧの画像情報を階層画像生成部１０２に出力する。

【0040】

階層画像生成部１０２は、階層画像ＫＧを生成する。階層画像ＫＧは、多視点画像ＴＧを所定の縮小率により縮小させた画像である。階層画像生成部１０２は、各階層に予め定めた縮小率に応じて多視点画像ＴＧを縮小させることによって、その階層における階層画像ＫＧを生成する。階層画像生成部１０２は、階層画像ＫＧの画像情報を、階層画像情報記憶部１０８に記憶させる。

【0041】

デプスマップ解像度決定部１０３は、各階層において生成するデプスマップＤＭの解像度を決定する。デプスマップ解像度決定部１０３は、例えば、デプスマップ生成装置１の計算能力、多視点画像ＴＧの数や、最終的に生成するデプスマップＤＭの解像度などに応じて、各階層において生成するデプスマップＤＭの解像度を決定する。

【0042】

近傍視点画像数決定部１０４は、各階層における近傍視点画像数を決定する。近傍視点画像数決定部１０４は、例えば、上述したパターン１からパターン４のいずれかのパターンを選択し、選択したパターンに基づいて各階層における近傍視点画像数を決定する。近傍視点画像数決定部１０４は、決定した近傍視点画像数を、近傍視点画像数情報記憶部１０９に記憶させる。

【0043】

具体的には、近傍視点画像数決定部１０４は、パターン１に示す通り、上位にある階層における近傍視点画像数を、下位にある階層における近傍視点画像数より大きい値とする。或いは、近傍視点画像数決定部１０４は、パターン２に示す通り、最上位層とは異なる第１階層における近傍視点画像数を、第１階層より上位にある第２階層における近傍視点画像数よりも小さい値とするようにしてもよい。或いは、近傍視点画像数決定部１０４は、パターン３に示す通り、最上位層とは異なる各階層における近傍視点画像数を一律の値とするようにしてもよい。或いは、近傍視点画像数決定部１０４は、パターン４に示す通り、最下位層とは異なる各階層における近傍視点画像数を一律の値とするようにしてもよい。

【0044】

また、近傍視点画像数決定部１０４は、デプスマップ解像度決定部１０３によって決定された各階層において生成するデプスマップＤＭの解像度に応じて、各階層における近傍視点画像数を決定するようにしてもよい。例えば、近傍視点画像数決定部１０４は、各階層におけるデプスマップＤＭの解像度に基づいて、デプスマップＤＭの解像度が大きい階層においては近傍視点画像数を小さい値とし、デプスマップＤＭの解像度が小さい階層においては近傍視点画像数を大きい値とする。

【0045】

近傍視点画像管理部１０６は、奥行値の計算に用いる近傍視点画像を、近傍視点画像数決定部１０４によって決定された数（近傍視点画像数）に応じて選択する。

【0046】

例えば、近傍視点画像管理部１０６は、近傍視点マップを生成し、作成した近傍視点マップを用いて奥行値の計算に用いる近傍視点画像を選択する。近傍視点マップは、近傍視点画像となり得る階層画像ＫＧに関する情報である。ここでの階層画像ＫＧに関する情報とは、例えば、階層画像ＫＧの識別情報、階層画像ＫＧにおいて参照視点となる座標値、及び評価値などである。評価値は、近傍視点画像として適切な度合である。

【0047】

例えば、近傍視点画像管理部１０６は、階層画像ＫＧのうち、奥行値を計算する対象とする領域が撮像されている画像を、近傍視点画像となり得る階層画像ＫＧとする。この場合、近傍視点マップは、奥行値を計算する対象とする領域が撮像されている画像のそれぞれに関する情報である。

【0048】

近傍視点画像管理部１０６は、所定の領域ごとに、近傍視点画像を選択するようにしてもよい。ここでの所定の領域とは、参照視点画像における領域であり、例えば、参照視点画像、参照視点画像における複数の画素群、又は参照視点画像における１つの画素などである。

【0049】

例えば、参照視点画像ごとに近傍視点画像を選択する場合、近傍視点画像管理部１０６は、参照視点画像ごとに近傍視点画像となり得る階層画像ＫＧに関する情報が対応づけられた近傍視点マップ（第１マップという）を生成する。また、参照視点画像における複数の画素群ごとに近傍視点画像を選択する場合、近傍視点画像管理部１０６は、参照視点画像における複数の画素群ごとに近傍視点画像となり得る階層画像ＫＧに関する情報が対応づけられた近傍視点マップ（第２マップという）を生成する。或いは、参照視点画像における画素ごとに近傍視点画像を選択する場合、近傍視点画像管理部１０６は、参照視点画像における画素ごとに近傍視点画像となり得る階層画像ＫＧに関する情報が対応づけられた近傍視点マップ（第３マップという）を生成する。

【0050】

上述したように、近傍視点画像を選択する所定の領域に応じた近傍視点マップを生成することにより、デプスマップ生成装置１のメモリ容量、或いは、生成するデプスマップＤＭの精度に対応することが可能となる。

【0051】

例えば、第１マップの場合、画像ごとに、近傍視点画像となり得る階層画像ＫＧに関する情報が対応づけられた情報となる。このため、第１マップでは、第２マップ及び第３マップのメモリ容量と比較してメモリ容量を小さくすることが可能である。一方、第１マップを用いて選択した近傍視点画像を用いて奥行値を計算する場合、１つの参照視点画像における奥行値の計算に同じ近傍視点画像群を用いなければならない。このため、座標によってはステレオマッチングのペアが適切でない場合もあり得る。このような場合、奥行値の計算精度が低下する可能性がある。

【0052】

或いは、第３マップを生成する場合、画素ごとに、近傍視点画像となり得る階層画像ＫＧに関する情報を対応づけられた情報となる。第３マップは、第１マップ及び第２マップのメモリ容量と比較してメモリ容量が大きくなるが、その一方で、奥行値を計算する画素毎に、その画素に応じて近傍視点画像を選択することができる。このため、第３マップを用いる場合、画素毎に適切なステレオマッチングのペアを生成することができ精度よく奥行値を計算することが可能となる。

【0053】

近傍視点画像管理部１０６は、近傍視点画像となり得る階層画像ＫＧのそれぞれの評価値を計算する。評価値として、例えば、画像マッチング相関値、オクルージョン判定の結果、テクスチャ判定の結果、視点間距離、視点角度、機械学習による信頼値を推定した結果、或いはこれらの組合せ等を用いることが可能である。

【0054】

画像マッチング相関値は、二つの画像のマッチングにより得られるスコアである。例えば、近傍視点画像管理部１０６は、参照視点画像と、近傍視点画像となり得る階層画像ＫＧのマッチング（位置合わせ）を行う。マッチングは、例えば、画像の局所領域（パッチ）における正規化相互相関、画像の局所領域のＳＳＤ（Ｓｕｍ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、或いは位相限定相関法等のステレオマッチングを用いて行うことができる。近傍視点画像管理部１０６は、参照視点画像と、近傍視点画像となり得る階層画像ＫＧとをマッチングさせ、例えば、二つの画像において閾値以上であるマッチングスコアにてマッチングした画素の数に応じた値を、その階層画像ＫＧにおけるステレオマッチング相関値に応じた値を評価値とする。

【0055】

オクルージョン判定は、画像において対象物が遮蔽されているか否かを判定することである。近傍視点画像管理部１０６は、近傍視点画像となり得る階層画像ＫＧにおいて、対象物が遮蔽されているか否かを判定する。例えば、近傍視点画像管理部１０６は、階層画像ＫＧに撮像された対象物の輪郭を抽出し、抽出した輪郭の形状と、参照視点画像から抽出した対象物の輪郭の形状とを比較し、形状が相違する度合に基づいて、対象物が遮蔽されている度合を数値化する。近傍視点画像管理部１０６は、対象物が遮蔽されている度合に応じた値を評価値とする。

【0056】

テクスチャ判定は、参照視点画像と、近傍視点画像となり得る階層画像ＫＧとの両画像において撮像されている対象物のテクスチャが類似しているか否かを判定することである。近傍視点画像管理部１０６は、両画像のそれぞれにおいて撮像された対象物のテクスチャを計算する。例えば、局所領域における画素値（ＲＧＢ値）の平均、分散などの統計量のテクスチャ項目に応じて、度合に基づいて、対象物のテクスチャを数値化する。近傍視点画像管理部１０６は、例えば、テクスチャ項目のそれぞれを軸としたベクトル空間における両画像における距離を、両画像における局所領域のテクスチャの類似度とする。近傍視点画像管理部１０６は、両画像における対象物のテクスチャの類似度に応じた値を評価値とする。

【0057】

視点間距離は、参照視点画像と、近傍視点画像となり得る階層画像ＫＧとの視点（撮像位置）の距離である。近傍視点画像管理部１０６は、例えば、カメラパラメータを用いて視点間距離を計算する。カメラパラメータは画像を撮像した際の撮像に関する変数（パラメータ）である。カメラパラメータは、例えば、カメラの焦点距離、光学中心、撮像位置、撮像方向などである。カメラパラメータは、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて推定することが可能である。近傍視点画像管理部１０６は、視点間距離に応じた値を評価値とする。

【0058】

視点角度は、参照視点画像における撮像位置と、対象物における所定の位置（例えば重心位置）とを接続させた直線と、近傍視点画像となり得る階層画像ＫＧにおける撮像位置と対象物における同じ所定の位置（例えば重心位置）とを接続させた直線とがなす角度である。近傍視点画像管理部１０６は、例えば、カメラパラメータを用いて視点角度を計算する。近傍視点画像管理部１０６は、視点角度に応じた値を評価値とする。

【0059】

機械学習による信頼値の推定は、近傍視点画像となり得る階層画像ＫＧが、近傍視点画像として適切か否かを示す信頼値を機械学習により推定することである。近傍視点画像管理部１０６は、例えば、学習済モデルを用いて信頼値を推定する。ここでの学習済モデルは、学習用データセットを用いて機械学習を実行することにより、画像と信頼値との対応関係を学習したモデルである。学習用データセットは、例えば、学習用の画像（参照視点画像及び近傍視点画像）に、その学習用画像を用いて奥行値を計算する場合における信頼値が対応づけられた情報である。

【0060】

近傍視点画像管理部１０６は、近傍視点画像数情報記憶部１０９を参照して、近傍視点画像数を取得する。近傍視点画像管理部１０６は、近傍視点マップ情報記憶部１１０を参照し、近傍視点画像となり得る階層画像ＫＧのうち評価値が高い階層画像ＫＧを、近傍視点画像数に応じて抽出した階層画像ＫＧを、奥行値の計算に用いる近傍視点画像として選択する。

【0061】

近傍視点画像管理部１０６は、上位の階層において選択した近傍視点画像を、その下位の階層における近傍視点画像として選択するようにしてもよい。

【0062】

例えば、近傍視点画像管理部１０６は、上位にある階層（第３階層という）における近傍視点画像数と、第３階層の下位にある階層（第４階層という）における近傍視点画像数と比較する。近傍視点画像管理部１０６は、二つの階層における近傍視点画像数が同じ値である場合、第３階層において選択された近傍視点画像の全てを、第４階層における近傍視点画像として選択する。具体的には、近傍視点画像管理部１０６は、第３階層において選択された近傍視点画像のそれぞれに対応する第４階層の階層画像ＫＧを、第４階層における近傍視点画像として選択する。

【0063】

近傍視点画像管理部１０６は、第３階層における近傍視点画像数が、第４階層における近傍視点画像数よりも小さい値である場合、第３階層において選択された近傍視点画像の全てを、第４階層における近傍視点画像として選択する。そして、近傍視点画像管理部１０６は、第４階層において不足する数の近傍視点画像を更に選択する。例えば、近傍視点画像管理部１０６は、近傍視点マップにおいて、第３階層において選択された近傍視点画像に対応する第４階層における階層画像ＫＧとは異なる画像であって、評価値が高い階層画像ＫＧを、不足する数に応じて選択する。近傍視点画像管理部１０６は、選択した階層画像ＫＧを第４階層において追加して用いる近傍視点画像とする。

【0064】

近傍視点画像管理部１０６は、第３階層における近傍視点画像数が、第４階層における近傍視点画像数よりも大きい値である場合、第３階層において選択された近傍視点画像から第４階層における近傍視点画像を選択する。例えば、近傍視点画像管理部１０６は、近傍視点マップにおいて、第３階層において選択された近傍視点画像のそれぞれの評価値を参照し、評価値の高い画像を、第４階層における近傍視点画像数に応じて選択する。近傍視点画像管理部１０６は、選択した近傍視点画像に対応する第４階層の階層画像ＫＧを、第４階層における近傍視点画像とする。

【0065】

デプスマップ生成部１０５は、階層探索法によりデプスマップＤＭを生成する。デプスマップ生成部１０５は、デプスマップ解像度決定部１０３によって決定された解像度のデプスマップＤＭを生成する。この際、デプスマップ生成部１０５は、近傍視点画像管理部１０６により選択された近傍視点画像を用いて奥行値を用いて計算する。デプスマップ生成部１０５は、生成したデプスマップＤＭをデプスマップ情報記憶部１１１に記憶させる。

【0066】

図３は、実施形態に係る多視点画像情報記憶部１０７に記憶される情報の例を示す図である。図３に示すように、多視点画像情報記憶部１０７には、例えば、多視点画像ＩＤと、画像座標とカメラパラメータのそれぞれに対応する情報が、多視点画像情報として記憶される。多視点画像ＩＤは、多視点画像ＴＧを一意に識別する識別情報である。画像情報は、多視点画像ＴＧにおける画像情報であり、例えば、画素座標値とＲＧＢ値とを示す情報である。カメラパラメータは、多視点画像ＴＧにおけるカメラパラメータを示す情報である。

【0067】

図４は、実施形態に係る階層画像情報記憶部１０８に記憶される情報の例を示す図である。図４に示すように、階層画像情報記憶部１０８には、例えば、階層画像ＩＤと、画像座標とカメラパラメータのそれぞれに対応する情報が、階層画像情報として記憶される。階層画像ＩＤは、階層画像ＫＧを一意に識別する識別情報である。画像情報は、階層画像ＫＧにおける画像情報であり、例えば、画素座標値とＲＧＢ値とを示す情報である。カメラパラメータは、階層画像ＫＧにおけるカメラパラメータを示す情報である。

【0068】

図５は、実施形態に係る近傍視点画像数情報記憶部１０９に記憶される情報の例を示す図である。図５に示すように、近傍視点画像数情報記憶部１０９には、例えば、階層ＩＤ及び近傍視点画像数に対応する情報が、近傍視点画像数情報として記憶される。階層ＩＤは、階層探索法における各階層を一意に識別する識別情報である。近傍視点画像数は、階層において奥行値の計算に用いる近傍視点画像の数を示す情報である。

【0069】

図６（図６Ａ及び図６Ｂ）は、実施形態に係る近傍視点マップ情報記憶部１１０に記憶される情報の例を示す図である。近傍視点マップ情報記憶部１１０には、近傍視点マップ情報が記憶される。近傍視点マップ情報は参照視点画像に対する近傍視点画像を選択する候補となる近傍視点画像が対応づけられたマップである。近傍視点マップ情報は参照視点画像ごとに生成される。

【0070】

図６Ａには参照視点画像における画素ごとに近傍視点画像を選択する場合に生成される近傍視点マップ情報の例が示されている。図６Ａに示すように、近傍視点マップ情報は、例えば、画素（画素１、画素２、…）の項目を備え、画素毎に、複数の候補（候補１、候補２、…）が対応づけられる。候補は、近傍視点画像として選択する候補であり、例えば、候補となる画像のＩＤ（階層画像ＩＤ）及び評価値が対応づけられる。評価値は、近傍視点画像として適切な度合であり、近傍視点画像管理部１０６によって計算された値である。

【0071】

図６Ｂには参照視点画像における領域（複数の画素からなる領域）ごとに近傍視点画像を選択する場合に生成される近傍視点マップ情報の例が示されている。図６Ｂに示すように、近傍視点マップ情報は、領域（領域１、領域２、…）の項目を備え、領域毎に、複数の候補（候補１、候補２、…）が対応づけられる。候補は、近傍視点画像として選択する候補であり、例えば、候補となる画像のＩＤ（階層画像ＩＤ）及び評価値が対応づけられる。評価値は、近傍視点画像として適切な度合であり、近傍視点画像管理部１０６によって計算された値である。

【0072】

図７は、実施形態に係るデプスマップ情報記憶部１１１に記憶される情報の例を示す図である。図７に示すように、デプスマップ情報記憶部１１１には、例えばデプスマップＩＤ、及びデプスマップ情報のそれぞれに対応する情報が、デプスマップ情報として記憶される。デプスマップＩＤは、デプスマップＤＭを一意に識別する識別情報である。デプスマップ情報は、例えば、画素座標値と奥行値とを示す情報である。

【0073】

（デプスマップ生成装置１の処理）
ここでデプスマップ生成装置１が行う処理について図８を用いて説明する。図８は、実施形態に係るデプスマップ生成装置１が行う処理の流れを示すフローチャートである。

【0074】

デプスマップ生成装置１は、多視点画像ＴＧを取得する（ステップＳ１０）。次に、デプスマップ生成装置１は、多視点画像ＴＧを用いて各階層の階層画像ＫＧを生成する（ステップＳ１１）。次に、デプスマップ生成装置１は、各階層で生成するデプスマップＤＭの解像度を決定する（ステップＳ１２）。デプスマップ生成装置１は、各階層で奥行値の計算に使用する近傍視点画像の数を決定する（ステップＳ１３）。デプスマップ生成装置１は、ステップＳ１３で決定した数に応じて、階層で奥行値の計算に使用する近傍視点画像を選択する（ステップＳ１４）。デプスマップ生成装置１は、階層探索法を用いて、デプスマップＤＭを生成する（ステップＳ１５）。この場合において、デプスマップ生成装置１は、ステップＳ１４で選択された近傍視点画像を用いて奥行値を計算することにより、
各階層におけるデプスマップＤＭを生成する。

【0075】

以上説明したように、実施形態に係るデプスマップ生成装置１は、階層探索法を用いて、互いに異なる視点から対象物を撮像した複数の多視点画像ＴＧから対象物のデプスマップＤＭを生成する。デプスマップ生成装置１は、階層画像生成部１０２と、近傍視点画像数決定部１０４（第１決定部）と、デプスマップ生成部１０５とを備える。階層画像生成部１０２は、階層画像ＫＧを生成する。近傍視点画像数決定部１０４は、近傍視点画像数を、少なくとも１つの階層における近傍視点画像数が、他の階層における近傍視点画像数と異なる値に決定する。近傍視点画像数は、階層における前記階層画像から奥行値を計算する対象として選択された参照視点画像に対し、ステレオマッチングのペアとして奥行値の計算に用いる近傍視点画像の数である。デプスマップ生成部１０５は、各階層において前記決定部により決定された解像度のデプスマップを生成する。

【0076】

これにより、実施形態のデプスマップ生成装置１は、階層ごとに個別に近傍視点画像数を設定することができる。このため、各階層における近傍視点画像数の組合せを工夫することによって、計算時間が膨大とならず、且つ奥行値の計算精度を低下させないようにデプスマップを生成することが可能となる。したがって、階層探索法を用いて多視点画像を用いたデプスマップを生成する場合において、精度よく奥行値を計算することができ、かつ、計算時間の増大を抑えることができる。

【0077】

また、実施形態のデプスマップ生成装置１では、近傍視点画像数決定部１０４は、上位にある階層における近傍視点画像数を、下位にある階層における近傍視点画像数より大きい値とする。これにより、実施形態のデプスマップ生成装置１は、上位の階層における解像度が比較的小さい階層画像ＫＧを用いる場合において多くの近傍視点画像を用いて奥行値を計算することができる。したがって、精度よく奥行値を計算することができ、しかも、解像度が比較的小さいことから計算すべき奥行値の数は小さいために計算時間の増大を抑えることができる。一方、下位の階層における解像度が比較的大きい階層画像ＫＧを用いる場合に少ない近傍視点画像を用いて奥行値を計算することができる。したがって、解像度が比較的大きく計算すべき奥行値の数が大きい場合に、近傍視点画像数を少なくして計算時間の増大を抑えることができる。しかも、下位の階層においては、上位の階層において計算した奥行値を利用することができるために、奥行値の計算精度を低下させないようにすることも可能である。

【0078】

また、実施形態のデプスマップ生成装置１では、近傍視点画像数決定部１０４は、最上位層とは異なる第１階層における近傍視点画像数を、第１階層より上位にある第２階層における近傍視点画像数よりも小さい値とするようにしてもよい。これにより、実施形態のデプスマップ生成装置１は、間引きを行うことにより、中間層において生成するデプスマップＤＭの解像度を小さく設定した場合において、その中間層における近傍視点画像数を大きい値とすることができる、したがって、生成するデプスマップＤＭの解像度が比較的小さい場合には、上位の階層であるか否かに関わらず、計算時間の増大を抑えつつ、奥行値の計算精度を向上させることができる。

【0079】

また、実施形態のデプスマップ生成装置１では、デプスマップ解像度決定部１０３（第２決定部）を更に備える。デプスマップ解像度決定部１０３は、各階層において生成されるデプスマップの解像度を決定する。近傍視点画像数決定部１０４は、デプスマップ解像度決定部１０３により決定された解像度に応じて近傍視点画像数を決定する。デプスマップ生成部１０５は、近傍視点画像数決定部１０４により決定された数に応じた近傍視点画像を用いて、デプスマップ解像度決定部１０３により決定された解像度に応じたデプスマップを生成する。これにより、実施形態のデプスマップ生成装置１では、各階層において生成するデプスマップＤＭの分解能に応じて、近傍視点画像数を決定することができる。したがって、各層において、計算時間の増大を抑えつつ、奥行値の計算精度を向上させるような近傍視点画像を決定することができる。

【0080】

また、実施形態のデプスマップ生成装置１では、近傍視点画像管理部１０６を更に備える。近傍視点画像管理部１０６は、近傍視点画像数決定部１０４によって決定された近傍視点画像数に応じて、参照視点画像ごと、又は参照視点画像における複数の画素群ごとに近傍視点画像数を決定する。これにより、実施形態のデプスマップ生成装置１では、近傍視点画像数に応じた近傍視点画像を、画像（参照視点画像）ごと、又は、画素群ごとに選択することができる。したがって、デプスマップ生成装置１のメモリ容量、及び生成するデプスマップＤＭの精度のバランスに応じて、近傍視点画像を選択することができる。

【0081】

また、実施形態のデプスマップ生成装置１では、近傍視点画像管理部１０６は、近傍視点マップを用いて、近傍視点画像数に応じた近傍視点画像を選択する。近傍視点マップは、参照視点画像の候補である階層画像ＫＧ（候補画像）が示された情報である。これにより、実施形態のデプスマップ生成装置１では、近傍視点マップに示された候補から選択するという容易な方法により、近傍視点画像を選択することができる。

【0082】

また、実施形態のデプスマップ生成装置１では、近傍視点マップには、評価値が示される。評価値は、候補画像が近傍視点画像として適切な度合である。近傍視点画像管理部１０６は、近傍視点マップに示された候補画像における評価値及び近傍視点画像数に応じて近傍視点画像を選択する。これにより、実施形態のデプスマップ生成装置１では、評価値に応じて、より近傍視点画像として適切な画像を、近傍視点画像として選択することが可能となる。

【0083】

また、実施形態のデプスマップ生成装置１では、近傍視点画像管理部１０６は、最下位層とは異なる第３階層における近傍視点画像数と、第３階層の下位にある第４階層における近傍視点画像数とを比較する。第３階層における近傍視点画像数が、第３階層の下位にある第４階層における近傍視点画像数と比較して同じ値か又は小さい値である場合、第３階層において選択された近傍視点画像の全てを、第４階層における近傍視点画像として選択する。また、近傍視点画像管理部１０６は、第３階層における近傍視点画像数が、第４階層における近傍視点画像数と比較して大きい値である場合、第３階層において選択された近傍視点画像から、評価値に応じて第４階層における近傍視点画像を選択する。これにより、実施形態のデプスマップ生成装置１では、上位の階層で用いた近傍視点画像を、下位の階層でも利用することができる。したがって、近傍視点画像を選択する処理負荷を抑えることができる。しかも、上位の階層で選択された画像の全部または一部を用いて下位の階層で用いる近傍視点画像を選択することができる。このため、適切な画像を選択することが可能となる。また、上位の階層で選択された画像に、さらに近傍視点画像を選択する場合であっても、評価値に基づいて近傍視点画像を選択することができるため適切な画像を選択することが可能となる。

【0084】

上述した実施形態におけるデプスマップ生成装置１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0085】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0086】

１…デプスマップ生成装置
１０１…多視点画像情報取得部
１０２…階層画像生成部
１０３…デプスマップ解像度決定部（第２決定部）
１０４…近傍視点画像数決定部（第１決定部）
１０５…デプスマップ生成部
１０６…近傍視点画像管理部（管理部）
１１０…近傍視点マップ情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】