特開 2024-2317 奥行値推定装置、奥行値推定方法、及び奥行値推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002317

(43)【公開日】2024-01-11

(54)【発明の名称】奥行値推定装置、奥行値推定方法、及び奥行値推定プログラム

(51)【国際特許分類】

   G01C 3/06 20060101AFI20231228BHJP

【ＦＩ】

G01C3/06 110V

G01C3/06 140

G01C3/06 130

G01C3/06 120Q

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022101429

(22)【出願日】2022-06-23

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】八尾 泰洋

(72)【発明者】

【氏名】安藤 慎吾

(72)【発明者】

【氏名】島村 潤

(72)【発明者】

【氏名】石川 涼一

(72)【発明者】

【氏名】大石 岳史

【テーマコード（参考）】

2F112

【Ｆターム（参考）】

2F112AC06

2F112AD01

2F112BA06

2F112CA12

(57)【要約】

【課題】多視点ステレオにおける奥行値の推定の精度を向上する。
【解決手段】奥行値推定装置１０は、計測した三次元点群を、多視点ステレオによる奥行値の対象画像に対応する二次元座標に投影し、第１デプスマップを生成し、設定した第２デプスマップの奥行値を用いて、対象画像と異なる視点で撮影された参照画像をサンプリングし、第２デプスマップの奥行値候補から、奥行値候補を用いて対応付けられる参照画像と対象画像との第１類似度、及び、奥行値候補と第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、第２デプスマップの各画素の奥行値を更新し、参照画像のサンプリングと、第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の第２デプスマップの奥行値を最終的な奥行値として推定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影し、前記二次元座標の各画素が前記三次元座標に基づく奥行値を持つ第１デプスマップを生成するデプスマップ生成部と、
前記対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、前記対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングするサンプリング部と、
前記第２デプスマップの画素毎に生成した複数の奥行値候補から、前記奥行値候補を用いて対応付けられる前記参照画像と前記対象画像との第１類似度、及び、前記奥行値候補と前記第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、前記第２デプスマップの各画素の奥行値を更新する奥行値更新部と、
前記サンプリング部による前記参照画像のサンプリングと、前記奥行値更新部による前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の前記第２デプスマップの奥行値を最終的な奥行値として推定する推定部と、
を含む奥行値推定装置。

【請求項2】

前記第１類似度は、前記奥行値候補と、前記対象画像を撮影したカメラの内部パラメータ及び外部パラメータと、前記参照画像を撮影したカメラの内部パラメータ及び外部パラメータとに基づいて対応付けられる前記対象画像の画素と前記参照画像の画素との類似度であり、
前記第２類似度は、前記奥行値候補に対応する前記第１デプスマップにおける対応する画素及び周辺画素の奥行値において、前記奥行値候補に最も近い奥行値と前記奥行値候補との類似度である
請求項１に記載の奥行値推定装置。

【請求項3】

前記最終的に推定された奥行値を前記第２デプスマップの奥行値の初期値として、前記サンプリング部による前記参照画像のサンプリングと、前記奥行値更新部による前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返して得られる前記第２デプスマップの各画素の奥行値の分散が大きいほど低くなる信頼度を、前記第２デプスマップの画素毎に算出する算出部を含む請求項１又は請求項２に記載の奥行値推定装置。

【請求項4】

最終的な奥行値が推定された前記第２デプスマップにおいて、前記算出部で算出された信頼度が所定値以上となる画素の二次元座標及び奥行値と、前記対象画像を撮影したカメラの外部パラメータ及び内部パラメータとに基づいて、前記第２デプスマップを前記光測距の座標系に投影した三次元点群を生成する点群生成部を含む請求項３に記載の奥行値推定装置。

【請求項5】

前記点群生成部で生成された三次元点群と、前記光測距により計測した三次元点群とを比較して得られた補正値に基づいて、前記対象画像を撮影したカメラの外部パラメータを更新するパラメータ更新部を含む請求項４に記載の奥行値推定装置。

【請求項6】

前記点群生成部は、前記パラメータ更新部で更新された前記カメラの外部パラメータを用いて、前記三次元点群を再生成する請求項５に記載の奥行値推定装置。

【請求項7】

物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影し、前記二次元座標の各画素が前記三次元座標に基づく奥行値を持つ第１デプスマップを生成し、
前記対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、前記対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングし、
前記第２デプスマップの画素毎に生成した複数の奥行値候補から、前記奥行値候補を用いて対応付けられる前記参照画像と前記対象画像との第１類似度、及び、前記奥行値候補と前記第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、前記第２デプスマップの各画素の奥行値を更新し、
前記参照画像のサンプリングと、前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の前記第２デプスマップの奥行値を最終的な奥行値として推定する
処理をコンピュータが実行する奥行値推定方法。

【請求項8】

コンピュータを、請求項１又は請求項２に記載の奥行値推定装置の各部として機能させるための奥行値推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、奥行値推定装置、奥行値推定方法、及び奥行値推定プログラムに関する。

【背景技術】

【0002】

光測距の一例であるＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）は、レーザ光をパルス波として周囲に照射し、反射光が返ってくるまでの時間から周囲にある物体までの距離を計測し、三次元点群を得る。ＬｉＤＡＲは、レーザ光を回転させながら、又は回路によってレーザ光の照射方向を制御しながら周囲にわたる計測を行う。そのため、ＬｉＤＡＲは、照射したパルス波の数しか三次元点を得ることができず、一般的に得られる三次元点群の密度が疎である場合が多い。

【0003】

それに対して、複数の画像を用いて三次元点群を生成する多視点ステレオの手法も存在する（非特許文献１及び２）。多視点ステレオの手法は、複数の画像と、画像それぞれについてのカメラパラメータ（内部パラメータ及び外部パラメータ）とを入力とし、それぞれの画像について奥行を推定する。多視点ステレオの手法は、推定した奥行値をカメラパラメータによって逆投影することで、画像それぞれについて三次元点群を得る。多視点ステレオの手法の一例である非特許文献１及び２に記載の技術は、対象画像の画素それぞれについて、奥行値の推定に用いる参照画像の選択を最適化する。すなわち、非特許文献１及び２の技術は、画素毎に異なる参照画像を用いて奥行値の推定を行う。

【0004】

カメラは、レンズに入射する可視光を記録する機器であるため、ＬｉＤＡＲのように照射点についてしかデータが得られないということがない。したがって、多視点ステレオによって高密度な三次元点群を得ることができる。しかし、多視点ステレオは、三次元点群の生成に必要な奥行値が対象画像と参照画像とのマッチングに依存し、画像が明瞭でない場合等に奥行値を正しく推定することが困難な場合がある。画像が明瞭でない場合等とは、例えば、テクスチャが鮮明でない領域、繰り返し同じパターンが出現する領域、入射光が強い又は弱いことによる白とび（サチュレーション）及び黒とびの領域等が存在する場合である。

【0005】

そこで、上記のＬｉＤＡＲ及び多視点ステレオの問題点の解決のために、ＬｉＤＡＲによる手法と画像を用いた手法とを統合する手法が提案されている（非特許文献３及び４）。非特許文献３及び４に記載の技術は、画像による奥行値推定が失敗するような領域でも、正しい三次元位置を得つつ、高密度な三次元点群を生成する。具体的には、非特許文献３及び４に記載の技術は、ＬｉＤＡＲで計測した点群と多視点ステレオの結果得た点群とを重ね合わせる。

【0006】

また、Ｅａｒｌｙ Ｆｕｓｉｏｎの統合により、画像からの奥行値推定にＬｉＤＡＲの計測情報を利用する手法が提案されている（非特許文献５）。非特許文献５に記載の技術は、画像のみにより奥行値を推定する場合よりも奥行値の推定精度が向上すると共に、ＬｉＤＡＲとカメラとの外部キャリブレーションに誤差がある場合でも頑健に奥行値を推定することができる。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】E. Zheng, E. Dunn, V. Jojic, and J. M. Frahm, “Patchmatch based joint view selection and depthmap estimation”, IEEE Conference on Computer Vision and Pattern Recognition, 2014

【非特許文献2】J. L. Schonberger, E. Zheng, J. M. Frahm, and M. Pollefeys, “Pixelwise view selection for unstructured multi-view stereo”, European Conference on Computer Vision, 2016

【非特許文献3】Z. Li, P. C. Gogia, and M. Kaess, “Dense surface reconstruction from monocular vision and LiDAR”, IEEE International Conference on Robotics and Automation (ICRA), 2019

【非特許文献4】V. Amblard, T. P. Osedach, A. Croux, A. Speck, and J. J. Leonard, “Lidar-Monocular Surface Reconstruction Using Line Segments”, IEEE International Conference on Robotics and Automation (ICRA), 2021

【非特許文献5】Y. Yao, R. Ishikawa, S. Ando, K. Kurata, N. Ito, J. Shimamura, and T. Oishi, “Non-Learning Stereo-Aided Depth Completion Under Mis-Projection via Selective Stereo Matching”, IEEE Access, 2021

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、非特許文献３に記載の技術は、入力されたカメラ外部パラメータ（ＬｉＤＡＲ－カメラ間、カメラ－カメラ間の回転及び並進）をそのまま用いるため、カメラ外部パラメータに誤りがある場合に三次元点群の生成が不正確になるという課題がある。一般的に、ＬｉＤＡＲとカメラとの外部キャリブレーションは、対応点を見つけることが困難であることから、カメラ外部パラメータが誤差を含み易い。

【0009】

また、非特許文献４に記載の技術は、画像から線分を検出し、検出した線分と入力された三次元点群のエッジとの重なりを大きくするように外部パラメータを更新する。しかし、非特許文献４に記載の技術では、画像から線分を検出できない場合には、カメラ外部パラメータを更新できないという課題がある。

【0010】

さらに、非特許文献３及び４に記載の技術は共に、多視点ステレオによって生成した三次元点群をＬｉＤＡＲ点群と重ね合わせるＬａｔｅ Ｆｕｓｉｏｎの統合を行っている。このため、非特許文献３及び４に記載の技術では、ＬｉＤＡＲの計測情報を多視点ステレオの奥行値の推定の中で活用できていないという課題がある。

【0011】

また、非特許文献５に記載の技術は、Ｅａｒｌｙ Ｆｕｓｉｏｎの統合を行っている。しかし、非特許文献５に記載の技術では、多視点ステレオで用いる画像は２枚のみであり、２枚の画像の撮影領域の重なりが大きくなければならない点、及びＬｉＤＡＲの計測情報が欠損している領域について奥行値の推定が不正確になる点が課題である。

【0012】

本開示は、上記の点に鑑みてなされたものであり、多視点ステレオにおける奥行値の推定の精度を向上することを目的とする。

【課題を解決するための手段】

【0013】

本開示の第１態様は、奥行値推定装置であって、物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影し、前記二次元座標の各画素が前記三次元座標に基づく奥行値を持つ第１デプスマップを生成するデプスマップ生成部と、前記対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、前記対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングするサンプリング部と、前記第２デプスマップの画素毎に生成した複数の奥行値候補から、前記奥行値候補を用いて対応付けられる前記参照画像と前記対象画像との第１類似度、及び、前記奥行値候補と前記第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、前記第２デプスマップの各画素の奥行値を更新する奥行値更新部と、前記サンプリング部による前記参照画像のサンプリングと、前記奥行値更新部による前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の前記第２デプスマップの奥行値を最終的な奥行値として推定する推定部と、を含む。

【0014】

本開示の第２態様は、奥行値推定方法であって、物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影し、前記二次元座標の各画素が前記三次元座標に基づく奥行値を持つ第１デプスマップを生成し、前記対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、前記対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングし、前記第２デプスマップの画素毎に生成した複数の奥行値候補から、前記奥行値候補を用いて対応付けられる前記参照画像と前記対象画像との第１類似度、及び、前記奥行値候補と前記第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、前記第２デプスマップの各画素の奥行値を更新し、前記参照画像のサンプリングと、前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の前記第２デプスマップの奥行値を最終的な奥行値として推定する方法である。

【0015】

本開示の第３態様は、奥行値推定プログラムであって、コンピュータを、上記の奥行値推定装置の各部として機能させるためのプログラムである。

【発明の効果】

【0016】

開示の技術によれば、多視点ステレオにおける奥行値の推定の精度を向上できる。

【図面の簡単な説明】

【0017】

【図1】奥行値推定装置のハードウェア構成を示すブロック図である。

【図2】奥行値推定装置の機能ブロック図である。

【図3】参照画像のサンプリングを説明するための図である。

【図4】奥行値候補の選択の一例を説明するための図である。

【図5A】奥行値推定処理の一例を示すフローチャートである。

【図5B】奥行値推定処理の一例を示すフローチャートである。

【図5C】奥行値推定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0019】

まず、本実施形態に係る奥行値推定装置の構成について説明する。

【0020】

図１は、本実施形態に係る奥行値推定装置１０のハードウェア構成を示すブロック図である。図１に示すように、奥行値推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信Ｉ／Ｆ（インタフェース）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0021】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、後述する奥行値推定処理を実行するための奥行値推定プログラムが格納されている。

【0022】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0023】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能させてもよい。

【0024】

通信Ｉ／Ｆ１７は、携帯端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、４Ｇ、５Ｇ、又はＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

【0025】

次に、本実施形態に係る奥行値推定装置１０の機能構成について説明する。

【0026】

図２は、奥行値推定装置１０の機能構成の例を示すブロック図である。図２に示すように、奥行値推定装置１０には、各種データベース（ＤＢ：ｄａｔａｂａｓｅ）に記憶された入力データが入力される。各種ＤＢは、例えば外部の記憶装置に記憶されている。入力データには、対象画像Ｉ、参照画像Ｉ_ｉ、カメラパラメータ、及びＬｉＤＡＲ点群ＣＬが含まれる。

【0027】

対象画像Ｉは、カメラで物体を撮影した画像であり、多視点ステレオによる奥行値の推定対象となる画像である。参照画像Ｉ_ｉは、対象画像Ｉとは異なる視点でカメラにより物体を撮影した画像であり、対象画像Ｉの奥行値の推定のために参照される画像である。対象画像Ｉは１枚であり、参照画像Ｉ_ｉ（ｉ＝１，２，・・・，Ｎ）は１枚又は複数枚である。Ｎは参照画像Ｉ_ｉの総数である。なお、対象画像Ｉは特別な画像ではなく、視点がそれぞれ異なる多数の画像のうち１枚が対象画像Ｉとなり、それ以外が参照画像Ｉ_ｉとなる。また、全ての画像を順に対象画像Ｉとすることで、全てのカメラ視点について奥行値を推定することも可能である。対象画像Ｉは、対象画像ＩＤＢ２２Ａに記憶され、参照画像Ｉ_ｉは、参照画像Ｉ_ｉＤＢ２４ｉＡに記憶されている。図２では、参照画像Ｉ_ｉＤＢ２４ｉＡとして、ｉ＝１及びＮの場合である参照画像Ｉ_１ＤＢ２４１Ａ及び参照画像Ｉ_ＮＤＢ２４ＮＡを図示し、他の参照画像Ｉ_ｉＤＢ２４ｉＡ（ｉ＝２～Ｎ－１）の図示は省略している。

【0028】

カメラパラメータは、カメラ外部パラメータＲと、カメラ外部パラメータＴと、カメラ内部パラメータＫとを含む。カメラ外部パラメータＲは、カメラで物体を撮影した際にカメラが向いている方向を示す回転行列である。本実施形態では、カメラ外部パラメータＲは、ＬｉＤＡＲ点群（詳細は後述）の座標系に対する回転を示しているものとする。カメラ外部パラメータＴは、カメラで物体を撮影した際にカメラが位置していた場所を示す三次元の並進ベクトルである。本実施形態では、カメラ外部パラメータＴは、ＬｉＤＡＲ点群の座標系原点に対する位置を示しているものとする。カメラ内部パラメータＫは、カメラで物体を撮影したカメラそれぞれの、三次元点座標を画像座標に変換するための３×３の行列で表されるパラメータである。カメラパラメータＲ、Ｔ、及びＫは、対象画像Ｉを撮影したカメラについてのカメラパラメータである。また、添え字ｉ付きのカメラパラメータＲ_ｉ、Ｔ_ｉ、及びＫ_ｉは、参照画像Ｉ_ｉを撮影したカメラそれぞれについてのカメラパラメータである。カメラパラメータＲ、Ｔ、及びＫは、カメラパラメータＤＢ２２Ｂに記憶され、カメラパラメータＲ_ｉ、Ｔ_ｉ、及びＫ_ｉは、カメラパラメータｉＤＢ２４ｉＢに記憶されている。図２では、カメラパラメータｉＤＢ２４ｉＢとして、ｉ＝１及びＮの場合であるカメラパラメータ１ＤＢ２４１Ｂ及びカメラパラメータＮＤＢ２４ＮＢを図示し、他のカメラパラメータｉＤＢ２４ｉＢ（ｉ＝２～Ｎ－１）の図示は省略している。

【0029】

ＬｉＤＡＲ点群ＣＬは、物体上の各点の三次元座標をＬｉＤＡＲにより計測して得られた三次元点の集合である。なお、ＬｉＤＡＲによる計測は、光測距による計測の一例である。各三次元点の三次元座標を（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）（ｊ＝１，２，・・・，Ｍ）と表記する。Ｍは、ＬｉＤＡＲ点群ＣＬに含まれる三次元点の総数である。ＬｉＤＡＲ点群ＣＬは、ＬｉＤＡＲ点群ＤＢ２８に記憶されている。

【0030】

図２に示すように、奥行値推定装置１０は、機能構成として、デプスマップ生成部３２、サンプリング部３６、奥行値更新部３８、推定部４２、算出部４４、点群生成部４８、及びパラメータ更新部５２を有する。また、奥行値推定装置１０の所定の記憶領域には、第１デプスマップＤＢ３４、第２デプスマップＤＢ４０、奥行値信頼度ＤＢ４６、ＭＶＳ（Ｍｕｌｔｉ Ｖｉｅｗ Ｓｔｅｒｅｏ）点群ＤＢ５０、及びカメラ外部パラメータＤＢ５４が記憶される。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された奥行値推定プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

【0031】

デプスマップ生成部３２は、ＬｉＤＡＲ点群ＣＬを対象画像Ｉに対応する二次元座標に投影し、二次元座標の各画素がＬｉＤＡＲ点群ＣＬの各三次元点の三次元座標に基づく奥行値を持つデプスマップＤＬを生成する。デプスマップＤＬは、開示の技術の「第１デプスマップ」の一例である。具体的には、デプスマップ生成部３２は、ＬｉＤＡＲ点群ＣＬをＬｉＤＡＲ点群ＤＢ２８から取得する。デプスマップ生成部３２は、取得したＬｉＤＡＲ点群ＣＬに含まれる各三次元点の三次元座標（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を、下記（１）式及び（２）式を用いて、画像平面の二次元座標（ｘ_ｊ，ｙ_ｊ）（ｊ＝１，・・・，Ｍ）に変換する。

【0032】

【数1】

【0033】

すなわち、デプスマップ生成部３２は、（１）式及び（２）式により、カメラパラメータＲ、Ｔ、及びＫを用いて、ＬｉＤＡＲ点群ＣＬを画像の二次元平面に投影する。なお、二次元座標への変換の際に、座標（ｘ_ｊ，ｙ_ｊ）が対象画像Ｉの範囲外の座標である場合、又は（１）式で算出したｚ'_ｊが負の値となる場合には、当該点を変換後の（ｘ_ｊ，ｙ_ｊ）から除外する。

【0034】

デプスマップ生成部３２は、変換後の二次元座標（ｘ_ｊ，ｙ_ｊ）を元にデプスマップＤＬを生成する。具体的には、デプスマップ生成部３２は、対象画像Ｉと同サイズの空の配列であって、全ての画素の画素値（奥行値に相当）が０で初期化された配列を用意し、（ｘ_ｊ，ｙ_ｊ）の位置の要素にｚ'_ｊの値を代入する。デプスマップ生成部３２は、複数の三次元点が同じ二次元座標（ｘ_ｊ，ｙ_ｊ）に変換された場合は、複数の（ｘ_ｊ，ｙ_ｊ）に対応するｚ'_ｊのうち、最も小さいｚ'_ｊを代入する。デプスマップ生成部３２は、Ｍ個の全ての三次元点について当該配列の要素へ奥行値（ここではｚ'_ｊ）を代入することで、デプスマップＤＬを生成する。

【0035】

デプスマップ生成部３２は、生成したデプスマップＤＬを、第１デプスマップＤＢ３４に格納する。

【0036】

サンプリング部３６は、対象画像Ｉの各画素に対応する二次元座標の各画素に推定対象の奥行値を設定したデプスマップＤＳの奥行値を用いて、参照画像Ｉ_ｉから奥行値の推定に用いるｎ枚の参照画像Ｉ_ｉをサンプリングする。ｎは、予め設定したサンプリング数（ｎ≦Ｎ）である。サンプリング部３６は、対象画像Ｉの画素の座標位置（ｘ，ｙ）毎にＮ枚の参照画像Ｉ_ｉの中からｎ枚の参照画像Ｉ_ｉをサンプリングする。

【0037】

具体的には、サンプリング部３６は、サンプリング部３６の処理開始時に、対象画像Ｉと同サイズの空の配列であって、全ての画素の画素値（奥行値に相当）が初期化された配列をデプスマップＤＳとして生成し、第２デプスマップＤＢ４０に格納する。デプスマップＤＳの奥行値の初期値は、例えば、デプスマップＤＬの奥行値と同様の値を用いてもよいし、乱数等で初期化した値としてもよい。サンプリング部３６は、サンプリング時点でのデプスマップＤＳにおいて、対象画像Ｉの画素（ｘ，ｙ）に格納されている奥行値ｄに基づいて、下記（３）式及び（４）式により、対象画像Ｉの画素（ｘ，ｙ）に対応する参照画像Ｉ_ｉの画素（ｘ_ｉ，ｙ_ｉ）を特定する。

【0038】

【数2】

【0039】

サンプリング部３６は、画素（ｘ，ｙ）及びその周辺画素を含む対象画像Ｉの画素群と、画素（ｘ_ｉ，ｙ_ｉ）及びその周辺画素を含む参照画像Ｉ_ｉの画素群との類似度を評価する。サンプリング部３６は、類似度の高い参照画像Ｉ_ｉほど選択されるようにサンプリングをする。すなわち、サンプリング部３６は、類似度の高い順に参照画像Ｉ_ｉからｎ枚の参照画像Ｉ_ｉをサンプリングする。なお、類似度の評価には、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を用いてもよい。また、ＮＣＣ、ステレオマッチングコスト、センサス変換画像のハミング距離、及び画像勾配のマッチングコスト等の重みづけ和による指標を定義してもよい。また、非特許文献１に記載の技術と同様に、隣り合う画素では同じ参照画像がサンプリングされ易くなるようにしてもよい。

【0040】

図３に、サンプリング部３６による参照画像のサンプリングの一例を概略的に示す。図３の例では、サンプリング数ｎ＝３とし、対象画像Ｉの画素毎に参照画像Ｉ_ｉをサンプリングする例を示している。また、図３において、四角で囲ったＡ及びＢは各々１つの画素を示しており、Ａの画素については、参照画像Ｉ_１、Ｉ_２、及びＩ_５がサンプリングされ、Ｂの画素については、参照画像Ｉ_２、Ｉ_３、及びＩ_４がサンプリングされた例を示している。このように、対象画像Ｉの画素と参照画像Ｉ_ｉの画素との類似度に基づいてサンプリングを行うことにより、各画素に応じた参照画像Ｉ_ｉがサンプリングされる。

【0041】

奥行値更新部３８は、デプスマップＤＳの画素毎に生成した複数の奥行値候補から、コストＬに応じて選択した奥行値候補でデプスマップＤＳの奥行値を更新する。具体的には、奥行値更新部３８は、対象画像Ｉの画素毎に奥行値候補ｄ_ｋ（ｋ＝１，・・・，Ｋ）をＫ個生成する。奥行値候補ｄ_ｋは、例えば、画素（ｘ，ｙ）の位置におけるデプスマップＤＳの奥行値ｄ、画素（ｘ，ｙ）に隣接する位置におけるデプスマップＤＳの奥行値ｄ、隣接する位置の奥行値に微小な変動を付したもの、ランダムに生成されたもの等としてよい。

【0042】

奥行値更新部３８は、各奥行値候補ｄ_ｋについてコストＬを算出し、Ｋ個の奥行値候補ｄ_ｋからコストＬが最小となる奥行値候補ｄ_ｋを奥行値ｄとして選択する。コストＬは、奥行値候補ｄ_ｋを用いて対応付けられる対象画像Ｉと参照画像Ｉ_ｉとの類似度を表すコストＬ_ｓと、奥行値候補ｄ_ｋとデプスマップＤＬにおける対応する画素の奥行値との類似度を表すコストＬ_ｄとに基づくコストである。コストＬ_ｓは、開示の技術の「第１類似度」の一例であり、コストＬ_ｄは、開示の技術の「第２類似度」の一例である。

【0043】

具体的には、奥行値更新部３８は、Ｋ個の奥行値候補ｄ_ｋのそれぞれに基づいて、（３）式及び（４）式により、対象画像Ｉの画素（ｘ，ｙ）に対応する参照画像Ｉ_ｉの画素（ｘ_ｉ，ｙ_ｉ）を特定する。ここでの参照画像Ｉ_ｉは、Ｎ枚の中からサンプリングされたｎ枚の参照画像Ｉ_ｉ（ｉは１～Ｎから選択されたｎ個の数字）である。なお、（３）式内の「ｄ」は、「ｄ_ｋ」と読み替える。そして、奥行値更新部３８は、画素（ｘ，ｙ）及びその周辺画素を含む対象画像Ｉの画素群と、画素（ｘ_ｉ，ｙ_ｉ）及びその周辺画素を含む参照画像Ｉ_ｉの画素群との類似度を評価する。これにより、奥行値をｄ_ｋとした場合における対象画像Ｉと参照画像Ｉ_ｉとの類似度が評価される。なお、類似度の評価には、サンプリング部３６と同様に、ＮＣＣを用いてもよいし、他の指標を定義してもよい。そして、奥行値更新部３８は、評価した類似度が高いほど小さい値をとるコストＬ_ｓ（ｄ_ｋ）を導出する。

【0044】

また、奥行値更新部３８は、デプスマップＤＳの画素（ｘ，ｙ）の位置における奥行値候補ｄ_ｋと、デプスマップＤＬの画素（ｘ，ｙ）の位置及びその近傍における奥行値ｄ_Ｌのうち、ｄ_ｋと最も近似するｄ_Ｌとの差分をＬ_ｄ（ｄ_ｋ）として導出する。すなわち、デプスマップＤＬの画素（ｘ，ｙ）の近傍における奥行値の集合をＤ_{ｎｅｉｇｈｂｏｒ}と表記すると、Ｌ_ｄ（ｄ_ｋ）は下記（５）式のように表される。

【0045】

【数3】

【0046】

近傍のとり方は、例えば、画素（ｘ，ｙ）を中心として、予め定めた半径の円の中に含まれるか否かに基づいて定義してよい。なお、Ｌ_ｄ（ｄ_ｋ）が予め定められた最大値（Ｌ_ｕ）よりも大きい場合は、Ｌ_ｄ（ｄ_ｋ）の値を打ち切る。このように、画素（ｘ，ｙ）の位置の奥行値だけでなく、近傍のデプスマップＤＬの奥行値を考慮することで、カメラ外部パラメータに誤差があり、ＬｉＤＡＲの投影点が画像とずれている場合においても、その影響を軽減して奥行値の選択を行うことができる。

【0047】

奥行値更新部３８は、導出したＬ_ｓ（ｄ_ｋ）とＬ_ｄ（ｄ_ｋ）との重みづけ和からなるコストＬを算出し、コストＬを最小化する奥行値候補ｄ_ｋを、奥行値ｄとして選択する。奥行値ｄの選択を式で表すと（６）式のようになる。なお、（６）式中のｗ_ｄはＬ_ｄの重みである。なお、コストＬは、Ｌ_ｓ（ｄ_ｋ）とＬ_ｄ（ｄ_ｋ）との重みづけ和に限定されず、Ｌ_ｓ（ｄ_ｋ）とＬ_ｄ（ｄ_ｋ）との積等、他の方法でＬ_ｓ（ｄ_ｋ）とＬ_ｄ（ｄ_ｋ）とを統合したコストであってもよい。

【0048】

【数4】

【0049】

奥行値更新部３８は、画素（ｘ，ｙ）について選択した奥行値ｄで、第２デプスマップＤＢ４０に格納されているデプスマップＤＳの画素（ｘ，ｙ）の奥行値を更新する。

【0050】

図４は、対象画像ＩとデプスマップＤＬの一部の奥行値ｄ_Ｌとを概略的に示した図である。四角で囲んだＡ及びＢは、対象画像Ｉの画素Ａ及び画素Ｂに対応するデプスマップＤＬの位置を示し、点線円はその近傍を示している。図４では、一例として、画素Ａにおける真の奥行値に近い奥行値ｄ_Ｌを斜線の丸で、真の奥行値から外れている奥行値ｄ_Ｌを網点の丸で表している。また、画素Ｂにおける真の奥行値に近い奥行値ｄ_Ｌを横線の丸で、真の奥行値から外れている奥行値ｄ_Ｌを斜め格子の丸で表している。

【0051】

図４の例では、仮に、画素Ａの位置に最も近い奥行値５８を採用してコストＬを算出した場合、奥行値５８、すなわち真の奥行値とは外れた奥行値に近い奥行値候補ｄ_ｋのコストＬが小さくなる。一方、本実施形態では、奥行値候補ｄ_ｋに基づいて対応付けた対象画像Ｉと参照画像Ｉ_ｉとの類似度を示すコストＬ_ｓ、及び画素Ａの近傍の奥行値ｄ_Ｌと奥行値候補ｄ_ｋとの類似度を示すコストＬ_ｄに基づいてコストＬを算出する。そのため、図４の例のように、画素Ａの近傍に真の奥行値に近い奥行値５６が含まれる場合、その奥行値５６に近い奥行値候補ｄ_ｋについてのＬ_ｓ及びＬ_ｄが共に小さくなるため、真の奥行値に近い奥行値候補ｄ_ｋのコストＬが小さくなる。すなわち、真の奥行値に近い奥行値候補ｄ_ｋが選択され易くなる。画素Ｂについても同様に、画素Ｂの近傍に真の奥行値に近い奥行値が存在するため、真の奥行値に近い奥行値候補ｄ_ｋが選択され易くなる。

【0052】

推定部４２は、サンプリング部３６の処理と奥行値更新部３８の処理とを交互に所定回数繰り返した際のデプスマップＤＳの奥行値を最終的な奥行値として推定する。なお、所定回数は固定回数に限定されず、コストが所定値以下になるまでの回数、前回算出したコストと今回算出したコストとの差が所定値以下になるまでの回数等、動的に設定される回数としてもよい。具体的には、推定部４２は、奥行値更新部３８により更新されたデプスマップＤＳの奥行値ｄを用いて、サンプリング部３６に参照画像Ｉ_ｉを再度サンプリングさせる。そして推定部４２は、再度サンプリングされた参照画像Ｉ_ｉを用いて、奥行値更新部３８でコストＬを算出してＫ個の奥行値候補から１つを選択し、デプスマップＤＳの奥行値を更新させる。推定部４２は、この一連の処理を交互に所定回数繰り返し、繰り返し終了時のデプスマップＤＳの奥行値ｄを最終的な奥行値として推定する。

【0053】

算出部４４は、デプスマップＤＳの各画素について推定された奥行値の信頼度を算出する。具体的には、算出部４４は、推定部４２で推定された奥行値ｄを第２デプスマップＤＢ４０から取得して、サンプリング部３６で用いるデプスマップＤＳの画素（ｘ，ｙ）毎の奥行値の初期値とする。そして、算出部４４は、サンプリング部３６による参照画像Ｉ_ｉのサンプリングと奥行値更新部３８による奥行値の更新とを交互に所定回数繰り返す。なお、算出部４４の繰り返し回数と、推定部４２の繰り返し回数とは同じ回数でもよいし、異なる回数でもよい。

【0054】

そして、算出部４４は、サンプリング部３６と奥行値更新部３８との繰り返し処理毎に得られる奥行値の分散を、デプスマップＤＳの各画素（ｘ，ｙ）について導出する。算出部４４は、導出した分散に対して、例えばマイナス１を乗じるなどして、分散が小さいほど高い値（大きい値）をとる信頼度を算出する。すなわち、奥行値の分散が小さい場合には、推定した奥行値が収束しており、推定した奥行値の信頼度が高いことを表す。算出部４４は、算出した信頼度を奥行値信頼度ＤＢ４６に格納する。

【0055】

点群生成部４８は、第２デプスマップＤＢ４０に格納されたデプスマップＤＳを、カメラパラメータＲ、Ｔ、及びＫを用いて、ＬｉＤＡＲ点群ＣＬの三次元座標系に逆投影する。具体的には、点群生成部４８は、（７）式により、デプスマップＤＳの二次元座標（ｘ，ｙ）及び奥行値ｄを、三次元座標（Ｘ，Ｙ，Ｚ）に変換して、三次元点群（以下、「ＭＶＳ点群ＣＳ」という）を生成する。

【0056】

【数5】

【0057】

この際に、点群生成部４８は、奥行値信頼度ＤＢ４６から、デプスマップＤＳの各画素の奥行値の信頼度を取得し、信頼度が予め定めた閾値以上の画素を逆投影する。すなわち、信頼度が閾値よりも小さい画素は逆投影されない。点群生成部４８は、生成したＭＶＳ点群ＣＳをＭＶＳ点群ＤＢ５０に格納する。

【0058】

また、点群生成部４８は、後述するパラメータ更新部５２でカメラ外部パラメータＲ及びＴが更新された場合、カメラ外部パラメータＤＢ５４から更新されたカメラ外部パラメータＲ及びＴを取得する。そして、点群生成部４８は、取得したカメラ外部パラメータＲ及びＴを用いてＭＶＳ点群ＣＳを再生成する。点群生成部４８は、再生成したＭＶＳ点群ＣＳをＭＶＳ点群ＤＢ５０に格納する。

【0059】

パラメータ更新部５２は、ＭＶＳ点群ＣＳをＭＶＳ点群ＤＢ５０から取得し、ＬｉＤＡＲ点群ＣＬをＬｉＤＡＲ点群ＤＢ２８から取得する。パラメータ更新部５２は、ＭＶＳ点群ＣＳとＬｉＤＡＲ点群ＣＬとを比較して補正値を算出する。そして、パラメータ更新部５２は、その補正値に基づいて対象画像Ｉのカメラ外部パラメータＲ及びカメラ外部パラメータＴを更新する。具体的には、パラメータ更新部５２は、ＭＶＳ点群ＣＳとＬｉＤＡＲ点群ＣＬとの差分に基づいて、カメラ外部パラメータＲである回転行列の補正値ΔＲ、及びカメラ外部パラメータＴである並進ベクトルの補正値ΔＴを算出する。そして、パラメータ更新部５２は、Ｒ’＝ＲΔＲ、Ｔ’＝ＲΔＴ＋Ｔにより、補正後のカメラ外部パラメータＲ’、及びＴ’を得る。パラメータ更新部５２で更新されたカメラ外部パラメータは、カメラ外部パラメータＤＢ５４に格納される。

【0060】

次に、本実施形態に係る奥行値推定装置１０の作用について説明する。

【0061】

図５Ａ、図５Ｂ、及び図５Ｃは、奥行値推定装置１０による奥行値推定処理の流れを示すフローチャートである。奥行値推定装置１０における奥行値推定処理は、ＣＰＵ１１がデプスマップ生成部３２、サンプリング部３６、奥行値更新部３８、推定部４２、算出部４４、点群生成部４８、及びパラメータ更新部５２として機能することにより実行される。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から奥行値推定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、奥行値推定処理が行なわれる。なお、奥行値推定処理は、開示の技術の奥行値推定方法の一例である。

【0062】

図５、図５Ｂ、及び図５Ｃを参照して、奥行値推定処理について説明する。

【0063】

まず、ステップＳ１０１で、ＣＰＵ１１は、奥行値推定装置１０の機能を実行するために必要となる入力データを、例えば各データベース（図２を参照）から取得する。次に、ステップＳ１０５で、ＣＰＵ１１は、デプスマップ生成部３２として、ＬｉＤＡＲ点群ＣＬを対象画像Ｉに対応する二次元座標に投影し、ＬｉＤＡＲ点群ＣＬの各三次元点の三次元座標に基づいてデプスマップＤＬを生成する。

【0064】

次に、ステップＳ１０７で、ＣＰＵ１１は、サンプリング部３６として、デプスマップＤＳの奥行値を、デプスマップＤＬの奥行値と同様の値、乱数等で初期化した値等により初期化する。次に、ステップＳ１０９で、ＣＰＵ１１は、変数ｃｏｕｎｔに１を代入する。変数ｃｏｕｎｔは繰り返し処理の回数が現在何回目かを示す。

【0065】

次に、ステップＳ１１１で、ＣＰＵ１１は、推定後フラグがｔｒｕｅか否かを判定する。推定後フラグとは、推定部４２でサンプリング部３６の処理と奥行値更新部３８の処理を繰り返し、最終的な奥行値ｄの推定を終えたか否かを示すフラグである。推定後フラグの値でｔｒｕｅは推定部４２の推定を終えたことを示し、ｆａｌｓｅは推定部４２の推定をまだ終えていないことを示す。ステップＳ１１１で、ＣＰＵ１１が、推定後フラグはｔｒｕｅであると判定した場合（ステップＳ１１１：ＮＯ）、ステップＳ１１５へ移行する。一方、ステップＳ１１１で、ＣＰＵ１１が、推定後フラグはｔｒｕｅではないと判定した場合（ステップＳ１１１：ＹＥＳ）、ステップＳ１１３へ移行する。

【0066】

ステップＳ１１３では、ＣＰＵ１１は、変数ｍａｘＣｏｕｎｔに更新回数を代入する。更新回数は、推定部４２による繰り返し処理を実行する回数である。一方、ステップＳ１１５では、ＣＰＵ１１は、変数ｍａｘＣｏｕｎｔに分散値導出回数を代入する。分散値算出回数は、算出部４４による繰り返し処理を実行する回数である。

【0067】

次に、ステップＳ１１７で、ＣＰＵ１１は、変数ｃｏｕｎｔの値が変数ｍａｘＣｏｕｎｔの値以下か否かを判定する。ステップＳ１１７で、ＣＰＵ１１が、変数ｃｏｕｎｔの値が変数ｍａｘＣｏｕｎｔの値以下ではないと判定した場合（ステップＳ１１７：ＮＯ）、ステップＳ１３１へ移行する。一方、ステップＳ１１７で、ＣＰＵ１１が、変数ｃｏｕｎｔの値が変数ｍａｘＣｏｕｎｔの値以下であると判定した場合（ステップＳ１１７：ＹＥＳ）、ステップＳ１１９へ移行する。

【0068】

ステップＳ１１９で、ＣＰＵ１１は、サンプリング部３６として、サンプリング時のデプスマップＤＳの奥行値を用いて、対象画像Ｉの画素毎に、参照画像Ｉ_ｉからｎ枚の参照画像Ｉ_ｉをサンプリングする。次に、ステップＳ１２１で、ＣＰＵ１１は、奥行値更新部３８として、デプスマップＤＳの画素毎に複数の奥行値候補ｄ_ｋを生成する。次に、ステップＳ１２３で、ＣＰＵ１１は、奥行値更新部３８として、各奥行値候補ｄ_ｋのコストＬを算出する。次に、ステップＳ１２５で、ＣＰＵ１１は、奥行値更新部３８として、複数の奥行値候補ｄ_ｋのうち、コストＬが最小の奥行値候補ｄ_ｋを奥行値ｄとして選択する。次に、ステップＳ１２７で、ＣＰＵ１１は、奥行値更新部３８として、画素（ｘ，ｙ）について選択した奥行値ｄで、第２デプスマップＤＢ４０に格納されているデプスマップＤＳの画素（ｘ，ｙ）の奥行値を更新する。次に、ステップＳ１２９で、ＣＰＵ１１は、変数ｃｏｕｎｔの値をインクリメントし、ステップＳ１１７へ戻る。

【0069】

ステップＳ１３１では、ＣＰＵ１１は、推定後フラグがｔｒｕｅか否かを判定する。ＣＰＵ１１が、推定後フラグがｔｒｕｅではないと判定した場合（ステップＳ１３１：ＮＯ）、ステップＳ１３３へ移行する。一方、ＣＰＵ１１が、推定後フラグがｔｒｕｅであると判定した場合（ステップＳ１３１：ＹＥＳ）、ステップＳ１３７へ移行する。ステップＳ１３３では、ＣＰＵ１１は、推定部４２として、第２デプスマップＤＢ４０に格納されている現時点でのデプスマップＤＳの奥行値ｄを最終的な奥行値として推定する。

【0070】

次に、ステップＳ１３５で、ＣＰＵ１１は、推定後フラグにｔｒｕｅを代入し、ステップＳ１０７へ戻る。この２回目に通るステップＳ１０７では、サンプリング部３６として、デプスマップＤＳの奥行値を初期化する際の初期値を、推定部４２で推定された最終的な奥行値ｄとする。

【0071】

ステップＳ１３７では、ＣＰＵ１１は、算出部４４として、変数ｍａｘＣｏｕｎｔの値の数の奥行値ｄに対して分散を算出し、分散が小さいほど高くなる信頼度を、デプスマップＤＳの画素毎に算出する。次に、ステップＳ１３９で、ＣＰＵ１１は、点群生成部４８として、デプスマップＤＳにおいて、上記ステップＳ１３７で算出された、奥行値の信頼度が閾値以上の画素を採用して、ＭＶＳ点群ＣＳを生成する。

【0072】

次に、ステップＳ１４１で、ＣＰＵ１１は、パラメータ更新部５２として、ＬｉＤＡＲ点群ＣＬとＭＶＳ点群ＣＳとを比較し、カメラ外部パラメータＲ及びＴを更新するための補正値を取得する。次に、ステップＳ１４３で、ＣＰＵ１１は、パラメータ更新部５２として、ステップＳ１４１で得られた補正値に基づいてカメラ外部パラメータ（Ｒ及びＴ）を更新する。次に、ステップＳ１４５で、ＣＰＵ１１は、点群生成部４８として、パラメータ更新部５２で更新されたカメラ外部パラメータを用いて、三次元点群ＣＳの生成を再度行う。そして、奥行値推定処理は終了する。

【0073】

以上説明したように、本実施形態に係る奥行値推定装置は、物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影する。そして、二次元座標の各画素が三次元座標に基づく奥行値を持つ第１デプスマップを生成する。さらに、対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングする。その第２デプスマップの画素毎に生成した複数の奥行値候補から、奥行値候補を用いて対応付けられる参照画像と対象画像との第１類似度を算出する。その第１類似度と、奥行値候補と第１デプスマップにおける対応する画素の奥行値との第２類似度とに基づくコストに応じて選択した奥行値候補により、第２デプスマップの各画素の奥行値を更新する。そして、参照画像のサンプリングと、第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の第２デプスマップの奥行値を最終的な奥行値として推定する。このように、ＬｉＤＡＲにより計測された奥行値をＥａｒｌｙ Ｆｕｓｉｏｎのデータ統合により利用するため、多視点ステレオにおける奥行値の推定の精度を向上させることができる。

【0074】

また、本実施形態に係る奥行値推定装置は、第２類似度として、奥行値候補に対応する第１デプスマップにおける対応する画素及び周辺画素の奥行値において、奥行値候補に最も近い奥行値と奥行値候補との類似度を用いる。これにより、ＬｉＤＡＲとカメラとの外部キャリブレーション誤差に対して頑健に奥行値を推定することができる。

【0075】

また、本実施形態に係る奥行値推定装置は、第１類似度として、奥行値候補と、対象画像及び参照画像についてのカメラパラメータとに基づいて対応付けられる対象画像の画素と参照画像の画素との類似度を用いる。これにより、ＬｉＤＡＲのデータが欠損している領域についても多視点ステレオの情報により奥行値を推定することができる。

【0076】

また、本実施形態に係る奥行値推定装置は、最終的に推定された奥行値を第２デプスマップの奥行値の初期値として、参照画像のサンプリングと、第２デプスマップの奥行値の更新とを交互に所定回数繰り返す。そして、得られた第２デプスマップの各画素の奥行値の分散が大きいほど低くなる信頼度を、第２デプスマップの画素毎に算出する。これにより、推定した奥行値候補の信頼度を把握することができる。

【0077】

また、本実施形態に係る奥行値推定装置は、信頼度が所定値以上となる画素の二次元座標及び奥行値と、対象画像を撮影したカメラの外部パラメータ及び内部パラメータとに基づいて、第２デプスマップを光測距の座標系に投影した三次元点群を生成する。これにより、多視点ステレオに由来する密な三次元点群を生成することができる。

【0078】

また、本実施形態に係る奥行値推定装置は、生成された三次元点群と、計測した三次元点群とを比較して得られた補正値に基づいて、対象画像を撮影したカメラの外部パラメータを更新する。これにより、ＬｉＤＡＲとカメラとの外部キャリブレーションを行うことができる。

【0079】

また、本実施形態に係る奥行値推定装置は、更新されたカメラの外部パラメータを用いて、多視点ステレオに由来する三次元点群を再生成する。これにより、より精度の良い多視点ステレオに由来する三次元点群が得られる。

【0080】

なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した奥行値推定処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、奥行値推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0081】

また、上記実施形態では、奥行値推定処理プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0082】

以上の実施形態に関し、更に以下の付記を開示する。

【0083】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影し、前記二次元座標の各画素が前記三次元座標に基づく奥行値を持つ第１デプスマップを生成し、
前記対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、前記対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングし、
前記第２デプスマップの画素毎に生成した複数の奥行値候補から、前記奥行値候補を用いて対応付けられる前記参照画像と前記対象画像との第１類似度、及び、前記奥行値候補と前記第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、前記第２デプスマップの各画素の奥行値を更新し、
前記参照画像のサンプリングと、前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の前記第２デプスマップの奥行値を最終的な奥行値として推定する
ように構成されている奥行値推定装置。

【0084】

（付記項２）
奥行値推定処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記録媒体であって、
前記奥行値推定処理は、
物体上の各点の三次元座標を光測距により計測した三次元点群を、多視点ステレオによる奥行値推定の対象である対象画像に対応する二次元座標に投影し、前記二次元座標の各画素が前記三次元座標に基づく奥行値を持つ第１デプスマップを生成し、
前記対象画像の各画素に対応する二次元座標の各画素に推定対象の奥行値を設定した第２デプスマップの奥行値を用いて、前記対象画像と異なる視点で撮影された複数の画像から所定数の参照画像をサンプリングし、
前記第２デプスマップの画素毎に生成した複数の奥行値候補から、前記奥行値候補を用いて対応付けられる前記参照画像と前記対象画像との第１類似度、及び、前記奥行値候補と前記第１デプスマップにおける対応する画素の奥行値との第２類似度に基づくコストに応じて選択した奥行値候補で、前記第２デプスマップの各画素の奥行値を更新し、
前記参照画像のサンプリングと、前記第２デプスマップの奥行値の更新とを交互に所定回数繰り返した際の前記第２デプスマップの奥行値を最終的な奥行値として推定する
ことを含む非一時的記録媒体。

【符号の説明】

【0085】

１０ 奥行値推定装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ 表示部
１７ 通信Ｉ／Ｆ
２２Ａ 対象画像ＩＤＢ
２２Ｂ カメラパラメータＤＢ
２４１Ａ 参照画像Ｉ₁ＤＢ
２４１Ｂ カメラパラメータ1ＤＢ
２４ＮＡ 参照画像Ｉ_ＮＤＢ
２４ＮＢ カメラパラメータＮＤＢ
２８ ＬｉＤＡＲ点群ＤＢ
３２ デプスマップ生成部
３４ 第１デプスマップＤＢ
３６ サンプリング部
３８ 奥行値更新部
４０ 第２デプスマップＤＢ
４２ 推定部
４４ 算出部
４６ 奥行値信頼度ＤＢ
４８ 点群生成部
５０ ＭＶＳ点群ＤＢ
５２ パラメータ更新部
５４ カメラ外部パラメータＤＢ
５６ 真の奥行値に近い奥行値
５８ 真の奥行値から外れている奥行値

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】