特許 6359985 デプス推定モデル生成装置及びデプス推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6359985

(24)【登録日】2018年6月29日

(45)【発行日】2018年7月18日

(54)【発明の名称】デプス推定モデル生成装置及びデプス推定装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20180709BHJP

   G06T 7/00 20170101ALI20180709BHJP

【ＦＩ】

   G01C3/06 120Z

   G06T7/00 350B

【請求項の数】7

【全頁数】12

(21)【出願番号】特願2015-25429(P2015-25429)

(22)【出願日】2015年2月12日

(65)【公開番号】特開2016-148588(P2016-148588A)

(43)【公開日】2016年8月18日

【審査請求日】2017年6月12日

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】230113882

【弁護士】

【氏名又は名称】本橋 たえ子

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】鈴木 幸一郎

【審査官】 八木 智規

(56)【参考文献】

【文献】 特開２０１５−５２３７（ＪＰ，Ａ）

【文献】 特開２０１４−２３２４７０（ＪＰ，Ａ）

【文献】 特開２０１２−４３１５６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／２２９０２０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００ − ３／３２

Ｇ０１Ｂ １１／００ −１１／３０

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するＲＧＢ画像取得部と、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するデプス画像生成部と、
前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するデプス推定モデル生成部と、
を備えたデプス推定モデル生成装置。

【請求項2】

前記デプス推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記ＲＧＢ画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差に応じて、前記注目ピクセルにおけるデプス値集合のノード分割を繰り返し行うことで、前記仮想カメラから見たデプス値を回帰する１以上の回帰木からなる推定モデルを生成する、請求項１に記載のデプス推定モデル生成装置。

【請求項3】

前記学習部は、カメラβによって撮像された画像のあるピクセルにおけるＲＧＢ輝度をＩ^β（ｐ_i，γ）として、

【数7】

ω１、ω２：ピクセルのオフセット量
γ１、γ２：ＲＧＢ輝度
β：カメラＩＤ
で表されるｆ（ω，γ，ｐ_i，β）と、分割閾値τとを比較して、ノード分割後の前記注目ピクセルにおけるデプス値の分散が最も小さくなるように、前記注目ピクセルにおけるノード分割を行う請求項２に記載のデプス推定モデル生成装置。

【請求項4】

平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するＲＧＢ画像取得部と、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するデプス画像生成部と、
前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するデプス推定モデル生成部と、
前記デプス推定モデル生成部にて生成された推定モデルを用いてデプス値の推定を行うデプス推定部と
を備えたデプス推定装置。

【請求項5】

前記デプス推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記ＲＧＢ画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差に応じて、当該注目ピクセルにおけるデプス値のノード分割を繰り返し行うことで、前記仮想カメラから見たデプス値を回帰する１以上の回帰木からなる推定モデルを生成し、
前記デプス推定部は、各前記回帰木から得られるデプス値の確率の合計値に基づいて、推定デプス値を算出する請求項４に記載のデプス推定装置。

【請求項6】

平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するステップと、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するステップと、
前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するステップと、
を備えたデプス推定モデル生成方法。

【請求項7】

デプス推定モデルを生成するためのプログラムであって、コンピュータに、
平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するステップと、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するステップと、
前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像したＲＧＢ画像データから被写体のデプスを推定するための、デプス推定モデル生成装置等に関するものである。

【背景技術】

【0002】

従来、被写体のデプス（カメラと被写体表面の距離）に基づいて、被写体の姿勢推定や表面形状の計測を行う技術が知られている。このようなデプスの推定手法は、アクティブセンサを用いる手法と、パッシブセンサを用いる手法とに大別される。

【0003】

アクティブセンサを用いたデプス推定手法の一例として、赤外線照明を用いる手法がある。例えば、非特許文献１に記載の技術は、注目ピクセル周辺の輝度分布とデプスの関係の学習によって、デプス推定モデルを生成する技術である。これは、カメラ付近の赤外線照明を被写体に照射した場合に、被写体からの反射によって得られる輝度データが、概ね、距離に反比例して減衰することに着目した手法である。しかし、この手法では、アクティブな赤外線照明が必要であり、遠くの被写体や、屋外における被写体のデプスの推定を精度よく行うことは困難である。

【0004】

したがって、遠くの被写体や、屋外における被写体の推定を行う場合には、パッシブセンサを用いたデプス推定手法が好適である。かかる手法として、ステレオカメラを用いて左右の視差画像を撮影し、この視差画像を用いてデプスを推定する技術が知られている。例えば、非特許文献２の技術は、適当なサイズのブロックで、エピポーラ線（視差画像上の対応点が存在する直線）上をサーチし、輝度の相関値から左右画像の対応を求め、既知のカメラのベースラインと内部パラメータから幾何的に対応ピクセルの輝度を算出する技術である。また、非特許文献３の技術は、左右視差画像の同一の注目領域内において、デプス復元エラーが小さくなるような相関関数を学習し、デプスの推定を行う技術である。

【先行技術文献】

【非特許文献】

【0005】

なお、本発明に関連する先行技術として、以下の先行技術文献がある。

【非特許文献1】Ｓｅａｎ Ｆａｎｅｌｌｏ他：Lｅａｒｎｉｎｇ ｔｏ ｂｅ ａ Ｄｅｐｔｈ Ｃａｍｅｒａ ｆｏｒ Ｃｌｏｓｅ-Ｒａｎｇｅ Ｈｕｍａｎ Ｃａｐｔｕｒｅ ＡＮＤ Ｉｎｔｅｒａｃｔｉｏｎ, ＡＣＭ Tｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ,Ｖｏｌ. 33, Ｎｏ. 4, Ａｒｔｉｃｌｅ ８６, Ｐｕｂｌｉｃａｔｉｏｎ Ｄａｔｅ: Ｊｕｌｙ ２０１４

【非特許文献2】金田憲明他、ステレオビジョン画像処理技術の実用化研究（新潟県工業技術総合研究所工業技術研究報告書）、２００６年

【非特許文献3】Ｋｉｓｈｏｒｅ Ｋｏｎｄａ, Ｒｏｌａｎｄ Ｍｅｍｉｓｅｖｉｃ：Ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｄｅｐｔｈ ＡＮＤ ｍｏｔｉｏｎ，２０１３

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述の先行技術の場合、アルゴリズムの実現上、パッチ（各注目領域）のサイズをあまり大きくとることができない。他方で、パッチ内にある程度のテクスチャ（輝度差）が現れないと、左右画像の対応点を正しく求めることができない。このため、従来技術では、被写体によっては、精度よくデプス推定を行うことができない場合があった。

【0007】

本発明は、上記の問題に鑑みてなされたものであり、パッシブな構成によって、対象物のテクスチャが少ない場合でも精度よくデプス推定を行うことができる、デプス推定モデル生成装置及びデプス推定装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明のデプス推定モデル生成装置は、平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するＲＧＢ画像取得部と、前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するデプス画像生成部と、前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセル周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するデプス推定モデル生成部とを備えた構成を有している。

【0009】

この構成によれば、ステレオカメラ等、平行等位に設置された複数の撮像デバイスによって撮像された複数の画像組における注目領域内のＲＧＢ輝度分布と、仮想カメラからみたデプス値とに基づいて、デプス推定モデルを生成することができる。この構成においては、正解データとなるデプス値は、仮想カメラからデプス画像を撮像した場合を想定して算出される。したがって、かかる構成によれば、デプスカメラ等のアクティブセンサを用いることなく、パッシブな構成で、デプス推定を行うためのモデルを生成することができる。また、デプス推定対象である被写体のテクスチャ（輝度差）が小さい場合でも、左右の画像組においては、同じ注目領域内のＲＧＢ輝度分布は、カメラから対象物までの距離に応じて変化する。したがって、かかる構成により、被写体のテクスチャが小さい場合にも精度よくデプス推定を行うことができるモデルを生成することができる。

【0010】

本発明のデプス推定モデル生成装置において、前記デプス推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記ＲＧＢ画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差に応じて、前記注目ピクセルにおけるデプス値集合のノード分割を繰り返し行うことで、前記仮想カメラから見たデプス値を回帰する１以上の回帰木からなる推定モデルを生成してよい。

【0011】

上述のように、左右画像の同じ関心領域内の画像の輝度分布は、対象物までの距離に応じて変化する。しかし、輝度分布をデプス変化に対してパラメータ化することは困難である。したがって、この構成のように、ランダムフォレストに基づいて、注目ピクセル周辺におけるＲＧＢ画像間の輝度差に基づいて、デプス値集合のノード分割を繰り返し行うことで、輝度分布からデプス値を推定するためのモデルを簡易に生成することができる。

【0012】

本発明のデプス推定モデル生成装置において、前記学習部は、カメラβによって撮像された画像のあるピクセルにおけるＲＧＢ輝度をＩ^β（ｐ_i，γ）として、

【数1】

ω１、ω２：オフセット量
γ１、γ２：ＲＧＢ輝度
β：カメラＩＤ
で表されるｆ（ω，γ，ｐ_i，β）と、分割閾値τとを比較して、ノード分割後の前記注目ピクセルにおけるデプス値の分散が最も小さくなるように、前記注目ピクセルにおけるノード分割を行ってよい。

【0013】

この構成のように、注目ピクセル周辺におけるＲＧＢ画像間の輝度差と分割閾値τとの比較によって、ノード分割後のデプス値の分散が最も小さくなるように、ノード分割を繰り返し行うことで、輝度分布からデプス値を推定するためのモデルを簡易に生成することができる。

【0014】

本発明のデプス推定装置は、平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するＲＧＢ画像取得部と、前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するデプス画像生成部と、前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するデプス推定モデル生成部と、前記デプス推定モデル生成部にて生成された推定モデルを用いてデプス値の推定を行うデプス推定部とを備えた構成を有している。

【0015】

この構成によれば、ステレオカメラ等、平行等位に設置された複数の撮像デバイスによって撮像された左右の画像組における注目領域内のＲＧＢ輝度分布から、デプスを推定することが可能なモデルを生成することができる。この構成においては、正解データとなるデプス値は、仮想カメラからデプス画像を撮像した場合を想定して算出される。したがって、かかる構成によれば、デプスカメラ等のアクティブセンサを用いることなく、パッシブな構成で、デプス推定を行うためのモデルを生成することができる。また、デプス推定対象である被写体のテクスチャ（輝度差）が小さい場合でも、左右の画像組においては、同じ注目領域内のＲＧＢ輝度分布は、カメラから対象物までの距離に応じて変化する。したがって、かかる構成により、被写体のテクスチャが小さい場合にも精度よくデプス推定を行うことができる。

【0016】

本発明のデプス推定装置において、前記デプス推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記ＲＧＢ画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差に応じて、当該注目ピクセルにおけるデプス値のノード分割を繰り返し行うことで、前記仮想カメラから見たデプス値を回帰する１以上の回帰木からなる推定モデルを生成し、前記デプス推定部は、各前記回帰木から得られるデプス値の確率の合計値に基づいて、推定デプス値を算出してよい。

【0017】

本発明のデプス推定モデル生成方法は、平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するステップと、前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するステップと、前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するステップと、を備える。

【0018】

本発明のプログラムは、デプス推定モデルを生成するためのプログラムであって、コンピュータに、平行等位に設置された複数の撮像デバイスによって撮像されたＲＧＢ画像組を取得するステップと、前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記ＲＧＢ画像組に対応するデプス画像を生成するステップと、前記ＲＧＢ画像取得部にて取得されたＲＧＢ画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するステップと、を実行させる。

【発明の効果】

【0019】

本発明によれば、推定対象となる被写体のテクスチャが小さい場合にも精度よくデプス推定を行うことができるモデルを生成することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態におけるデプス推定装置及びデプス推定モデル生成装置の構成を示すブロック図

【図2】本発明の実施の形態におけるデプス推定モデル生成装置の動作フロー図

【図3】（ａ）〜（ｃ） 教師画像の一例を示す図

【図4】ノード分割を模式的に説明するための図

【図5】本発明の実施の形態におけるデプス推定モデル生成装置によって生成された回帰木の一例を示す図

【図6】本発明の実施の形態におけるデプス推定装置の動作フロー図

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態のデプス推定モデル生成装置及びデプス推定装置について、図面を参照しながら説明する。

【0022】

図１は、本発明の実施の形態のデプス推定装置の構成を示す図である。図１に示すように、本発明の実施の形態のデプス推定装置１は、デプス推定モデル生成装置１０と、デプス推定部１４と、記憶部１５とを備える。デプス推定モデル生成装置１０は、ＲＧＢ画像取得部１１と、デプス画像生成部１２と、デプス推定モデル生成部１３とを備える。記憶部１５は、学習データ記憶部１６と、デプス推定モデル記憶部１７とを備える。

【0023】

ＲＧＢ画像取得部１１は、ステレオカメラにて撮像された左右のＲＧＢ画像を取得し、学習データ記憶部１６に出力する。デプス画像生成部１２は、ＲＧＢ画像取得部１１にて取得された左右１組のＲＧＢ画像に対応する、仮想カメラのデプス画像をコンピュータグラフィックスによって生成し、学習データ記憶部１６に出力する。ここで、仮想カメラとは、ＲＧＢ画像取得部１１にて取得されたＲＧＢ画像を撮像したステレオカメラの左右のカメラの中央に、仮想的に設置されたカメラを意味する。すなわち、デプス画像生成部１２にて生成されるデプス画像は、ステレオカメラの左右カメラ及び仮想的な中央カメラによって、同時に撮影を行った場合において、当該仮想的中央カメラから取得されるデプス画像に対応する。

【0024】

デプス推定モデル生成部１３は、学習データ記憶部１６に記憶される、ＲＧＢ画像及びデプス画像生成部１２にて生成されたデプス画像を用いて、デプス推定モデルを生成する。被写体をステレオカメラによって、距離を様々に変えて撮像した場合、カメラからの距離（デプス）と左右カメラ画像の輝度変化との間には、確率的な関数関係が存在すると考えられる。本実施の形態においては、デプスと左右画像とのこのような関係性に着目し、左右画像データからデプス値へ変換する確率的関係の逆関数を、デプス推定モデルとして学習によって取得する。

【0025】

より具体的には、デプス推定モデル生成部１３は、左右のＲＧＢ画像における、同一の注目ピクセル周辺の左右画像の輝度分布と、当該注目ピクセルにおける仮想カメラから見たデプス値との関係を学習することで、あるピクセル周辺における左右画像の輝度値に基づいて、仮想カメラから見たデプスの推定を行うことができる推定モデルを生成する。すなわち、デプス推定モデル生成部１３にて生成されるモデルは、次式によって表現することができる。

【数2】

ここで、Ｉ^Lは左画像データ、Ｉ^Rは右画像データ、ｐ_iは、注目ピクセルである。後述のように、本実施の形態において、デプス推定モデルは、ランダムフォレストに基づいて生成される、仮想カメラから見たデプス値を回帰する複数の回帰木として生成される。

【0026】

デプス推定部１４は、デプス推定対象画像として、ステレオカメラから取得した左右のＲＧＢ画像について、デプス推定モデル生成部１３にて生成された推定モデルを用いて、仮想カメラから見たデプス値の推定を行う。上述のように、デプス推定モデルは、複数の回帰木であるから、推定対象画像中の１つのピクセルについて推定モデルへの当てはめを行うと、デプス値の複数の確率値が得られる。本実施の形態においては、デプス推定部１４は、これらの複数の確率値の合計値を算出した上で、その値をデプス方向及び空間方向に平滑化フィルタ処理を行い、デプス出力値とする。

【0027】

なお、図１に示すデプス推定装置１及びデプス推定モデル生成装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等を備えたコンピュータにより実現される。ＣＰＵがＲＯＭに記憶されたプログラムを読み出して実行することにより、デプス推定モデル生成部１３等の機能が実現される。このようなデプス推定装置１等を実現するためのプログラムも本発明の範囲に含まれる。

【0028】

図２は、本実施の形態におけるデプス推定モデル生成装置１０の動作フロー図である。デプス推定モデル生成装置１０は、まず、ＲＧＢ画像を取得し、学習データ記憶部１６に記憶する（ステップＳ１）。ステップＳ１にて取得されるＲＧＢ画像は、ステレオカメラによって、視線の方向及び／または距離を様々に変えて撮像された左右のペア画像である。続いて、デプス推定モデル生成装置１０は、ステップＳ１にて取得したＲＧＢ画像の各左右画像のペアについて、仮想カメラのデプス画像を生成し、各画像ペアに対応付けて、学習データ記憶部１６に記憶する（ステップＳ２）。図３（ａ）、（ｂ）は、ステップＳ１にて取得されたＲＧＢ画像の一例、図３（ｃ）は、ステップＳ２にて生成されたデプス画像の一例を示す図である。これらのＲＧＢ画像のペア及びそれに対応するデプス画像が、１組の教師データとなる。

【0029】

図２に戻り、デプス推定モデル生成装置１０は、各教師データの組について、注目領域（ＲＯＩ）のサンプリングを行う（ステップＳ３）。以下では、サンプリングされた注目領域の中心のピクセルを「注目ピクセル」と呼ぶ。デプス推定モデル生成装置１０は、注目ピクセルについて、左画像はω₁、右画像はω₂だけオフセットし（ステップＳ４）、オフセット後の左右画像のＲＧＢ輝度の差に基づいて、デプス値の集合のノード分割を行う（ステップＳ５）。具体的には、各ノードにおいて、次式で表されるオフセット後の左右画像のＲＧＢ輝度の差ｆ（ω、γ、ｐ_i）

【数3】

について、分割閾値をτとし、分割後のデプス値の分散Ｅ（ｊ）

【数4】

が最小となるように、上式のパラメータを決定して、ノード分割を行う。本実施の形態では、ｉ）ＲＧＢの組み合わせ（γ₁及びγ₂として、どのＲＧＢ輝度値を、単独でまたはいくつ組み合わせて用いるか）、ｉｉ）オフセット量ω₁、ω₂、ｉｉｉ）分割閾値τが、学習により決定するパラメータとなる。なお、ｉ）ＲＧＢの組み合わせについては、例えば、右画像はＲ輝度値のみ、左画像はＧとＢ輝度値のみ、等、左画像と右画像とで、異なる画素の輝度値を用いてもよい。

【0030】

図４は、ステップＳ４及びＳ５における、ノード分割を模式的に説明するための図である。今、あるノードＪにおいて、図３（ｃ）のデプス画像の注目ピクセルｐ_iにおけるデプス値ｄ_iを２つの子ノード（ノードＫ、ノードＬ）のうちのいずれかに分類する例を考える。図４のＲＧＢ画像の左画像において、オフセット後のピクセル（ｐ_i＋ω₁）のＲ／Ｇ／Ｂの少なくとも１つの輝度値（２つ以上の輝度値を用いる場合は、その合計値）が、上式におけるＩ^L（ｐ_i＋ω₁，γ₁）であり、また、ＲＧＢ画像の右画像において、オフセット後のピクセル（ｐ_i＋ω₂）のＲ／Ｇ／Ｂの少なくとも１つの輝度値（２つ以上の輝度値を用いる場合は、その合計値）が、上式におけるＩ^R（ｐ_i＋ω₂，γ₂）である。本実施の形態においては、これらの２つの輝度値の差が入力値となる。この入力値は、図４に模式的に示すように、同じ注目領域内の注目ピクセルｐ_i周辺の２つのピクセル間の輝度差を意味する。

【0031】

ｐ_iにおけるデプス値ｄ_iが、ノードＪからノードＫに分類されたとすると、ノードＫでは、注目ピクセルｐ_iからのオフセット量を変えて、ｐ_i周辺の２つのピクセル間の輝度差に基づいて、デプス値ｄ_iを２つの子ノードのいずれに分類するかが決定される。このように、1回のノード分割でデプス値と対応付けられるのは、左右画像の２つのピクセル間の輝度差である。しかし、図４から理解されるように、ステップＳ４及びＳ５の処理を繰り返してノードを順次分割していくことで、左右画像の同じ注目領域内の輝度分布と、中心ピクセルである注目ピクセルにおける仮想カメラから見たデプスとの関係を学習していくことになる。本願の発明者は、推定対象となる被写体にテクスチャが少ない場合であっても、左右画像の同じ注目領域内の画像の輝度分布は、対象物までの距離に応じて変化することを見出した。したがって、本実施の形態のように、ある注目ピクセルについて、オフセット量を変化させながら、繰り返し左右画像の輝度差とデプス値との対応付けを行う学習によって、推定対象にテクスチャが少ない場合でも、精度よくデプス値を推定することができるモデルを生成することができる。

【0032】

再び図２に戻り、デプス値推定モデル生成装置１０は、ステップＳ６にて、所定の収束条件を満足したと判断されるまで、ステップＳ５及びＳ６の処理を繰り返す。なお、所定の収束条件としては、例えば、ノードが所定の深さに達することや、ノード分割後のデプス値の分散値の減少幅が所定の閾値以下になること、等を設定することができる。

【0033】

所定の収束条件を満たすと判断された場合には（ステップＳ６にてＹｅｓ）、１つの回帰木の生成を終了し、所定数の回帰木が生成されるまで（ステップＳ７にてＹｅｓ）、注目領域のサンプリング（ステップＳ３）に戻り、回帰木の生成を繰り返す。

【0034】

図５は、以上の処理によって生成された１つの回帰木の一例を示す図である。図５に示すように、生成された回帰木の各リーフには、デプス値のヒストグラムが対応付けられることになる。

【0035】

図６は、本実施の形態のデプス推定装置１の動作フロー図である。デプス推定装置１は、まず、推定対象となるステレオ画像の入力を受け付ける（ステップＳ１１）。そして、入力された左右画像の各ピクセルについて、複数の回帰木である推定モデルを適用し、（ステップＳ１２）、デプス確率値の合計を算出する（ステップＳ１３）。デプス推定装置１は、さらに、デプス方向及び空間方向に平滑化フィルタ処理を行い、デプス出力値とする（ステップＳ１４）。

【0036】

なお、ステップＳ１４におけるフィルタ処理には、種々のアルゴリズムをベースとする線形フィルタまたは非線形フィルタを用いてよい。その際、例えば、空間方向にはバイラテラルフィルタ等のように、エッジを保存するような非線形フィルタを適用することもできる。

【0037】

また、本実施の形態では、デプス推定モデルの生成において学習したオブジェクト以外の物が存在する領域については、デプス値をゼロとして出力する。

【0038】

以上、説明したように、上記の実施の形態のデプス推定モデル生成装置は、仮想カメラから見たデプス画像を生成し、ランダムフォレストに基づいて、注目ピクセル周辺におけるＲＧＢ画像間の輝度差に基づいて、デプス値集合のノード分割を繰り返し行うことで、輝度分布からデプス値を推定するためのモデルを生成する。このようにして生成されたデプス推定モデルによれば、デプスカメラ等のアクティブセンサを用いないパッシブなシステムでデプス推定を行うことができる。そして、デプス推定対象である被写体のテクスチャ（輝度差）が小さい場合でも、左右の画像組においては、同じ注目領域内のＲＧＢ輝度分布は、カメラから対象物までの距離に応じて変化する。したがって、上記の実施の形態によれば、被写体のテクスチャが小さい場合にも精度よくデプス推定を行うことができるモデルを生成することができる。

【0039】

なお、上記の実施の形態では、ステレオカメラによって撮影された２つの左右画像を輝度分布を求める教師データとして利用する場合について説明したが、本発明の範囲はこれに限られない。例えば、２つ以上の撮像デバイスによって撮像された、２つ以上の左右画像をセットとしてもよい。この場合、分割閾値τと比較される輝度差特徴は、そのうちの１つまたは２つのカメラによって撮像された１つまたは２つの画像間の輝度値の差

【数5】

としてもよい。また、分割閾値τと比較する輝度差特徴の算出式は、上式に限られない。例えば、

【数6】

等、２つ以上の画像を用いて、各画像のオフセット後の輝度値を用いた所定の演算結果を分割閾値τと比較してもよい。

【0040】

また、上記の実施の形態では、ステレオカメラの中央に仮想カメラを設置した場合のデプス画像を生成する場合について説明したが、仮想カメラの設置位置は、中央でなくてもよいし、仮想カメラは１つに限られない。例えば、ＲＧＢ撮像デバイスが、等位平行に４つ設置されている場合、左端の撮像デバイスおよび右端の撮像デバイスによって取得したＲＧＢ画像に対し、左から２番目、３番目の撮像デバイスから見たデプス画像を生成してもよい。この場合、輝度差特徴の変形例として説明したように、任意の仮想カメラを組み合わせてデプス差特徴を算出してもよく、また、２つ以上のデプス画像のデプス値を用いた所定の演算結果をデプス差特徴としてもよい。

【産業上の利用可能性】

【0041】

本発明は、推定対象となる被写体のテクスチャが小さい場合にも精度よくデプス推定を行うことができるモデルを生成することができるという効果を有し、デプス推定モデル生成装置等として有用である。

【符号の説明】

【0042】

１ デプス推定装置
１０ デプス推定モデル生成装置
１１ ＲＧＢ画像取得部
１２ デプス画像生成部
１３ デプス推定モデル生成部
１４ デプス推定部
１５ 記憶部
１６ 学習データ記憶部
１７ デプス推定モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】