知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-06
(45)【発行日】2022-05-16
(54)【発明の名称】撮像装置および撮像装置の制御方法
(51)【国際特許分類】
G03B 35/08 20210101AFI20220509BHJP
G03B 17/02 20210101ALI20220509BHJP
G03B 15/00 20210101ALI20220509BHJP
G03B 19/07 20210101ALI20220509BHJP
G03B 37/00 20210101ALI20220509BHJP
H04N 5/225 20060101ALI20220509BHJP
【ＦＩ】
G03B35/08
G03B17/02
G03B15/00 W
G03B19/07
G03B37/00 A
H04N5/225 800
【請求項の数】
7
(21)【出願番号】P 2018017711
(22)【出願日】2018-02-02
(65)【公開番号】P2019133112
(43)【公開日】2019-08-08
【審査請求日】2020-11-18
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】貞末 多聞
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開２０１５－０１９３４６（ＪＰ，Ａ）
【文献】特開２０１３－２１８２７８（ＪＰ，Ａ）
【文献】国際公開第２００９／０５７２８８（ＷＯ，Ａ１）
【文献】国際公開第２０１４／１９２８７６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０１７６５４１（ＵＳ，Ａ１）
【文献】特開２０１０－２７１６７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ３５／０８
Ｇ０３Ｂ １７／０２
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １９／０７
Ｇ０３Ｂ ３７／００
Ｈ０４Ｎ ５／２２５
(57)【特許請求の範囲】
【請求項1】
可視光および非可視光のうち該可視光を撮像する少なくとも３の第１の撮像体と、前記可視光および前記非可視光のうち少なくとも該非可視光を撮像する少なくとも２の第２の撮像体と、
前記第１の撮像体による撮像と、前記第２の撮像体による撮像と、を制御する撮像制御部と、
を備え、
前記第１の撮像体および前記第２の撮像体は、該第１の撮像体の光軸と、該第２の撮像体の光軸と、が平行になるよう配置され、
前記第１の撮像体および前記第２の撮像体は、２の前記第２の撮像体により構成される基線を含む直線上に交互に配置される、
撮像装置。
【請求項2】
可視光および非可視光のうち該可視光を撮像する少なくとも２の第１の撮像体と、
前記可視光および前記非可視光のうち少なくとも該非可視光を撮像する少なくとも３の第２の撮像体と、
前記第１の撮像体による撮像と、前記第２の撮像体による撮像と、を制御する撮像制御部と、
を備え、
前記第１の撮像体および前記第２の撮像体は、該第１の撮像体の光軸と、該第２の撮像体の光軸と、が平行になるよう配置され、
前記第１の撮像体および前記第２の撮像体は、２の前記第１の撮像体により構成される基線を含む直線上に交互に配置される、
撮像装置。
【請求項3】
前記撮像制御部は、前記第１の撮像体による撮像と、前記第２の撮像体による撮像と、を同期させる
請求項１または２に記載の撮像装置。
【請求項4】
前記第１の撮像体および前記第２の撮像体は、それぞれ、光軸を中心とした、該光軸の第１の方向に向けた半球を含む範囲を撮像可能な第１の光学素子と、該光軸を中心とした、該光軸の該第１の方向と逆方向の第２の方向に向けた半球を含む範囲を撮像可能な第２の光学素子と、を含む請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項5】
前記第１の撮像体および前記第２の撮像体により、光源から射出された所定パターンの非可視光を含む光が照射された被写体を撮像する請求項１乃至請求項４の何れか１項に記載の撮像装置。
【請求項6】
第１の撮像体と第２の撮像体とを含む撮像装置の制御方法であって、前記撮像装置は、
可視光および非可視光のうち該可視光を撮像する少なくとも３の前記第１の撮像体と、
前記可視光および前記非可視光のうち少なくとも該非可視光を撮像する少なくとも２の前記第２の撮像体と、
を含み、
前記第１の撮像体および前記第２の撮像体は、該第１の撮像体の光軸と、該第２の撮像体の光軸と、が平行になるよう配置され、
前記第１の撮像体および前記第２の撮像体は、２の前記第２の撮像体により構成される基線を含む直線上に交互に配置され、
前記第１の撮像体による撮像と、前記第２の撮像体による撮像と、を制御する撮像制御ステップ
を有する撮像装置の制御方法。
【請求項7】
第１の撮像体と第２の撮像体とを含む撮像装置の制御方法であって、
前記撮像装置は、
可視光および非可視光のうち該可視光を撮像する少なくとも２の前記第１の撮像体と、
前記可視光および前記非可視光のうち少なくとも該非可視光を撮像する少なくとも３の前記第２の撮像体と、
を含み、
前記第１の撮像体および前記第２の撮像体は、該第１の撮像体の光軸と、該第２の撮像体の光軸と、が平行になるよう配置され、
前記第１の撮像体および前記第２の撮像体は、２の前記第１の撮像体により構成される基線を含む直線上に交互に配置され、
前記第１の撮像体による撮像と、前記第２の撮像体による撮像と、を制御する撮像制御ステップ
を有する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【0002】
実在する物体、建築物、それらを含む空間全体を、カメラによる撮像やレーザ光の照射などを利用して計測し、計測結果に基づき電子データとして３次元情報を復元する、３次元復元モデルの技術が知られている。近年では、例えば橋梁の検査や建築現場といった様々な場面で、この３次元復元モデルの利用が検討されている。例えば、ビルディングなどの大規模な施設の建設において、設計時のＣＡＤ(Computer-Aided Design)による図面と、建設現場で計測して作成した３次元復元モデルとの比較を行うことが考えられる。また、建設後の検査などにおいて、３次元復元モデルを作成して状況を確認する、といった適用も考えられる。
【0003】
特許文献１に開示される、全周囲を全天球画像として撮像可能とした撮像システムを用いて、視点の異なる複数の撮像画像を取得し、取得した複数の撮像画像を比較することで深度情報を得て、より広範囲について、３次元復元モデルを作成することが可能である。しかしながら、特許文献１に記載の技術では、単色の壁のような、画像的な特徴やテクスチャに乏しい領域に対しては撮像画像間での比較が難しく、高精度に深度情報を取得することが困難であった。
【0004】
これに対して、特許文献２には、既知のパターンの光を空間に照射し、照射したパターンと、ステレオカメラにより撮像したパターンとに基づくステレオマッチングにより深度情報を取得する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献２では、深度情報のみを取得することが目的であって、物体の色情報を深度情報と重ねて同時に取得することが考慮されていなかった。また、特許文献２では、既知のパターンと撮像したパターンとに基づきマッチングを行うため、パターン光の照射装置と、撮像装置と、マッチング処理を行うための計算装置とが連携して動作する必要があり、装置の配置や小型化が制限されてしまうという問題点もあった。
【0006】
本発明は、上記に鑑みてなされたもので、より高精度な３次元復元モデルをより簡易な構成で作成可能とすることを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、可視光および非可視光のうち可視光を撮像する少なくとも１の第１の撮像体と、可視光および非可視光のうち少なくとも非可視光を撮像する少なくとも２の第２の撮像体と、第１の撮像体による撮像と、第２の撮像体による撮像と、を制御する撮像制御部と、を備え、第１の撮像体および第２の撮像体は、第１の撮像体の光軸と、第２の撮像体の光軸と、が平行になるよう配置され、第１の撮像体および第２の撮像体は、２の第２の撮像体により構成される基線を含む直線上に交互に配置される。
【発明の効果】
【0008】
本発明によれば、より高精度な３次元復元モデルをより簡易な構成で作成可能となるという効果を奏する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、撮像装置および撮像装置の制御方法の実施形態を詳細に説明する。
【0011】
図１は、各実施形態による３次元復元モデルの作成方法を概略的に説明するための図である。撮像装置５０ａは、可視光領域および非可視光領域の光のうち可視光領域を撮像可能な１以上の第１の撮像体と、可視光領域および非可視光領域の光のうち、少なくとも非可視光領域の光を撮像可能な、２以上の第２の撮像体と、を含む。ここでは、説明のため、撮像装置５０ａは、１の第１の撮像体と、２の第２の撮像体と、を含むものとする。
【0012】
被写体６０、６０、…に対して、非可視光領域の光８０を射出する光源５１による所定のパターン８１を投影する。撮像装置５０ａが含む２の第２の撮像体により当該パターン８１を撮像する。２の第２の撮像体それぞれで撮像された非可視光領域の光８０によるパターン８１に基づきマッチング処理を行い、マッチング処理結果に基づき深度情報（奥行き情報）を求めて３次元の点群情報（以下、３次元点群情報）を生成する。
【0013】
また、上述の第２の撮像体による撮像と同期させて、撮像装置５０ａが含む１の第１の撮像体により、被写体６０、６０、…を撮像する。第１の撮像体により撮像された撮像画像は、可視光領域による色情報を含む画像となる。また、第１の撮像体は、フィルタなどを用いて非可視光領域の光が撮像されないように構成され、当該第１の撮像体により撮像された撮像画像は、非可視光領域の光によるパターン８１を含まない画像となる。
【0014】
第２の撮像体により撮像された撮像画像に基づき生成した３次元点群情報を、第１の撮像体により撮像された撮像画像に再投影することで、３次元点群情報に色情報が付加され、３次元復元モデルが生成される。
【0015】
このように、実施形態では、非可視光領域の光によるパターン８１を撮像した撮像画像に基づき深度情報を求めて３次元点群情報を生成し、生成した３次元点群情報を、当該撮像と同期して撮像された可視光領域の光による撮像画像に再投影している。そのため、より高精度な３次元復元モデルを、より簡易な構成で作成可能となる。
【0016】
図１では、撮像装置５０ａが１方向側（前面側とする）を、１８０°未満の画角７０で撮像するように示しているが、これはこの例に限定されず、全周囲を全天球画像として撮像可能な撮像装置を用いることもできる。図２は、各実施形態に適用可能な、全天球画像を撮像可能な撮像装置５０ｂを用いた場合の例を示す図である。撮像装置５０ｂは、上述の撮像装置５０ａと同様に、可視光領域および非可視光領域のうち可視光領域の光を撮像する１以上の第１の撮像体と、可視光領域および非可視光領域のうち少なくとも非可視光領域の光を撮像する２以上の撮像体と、を含む。ここで、各撮像体は、それぞれ１８０°以上の画角を有する２つの魚眼レンズを、光軸の方向を一致させ、且つ、互いに逆方向を撮像するように配置され、全天球画像の撮像が可能なように構成される。
【0017】
なお、ここでも、説明のため、撮像装置５０ｂは、１の第１の撮像体と、２の第２の撮像体と、を含むものとする。
【0018】
図２において、平面４０は、垂直方向をＺ軸で表した場合の、Ｚ軸に直交するＸ軸およびＹ軸により表される平面である。平面４０の例としては、水平な土地や床面が挙げられる。例えば、平面４０上のＺ軸の位置に撮像装置５０ｂを配置し、それぞれ非可視光領域の光８０によるパターン８１を射出する複数の光源５１、５１、…を、Ｚ軸を中心とした全周にパターン８１、８１、…を照射可能に、平面４０上に配置する。また、例えば屋内など、Ｚ軸の正方向（撮像装置５０ｂの上方向）に被写体が存在する場合は、Ｚ軸正方向にもパターン８１が照射されるように、光源５１を配置する。
【0019】
各光源５１、５１、…によるパターン８１、８１、…を、撮像装置５０ｂの全周に存在する被写体６０、６０、…に投影させた状態で、撮像装置５０ｂにおいて、１の第１の撮像体による撮像と、２の第２の撮像体による撮像とを同期させて実行する。これにより、可視光領域の光により撮像された１つの全天球画像と、非可視光領域の光を含んで撮像された２つの全天球画像が取得される。２の第２の撮像体それぞれで撮像された非可視光領域の光８０による、全天球画像に含まれるパターン８１、８１、…に基づきマッチング処理を行い、マッチング処理結果に基づき深度情報を求めて３次元点群情報を生成する。
【0020】
また、第１の撮像体により撮像された全天球画像は、可視光領域による色情報を含む画像となる。第２の撮像体により撮像された全天球画像に基づき生成した３次元点群情報を、第１の撮像体により撮像された全天球画像に再投影することで、３次元点群情報に色情報が付加され、３次元復元モデルが生成される。この場合、撮像装置５０ｂの周囲３６０°について、１度の撮像により３次元復元モデルを生成できるため、３次元復元モデルの生成をより効率的に実行可能となる。
【0021】
なお、光源５１により射出される非可視光領域の光８０によるパターン８１は、繰り返し要素の少ないパターン（例えばランダムパターン）とすると、マッチング処理が容易となり、好ましい。
【0022】
以下では、撮像装置として、図２に示した全天球画像の撮像が可能な撮像装置５０ｂを適用した場合について説明を行う。
【0023】
［第１の実施形態］
第１の実施形態について説明する。図３は、第１の実施形態に係る撮像装置の一例の外観を示す図である。図３において、撮像装置１は、図２に示した撮像装置５０ｂに対応するもので、略直方体の筐体１０の第１の面に、複数（この例では３個）の撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と、シャッタボタン３０とが設けられる。筐体１０内には、各２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2にそれぞれ対応して撮像素子が設けられる。
第１の実施形態について説明する。図３は、第１の実施形態に係る撮像装置の一例の外観を示す図である。図３において、撮像装置１は、図２に示した撮像装置５０ｂに対応するもので、略直方体の筐体１０の第１の面に、複数（この例では３個）の撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と、シャッタボタン３０とが設けられる。筐体１０内には、各２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2にそれぞれ対応して撮像素子が設けられる。
【0024】
各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2に入射した光は、筐体１０に設けられる、それぞれ撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2を含む結像光学系を介して、それぞれ対応する撮像素子に照射される。撮像素子は、例えばＣＣＤ(Charge Coupled Device)であって、照射された光を電荷に変換する受光素子である。撮像素子は、これに限らず、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサであってもよい。
【0025】
また、筐体１０の、第１の面の背面側の第２の面に、第１の面の各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と対応して、複数の撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2が設けられる。これら撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2も、上述の各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と同様に、筐体１０内にそれぞれ対応した撮像素子が設けられる。各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2に入射された光は、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2を含む各結像光学系を介して、それぞれ対応する撮像素子に照射される。各撮像素子は、照射された光を電荷に変換する。
【0026】
詳細は後述するが、各撮像素子を駆動する各駆動部は、トリガ信号に応じて、各撮像素子に対してシャッタ制御を行うと共に、各撮像素子から光が変換された電荷を読み出す。各駆動部は、各撮像素子から読み出した電荷をそれぞれ電気信号に変換し、この電気信号をディジタルデータとしての撮像画像に変換して出力する。各駆動部から出力された各撮像画像は、例えばメモリに記憶される。以下では、例えば、トリガ信号に応じて撮像レンズ２０ＩＲa1に入射された光に基づく撮像画像を出力する動作を、便宜上、撮像レンズ２０ＩＲa1による撮像、などと記述する。
【0027】
なお、筐体１０を直方体と見做した場合に、撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2が整列する方向に沿った辺（長辺）に接する面を側面、第１面、第２面および２つの側面それぞれの上端に接する面を上面、下端に接する面を底面とする。図３の例では、撮像レンズ２０ＩＲa1および２０ＩＲb1が配置される側の上端に接する面が上面、シャッタボタン３０が配置される側の下端に接する面が底面となる。
【0028】
また、図３の例では、各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2において、撮像レンズ２０ＩＲa1および２０ＩＲa2は、間の距離を距離ｄとして配置される。一方、撮像レンズＶＬaは、撮像レンズ２０ＩＲa1および２０ＩＲa2それぞれとの間の距離を距離ｄｖ1およびｄｖ2として配置される。距離ｄｖ1と距離ｄｖ2は、等しい値であると好ましいが、これに限られるものではない。また、撮像レンズ２０ＩＲa1および２０ＩＲb1、撮像レンズ２０ＶＬaおよび２０ＶＬb、撮像レンズ２０ＩＲa2および２０ＩＲb2は、それぞれ、筐体１０の例えば底面からの高さが一致するように、筐体１０に配置される。
【0029】
各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2とにおいて、筐体１０の底面からの高さが一致する撮像レンズの組と、当該撮像レンズの組に対応する各結像光学系および各撮像素子と、を含めて、撮像体と呼ぶ。図３の例では、撮像レンズ２０ＩＲa1および２０ＩＲb1の組が、対応する各結像光学系および各撮像素子を含めて撮像体２１ＩＲ1とされている。撮像体２１ＶＬおよび２１ＩＲ2も同様に、それぞれ対応する各結像光学系および各撮像素子を含めて、それぞれ撮像体２１ＶＬおよび２１ＩＲ2と呼ぶ。
【0030】
シャッタボタン３０は、操作に応じて、各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2とによる撮像を指示するためのボタンである。シャッタボタン３０が操作されると、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2、および、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2による撮像が同期して行われる。
【0031】
なお、以下では、例えば「撮像体２１ＩＲ1において撮像レンズ２０ＩＲa1および２０ＩＲb1による撮像が行われる」ことを、適宜、「撮像体２１Ｒ1による撮像が行われる」などのように記述する。
【0032】
図４は、第１の実施形態に係る撮像装置１の内部構造を概略的に示す図である。図４では、撮像装置１の筐体１０を側面からの断面図として示し、図において左側が第１面（正面方向とする）、右側が第２面（背面方向とする）となっている。撮像体２１ＩＲ1は、撮像素子２００ａ1を含む第１面側の撮像レンズ２０ＩＲa1と、撮像素子２００ｂ1を含む第２面側の撮像レンズ２０ＩＲb1と、を含む。
【0033】
なお、図４では、撮像素子２００a1および２００b1が、それぞれ受光面を正面方向および背面方向に向けるように配置されているが、実際には、撮像素子２００a1および２００b1は、撮像装置１の筐体１０の上下方向に、受光面を互いに内側に向けて配置される。正面方向および背面方向から入射された光は、それぞれプリズムなどにより方向を変換されて、撮像素子２００a1および２００b1に入射される。この構成に関する詳細は、後述する。
【0034】
撮像体２１ＶＬおよび２１ＩＲ2も、撮像体２１ＩＲ1と同様に構成される。すなわち、撮像体２１ＶＬは、撮像素子２００ａ2を含む第１面側の撮像レンズ２０ＶＬaと、撮像素子２００ｂ2を含む第２面側の撮像レンズ２０ＶＬbと、を含む。また、撮像体２１ＩＲ2は、撮像素子２００ａ3を含む第１面側の撮像レンズ２０ＩＲa2と、撮像素子２００ｂ3を含む第２面側の撮像レンズ２０ＩＲb2と、を含む。
【0035】
さらに、第１の実施形態に係る撮像装置１において、撮像体２１ＩＲ1および２１ＩＲ2は、可視光領域の光および非可視光領域の光のうち、少なくとも非可視光領域の光を撮像可能に構成されている。一方、撮像体２１ＶＬは、可視光領域の光および非可視光領域の光のうち、可視光領域の光を選択的に撮像可能とされ、非可視光領域の光を撮像しないように構成されている。
【0036】
例えば、撮像体２１ＩＲ1および２１ＩＲ2は、非可視光領域の光を選択的に透過させるフィルタ２２ＩＲが、撮像レンズ２０ＩＲa1および２０ＩＲb1と、撮像レンズ２０ＩＲa2および２０ＩＲb2に、それぞれ設けられる。例えば、撮像体２１ＩＲ1において、撮像レンズ２０ＩＲa1および２０ＩＲb1に入射された光は、各フィルタ２２ＩＲにより非可視光領域の光が選択的に透過されて、撮像素子２００ａ1および２００ｂ1に照射される。これは、撮像体２１ＩＲ2においても同様である。
【0037】
また、撮像体２１ＶＬは、可視光領域の光を選択的に透過させるフィルタ２２ＶＬが、撮像レンズ２０ＶＬaおよび２０ＶＬbにそれぞれ設けられる。撮像レンズ２０ＶＬaおよびＶＬbに入射された光は、各フィルタ２２ＶＬにより可視光領域の光を選択的に透過されて、撮像素子２００ａ2および２００ｂ2に照射される。したがって、撮像素子２００ａ2および２００ｂ2により撮像された撮像画像は、色情報を持つ画像となる。
【0038】
第１の実施形態では、非可視光領域は、赤外光領域であるものとする。ここでは、赤外光領域を波長が７８０ｎｍ以上の領域であるものとし、フィルタ２２ＩＲは、例えば波長が７８０ｎｍ以下の光をカットする特性を持つ。また、フィルタ２２ＶＬは、波長が７８０ｎｍ以上の光をカットする特性を持つ。
【0039】
これに限らず、撮像レンズ２０ＩＲa1および２０ＩＲb1と、撮像レンズ２０ＩＲa2および２０ＩＲb2とにフィルタ２２ＩＲを設けずに、非可視光領域および可視光領域の光を共に透過可能としてもよい。すなわち、撮像体２１ＩＲ1および２１ＩＲ2において非可視光領域の光および可視光領域の光のうち少なくとも非可視光領域の光を撮像可能とし、撮像体２１ＶＬにおいて非可視光領域の光および可視光領域の光のうち可視光領域の光を選択的に撮像可能、非可視光領域の光を選択的に撮像不可とするような構成であればよい。
【0040】
また、フィルタ２２ＩＲは、例えば撮像レンズ２０ＩＲa1の場合、撮像レンズ２０ＩＲa1に含まれるレンズに対して設けてもよいし、撮像素子２００ａ1に対して設けてもよい。これは、フィルタ２２ＶＬにおいても同様である。さらに、フィルタ２２ＩＲおよび２２ＶＬを設けずに、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2では非可視光領域および可視光領域の光をそれぞれ撮像可能とし、その後の画像処理において、撮像体２１ＶＬにより撮像された撮像画像データの非可視光領域成分をカットすることも考えられる。
【0041】
図４において、処理回路基板３１は、各撮像素子２００ａ1～ａ3、２００ｂ1～２００ｂ3を駆動するための駆動制御回路が搭載される。処理回路基板３１に搭載される駆動制御回路は、ユーザによるシャッタボタン３０の操作に応じて、各撮像素子２００ａ1～ａ3、２００ｂ1～２００ｂ3による撮像を同期して実行させるためのトリガ信号である同期撮像指示信号３２を出力する。
【0042】
図５は、第１の実施形態に適用可能な、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2の一例の構造を示す図である。なお、以下では、各撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2を区別する必要が無い場合には、これら撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2を、撮像体２１として纏めて記述する。
【0043】
図５において、撮像体２１は、それぞれ撮像レンズ２０ａおよび２０ｂを含む結像光学系２０１ａおよび２０１ｂと、ＣＣＤまたはＣＭＯＳセンサによる撮像素子２００ａおよび２００ｂとを含み構成される。各結像光学系２０１ａおよび２０１ｂは、例えば６群７枚の魚眼レンズとして構成されている。この魚眼レンズは、１８０°（＝３６０度／ｎ、ｎは光学系数＝２）より大きい全画角を有し、好適には、１８５°以上の画角を有し、より好適には、１９０°以上の画角を有する。
【0044】
各結像光学系２０１ａおよび２０１ｂは、それぞれ、光路を９０°変更するプリズム２０２ａおよび２０２ｂを含む。各結像光学系２０１ａおよび２０１ｂにそれぞれ含まれる６群７枚の魚眼レンズは、プリズム２０２ａおよび２０２ｂより入射側のグループと、出射側（撮像素子２００ａおよび２００ｂ側）のグループとに分けることができる。例えば、結像光学系２０１ａにおいて、撮像レンズ２０ａに入射された光は、プリズム２０２ａより入射側のグループに属する各レンズを介してプリズム２０２ａに入射される。プリズム２０２ａに入射された光は、光路を９０°変換されて、プリズム２０２ａより出射側のグループに属する各レンズ、開口絞り、フィルタを介して撮像素子２００ａに照射される。
【0045】
２つの結像光学系２０１ａおよび２０１ｂの光学素子（レンズ、プリズム２０２ａおよび２０２ｂ、フィルタおよび開口絞り）は、撮像素子２００ａおよび２００ｂに対して位置関係が定められる。より具体的には、結像光学系２０１ａおよび２０１ｂの光学素子の光軸が、対応する撮像素子２００ａおよび２００ｂの受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、位置決めが行われる。また、撮像体２１では、結像光学系２０１ａおよび２０１ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。
【0046】
図６は、第１の実施形態に係る撮像装置１の外観を概略的に示す３面図である。図６（ａ）、図６（ｂ）および図６（ｃ）は、それぞれ撮像装置１の上面図、前面図および側面図の例である。図６（ｂ）において、撮像レンズ２０ＩＲa2は、レンズ中心が筐体１０の底面から高さｈに位置するように配置される。この撮像レンズ２０ＩＲa2に対して距離ｄだけ上面側に撮像レンズ２０ＩＲa1が配置され、撮像レンズ２０ＩＲa2から上面側に距離ｄｖ2の位置に、撮像レンズ２０ＶＬaが配置される。各撮像レンズ２０ＩＲa1、２０ＶＬおよび２０ＩＲa2は、筐体１０の長辺方向の中心線Ｃにレンズ中心を整列させて配置される。
【0047】
図６（ｃ）に示されるように、各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2の背面側には、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2が、それぞれ各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2と対応する位置に配置される。すなわち、これら撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2も、上述の中心線Ｃにレンズ中心を整列させて配置される。また、上述したように、各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2、ならびに、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2のうち、高さが一致する２つの撮像レンズ（例えば撮像レンズ２０ＩＲa1および２０ＩＲb1）が１つの撮像体（例えば撮像体２１ＩＲ1）に含まれる。
【0048】
【0049】
図７は、第１の実施形態に係る各撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2により撮像可能な撮像範囲の例を示す図である。各撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2は、同様の撮像範囲を有する。図７では、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2による各撮像範囲を、撮像体２１ＩＲ1の撮像範囲で代表して示している。
【0050】
なお、以下では、図７に示されるように、例えば撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2が整列する方向をＺ軸と対応させ、撮像レンズ２０ＩＲa1および２０ＩＲb1の光軸の方向にＸ軸を対応させるものとする。
【0051】
撮像体２１ＩＲ1は、撮像レンズ２０ＩＲa1および２０ＩＲb1の組み合わせにより、撮像体２１ＩＲ1の中心部を中心とした全天球を撮像範囲とする。すなわち、上述したように、撮像レンズ２０ＩＲa1および２０ＩＲb1は、それぞれ画角が１８０°を超え、より好適には１８５°以上とされている。したがって、これら撮像レンズ２０ＩＲa1および２０ＩＲb1の組み合わせにより、ＸＹ平面上の撮像範囲ＡおよびＸＺ平面上の撮像範囲Ｂをそれぞれ３６０°とすることができ、これらの組み合わせにより、全天球の撮像範囲が実現される。
【0052】
換言すれば、撮像体２１ＩＲ1は、撮像レンズ２０ＩＲa1の光軸を中心とした、光軸の第１の方向に向けた半球を含む範囲と、撮像レンズ２０ＩＲa1の光軸と共通する撮像レンズ２０ＩＲb1の光軸を中心とした、光軸の第１の方向と逆方向の第２の方向に向けた半球を含む範囲と、を撮像可能である。
【0053】
また、撮像体２１ＩＲ1および２１ＩＲ2は、Ｚ軸方向に距離ｄの間隔を開けて配置されている。したがって、撮像体２１ＩＲ1および２１ＩＲ2により全天球を撮像範囲として撮像された各撮像画像は、Ｚ軸方向に距離ｄだけ視点の異なる画像となる。
【0054】
このとき、第１の実施形態では、各撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2、ならびに、各撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2における撮像が、シャッタボタン３０の操作に応じて同期して行われる。そのため、第１の実施形態に係る撮像装置１を用いることで、筐体１０の第１面および第２面それぞれについて、Ｚ軸方向に距離ｄだけ視点が異なり、且つ、非可視光領域の光を撮像した２枚の撮像画像と、当該２枚の撮像画像の撮像位置の間を撮像位置として可視光領域の光を撮像した１枚の撮像画像を取得することができる。
【0055】
［第１の実施形態に適用可能な３次元復元モデル作成処理］
次に、第１の実施形態に適用可能な３次元復元モデル作成処理について、概略的に説明する。第１の実施形態では、例えば、図８に示されるように、撮像装置１に接続した画像処理装置１００により、３次元復元モデルの作成処理を実行する。画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）上で画像処理プログラムを実行させることで構成できる。これに限らず、画像処理装置１００は、３次元復元モデル作成処理を実行するための専用のハードウェアであってもよい。
次に、第１の実施形態に適用可能な３次元復元モデル作成処理について、概略的に説明する。第１の実施形態では、例えば、図８に示されるように、撮像装置１に接続した画像処理装置１００により、３次元復元モデルの作成処理を実行する。画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）上で画像処理プログラムを実行させることで構成できる。これに限らず、画像処理装置１００は、３次元復元モデル作成処理を実行するための専用のハードウェアであってもよい。
【0056】
例えば、画像処理装置１００は、撮像装置１のメモリから、撮像装置１により各撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2により同期して撮像されメモリに記憶された複数（この例では、第１の面および第２の面を合計して６枚）の撮像画像を読み出す。画像処理装置１００は、撮像装置１のメモリから読み出した６枚の画像のうち、各撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2においてそれぞれ２枚ずつ撮像された撮像画像を、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2毎にそれぞれ合成する。これにより、Ｚ軸方向に距離ｄだけ視点が異なる、２枚の非可視光領域の光を含んで撮像された２枚の全天球画像と、当該２枚の全天球画像の略それぞれに対して距離ｄｖ1およびｄｖ2だけ視点が異なる、１枚の可視光領域の光を選択的に含んで撮像された１枚の全天球画像と、を作成する。
【0057】
次に、第１の実施形態に係る撮像装置１および画像処理装置１００の信号処理に関する構成について説明する。図９は、第１の実施形態に係る撮像装置１の一例の構成を示すブロック図である。なお、図９において、上述した図４および図５と対応する部分には同一の符号を付して、詳細な説明を省略する。
【0058】
図９において、撮像装置１は、撮像素子２００ａ1、２００ａ2および２００ａ3、ならびに、撮像素子２００ｂ1、２００ｂ2および２００ｂ3と、駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3と、バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3、ならびに、バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3と、を含む。
【0059】
これらのうち、撮像素子２００ａ1、２００ａ2および２００ａ3と、駆動部２１０ａ1、２１０ａ2および２１０ａ3と、バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3と、は、それぞれ撮像レンズ２０ＩＲa1、２０ＶＬaおよび２０ＩＲa2に対応する構成であって、それぞれ撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2に含まれる。なお、図９では、煩雑さを避けるため、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2のうち、撮像体２１ＩＲ1のみを示している。
【0060】
同様に、撮像素子２００ｂ1、２００ｂ2および２００ｂ3と、駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3と、バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3と、は、それぞれ撮像レンズ２０ＩＲb1、２０ＶＬbおよび２０ＩＲb2に対応する構成であって、それぞれ撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2に含まれる。
【0061】
撮像装置１は、さらに、制御部２２０、メモリ２２１およびスイッチ（ＳＷ）２２２を含む。これらのうち、少なくとも制御部２２０およびメモリ２２１は、処理回路基板３１に搭載される。スイッチ２２２は、図３、図４に示したシャッタボタン３０に対応する。例えば、スイッチ２２２が閉状態で、シャッタボタン３０が操作された状態に対応する。
【0062】
撮像体２１ＩＲ1について説明する。撮像体２１ＩＲ1は、撮像素子２００ａ1、駆動部２１０ａ1およびバッファメモリ２１１ａ1と、撮像素子２００ｂ1、駆動部２１０ｂ1およびバッファメモリ２１１ｂ1と、を含む。
【0063】
駆動部２１０ａ1は、撮像素子２００ａ1を駆動し、制御部２２０からトリガ信号として供給される同期撮像指示信号３２に応じて、撮像素子２００ａ1から電荷を読み出す。駆動部２１０ａ1は、撮像素子２００ａ1から読み出した電荷を電気信号に変換し、さらに、この電気信号を、ディジタルデータである撮像画像に変換して出力する。なお、駆動部２１０ａ1は、１回の同期撮像指示信号３２に応じて、撮像素子２００ａ1から読み出した電荷に基づき１フレームの撮像画像を出力する。
【0064】
バッファメモリ２１１ａ1は、少なくとも１フレーム分の撮像画像を記憶可能なメモリである。駆動部２１０ａ1から出力された撮像画像は、このバッファメモリ２１１ａ1に記憶される。
【0065】
なお、撮像体２１ＩＲ1において、撮像素子２００ｂ1、駆動部２１０ｂ1およびバッファメモリ２１１ｂ1については、上述の撮像素子２００ａ1、駆動部２１０ａ1およびバッファメモリ２１１ａ1と同等の機能を有するため、ここでの説明を省略する。また、他の撮像体２１ＶＬおよび２１ＩＲ2についても、機能は撮像体２１ＩＲ1と同等であるため、ここでの説明を省略する。
【0066】
制御部２２０は、撮像装置１の全体の動作を制御する。制御部２２０は、スイッチ２２２の開状態から閉状態への遷移を検知すると、同期撮像指示信号３２を出力する。同期撮像指示信号３２は、各駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、各駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3に同時に供給される。
【0067】
メモリ２２１は、同期撮像指示信号３２の出力に応じた制御部２２０の制御に従い、各バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3、ならびに、各バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3から各撮像画像を読み出し、読み出した各撮像画像を記憶する。メモリ２２１に記憶された各撮像画像は、例えば図８を用いて説明したように、撮像装置１と接続される画像処理装置１００により読み出すことができる。
【0068】
このように、制御部２２０は、各撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2による撮像を制御し、撮像された撮像画像の取得を行う撮像制御部として機能する。
【0069】
図１０は、第１の実施形態に係る撮像装置１における制御部２２０およびメモリ２２１の一例の構成を示すブロック図である。図１０において、制御部２２０は、ＣＰＵ(Central Processing Unit)２０００と、ＲＯＭ(Read Only Memory)２００１と、トリガＩ／Ｆ２００４と、スイッチ（ＳＷ）回路２００５と、データＩ／Ｆ２００６と、通信Ｉ／Ｆ２００７とを含み、これら各部がバス２０１０に通信可能に接続される。また、メモリ２２１は、ＲＡＭ(Random Access Memory)２００３と、メモリコントローラ２００２とを含み、バス２０１０に対して、メモリコントローラ２００２がさらに接続される。バッテリ２０２０は、例えばリチウムイオン二次電池といった二次電池であって、撮像装置１内部の電力供給が必要な各部に電力を供給する電力供給部である。
【0070】
ＣＰＵ２０００は、例えばＲＯＭ２００１に予め記憶されるプログラムに従い、ＲＡＭ２００３の一部の記憶領域をワークメモリとして用いて動作して、この撮像装置１の全体の動作を制御する。メモリコントローラ２００２は、ＣＰＵ２０００の指示に従い、ＲＡＭ２００３に対するデータの記憶および読み出しを制御する。また、メモリコントローラ２００２は、ＣＰＵ２０００の指示に従い、各バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3、ならびに、各バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3からの撮像画像の読み出しも制御する。
【0071】
スイッチ回路２００５は、スイッチ２２２の閉状態および開状態の間の遷移を検知して、検知結果をＣＰＵ２０００に渡す。ＣＰＵ２０００は、スイッチ回路２００５からスイッチ２２２が開状態から閉状態に遷移した旨の検知結果を受け取ると、トリガ信号としての同期撮像指示信号３２を出力する。同期撮像指示信号３２は、トリガＩ／Ｆ２００４を介して出力され、分岐して、各駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、各駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3にそれぞれ供給される。
【0072】
データＩ／Ｆ２００６は、外部機器との間でデータ通信を行うためのインタフェースである。データＩ／Ｆ２００６としては、例えばＵＳＢ(Universal Serial Bus)を適用することができる。通信Ｉ／Ｆ２００７は、ネットワークと接続され、ネットワークに対する通信を制御する。通信Ｉ／Ｆ２００７に接続されるネットワークは、有線および無線の何れでもよいし、有線および無線の両方に接続可能であってもよい。上述した画像処理装置１００は、データＩ／Ｆ２００６および通信Ｉ／Ｆ２００７の少なくとも一方を介して撮像装置１に接続される。
【0073】
なお、上述では、ＣＰＵ２０００は、スイッチ回路２００５による検知結果に応じて同期撮像指示信号３２を出力するように説明したが、これはこの例に限定されない。例えば、ＣＰＵ２０００は、データＩ／Ｆ２００６や通信Ｉ／Ｆ２００７を介して供給された信号に応じて、同期撮像指示信号３２を出力してもよい。さらに、トリガＩ／Ｆ２００４がスイッチ回路２００５の検知結果に応じて同期撮像指示信号３２を発生させて、各駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、各駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3に供給してもよい。
【0074】
このような構成において、制御部２２０は、スイッチ２２２の開状態から閉状態への遷移を検知すると、同期撮像指示信号３２を生成、出力する。同期撮像指示信号３２は、各駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、各駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3に同タイミングで供給される。各駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、各駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3は、供給された同期撮像指示信号３２に同期して、各撮像素子２００ａ1、２００ａ2および２００ａ3、ならびに、各撮像素子２００ｂ1、２００ｂ2および２００ｂ3から電荷を読み出す。
【0075】
各駆動部２１０ａ1、２１０ａ2および２１０ａ3、ならびに、各駆動部２１０ｂ1、２１０ｂ2および２１０ｂ3は、各撮像素子２００ａ1、２００ａ2および２００ａ3、ならびに、各撮像素子２００ｂ1、２００ｂ2および２００ｂ3から読み出した電荷をそれぞれ撮像画像に変換し、変換された各撮像画像を各バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3、および、各バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3に記憶する。
【0076】
制御部２２０は、同期撮像指示信号３２の出力後の所定タイミングで、メモリ２２１に対して、各バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3、および、各バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3からの撮像画像の読み出しを指示する。メモリ２２１において、メモリコントローラ２００２は、この指示に応じて、各バッファメモリ２１１ａ1、２１１ａ2および２１１ａ3、および、各バッファメモリ２１１ｂ1、２１１ｂ2および２１１ｂ3から各撮像画像を読み出し、読み出した各撮像画像をＲＡＭ２００３の所定領域に記憶する。
【0077】
画像処理装置１００が例えばデータＩ／Ｆ２００６を介して撮像装置１に接続される場合、画像処理装置１００は、データＩ／Ｆ２００６を介して、ＲＡＭ２００３に記憶される各撮像画像の読み出しを要求する。ＣＰＵ２０００は、この要求に応じて、メモリコントローラ２００２に対してＲＡＭ２００３からの各撮像画像の読み出しを指示する。メモリコントローラ２００２は、この指示に応じてＲＡＭ２００３から各撮像画像を読み出して、読み出した各撮像画像を、データＩ／Ｆ２００６を介して画像処理装置１００に送信する。画像処理装置１００は、撮像装置１から送信された各撮像画像に基づき、後述する、第１の実施形態に係る３次元復元モデル作成処理を実行する。
【0078】
図１１は、第１の実施形態に適用可能な画像処理装置１００の一例の構成を示すブロック図である。画像処理装置１００は、ＣＰＵ１０００と、ＲＯＭ１００１と、ＲＡＭ１００２と、グラフィックＩ／Ｆ１００３と、ストレージ１００４と、入力デバイス１００５と、データＩ／Ｆ１００６と、通信Ｉ／Ｆ１００７とを含み、これら各部がバス１０１０に互いに通信可能に接続される。なお、図１１において、入力デバイス１００５は、画像処理装置１００に対して着脱自在とすることができる。
【0079】
このように、画像処理装置１００は、ＣＰＵ１０００と、ＲＯＭ１００１、ＲＡＭ１００２およびストレージ１００４といった各種記憶媒体とを含み、一般的なコンピュータを用いて構成することができる。
【0080】
ストレージ１００４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ１００４としてハードディスクドライブを用いてもよい。ストレージ１００４は、ＣＰＵ１０００が実行するためのプログラムや各種データが格納される。なお、ストレージ１００４およびＲＯＭ１００１は、例えば１つの書き換え可能な不揮発性半導体メモリなどを共用してもよい。
【0081】
ＣＰＵ１０００は、ＲＯＭ１００１およびストレージ１００４に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この画像処理装置１００の全体を制御する。グラフィックＩ／Ｆ１００３は、ＣＰＵ１０００により生成された表示制御信号を、ディスプレイ１０２０が表示可能な信号に変換して出力する。ディスプレイ１０２０は、例えば表示デバイスとしてＬＣＤ(Liquid Crystal Display)を含み、グラフィックＩ／Ｆ１００３から出力された信号により駆動されて、表示制御信号に応じた画面を表示させる。ディスプレイ１０２０は、画像処理装置１００に内蔵されていてもよいし、画像処理装置１００に対して着脱自在としてもよい。
【0082】
データＩ／Ｆ１００６は、外部機器との間でデータの入出力を行う。データＩ／Ｆ１００６として、例えば上述の撮像装置１のデータＩ／Ｆ２００６と対応させて、ＵＳＢを適用することができる。画像処理装置１００は、データＩ／Ｆ１００６により撮像装置１と接続され、撮像装置１に対する撮像画像の要求の送信、撮像装置１からの撮像画像の取得などを行うことができる。
【0083】
入力デバイス１００５は、例えばユーザ入力を受け付ける。入力デバイス１００５としては、画像処理装置１００に接続して使用される、マウスなどのポインティングデバイスやキーボードを適用させることができる。これに限らず、入力デバイス１００５は、画像処理装置１００に内蔵される操作子であってもよい。ユーザは、例えばディスプレイ１０２０に対する表示に応じて入力デバイス１００５を操作することで、画像処理装置１００に対して指示を入力することができる。
【0084】
通信Ｉ／Ｆ１００７は、ＣＰＵ１０００の制御に従いネットワークを介した通信を行う。
【0085】
図１２は、第１の実施形態に係る画像処理装置１００の機能を説明するための一例の機能ブロック図である。図１２において、画像処理装置１００は、取得部１１０と、マッチング処理部１１１と、３Ｄ情報生成部１１２と、再投影処理部１１３と、出力処理部１１４と、ＵＩ(User Interface)部１２０と、制御部１２１と、を含む。
【0086】
これら取得部１１０、マッチング処理部１１１、３Ｄ情報生成部１１２、再投影処理部１１３、出力処理部１１４、ＵＩ部１２０および制御部１２１は、ＣＰＵ１０００上で第１の実施形態に係る画像処理プログラムが実行されることで実現される。これに限らず、これら取得部１１０、マッチング処理部１１１、３Ｄ情報生成部１１２、再投影処理部１１３、出力処理部１１４、ＵＩ部１２０および制御部１２１の１部または全部を、互いに協働して動作するハードウェア回路により実現してもよい。
【0087】
取得部１１０は、撮像装置１と接続して、撮像装置１のメモリ２２１に記憶される、各撮像素子２００ａ1、２００ａ2および２００ａ3、ならびに、２００ｂ1、２００ｂ2および２００ｂ3により撮像された各撮像画像を取得する。取得部１１０は、取得した各撮像画像のうち、撮像体２１ＩＲ1および２１ＩＲ2により撮像された撮像画像、すなわち、撮像素子２００ａ1、２００ａ3、２００ｂ1および２００ｂ3により撮像された各撮像画像を、マッチング処理部１１１に渡す。また、取得部１１０は、取得した各画像のうち、撮像体２１ＶＬにより撮像された撮像画像、すなわち撮像素子２００ａ2および２００ｂ2により撮像された各撮像画像を、再投影処理部１１３に渡す。
【0088】
マッチング処理部１１１は、取得部１１０から渡された、撮像体２１ＩＲ1および２１ＩＲ2により撮像された各撮像画像を用いてマッチング処理を行う。３Ｄ情報生成部１１２は、マッチング処理部１１１によるマッチング処理の結果を用いて深度情報を求め、求めた深度情報に基づき３次元点群情報を生成する。
【0089】
再投影処理部１１３は、取得部１１０から渡された、撮像体２１ＶＬにより撮像された各撮像画像を、マッチング処理部１１１により生成された３次元点群情報に再投影し、３次元点群情報に色情報を付加する。
【0090】
出力処理部１１４は、再投影処理部１１３により色情報が付加された３次元点群情報を、３次元復元モデルとして出力する。出力処理部１１４は、３次元復元モデルを画像処理装置１００の外部に出力してもよいし、ＲＡＭ１００２やストレージ１００４に記憶させてもよい。また、出力処理部１１４は、３次元復元モデルをディスプレイ１０２０に表示させることもできる。
【0091】
ＵＩ部１２０は、ディスプレイ１０２０に対する画面表示の制御と、入力デバイス１００５に対するユーザ操作に応じた入力の受付とを行い、ユーザインタフェースを提供する。制御部１２１は、画像処理装置１００の全体の動作を制御する。
【0092】
画像処理装置１００における第１の実施形態に係る各機能を実現するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該画像処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該画像処理プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
【0093】
当該画像処理プログラムは、取得部１１０、マッチング処理部１１１、３Ｄ情報生成部１１２、再投影処理部１１３、出力処理部１１４、ＵＩ部１２０および制御部１２１を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がストレージ１００４などの記憶媒体から当該画像処理プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、取得部１１０、マッチング処理部１１１、３Ｄ情報生成部１１２、再投影処理部１１３、出力処理部１１４、ＵＩ部１２０および制御部１２１が主記憶装置上に生成されるようになっている。
【0094】
［第１の実施形態に適用可能な３次元復元モデル作成処理の詳細］
次に、第１の実施形態に係る３次元復元モデル作成処理について、より詳細に説明する。図１３は、第１の実施形態に適用可能な３次元復元モデルの作成処理を示す一例のフローチャートである。
次に、第１の実施形態に係る３次元復元モデル作成処理について、より詳細に説明する。図１３は、第１の実施形態に適用可能な３次元復元モデルの作成処理を示す一例のフローチャートである。
【0095】
なお、図１３のフローの処理の実行に先立って、撮像装置１では、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2を同期させた撮像が実行されているものとする。したがって、撮像装置１のメモリ２２１には、撮像体２１ＩＲ1および２１ＩＲ2により非可視光領域の光を含んで撮像した４枚の撮像画像と、撮像体２１ＶＬにより非可視光領域の光を含まずに、可視光領域の光を選択的に撮像した２枚の撮像画像と、による６枚の撮像画像が記憶されている。
【0096】
ステップＳ１００で、取得部１１０は、撮像装置１のメモリ２２１から、非可視光領域の光を含んで撮像された撮像画像を取得する。より具体的には、取得部１１０は、撮像装置１のメモリ２２１から、撮像体２１ＩＲ1により撮像された２枚の撮像画像と、撮像体２１ＩＲ2により撮像された２枚の撮像画像と、を取得する。取得部１１０は、取得した４枚の撮像画像を、マッチング処理部１１１に渡す。
【0097】
次のステップＳ１０１で、マッチング処理部１１１は、取得部１１０から渡された４枚の撮像画像に基づきマッチング処理を行う。さらに、次のステップＳ１０２で、３Ｄ情報生成部１１２は、ステップＳ１０１のマッチング処理結果に基づき深度情報を計算し、３次元点群情報を生成する。
【0098】
ステップＳ１０１およびステップＳ１０２の処理について、より具体的に説明する。第１の実施形態では、非可視光領域の光を撮像する撮像体２１ＩＲ1および２１ＩＲ2により撮像された撮像画像に基づく２枚の全天球画像を用いて、ステレオ法により深度情報を計算する。ここでいうステレオ法は、２つのカメラにより異なる視点から撮像された２枚の撮像画像を用い、一方の撮像画像のある画素（参照画素）に対して、他方の撮像画像内における対応する画素（対応画素）を求め、参照画素と対応画素とに基づき三角法により深度（奥行き値）を算出する方法である。
【0099】
ステップＳ１０１で、マッチング処理部１１１は、取得部１１０から渡された４枚の撮像画像のうち、撮像体２１ＩＲ1により撮像された２枚の撮像画像を合成して、１枚の全天球画像（第１の全天球画像と呼ぶ）を作成する。同様に、マッチング処理部１１１は、撮像体２１ＩＲ2により撮像された２枚の撮像画像を合成し、１枚の全天球画像（第２の全天球画像と呼ぶ）を作成する。
【0100】
ここで、一般的なステレオ法においては、図１４（ａ）に例示されるように、水平方向に視点をずらして撮像された撮像画像３００ａおよび３００ｂを用い、基準となる撮像画像３００ａにおける参照画素３０３を中心とする所定サイズの領域３０１に対応する、探索対象となる撮像画像３００ｂ内の領域３０２を、図中に矢印Ｄで示されるように水平方向に移動させて、探索を行う。このとき、撮像位置の水平方向の高さを一致させると共に撮像方向を一致させて撮像画像３００ａと撮像画像３００ｂとを撮像し、撮像画像３００ａおよび３００ｂを水平方向に対して平行としておく。これにより、撮像画像３００ａ内の画素（参照画素）と対応する箇所を撮像した撮像画像３００ｂ内の画素（対応画素）は、垂直方向の座標が同じ線上に存在することになり、一次元探索により対応画素の探索が可能となり、計算量を抑制することが可能となる。
【0101】
第１の実施形態に係る撮像装置１は、ステレオ法に用いる撮像画像を取得するための撮像体２１ＩＲ1および２１ＩＲ2が垂直方向に整列して配置されている。この場合、図１４（ｂ）に例示されるように、視点を垂直方向にずらして撮像された撮像画像３００ａ’および３００ｂ’を用い、撮像画像３００ａ’内の領域３０１’に対応する撮像画像３００ｂ’内の領域３０２’を、図中に矢印Ｅで示されるように垂直方向に移動させて探索を行う。この場合においても、撮像画像３００ａ’および３００ｂ’の撮像を、水平方向の位置を一致させると共に撮像方向を一致させて行い、撮像画像３００ａ’および３００ｂ’を垂直方向に対して平行としておく。これにより、撮像画像３００ａ’内の参照画素と撮像画像３００ｂ内の対応画素は、水平方向の座標が同じ線上に存在することになり、一次元探索により対応画素の探索が可能となる。
【0102】
なお、第１の実施形態に係る撮像装置１を用いる場合、垂直方向に整列して配置された撮像体２１ＩＲ1および２１ＲＩ2により撮像された撮像画像に基づく２枚の全天球画像に対してステレオ法を適用することになる。第１の実施形態の例では、撮像装置１において、各撮像体２１ＩＲ1および２１ＩＲ2により撮像された撮像画像に基づく球面の情報それぞれを、正距円筒図法（Equi-rectangular）を用いて平面座標に展開することで、２つの全天球画像を生成する。これにより、ステレオ法による対応画素の探索を、図１４（ｂ）に示すような、垂直方向の一次元探索にて実行可能となり、処理が容易となる。
【0103】
なお、正距円筒図法は、垂直方向を緯度に、水平方向を経度にそれぞれ対応させた座標系をとって、球面の情報を平面の座標に変換する投影方法である。これに限らず、第１の実施形態に対し、球面の情報を平面座標に変換する投影方法として、他の投影方法を適用してもよい。
【0104】
マッチング処理部１１１は、基準となる画像（第１の全天球画像と呼ぶ）と、探索対象となる画像（第２の全天球画像と呼ぶ）との間で対応画素を探索し、マッチング処理を行う。対応画素の探索は、様々な方法が知られており、例えば、ブロックマッチング法を適用することができる。
【0105】
ブロックマッチング法は、第１の全天球画像において参照画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。また、第２の全天球画像において、対象画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。画素値に基づき、参照画素を含む領域と、対象画素を含む領域との類似度を計算する。探索対象の画像内でＭ画素×Ｎ画素のブロックを移動させながら類似度を比較し、最も類似度が高くなる位置のブロックにおける対象画素を、参照画素に対応する対応画素とする。
【0106】
類似度は、様々な計算方法により算出できる。例えば、式（１）に示される、正規化相互相関係数（ＮＣＣ）は、コスト関数の１つであって、コストを示す数値ＣNCCの値が大きいほど、類似度が高いことを示す。式（１）において、値ＭおよびＮは、探索を行うための画素ブロックのサイズを表す。また、値Ｉ(ｉ，ｊ)は、基準となる第１の全天球画像における画素ブロック内の画素の画素値を表し、値Ｔ(ｉ，ｊ)は、探索対象となる第２の全天球画像における画素ブロック内の画素値を表す。
【0107】
【数1】
【0108】
マッチング処理部１１１は、図１４（ｂ）を用いて説明したように、第１の全天球画像（撮像画像３００ａ’に対応）における、Ｍ画素×Ｎ画素の画素ブロック（領域３０１’に対応）に対応する、第２の全天球画像（撮像画像３００ｂ’に対応）における画素ブロック（領域３０２’に対応）を、図１４（ｂ）内に矢印Ｅで示されるように垂直方向に例えば画素単位で移動させながら式（１）の計算を実行し、数値ＣNCCを算出する。第２の全天球画像において、数値ＣNCCが最大となる画素ブロックの中心画素を、参照画素に対応する対象画素とする。
【0109】
図１３の説明に戻り、ステップＳ１０２で、３Ｄ情報生成部１１２は、ステップＳ１０１のマッチング処理により求められた、参照画素および対応画素とに基づき、三角法を用いて奥行き値（深度情報）を算出し、第１の全天球画像および第２の全天球画像に係る３次元点群情報を生成する。
【0110】
図１５は、第１の実施形態に適用可能な三角法を説明するための図である。図中のターゲット物体４０３までの距離Ｄを、撮像素子４０２に撮像された画像内の撮像位置情報から算出することが処理の目的である。すなわち、この距離Ｄが、対象となる画素の深度情報に対応する。距離Ｄは、下記の式（２）により計算される。
【0111】
なお、式（２）において、値ｂａｓｅｌｉｎｅは、カメラ４００ａおよび４００ｂ間の基線の長さ（基線長）を表す。撮像装置１の例では、図３および図６に示されるように、撮像体２１ＩＲ1および２１ＩＲ2の間の距離ｄが、値ｂａｓｅｌｉｎｅに対応する。なお、撮像体２１ＩＲ1および撮像体２１ＩＲ2それぞれの光学中心を結ぶ線が、基線を構成する。値ｆは、レンズ４０１の焦点距離を表す。値ｑは、視差を表す。視差ｑは、参照画素と対応画素の座標値の差分に、撮像素子の画素ピッチを乗じた値である。対応画素の座標値は、ステップＳ１０１のマッチング処理の結果に基づき得られる。
【0112】
【数2】
【0113】
この式（２）が、２つのカメラ４００ａおよび４００ｂを利用した場合の距離Ｄの算出方法となる。これは２つのカメラ４００ａおよび４００ｂによりそれぞれ撮像された撮像画像から距離Ｄを算出するものである。第１の実施形態では、この式（２）による算出方法を、撮像体２１ＩＲ1および２１ＩＲ2により撮像された撮像画像に基づく第１の全天球画像および第２の全天球画像に適用して距離Ｄを算出する。
【0114】
３Ｄ情報生成部１１２は、ステップＳ１０２で生成した３次元点群情報を、再投影処理部１１３に渡す。
【0115】
図１３において、次のステップＳ１０３で、取得部１１０は、撮像装置１のメモリ２２１から、可視光領域の光を選択的に撮像した撮像画像を取得する。より具体的には、取得部１１０は、撮像装置１のメモリ２２１から、撮像体２１ＶＬにより撮像された２枚の撮像画像を取得する。取得部１１０は、取得した２枚の撮像画像を、再投影処理部１１３に渡す。再投影処理部１１３は、取得部１１０から渡された２枚の撮像画像を合成して、１枚の全天球画像（可視光全天球画像と呼ぶ）を作成する。
【0116】
ステップＳ１０４で、再投影処理部１１３は、ステップＳ１０２で３Ｄ情報生成部１１２から渡された３次元点群情報を、ステップＳ１０３で取得部１１０から渡された、撮像体２１ＶＬにより撮像された２枚の撮像画像に基づく可視光全天球画像に投影する再投影処理を行う。
【0117】
図１６を用いて、ステップＳ１０４の再投影処理について説明する。図１６において、カメラ中心は、色情報を持つ撮像画像を取得するためのカメラ位置であって、撮像装置１においては、撮像体２１ＶＬの光学中心に対応する。画像３２０は、カメラ中心から撮像された、色情報を持つ撮像画像を示すもので、撮像装置１においては、撮像体２１ＶＬにより撮像された撮像画像に基づく可視光全天球画像に対応する。復元点＃１および＃２は、画像３２０に対応して３次元情報が復元された３次元点群情報における点をそれぞれ示している。
【0118】
また、図１６において、再投影座標＃１は、画像３２０において復元点＃１に対応する位置を示す。同様に、再投影座標＃２は、画像３２０において復元点＃２に対応する位置を示す。再投影処理は、３次元点群情報の各点を画像３２０内の位置が対応する各点に対応付ける処理である。図１６の例では、３次元点群情報における復元点＃１および＃２の座標を、画像３２０内の再投影座標＃１および＃２に変換する処理となる。
【0119】
再投影処理は、３次元点群情報を、画像３２０を撮像したカメラ位置に応じて平行移動した後に、当該画像３２０の画像座標系（２次元スクリーン座標系）に変換することで実現できる。式（３）は、このような再投影処理を行う変換式の例を示す。
【0120】
【数3】
【0121】
式（３）において、右辺の(Ｘ，Ｙ，Ｚ)は、図１６においてカメラ中心として示されるカメラ位置でのカメラ座標系における、３次元点群情報の３次元座標を表す。なお、式（３）においては、値Ｚは図１５の距離Ｄに対応し、奥行き（深度）を示す。また、値(Ｘ，Ｙ)は、それぞれ水平、垂直方向の座標を示している。式（３）における３×３行列は、投影行列と呼ばれる行列であって、値ｆxおよびｆyは、それぞれ(ｘ，ｙ)方向（水平、垂直方向）の焦点距離を示す。また、値ｃxおよびｃyは、それぞれ、光学中心に対する２次元スクリーン座標系の水平、垂直方向のずれ量を表す。左辺は、画像３２０の座標を示し、値(ｕ，ｖ，１)のうち値(ｕ，ｖ)が画像３２０における座標(ｘ，ｙ)に対応する。また、左辺の値λは、比率を示す係数である。
【0122】
図１３の説明に戻り、次のステップＳ１０５で、再投影処理部１１３は、ステップＳ１０４の再投影処理の結果に基づき、可視光全天球画像の色情報を、３次元点群情報に付加する。これは、図１６を参照し、画像３２０における再投影座標＃１および＃２の画素の色情報を、３次元点群情報の復元点＃１および＃２に付加する処理である。
【0123】
すなわち、ステップＳ１０４の再投影処理により、３次元点群情報の各点について、可視光全天球画像に含まれるべき座標が求められたので、この座標に基づき、可視光全天球画像の各画素の色情報を、３次元点群情報の対応する座標に付加する。すなわち、可視光全天球画像の画素の色情報を、当該画素の可視光全天球画像における座標に対応する、３次元点群情報の座標に付加する。
【0124】
ここで、再投影処理により算出された座標は、小数点以下の桁を含む可能性がある。そのため、補間処理により、当該座標において所望の輝度値を得るための、可視光全天球画像における当該座標の周辺の整数座標の画素の画素値を求める。
【0125】
ステップＳ１０５にて色情報を付加された３次元点群情報が、３次元復元モデルとして取得される。取得された３次元復元モデルは、画像処理装置１００から外部に出力してもよいし、ストレージ１００４などに記憶してもよい。
【0126】
以上のように、第１の実施形態では、非可視光領域の光を撮像する撮像体２１ＩＲ1および２１ＩＲ2により撮像された撮像画像に基づき３次元点群情報を求めると共に、可視光領域の光を選択的に撮像する撮像体２１ＶＬにより撮像された撮像画像における各画素の色情報を、求めた３次元点群情報に付加することができる。
【0127】
［第２の実施形態］
次に、第２の実施形態について説明する。上述した第１の実施形態に係る撮像装置１は、それぞれ非可視光領域を含んだ光を撮像する２の撮像体２１ＩＲ1および２１ＩＲ2と、可視光領域の光を選択的に撮像する１の撮像体２１ＶＬを含めて構成されていたが、これはこの例に限られない。第２の実施形態に係る撮像装置は、第１の実施形態の構成に対し、さらに多くの撮像体を含む構成としている。
次に、第２の実施形態について説明する。上述した第１の実施形態に係る撮像装置１は、それぞれ非可視光領域を含んだ光を撮像する２の撮像体２１ＩＲ1および２１ＩＲ2と、可視光領域の光を選択的に撮像する１の撮像体２１ＶＬを含めて構成されていたが、これはこの例に限られない。第２の実施形態に係る撮像装置は、第１の実施形態の構成に対し、さらに多くの撮像体を含む構成としている。
【0128】
【0129】
図１７の例では、撮像装置１’は、図４に示した撮像装置１に対して、可視光領域の光を選択的に撮像するための撮像体２１ＶＬ1および２１ＶＬ2が追加されている。すなわち、撮像装置１’は、可視光領域を含む光を選択的に撮像するための、３の撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2と、非可視光領域の光を撮像するための、２の撮像体２１ＩＲ1および２１ＩＲ2と、を含んでいる。図１７の例では、撮像体２１ＶＬ1は、撮像体２１ＩＲ1の上側に設けられ、撮像体２１ＶＬ2は、撮像体２１ＩＲ2の下側に設けられている。
【0130】
撮像装置１’において、正面方向の各撮像レンズ２０ＶＬa1、２０ＩＲa1、２０ＶＬa、２０ＩＲa2および２０ＶＬa2は、図６（ｂ）と同様に、筐体１０の長辺方向の中心線にレンズ中心を整列させて配置される。同様に、背面方向の各撮像レンズ２０ＶＬb1、２０ＩＲb1、２０ＶＬb、２０ＩＲb2および２０ＶＬb2も、筐体１０の長辺方向の中心線にレンズ中心を整列させて配置される。
【0131】
また、撮像体２１ＶＬ1は、撮像体２１ＶＬと同様に、正面方向の撮像レンズ２０ＶＬa1および撮像素子２００ａ4と、背面方向の撮像レンズ２０ＶＬb1および撮像素子２００ｂ4と、を含む。同様に、撮像体２１ＶＬ2は、正面方向の撮像レンズ２０ＶＬa2および撮像素子２００a5と、背面方向の撮像レンズ２０ＶＬb2および撮像素子２００ｂ5と、を含む。
【0132】
さらに、各撮像体２１ＶＬ1および２１ＶＬ2は、撮像体２１ＶＬと同様に、各撮像レンズ２０ＶＬａ1、２０ＶＬa2、２０ＶＬb1および２０ＶＬb2に、それぞれ可視光領域の光を選択的に透過させるフィルタ２２ＶＬが設けられる。フィルタ２２ＶＬは、これに限らず、フィルタ２２ＶＬを撮像素子２００ａ1および２００ｂ1、ならびに、撮像装置２００ａ5および２００ｂ5に設けてもよいし、フィルタ２２ＶＬを設けずに、画像処理により非可視光領域の成分をカットしてもよい。
【0133】
処理回路基板３１’は、撮像装置１’が含む撮像素子２００ａ1～２００ａ5、および、撮像素子２００ｂ1～２００ｂ5を同期させて撮像駆動するための回路が搭載される。この回路は、図９に示した構成に対して、駆動部およびバッファメモリの組を、追加された４の撮像素子２００ａ4、２００ａ5、２００ｂ4および２００ｂ5に応じて追加した構成となる。処理回路基板３１’は、シャッタボタン３０に対する操作に応じて、撮像素子２００ａ1～２００ａ5、および、撮像素子２００ｂ1～２００ｂ5による撮像を同期して実行させるためのトリガ信号である同期撮像指示信号３２’を出力する。
【0134】
撮像体２１ＶＬ、撮像体２１ＩＲ1および２１ＩＲ2は、第１の実施形態と同様にして、撮像体２１ＩＲ1および２１ＩＲ2による非可視光領域の光を撮像した撮像画像に基づき３次元点群情報を生成する。この３次元点群情報に対して、撮像体２１ＶＬにより可視光領域の光を選択的に撮像した撮像画像に基づき色情報を与え、３次元復元モデルを作成する。
【0135】
第２の実施形態に係る撮像装置１’では、さらに、可視光領域の光を選択的に撮像するための３の撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2により撮像された撮像画像に基づき、マルチベースラインステレオの手法を用いて３次元点群を生成する。
【0136】
すなわち、第２の実施形態に係る撮像装置１’では、可視光領域の光を選択的に撮像するための３の撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2が、筐体１０の中心線上に整列して配置されている。そのため、１直線上に存在する複数の基線を構成することができ、三角法を適用可能な撮像体のペア（ステレオペアと呼ぶ）を複数、形成することができる。図１７の例では、撮像体２１ＶＬ1と撮像体２１ＶＬとによる第１ステレオペア、撮像体２１ＶＬと撮像体ＶＬ2とによる第２ステレオペア、および、撮像体２１ＶＬ1と２１ＶＬ2とによる第３ステレオペア、の３つのステレオペアを形成することが可能である。
【0137】
ここで、基線に重複する部分を含む複数のステレオペアにより、共通する撮像範囲を撮像し、撮像画像に基づきそれぞれ深度情報を求め、各深度情報を合成して３次元点群情報を生成することができる。図１８は、第２の実施形態に適用可能な、複数のステレオペアによる画素の探索処理の例を示す図である。例えば、撮像体２１ＶＬ1、２１ＶＬおよび２１ＶＬ2によりそれぞれ撮像された、全天球画像による撮像画像３００ｄ、３００ｅおよび３００ｆを考える。この場合、撮像画像３００ｄおよび３００ｅ、撮像画像３００ｅおよび３００ｆ、ならびに、撮像画像３００ｄおよび３００ｆにより、それぞれステレオペアの画像（ステレオペア画像と呼ぶ）が形成される。
【0138】
撮像画像３００ｄ、３００ｅおよび３００ｆにおいて、撮像体２１ＶＬ1、２１ＶＬおよび２１ＶＬ2のうち、例えば中央に配置される撮像体２１ＶＬにより撮像された撮像画像３００ｅを、参照画素３３３を含む参照画像とする。参照画素３３３を中心とする所定サイズの領域３３１に対応する、探索対象となる撮像体２１ＶＬ1により撮像された撮像画像３００ｄ内の領域３３２を、図中に矢印Ｆで示されるように垂直方向に移動させて探索を行う。同様に、撮像体２１ＶＬ2により撮像された撮像画像３００ｆを探索対象とし、当該撮像画像３００ｆ内の、領域３３１に対応する領域３３２’を、図中に矢印Ｆ’で示されるように、垂直方向に移動させて探索を行う。領域３３１と、領域３３２および３３２’との対応関係を、図中に直線３４０にて示している。
【0139】
ここで、参照画素３３３に対する対応画素を求める処理は、空間における１点に対応する画素を、撮像体２１ＶＬ1による撮像画像３００ｄと、撮像体ＶＬ2による撮像画像３００ｆと、のそれぞれにおいて探索する処理となる。これは、撮像画像３００ｄおよび３００ｅのステレオペア画像（第１ステレオペア画像とする）と、撮像画像３００ｆおよび３００ｅのステレオペア画像（第２ステレオペア画像とする）とで、共通の奥行き値（距離Ｄ）に対する対応画素の探索処理になる。
【0140】
この、２つのステレオペア画像で距離Ｄが共通となる点を利用して、次の手法を適用できる。すなわち、視差ｑをパラメータとして、対象画像である撮像画像３００ｄおよび３００ｆ内の当該視差ｑに対応する対応画素に基づき、第１ステレオペア画像および第２ステレオペア画像それぞれで類似度すなわちコストを示す数値ＣNCC（以下、コストＣNCCと呼ぶ）を計算する。そして、第１ステレオペア画像について求めたコストＣNCC1と、第２ステレオペア画像について求めたコストＣNCC2とを加算した加算結果ΣＣNCCが最大となる、第１ステレオペア画像および第２ステレオペア画像それぞれにおける視差ｑ1およびｑ2を求める。この方法によれば、単独のステレオペア画像を用いる場合より確実で誤りの少ない各視差ｑ1およびｑ2を求めることが可能となり、より高精度に距離Ｄを算出できる。
【0141】
このように、撮像体２１ＶＬ1、２１ＶＬおよび２１ＶＬ2による各撮像画像を用いて求めた距離Ｄに基づき生成した３次元点群情報と、第１の実施形態で説明した、撮像体２１ＩＲ1、２１ＶＬおよび２１ＩＲ2を用いて、非可視光領域の光を含む撮像画像に基づき生成した３次元点群情報と、を合成して用いることができる。これにより、より多くの点群情報を用いることができ、より高精度に３次元復元モデルを生成可能となる。
【0142】
上述の手法は、基線が重なっていれば、その重なりの点を基準点とした視差ｑをパラメータとすることで、他のステレオペア画像についても適用できる。図１７の撮像装置１’の例では、上述した撮像体２１ＶＬ1および２１ＶＬの各撮像画像による第１ステレオペア画像と、撮像体２１ＶＬおよび２１ＶＬ2の各撮像画像による第２ステレオペア画像に加えて、撮像体２１ＶＬ1および２１ＶＬ2の各撮像画像による第３ステレオペア画像を用いることができる。非可視光領域の光を含めて撮像を行う、撮像体２１ＩＲ1および２１ＩＲ2の各撮像画像によるステレオペア画像を、さらに用いることも可能である。これらにより、さらに多くの点群情報を用いることができ、さらに高精度な３次元復元モデルを生成可能となる。
【0143】
［第２の実施形態の変形例］
図１７に示した撮像装置１’は、可視光領域の光を選択的に撮像する３の撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2と、非可視光領域の光を含めて撮像を行う２の撮像体２１ＩＲ1および２１ＩＲ2と、を有している。そして、撮像装置１’は、撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2と、撮像体２１ＩＲ1および２１ＩＲ2とを交互に配置している。
図１７に示した撮像装置１’は、可視光領域の光を選択的に撮像する３の撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2と、非可視光領域の光を含めて撮像を行う２の撮像体２１ＩＲ1および２１ＩＲ2と、を有している。そして、撮像装置１’は、撮像体２１ＶＬ、２１ＶＬ1および２１ＶＬ2と、撮像体２１ＩＲ1および２１ＩＲ2とを交互に配置している。
【0144】
これはこの例に限定されず、撮像装置に、例えば、非可視光領域の光を含めて撮像を行う３の撮像体と、可視光領域の光を選択的に撮像する２の撮像体とを、交互に配置してもよい。また、撮像体の数は５に限らず、６以上であってもよい。撮像装置に６の撮像体が配置される場合、例えば、非可視光領域の光を含めて撮像を行う３の撮像体と、可視光領域の光を選択的に撮像する３の撮像体と、を交互に配置することが考えられる。
【0145】
なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
【符号の説明】
【0146】
１，１’，５０ａ 撮像装置
１０ 筐体
２０ＩＲa1，２０ＩＲa2，２０ＩＲb1，２０ＩＲb2，２０ＶＬa，２０ＶＬa1，２０ＶＬa2，２０ＶＬb，２０ＶＬb1，２０ＶＬb2 撮像レンズ
２１ＩＲ1，２１ＩＲ2，２１ＶＬ，２１ＶＬ1，２１ＶＬ2 撮像体
２２ＩＲ，２２ＶＬ フィルタ
３０ シャッタボタン
３１，３１’ 処理回路基板
３２，３２’ 同期撮像指示信号
５１ 光源
８０ 非可視光領域の光
８１ パターン
１００ 画像処理装置
１１０ 取得部
１１１ マッチング処理部
１１２ ３Ｄ情報生成部
１１３ 再投影処理部
２００ａ，２００ｂ，２００ａ1，２００ａ2，２００ａ3，２００ａ4，２００ａ5，２００ｂ1，２００ｂ2，２００ｂ3，２００ｂ4，２００ｂ5 撮像素子
２２０ 制御部
２２１ メモリ
２２２ スイッチ
３００ａ，３００ｂ，３００ａ’，３００ｂ’，３００ｄ，３００ｅ，３００ｆ 撮像画像
３０１，３０２，３３１，３３２，３３２’ 領域
３０３，３３３ 参照画素
１０ 筐体
２０ＩＲa1，２０ＩＲa2，２０ＩＲb1，２０ＩＲb2，２０ＶＬa，２０ＶＬa1，２０ＶＬa2，２０ＶＬb，２０ＶＬb1，２０ＶＬb2 撮像レンズ
２１ＩＲ1，２１ＩＲ2，２１ＶＬ，２１ＶＬ1，２１ＶＬ2 撮像体
２２ＩＲ，２２ＶＬ フィルタ
３０ シャッタボタン
３１，３１’ 処理回路基板
３２，３２’ 同期撮像指示信号
５１ 光源
８０ 非可視光領域の光
８１ パターン
１００ 画像処理装置
１１０ 取得部
１１１ マッチング処理部
１１２ ３Ｄ情報生成部
１１３ 再投影処理部
２００ａ，２００ｂ，２００ａ1，２００ａ2，２００ａ3，２００ａ4，２００ａ5，２００ｂ1，２００ｂ2，２００ｂ3，２００ｂ4，２００ｂ5 撮像素子
２２０ 制御部
２２１ メモリ
２２２ スイッチ
３００ａ，３００ｂ，３００ａ’，３００ｂ’，３００ｄ，３００ｅ，３００ｆ 撮像画像
３０１，３０２，３３１，３３２，３３２’ 領域
３０３，３３３ 参照画素
【先行技術文献】
【特許文献】
【0147】
【文献】特開２０１３－２１８２７８号公報
【文献】米国特許出願公開第２０１４／０１３２５０１号明細書
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】