特許 7526077 三次元形状計測装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-23

(45)【発行日】2024-07-31

(54)【発明の名称】三次元形状計測装置及びプログラム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20240724BHJP

   G01B 11/245 20060101ALI20240724BHJP

【ＦＩ】

G06T7/593

G01B11/245 H

【請求項の数】 5

(21)【出願番号】P 2020187466

(22)【出願日】2020-11-10

(65)【公開番号】P2022076850

(43)【公開日】2022-05-20

【審査請求日】2023-10-02

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０００－３３１１６０（ＪＰ，Ａ）

【文献】特開２００８－０１５８６３（ＪＰ，Ａ）

【文献】特開２００３－２０９８５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

複数の視点のそれぞれから観測された画像を視点画像とし、複数の視点のそれぞれから見た被写体の内外を区別した画像をマスク画像として、前記複数の視点の前記視点画像及び前記複数の視点の前記マスク画像を用いて、所定の計測視点から見た方向毎の前記被写体までの奥行き値または距離値を深度として求めることで、前記計測視点から見た前記方向毎の前記深度を、前記被写体の三次元形状情報として計測する三次元形状計測装置において、
前記方向を走査し、方向情報を出力する方向走査部と、
前記深度を走査し、深度情報を出力する深度走査部と、
前記方向走査部により出力された前記方向情報及び前記深度走査部により出力された前記深度情報を、三次元空間上の一点の世界座標に逆投影する逆投影部と、
前記逆投影部により逆投影された前記世界座標を、前記マスク画像における前記複数の視点のそれぞれから観測される画像座標に投影し、前記画像座標を、前記マスク画像における前記複数の視点のそれぞれに対応する第一投影像座標として出力する第一投影部と、
前記マスク画像における前記複数の視点のそれぞれについて、前記第一投影部により出力された当該視点に対応する前記第一投影像座標の示す点が、当該視点に対応する前記マスク画像における前記被写体の領域の内部にあるか否かを判定し、判定結果を出力するマスク内外判定部と、
前記マスク内外判定部により出力された前記マスク画像における前記複数の視点のそれぞれの前記判定結果に基づいて、前記方向情報及び前記深度情報に対応する前記世界座標の示す点が、前記マスク画像における前記複数の視点の交差視体積の内部にあるか否かを判定し、総合判定結果を出力する交差視体積内外判定部と、
前記逆投影部により逆投影された前記世界座標を、前記視点画像における前記複数の視点のそれぞれから観測される画像座標に投影し、前記画像座標を、前記視点画像における前記複数の視点のそれぞれに対応する第二投影像座標として出力するための投影処理を行う第二投影部と、
前記視点画像における前記複数の視点のそれぞれについて、当該視点の前記視点画像から、前記第二投影部により出力された当該視点に対応する前記第二投影像座標を含む所定数の画素からなる部分画像領域をブロックとして切り出すための切出処理を行うブロック切出部と、
前記ブロック切出部により切り出された前記視点画像における前記複数の視点のそれぞれの前記ブロックについて、前記ブロックの間の類似性または相違性を定量化した評価値を求めるための照合処理を行う照合部と、
前記照合部により求めた前記評価値に基づいて、前記方向走査部により出力された前記方向につき、前記深度走査部により出力された複数の前記深度のうち、最も評価の高い前記深度を最適な深度として特定する最適化部と、
前記方向走査部により出力された前記方向毎に、前記最適化部により特定された前記最適な深度を記憶する記憶部と、を備え、
前記交差視体積内外判定部により出力された前記総合判定結果が、前記世界座標の示す点が前記交差視体積の内部にあることを示している場合、前記第二投影部は前記投影処理を、前記ブロック切出部は前記切出処理を、前記照合部は前記照合処理をそれぞれ行い、前記深度走査部は、前記照合部による前記照合処理が完了したときに、前記深度の走査により次の前記深度情報を出力し、
前記総合判定結果が、前記世界座標の示す点が前記交差視体積の内部にないことを示している場合、前記第二投影部は前記投影処理を、前記ブロック切出部は前記切出処理を、前記照合部は前記照合処理をそれぞれ行わず、前記深度走査部は、前記深度の走査により次の前記深度情報を出力する、ことを特徴とする三次元形状計測装置。

【請求項2】

複数の視点のそれぞれから観測された画像を視点画像とし、前記複数の視点のそれぞれから見た被写体の内外を区別した画像をマスク画像として、前記複数の視点の前記視点画像及び前記マスク画像を用いて、所定の計測視点から見た方向毎の前記被写体までの奥行き値または距離値を深度として求めることで、前記所定の計測視点から見た前記方向毎の前記深度を、前記被写体の三次元形状情報として計測する三次元形状計測装置において、
前記方向を走査し、方向情報を出力する方向走査部と、
前記深度を走査し、深度情報を出力する深度走査部と、
前記方向走査部により出力された前記方向情報及び前記深度走査部により出力された前記深度情報を、三次元空間上の一点の世界座標に逆投影する逆投影部と、
前記逆投影部により逆投影された前記世界座標を、前記複数の視点のそれぞれから観測される画像座標に投影し、前記画像座標を、前記複数の視点のそれぞれに対応する投影像座標として出力する投影部と、
前記複数の視点のそれぞれについて、前記投影部により出力された当該視点に対応する前記投影像座標の示す点が、当該視点に対応する前記マスク画像における前記被写体の領域の内部にあるか否かを判定し、判定結果を出力するマスク内外判定部と、
前記マスク内外判定部により出力された前記複数の視点のそれぞれの前記判定結果に基づいて、前記方向情報及び前記深度情報に対応する前記世界座標の示す点が、前記複数の視点の交差視体積の内部にあるか否かを判定し、総合判定結果を出力する交差視体積内外判定部と、
前記複数の視点のそれぞれについて、当該視点の前記視点画像及び前記マスク画像から、前記投影部により出力された当該視点に対応する前記投影像座標を含む所定数の画素からなる部分画像領域を、それぞれ第一ブロック及び第二ブロックとして切り出すための切出処理を行うブロック切出部と、
前記ブロック切出部により切り出された前記複数の視点のそれぞれの前記第一ブロックについて、前記第二ブロックの前記所定数の画素のうち前記被写体の外に区別された前記画素を除外して、前記第一ブロックの間の類似性または相違性を定量化した評価値を求めるための照合処理を行う照合部と、
前記照合部により求めた前記評価値に基づいて、前記方向走査部により出力された前記方向につき、前記深度走査部により出力された複数の前記深度のうち、最も評価の高い前記深度を最適な深度として特定する最適化部と、
前記方向走査部により出力された前記方向毎に、前記最適化部により特定された前記最適な深度を記憶する記憶部と、を備え、
前記交差視体積内外判定部により出力された前記総合判定結果が、前記世界座標の示す点が前記交差視体積の内部にあることを示している場合、前記ブロック切出部は前記切出処理を、前記照合部は前記照合処理をそれぞれ行い、前記深度走査部は、前記照合部による前記照合処理が完了したときに、前記深度の走査により次の前記深度情報を出力し、
前記総合判定結果が、前記世界座標が前記交差視体積の内部にないことを示している場合、前記ブロック切出部は前記切出処理を、前記照合部は前記照合処理をそれぞれ行わず、前記深度走査部は、前記深度の走査により次の前記深度情報を出力する、ことを特徴とする三次元形状計測装置。

【請求項3】

請求項１に記載の三次元形状計測装置において、
前記計測視点を、前記マスク画像における前記複数の視点のうちのいずれか一つの視点とし、
前記第一投影部は、
前記逆投影部により逆投影された前記世界座標を、前記マスク画像における前記複数の視点のうち前記計測視点を除く前記視点から観測される画像座標に投影し、前記画像座標を前記第一投影像座標として出力し、
前記マスク内外判定部は、
前記マスク画像における前記複数の視点のうち前記計測視点を除く前記視点について、前記第一投影部により出力された前記第一投影像座標の示す点が前記被写体の領域の内部にあるか否かを判定し、前記判定結果を出力し、
前記計測視点について、前記方向走査部により出力された前記方向情報の示す画像座標が前記被写体の領域の内部にあるか否かを判定し、前記判定結果を出力する、ことを特徴とする三次元形状計測装置。

【請求項4】

請求項１に記載の三次元形状計測装置において、
前記計測視点を、前記視点画像における前記複数の視点のうちのいずれか一つの視点とし、
前記第二投影部は、
前記逆投影部により逆投影された前記世界座標を、前記視点画像における前記複数の視点のうち前記計測視点を除く前記視点から観測される画像座標に投影し、前記画像座標を前記第二投影像座標として出力するための前記投影処理を行い、
前記ブロック切出部は、
前記視点画像における前記複数の視点のうち前記計測視点を除く前記視点について、当該視点の前記視点画像から、前記第二投影部により出力された当該視点に対応する前記第二投影像座標を含む前記所定数の画素からなる前記ブロックを切り出し、
前記計測視点について、当該計測視点の前記視点画像から、前記方向走査部により出力された前記方向情報の示す画像座標を含む前記所定数の画素からなる前記ブロックを切り出すための前記切出処理を行う、ことを特徴とする三次元形状計測装置。

【請求項5】

コンピュータを、請求項１から４までのいずれか一項に記載の三次元形状計測装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の視点から観測された画像を用いて、三次元形状の計測を行う三次元形状計測装置及びプログラムに関する。

【背景技術】

【0002】

従来、複数の視点から観測された画像を用いて三次元形状を計測する手法として、ステレオ法、視体積交差法等が知られている。

【0003】

ステレオ法は、複数の視点で撮影された画像を用いて、画像内のブロックまたは特徴点の対応付けを画像間で行い、対応付けられた点までの距離を三角測量の原理によって求めることで、三次元形状を計測するものである。

【0004】

視体積交差法は、複数の視点で撮影された画像を用いて、被写体の内外を判定したシルエット画像をそれぞれ生成し、各シルエット画像を三次元の計測空間に逆投影し、全ての部分領域について集合積を演算することで、三次元形状を計測するものである。

【0005】

これらのステレオ法及び視体積交差法は、独立した三次元形状計測法として扱われる（例えば特許文献１を参照）。

【0006】

また、複数の三次元形状計測法を組み合わせ、その結果を相補的に統合することで、三次元形状の精度を向上する技術が提案されている（例えば特許文献２を参照）。

【0007】

また、ステレオ法及び視体積交差法を用いて、三次元形状を計測する技術も提案されている（例えば非特許文献１を参照）。

【0008】

この技術においては、まず、視体積交差法により被写体の三次元形状の近似モデルを求める。そして、ステレオ法により、視体積交差法にて求めた三次元形状の近似モデルの範囲を探索範囲として、所定の視点で撮影された画像の画像座標点の奥行き値を求め、被写体の三次元形状を求める。

【先行技術文献】

【特許文献】

【0009】

【文献】特許第４４０６６９５号公報

【文献】特許第５９１３９０３号公報

【非特許文献】

【0010】

【文献】冨山仁博、他３名、“視体積交差法とステレオマッチング法を用いた多視点画像からの３次元動オブジェクト生成手法”、映像情報メディア学会誌、vol.58、no.6、pp.797-806、2004年

【発明の概要】

【発明が解決しようとする課題】

【0011】

前述のステレオ法においては、画像間の対応付けを行うために、相互相関最大化または誤差最小化によるブロックマッチングを行い、各視点の画像から特徴的な点を抽出する必要がある。

【0012】

しかしながら、前者のブロックマッチングの処理は、演算量が大きいという短所がある。また、後者の特徴的な点を抽出する処理は、ぼやけたテクスチャまたはコントラストの低いテクスチャに対する適切な抽出が困難となり、画像間の対応付けが正しく行われない可能性がある。

【0013】

また、ステレオ法においては、画像内に繰り返しの模様等が存在する場合、例えば類似性を有するテクスチャの被写体及び背景が存在する場合には、誤対応を生じ、誤った三次元形状が計測される可能性がある。

【0014】

一方、前述の視体積交差法においては、原理的に得られる三次元形状が、実際の形状に外接する複数の錐の集合積となり、実際の形状の表面を必ずしも反映しない。とりわけ、視点数が十分でない場合には形状精度が低下する。被写体に窪みがある場合も、正しい形状を計測することが難しい。

【0015】

また、視体積交差法においては、被写体の存在する空間を三次元的に区分し、各区画について被写体の内外判定を行うこととなる。このため、視体積交差法の演算には、膨大なメモリ及び演算コストを要する。

【0016】

前述のステレオ法においては、カメラ間の距離（ベースライン長または基線長）が被写体までの距離に比して長いほど、画像上での被写体の歪が大きくなり、誤対応となる。また、画像における被写体輪郭付近は、被写体及び背景の間で奥行きの不連続（ジャンプエッジ）があること、異なるテクスチャが隣接すること、視点によって見え隠れが異なること等に起因して、計測結果が不安定になることがある。

【0017】

一方、前述の視体積交差法においては、基線長が短い場合、奥行き方向に関して形状を十分に制約することができず、誤差が大きくなる。逆に、基線長が長く、被写体に回り込んで撮影することができれば、効果的に形状を制約することができる。

【0018】

また、前述の特許文献２の技術においては、複数の三次元形状計測法を相補的に組み合わせ、各三次元形状計測法の得意とする計測条件を考慮して手法を切り替えることで、三次元形状の精度の向上を図るものである。このため、この技術では、相補的に演算コストを抑えるようには設計されていない。

【0019】

また、前述の非特許文献１の技術においては、最初に視体積交差法により三次元形状の近似モデルを求め、その後に、ステレオ法により、視体積交差法にて求めた三次元形状の近似モデルに基づいた探索範囲内で、奥行き値を求める。

【0020】

しかしながら、前述のとおり、視体積交差法により三次元形状を求める処理は、膨大なメモリ及び演算コストを必要とする。このため、非特許文献１の技術では、全体としてメモリ量を少なくし、演算コストを下げることができないという問題があった。

【0021】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、複数の視点から観測された画像を用いて三次元形状を計測する際に、ステレオ法における奥行き探索を、視体積交差法により得られる交差視体積に限定することで、演算コストを下げると共に、精度及び頑健性を向上させる三次元形状計測装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0022】

前記課題を解決するために、請求項１の三次元形状計測装置は、複数の視点のそれぞれから観測された画像を視点画像とし、複数の視点のそれぞれから見た被写体の内外を区別した画像をマスク画像として、前記複数の視点の前記視点画像及び前記複数の視点の前記マスク画像を用いて、所定の計測視点から見た方向毎の前記被写体までの奥行き値または距離値を深度として求めることで、前記計測視点から見た前記方向毎の前記深度を、前記被写体の三次元形状情報として計測する三次元形状計測装置において、前記方向を走査し、方向情報を出力する方向走査部と、前記深度を走査し、深度情報を出力する深度走査部と、前記方向走査部により出力された前記方向情報及び前記深度走査部により出力された前記深度情報を、三次元空間上の一点の世界座標に逆投影する逆投影部と、前記逆投影部により逆投影された前記世界座標を、前記マスク画像における前記複数の視点のそれぞれから観測される画像座標に投影し、前記画像座標を、前記マスク画像における前記複数の視点のそれぞれに対応する第一投影像座標として出力する第一投影部と、前記マスク画像における前記複数の視点のそれぞれについて、前記第一投影部により出力された当該視点に対応する前記第一投影像座標の示す点が、当該視点に対応する前記マスク画像における前記被写体の領域の内部にあるか否かを判定し、判定結果を出力するマスク内外判定部と、前記マスク内外判定部により出力された前記マスク画像における前記複数の視点のそれぞれの前記判定結果に基づいて、前記方向情報及び前記深度情報に対応する前記世界座標の示す点が、前記マスク画像における前記複数の視点の交差視体積の内部にあるか否かを判定し、総合判定結果を出力する交差視体積内外判定部と、前記逆投影部により逆投影された前記世界座標を、前記視点画像における前記複数の視点のそれぞれから観測される画像座標に投影し、前記画像座標を、前記視点画像における前記複数の視点のそれぞれに対応する第二投影像座標として出力するための投影処理を行う第二投影部と、前記視点画像における前記複数の視点のそれぞれについて、当該視点の前記視点画像から、前記第二投影部により出力された当該視点に対応する前記第二投影像座標を含む所定数の画素からなる部分画像領域をブロックとして切り出すための切出処理を行うブロック切出部と、前記ブロック切出部により切り出された前記視点画像における前記複数の視点のそれぞれの前記ブロックについて、前記ブロックの間の類似性または相違性を定量化した評価値を求めるための照合処理を行う照合部と、前記照合部により求めた前記評価値に基づいて、前記方向走査部により出力された前記方向につき、前記深度走査部により出力された複数の前記深度のうち、最も評価の高い前記深度を最適な深度として特定する最適化部と、前記方向走査部により出力された前記方向毎に、前記最適化部により特定された前記最適な深度を記憶する記憶部と、を備え、前記交差視体積内外判定部により出力された前記総合判定結果が、前記世界座標の示す点が前記交差視体積の内部にあることを示している場合、前記第二投影部が前記投影処理を、前記ブロック切出部が前記切出処理を、前記照合部が前記照合処理をそれぞれ行い、前記深度走査部が、前記照合部による前記照合処理が完了したときに、前記深度の走査により次の前記深度情報を出力し、前記総合判定結果が、前記世界座標の示す点が前記交差視体積の内部にないことを示している場合、前記第二投影部が前記投影処理を、前記ブロック切出部が前記切出処理を、前記照合部が前記照合処理をそれぞれ行わず、前記深度走査部が、前記深度の走査により次の前記深度情報を出力する、ことを特徴とする。

【0023】

また、請求項２の三次元形状計測装置は、複数の視点のそれぞれから観測された画像を視点画像とし、前記複数の視点のそれぞれから見た被写体の内外を区別した画像をマスク画像として、前記複数の視点の前記視点画像及び前記マスク画像を用いて、所定の計測視点から見た方向毎の前記被写体までの奥行き値または距離値を深度として求めることで、前記所定の計測視点から見た前記方向毎の前記深度を、前記被写体の三次元形状情報として計測する三次元形状計測装置において、前記方向を走査し、方向情報を出力する方向走査部と、前記深度を走査し、深度情報を出力する深度走査部と、前記方向走査部により出力された前記方向情報及び前記深度走査部により出力された前記深度情報を、三次元空間上の一点の世界座標に逆投影する逆投影部と、前記逆投影部により逆投影された前記世界座標を、前記複数の視点のそれぞれから観測される画像座標に投影し、前記画像座標を、前記複数の視点のそれぞれに対応する投影像座標として出力する投影部と、前記複数の視点のそれぞれについて、前記投影部により出力された当該視点に対応する前記投影像座標の示す点が、当該視点に対応する前記マスク画像における前記被写体の領域の内部にあるか否かを判定し、判定結果を出力するマスク内外判定部と、前記マスク内外判定部により出力された前記複数の視点のそれぞれの前記判定結果に基づいて、前記方向情報及び前記深度情報に対応する前記世界座標の示す点が、前記複数の視点の交差視体積の内部にあるか否かを判定し、総合判定結果を出力する交差視体積内外判定部と、前記複数の視点のそれぞれについて、当該視点の前記視点画像及び前記マスク画像から、前記投影部により出力された当該視点に対応する前記投影像座標を含む所定数の画素からなる部分画像領域を、それぞれ第一ブロック及び第二ブロックとして切り出すための切出処理を行うブロック切出部と、前記ブロック切出部により切り出された前記複数の視点のそれぞれの前記第一ブロックについて、前記第二ブロックの前記所定数の画素のうち前記被写体の外に区別された前記画素を除外して、前記第一ブロックの間の類似性または相違性を定量化した評価値を求めるための照合処理を行う照合部と、前記照合部により求めた前記評価値に基づいて、前記方向走査部により出力された前記方向につき、前記深度走査部により出力された複数の前記深度のうち、最も評価の高い前記深度を最適な深度として特定する最適化部と、前記方向走査部により出力された前記方向毎に、前記最適化部により特定された前記最適な深度を記憶する記憶部と、を備え、前記交差視体積内外判定部により出力された前記総合判定結果が、前記世界座標の示す点が前記交差視体積の内部にあることを示している場合、前記ブロック切出部が前記切出処理を、前記照合部が前記照合処理をそれぞれ行い、前記深度走査部が、前記照合部による前記照合処理が完了したときに、前記深度の走査により次の前記深度情報を出力し、前記総合判定結果が、前記世界座標が前記交差視体積の内部にないことを示している場合、前記ブロック切出部が前記切出処理を、前記照合部が前記照合処理をそれぞれ行わず、前記深度走査部が、前記深度の走査により次の前記深度情報を出力する、ことを特徴とする。

【0024】

また、請求項３の三次元形状計測装置は、請求項１に記載の三次元形状計測装置において、前記計測視点を、前記マスク画像における前記複数の視点のうちのいずれか一つの視点とし、前記第一投影部が、前記逆投影部により逆投影された前記世界座標を、前記マスク画像における前記複数の視点のうち前記計測視点を除く前記視点から観測される画像座標に投影し、前記画像座標を前記第一投影像座標として出力し、前記マスク内外判定部が、前記マスク画像における前記複数の視点のうち前記計測視点を除く前記視点について、前記第一投影部により出力された前記第一投影像座標の示す点が前記被写体の領域の内部にあるか否かを判定し、前記判定結果を出力し、前記計測視点について、前記方向走査部により出力された前記方向情報の示す画像座標が前記被写体の領域の内部にあるか否かを判定し、前記判定結果を出力する、ことを特徴とする。

【0025】

また、請求項４の三次元形状計測装置は、請求項１に記載の三次元形状計測装置において、前記計測視点を、前記視点画像における前記複数の視点のうちのいずれか一つの視点とし、前記第二投影部が、前記逆投影部により逆投影された前記世界座標を、前記視点画像における前記複数の視点のうち前記計測視点を除く前記視点から観測される画像座標に投影し、前記画像座標を前記第二投影像座標として出力するための投影処理を行い、前記ブロック切出部が、前記視点画像における前記複数の視点のうち前記計測視点を除く前記視点について、当該視点の前記視点画像から、前記第二投影部により出力された当該視点に対応する前記第二投影像座標を含む前記所定数の画素からなる前記ブロックを切り出し、前記計測視点について、当該計測視点の前記視点画像から、前記方向走査部により出力された前記方向情報の示す画像座標を含む前記所定数の画素からなる前記ブロックを切り出す、ことを特徴とする。

【0026】

さらに、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の三次元形状計測装置として機能させることを特徴とする。

【発明の効果】

【0027】

以上のように、本発明によれば、複数の視点から観測された画像を用いて三次元形状を計測する際に、ステレオ法における奥行き探索を、視体積交差法により得られる交差視体積に限定することで、演算コストを下げると共に、精度及び頑健性を向上させることができる。

【図面の簡単な説明】

【0028】

【図1】実施例１の三次元形状計測装置の構成例を示すブロック図である。

【図2】画像座標系、カメラ座標系Σ⁽ⁿ⁾及び世界座標系Σ^(w)を説明する図である。

【図3】計測視点の画像座標系及びカメラ座標系Σ⁽⁰⁾を説明する図である。

【図4】三次元形状計測装置の処理の概要を説明する図である。

【図5】三次元形状計測装置の処理例を示すフローチャートである。

【図6】投影マスク判定部の構成例を示すブロック図である。

【図7】投影切出部の構成例を示すブロック図である。

【図8】集合Ｃの例を示す図である。

【図9】実施例２の三次元形状計測装置の構成例を示すブロック図である。

【図10】投影切出マスク判定部（実施例２）の構成例を示すブロック図である。

【図11】実施例３の三次元形状計測装置の構成例を示すブロック図である。

【図12】投影切出マスク判定部（実施例３）の構成例を示すブロック図である。

【発明を実施するための形態】

【0029】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔実施例１〕
まず、実施例１の三次元形状計測装置について説明する。図１は、実施例１の三次元形状計測装置の構成例を示すブロック図である。

【0030】

この三次元形状計測装置１は、画像（方向）走査部１０、深度走査部１１、逆投影部１２、投影マスク判定部１３、交差視体積内外判定部１４、投影切出部１５、照合部１６、最適化部１７及び記憶部１８を備えている。

【0031】

三次元形状計測装置１は、複数の視点から観測された画像を入力すると共に、複数の視点から計測された被写体形状を表す（被写体の内外を区別した）マスク画像を入力し、画像及びマスク画像に基づいて、三次元形状情報を計測して出力する。

【0032】

（画像及びマスク画像）
前記画像は、グレースケール画像であってもよいし、カラー画像、多バンド画像のように画素毎に複数のコンポーネントを有する信号であっても構わない。また、画像は、デジタルカメラによって撮影されたスチル画像または動画像のフレームであってもよいし、銀塩カメラによって撮影されたスチル画像または動画像のフレームをデジタル化したものであっても構わない。

【0033】

前記マスク画像は、計測した視点から見た方向毎に被写体内であるか否かを判定した信号であり、典型的には二値画像である。マスク画像の各画素の位置が、前記方向に対応し、当該画素の値（画素値）として被写体の内外に応じて異なる値が設定されるものとする。例えば、マスク画像において、被写体外の画素には画素値０を、被写体内の画素には画素値１を、それぞれ設定するものとする。

【0034】

また、マスク画像は、デジタルカメラにより撮影した画像（銀塩カメラの画像をデジタル化したものを含む）に対して画像処理を行い、被写体内外を判別することで生成してもよい。この場合、前記画像を取得するためのカメラを、マスク画像生成用のカメラとして共用しても構わない。

【0035】

マスク画像の生成法としては、例えばクロマキー法またはルミナンスキー法（以下、「クロマキー法等」という。）を用いることができる。クロマキー法等による場合、被写体の背後に特定の色または輝度の背景（例えば、布または紙）を設置する。クロマキー法等では、撮影された画像の画素値が特定の色や輝度の範囲にある場合には、当該画素を被写体外と判断し、それ以外の場合には被写体内と判断する（用途または被写体によっては、被写体内及び被写体外を逆に扱うように運用してもよい）。

【0036】

また、マスク画像の生成法の他の方法として、背景差分法を用いることもできる。背景差分法では、予め被写体の写っていない背景のみの画像（背景画像）を撮影しておき（または、時々刻々、統計処理等によって被写体を消して背景のみを残した背景画像を生成し）、処理対象の画像と背景画像との間の差の大小を判定することで、前記差が大きい画素を被写体内、それ以外の画素を被写体外と判断する。

【0037】

クロマキー法等による結果または背景差分法による結果に対し、フィルタ処理を行い、その結果をマスク画像としてもよい。フィルタ処理としては、例えば、局所的な順序統計フィルタ（中央値フィルタ等）を用いてもよいし、モルフォロジフィルタを用いてもよい。また、複数時点での処理結果に対して時間方向のフィルタを適用し、その結果をマスク画像としてもよい。

【0038】

前述の複数の手法を用いて、被写体内外の判断結果の間で演算（例えばブール代数による演算）を行い、その結果をマスク画像としてもよい。

【0039】

また、ニューラルネットワーク等による人工知能を用いて、画像から被写体内外を判定した結果をマスク画像としてもよい。また、遠赤外線センサまたはミリ波レーダーを用いて、マスク画像を生成してもよい。

【0040】

さらに、距離センサを用いてマスク画像を生成してもよい。距離センサとしては、例えば、２次元走査型のLiDARまたはTOF（Time Of Flight）センサを用いることができる。この場合、例えば、距離値が所定の範囲内にあるか否かに応じて被写体内外を判定する方法によることができる。

【0041】

尚、前記画像及び前記マスク画像の投影法は、当該画像を撮影及び計測した視点からの方向毎に、被写体からの電磁波（光等）または音波、素粒子（ミューオン等）の強度、エネルギー等を記録したものである限り、いかなる手法によってもよい。例えば、投影法としてピンホールモデルによる透視投影を用いてもよいし、魚眼投影、正距円筒図法（equi-rectangular法）による投影を行うものであっても構わない。また、画像及びマスク像において、投影法は異なってもよいし、同一であってもよい。

【0042】

以下、第ｎ視点すなわち視点ｎ（ｎは１以上Ｎ以下の整数、Ｎは２以上の整数）における画像を第ｎ視点画像Ｉ⁽ⁿ⁾、マスク画像を第ｎ視点マスク画像Ｍ⁽ⁿ⁾とする。また、画像座標ｑ^→＝［ξ，η］^Tにおける画素値は、例えばＩ（ｑ^→）のように画像座標ｑ^→を後置することで表す。

【0043】

三次元形状計測装置１の出力する三次元形状情報は、所定の視点（以下、「計測視点」という。）から観測した方向毎の深度（例えば奥行き値ｄ）を画像表現した深度画像（デプスマップ）Ｄとして表現する。

【0044】

（画像座標系、カメラ座標系Σ⁽ⁿ⁾及び世界座標系Σ^(w)等の定義）
図２は、画像座標系、カメラ座標系Σ⁽ⁿ⁾及び世界座標系Σ^(w)を説明する図であり、図３は、計測視点の画像座標系及びカメラ座標系Σ⁽⁰⁾を説明する図である。

【0045】

視点ｎは第一光学主点であり、視点ｎの画像座標系は、ξ⁽ⁿ⁾及びη⁽ⁿ⁾の２軸で表すものとする。また、視点ｎに設けられたカメラに固定した座標系をカメラ座標系Σ⁽ⁿ⁾とし、カメラ座標系Σ⁽ⁿ⁾は、ｘ⁽ⁿ⁾、ｙ⁽ⁿ⁾及びｚ⁽ⁿ⁾の３軸で表し、この順に右手系をなすものとする。ｘ⁽ⁿ⁾軸はξ⁽ⁿ⁾軸と平行かつ同じ向き、ｙ⁽ⁿ⁾軸はη⁽ⁿ⁾軸と平行かつ同じ向き、ｚ⁽ⁿ⁾軸は被写体方向へ向けた視点ｎの光軸方向にとるものとする。

【0046】

また、カメラの撮像素子の水平及び垂直の画素サイズをｐ_x ⁽ⁿ⁾，ｐ_y ⁽ⁿ⁾、光軸と画像平面の交点の画像座標を［ｃ_ξ ⁽ⁿ⁾，ｃ_η ⁽ⁿ⁾］^Tとし、カメラのレンズの焦点距離をｆ⁽ⁿ⁾とする。

【0047】

また、被写体の形状を計測する空間の座標系を世界座標系Σ^(w)とし、世界座標系Σ^(w)は、Ｘ、Ｙ及びＺの３軸で表し、この順に右手系をなすものとする。

【0048】

カメラ座標系Σ⁽ⁿ⁾の原点の位置Ｏ⁽ⁿ⁾は、世界座標系Σ^(w)の原点の位置Ｏ^(w)を基準にして、方向ベクトルｔ_n ^{→ (w)}の位置にあるものとする。また、カメラ座標系Σ⁽ⁿ⁾の姿勢は、回転行列Ｒ_n ^(w)により表されるものとする。この回転行列Ｒ_n ^(w)は、カメラ座標系Σ⁽ⁿ⁾における任意の方向ベクトルに対して左側から当該回転行列Ｒ_n ^(w)を乗算することにより、世界座標系Σ^(w)における方向ベクトルに変換するための行列である。

【0049】

以下、視点ｎのカメラ座標系Σ⁽ⁿ⁾で観測したベクトル及び視点ｎの画像座標には、上付き添え字の（ｎ）を付し、世界座標系Σ^(w)で観測したベクトルには、上付き添え字の（ｗ）を付すものとする（混乱のない場合には省略する）。

【0050】

図３を参照して、深度画像Ｄについても、第ｎ視点画像Ｉ⁽ⁿ⁾と同様に画像座標系で扱い、この視点を計測視点（視点０、第一光学主点）として扱う。また、画像座標ｑ^→(0)＝［ξ⁽⁰⁾，η⁽⁰⁾］^T（図３のα２）は、計測視点から見た方向の画像平面の座標であり、深度画像Ｄの画素値Ｄ（ｑ^→(0)）は、当該方向の奥行き値ｄを表すものとする。

【0051】

深度画像Ｄの画像座標に前記方向を対応付ける方法は如何なるものであっても構わないが、例えば、透視投影、魚眼投影または正距円筒図法のような通常の画像同様の対応付けを行う方法によることができる。

【0052】

（処理の概要）
次に、図１に示した三次元形状計測装置１の処理の概要について説明する。図１を参照して、三次元形状計測装置１は、複数の視点（第一視点～第三視点）のそれぞれから観測された視点画像（第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾）を入力する。また、三次元形状計測装置１は、複数の視点（第四視点～第六視点）のそれぞれから見た被写体の内外を区別したマスク画像（第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾）を入力する。さらに、三次元形状計測装置１は、複数の視点（第一視点～第六視点）に設けられたカメラのカメラパラメータ（第一視点カメラパラメータｐ^→(1)～第六視点カメラパラメータｐ^→(6)）及び計測視点のカメラパラメータ（計測視点カメラパラメータｐ^→(0)）を入力する。

【0053】

三次元形状計測装置１は、複数の視点の視点画像（第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾）を用いたステレオ法における奥行き探索を、複数の視点のマスク画像（第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾）を用いた視体積交差法にて得られる交差視体積内に限定して、被写体の奥行き値ｄを求め、深度画像Ｄの三次元形状情報を出力する。

【0054】

図４は、図１に示した三次元形状計測装置１の処理の概要を説明する図である。図４において、第三視点から観測される第三視点画像Ｉ⁽³⁾及び第六視点から見た第六視点マスク画像Ｍ⁽⁶⁾は省略してある。

【0055】

まず、三次元形状計測装置１は、計測視点から被写体へ向けた方向の視線上において、奥行き値ｄを走査する（ステップＳ４０１）。

【0056】

三次元形状計測装置１は、視体積交差法の処理において、奥行き値ｄの点αを第四視点～第六視点に投影する（ステップＳ４０２）。

【0057】

三次元形状計測装置１は、第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾上において、当該奥行き値ｄの点αの投影座標による内外判定を行う。そして、三次元形状計測装置１は、例えば全ての第四視点～第六視点において、当該奥行き値ｄの点αが被写体内にあると判定した場合（総合判定結果Ｓ＝１の場合）に限り、当該奥行き値ｄについてステレオ法の処理を行う（ステップＳ４０３）。一方、三次元形状計測装置１は、当該奥行き値ｄの点αが被写体内にないと判定した場合（総合判定結果Ｓ＝０の場合）、当該奥行き値ｄについてステレオ法の処理を行わない。

【0058】

三次元形状計測装置１は、ステレオ法の処理において、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾上において、当該奥行き値ｄの点αの投影座標によるブロック間の誤差を評価する（ステップＳ４０４）。そして、三次元形状計測装置１は、複数の奥行き値ｄのうち、誤差が最小（評価値Ｅが最適）となる奥行き値ｄを記録する（ステップＳ４０５）。

【0059】

つまり、三次元形状計測装置１は、被写体の三次元形状を計測する際に、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾を用いたステレオ法における奥行き探索を、第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾を用いた視体積交差法により得られる交差視体積内に限定して、被写体の最適な奥行き値ｄを求める。これにより、演算コストを下げることができ、精度及び頑健性を向上させることができる。

【0060】

（処理の詳細）
次に、図１に示した三次元形状計測装置１の処理の詳細について説明する。図５は、三次元形状計測装置の処理例を示すフローチャートである。

【0061】

三次元形状計測装置１は、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾を入力すると共に、第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾を入力する。また、三次元形状計測装置１は、第一視点カメラパラメータｐ^→(1)～第六視点カメラパラメータｐ^→(6)及び計測視点の計測視点カメラパラメータｐ^→(0)を入力する。

【0062】

（画像走査部１０）
画像走査部１０は、当該三次元形状計測装置１が三次元形状情報として出力する深度画像Ｄにおける奥行き値計測の方向、すなわち計測視点から見た方向を示す画像座標ｑ^→(0)を走査する（ステップＳ５０１）。そして、画像走査部１０は、画像座標ｑ^→(0)の方向情報を逆投影部１２及び記憶部１８に出力する。図３に示したとおり、画像座標ｑ^→(0)＝［ξ⁽⁰⁾，η⁽⁰⁾］^Tとする。

【0063】

画像走査部１０は、例えばラスタ走査によって画像座標ｑ^→(0)を順次生成する。ラスタ走査による場合、主走査及び副走査の方向は任意であるが、例えば、主走査として座標ξ⁽⁰⁾の増加する方向、副走査として座標η⁽⁰⁾の増加する方向とすることができる。

【0064】

このとき、画像座標ｑ^→(0)に対応するカメラ座標系Σ⁽⁰⁾における方向ベクトルｌ^→（ｑ^→(0)）をカメラ座標系Σ⁽⁰⁾で観測すると、以下の式で表される（図３の視点０からα２への矢印を参照）。

【数1】

尚、方向ベクトルｌ^→（ｑ^→(0)）のカメラ座標系Σ⁽⁰⁾から見た奥行き値ｄである第三成分は、レンズの焦点距離ｆ⁽⁰⁾である。

【0065】

ここで、画像走査部１０は、最適化部１７による最適化処理が完了したときに（最適化部１７から最適化完了を入力したときに）、画像座標ｑ^→(0)の走査により生成した次の画像座標ｑ^→(0)を出力する。

【0066】

（深度走査部１１）
深度走査部１１は、被写体の存在し得る範囲において、計測視点から見た被写体までの深度（ここでは、奥行き値ｄとする。）を走査する（ステップＳ５０２）。例えば、深度走査部１１は、ｄ₀≦ｄ≦ｄ₁の範囲で奥行き値ｄを走査する。ｄ₀，ｄ₁は、予め設定された実数であり、０≦ｄ₀＜ｄ₁とする。そして、深度走査部１１は、奥行き値ｄの深度情報を逆投影部１２及び最適化部１７に出力する。

【0067】

ここで、深度走査部１１は、奥行き値ｄを走査して出力する際に、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力する。

【0068】

そして、深度走査部１１は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合（世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点が所定の交差視体積の内部にある場合）、照合部１６による照合処理が完了したときに（照合部１６から照合完了を入力したときに）、奥行き値ｄの走査により生成した次の奥行き値ｄを出力する。一方、深度走査部１１は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合（世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点が所定の交差視体積の内部にない場合）、奥行き値ｄの走査により生成した次の奥行き値ｄを出力する。

【0069】

（逆投影部１２）
逆投影部１２は、画像走査部１０から画像座標ｑ^→(0)を入力すると共に、深度走査部１１から奥行き値ｄを入力し、さらに、計測視点のカメラから計測視点カメラパラメータｐ^→(0)を入力する。そして、逆投影部１２は、計測視点カメラパラメータｐ^→(0)を用いて、画像座標ｑ^→(0)及び奥行き値ｄを三次元空間上の一点に逆投影することで、画像座標ｑ^→(0)が表す方向にあってかつ奥行き値ｄの世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を求める（ステップＳ５０３）。逆投影部１２は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を投影マスク判定部１３及び投影切出部１５に出力する。

【0070】

前記式（１）の方向ベクトルｌ^→（ｑ^→(0)）における奥行き値ｄはレンズの焦点距離ｆ⁽⁰⁾であるため、前記式（１）をｄ／ｆ⁽⁰⁾倍し、これに左から回転行列Ｒ₀ ^(w)を乗算した上で、世界座標系Σ^(w)の原点Ｏ^(w)からカメラ座標系Σ⁽⁰⁾の原点Ｏ⁽⁰⁾への方向ベクトルｔ₀ ^{→ (w)}を加えることにより、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を得ることができる（図３のα１）。

【数2】

【0071】

計測視点カメラパラメータｐ^→(0)は、方向ベクトルｔ₀ ^{→ (w)}、回転行列Ｒ₀ ^(w)、レンズの焦点距離ｆ⁽⁰⁾、光軸と画像平面の交点の画像座標の値ｃ_ξ ⁽⁰⁾，ｃ_η ⁽⁰⁾、カメラの撮像素子の水平及び垂直の画素サイズをｐ_x ⁽⁰⁾，ｐ_y ⁽⁰⁾である。

【0072】

（投影マスク判定部１３）
投影マスク判定部１３は、逆投影部１２から世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を入力すると共に、第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾及び第四視点カメラパラメータｐ^→(4)～第六視点カメラパラメータｐ^→(6)を入力する。

【0073】

投影マスク判定部１３は、第四視点～第六視点のそれぞれの視点毎に、投影及びマスク内外判定処理を行い、判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））を求める（ステップＳ５０４）。そして、投影マスク判定部１３は、判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））を交差視体積内外判定部１４に出力する。

【0074】

具体的には、投影マスク判定部１３は、第四視点～第六視点のそれぞれの視点毎に、第四視点カメラパラメータｐ^→(4)～第六視点カメラパラメータｐ^→(6)を用いて、三次元空間上の一点の世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を、当該視点から観測される画像座標ｑ^→(4)（ｑ^→(0)，ｄ）～ｑ^→(6)（ｑ^→(0)，ｄ）に投影する。そして、投影マスク判定部１３は、第四視点～第六視点のそれぞれの視点毎に、投影後の画像座標ｑ^→(4)（ｑ^→(0)，ｄ）～ｑ^→(6)（ｑ^→(0)，ｄ）の示すベクトルの先の点が、対応する第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾における被写体の領域の内部にあるか否かを判定し（マスク内外判定を行い）、判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））を求める。

【0075】

図６は、投影マスク判定部１３の構成例を示すブロック図である。この投影マスク判定部１３は、第四視点投影部２０－４～第六視点投影部２０－６、及び第四視点マスク内外判定部２１－４～第六視点マスク内外判定部２１－６を備えている。

【0076】

尚、第四視点投影部２０－４～第六視点投影部２０－６、及び後述する図７に示す第一視点投影部２０－１～第三視点投影部２０－３は、同様の投影処理を行う。ただし、後述する図７に示す第一視点投影部２０－１～第三視点投影部２０－３は、交差視体積内外判定部１４から入力する総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、当該投影処理を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、当該投影処理を行わない。

【0077】

（第ｎ視点投影部２０－ｎ）
以下、第一視点投影部２０－１～第六視点投影部２０－６を総称して第ｎ視点投影部２０－ｎとし、投影処理を説明する。第一視点カメラパラメータｐ^→(1)～第六視点カメラパラメータｐ^→(6)を総称して第ｎ視点カメラパラメータｐ^→(n)とする。この場合、ｎ＝１～６である。

【0078】

第ｎ視点投影部２０－ｎは、逆投影部１２から世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を入力すると共に、第ｎ視点カメラパラメータｐ^→(n)を入力する。そして、第ｎ視点投影部２０－ｎは、第ｎ視点カメラパラメータｐ^→(n)を用いて、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を第ｎ視点から観測される画像座標ｑ^→(n)（ｑ^→(0)，ｄ）に投影する。第一視点～第六視点から観測される画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(6)（ｑ^→(0)，ｄ）を総称して画像座標ｑ^→(n)（ｑ^→(0)，ｄ）とする。

【0079】

図６を参照して、第四視点投影部２０－４は、画像座標ｑ^→(4)（ｑ^→(0)，ｄ）を第四視点マスク内外判定部２１－４に出力し、第五視点投影部２０－５は、画像座標ｑ^→(5)（ｑ^→(0)，ｄ）を第五視点マスク内外判定部２１－５に出力する。また、第六視点投影部２０－６は、画像座標ｑ^→(6)（ｑ^→(0)，ｄ）を第六視点マスク内外判定部２１－６に出力する。

【0080】

第四視点投影部２０－４～第六視点投影部２０－６は第一投影部であり、第四視点投影部２０－４～第六視点投影部２０－６により投影された画像座標ｑ^→(4)（ｑ^→(0)，ｄ）～，ｑ^→(6)（ｑ^→(0)，ｄ）は、第一投影像座標として出力される。

【0081】

具体的には、図２を参照して、第ｎ視点投影部２０－ｎは、以下の式にて、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点（図２のα１）を、カメラ座標系Σ⁽ⁿ⁾から見たベクトルＱ^→(n)（ｑ^→(0)，ｄ）に変換する。

【数3】

【0082】

第ｎ視点投影部２０－ｎは、以下の式にて、前記式（３）のベクトルＱ^→(n)（ｑ^→(0)，ｄ）を焦点距離ｆ⁽ⁿ⁾のレンズで結像することで、画像座標ｑ^→(n)（ｑ^→(0)，ｄ）を求める（図２のα２）。焦点距離ｆ⁽¹⁾～ｆ⁽⁶⁾を総称して焦点距離ｆ⁽ⁿ⁾とする。

【数4】

【0083】

すなわち、第ｎ視点投影部２０－ｎは、以下の式にて、第ｎ視点カメラパラメータｐ^→(n)を用いて、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を画像座標ｑ^→(n)（ｑ^→(0)，ｄ）に投影する。

【数5】

【0084】

前記式（５）において、方向ベクトルｔ_n ^{→ (w)}、回転行列Ｒ_n ^(w)及びレンズの焦点距離ｆ⁽ⁿ⁾は、第ｎ視点カメラパラメータｐ^→(n)の一部である。

【0085】

（第ｎ視点マスク内外判定部２１－ｎ）
以下、第四視点マスク内外判定部２１－４～第六視点マスク内外判定部２１－６を総称して第ｎ視点マスク内外判定部２１－ｎとし、マスク内外判定処理を説明する。この場合、ｎ＝４～６である。

【0086】

第ｎ視点マスク内外判定部２１－ｎは、第ｎ視点投影部２０－ｎから画像座標ｑ^→(n)（ｑ^→(0)，ｄ）を入力すると共に、第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力する。第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾を総称して第ｎ視点マスク画像Ｍ⁽ⁿ⁾とする。

【0087】

第ｎ視点マスク内外判定部２１－ｎは、画像座標ｑ^→(n)（ｑ^→(0)，ｄ）（画像座標ｑ^→(n)（ｑ^→(0)，ｄ）の示すベクトルの先の点）が第ｎ視点マスク画像Ｍ⁽ⁿ⁾における被写体の領域の内部にあるか否かを判定し、判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））を求める。判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））を総称して判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））とする。

【0088】

判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））＝１は、画像座標ｑ^→(n)（ｑ^→(0)，ｄ）が被写体の領域の内部にあることを示す。一方、判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））＝０は、画像座標ｑ^→(n)（ｑ^→(0)，ｄ）が被写体の領域の内部にない（外部にある）ことを示す。

【0089】

図６を参照して、第四視点マスク内外判定部２１－４～第六視点マスク内外判定部２１－６は、判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））を交差視体積内外判定部１４に出力する。

【0090】

（交差視体積内外判定部１４）
図１及び図５に戻って、交差視体積内外判定部１４は、投影マスク判定部１３から判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））を入力する。そして、交差視体積内外判定部１４は、判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））～Ｍ⁽⁶⁾（ｑ^→(6)（ｑ^→(0)，ｄ））に基づいて、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）（世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点）が、第四視点マスク画像Ｍ⁽⁴⁾～第六視点マスク画像Ｍ⁽⁶⁾における第四視点～第六視点の（集合Ｖに属する視点の）交差視体積の内部にあるか否かを判定し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を求める（ステップＳ５０５）。

【0091】

交差視体積内外判定部１４は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を深度走査部１１、投影切出部１５、照合部１６及び最適化部１７に出力する。

【0092】

総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にあることを示す。一方、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にない（外部にある）ことを示す。

【0093】

ここで、第四視点マスク内外判定部２１－４～第六視点マスク内外判定部２１－６に対応する第四視点～第六視点の集合を、集合（交差視体積演算視点集合）Ｖとする。図１の例ではＶ＝｛４，５，６｝である。

【0094】

例えば、交差視体積内外判定部１４は、以下の式にて、全ての視点ｎの第ｎ視点マスク内外判定部２１－ｎ（ｎ∈Ｖ）から入力した判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））の論理積（乗算）の演算を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を求める。

【数6】

Λは論理積を示し、Πは乗算を示す。

【0095】

また、交差視体積内外判定部１４は、以下の式にて、全ての視点ｎの第ｎ視点マスク内外判定部２１－ｎ（ｎ∈Ｖ）から入力した判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））について、所定の個数Ｋ以上が判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））＝１と判定した場合、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１とし、それ以外の場合、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０とする。

【数7】

Ｋは、１以上の｜Ｖ｜（｜Ｖ｜は集合Ｖの要素数）以下の整数とする。

【0096】

例えば、図１の例において、Ｋ＝２とすると、交差視体積内外判定部１４は、第四視点～第六視点の三視点に関する第ｎ視点マスク内外判定部２１－ｎから入力した３つの判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））の多数決により、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を求めることとなる。このように、１≦Ｋ＜｜Ｖ｜とすることで、マスク画像に誤差が生じ得る場合における総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）の偽陰性を軽減することができる。

【0097】

（投影切出部１５）
投影切出部１５は、逆投影部１２から世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を入力すると共に、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾及び第一視点カメラパラメータｐ^→(1)～第三視点カメラパラメータｐ^→(3)を入力する。また、投影切出部１５は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力する。

【0098】

投影切出部１５は、ステップＳ５０５から移行して、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１であるか否かを判定する（ステップＳ５０６）。

【0099】

投影切出部１５は、ステップＳ５０６において、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１であると判定した場合（ステップＳ５０６：Ｙ）、すなわち、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にある場合、第一視点～第三視点のそれぞれの視点毎に、投影及び切出処理を行い、ブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を求める（ステップＳ５０７）。そして、投影切出部１５は、ブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を照合部１６に出力する。

【0100】

一方、投影切出部１５は、ステップＳ５０６において、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１でない（＝０である）と判定した場合（ステップＳ５０６：Ｎ）、すなわち、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にない場合、投影及び切出処理を行わず、ステップＳ５０９へ移行する。

【0101】

具体的には、投影切出部１５は、ステップＳ５０７において、第一視点～第三視点のそれぞれの視点毎に、第一視点カメラパラメータｐ^→(1)～第三視点カメラパラメータｐ^→(3)を用いて、三次元空間上の一点の世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を、当該視点から観測される画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）に投影する（投影処理）。そして、投影切出部１５は、第一視点～第三視点のそれぞれの視点毎に、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾から、投影後の画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）を含む所定数（１画素以上）の画素からなる部分画像領域のブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を切り出す（切出処理）。

【0102】

図７は、投影切出部１５の構成例を示すブロック図である。この投影切出部１５は、第一視点投影部２０－１～第三視点投影部２０－３、及び第一視点ブロック切出部２２－１～第三視点ブロック切出部２２－３を備えている。

【0103】

第一視点投影部２０－１～第三視点投影部２０－３は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、前述の投影処理を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、前述の投影処理を行わない。尚、第一視点投影部２０－１～第三視点投影部２０－３による投影処理は、前述の第ｎ視点投影部２０－ｎの処理にて説明済みであるため、ここでは説明を省略する。

【0104】

第一視点投影部２０－１～第三視点投影部２０－３は第二投影部であり、第一視点投影部２０－１～第三視点投影部２０－３により投影された画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）は、第二投影像座標として出力される。

【0105】

（第ｎ視点ブロック切出部２２－ｎ）
以下、第一視点ブロック切出部２２－１～第三視点ブロック切出部２２－３を総称して第ｎ視点ブロック切出部２２－ｎとし、切出処理を説明する。この場合、ｎ＝１～３である。

【0106】

第ｎ視点ブロック切出部２２－ｎは、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、切出処理を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、切出処理を行わない。以下、切出処理について説明する。

【0107】

第ｎ視点ブロック切出部２２－ｎは、第ｎ視点投影部２０－ｎから画像座標ｑ^→(n)（ｑ^→(0)，ｄ）を入力すると共に、第ｎ視点画像Ｉ⁽ⁿ⁾を入力する。第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾を総称して第ｎ視点画像Ｉ⁽ⁿ⁾とする。

【0108】

第ｎ視点ブロック切出部２２－ｎは、第ｎ視点画像Ｉ⁽ⁿ⁾から、投影後の画像座標ｑ^→(n)（ｑ^→(0)，ｄ）近傍の画素値列をブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）（ｑ^→∈Ｃ）として切り出す。

【0109】

ここで、集合Ｃは、ブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）の形状及び大きさを規定する整数２次元の集合である。例えば、集合Ｃを、以下の式にて表すものとする。

【数8】

【0110】

この場合、第ｎ視点ブロック切出部２２－ｎは、水平方向について（２Ｃ_x＋１）画素、垂直方向について（２Ｃ_y＋１）画素の矩形領域のブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出すこととなる。ただし、Ｃ_x及びＣ_yは、共に０以上の整数とする。

【0111】

図８は、集合Ｃの例を示す図である。横軸は、画像座標系のξを示し、縦軸はηを示す。（ａ）は、前記式（８）において、Ｃ_x＝３，Ｃ_y＝２とした場合の矩形状の集合Ｃの例を示す。（ｂ）は、円盤状の集合Ｃの例を示す。

【0112】

尚、集合Ｃは、任意の形状及び位置の集合とすることができるが、その要素に［０，０］^Tを含む（すなわち、Ｃ∋［０，０］^Tである）ことが好ましい。

【0113】

つまり、第ｎ視点ブロック切出部２２－ｎは、以下の式にて、第ｎ視点画像Ｉ⁽ⁿ⁾からブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出す。

【数9】

【0114】

（照合部１６）
図１及び図５に戻って、照合部１６は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力すると共に、投影切出部１５からブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を入力する。

【0115】

照合部１６は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、ブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）の照合処理により、ブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）間の類似性または相違性を定量化した評価値Ｅ（ｑ^→(0)，ｄ）を求める（ステップＳ５０８）。

【0116】

照合部１６は、評価値Ｅ（ｑ^→(0)，ｄ）を最適化部１７に出力する。また、照合部１６は、照合処理が完了したことを示す照合完了を深度走査部１１に出力する。これにより、深度走査部１１は、照合完了を入力すると、次の奥行き値ｄを出力する。

【0117】

一方、照合部１６は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、照合処理を行わない。

【0118】

以下、照合処理について具体的に説明する。照合部１６は、視点ｎの集合をステレオ演算視点集合（集合Ｔ）として（図１の例ではＴ＝｛１，２，３｝）、第ｎ視点ブロック切出部２２－ｎから入力したブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）が類似しているか否かを定量化し、評価値Ｅ（ξ_s，η_s，ｄ）＝Ｅ（ｑ^→(0)，ｄ）を求める。

【0119】

評価値Ｅ（ｑ^→(0)，ｄ）が大きい（類度している程度が高い、評価が高い）ことは、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点における被写体のテクスチャが各視点において観測されている可能性が高いことを意味する。換言すれば、計測視点から見た画像座標ｑ^→(0)における奥行き値がｄである可能性が高いことを意味する。

【0120】

例えば、照合部１６は、以下の式にて、集合Ｔに属する視点間でのブロック間誤差の和を演算し、これを評価値Ｅ（ｑ^→(0)，ｄ）とする。

【数10】

この場合、ｎ（ｎ－１）／２通りの視点の組み合わせにて、ブロック間誤差の和が演算される。

【0121】

また、照合部１６は、集合Ｔに属する複数の視点のうち代表となる一つの視点ｎ₀∈Ｔを定め、以下の式にて、視点ｎ₀と他の視点との間でのブロック間誤差の和を演算し、これを評価値Ｅ（ｑ^→(0)，ｄ）とする。

【数11】

この場合、ｎ－１通りの視点の組み合わせにて、ブロック間誤差の和が演算される。

【0122】

前記式（１１）を用いることにより、演算量を削減することができる。例えば、集合Ｔに属する視点の数が２の場合（｜Ｔ｜＝２、｜Ｔ｜は集合Ｔの要素数）、前記式（１０）及び前記式（１１）の演算量は等しい。一方、集合Ｔに属する視点の数が３以上の場合（｜Ｔ｜≧３）、前記式（１１）の演算量は、前記式（１０）よりも少なくなる。

【0123】

尚、前記式（１０）及び前記式（１１）のノルム||・||として、任意のノルム（例えば、ユークリッドノルム、Ｌ０ノルム等）を用いることができる。また、前記式（１０）及び前記式（１１）において、ノルム||・||に代えて||・||^r（ｒは正の実数、例えばｒ＝２）を用いるようにしてもよい。

【0124】

深度走査部１１は、ステップＳ５０８から移行して、照合部１６から照合完了を入力するか、または交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０を入力すると、奥行き値ｄの走査が完了したか否かを判定する（ステップＳ５０９）。深度走査部１１は、ステップＳ５０９において、奥行き値ｄの走査が完了していないと判定した場合（ステップＳ５０９：Ｎ）、ステップＳ５０２へ移行し、奥行き値ｄの走査を行う。

【0125】

一方、深度走査部１１は、ステップＳ５０９において、奥行き値ｄの走査が完了していると判定した場合（ステップＳ５０９：Ｙ）、ステップＳ５１０へ移行する。

【0126】

（最適化部１７）
最適化部１７は、深度走査部１１から奥行き値ｄを入力すると共に、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力し、さらに、照合部１６から評価値Ｅ（ｑ^→(0)，ｄ）を入力する。

【0127】

最適化部１７は、深度走査部１１から入力した奥行き値ｄについて、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、照合部１６からの当該奥行き値ｄの評価値Ｅ（ｑ^→(0)，ｄ）の入力を待つ処理を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、前述の処理を行わない。

【0128】

最適化部１７は、ステップＳ５０９（Ｙ）から移行し、深度走査部１１による奥行き値ｄの走査が完了した場合、画像走査部１０から出力された画像座標ｑ^→(0)についての全ての奥行き値ｄ（照合部１６から入力した全ての評価値Ｅ（ｑ^→(0)，ｄ）に対応する奥行き値ｄ）のうち、最も評価の高い（最適な）評価値Ｅ（ｑ^→(0)，ｄ）の奥行き値ｄを求める（ステップＳ５１０）。深度走査部１１による奥行き値ｄの走査が完了したことの判定は、深度走査部１１から予め設定された最後の走査に対応する奥行き値ｄを入力することにより、または深度走査部１１から走査完了を入力することによりなされる。

【0129】

最適化部１７は、ステップＳ５１０にて求めた奥行き値ｄを奥行き推定値ｄ^（ｑ^→(0)）として記憶部１８に出力する。また、最適化部１７は、最適化処理が完了したことを示す最適化完了を画像走査部１０に出力する。これにより、画像走査部１０は、最適化完了を入力すると、次の画像座標ｑ^→(0)を出力する。

【0130】

例えば、最適化部１７は、ステップＳ５０８にて求めた評価値Ｅ（ｑ^→(0)，ｄ）がブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）間の類似性を定量化した値である場合、最大の評価値Ｅ（ｑ^→(0)，ｄ）に対応する奥行き値ｄを求める。また、最適化部１７は、ステップＳ５０８にて求めた評価値Ｅ（ｑ^→(0)，ｄ）がブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）間の相違性を定量化した値である場合（例えば前記式（１０）または前記式（１１））、最小の評価値Ｅ（ｑ^→(0)，ｄ）に対応する奥行き値ｄを求める。

【0131】

記憶部１８は、画像走査部１０から画像座標ｑ^→(0)を入力すると共に、最適化部１７から奥行き推定値ｄ^（ｑ^→(0)）を入力する。そして、記憶部１８は、画像座標ｑ^→(0)に対応するアドレスに、奥行き推定値ｄ^（ｑ^→(0)）を記憶する（ステップＳ５１１）。

【0132】

これにより、記憶部１８には、画像座標ｑ^→(0)毎の奥行き推定値ｄ^（ｑ^→(0)）が深度画像（マップ）Ｄとして構築され、記憶部１８から、所望の画像座標ｑ^→(0)に対応する奥行き推定値ｄ^（ｑ^→(0)）である深度画像Ｄが三次元形状情報として読み出される。

【0133】

画像走査部１０は、最適化部１７から最適化完了を入力すると、画像座標ｑ^→(0)の走査が完了したか否かを判定する（ステップＳ５１２）。画像走査部１０は、ステップＳ５１２において、画像座標ｑ^→(0)の走査が完了していないと判定した場合（ステップＳ５１２：Ｎ）、ステップＳ５０１へ移行し、画像座標ｑ^→(0)の走査を行う。

【0134】

一方、画像走査部１０は、ステップＳ５１２において、画像座標ｑ^→(0)の走査が完了したと判定した場合（ステップＳ５１２：Ｙ）、処理を終了する。

【0135】

このように、投影マスク判定部１３によるステップＳ５０４の処理、及び交差視体積内外判定部１４によるステップＳ５０５の処理は、視体積交差法によるものである。また、前述の投影切出部１５によるステップＳ５０６，Ｓ５０７の投影処理及び切出処理、並びに照合部１６によるステップＳ５０８の照合処理は、ステレオ法によるものである。

【0136】

三次元形状計測装置１は、視体積交差法の処理により、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にあることを示す総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１を判定した場合、ステレオ法の処理を行う。そして、三次元形状計測装置１は、当該ステレオ法の処理が完了したときに、次の奥行き値ｄについての視体積交差法の処理を行う。

【0137】

一方、三次元形状計測装置１は、視体積交差法の処理により、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にないことを示す総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０を判定した場合、ステレオ法の処理を行わず、次の奥行き値ｄについての視体積交差法の処理を行う。

【0138】

これにより、三次元形状計測装置１は、ステレオ法における奥行き値ｄの探索を、視体積交差法により得られる交差視体積に限定することができる。

【0139】

すなわち、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、投影切出部１５、照合部１６及び最適化部１７の処理が省略または除外（以下、スキップという。）されるため、全体の演算量は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）に応じて変化することとなる。

【0140】

例えば、三次元形状計測装置１をソフトウェア等の演算負荷により処理速度が変化する形態により実装する場合には、深度走査部１１は、各構成部の処理完了またはスキップの状況を監視し、深度走査部１１の走査のタイミングに緩急をつけることで、演算速度の最大化を図ることが可能となる。

【0141】

以上のように、実施例１の三次元形状計測装置１によれば、画像走査部１０は、画像座標ｑ^→(0)を走査し、深度走査部１１は、奥行き値ｄを走査する。そして、逆投影部１２は、計測視点カメラパラメータｐ^→(0)を用いて、画像座標ｑ^→(0)及び奥行き値ｄを世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）に逆投影する。

【0142】

投影マスク判定部１３は、視点毎に、第ｎ視点カメラパラメータｐ^→(n)を用いて、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を画像座標ｑ^→(n)（ｑ^→(0)，ｄ）に投影する。そして、投影マスク判定部１３は、視点毎に、画像座標ｑ^→(n)（ｑ^→(0)，ｄ）が、第ｎ視点マスク画像Ｍ⁽ⁿ⁾における被写体の領域の内部にあるか否かを判定し、判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））を求める。

【0143】

交差視体積内外判定部１４は、集合Ｖに属する視点の判定結果Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ））に基づいて、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にあるか否かを判定し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を求める。

【0144】

投影切出部１５は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合（世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にある場合）、視点毎に、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を画像座標ｑ^→(n)（ｑ^→(0)，ｄ）に投影し、視点毎に、第ｎ視点画像Ｉ⁽ⁿ⁾から画像座標ｑ^→(n)（ｑ^→(0)，ｄ）を含むブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出す。

【0145】

照合部１６は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、ブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）間を照合して評価値Ｅ（ｑ^→(0)，ｄ）を求める。

【0146】

最適化部１７は、深度走査部１１による奥行き値ｄの走査が完了した場合、画像座標ｑ^→(0)についての全ての奥行き値ｄのうち、最も評価の高い評価値Ｅ（ｑ^→(0)，ｄ）の奥行き値ｄを求め、奥行き推定値ｄ^（ｑ^→(0)）として記憶部１８に出力する。記憶部１８は、画像座標ｑ^→(0)に対応するアドレスに奥行き推定値ｄ^（ｑ^→(0)）を記憶する。そして、記憶部１８から、画像座標ｑ^→(0)に対応する奥行き推定値ｄ^（ｑ^→(0)）である深度画像Ｄが三次元形状情報として読み出される。

【0147】

一方、投影切出部１５及び照合部１６は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合（世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にない場合）、当該奥行き値ｄについての投影及び切出処理、並びに照合処理を行わない。

【0148】

これにより、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にあることを示す総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合に限り、投影切出部１５による投影切出処理及び照合部１６による照合処理が行われる。つまり、投影切出部１５及び照合部１６によるステレオ法による奥行き探索を、投影マスク判定部１３及び交差視体積内外判定部１４により特定された交差視体積に限定することができる。

【0149】

その結果、ステレオ法の奥行きの探索範囲を縮小することができ、演算コストの削減により高速化を実現すると共に、外れ値発生の可能性の軽減により高精度化を実現することができる。また、外れ値が生じた場合であっても、その値は交差視体積内に限定されるため、少なくとも視体積交差法で得られる形状精度を下回ることはない。

【0150】

また、交差視体積を予め求めるのではなく、ステレオ法の過程において世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にあるか否かが判定される。このため、交差視体積を予め求める前述の非特許文献１とは異なり、膨大なメモリを必要とせず、かつ演算コストが少なくて済む。

【0151】

したがって、複数の視点から観測された画像を用いて三次元形状を計測する際に、演算コストを下げると共に、精度及び頑健性を向上させることができる。

【0152】

〔実施例２〕
次に、実施例２の三次元形状計測装置について説明する。図９は、実施例２の三次元形状計測装置の構成例を示すブロック図である。

【0153】

この三次元形状計測装置２は、画像走査部１０、深度走査部１１、逆投影部１２、投影切出マスク判定部３０、交差視体積内外判定部１４、照合部３１、最適化部１７及び記憶部１８を備えている。

【0154】

三次元形状計測装置２は、複数の視点から観測された第ｎ視点画像Ｉ⁽ⁿ⁾を入力すると共に、同一の複数の視点から計測された被写体形状を表す第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力し、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾に基づいて、三次元形状情報を計測して出力する。ｎは整数である。実施例２は、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾の両者が得られる視点ｎが存在することを特徴とする（図９の例では、第一視点～第三視点のいずれにおいても、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾が得られる）。この場合、ｎ＝１～３である。

【0155】

図１に示した実施例１の三次元形状計測装置１と図９に示す実施例２の三次元形状計測装置２とを比較すると、両三次元形状計測装置１，２は、画像走査部１０、深度走査部１１、逆投影部１２、交差視体積内外判定部１４、最適化部１７及び記憶部１８を備えている点で共通する。一方、三次元形状計測装置２は、投影切出マスク判定部３０及び照合部３１を備えている点で、投影マスク判定部１３、投影切出部１５及び照合部１６を備えてている三次元形状計測装置１と相違する。

【0156】

画像走査部１０、深度走査部１１、逆投影部１２、最適化部１７及び記憶部１８は、図１に示した構成部と同様であるため、ここでは説明を省略する。逆投影部１２は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を投影切出マスク判定部３０に出力する。

【0157】

交差視体積内外判定部１４は、投影切出マスク判定部３０から判定結果Ｍ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ））～Ｍ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ））を入力し、集合Ｖ＝｛１，２，３｝として動作し、図１に示した交差視体積内外判定部１４と同様の処理を行う。交差視体積内外判定部１４は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を深度走査部１１、最適化部１７、投影切出マスク判定部３０及び照合部３１に出力する。

【0158】

（投影切出マスク判定部３０）
投影切出マスク判定部３０は、逆投影部１２から世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を入力すると共に、第一視点画像Ｉ⁽¹⁾、第一視点マスク画像Ｍ⁽¹⁾及び第一視点カメラパラメータｐ^→(1)～第三視点画像Ｉ⁽³⁾、第三視点マスク画像Ｍ⁽³⁾及び第三視点カメラパラメータｐ^→(3)を入力する。また、投影切出マスク判定部３０は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力する。

【0159】

投影切出マスク判定部３０は、第一視点～第三視点のそれぞれの視点毎に、投影及びマスク内外判定処理を行い、判定結果Ｍ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ））～Ｍ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ））を求める。そして、投影切出マスク判定部３０は、判定結果Ｍ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ））～Ｍ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ））を交差視体積内外判定部１４に出力する。

【0160】

具体的には、投影切出マスク判定部３０は、第一視点～第三視点のそれぞれの視点毎に、第一視点カメラパラメータｐ^→(1)～第三視点カメラパラメータｐ^→(3)を用いて、三次元空間上の一点の世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を、当該視点から観測される画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）に投影する。そして、投影切出マスク判定部３０は、第一視点～第三視点のそれぞれの視点毎に、投影後の画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）が、対応する第一視点マスク画像Ｍ⁽¹⁾～第三視点マスク画像Ｍ⁽³⁾における被写体の領域の内部にあるか否かを判定し、判定結果Ｍ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ））～Ｍ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ））を求める。

【0161】

また、投影切出マスク判定部３０は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１であるか否かを判定し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１である場合、すなわち、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にある場合、第一視点～第三視点のそれぞれの視点毎に、切出処理を行い、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾からブロックＢ（第一ブロック）⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を求め、第一視点マスク画像Ｍ⁽¹⁾～第三視点マスク画像Ｍ⁽³⁾からブロックＡ（第二ブロック）⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を求める。そして、投影切出マスク判定部３０は、ブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を照合部３１に出力する。

【0162】

具体的には、投影切出マスク判定部３０は、第一視点～第三視点のそれぞれの視点毎に、第一視点画像Ｉ⁽¹⁾～第三視点画像Ｉ⁽³⁾から、投影後の画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）を含む所定数（１画素以上）の画素からなる部分画像領域のブロックＢ ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を切り出す。また、投影切出マスク判定部３０は、第一視点～第三視点のそれぞれの視点毎に、第一視点マスク画像Ｍ⁽¹⁾～第三視点マスク画像Ｍ⁽³⁾から、投影後の画像座標ｑ^→(1)（ｑ^→(0)，ｄ）～ｑ^→(3)（ｑ^→(0)，ｄ）を含む所定数（１画素以上）の画素からなる部分画像領域のブロックＡ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を切り出す。

【0163】

一方、投影切出マスク判定部３０は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１でないと判定した場合、すなわち、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にない場合、切出処理を行わない。

【0164】

図１０は、投影切出マスク判定部３０の構成例を示すブロック図である。この投影切出マスク判定部３０は、第一視点投影部２０－１～第三視点投影部２０－３、第一視点マスク内外判定部２１－１～第三視点マスク内外判定部２１－３及び第一視点ブロック切出部２３－１～第三視点ブロック切出部２３－３を備えている。

【0165】

第一視点投影部２０－１～第三視点投影部２０－３は、図７に示した第一視点投影部２０－１～第三視点投影部２０－３において、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力しない構成と同様であるため、ここでは説明を省略する。また、第一視点マスク内外判定部２１－１～第三視点マスク内外判定部２１－３は、図６にて説明した第ｎ視点マスク内外判定部２１－ｎにおいて、ｎ＝１～３とした場合と同様であるため、ここでは説明を省略する。

【0166】

（第ｎ視点ブロック切出部２３－ｎ）
以下、第一視点ブロック切出部２３－１～第三視点ブロック切出部２３－３を総称して第ｎ視点ブロック切出部２３－ｎとし、切出処理を説明する。この場合、ｎ＝１～３である。

【0167】

第ｎ視点ブロック切出部２３－ｎは、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、切出処理を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、切出処理を行わない。以下、切出処理について説明する。

【0168】

第ｎ視点ブロック切出部２３－ｎは、第ｎ視点投影部２０－ｎから画像座標ｑ^→(n)（ｑ^→(0)，ｄ）を入力すると共に、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力する。

【0169】

第ｎ視点ブロック切出部２３－ｎは、前述と同様の処理にて、第ｎ視点画像Ｉ⁽ⁿ⁾から、投影後の画像座標ｑ^→(n)（ｑ^→(0)，ｄ）近傍の画素値列をブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）として切り出す。

【0170】

また、第ｎ視点ブロック切出部２３－ｎは、第ｎ視点マスク画像Ｍ⁽ⁿ⁾から、投影後の画像座標ｑ^→(n)（ｑ^→(0)，ｄ）近傍の画素値列をブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）として切り出す。

【0171】

すなわち、第ｎ視点ブロック切出部２３－ｎは、以下の式にて、第ｎ視点画像Ｉ⁽ⁿ⁾からブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出すと共に、第ｎ視点マスク画像Ｍ⁽ⁿ⁾からブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出す。

【数12】

【0172】

（照合部３１）
図９に戻って、照合部３１は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力すると共に、投影切出マスク判定部３０からブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を入力し、集合Ｔ＝｛１，２，３｝として動作する。

【0173】

照合部３１は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、ブロックＡ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）＝０の画素（被写体外の画素）を除外したブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）の照合処理により、ブロックＢ⁽¹⁾（ｑ^→(1)（ｑ^→(0)，ｄ）；ｑ^→）～Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）間の類似性または相違性を定量化した評価値Ｅ（ｑ^→(0)，ｄ）を求める。

【0174】

照合部３１は、評価値Ｅ（ｑ^→(0)，ｄ）を最適化部１７に出力する。また、照合部３１は、照合処理が完了したことを示す照合完了を深度走査部１１に出力する。尚、ブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を出力しない第ｎ視点ブロック切出部２３－ｎが存在する場合には、当該視点ｎについては、全ての画像座標ｑ^→(0)に対してブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）＝１であるものとみなす。

【0175】

一方、照合部３１は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、照合処理を行わない。

【0176】

以下、照合処理について具体的に説明する。照合部３１は、集合Ｔ＝｛１，２，３｝の第ｎ視点ブロック切出部２３－ｎから入力したブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）が類似しているか否かを、ブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）＝０の画素を除外して定量化し、評価値Ｅ（ξ_s，η_s，ｄ）＝Ｅ（ｑ^→(0)，ｄ）を求める。

【0177】

これにより、ブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）＝０の画素が除外されるため、被写体内のみの画素に限定した評価値Ｅ（ｑ^→(0)，ｄ）を得ることができ、背景等の影響を排除した高精度な照合を実現することができる。

【0178】

例えば、照合部３１は、以下の式にて、集合Ｔに属する視点間でのブロック間誤差の平均を演算し、これを評価値Ｅ（ｑ^→(0)，ｄ）とする。

【数13】

この場合、ｎ（ｎ－１）／２通りの視点の組み合わせにて、ブロック間誤差の平均が演算される。

【0179】

また、照合部３１は、集合Ｔに属する複数の視点のうち代表となる一つの視点ｎ₀∈Ｔを定め、以下の式にて、視点ｎ₀と他の視点との間でのブロック間誤差の平均を演算し、これを評価値Ｅ（ｑ^→(0)，ｄ）とする。

【数14】

この場合、ｎ－１通りの視点の組み合わせにて、ブロック間誤差の平均が演算される。

【0180】

前記式（１４）を用いることにより、演算量を削減することができる。例えば、集合Ｔに属する視点の数が２の場合（｜Ｔ｜＝２、｜Ｔ｜は集合Ｔの要素数）、前記式（１３）及び前記式（１４）の演算量は等しい。一方、集合Ｔに属する視点の数が３以上の場合（｜Ｔ｜≧３）、前記式（１４）の演算量は、前記式（１３）よりも少なくなる。

【0181】

尚、前記式（１３）及び前記式（１４）のノルム||・||として、任意のノルム（例えば、ユークリッドノルム、Ｌ０ノルム等）を用いることができる。また、前記式（１３）及び前記式（１４）において、ノルム||・||に代えて||・||^r（ｒは正の実数、例えばｒ＝２）を用いるようにしてもよい。

【0182】

また、投影切出マスク判定部３０の第ｎ視点ブロック切出部２３－ｎは、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力するようにしたが、第ｎ視点画像Ｉ⁽ⁿ⁾のみを入力するようにしてもよい。

【0183】

この場合、第ｎ視点ブロック切出部２３－ｎは、ブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）の切り出しを行わず、ブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出して照合部３１に出力する。そして、照合部３１は、図１に示した照合部１６と同様の処理を行う。

【0184】

以上のように、実施例２の三次元形状計測装置２によれば、複数の視点から観測された第ｎ視点画像Ｉ⁽ⁿ⁾を入力すると共に、第ｎ視点画像Ｉ⁽ⁿ⁾と同一の複数の視点から計測された被写体形状を表す第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力し、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾に基づいて、深度画像Ｄを三次元形状情報として計測するようにした。

【0185】

これにより、実施例１と同様に、複数の視点から観測された画像を用いて三次元形状を計測する際に、演算コストを下げると共に、精度及び頑健性を向上させることができる。

【0186】

また、照合部３１は、第ｎ視点マスク画像Ｍ⁽ⁿ⁾から切り出されたブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）＝０の画素（被写体外の画素）を除外して、第ｎ視点画像Ｉ⁽ⁿ⁾から切り出されたブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）間を照合し、評価値Ｅ（ｑ^→(0)，ｄ）を求める。

【0187】

これにより、照合処理において、ブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）＝０の画素が除外されるため、被写体内のみの画素に限定した評価値Ｅ（ｑ^→(0)，ｄ）を得ることができ、背景等の影響を排除した高精度な照合を実現することができる。

【0188】

〔実施例３〕
次に、実施例３の三次元形状計測装置について説明する。図１１は、実施例３の三次元形状計測装置の構成例を示すブロック図である。

【0189】

この三次元形状計測装置３は、画像走査部１０、深度走査部１１、逆投影部１２、投影切出マスク判定部３２、交差視体積内外判定部１４、照合部３１、最適化部１７及び記憶部１８を備えている。

【0190】

三次元形状計測装置３は、計測視点を含む複数の視点から観測された計測視点画像Ｉ⁽⁰⁾及び第ｎ視点画像Ｉ⁽ⁿ⁾を入力すると共に、計測視点を含む複数の視点から計測された被写体形状を表す計測視点マスク画像Ｍ⁽⁰⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力し、これらの画像に基づいて、三次元形状情報を計測して出力する。実施例３は、第一視点画像Ｉ⁽¹⁾及び第一視点マスク画像Ｍ⁽¹⁾の代わりに、計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾を用いる（第一視点画像Ｉ⁽¹⁾及び第一視点マスク画像Ｍ⁽¹⁾を計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾とする）ことを特徴とする。また、実施例３は、第四視点について、第四視点画像Ｉ⁽⁴⁾を用いず、第四視点マスク画像Ｍ⁽⁴⁾を用いるものである。

【0191】

図９に示した実施例２の三次元形状計測装置２と図１１に示す実施例３の三次元形状計測装置３とを比較すると、両三次元形状計測装置２，３は、画像走査部１０、深度走査部１１、逆投影部１２、交差視体積内外判定部１４、照合部３１、最適化部１７及び記憶部１８を備えている点で共通する。一方、三次元形状計測装置３は、投影切出マスク判定部３２を備えている点で、投影切出マスク判定部３０を備えた三次元形状計測装置２と相違する。

【0192】

画像走査部１０、深度走査部１１、逆投影部１２、最適化部１７及び記憶部１８は、図９に示した構成部と同様であるため、ここでは説明を省略する。画像走査部１０は、画像座標ｑ^→(0)を逆投影部１２及び投影切出マスク判定部３２に出力し、逆投影部１２は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を投影切出マスク判定部３２に出力する。

【0193】

交差視体積内外判定部１４は、投影切出マスク判定部３２から判定結果Ｍ⁽⁰⁾（ｑ^→(0)），Ｍ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ））～Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））を入力し、集合Ｖ＝｛０，２，３，４｝として動作し、図１及び図９に示した交差視体積内外判定部１４と同様の処理を行う。交差視体積内外判定部１４は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を深度走査部１１、最適化部１７、投影切出マスク判定部３２及び照合部３１に出力する。

【0194】

照合部３１は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力すると共に、投影切出マスク判定部３２からブロックＢ⁽⁰⁾（ｑ^→(0)；ｑ^→），Ｂ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽⁰⁾（ｑ^→(0)；ｑ^→），Ａ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を入力する。そして、照合部３１は、集合Ｔ＝｛０，２，３｝として動作し、図９に示した照合部３１と同様の処理を行う。

【0195】

（投影切出マスク判定部３２）
投影切出マスク判定部３２は、逆投影部１２から世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を入力すると共に、画像走査部１０から画像座標ｑ^→(0)を入力する。また、投影切出マスク判定部３２は、計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾、第二視点画像Ｉ⁽²⁾、第二視点マスク画像Ｍ⁽²⁾及び第二視点カメラパラメータｐ^→(2)、第三視点画像Ｉ⁽³⁾、第三視点マスク画像Ｍ⁽³⁾及び第三視点カメラパラメータｐ^→(3)、並びに第四視点マスク画像Ｍ⁽⁴⁾及び第四視点カメラパラメータｐ^→(4)を入力する。また、投影切出マスク判定部３２は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力する。

【0196】

投影切出マスク判定部３２は、第二視点～第四視点のそれぞれの視点毎に投影処理を行い、計測視点及び第二視点～第四視点のそれぞれの視点毎にマスク内外判定処理を行い、判定結果Ｍ⁽⁰⁾（ｑ^→(0)），Ｍ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ））～Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））を求める。そして、投影切出マスク判定部３２は、判定結果Ｍ⁽⁰⁾（ｑ^→(0)），Ｍ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ））～Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））を交差視体積内外判定部１４に出力する。

【0197】

また、投影切出マスク判定部３２は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１であるか否かを判定し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１である場合、すなわち、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にある場合、計測視点、第二視点及び第三視点のそれぞれの視点毎に、切出処理を行い、計測視点画像Ｉ⁽⁰⁾、第二視点画像Ｉ⁽²⁾及び第三視点画像Ｉ⁽³⁾からブロックＢ⁽⁰⁾（ｑ^→(0)；ｑ^→），Ｂ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を求め、計測視点マスク画像Ｍ⁽⁰⁾、第二視点マスク画像Ｍ⁽²⁾及び第三視点マスク画像Ｍ⁽³⁾からブロックＡ⁽⁰⁾（ｑ^→(0)；ｑ^→），Ａ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を求める。そして、投影切出マスク判定部３２は、ブロックＢ⁽⁰⁾（ｑ^→(0)；ｑ^→），Ｂ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽⁰⁾（ｑ^→(0)；ｑ^→），Ａ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を照合部３１に出力する。

【0198】

一方、投影切出マスク判定部３２は、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１でないと判定した場合、すなわち、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）が集合Ｖに属する視点の交差視体積の内部にない場合、切出処理を行わない。

【0199】

図１２は、投影切出マスク判定部３２の構成例を示すブロック図である。この投影切出マスク判定部３２は、第二視点投影部２０－２～第四視点投影部２０－４、計測視点マスク内外判定部２１－０、第二視点マスク内外判定部２１－２～第四視点マスク内外判定部２１－４、計測視点ブロック切出部２３－０、第二視点ブロック切出部２３－２及び第三視点ブロック切出部２３－３を備えている。

【0200】

第二視点投影部２０－２～第四視点投影部２０－４は、図６及び図７にて説明した第ｎ視点投影部２０－ｎにおいて、ｎ＝２～４とした場合と同様であるため、ここでは説明を省略する。第二視点投影部２０－２は、画像座標ｑ^→(2)（ｑ^→(0)，ｄ）を第二視点マスク内外判定部２１－２及び第二視点ブロック切出部２３－２に出力する。また、第三視点投影部２０－３は、画像座標ｑ^→(3)（ｑ^→(0)，ｄ）を第三視点マスク内外判定部２１－３及び第三視点ブロック切出部２３－３に出力する。また、第四視点投影部２０－４は、画像座標ｑ^→(4)（ｑ^→(0)，ｄ）を第四視点マスク内外判定部２１－４に出力する。

【0201】

計測視点マスク内外判定部２１－０は、画像走査部１０から画像座標ｑ^→(0)を入力すると共に、計測視点マスク画像Ｍ⁽⁰⁾を入力する。そして、計測視点マスク内外判定部２１－０は、図６及び図１０に示した第ｎ視点マスク内外判定部２１－ｎと同様の処理を行い、判定結果Ｍ⁽⁰⁾（ｑ^→(0)）を求めて交差視体積内外判定部１４に出力する。

【0202】

第二視点マスク内外判定部２１－２～第四視点マスク内外判定部２１－４は、図６及び図１０に示した第ｎ視点マスク内外判定部２１－ｎと同様の処理を行い、判定結果Ｍ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ））～Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））を求めて交差視体積内外判定部１４に出力する。

【0203】

計測視点ブロック切出部２３－０は、交差視体積内外判定部１４から総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）を入力し、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝１の場合、切出処理を行い、総合判定結果Ｓ（Ｖ；ｑ^→(0)，ｄ）＝０の場合、切出処理を行わない。

【0204】

計測視点ブロック切出部２３－０は、画像走査部１０から画像座標ｑ^→(0)を入力すると共に、計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾を入力する。そして、計測視点ブロック切出部２３－０は、図１０に示した第ｎ視点ブロック切出部２３－ｎと同様の処理を行い、ブロックＢ⁽⁰⁾（ｑ^→(0)；ｑ^→）及びブロックＡ⁽⁰⁾（ｑ^→(0)；ｑ^→）を切り出して照合部３１に出力する。

【0205】

第二視点ブロック切出部２３－２及び第三視点ブロック切出部２３－３は、図１０に示した第ｎ視点ブロック切出部２３－ｎと同様の処理を行い、ブロックＢ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ｂ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽²⁾（ｑ^→(2)（ｑ^→(0)，ｄ）；ｑ^→），Ａ⁽³⁾（ｑ^→(3)（ｑ^→(0)，ｄ）；ｑ^→）を切り出して照合部３１に出力する。

【0206】

このように、三次元形状計測装置３の投影切出マスク判定部３２は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を画像座標ｑ^→(0)に投影する投影部を備える必要がないため（図９に示した実施例２の三次元形状計測装置２に備えた投影切出マスク判定部３０において、図１０に示した第一視点投影部２０－１を備える必要がないため）、装置及びプログラムの規模を縮小し、演算コストを削減することができる。

【0207】

尚、投影切出マスク判定部３２の計測視点ブロック切出部２３－０は、計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾を入力するようにしたが、計測視点画像Ｉ⁽⁰⁾のみを入力するようにしてもよい。また、第ｎ視点ブロック切出部２３－ｎは、第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力するようにしたが、第ｎ視点画像Ｉ⁽ⁿ⁾のみを入力するようにしてもよい。

【0208】

この場合、計測視点ブロック切出部２３－０は、ブロックＡ⁽⁰⁾（ｑ^→(0)；ｑ^→）の切り出しを行わず、ブロックＢ⁽⁰⁾（ｑ^→(0)；ｑ^→）を切り出して照合部３１に出力する。また、第ｎ視点ブロック切出部２３－ｎは、ブロックＡ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）の切り出しを行わず、ブロックＢ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→）を切り出して照合部３１に出力する。

【0209】

また、投影切出マスク判定部３２は、第四視点について、第四視点マスク内外判定部２１－４を備え、第四視点ブロック切出部２３－４を備えていない。これに対し、投影切出マスク判定部３２は、第四視点マスク内外判定部２１－４の代わりに、第四視点ブロック切出部２３－４を備えるようにしてもよい。

【0210】

一般に、ステレオ法は、基線長（視点間の距離）が短い方が精度の高い処理を行うことができるのに対し、視体積交差法は、基線長が長い方が精度の高い処理を行うことができる。ステレオ法では、基線長が長い場合、視点間での歪が大きく照合し難いからであり、また、視体積交差法では、基線長が長い場合、効果的に被写体の存在領域を絞り込むことができるからである。

【0211】

このため、第四視点が他の視点（計測視点、第二視点及び第三視点）に対して所定距離以上の離れた場所に存在する場合には、図１２に示したとおり、投影切出マスク判定部３２は、第四視点ブロック切出部２３－４を備えず、第四視点マスク内外判定部２１－４を備える構成が有用である。

【0212】

これにより、第四視点についての判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））を交差視体積内外判定部１４による判定処理に使用することで、精度の高い判定処理を実現できる。また、第四視点についてのブロックＢ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ）；ｑ^→）を照合部３１による照合処理に使用しないため、照合処理の精度の低下を抑えることができる。

【0213】

一方、第四視点が他の視点に対して所定距離よりも近い場所に存在する場合には、投影切出マスク判定部３２は、第四視点マスク内外判定部２１－４を備えず、第四視点ブロック切出部２３－４を備える構成が有用である。

【0214】

これにより、第四視点についての判定結果Ｍ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ））を交差視体積内外判定部１４による判定処理に使用しないため、判定処理の精度の低下を抑えることができる。また、第四視点についてのブロックＢ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ）；ｑ^→）及びブロックＡ⁽⁴⁾（ｑ^→(4)（ｑ^→(0)，ｄ）；ｑ^→）を照合部３１による照合処理に使用するため、精度の高い照合処理を実現することができる。

【0215】

つまり、第四視点と他の視点との間の相対的な位置関係に応じて、投影切出マスク判定部３２が第四視点マスク内外判定部２１－４または第四視点ブロック切出部２３－４を備えることで、三次元形状計測装置３として、頑健な装置を実現することができる。

【0216】

以上のように、実施例３の三次元形状計測装置３によれば、計測視点を含む複数の視点から観測された計測視点画像Ｉ⁽⁰⁾及び第ｎ視点画像Ｉ⁽ⁿ⁾を入力すると共に、計測視点を含む複数の視点から計測された被写体形状を表す計測視点マスク画像Ｍ⁽⁰⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾を入力し、これらの画像に基づいて、深度画像Ｄを三次元形状情報として計測するようにした。この場合、第一視点画像Ｉ⁽¹⁾及び第一視点マスク画像Ｍ⁽¹⁾の代わりに、計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾を用いる。

【0217】

これにより、実施例１と同様に、複数の視点から観測された画像を用いて三次元形状を計測する際に、演算コストを下げると共に、精度及び頑健性を向上させることができる。

【0218】

また、投影切出マスク判定部３２の計測視点マスク内外判定部２１－０は、画像走査部１０から画像座標ｑ^→(0)を入力し、判定結果Ｍ⁽⁰⁾（ｑ^→(0)）を求めて交差視体積内外判定部１４に出力する。また、計測視点ブロック切出部２３－０は、画像走査部１０から画像座標ｑ^→(0)を入力し、ブロックＢ⁽⁰⁾（ｑ^→(0)；ｑ^→）及びブロックＡ⁽⁰⁾（ｑ^→(0)；ｑ^→）を切り出す。

【0219】

これにより、投影切出マスク判定部３２は、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）を画像座標ｑ^→(0)に投影する投影部を備える必要がないため、装置及びプログラムの規模を縮小し、演算コストを削減することができる。

【0220】

以上、実施例１～３を挙げて本発明を説明したが、本発明は前記実施例１～３に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0221】

例えば実施例１～３の三次元形状計測装置１～３は、三次元形状情報の深度画像Ｄとして、奥行き値ｄを求めるようにしたが、距離値を求めるようにしてもよい。この場合、深度走査部１１は、奥行き値ｄに代えて距離値を走査し、距離値の深度情報を出力する。

【0222】

図３を参照して、奥行き値ｄは、カメラ座標系Σ⁽⁰⁾において、世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点α１のｚ⁽⁰⁾軸上（被写体方向へ向けた計測視点の光軸方向）の値である。また、距離値は、計測視点の原点Ｏ⁽⁰⁾から世界座標Ｘ^→(w)（ｑ^→(0)，ｄ）の示すベクトルの先の点α１までの間の距離（カメラ座標系Σ⁽⁰⁾における点α１の座標を（ｘ，ｙ，ｚ）とすると、例えばユークリッド距離√（ｘ²＋ｙ²＋ｚ²））である。

【0223】

また、図１、図９及び図１１に示したとおり、計測視点を除いた視点の数を、実施例１では６とし、実施例２では３とし、実施例３では３としたが、本発明は、これらの数に限定されるものではなく、これら以外の数にも適用がある。第ｎ視点画像Ｉ⁽ⁿ⁾が観測される視点の数、及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾が得られる視点の数についても、図１、図９及び図１１に示した数に限定されるものではなく、本発明は、これら以外の数にも適用がある。

【0224】

また、実施例３は、第一視点の第一視点画像Ｉ⁽¹⁾及び第一視点マスク画像Ｍ⁽¹⁾を計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾として用いるようにした。つまり、実施例３は、計測視点を第一視点とするようにした。これに対し、本発明は、第一視点以外の視点の第ｎ視点画像Ｉ⁽ⁿ⁾及び第ｎ視点マスク画像Ｍ⁽ⁿ⁾を計測視点画像Ｉ⁽⁰⁾及び計測視点マスク画像Ｍ⁽⁰⁾として用いるようにしてもよい。つまり、本発明は、計測視点を第一視点以外の視点とするようにしてもよい。

【0225】

要するに、本発明は、計測視点を、複数の第ｎ視点画像Ｉ⁽ⁿ⁾における複数の視点のうちのいずれか一つの視点とするようにしてもよい。また、本発明は、計測視点を、複数の第ｎ視点マスク画像Ｍ⁽ⁿ⁾における複数の視点のうちのいずれか一つの視点とするようにしてもよい。

【0226】

尚、本発明の実施例１～３による三次元形状計測装置１～３のハードウェア構成としては、通常のコンピュータを使用することができる。三次元形状計測装置１～３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0227】

三次元形状計測装置１に備えた画像走査部１０、深度走査部１１、逆投影部１２、投影マスク判定部１３、交差視体積内外判定部１４、投影切出部１５、照合部１６、最適化部１７及び記憶部１８の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0228】

また、三次元形状計測装置２に備えた画像走査部１０、深度走査部１１、逆投影部１２、投影切出マスク判定部３０、交差視体積内外判定部１４、照合部３１、最適化部１７及び記憶部１８の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0229】

また、三次元形状計測装置３に備えた画像走査部１０、深度走査部１１、逆投影部１２、投影切出マスク判定部３２、交差視体積内外判定部１４、照合部３１、最適化部１７及び記憶部１８の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0230】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0231】

１，２，３ 三次元形状計測装置
１０ 画像（方向）走査部
１１ 深度走査部
１２ 逆投影部
１３ 投影マスク判定部
１４ 交差視体積内外判定部
１５ 投影切出部
１６，３１ 照合部
１７ 最適化部
１８ 記憶部
２０－１ 第一視点投影部
２０－２ 第二視点投影部
２０－３ 第三視点投影部
２０－４ 第四視点投影部
２０－５ 第五視点投影部
２０－６ 第六視点投影部
２０－ｎ 第ｎ視点投影部
２１－０ 計測視点マスク内外判定部
２１－１ 第一視点マスク内外判定部
２１－２ 第二視点マスク内外判定部
２１－３ 第三視点マスク内外判定部
２１－４ 第四視点マスク内外判定部
２１－５ 第五視点マスク内外判定部
２１－６ 第六視点マスク内外判定部
２１－ｎ 第ｎ視点マスク内外判定部
２２－１，２３－１ 第一視点ブロック切出部
２２－２，２３－２ 第二視点ブロック切出部
２２－３，２３－３ 第三視点ブロック切出部
２２－ｎ，２３－ｎ 第ｎ視点ブロック切出部
２３－０ 計測視点ブロック切出部
２３－４ 第四視点ブロック切出部
３０，３２ 投影切出マスク判定部
Ｉ⁽ⁿ⁾ 第ｎ視点画像
Ｍ⁽ⁿ⁾ 第ｎ視点マスク画像
ｐ^→(n) 第ｎ視点カメラパラメータ
Ｉ⁽⁰⁾ 計測視点画像
Ｍ⁽⁰⁾ 計測視点マスク画像
ｐ^→(0) 計測視点カメラパラメータ
ｄ 奥行き値
ｑ^→(0) 画像座標
Ｘ^→(w)（ｑ^→(0)，ｄ） 世界座標
Ｖ，Ｔ 集合
Ｍ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）），Ｍ⁽⁰⁾（ｑ^→(n)） 判定結果
Ｓ（Ｖ；ｑ^→(0)，ｄ） 総合判定結果
Ｂ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→），Ｂ⁽⁰⁾（ｑ^→(n)；ｑ^→），Ａ⁽ⁿ⁾（ｑ^→(n)（ｑ^→(0)，ｄ）；ｑ^→），Ａ⁽⁰⁾（ｑ^→(n)；ｑ^→） ブロック
Ｅ（ｑ^→(0)，ｄ） 評価値
ｄ^（ｑ^→(0)） 奥行き推定値
Σ⁽ⁿ⁾，Σ⁽⁰⁾ カメラ座標系
Σ^(w) 世界座標系
ｆ⁽ⁿ⁾，ｆ⁽⁰⁾ 焦点距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】