特許 7510291 三次元形状計測装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】三次元形状計測装置及びプログラム

(51)【国際特許分類】

   G06T 17/10 20060101AFI20240626BHJP

   G06T 1/00 20060101ALI20240626BHJP

   G06T 7/564 20170101ALI20240626BHJP

【ＦＩ】

G06T17/10

G06T1/00 315

G06T7/564

【請求項の数】 5

(21)【出願番号】P 2020123297

(22)【出願日】2020-07-17

(65)【公開番号】P2022019447

(43)【公開日】2022-01-27

【審査請求日】2023-06-01

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２００４－２２０３１２（ＪＰ，Ａ）

【文献】特開平１１－３５３４９６（ＪＰ，Ａ）

【文献】特表２０１８－５１４８８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５０ － ７／５９３

Ｇ０６Ｔ １７／１０

Ｇ０６Ｔ １９／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

被写体を含む画像から、ＳＶＯ（スパースボクセルオクトリー）モデルで表現した前記被写体の三次元形状を計測する三次元形状計測装置において、
画像処理部及び形状処理部を備え、前記被写体を含む三次元の計測領域が複数のボクセルにより構成されるものとして、
前記画像処理部が、
前記形状処理部から前記ボクセルのアドレスを入力し、前記アドレスに対応するボクセル像を生成し、前記被写体のシルエット画像と前記ボクセル像との間の包含関係を判定し、前記アドレスに対応する判定結果を求める画像処理を行い、
前記形状処理部が、
前記画像処理部により求めた前記判定結果に基づいて、前記ボクセルの全体が前記被写体の外部にあるか、または内部にあるか、または前記外部及び前記内部の判定不明であるかを判定し、統合判定結果を求め、前記統合判定結果が前記外部及び前記内部の判定不明であることを示している場合、前記ボクセルを分割し、分割後の前記ボクセルの前記アドレスを前記画像処理部に出力し、所定の終了条件を満たす場合に、前記統合判定結果を、前記被写体の前記三次元形状に関する形状情報として出力する形状処理を行う場合に、
前記画像処理部は、
前記形状処理部から前記アドレスを受信するアドレス受信部と、
前記アドレス受信部により受信された前記アドレスに対応する前記ボクセルの頂点座標を、所定の演算またはテーブルにて生成する頂点座標生成部と、
前記頂点座標生成部により生成された前記頂点座標を、前記画像の座標系に投影し、前記ボクセル像を生成する投影部と、
前記シルエット画像と、前記投影部により生成された前記ボクセル像とに基づいて、前記ボクセル像が前記画像の枠内にあり、かつ前記シルエット画像の完全に外側に存在する場合を第１結果とし、前記ボクセル像が前記画像の枠内にあり、かつ前記シルエット画像の完全に内側（境界を含む）に存在する場合を第２結果とし、前記ボクセル像が前記画像の枠の外にはみ出している場合を第３結果とし、前記第１結果、前記第２結果及び前記第３結果でない場合を第４結果として、前記アドレスに対応する前記判定結果を求める判定部と、
前記判定部により求めた前記判定結果を前記形状処理部に送信する判定結果送信部と、を備え、
前記形状処理部は、
前記画像処理部の前記判定結果送信部から送信された前記判定結果を受信する判定結果受信部と、
前記判定結果受信部により受信された前記判定結果が前記第１結果である場合、前記アドレスに対応する前記ボクセルの全体が前記被写体の前記外部にあると判定し、前記判定結果が前記第２結果である場合、前記ボクセルの全体が前記被写体の前記内部にあると判定し、前記判定結果が前記第３結果または前記第４結果である場合、前記外部及び前記内部の判定不明であると判定し、前記アドレスに対応する前記統合判定結果を求める判定結果統合部と、
前記判定結果統合部により求めた前記アドレスに対応する前記統合判定結果を記録するボクセル記録部と、
前記ボクセル記録部により記録された前記アドレスに対応する前記統合判定結果が、前記外部及び前記内部の判定不明であることを示している場合に、前記アドレスに対応する前記ボクセルを分割し、分割後の前記ボクセルの前記アドレスを前記画像処理部の前記アドレス受信部に送信するアドレス送信部と、
前記所定の終了条件を満たす場合、前記ボクセル記録部に記録された前記アドレスに対応する前記統合判定結果を読み出し、前記形状情報として出力するボクセル出力部と、を備えたことを特徴とする三次元形状計測装置。

【請求項2】

請求項１に記載の三次元形状計測装置において、
前記画像処理部を複数備え、
前記形状処理部に備えた前記判定結果受信部は、複数の前記画像処理部の前記判定結果送信部から前記判定結果をそれぞれ受信し、
前記形状処理部に備えた前記判定結果統合部は、
前記判定結果受信部により受信された全ての前記判定結果のうち、いずれかの前記判定結果が前記第１結果である第１条件を満たす場合、前記アドレスに対応する前記ボクセルの全体が前記被写体の前記外部にあると判定し、全ての前記判定結果が前記第２結果である第２条件を満たす場合、前記ボクセルの全体が前記被写体の前記内部にあると判定し、前記第１条件及び前記第２条件のいずれも満たさない場合、前記外部及び前記内部の判定不明であると判定し、前記アドレスに対応する前記統合判定結果を求める、ことを特徴とする三次元形状計測装置。

【請求項3】

請求項２に記載の三次元形状計測装置において、
複数の前記画像処理部によるそれぞれの前記画像処理、または、複数の前記画像処理部によるそれぞれの前記画像処理及び前記形状処理部による前記形状処理を、独立して並列に実行する、ことを特徴とする三次元形状計測装置。

【請求項4】

請求項１に記載の三次元形状計測装置において、
前記画像処理部による前記画像処理及び前記形状処理部による前記形状処理を、独立して並列に実行する、ことを特徴とする三次元形状計測装置。

【請求項5】

コンピュータを、請求項１から４までのいずれか一項に記載の三次元形状計測装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から被写体の三次元形状を計測する装置及びプログラムに関する。

【背景技術】

【0002】

従来、被写体の三次元形状を計測する手法として、視体積交差法が知られている。視体積交差法は、複数視点のカメラから撮影された被写体のシルエット（またはマスク）を求め、シルエットを各視点の位置、姿勢及び画角情報に基づいて３次元空間にそれぞれ投影し、投影された３次元空間の部分空間の積集合を求めることで、被写体の三次元形状を計測するものである。

【0003】

また、視体積交差法の別の実装法として、３次元空間内の計測領域内の各点（空間上の点）を各カメラの画像に投影し、当該投影像がシルエットの内部にあるか否かによって、各空間上の点が被写体の内部にあるか否かを判定する手法がある。

【0004】

この手法では、複数視点のうち１視点でも空間上の点の投影像がシルエットの外部にあれば、その空間上の点は被写体の外部にあると判定することができる。一方、複数視点のうち全視点において空間上の点の投影像がシルエットの内部にあれば、その空間上の点は被写体の内部にあると判定することができる。

【0005】

前述した視体積交差法においては、膨大なメモリアクセスが必要となり、処理速度が低下するという問題がある。この問題を解決するために、メモリアクセスの高速化を実現する技術として、キャッシュメモリへのエピポーラ拘束に基づくプリフェッチを行うものが開示されている（例えば特許文献１を参照）。

【0006】

また、視体積交差法においては、被写体に、部分的に観測された不完全なシルエットが含まれる場合、計測形状が欠けてしまうという問題がある。この問題を解決するため、部分領域毎に有効な撮像装置を選別して３次元形状を復元する技術が開示されている（例えば特許文献２を参照）。

【0007】

また、視体積交差法において、被写体のほかに不要な物体が映り込む場合の計測形状を改善する技術が開示されている（例えば特許文献３を参照）。

【0008】

一方で、被写体の三次元形状を、ボクセルの集まりとして表現するボクセルモデルが知られている。ボクセルモデルを用いることにより、少ないメモリ容量で三次元形状を記述することができる。ボクセルモデルとしては、２のべき乗に比例した辺の長さを有する大きさの異なるボクセルの八分木表現を用いるＳＶＯ（Sparse Voxel Octree：スパースボクセルオクトリー）モデルがある。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１９－１１７５８２号公報

【文献】特許第４８３９２３７号公報

【文献】特許第６４０３８６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

前述の視体積交差法の演算は、３次元空間内の膨大な標本点において内外判定処理が必要である。このため、演算量及びメモリ帯域共に膨大なものとなる。

【0011】

前述の特許文献１の技術によれば、メモリアクセスの高速化が期待できる。しかし、３次元空間内の標本点を減ずるものではないため、メモリそのものの容量削減には寄与しない。

【0012】

また、前述の特許文献２及び特許文献３の技術は、形状の誤差を削減するものであって、演算量を削減するものではない。

【0013】

前述のとおり、ＳＶＯモデルは、三次元形状を表現するモデル化の手法である。ＳＶＯモデルは、細かな均等サイズのボクセルを用いる従来のボクセルモデルに比べ、少ないメモリ容量で三次元形状を表現することができる。

【0014】

しかしながら、ＳＶＯモデル自体は計測を想定したものではなく、一種のデータ圧縮の手法である。このため、ＳＶＯモデルは、三次元形状の表現及び符号化の用途として利用されるに留まり、三次元形状を直接的に取得する技術として利用されることはない。

【0015】

例えば、前述の視体積交差法を用いて三次元形状を計測し、この三次元形状を均等なボクセルモデルで表現し、その後、均等なボクセルモデルをＳＶＯモデルに圧縮することが想定される。これは、ＳＶＯモデルで表現した三次元形状を得るために、視体積交差法を用いることを前提としているため、ＳＶＯモデルで表現した三次元形状を直接的に計測するものではなく、多くのメモリ容量が必要であり、処理負荷も高い。

【0016】

このため、画像から三次元形状を計測する際に、ＳＶＯモデルを直接利用できることが所望されていた。つまり、画像から、ＳＶＯモデルで表現した三次元形状を直接計測することができれば、少ないメモリ容量で実現でき、処理負荷を低減できることが期待される。

【0017】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ＳＶＯモデルで表現した三次元形状を、画像から直接計測可能な三次元形状計測装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0018】

前記課題を解決するために、請求項１の三次元形状計測装置は、被写体を含む画像から、ＳＶＯ（スパースボクセルオクトリー）モデルで表現した前記被写体の三次元形状を計測する三次元形状計測装置において、画像処理部及び形状処理部を備え、前記被写体を含む三次元の計測領域が複数のボクセルにより構成されるものとして、前記画像処理部が、前記形状処理部から前記ボクセルのアドレスを入力し、前記アドレスに対応するボクセル像を生成し、前記被写体のシルエット画像と前記ボクセル像との間の包含関係を判定し、前記アドレスに対応する判定結果を求める画像処理を行い、前記形状処理部が、前記画像処理部により求めた前記判定結果に基づいて、前記ボクセルの全体が前記被写体の外部にあるか、または内部にあるか、または前記外部及び前記内部の判定不明であるかを判定し、統合判定結果を求め、前記統合判定結果が前記外部及び前記内部の判定不明であることを示している場合、前記ボクセルを分割し、分割後の前記ボクセルの前記アドレスを前記画像処理部に出力し、所定の終了条件を満たす場合に、前記統合判定結果を、前記被写体の前記三次元形状に関する形状情報として出力する形状処理を行う場合に、前記画像処理部が、前記形状処理部から前記アドレスを受信するアドレス受信部と、前記アドレス受信部により受信された前記アドレスに対応する前記ボクセルの頂点座標を、所定の演算またはテーブルにて生成する頂点座標生成部と、前記頂点座標生成部により生成された前記頂点座標を、前記画像の座標系に投影し、前記ボクセル像を生成する投影部と、前記シルエット画像と、前記投影部により生成された前記ボクセル像とに基づいて、前記ボクセル像が前記画像の枠内にあり、かつ前記シルエット画像の完全に外側に存在する場合を第１結果とし、前記ボクセル像が前記画像の枠内にあり、かつ前記シルエット画像の完全に内側（境界を含む）に存在する場合を第２結果とし、前記ボクセル像が前記画像の枠の外にはみ出している場合を第３結果とし、前記第１結果、前記第２結果及び前記第３結果でない場合を第４結果として、前記アドレスに対応する前記判定結果を求める判定部と、前記判定部により求めた前記判定結果を前記形状処理部に送信する判定結果送信部と、を備え、前記形状処理部が、前記画像処理部の前記判定結果送信部から送信された前記判定結果を受信する判定結果受信部と、前記判定結果受信部により受信された前記判定結果が前記第１結果である場合、前記アドレスに対応する前記ボクセルの全体が前記被写体の前記外部にあると判定し、前記判定結果が前記第２結果である場合、前記ボクセルの全体が前記被写体の前記内部にあると判定し、前記判定結果が前記第３結果または前記第４結果である場合、前記外部及び前記内部の判定不明であると判定し、前記アドレスに対応する前記統合判定結果を求める判定結果統合部と、前記判定結果統合部により求めた前記アドレスに対応する前記統合判定結果を記録するボクセル記録部と、前記ボクセル記録部により記録された前記アドレスに対応する前記統合判定結果が、前記外部及び前記内部の判定不明であることを示している場合に、前記アドレスに対応する前記ボクセルを分割し、分割後の前記ボクセルの前記アドレスを前記画像処理部の前記アドレス受信部に送信するアドレス送信部と、前記所定の終了条件を満たす場合、前記ボクセル記録部に記録された前記アドレスに対応する前記統合判定結果を読み出し、前記形状情報として出力するボクセル出力部と、を備えたことを特徴とする。

【0019】

請求項１の発明によれば、ＳＶＯモデルによる被写体の三次元形状の計測を直接的に実現することができる。このため、被写体の三次元形状における大まかな構造は、大きなボクセルで表現し、大きなボクセルで表現しきれなかった部分の構造は、順次より細かなボクセルに分割して表現することができる。その結果、三次元形状の表現に用いるボクセル数程度の少ないメモリ容量で形状計測が可能となる。また、形状計測にかかる処理量を、被写体の体積の対数に比例するオーダーに抑えることができる。

【0022】

また、請求項２の三次元形状計測装置は、請求項１に記載の三次元形状計測装置において、前記画像処理部を複数備え、前記形状処理部に備えた前記判定結果受信部が、複数の前記画像処理部の前記判定結果送信部から前記判定結果をそれぞれ受信し、前記形状処理部に備えた前記判定結果統合部が、前記判定結果受信部により受信された全ての前記判定結果のうち、いずれかの前記判定結果が前記第１結果である第１条件を満たす場合、前記アドレスに対応する前記ボクセルの全体が前記被写体の前記外部にあると判定し、全ての前記判定結果が前記第２結果である第２条件を満たす場合、前記ボクセルの全体が前記被写体の前記内部にあると判定し、前記第１条件及び前記第２条件のいずれも満たさない場合、前記外部及び前記内部の判定不明であると判定し、前記アドレスに対応する前記統合判定結果を求める、ことを特徴とする。

【0023】

請求項２の発明によれば、複数視点からのカメラにより撮影された撮影画像に基づいて、包含関係を判定する視体積交差が実行され、被写体の三次元形状の精度を高めることができる。

【0024】

さらに、請求項３の三次元形状計測装置は、請求項２に記載の三次元形状計測装置において、複数の前記画像処理部によるそれぞれの前記画像処理、または、複数の前記画像処理部によるそれぞれの前記画像処理及び前記形状処理部による前記形状処理を、独立して並列に実行する、ことを特徴とする。

【0025】

請求項３の発明によれば、処理負荷を分散して処理することができ、演算の高速化が可能となる。個々の画像処理部を小型化することが可能となり、画像処理部をカメラに装着する小型の付加装置として実現し、カメラの内部に組み込むことも可能となる。

【0026】

また、請求項４の三次元形状計測装置は、請求項１に記載の三次元形状計測装置において、前記画像処理部による前記画像処理及び前記形状処理部による前記形状処理を、独立して並列に実行する、ことを特徴とする。

【0027】

請求項４の発明によれば、処理負荷を分散して処理することができ、演算の高速化等が可能となる。

【0028】

さらに、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の三次元形状計測装置として機能させることを特徴とする。

【発明の効果】

【0029】

以上のように、本発明によれば、ＳＶＯモデルで表現した三次元形状を、画像から直接計測することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態による三次元形状計測装置の構成例を示すブロック図である。

【図2】カメラ、被写体及び計測領域の配置例を示す図である。

【図3】撮影画像の例を示す図である。

【図4】画像処理部の構成例を示すブロック図である。

【図5】画像処理部の処理例を示すフローチャートである。

【図6】シルエット画像Ｓの例を示す図である。

【図7】八分木表現によるボクセル分割を説明する図である。

【図8】八分木表現によるボクセル配置を説明する図である。

【図9】ボクセルＢ（Ａ）及びボクセル像Ｃ（Ａ）の例を説明する図である。

【図10】シルエット画像Ｓとボクセル像Ｃ（Ａ）との間の包含関係及び判定結果Ｊ_n（Ａ）の例を説明する図である。

【図11】形状処理部の構成例を示すブロック図である。

【図12】形状処理部の処理例を示すフローチャートである。

【図13】ボクセル記録部に記録されたアドレスＡ及び統合判定結果Ｐ（Ａ）の例を示す図である。

【発明を実施するための形態】

【0031】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔三次元形状計測装置〕
まず、本発明の実施形態による三次元形状計測装置について説明する。図１は、本発明の実施形態による三次元形状計測装置の構成例を示すブロック図である。

【0032】

この三次元形状計測装置１は、Ｎ個の画像処理部１０－１，・・・，１０－Ｎ、形状処理部１１及びネットワーク１２を備えている。Ｎは１以上の自然数とし、ｎ番目（ｎ∈｛１，・・・，Ｎ｝）の画像処理部を画像処理部１０－ｎとする。

【0033】

画像処理部１０－１は、カメラ２－１から、当該カメラ２－１により撮影された被写体を含む撮影画像を入力する。また、画像処理部１０－１は、形状処理部１１からネットワーク１２を介して、ボクセルのアドレスＡを受信する。

【0034】

画像処理部１０－１は、撮影画像から被写体のシルエット画像Ｓを生成すると共に、アドレスＡに対応するボクセル像Ｃ（Ａ）を生成し、これらの包含関係を判定し、アドレスＡに対応する判定結果Ｊ₁（Ａ）を求める。そして、画像処理部１０－１は、判定結果Ｊ₁（Ａ）を、ネットワーク１２を介して形状処理部１１に送信する。

【0035】

画像処理部１０－Ｎは、カメラ２－Ｎから撮影画像を入力し、画像処理部１０－１と同様の処理を行い、判定結果Ｊ_N（Ａ）を、ネットワーク１２を介して形状処理部１１に送信する。Ｎ個の画像処理部１０－１，・・・，１０－Ｎは、いずれも同一の構成をなし、同一の処理を行う。

【0036】

形状処理部１１は、画像処理部１０－１，・・・，１０－Ｎに対して被写体の三次元形状を計測するための包含関係を判定させるボクセルのアドレスＡを、ネットワーク１２を介して画像処理部１０－１，・・・，１０－Ｎに送信する。

【0037】

形状処理部１１は、画像処理部１０－１，・・・，１０－Ｎからネットワーク１２を介して、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を受信する。そして、形状処理部１１は、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）から、アドレスＡに対応するボクセルが被写体の内外のいずれにもないと判定した場合、当該ボクセルを分割する。

【0038】

形状処理部１１は、分割後のボクセルのアドレスＡ’を、ネットワーク１２を介して画像処理部１０－１，・・・，１０－Ｎに送信する。これにより、画像処理部１０－１，・・・，１０－Ｎにて、アドレスＡ’に対応する判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）が求められ、形状処理部１１に送信される。

【0039】

形状処理部１１は、所定の終了条件を満足する場合、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を被写体の三次元形状に関する形状情報として出力する。

【0040】

Ｎ個の画像処理部１０－１，・・・，１０－Ｎと形状処理部１１とは、ネットワーク１２により接続される。ネットワーク１２は、Ｎ個の画像処理部１０－１，・・・，１０－Ｎと形状処理部１１との間で情報の送受信を行うための接続手段であり、その形態は問わない。例えばネットワーク１２は、星型構成、リング型構成、バス型構成及びこれらの組み合わせを介して、情報の送受信を行うものであってもよい。

【0041】

尚、ネットワーク１２の代わりに、共有メモリまたは共有ファイルを介して、Ｎ個の画像処理部１０－１，・・・，１０－Ｎと形状処理部１１とが相互に接続されるものであってもよい。また、ネットワーク１２等は、物理的な接続方法は問わず、例えば導線であってもよいし、光（可視光線、不可視光線）、電波または磁気であってもよい。

【0042】

図２は、カメラ２－１，・・・，２－４、被写体及び計測領域の配置例を示す図である。この配置例は、４台のカメラ２－１，・・・，２－４により、予め設定された三次元の計測領域４内部に存在する２つの被写体３－１，３－２の三次元形状を測定する場合の一例を示している。

【0043】

各カメラ２－１，・・・，２－４は、計測領域４内の一部または全体を撮影するものとする。計測領域４の形状及び大きさは如何なるものであっても構わない。例えば計測領域４の形状は、直方体状、球体状または円柱状である。また、計測領域４の大きさ（例えば計測領域４の形状が立方体状の場合における辺Ｌの長さ）は、顕微鏡等で撮影されるナノメートルオーダーから、宇宙機、惑星、衛星等の運動を利用して撮影される１億キロメートルオーダーまでのサイズである。

【0044】

図３は、図２に示したカメラ２－１，・・・，２－４により撮影された撮影画像の例を示す図である。（ａ）は、カメラ２－１により撮影された撮影画像の例を示し、（ｂ）は、カメラ２－２により撮影された撮影画像の例を示し、（ｃ）は、カメラ２－３により撮影された撮影画像の例を示し、（ｄ）は、カメラ２－４により撮影された撮影画像の例を示す。

【0045】

（ａ）～（ｄ）の撮影画像において、視点によって、被写体３－１，３－２の見た目の形状及び大きさ、被写体３－１，３－２間の重なりの度合いが異なっている。

【0046】

以下、複数のカメラ２－１，・・・，２－Ｎを用いた三次元形状計測装置１について説明するが、少数のカメラ２－１等を用いた場合にも適用があり、１台のカメラ２－１を用いた場合にも適用がある。例えば、時間を隔てて異なる視点からの撮影が行われ、画像処理部１０－１等が、異なる視点からの撮影画像をそれぞれ入力するようにしてもよい。

【0047】

〔画像処理部１０〕
次に、図１の三次元形状計測装置１に備えた画像処理部１０－ｎについて詳細に説明する。図４は、画像処理部１０－ｎの構成例を示すブロック図であり、図５は、画像処理部１０－ｎの処理例を示すフローチャートである。

【0048】

この画像処理部１０－ｎは、シルエット生成部２０、アドレス受信部２１、頂点座標生成部２２、投影部２３、包含関係判定部２４及び判定結果送信部２５を備えている。

【0049】

（シルエット生成部２０）
シルエット生成部２０は、カメラ２－ｎから、当該カメラ２－ｎにより撮影された撮影画像を入力する（ステップＳ５０１）。そして、シルエット生成部２０は、撮影画像から被写体３の領域（被写体領域）を検出することで、被写体３のシルエットを抽出し、被写体３であるか否かを画素位置毎に判定したシルエット画像Ｓを生成する（ステップＳ５０２）。シルエット生成部２０は、シルエット画像Ｓを包含関係判定部２４に出力する。

【0050】

例えばシルエット生成部２０は、背景差分法、クロマキー法、ルミナンスキー法、動的輪郭モデルによる被写体抽出、人工知能（例えば深層ニューラルネットワーク）による被写体抽出手法等の任意の既存の手法を用いて、シルエット画像Ｓを生成する。

【0051】

シルエット生成部２０は、背景差分法を用いる場合、予め被写体３の存在しない状態の画像を背景画像として取得しておき、背景画像と撮影画像との間の差分の絶対値に基づいて、被写体領域と非被写体領域とを分割する。尚、シルエット生成部２０は、予め背景画像を撮影しておくのではなく、時々刻々の撮影映像の時間方向の統計処理（例えば、複数時点の撮影映像における画素位置毎の中央値演算）によって、背景画像を生成してもよい。

【0052】

また、シルエット生成部２０は、クロマキー法及びルミナンスキー法を用いる場合、計測領域４に単色（例えば青、緑、黒、白等）の構造物（スクリーンまたは衝立）を背景として設置しておく。そして、シルエット生成部２０は、撮影画像の各画素値が所定の色範囲または輝度範囲にあるか否かを判定することで、非被写体領域と被写体領域とを分割する。

【0053】

図６は、図２におけるシルエット画像Ｓの例を示す図である。（ａ）は、カメラ２－１の撮影画像から生成されたシルエット画像Ｓの例を示し、（ｂ）は、カメラ２－２の撮影画像から生成されたシルエット画像Ｓの例を示す。（ｃ）は、カメラ２－３の撮影画像から生成されたシルエット画像Ｓの例を示し、（ｄ）は、カメラ２－４の撮影画像から生成されたシルエット画像Ｓの例を示す。

【0054】

（ａ）～（ｄ）のシルエット画像Ｓにおいて、白は被写体領域を示し、黒は非被写体領域を示す。カメラ２－ｎに対応する画像処理部１０－ｎにおいて、シルエット画像Ｓをシルエット画像Ｓ_nとし、その画像座標（ｘ，ｙ）における画素値をＳ_n（ｘ，ｙ）とする。画素値としては、被写体領域をＳ_n（ｘ，ｙ）＝１とし非被写体領域をＳ_n（ｘ，ｙ）＝０とする。

【0055】

（ＳＶＯモデル）
図１に示した三次元形状計測装置１は、被写体３の三次元形状をＳＶＯモデルによって表現する。ＳＶＯモデルとは、辺の長さが２のべき乗に比例するような様々な大きさの複数のボクセルを組み合わせることにより、三次元形状を表現するものである。

【0056】

ＳＶＯモデルに用いるボクセルは、直方体であってもよいし、立方体であってもよい。また、ボクセルは、３次元空間（図２に示した計測領域４）を充填できる３次元形状であれば他のもの（例えば斜方体、正三角柱等）であってもよい。

【0057】

以下、ボクセルを立方体とし、最大のボクセルの大きさを、図２に示した計測領域４における各辺の長さがＬであるものとする。つまり、計測領域４は、最大のボクセルを構成する。ＳＶＯモデルにおいては、あるボクセルにて表現できなかった三次元領域を、各辺の長さを半分にしたボクセルによって表現することを再度試みる。

【0058】

図７は、八分木表現によるボクセル分割を説明する図である。八分木表現によるボクセルは、典型的には、各辺（ここでは世界座標ＸＹＺの各軸に平行とする）をそれぞれ１／２に分割することで、Ｂ０，・・・，Ｂ７の８領域に分割される。この８領域のうち、必要な領域についてはさらに８分割されるという操作を繰り返すことにより、三次元形状の精度を高めていく。領域Ｂ０，・・・，Ｂ７に対応するアドレスは、それぞれ０，・・・，７である。

【0059】

図８は、八分木表現によるボクセル配置を説明する図であり、ボクセル分割を繰り返した例を示している。このようにして分割された各ボクセルに、被写体３の内外を示す数値（例えば、ボクセルが被写体３の内部に存在する場合に値１、ボクセルが被写体３の外部に存在する場合に値０）を設定することで、三次元形状が表現される。つまり、複数のボクセルにより構成される三次元の計測領域４において、当該計測領域４に含まれる被写体３は、例えば値１のボクセルにより、その三次元形状を表現することができる。

【0060】

このとき、大きさの混在したボクセルの中からいずれか１つを、一意に指定及び選択するための情報をアドレスＡとする。アドレスＡは、例えば可変長の数列によって表現することができ、三次元の計測領域４におけるボクセルの位置及び大きさを示すこととなる。

【0061】

＜１個の最大ボクセルを出発点として、分割を繰り返す場合＞
例えば、１個の最大ボクセルを出発点として、再帰的に分割を繰り返す場合には、当該１つの最大ボクセルのアドレスＡを空数列（Ａ＝（））で表す。図２に示した計測領域４は、最大ボクセルであり、このボクセルのアドレスＡ＝（）である。

【0062】

この最大ボクセルが８分割された場合には、分割後のボクセルを、その場所に応じて、例えば図７に示した領域Ｂ０～Ｂ７に対応する番号１項からなる数列（０）～（７）のアドレスで表す。

【0063】

以下、（・・・，ｋ）（ｋ∈｛０，１，２，３，４，５，６，７｝）のアドレスで表されるボクセルを分割した場合には、分割後のボクセルを、その場所に応じて、例えば図７に示した領域Ｂ０～Ｂ７に対応する番号１項を末項に追加した数列（・・・，ｋ，０）～（・・・，ｋ，７）のアドレスで表す。

【0064】

図８の例では、例えば、アドレスＡ＝（２），（７，５），（７，６，４）等で表されるボクセルの位置及び大きさを示している。アドレスＡ＝（２）のボクセルは、アドレスＡ＝（）の最大ボクセルが８分割された場合の分割後の１個のボクセルを示している。また、アドレスＡ＝（７，５）は、アドレスＡ＝（７）のボクセルが８分割された場合の分割後の１個のボクセルを示している。また、アドレスＡ＝（７，６，４）のボクセルは、アドレスＡ＝（７，６）のボクセルが８分割された場合の分割後の１個のボクセルを示している。

【0065】

図８の例では、被写体３を含む三次元の計測領域４は、以下の各アドレスで表される計２２個のボクセルにより構成されることとなる。

【数1】

【0066】

＜Ｍ個（Ｍは自然数）の最大ボクセルを出発点として、分割を繰り返す場合＞
また、例えば、Ｍ個（Ｍは自然数）の最大ボクセルを出発点として、再帰的に分割を繰り返す場合には、当該１つの最大ボクセルのアドレスを、その場所に応じて数列（ｍ）（ｍ∈｛０，１，・・・，Ｍ－１｝）で表す。

【0067】

この最大ボクセルが８分割された場合には、分割後のボクセルを、その場所に応じて、例えば図７に示した領域Ｂ０～Ｂ７に対応する番号１項からなる数列（ｍ，０）～（ｍ，７）のアドレスで表す。

【0068】

以下、（ｍ，・・・，ｋ）（ｋ∈｛０，１，２，３，４，５，６，７｝）のアドレスで表されるボクセルを分割した場合には、分割後のボクセルを、その場所に応じて、例えば図７に示した領域Ｂ０～Ｂ７に対応する番号１項を末項に追加した数列（ｍ，・・・，ｋ，０）～（ｍ，・・・，ｋ，７）のアドレスで表す。

【0069】

以下、＜１個の最大ボクセルを出発点として、分割を繰り返す場合＞のアドレス表記を用いて説明する。

【0070】

（アドレス受信部２１）
図４及び図５に戻って、アドレス受信部２１は、形状処理部１１からネットワーク１２を介して、ボクセルのアドレスＡを受信する（ステップＳ５０３）。そして、アドレス受信部２１は、アドレスＡを頂点座標生成部２２に出力する。

【0071】

ここで、アドレスＡは、前述のとおり数列である。アドレスＡにおける数列の項数をＫとする（Ｋは０以上の整数）。また、Ｋ＝０のときはアドレスＡ＝（）とし、Ｋ＞０のときは、数列の第ｋ項（ｋ∈｛１，・・・，Ｋ｝）をａ_kとする。

【0072】

すなわち、アドレスＡは、以下の式で表される。

【数2】

【0073】

（頂点座標生成部２２）
頂点座標生成部２２は、アドレス受信部２１からアドレスＡを入力し、アドレスＡに対応するボクセルの頂点座標Ｖ（Ａ）を生成する（ステップＳ５０４）。そして、頂点座標生成部２２は、頂点座標Ｖ（Ａ）を投影部２３に出力する。

【0074】

ここでは、最大ボクセルを各辺の長さＬの立方体とし、最大ボクセルが計測領域４と一致するものとし、最大ボクセルの８個の頂点座標Ｖ（Ａ）は、以下の座標で表される。

【数3】

【0075】

このとき、アドレスＡに対応するボクセルの８個の頂点座標Ｖ（Ａ）のうち、最も原点Ｏ（０，０，０）に近い頂点座標Ｖ（Ａ）は、以下の式で表される。

【数4】

【0076】

また、ボクセルの一辺の長さｌ（Ａ）は、以下の式で表される。

【数5】

【0077】

よって、ボクセルの８個の頂点座標Ｖ（Ａ）は、以下の座標で表される。

【数6】

【0078】

ここで、頂点座標生成部２２は、アドレスＡに対応するボクセルの頂点座標Ｖ（Ａ）を、前記式等（４）～（６）の演算にて求めるようにしてもよい。また、前記式等（４）～（６）の演算結果をルックアップテーブル（LUT：Look-Up Table）に予め格納しており、頂点座標生成部２２は、アドレスＡに対応するボクセルの頂点座標Ｖ（Ａ）を、ルックアップテーブルを用いて求めるようにしてもよい。

【0079】

（投影部２３）
投影部２３は、頂点座標生成部２２からボクセルの頂点座標Ｖ（Ａ）を入力する。そして、投影部２３は、頂点座標Ｖ（Ａ）を、カメラ２－ｎの位置、姿勢及び画角を考慮してカメラ２－ｎの撮影画像の座標系の平面に投影し、頂点座標Ｖ（Ａ）に対応するボクセルＢ（Ａ）の像（ボクセル像）Ｃ（Ａ）を生成する（ステップＳ５０５）。投影部２３は、ボクセル像Ｃ（Ａ）を包含関係判定部２４に出力する。

【0080】

図９は、ボクセルＢ（Ａ）及びボクセル像Ｃ（Ａ）の例を説明する図である。図９に示すように、ボクセルＢ（Ａ）の頂点座標Ｖ（Ａ）がカメラ２－ｎの画像平面に投影されたときのボクセルＢ（Ａ）の像が、ボクセル像Ｃ（Ａ）として生成される。これにより、カメラ２－ｎから見たときの多角形状のボクセル像Ｃ（Ａ）が得られる。

【0081】

（包含関係判定部２４）
図４及び図５に戻って、包含関係判定部２４は、シルエット生成部２０からシルエット画像Ｓを入力すると共に、投影部２３からボクセル像Ｃ（Ａ）を入力する。そして、包含関係判定部２４は、シルエット画像Ｓ及びボクセル像Ｃ（Ａ）に基づいて、以下の式により、これらの包含関係を判定し、包含関係を示す判定結果Ｊ_n（Ａ）を求める（ステップＳ５０６）。包含関係判定部２４は、判定結果Ｊ_n（Ａ）を判定結果送信部２５に出力する。

【数7】

【0082】

具体的には、包含関係判定部２４は、ボクセル像Ｃ（Ａ）が撮影画像の枠（シルエット画像Ｓを含む全体画像）内に収まっており、かつボクセル像Ｃ（Ａ）が全体画像のうちのシルエット画像Ｓ以外の画像に含まれる（シルエット画像Ｓ内に存在しない）と判定した場合、判定結果Ｊ_n（Ａ）＝０を設定する。また、包含関係判定部２４は、ボクセル像Ｃ（Ａ）が全体画像内に収まっており、かつボクセル像Ｃ（Ａ）がシルエット画像Ｓに含まれる（境界を含む、シルエット画像Ｓ内に存在する）と判定した場合、判定結果Ｊ_n（Ａ）＝１を設定する。

【0083】

また、包含関係判定部２４は、ボクセル像Ｃ（Ａ）が全体画像外にはみ出していると判定した場合、判定結果Ｊ_n（Ａ）＝２を設定する。また、包含関係判定部２４は、判定結果Ｊ_n（Ａ）＝０，１，２の判定条件を満たさない場合（それ以外の場合）、判定結果Ｊ_n（Ａ）＝３を設定する。

【0084】

図１０は、シルエット画像Ｓとボクセル像Ｃ（Ａ）との間の包含関係及び判定結果Ｊ_n（Ａ）の例を説明する図である。（ａ）は、ボクセル像Ｃ（Ａ）が全体画像内に収まっており、かつボクセル像Ｃ（Ａ）がシルエット画像Ｓの完全に外側に存在し、前記式（７）の第１行目の条件を満たすため、判定結果Ｊ_n（Ａ）＝０である。

【0085】

（ｂ）は、ボクセル像Ｃ（Ａ）が全体画像内に収まっており、かつボクセル像Ｃ（Ａ）がシルエット画像Ｓの完全に内側（境界を含む）に存在し、前記式（７）の第２行目の条件を満たすため、判定結果Ｊ_n（Ａ）＝１である。

【0086】

（ｃ）及び（ｄ）は、ボクセル像Ｃ（Ａ）が全体画像からはみ出しており、前記式（７）の第３行目の条件を満たすため、判定結果Ｊ_n（Ａ）＝２である。

【0087】

（ｅ）及び（ｆ）は、ボクセル像Ｃ（Ａ）が全体画像内に収まっているが、ボクセル像Ｃ（Ａ）がシルエット画像Ｓの完全に外側に存在しておらず、また、ボクセル像Ｃ（Ａ）がシルエット画像Ｓの完全に内側に存在しておらず、前記式（７）の第４行目の条件を満たすため、判定結果Ｊ_n（Ａ）＝３である。

【0088】

（判定結果送信部２５）
図４及び図５に戻って、判定結果送信部２５は、包含関係判定部２４から判定結果Ｊ_n（Ａ）を入力し、判定結果Ｊ_n（Ａ）を、ネットワーク１２を介して形状処理部１１に送信する（ステップＳ５０７）。

【0089】

〔形状処理部１１〕
次に、図１の三次元形状計測装置１に備えた形状処理部１１について詳細に説明する。図１１は、形状処理部１１の構成例を示すブロック図であり、図１２は、形状処理部１１の処理例を示すフローチャートである。

【0090】

この形状処理部１１は、判定結果受信部３０、判定結果統合部３１、ボクセル記録部３２、ボクセル分割部３３、アドレスＦＩＦＯ（First In First Out：フィーストインファーストアウト）部３４、アドレス送信部３５及びボクセル出力部３６を備えている。

【0091】

（判定結果受信部３０）
判定結果受信部３０は、画像処理部１０－１，・・・，１０－Ｎからネットワーク１２を介して、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）（判定結果Ｊ_n（Ａ）（ｎ∈｛１，・・・，Ｎ｝））をそれぞれ受信する（ステップＳ１２０１）。判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）は、アドレスＡについてのボクセル像Ｃ（Ａ）とシルエット画像Ｓとの間の包含関係を示す結果である。そして、判定結果受信部３０は、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を判定結果統合部３１に出力する。

【0092】

（判定結果統合部３１）
判定結果統合部３１は、判定結果受信部３０から判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を入力し、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を統合し、以下の式により、統合判定結果Ｐ（Ａ）を求める（ステップＳ１２０２）。そして、判定結果統合部３１は、統合判定結果Ｐ（Ａ）をボクセル記録部３２に記録する（ステップＳ１２０３）。

【数8】

【0093】

具体的には、判定結果統合部３１は、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）のうちのいずれかが０の場合（ボクセル像Ｃ（Ａ）が全体画像内に収まっており、かつシルエット画像Ｓ内に存在しない場合）、ボクセルＢ（Ａ）の全体が被写体３の外部に存在するとして、統合判定結果Ｐ（Ａ）＝０を設定する。

【0094】

また、判定結果統合部３１は、判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）のうち、判定結果Ｊ_n（Ａ）＝２を除く全ての判定結果が１の場合（ボクセル像Ｃ（Ａ）が全体画像内に収まっており、かつシルエット画像Ｓ内に存在する場合）、ボクセルＢ（Ａ）の全体が被写体３の内部に存在するとして、統合判定結果Ｐ（Ａ）＝１を設定する。

【0095】

ボクセルＢ（Ａ）が被写体３内に存在することを示す統合判定結果Ｐ（Ａ）＝１は、ボクセル像Ｃ（Ａ）が全体画像外にはみ出している判定結果Ｊ_n（Ａ）は除外され、除外後の全ての判定結果Ｊ_n（Ａ）において、ボクセル像Ｃ（Ａ）が全体画像内に収まっている場合に判定される。

【0096】

また、判定結果統合部３１は、統合判定結果Ｐ（Ａ）＝０，１の判定条件を満たさない場合（それ以外の場合）、ボクセルＢ（Ａ）が被写体３の外部及び内部に存在するかを判定できない（判定不明）として、統合判定結果Ｐ（Ａ）＝２を設定する。

【0097】

（ボクセル記録部３２）
ボクセル記録部３２は、アドレスＡに紐づけて統合判定結果Ｐ（Ａ）が記録されるメモリである。記録の形式としては、例えば、木構造を用いることができる。

【0098】

図１３は、ボクセル記録部３２に記録されたアドレスＡ及び統合判定結果Ｐ（Ａ）の例を示す図であり、八分木表現によるボクセルの形状情報の例を示している。四角はボクセルを示し、その中の数値は統合判定結果Ｐ（Ａ）＝０，１，２を示す。

【0099】

また、統合判定結果Ｐ（Ａ）＝２（判定不明）のボクセルが再帰的に８分割されている。統合判定結果Ｐ（Ａ）＝２（判定不明）のボクセルは、後述するボクセル分割部３３により８分割される。

【0100】

（ボクセル分割部３３）
図１１及び図１２に戻って、ボクセル分割部３３は、ボクセル記録部３２に八分木表現で記録された末端（外側）のボクセルの統合判定結果Ｐ（Ａ）のうち、統合判定結果Ｐ（Ａ）＝２のボクセルが有るか否かを判定する（ステップＳ１２０４）。

【0101】

ボクセル分割部３３は、ステップＳ１２０４において、末端のボクセルの統合判定結果Ｐ（Ａ）＝２が有ると判定した場合（ステップＳ１２０４：Ｙ）、全ての統合判定結果Ｐ（Ａ）＝２のボクセルについて、当該ボクセルを８分割する。

【0102】

ボクセル分割部３３は、統合判定結果Ｐ（Ａ）＝２のボクセル毎に、以下の式により、アドレスＡから、８分割したボクセルのアドレスＡ’₀，・・・，Ａ’₇を生成する（ステップＳ１２０５）。ボクセル分割部３３は、８つのアドレスＡ’₀，・・・，Ａ’₇をアドレスＦＩＦＯ部３４に記憶する（ステップＳ１２０６）。

【数9】

（Ａ，ｋ）は、アドレスＡの数列の後ろに（末項として）、数値ｋの項を追加する操作を示す。

【0103】

図１３を参照して、例えばアドレスＡ＝（６，４）のボクセルが末端のボクセルであるとした場合、ボクセル分割部３３は、末端のボクセルの統合判定結果Ｐ（Ａ＝（６，４））＝２が有ると判定する。そして、ボクセル分割部３３は、アドレスＡ（６，４）のボクセルを８分割し、８分割したボクセルのアドレスＡ’₀＝（６，４，０），・・・，Ａ’₇＝＝（６，４，７）を生成する。

【0104】

（アドレスＦＩＦＯ部３４）
図１１及び図１２に戻って、アドレスＦＩＦＯ部３４は、ファーストインファーストアウトのメモリであり、ボクセル分割部３３によりアドレスＡ’₀，・・・，Ａ’₇が記憶される。後述するアドレス送信部３５によりアドレスＦＩＦＯ部３４からアドレスＡ’が読み出された場合、アドレスＦＩＦＯ部３４は、当該アドレスＡ’の情報を消去する。

【0105】

尚、ここでは、アドレスＦＩＦＯ部３４はファーストインファーストアウトのメモリであるとしたが、スタック（ファーストインラストアウト）のメモリであるとしてもよい。また、アドレスＦＩＦＯ部３４は、メモリであって、入力して記憶されたアドレスＡ’₀，・・・，Ａ’₇を、最終的に全て読み出して空にするように動作するメモリであれば、その入出力の順序は問わない。

【0106】

（アドレス送信部３５）
アドレス送信部３５は、アドレスＦＩＦＯ部３４に記憶されたアドレスＡ’を読み出し、アドレスＡ’を、ネットワーク１２を介して画像処理部１０－１，・・・，１０－Ｎに送信し（ステップＳ１２０７）、ステップＳ１２０１へ移行する。このアドレスＡ’は、図４に示した画像処理部１０－ｎの構成において、アドレスＡに相当する。

【0107】

例えば、アドレス送信部３５は、アドレスＡ’₀を画像処理部１０－１，・・・，１０－Ｎに送信した後、判定結果受信部３０がアドレスＡ’₀に対応する判定結果Ｊ₁（Ａ’₀），・・・，Ｊ_N（Ａ’₀）を受信したとする。そうすると、アドレス送信部３５は、アドレスＦＩＦＯ部３４に記憶された次のアドレスＡ’₁を読み出し、アドレスＡ’₁を画像処理部１０－１，・・・，１０－Ｎに送信する。

【0108】

このように、図１２に示したステップＳ１２０１～Ｓ１２０７の処理が繰り返されることで、被写体３内外の判定不可能であったボクセルＢ（Ａ）についてのみ、再帰的に分割が行われる。そして、分割されたボクセルＢ（Ａ）についての被写体３内外の判定を確定させながら、計測された三次元形状の精度が向上することとなる。

【0109】

（ボクセル出力部３６）
ボクセル出力部３６は、ボクセル分割部３３と同様に、ステップＳ１２０４において、ボクセル記録部３２に八分木表現で記録された末端のボクセルの統合判定結果Ｐ（Ａ）のうち、統合判定結果Ｐ（Ａ）＝２のボクセルが有るか否かを判定する。

【0110】

ボクセル出力部３６は、末端のボクセルの統合判定結果Ｐ（Ａ）＝２がないと判定した場合（ステップＳ１２０４：Ｎ）、ステップＳ１２０１～Ｓ１２０７の繰り返し処理を終了する。そして、ボクセル出力部３６は、ボクセル記録部３２に記録された全てのアドレスＡに紐づいた統合判定結果Ｐ（Ａ）を読み出し、これを形状情報（八分木表現で記録されたボクセル情報）として外部へ出力する（ステップＳ１２０８）。

【0111】

これにより、形状情報に含まれるアドレスＡから、ボクセルの位置及び大きさを判断することができ、統合判定結果Ｐ（Ａ）から、ボクセルが被写体３の内部にあるのか、または外部にあるのかを判断することができる。

【0112】

尚、ボクセル出力部３６は、所定の終了条件を満たす場合に、ステップＳ１２０８の処理を行うようにしてもよい。例えば、ボクセル出力部３６は、末端のボクセルの統合判定結果Ｐ（Ａ）＝２がある場合であっても（ボクセル記録部３２において、ボクセルＢ（Ａ）が被写体３の内外のいずれにもなく判定不可能である場合であっても）、ある既定のボクセルの大きさまで（分割を繰り返して）処理を終えた場合に、終了条件を満たすとして、ステップＳ１２０８の処理を行う。

【0113】

この場合、ボクセル出力部３６は、被写体３内外の判定不可能なボクセルＢ（Ａ）については（統合判定結果Ｐ（Ａ）＝２）、判定不可能であり内外不明として扱ってもよい。また、ボクセル出力部３６は、統合判定結果Ｐ（Ａ）＝２のボクセルＢ（Ａ）を統合判定結果Ｐ（Ａ）＝１のボクセルＢ（Ａ）に変更し、被写体３内に存在するボクセルＢ（Ａ）として扱ってもよい。また、ボクセル出力部３６は、統合判定結果Ｐ（Ａ）＝２のボクセルＢ（Ａ）を統合判定結果Ｐ（Ａ）＝０のボクセルＢ（Ａ）に変更し、被写体３外に存在するボクセルＢ（Ａ）として扱ってもよい。

【0114】

以上のように、本発明の実施形態による三次元形状計測装置１によれば、画像処理部１０－１，・・・，１０－Ｎのそれぞれは、対応するカメラ２－１，・・・，２－Ｎにより撮影された撮影画像から被写体３のシルエット画像Ｓを生成し、形状処理部１１から受信したアドレスＡから頂点座標Ｖ（Ａ）を求め、撮影画像の座標系に投影してボクセル像Ｃ（Ａ）を生成する。

【0115】

画像処理部１０－１，・・・，１０－Ｎのそれぞれは、シルエット画像Ｓ及びボクセル像Ｃ（Ａ）の包含関係を判定し、対応する判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を求めて形状処理部１１に送信する。

【0116】

形状処理部１１は、画像処理部１０－１，・・・，１０－Ｎから受信した判定結果Ｊ₁（Ａ），・・・，Ｊ_N（Ａ）を統合し、統合判定結果Ｐ（Ａ）を求めてボクセル記録部３２に記録する。そして、形状処理部１１は、被写体３内外の判定不可能を示すボクセルについて８分割し、８分割したボクセルの８つのアドレスＡ’をアドレスＦＩＦＯ部３４に記憶し、アドレスＦＩＦＯ部３４に記憶されたアドレスＡ’を画像処理部１０－１，・・・，１０－Ｎに送信する。

【0117】

形状処理部１１は、このような処理を繰り返すことで、ボクセルＢ（Ａ）についての被写体３内外の判定不可能であったボクセルＢ（Ａ）についてのみ、再帰的に分割を行い、被写体３内外の判定を確定させる。

【0118】

また、形状処理部１１は、ボクセル記録部３２に八分木表現で記録された末端のボクセルについて統合判定結果Ｐ（Ａ）＝２がないと判定する等の所定の終了条件を満たす場合、ボクセル記録部３２に記録された全てのアドレスＡに紐づいた統合判定結果Ｐ（Ａ）を読み出し、これを形状情報として外部へ出力する。

【0119】

これにより、ＳＶＯモデルで表現した被写体３の三次元形状を、撮影画像から直接計測することができる。このため、被写体３の三次元形状の大まかな構造は、大きなボクセルで表現し、大きなボクセルで表現しきれなかった部分の構造は、より細かなボクセルに順次分割して表現することができる。その結果、被写体３の三次元形状の表現に用いるボクセル数程度の少ないメモリ容量で、三次元形状の計測が可能となる。また、計測にかかる処理量は、被写体３の体積の対数に比例するオーダーに抑えることができる。つまり、メモリ容量及び処理負荷の低減を実現することができる。

【0120】

尚、画像処理部１０－１，・・・，１０－ＮにおけるＮは２以上（Ｎ≧２）であることが好ましい。すなわち、三次元形状計測装置１は、２以上の所定数の画像処理部１０－１，・・・，１０－Ｎを備えることが好ましい。これにより、複数の包含関係判定部２４による包含関係を判定するための視体積交差の処理が実行されることで、形状処理部１１のボクセル出力部３６により出力される形状情報の精度、すなわち被写体３の三次元形状の精度を高めることができる。

【0121】

この場合、画像処理部１０－１，・・・，１０－Ｎは、それぞれ別の処理装置（画像処理装置）として独立して並列実行するようにしてもよい。それぞれの処理装置は、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array：フィールドプログラマブルゲートアレイ）に実装された論理及び順序回路、ＧＰＵ（Graphics Processing Unit：画像処理装置）等、これらを組み合わせて製作されたコンピュータである。

【0122】

また、形状処理部１１は、画像処理部１０－１，・・・，１０－Ｎとは異なる処理装置（形状処理装置）で分担し、画像処理部１０－１，・・・，１０－Ｎ及び形状処理部１１は、それぞれ別の処理装置として独立して並列実行するようにしてもよい。

【0123】

三次元形状計測システムを構成するそれぞれの処理装置の画像処理部１０－１，・・・，１０－Ｎ、または画像処理部１０－１，・・・，１０－Ｎ及び形状処理部１１が独立して並列に実行することで、処理負荷を分散することができ、高速化が可能となる。また、個々の処理装置を小型化することができ、画像処理部１０－１，・・・，１０－Ｎをカメラ２－１，・・・，２－Ｎにそれぞれ装着する小型の付加装置として実現し、カメラ２－１，・・・，２－Ｎの内部に組み込むこともできる。

【0124】

また、カメラ２を増設する場合、当該カメラ２に対応する画像処理部１０をネットワーク１２に接続するだけで対応でき、簡便である。さらに、例えば、一部のカメラ２または画像処理部１０が故障した場合または取り外した場合にも、当該画像処理部１０のみをネットワーク１２から切断するだけで対応でき、簡便である。

【0125】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0126】

例えば、図４に示した画像処理部１０－ｎは、シルエット生成部２０を備えているが、シルエット生成部２０を備えていなくてもよい。この場合、画像処理部１０－ｎの包含関係判定部２４は、カメラ２－ｎにより撮影された被写体３のシルエット画像Ｓを直接入力する。

【0127】

尚、本発明の実施形態による三次元形状計測装置１のハードウェア構成としては、通常のコンピュータを使用することができる。三次元形状計測装置１は、ＣＰＵ（またはＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等）、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0128】

三次元形状計測装置１に備えた画像処理部１０－１，・・・，１０－Ｎ及び形状処理部１１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0129】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0130】

１ 三次元形状計測装置
２ カメラ
３ 被写体
４ 計測領域
１０ 画像処理部
１１ 形状処理部
１２ ネットワーク
２０ シルエット生成部
２１ アドレス受信部
２２ 頂点座標生成部
２３ 投影部
２４ 包含関係判定部
２５ 判定結果送信部
３０ 判定結果受信部
３１ 判定結果統合部
３２ ボクセル記録部
３３ ボクセル分割部
３４ アドレスＦＩＦＯ（First In First Out）部
３５ アドレス送信部
３６ ボクセル出力部
Ａ，Ａ’ アドレス
Ｊ（Ａ） 判定結果
Ｓ シルエット画像
Ｖ（Ａ） 頂点座標
Ｂ（Ａ） ボクセル
Ｃ（Ａ） ボクセル像
Ｐ（Ａ） 統合判定結果

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】