特許 7518698 三次元形状推定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-09

(45)【発行日】2024-07-18

(54)【発明の名称】三次元形状推定装置及びプログラム

(51)【国際特許分類】

   G06T 7/564 20170101AFI20240710BHJP

【ＦＩ】

G06T7/564

【請求項の数】 5

(21)【出願番号】P 2020143049

(22)【出願日】2020-08-26

(65)【公開番号】P2022038503

(43)【公開日】2022-03-10

【審査請求日】2023-07-03

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１０－１５２５３５（ＪＰ，Ａ）

【文献】特開２０１５－０５３００６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

計測対象の三次元形状を点群モデルにて推定する三次元形状推定装置において、
前記計測対象の三次元の位置情報を含む複数の仮説を生成し、前記複数の仮説を再標本化することで、前記三次元形状を推定する推定部と、
カメラにより撮影された前記計測対象の画像をそれぞれ入力し、前記画像に基づいて、前記複数の仮説に対応する複数の尤度をそれぞれ演算する複数の観測部と、を備え、
前記推定部は、
前記複数の観測部により生成された前記観測部毎の前記複数の尤度に基づき、前記複数の仮説のそれぞれを複製、削除または保持することで、前記複数の仮説を再標本化し、再標本化された前記複数の仮説に基づいて、点群の前記三次元形状を推定して出力する再標本化部を備え、
前記複数の観測部のそれぞれは、
前記再標本化部により再標本化された前記複数の仮説を、当該観測部に対応する前記画像の座標に投影し、投影像を生成する投影部と、
当該観測部に対応する前記画像から前記計測対象のシルエットを抽出し、シルエット画像を生成するシルエット抽出部と、
前記投影部により生成された前記投影像と、前記シルエット抽出部により生成された前記シルエット画像とに基づいて、前記複数の仮説に対応する前記複数の尤度を演算する尤度演算部と、を備えたことを特徴とする三次元形状推定装置。

【請求項2】

請求項１に記載の三次元形状推定装置において、
前記推定部は、
さらに、前記再標本化部により再標本化された前記複数の仮説に対し、所定の運動モデルに従って所定の時間変化分の予測を行うことで、前記複数の仮説を更新する予測部を備え、
前記複数の観測部のそれぞれに備えた前記投影部は、
前記再標本化部により再標本化された前記複数の仮説、または前記予測部により更新された前記複数の仮説を、当該観測部に対応する前記画像の前記座標に投影し、前記投影像を生成する、ことを特徴とする三次元形状推定装置。

【請求項3】

請求項２に記載の三次元形状推定装置において、
前記推定部は、
さらに、所定の確率密度関数からの標本抽出により、前記複数の仮説を生成する初期化部を備え、
前記複数の観測部のそれぞれに備えた前記投影部は、
前記初期化部により生成された前記複数の仮説、前記再標本化部により再標本化された前記複数の仮説、または前記予測部により更新された前記複数の仮説を、当該観測部に対応する前記画像の前記座標に投影し、前記投影像を生成する、ことを特徴とする三次元形状推定装置。

【請求項4】

請求項１から３までのいずれか一項に記載の三次元形状推定装置において、
前記複数の観測部のそれぞれに備えた前記尤度演算部は、
前記投影像が前記シルエット画像の内部及び外部のいずれに存在するか、及び、前記投影像から前記シルエット画像における前記シルエットの有無の境界線までの間の距離に応じて、前記複数の仮説に対応する前記複数の尤度を演算する、ことを特徴とする三次元形状推定装置。

【請求項5】

コンピュータを、請求項１から４までのいずれか一項に記載の三次元形状推定装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象の三次元形状を推定する装置及びプログラム技術に関し、特に、三次元形状を点群モデルにて推定する技術に関する。

【背景技術】

【0002】

従来、計測対象の三次元形状を推定する技術として、メタボール表現による三次元形状を、視体積交差法及び逐次モンテカルロ法を用いて推定する三次元形状推定装置が知られている（例えば、特許文献１を参照）。

【0003】

この三次元形状推定装置は、複数の入力画像から計測対象のシルエットをそれぞれ抽出し、探索領域に所定数のパーティクルを生成し、複数のシルエットに基づいてパーティクルの重み係数を変更する。そして、三次元形状推定装置は、パーティクルの重み係数に基づいてパーティクルを再サンプリングし、再サンプリングされたパーティクルの状態ベクトルを遷移させ、所定数のパーティクルからメタボール表現の三次元形状を生成する。

【0004】

また、計測対象の三次元形状を推定する技術として、点群表現による三次元形状を、ステレオ法を用いて推定する手法も知られており、センサにより計測対象との間の距離を測定することで、三次元形状を推定する手法もある。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第４６９０９７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前述の特許文献１の三次元形状推定装置では、メタボール表現により三次元形状を推定するため、細かな表面形状の記述が難しいという問題があった。

【0007】

この問題を解決するために、点群表現により三次元形状を推定する手法を用いることが想定される。しかし、前述のステレオ法を用いて点群表現により三次元形状を推定する手法では、演算コストが高くなり、処理速度が遅くなってしまう。また、前述の距離を測定するセンサを用いる手法では、センサが必要であるため、部品コストが高くなってしまう。

【0008】

従来、点群表現により三次元形状を推定する際に、これらの問題を解決するための新たな手法が所望されていた。

【0009】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、点群表現による三次元形状の推定を低負荷にて実現可能な三次元形状推定装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

前記課題を解決するために、請求項１の三次元形状推定装置は、計測対象の三次元形状を点群モデルにて推定する三次元形状推定装置において、前記計測対象の三次元の位置情報を含む複数の仮説を生成し、前記複数の仮説を再標本化することで、前記三次元形状を推定する推定部と、カメラにより撮影された前記計測対象の画像をそれぞれ入力し、前記画像に基づいて、前記複数の仮説に対応する複数の尤度をそれぞれ演算する複数の観測部と、を備え、前記推定部が、前記複数の観測部により生成された前記観測部毎の前記複数の尤度に基づき、前記複数の仮説のそれぞれを複製、削除または保持することで、前記複数の仮説を再標本化し、再標本化された前記複数の仮説に基づいて、点群の前記三次元形状を推定して出力する再標本化部を備え、前記複数の観測部のそれぞれが、前記再標本化部により再標本化された前記複数の仮説を、当該観測部に対応する前記画像の座標に投影し、投影像を生成する投影部と、当該観測部に対応する前記画像から前記計測対象のシルエットを抽出し、シルエット画像を生成するシルエット抽出部と、前記投影部により生成された前記投影像と、前記シルエット抽出部により生成された前記シルエット画像とに基づいて、前記複数の仮説に対応する前記複数の尤度を演算する尤度演算部と、を備えたことを特徴とする。

【0011】

請求項１の発明によれば、推定部及び観測部の連係動作により、計測対象の三次元形状をなす点群を得ることができる。

【0012】

また、請求項２の三次元形状推定装置は、請求項１に記載の三次元形状推定装置において、前記推定部が、さらに、前記再標本化部により再標本化された前記複数の仮説に対し、所定の運動モデルに従って所定の時間変化分の予測を行うことで、前記複数の仮説を更新する予測部を備え、前記複数の観測部のそれぞれに備えた前記投影部が、前記再標本化部により再標本化された前記複数の仮説、または前記予測部により更新された前記複数の仮説を、当該観測部に対応する前記画像の前記座標に投影し、前記投影像を生成する、ことを特徴とする。

【0013】

請求項２の発明によれば、時々刻々と移動または変形する計測対象に追随して、計測対象の三次元形状をなす点群を得ることができる。

【0014】

また、請求項３の三次元形状推定装置は、請求項２に記載の三次元形状推定装置において、前記推定部が、さらに、所定の確率密度関数からの標本抽出により、前記複数の仮説を生成する初期化部を備え、前記複数の観測部のそれぞれに備えた前記投影部が、前記初期化部により生成された前記複数の仮説、前記再標本化部により再標本化された前記複数の仮説、または前記予測部により更新された前記複数の仮説を、当該観測部に対応する前記画像の前記座標に投影し、前記投影像を生成する、ことを特徴とする。

【0015】

請求項３の発明によれば、計測対象が存在する位置を適切に反映した確率密度関数を用いることで、効率的に精度の高い三次元形状をなす点群を得ることができる。

【0016】

また、請求項４の三次元形状推定装置は、請求項１から３までのいずれか一項に記載の三次元形状推定装置において、前記複数の観測部のそれぞれに備えた前記尤度演算部が、前記投影像が前記シルエット画像の内部及び外部のいずれに存在するか、及び、前記投影像から前記シルエット画像における前記シルエットの有無の境界線までの間の距離に応じて、前記複数の仮説に対応する前記複数の尤度を演算する、ことを特徴とする。

【0017】

請求項４の発明によれば、計測対象の点群を、当該計測対象の表面及びその内側に局在させた分布とすることができる。これにより、少ない点群数にて精度の高い三次元形状を推定することができる。

【0018】

さらに、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の三次元形状推定装置として機能させることを特徴とする。

【発明の効果】

【0019】

以上のように、本発明によれば、点群表現による三次元形状の推定を低負荷にて実現することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態による三次元形状推定装置の構成例を示すブロック図である。

【図2】推定部の構成例を示すブロック図である。

【図3】推定部の処理例を示すフローチャートである。

【図4】観測部の構成例を示すブロック図である。

【図5】観測部の処理例を示すフローチャートである。

【図6】尤度演算部３３の処理例を説明する図である。

【図7】第一例の動作（ブロードキャストによる動作例）を説明する図である。

【図8】第二例の動作（ユニキャストによる動作例）を説明する図である。

【図9】第三例の動作（マルチキャストによる動作例）を説明する図である。

【図10】三次元形状推定装置から出力される点群の分布を説明する図である。

【発明を実施するための形態】

【0021】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔三次元形状推定装置〕
図１は、本発明の実施形態による三次元形状推定装置の構成例を示すブロック図である。この三次元形状推定装置１は、推定部１０、複数の観測部１１－１，１１－２，・・・及びネットワーク１２を備えている。

【0022】

複数の観測部１１－１，１１－２，・・・のそれぞれにおける構成及び処理は同一である。以下、複数の観測部１１－１，１１－２，・・・のそれぞれを総称して、観測部１１という。三次元形状推定装置１が３つ以上の観測部１１を備える場合は、観測部１１－１と同様の観測部１１－３等を追加すればよい。

【0023】

三次元形状推定装置１は、複数の仮説を用いて、計測対象の三次元形状を点群モデルにて推定する。この仮説には三次元の位置情報を含むものとし、複数の仮説に含まれる位置情報により、点群が構成されるものとする。点群は、計測対象の三次元形状を空間上の点の集合で表現したものである。

【0024】

推定部１０は、点群の位置及び速度を示す仮説Ｘを生成し、仮説Ｘを、ネットワーク１２を介して複数の観測部１１－１，１１－２，・・・のそれぞれに送信し、複数の観測部１１－１，１１－２，・・・のそれぞれに対し、当該仮説Ｘの尤度情報Ｍを生成させる。

【0025】

推定部１０は、複数の観測部１１－１，１１－２，・・・からネットワーク１２を介して、観測部１１毎の尤度情報Ｍを受信し、観測部１１毎の尤度情報Ｍに基づいて、統合した尤度情報Ｍ’を生成する。そして、推定部１０は、尤度情報Ｍ’に基づいて、仮説Ｘを再標本化する。

【0026】

推定部１０は、再標本化した仮説Ｘに対し、観測部１１の観測時刻に応じた予測処理を行うことで、仮説Ｘを更新する。そして、推定部１０は、更新後の仮説Ｘを、ネットワーク１２を介して複数の観測部１１－１，１１－２，・・・のそれぞれに送信し、複数の観測部１１－１，１１－２，・・・のそれぞれに対し、当該更新後の仮説Ｘの尤度情報Ｍを生成させる。

【0027】

推定部１０は、このような処理を繰り返すことで、仮説Ｘの精度を向上させることができ、更新後の仮説Ｘを点群（点群モデルの三次元形状）として外部へ出力する。推定部１０の詳細については後述する。

【0028】

観測部１１は、推定部１０から仮説Ｘを受信し、仮説Ｘが示す点群の位置及び速度を、カメラにより撮影される画像の座標（画像座標）に投影し、投影像ｙ_k^を生成する。そして、観測部１１は、投影像ｙ_k^、及びカメラにより撮影された画像から得られた計測対象のシルエット画像Ｓに基づき、仮説Ｘの投影像ｙ_k^の点群がシルエット画像Ｓ内に存在するか否かまたはその程度を示す尤度情報Ｍを生成する。仮説Ｘの投影像ｙ_k^の点群がシルエット画像Ｓ内に存在する場合、尤度は高く、仮説Ｘの投影像ｙ_k^の点群がシルエット画像Ｓ内に存在しない場合、尤度は低いものとする。

【0029】

観測部１１は、尤度情報Ｍを、ネットワーク１２を介して推定部１０に送信する。観測部１１の詳細については後述する。

【0030】

推定部１０と複数の観測部１１－１，１１－２，・・・のそれぞれとは、ネットワーク１２を介して接続される。ネットワーク１２は、これに接続された構成部間においてデータの交換を行うものであり、その形態は問わない。ネットワークトポロジーも、例えば、バス型構成、星型構成、リング型構成、それらの複合形態等の任意の構成によることができる。また、ネットワーク１２を介する接続は、有線であっても無線であっても構わない。例えば、ネットワーク１２としてイーサーネット（登録商標）を用いることができる。

【0031】

〔推定部１０〕
次に、図１に示した推定部１０について詳細に説明する。図２は、推定部１０の構成例を示すブロック図であり、図３は、推定部１０の処理例を示すフローチャートである。

【0032】

この推定部１０は、初期化部２０、切換部２１、仮説送信部２２、仮説記憶部２３、尤度受信部２４、乗算部２５、再標本化部２６及び予測部２７を備えている。

【0033】

初期化部２０は、点群の位置及び速度を示す初期のＫ個の仮説を生成し（ステップＳ３０１）、これを仮説Ｘとして切換部２１に出力する。Ｋは２以上の整数である。個々の仮説をｘ_k ^→としてベクトル表記する。ｋは、ｋ∈｛１，２，・・・，Ｋ｝なる整数とする。また、全ての仮説ｘ_k ^→のベクトル列を、Ｘ＝（ｘ₁ ^→，ｘ₂ ^→，・・・，ｘ_K ^→）とする。仮説ｘ_k ^→の成分は、例えば以下のとおりである。

【数1】

ｚ_k ^→は、３次元位置を表す位置ベクトルであり、ｖ_k ^→は、位置ｚ_k ^→の１階時間微分のベクトル、すなわち速度ベクトルである。位置ｚ_k ^→及び速度ｖ_k ^→の各成分を規定する座標系を、世界座標系という。

【0034】

具体的には、初期化部２０は、以下の式のとおり、所定の確率密度関数（事前確率密度関数という。）ｐ（ｘ^→）からの標本抽出により、仮説ｘ_k ^→の値を定める。

【数2】

【0035】

事前確率密度関数ｐ（ｘ^→）は、計測対象の物体の存在しそうな位置及び速度ほど、高い確率密度を有することが好ましい。例えば、計測対象が床面に立った人物であり、その身長が１．７メートルである場合を想定する。この場合、人物の位置が、床面から０乃至２．５メートル程度（挙手している状況を想定）の高さの範囲かつ水平方向には直径２メートル程度の円となるような円柱状の領域内にあり、かつ、人物の速度が、各方向について時速２０キロメートル毎時以下である球体内にあるような、合計で６次元の超立体内の領域において正の確率密度値を設定し、それ以外の領域において０の確率密度値を設定した事前確率密度関数ｐ（ｘ^→）を用いることができる。

【0036】

このように、計測対象である人物が存在する位置を適切に反映した事前確率密度関数ｐ（ｘ^→）を用いることで、結果として、効率的かつ短時間に精度の高い三次元形状をなす点群を得ることができる。

【0037】

また、事前確率密度関数ｐ（ｘ^→）は、以下の式のとおり、単なる多次元正規分布であってもよい。

【数3】

【0038】

μ^→及びΣは、それぞれ６次元のベクトル及び６行６列の共分散行列である。例えば、μ^→は、計測対象の置かれる領域の中心座標、Σは、計測対象の置かれる領域の広がり（大きさ）の二乗に比例して設定される。各辺２メートル程度の物体をステージ上に載せて計測する場合であって、当該ステージの中心を世界座標系の原点とする場合には、以下の式で表される。

【数4】

【0039】

また、事前確率密度関数ｐ（ｘ^→）は、多次元の切断正規分布であってもよいし、多次元の一様分布であってもよい。

【0040】

切換部２１は、初期化部２０から仮説Ｘを、後述する予測部２７から仮説Ｘを、後述する再標本化部２６から仮説Ｘをそれぞれ入力する。そして、切換部２１は、後述する図７～図９に示す第一例、第二例及び第三例の動作に応じて、これらのうちのいずれかの仮説Ｘを選択する。

【0041】

切換部２１は、選択した仮説Ｘを仮説送信部２２及び仮説記憶部２３に出力する。仮説記憶部２３は、切換部２１から仮説Ｘを入力し、仮説Ｘを記憶する。

【0042】

具体的には、切換部２１は、当該三次元形状推定装置１の動作の最初の時点において、初期化部２０から入力した仮説Ｘを選択して出力する。また、切換部２１は、後述する観測部１１－１，１１－２，・・・による処理のタイミングの時刻（後述する図７～図９を参照）が変化する都度、予測部２７から入力した仮説Ｘを選択して出力する。また、切換部２１は、後述する観測部１１－１，１１－２，・・・による処理のタイミングの時刻が変化しない間、再標本化部２６から入力した仮説Ｘを選択して出力する。

【0043】

尚、切換部２１は、後述する観測部１１－１，１１－２，・・・による処理のタイミングの時刻が変化しない場合においても、予測部２７から入力した仮説Ｘを選択して出力するようにしてもよい。いずれにしても、例えば後述する図７～図９に示す第一例、第二例及び第三例の動作において、切換部２１は、処理の進捗を把握しており、動作のタイミングに応じて選択処理を行う。

【0044】

仮説送信部２２は、切換部２１から仮説Ｘを入力し、仮説Ｘを、ネットワーク１２を介して所定の観測部１１に送信する（ステップＳ３０２）。例えば、後述する図７に示す第一例の場合、仮説送信部２２は、仮説Ｘを、ブロードキャストにて全ての観測部１１に送信する。また、後述する図８に示す第二例の場合、仮説送信部２２は、仮説Ｘを、ユニキャストにて全ての観測部１１に順次送信する。また、後述する図９に示す第三例の場合、仮説送信部２２は、仮説Ｘを、マルチキャストにて観測部１１に送信する。

【0045】

尤度受信部２４は、観測部１１からネットワーク１２を介して、観測部１１毎の尤度情報Ｍを受信し（ステップＳ３０３）、尤度情報Ｍを乗算部２５に出力する。

【0046】

尤度情報Ｍは、以下の式のとおり、観測部１１により生成される、仮説Ｘを構成する各仮説ｘ_k ^→に対する尤度Ｌ_kの数列である。尤度Ｌ_kは０以上の実数であって、仮説ｘ_k ^→が自らの観測情報（入力した画像）に整合する場合には高い値をとり、整合しない場合には低い値をとる。

【数5】

【0047】

乗算部２５は、後述する図７に示す第一例または図９に示す第三例の場合、尤度受信部２４から観測部１１毎の尤度情報Ｍを入力する。そして、乗算部２５は、観測部１１毎の尤度情報Ｍ（を構成する尤度Ｌ_k）を乗算することで、これらの尤度情報Ｍを統合し、尤度情報Ｍ’を求める（ステップＳ３０４）。そして、乗算部２５は、尤度情報Ｍ’を再標本化部２６に出力する。

【0048】

また、乗算部２５は、後述する図８に示す第二例の場合、乗算処理を行うことなく、入力した尤度情報Ｍを尤度情報Ｍ’としてそのまま再標本化部２６に出力する

【0049】

再標本化部２６は、乗算部２５から尤度情報Ｍ’を入力すると共に、仮説記憶部２３から仮説Ｘを読み出す。そして、再標本化部２６は、尤度情報Ｍ’を構成する各尤度Ｌ_kの値に比例する標本数となるように、仮説Ｘを構成する各仮説ｘ_k ^→を複製、削除または維持する（再選択する）ことで、仮説Ｘを再標本化し、再標本化後の新たな仮説Ｘを求める（ステップＳ３０５）。再標本化部２６は、新たな仮説Ｘを切換部２１及び予測部２７に出力する。

【0050】

また、再標本化部２６は、適宜のタイミングにおいて、新たな仮説Ｘまたは仮説記憶部２３から読み出した仮説Ｘから、仮説Ｘを構成する各仮説ｘ_k ^→の位置成分である位置ｚ_k ^→を抽出し、抽出した位置成分の情報を点群として外部へ出力する（ステップＳ３０６）。これにより、計測対象の三次元形状をなす点群を得ることができる。

【0051】

例えば、仮説Ｘを構成する各仮説ｘ_k ^→が、ｘ₁ ^→＝ａ，ｘ₂ ^→＝ｂ，ｘ₃ ^→＝ｃ，ｘ₄ ^→＝ｄ，ｘ₅ ^→＝ｅ，・・・であり、当該仮説Ｘの尤度情報Ｍを構成する各尤度Ｌ_kにおいて、尤度Ｌ₂が最も高く、尤度Ｌ₃が最も低いものとする。ａ，ｂ，ｃ，ｄ，ｅは、それぞれ所定の位置成分及び速度成分からなるものとする。

【0052】

ここで、再標本化部２６により、仮説Ｘを構成する全ての仮説ｘ_k ^→の数Ｋにおいて、尤度Ｌ_Kの値に比例する標本数となるように、仮説Ｘを構成する各仮説ｘ_k ^→が再標本化される。再標本化後の新たな仮説Ｘとしては、例えば、ｘ₁ ^→＝ａ，ｘ₂ ^→＝ｂ，ｘ₃ ^→＝ｂ，ｘ₄ ^→＝ｂ，ｘ₅ ^→＝ｄ，・・・が生成される。この例では、尤度Ｌ₂の値が高いため、尤度Ｌ₂に対応する仮説ｘ₂ ^→＝ｂが複製され、その標本数が多くなり、尤度Ｌ₃の値が低いため、尤度Ｌ₃に対応する仮説ｘ₃ ^→＝ｃが削除され、その標本数が少なくなる。

【0053】

尚、仮説Ｘを構成する各仮説ｘ_k ^→の数Ｋは、再標本化によって変化しないようにしてもよいし、変化させるようにしてもよい。

【0054】

以下、具体例を用いて説明する。再標本化部２６は、まず、尤度情報Ｍを構成する各尤度Ｌ_Kを用いて、以下の式により、累積尤度ａ_kを求める。

【数6】

【0055】

再標本化部２６は、０以上ａ_K未満の一様乱数（ｒ_k～Ｕ［０，ａ_K））をＫ回発生し、ｋ回目の値をｒ_kとする。

【0056】

再標本化部２６は、以下の式により、ｋ番目の新たな仮説ｘ_k ^→(new)を求める。

【数7】

【0057】

前記式（７）は、s.t.以降に示す条件を満たすｑを求め、ｑ番目の仮説ｘ_qを、ｋ番目の新たな仮説ｘ_k ^→(new)とすることを示している。

【0058】

再標本化部２６は、以下の式のとおり、新たな仮説ｘ_k ^→(new)を仮説ｘ_k ^→とする。

【数8】

【0059】

このようにして、再標本化後の各仮説ｘ_k ^→により構成される仮説Ｘが得られる。

【0060】

予測部２７は、再標本化部２６から仮説Ｘを入力し、観測部１１の観測時刻に応じて、当該観測時刻の時間変化分Δｔ≧０の予測処理を行うことで、仮説Ｘを更新し（ステップＳ３０７）、更新後の仮説Ｘを切換部２１に出力する。つまり、予測部２７は、仮説Ｘの位置成分及び速度成分の値を動かし（変化させ）、そして、これらの値を分散させる。

【0061】

切換部２１は、予測部２７から仮説Ｘを入力し、当該仮説Ｘを選択して仮説送信部２２に出力し、仮説送信部２２は、切換部２１から仮説Ｘを入力し、仮説Ｘを、ネットワーク１２を介して所定の観測部１１に送信する（ステップＳ３０８）。

【0062】

予測部２７は、例えば以下の式のとおり、予測処理を行うことで仮説Ｘを更新する。

【数9】

この予測処理により、等速直線運動モデルによる位置及び速度の予測が行われる。前記式（９）において、右辺の第一項が仮説Ｘの位置成分及び速度成分の値を動かす項であり、第二項がこれらの値を分散させる項である。

【0063】

ここで、ｎ^→は、平均０及び共分散行列Σ_dのノイズである。共分散行列Σ_dは、例えば以下の対角行列で表される。

【数10】

σ₁～σ₆は、０以上の実数である。

【0064】

また、予測部２７は、例えば以下の式のとおり、予測処理を行うことで仮説Ｘを更新する。

【数11】

【0065】

λは、予め設定されるパラメータであり、０≦λ≦１の実数である。この予測処理により、λ＝１の場合、等速直線運動モデルによる位置及び速度の予測が行われる。また、λ＝０の場合、ランダムウォークモデルと等価のモデルによる位置及び速度の予測が行われる。また、０＜λ＜１の場合、速度が時々刻々減衰するモデル（速度に対するSinger（シンガー）モデルと等価のモデル）による位置及び速度の予測が行われる。

【0066】

予測部２７により更新された仮説Ｘを用いることにより、観測部１１において当該仮説Ｘの尤度情報Ｍを演算することができ、結果として、再標本化部２６において、時々刻々と移動または変形する計測対象に追随した三次元形状の点群を得ることができる。

【0067】

このように、推定部１０は、仮説Ｘを観測部１１に送信し、観測部１１から仮説Ｘの尤度情報Ｍを受信し、尤度情報Ｍに基づいて仮説Ｘを再標本化し、予測処理により仮説Ｘを更新する一連の処理を繰り返す。これにより、仮説Ｘの精度を向上させることができ、点群モデルの三次元形状を精度高く推定することができる。

【0068】

〔観測部１１〕
次に、図１に示した観測部１１について詳細に説明する。図４は、観測部１１の構成例を示すブロック図であり、図５は、観測部１１の処理例を示すフローチャートである。

【0069】

この観測部１１は、仮説受信部３０、投影部３１、シルエット抽出部３２、尤度演算部３３及び尤度送信部３４を備えている。

【0070】

仮説受信部３０は、推定部１０からネットワーク１２を介して、仮説Ｘを受信し（ステップＳ５０１）、仮説Ｘを投影部３１に出力する。

【0071】

投影部３１は、仮説受信部３０から仮説Ｘを入力すると共に、シルエット抽出部３２に入力される画像が撮像されたカメラの位置、画角、姿勢情報からなるカメラパラメータを入力する。

【0072】

投影部３１は、以下の式のとおり、世界座標系の仮説Ｘを構成する各仮説ｘ_k ^→の位置ｚ_k ^→に基づいて、これらの位置情報をカメラパラメータに従ってカメラ座標系の画像座標に投影し、投影像ｙ_k^を生成する（ステップＳ５０２）。投影部３１は、仮説Ｘを構成する各仮説ｘ_k ^→に対応する各投影像ｙ_k^からなる投影像ｙ^を、尤度演算部３３に出力する。

【数12】

【0073】

Ｒ，ｃ^→，ｆはカメラパラメータである。Ｒは、世界座標系における任意のベクトルをカメラ座標系に変換する回転行列であり、ｃ^→は、世界座標系におけるカメラの光学主点の位置であり、ｆは、カメラのレンズの焦点距離である。尚、カメラ座標系の第３成分の軸方向は、カメラのレンズ光軸と平行であり、計測対象へ向かう方向を正とする。

【0074】

シルエット抽出部３２は、カメラにより撮影された画像を入力し、画像から計測対象のシルエットを抽出し、計測対象領域及びそれ以外を区分した画像（典型的には２値画像）であるシルエット画像Ｓを生成する（ステップＳ５０３）。そして、シルエット抽出部３２は、シルエット画像Ｓを尤度演算部３３に出力する。

【0075】

画像位置ｙ^→におけるシルエット画像Ｓの画素値をＳ（ｙ^→）とする。例えば、シルエット画像Ｓは、計測対象領域内の画像位置ｙ^→に対してＳ（ｙ^→）＝１が設定され、それ以外の画像位置ｙ^→に対してＳ（ｙ^→）＝０が設定される。

【0076】

シルエット抽出部３２は、例えば、クロマキーによってシルエット画像Ｓを生成する。この場合、シルエット抽出部３２は、計測対象の背景に特定の色（青、緑等）を用い、背景色であるか否かに応じてシルエット画像Ｓを求める。

【0077】

また、シルエット抽出部３２は、背景差分法による被写体抽出法、人工知能による被写体抽出法を用いるようにしてもよい。

【0078】

尤度演算部３３は、投影部３１から投影像ｙ^を入力すると共に、シルエット抽出部３２からシルエット画像Ｓを入力する。そして、尤度演算部３３は、投影像ｙ^を構成する各投影像ｙ_k^の点群がシルエット画像Ｓ内に存在するか否か、またはその程度を示す尤度情報Ｍを演算し（ステップＳ５０４）、尤度情報Ｍを尤度送信部３４に出力する。

【0079】

尤度演算部３３は、例えば以下の式により、投影像ｙ^を構成する各投影像ｙ_k^がシルエット画像Ｓの内部に存在するか、または外部に存在するかのシルエットの内外判定を行い、内外判定結果を反映した各尤度Ｌ_kから構成される尤度情報Ｍを生成する。

【数13】

【0080】

また、尤度演算部３３は、例えば以下の式により、投影像ｙ^がシルエット画像Ｓの内部及び外部のいずれに存在するか、及び、投影像ｙ^からシルエット画像Ｓにおけるシルエットの有無の境界線までの間の距離ｄに応じて、尤度情報Ｍを生成する。

【数14】

関数ｇは、値域が０以上の広義単調減少関数とする。

【0081】

具体的には、尤度演算部３３は、投影像ｙ^を構成する各投影像ｙ_k^がシルエット画像Ｓの内部及び外部のいずれに存在するかを判定し、投影像ｙ_k^がシルエット画像Ｓの外部に存在する場合、尤度Ｌ_k＝０とする。一方、尤度演算部３３は、投影像ｙ_k^がシルエット画像Ｓの内部に存在する場合、当該投影像ｙ_k^と再近傍のシルエット境界（Ｓ（ｙ^→）＝１から０に変化する箇所）との間の距離ｄを算出し、距離ｄに応じた尤度Ｌ_k＝ｇ（ｄ）を求める。この場合、尤度演算部３３は、距離ｄが長ければ長いほど低い尤度となり、距離ｄが短ければ短いほど高い尤度となるように、尤度Ｌ_kを求める。

【0082】

これにより、推定部１０の再標本化部２６において、計測対象の点群を、当該計測対象の表面及びその内側に局在させた分布とすることができ、少ない点群数にて精度の高い三次元形状を推定することができる。

【0083】

図６は、尤度演算部３３の処理例を説明する図であり、前記式（１４）により距離ｄが算出される例を示している。仮説Ｘに含まれる仮説ｘ_k ^→の点について、投影部３１により画像座標に投影され、投影像ｙ_k^の点が生成される。そして、投影像ｙ_k^の点と、再近傍のシルエット境界（Ｓ（ｙ^→）＝１から０に変化する箇所）の点との間の距離ｄが算出される。尚、投影像ｙ_k^の点から右斜め下へ延びた矢印の先に、カメラの視点があるものとする。

【0084】

このように、前記式（１４）を用いることにより、投影像ｙ_k^がシルエット画像Ｓの内部に存在し、かつシルエット境界に近いほど、高い尤度Ｌ_kが算出される。そして、推定部１０の再標本化部２６において、尤度Ｌ_kが高いほど、当該尤度Ｌ_kに対応する仮説ｘ_k ^→が複製され易くなるため、シルエット画像Ｓの内部かつシルエット境界付近に存在する投影像ｙ_k^の数が増加する。つまり、カメラの視点とシルエット境界とを結ぶ錐状の領域に仮説ｘ_k ^→が集中するようになる。

【0085】

図４及び図５に戻って、尤度送信部３４は、尤度演算部３３から尤度情報Ｍを入力し、尤度情報Ｍを、ネットワーク１２を介して推定部１０に送信する（ステップＳ５０５）。

【0086】

尚、好ましくは、観測部１１は、他の観測部１１とは異なる設置位置のカメラによる画像及びカメラパラメータを用いる。これにより、推定部１０及び複数の観測部１１の処理を繰り返すことにより、仮説Ｘの精度を向上させることができ、点群モデルの三次元形状を精度高く推定することができる。

【0087】

〔第一例の動作〕
次に、図１に示した三次元形状推定装置１の第一例の動作について説明する。第一例は、推定部１０が仮説Ｘをブロードキャストにて全ての観測部１１に送信する例である。

【0088】

図７は、第一例の動作（ブロードキャストによる動作例）を説明する図である。この第一例における三次元形状推定装置１は、推定部１０及び２つの観測部１１－１，１１－２を備えている。

【0089】

推定部１０は、初期化した仮説Ｘ１を、ブロードキャストにて観測部１１－１，１１－２に送信する（ステップＳ７０１）。観測部１１－１は、推定部１０から仮説Ｘ１を受信し、画像及び仮説Ｘ１に基づいて尤度情報Ｍ１－１を求め、尤度情報Ｍ１－１を推定部１０に送信する（ステップＳ７０２）。観測部１１－２は、推定部１０から仮説Ｘ１を受信し、画像及び仮説Ｘ１に基づいて尤度情報Ｍ１－２を求め、尤度情報Ｍ１－２を推定部１０に送信する（ステップＳ７０３）。

【0090】

推定部１０は、観測部１１－１から尤度情報Ｍ１－１を受信し、観測部１１－２から尤度情報Ｍ１－２を受信すると、尤度情報Ｍ１－１，Ｍ１－２を乗算することで統合し、尤度情報Ｍ１’を求める（ステップＳ７０４）。そして、推定部１０は、尤度情報Ｍ１’に基づいて仮説Ｘ１を再標本化し、新たな仮説Ｘ１’を求め、仮説Ｘ１’から位置情報を抽出して点群を外部に出力する（ステップＳ７０５）。

【0091】

推定部１０は、時刻０（観測時刻）の時間変化分Δｔの予測処理を行うことで仮説Ｘ１’を更新し、新たな仮説Ｘ２を求め、仮説Ｘ２を、ブロードキャストにて観測部１１－１，１１－２に送信する（ステップＳ７０６）。

【0092】

以降、観測部１１－１，１１－２は、ステップＳ７０２，Ｓ７０３と同様の処理を行い、尤度情報Ｍ２－１，Ｍ２－２を推定部１０に送信する（ステップＳ７０７，Ｓ７０８）。そして、推定部１０は、ステップＳ７０４～Ｓ７０６と同様に、乗算による統合処理を行い（ステップＳ７０９）、再標標本化を行い（ステップＳ７１０）、予測処理を行い、仮説Ｘ３を、ブロードキャストにて観測部１１－１，１１－２に送信する（ステップＳ７１１）。観測時刻は、ステップＳ７０１～Ｓ７０５において時刻０であり、ステップＳ７０６～Ｓ７１０において時刻１であり、ステップＳ７１１等において時刻２である。

【0093】

このように、仮説Ｘは、ブロードキャストにて全ての観測部１１－１，１１－２に送信され、全ての観測部１１－１，１１－２により生成された尤度情報Ｍは、統合され再標本化に用いられ、新たな仮説Ｘが求められる。そして、新たな仮説Ｘの予測処理が行われ、予測処理後の仮説Ｘは、ブロードキャストにて全ての観測部１１－１，１１－２に送信される。

【0094】

これにより、観測部１１毎の送信処理が不要になるから、処理の高速化及び効率化を実現することができると共に、仮説Ｘの精度を向上させることができる。

【0095】

〔第二例の動作〕
次に、図１に示した三次元形状推定装置１の第二例の動作について説明する。第二例は、推定部１０が仮説Ｘをユニキャストにて全ての観測部１１に順次送信する例である。

【0096】

図８は、第二例の動作（ユニキャストによる動作例）を説明する図である。この第二例における三次元形状推定装置１は、推定部１０及び２つの観測部１１－１，１１－２を備えている。

【0097】

推定部１０は、初期化した仮説Ｘ１を、ユニキャストにて観測部１１－１に送信する（ステップＳ８０１）。観測部１１－１は、推定部１０から仮説Ｘ１を受信し、画像及び仮説Ｘ１に基づいて尤度情報Ｍ１を求め、尤度情報Ｍ１を推定部１０に送信する（ステップＳ８０２）。

【0098】

推定部１０は、観測部１１－１から尤度情報Ｍ１を受信し、尤度情報Ｍ１に基づいて仮説Ｘ１を再標本化し、新たな仮説Ｘ２を、ユニキャストにて観測部１１－２に送信する（ステップＳ８０３）。観測部１１－２は、推定部１０から仮説Ｘ２を受信し、画像及び仮説Ｘ２に基づいて尤度情報Ｍ２を求め、尤度情報Ｍ２を推定部１０に送信する（ステップＳ８０４）。

【0099】

推定部１０は、観測部１１－２から尤度情報Ｍ２を受信し、尤度情報Ｍ２に基づいて仮説Ｘ２を再標本化し、新たな仮説Ｘ２’を求め、仮説Ｘ２’から位置情報を抽出して点群を外部に出力する（ステップＳ８０５）。

【0100】

推定部１０は、時刻０（観測時刻）の時間変化分Δｔの予測処理を行うことで仮説Ｘ２’を更新し、新たな仮説Ｘ３を求め、仮説Ｘ３を、ユニキャストにて観測部１１－１に送信する（ステップＳ８０６）。

【0101】

以降、観測部１１－１，１１－２は、ステップＳ８０２，Ｓ８０４と同様の処理を行い尤度情報Ｍ３，Ｍ４を推定部１０に送信する（ステップＳ８０７，Ｓ８０９）。また、推定部１０は、ステップＳ８０３，Ｓ８０５，Ｓ８０６と同様に、再標本化を行い、仮説Ｘ４を、ユニキャストにて観測部１１－２に送信し（ステップＳ８０８）、再標本化を行い（ステップＳ８１０）、予測処理を行う（ステップＳ８１１）。観測時刻は、ステップＳ８０１～Ｓ８０５において時刻０であり、ステップＳ８０６～Ｓ８１０において時刻１であり、ステップＳ８１１等において時刻２である。

【0102】

このように、仮説Ｘは、ユニキャストにて観測部１１－１に送信され、観測部１１－１により生成された尤度情報Ｍは、再標本化に用いられ新たな仮説Ｘが求められる。そして、新たな仮説Ｘは、ユニキャストにて観測部１１－２に送信され、観測部１１－２により生成された尤度情報Ｍは、再標本化に用いられ新たな仮説Ｘが求められる。この観測部１１－１，１１－２との間の一連の処理が完了した後、予測処理により新たな仮説Ｘが更新される。そして、前述の一連の処理が繰り返し行われる。

【0103】

これにより、推定部１０及び観測部１１－１、並びに推定部１０及び観測部１１－２において、１対１の送受信が順番に行われる。このため、ネットワーク１２の輻輳の発生を抑えることができると共に、仮説Ｘの精度を向上させることができる。

【0104】

〔第三例の動作〕
次に、図１に示した三次元形状推定装置１の第三例の動作について説明する。第三例は、推定部１０が仮説Ｘをマルチキャストにて観測部１１に送信する例である。

【0105】

図９は、第三例の動作（マルチキャストによる動作例）を説明する図である。この第三例における三次元形状推定装置１は、推定部１０及び４つの観測部１１－１，１１－２，１１－３，１１－４を備えている。

【0106】

推定部１０は、初期化した仮説Ｘ１を、マルチキャストにて観測部１１－１，１１－２に送信する（ステップＳ９０１）。観測部１１－１，１１－２は、推定部１０から仮説Ｘ１を受信し、画像及び仮説Ｘ１に基づいて尤度情報Ｍ１－１，Ｍ１－２をそれぞれ求め、尤度情報Ｍ１－１，Ｍ１－２を推定部１０にそれぞれ送信する（ステップＳ９０２，Ｓ９０３）。

【0107】

推定部１０は、観測部１１－１から尤度情報Ｍ１－１を受信し、観測部１１－２から尤度情報Ｍ１－２を受信すると、尤度情報Ｍ１－１，Ｍ１－２を乗算することで統合し、尤度情報Ｍ１’を求める（ステップＳ９０４）。

【0108】

推定部１０は、尤度情報Ｍ１’に基づいて仮説Ｘ１を再標本化し、新たな仮説Ｘ２を求め、仮説Ｘ２を、マルチキャストにて観測部１１－３，１１－４に送信する（ステップＳ９０５）。観測部１１－３，１１－４は、推定部１０から仮説Ｘ２を受信し、画像及び仮説Ｘ２に基づいて尤度情報Ｍ２－１，Ｍ２－２をそれぞれ求め、尤度情報Ｍ２－１，Ｍ２－２を推定部１０にそれぞれ送信する（ステップＳ９０６，Ｓ９０７）。

【0109】

推定部１０は、観測部１１－３から尤度情報Ｍ２－１を受信し、観測部１１－４から尤度情報Ｍ２－２を受信すると、尤度情報Ｍ２－１，Ｍ２－２を乗算することで統合し、尤度情報Ｍ２’を求める（ステップＳ９０８）。そして、推定部１０は、尤度情報Ｍ２’に基づいて仮説Ｘ２を再標本化し、新たな仮説Ｘ２’を求め、仮説Ｘ２’から位置情報を抽出して点群を外部に出力する（ステップＳ９０９）。

【0110】

推定部１０は、時刻０（観測時刻）の時間変化分Δｔの予測処理を行うことで仮説Ｘ２’を更新し、新たな仮説Ｘ３を求め、仮説Ｘ３を、マルチキャストにて観測部１１－１，１１－２に送信する（ステップＳ９１０）。

【0111】

以降、観測部１１－１，１１－２，１１－３，１１－４は、ステップＳ９０２，Ｓ９０３，Ｓ９０６，Ｓ９０７と同様の処理を行い、尤度情報Ｍ３－１，Ｍ３－２，Ｍ４－１，Ｍ４－２を推定部１０に送信する（ステップＳ９１１，Ｓ９１２，Ｓ９１５，Ｓ９１６）。また、推定部１０は、ステップＳ９０４，Ｓ９０５，Ｓ９０８～Ｓ９１０と同様に、乗算による統合処理を行い（ステップＳ９１３）、再標本化を行い、仮説Ｘ４を、マルチキャストにて観測部１１－３，１１－４に送信し（ステップＳ９１４）、乗算による統合処理を行い（ステップＳ９１７）、再標本化を行い（ステップＳ９１８）、予測処理を行う（ステップＳ９１９）。観測時刻は、ステップＳ９０１～Ｓ９０９において時刻０であり、ステップＳ９１０～Ｓ９１８において時刻１であり、ステップＳ９１９等において時刻２である。

【0112】

このように、仮説Ｘは、マルチキャストにて観測部１１－１，１１－２に送信され、観測部１１－１，１１－２により生成された尤度情報Ｍは、統合され再標本化に用いられ新たな仮説Ｘが求められる。そして、新たな仮説Ｘは、マルチキャストにて観測部１１－３，１１－４に送信され、観測部１１－３，１１－４により生成された尤度情報Ｍは、統合され再標本化に用いられ新たな仮説Ｘが求められる。この観測部１１－１，１１－２，１１－３，１１－４との間の一連の処理が完了した後、予測処理により新たな仮説Ｘが更新される。そして、前述の一連の処理が繰り返し行われる。

【0113】

これにより、推定部１０と観測部１１－１，１１－２との間の送受信処理、及び推定部１０と観測部１１－３，１１－４との間の送受信処理が順番に行われ、観測部１１毎の送信処理が不要になる。このため、処理の高速化及び効率化を実現し、ネットワーク１２における輻輳の発生を抑えることができ、バランスのとれた動作を実現すると共に、仮説Ｘの精度を向上させることができる。

【0114】

図１０は、三次元形状推定装置１から出力される点群の分布を説明する図である。図１０の左側に示した４枚の画像は、観測部１１－１，１１－２，１１－３，１１－４によりそれぞれ生成された、計測対象が人物である場合のシルエット画像Ｓ１，Ｓ２，Ｓ３，Ｓ４である。

【0115】

図１０（ａ）は、推定部１０の初期化処理により生成された仮説Ｘにおいて、位置情報の点群を示す。点群は、世界座標系における所定領域の全体に点在した分布となっている。

【0116】

図１０（ｂ）は、時刻１において、観測部１１－１，１１－２，１１－３，１１－４にて観測処理が行われ、推定部１０の再標本化処理により生成された仮説Ｘの点群を示す。

【0117】

同様に、図１０（ｃ）（ｄ）（ｅ）は、それぞれ時刻２，５，１０において、推定部１０にて予測処理が行われ、観測部１１－１，１１－２，１１－３，１１－４にて観測処理が行われ、推定部１０の再標本化処理により生成された仮説Ｘの点群を示す。

【0118】

図１０（ｂ）～（ｅ）から、前述の処理が繰り返されることで、仮説Ｘの精度が向上し、人物の三次元形状が点群モデルにて精度高く推定できることがわかる。

【0119】

以上のように、本発明の実施形態による三次元形状推定装置１によれば、推定部１０は、仮説Ｘを生成し、仮説Ｘを観測部１１－１，１１－２，・・・に送信し、観測部１１－１，１１－２，・・・に対し、仮説Ｘの尤度情報Ｍを生成させる。

【0120】

推定部１０は、観測部１１－１，１１－２，・・・から観測部１１毎の尤度情報Ｍを受信し、観測部１１毎の尤度情報Ｍを乗算して尤度情報Ｍ’を生成する。そして、推定部１０は、尤度情報Ｍ’の値に比例する標本数となるように、仮説Ｘを再標本化する。

【0121】

推定部１０は、再標本化した仮説Ｘに対し、観測部１１の観測時刻に応じた予測処理を行い、仮説Ｘを更新する。そして、推定部１０は、更新後の仮説Ｘを観測部１１－１，１１－２，・・・に送信する。

【0122】

観測部１１は、推定部１０から仮説Ｘを受信し、仮説Ｘを画像座標に投影し、投影像ｙ_k^を生成する。そして、観測部１１は、投影像ｙ_k^及び計測対象のシルエット画像Ｓに基づき、尤度情報Ｍを生成する。観測部１１は、尤度情報Ｍを推定部１０に送信する。

【0123】

このような処理を繰り返すことで、仮説Ｘの精度を向上させることができ、更新後の仮説Ｘの位置情報を抽出することで、点群モデルにて計測対象の三次元形状を精度高く推定することができる。

【0124】

仮説Ｘを再標本化するために用いる尤度情報Ｍは、投影像ｙ_k^の点群がシルエット画像Ｓ内に存在するか否かまたはその程度に従って生成されるため、一種の視体積交差法であるといえる。つまり、本発明の実施形態では、点群表現により計測対象の三次元形状を推定する際に、視体積交差法を用いるようにした。このため、ステレオ法に比べて演算コストを下げることができ、処理負荷を低減することができる。

【0125】

したがって、点群表現による三次元形状の推定を低負荷にて実現することができる。また、三次元形状を推定する際に、センサ等の特別な部材を必要としないから、部品コストを下げることができる。

【0126】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0127】

例えば、前記実施形態において、図２に示した推定部１０は、予測部２７を備えているが、予測部２７を備えていなくてもよい。この場合、三次元形状推定装置１は、動きのない計測対象の三次元形状をなす点群を得ることができる。

【0128】

また、前記実施形態において、図４に示した観測部１１は、シルエット抽出部３２を備えているが、シルエット抽出部３２を備えていなくてもよい。この場合、観測部１１の尤度演算部３３は、カメラにより撮影された計測対象のシルエット画像Ｓを直接入力する。

【0129】

また、前記実施形態において、図７に示した第一例及び図８に示した第二例は、三次元形状推定装置１が２つの観測部１１を備えた例であり、図９に示した第三例は、４つの観測部１１を備えた例であるが、本発明は、観測部１１の数を限定するものではない。

【0130】

尚、本発明の実施形態による三次元形状推定装置１のハードウェア構成としては、通常のコンピュータを使用することができる。三次元形状推定装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0131】

三次元形状推定装置１に備えた推定部１０及び観測部１１－１，１１－２，・・・の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0132】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0133】

１ 三次元形状推定装置
１０ 推定部
１１ 観測部
１２ ネットワーク
２０ 初期化部
２１ 切換部
２２ 仮説送信部
２３ 仮説記憶部
２４ 尤度受信部
２５ 乗算部
２６ 再標本化部
２７ 予測部
３０ 仮説受信部
３１ 投影部
３２ シルエット抽出部
３３ 尤度演算部
３４ 尤度送信部
Ｘ，ｘ_k ^→ 仮説
Ｍ 尤度情報
ｙ^，ｙ_k^ 投影像
Ｓ シルエット画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】