特許 7195785 ３次元形状データを生成する装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-16

(45)【発行日】2022-12-26

(54)【発明の名称】３次元形状データを生成する装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 7/564 20170101AFI20221219BHJP

   G01B 11/24 20060101ALI20221219BHJP

【ＦＩ】

G06T7/564

G01B11/24 K

【請求項の数】 15

(21)【出願番号】P 2018124702

(22)【出願日】2018-06-29

(65)【公開番号】P2020004219

(43)【公開日】2020-01-09

【審査請求日】2021-06-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】西山 知宏

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１７－１３９７２５（ＪＰ，Ａ）

【文献】特表２０１４－５２０２９８（ＪＰ，Ａ）

【文献】国際公開第２０１３／０９９１６９（ＷＯ，Ａ１）

【文献】西山 学，外１名，“3次元形状モデルを用いたカメラワークプランニング”，情報処理学会研究報告，2002年05月09日，Vol. 2002，No. 34，p. 49－56

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５６４

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

オブジェクトを、複数の撮像装置により複数の方向から撮像することで取得される複数の画像を取得する取得手段と、
前記複数の画像における空間分解能であって、前記オブジェクトの形状を表す３次元形状データを構成する候補である要素を前記撮像装置の画像平面に射影したときの当該要素に対応する領域の幅に基づいて決定される空間分解能に基づき、前記撮像装置の信頼度を決定する信頼度決定手段と、
前記複数の画像と前記信頼度とに基づき、前記オブジェクトの形状を表す３次元形状データを生成する生成手段と
を有することを特徴とする生成装置。

【請求項2】

前記生成手段は、他の撮像装置よりも前記信頼度が高い撮像装置によって取得される画像に基づいて、前記３次元形状データを生成することを特徴とする請求項１に記載の生成装置。

【請求項3】

前記要素を撮像装置の画像平面に射影したときのピクセルの幅を算出することにより、前記撮像装置の空間分解能を決定する空間分解能決定手段を更に有することを特徴とする請求項１又は２に記載の生成装置。

【請求項4】

前記信頼度決定手段は、前記信頼度の値として、前記空間分解能に応じて変わる値を決定することを特徴とする請求項１乃至３の何れか1項に記載の生成装置。

【請求項5】

前記信頼度決定手段は、前記信頼度の値として、前記空間分解能に応じて段階的に変わる値の何れかの値を決定することを特徴とする請求項１乃至３の何れか1項に記載の生成装置。

【請求項6】

前記取得手段によって取得される複数の画像は、前記オブジェクトのシルエットを表す画像を含むことを特徴とする請求項１乃至５の何れか1項に記載の生成装置。

【請求項7】

前記生成手段は、他の撮像装置よりも前記信頼度が高い撮像装置によって取得されたシルエット画像に基づき、前記３次元形状データを生成することを特徴とする請求項６に記載の生成装置。

【請求項8】

前記生成手段は、前記信頼度に応じて変化する判定条件に従い、前記３次元形状データを構成する要素が前記オブジェクトに属するかを判定することを特徴とする請求項１乃至７の何れか１項に記載の生成装置。

【請求項9】

前記空間分解能又は前記信頼度に基づき、多視点ステレオマッチングで用いる、重み及びマッチング評価値を決定する評価値決定手段を更に有することを特徴とする請求項１乃至８の何れか１項に記載の生成装置。

【請求項10】

前記評価値決定手段は、他の撮像装置よりも前記信頼度が高い前記撮像装置に対する重みを、前記他の撮像装置に対する重みより、高く設定することを特徴とする請求項９に記載の生成装置。

【請求項11】

前記信頼度決定手段は、前記空間分解能と、前記複数の撮像装置の配置に基づき、前記信頼度を導出することを特徴とする請求項１乃至１０の何れか１項に記載の生成装置。

【請求項12】

前記撮像装置により取得された画像において分割された撮像フィールドに対応する領域と前記信頼度との間の関係を保持する保持手段を更に有することを特徴とする請求項１乃至１１の何れか１項に記載の生成装置。

【請求項13】

前記信頼度決定手段は、前記オブジェクトが前記分割された撮像フィールドに対応する領域のうち何れに位置するかに基づき、前記信頼度を決定することを特徴とする請求項１２に記載の生成装置。

【請求項14】

オブジェクトを、複数の撮像装置により複数の方向から撮像することで取得される複数の画像を取得するステップと、
前記複数の画像における空間分解能であって、前記オブジェクトの形状を表す３次元形状データを構成する候補である要素を前記撮像装置の画像平面に射影したときの当該要素に対応する領域の幅に基づいて決定される空間分解能に基づき、前記撮像装置の信頼度を決定するステップと、
前記複数の画像と前記信頼度とに基づき、前記オブジェクトの形状を表す３次元形状データを生成するステップと
を有することを特徴とする方法。

【請求項15】

コンピュータを、請求項１乃至１３の何れか１項に記載の生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトの形状を推定する技術に関する。

【背景技術】

【0002】

従来、複数台のカメラによる撮像で取得した画像に基づき、オブジェクトまでの距離情報を得たり、オブジェクトの３次元形状データを生成したりする技術がある。このような技術の１つとして、オブジェクトのシルエット画像（例えば、オブジェクト領域の画素値が２５５、それ以外の領域の画素値が０となる２値画像）に基づき、視体積交差法を用いて、オブジェクトの３次元形状データを生成する手法がある。特許文献１は、オブジェクトの形状が滑らかであるという事前知識のもと、形状推定とシルエット画像の高精度化とを反復して行うことで、形状を精度良く推定する手法を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－４３８７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の手法を用いた場合、反復処理に用いるオブジェクトの初期形状に欠損が発生した場合、事前知識を用いた反復処理によっても復元が困難である。また、初期形状の一部領域が、真の形状に比べ膨張してしまい、かつ膨張形状が滑らかな場合、この膨張形状を削除することが困難である。

【0005】

そこで本発明は、上記の課題に鑑み、オブジェクトの形状を容易に且つ精度良く推定することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態は、オブジェクトを、複数の撮像装置により複数の方向から撮像することで取得される複数の画像を取得する取得手段と、前記複数の画像における空間分解能であって、前記オブジェクトの形状を表す３次元形状データを構成する候補である要素を前記撮像装置の画像平面に射影したときの当該要素に対応する領域の幅に基づいて決定される空間分解能に基づき、前記撮像装置の信頼度を決定する信頼度決定手段と、前記複数の画像と前記信頼度とに基づき、前記オブジェクトの形状を表す３次元形状データを生成する生成手段とを有することを特徴とする生成装置である。

【発明の効果】

【0007】

本発明によれば、オブジェクトの形状を容易に且つ精度良く推定することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における撮像システムの概略構成図。

【図2】第１の実施形態における画像処理装置のハードウェア構成を示すブロック図。

【図3】第１の実施形態における画像処理装置のソフトウェア構成を示すブロック図。

【図4】第１の実施形態におけるオブジェクトの形状データ生成処理のフローチャート。

【図5】第１の実施形態における信頼度の導出手法を説明する概念図。

【図6】第１の実施形態における条件決定部３０５、形状生成部３０６が実行する処理の概念図。

【図7】第２の実施形態における画像処理装置のソフトウェア構成を示すブロック図。

【図8】第２の実施形態におけるオブジェクトの形状データ生成処理のフローチャート。

【図9】第３の実施形態における処理の概念図。

【図10】第４の実施形態における処理の概念図。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施形態を詳細に説明する。但し、以下の実施形態は本発明を限定するものではなく、また、以下で説明する特徴の組み合わせの全てが本発明の課題解決に必須のものとは限らない。尚、同一の構成については、同じ符号を付して説明する。また、以下に記載する構成要素の相対配置、形状等は、あくまで例示であり、本発明をそれらのみに限定する趣旨のものではない。
［第１の実施形態］

【0010】

本実施形態では、画像上におけるオブジェクトの空間分解能に応じて、視体積交差法におけるシルエット内外判定の条件を切り替えて形状推定を行う。本実施形態によれば、空間分解能の高いオブジェクトの画像を優先的に使用することにより、簡易な処理で精度良く形状を推定することができる。尚、以下ではオブジェクトの形状を示す３次元形状データ（以下、形状データという）の形式が点群の場合を説明するが、メッシュやデプスマップ等の他のデータ形式でも本実施形態を同様に適用可能である。
＜撮像システムについて＞

【0011】

以下、本実施形態における撮像システムについて、図１を用いて説明する。図１は、本実施形態における撮像システムの一例を示す。撮像システム１００は、複数のカメラ１０１と、画像処理装置２００とを有する。図１に示すように、オブジェクトを取り囲むように配置された複数のカメラ１０１を用いて、オブジェクトの撮像が行われる。複数のカメラ１０１は夫々、相異なる撮像位置からオブジェクトを撮像することで、画像群を得る。撮像位置とは、カメラが配置された位置である。図１の例では、屋外又は屋内の競技場に配置された複数のカメラ１０１を用いて、グラウンド（撮像フィールド）１０３上にいる選手１０２が撮像されている。

【0012】

尚、図１はスポーツシーンへの応用例を示すが、本実施形態は任意のシーンにおけるオブジェクトの撮像に適用可能である。また、本実施形態では通常、オブジェクトとは、例えば選手１０２や球技におけるボール（不図示）のような、時系列で同じ方向から撮影を行った場合において動きのある（その絶対位置が変化し得る）物体（動体）を指す。しかし、本実施形態では、任意のオブジェクトの特定方法を採用することができ、背景のような静止物体をオブジェクトとして扱うこともできる。以上が、本実施形態における撮像システムの内容である。
＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置２００のハードウェア構成について、図２を用いて説明する。図２は、画像処理装置２００のハードウェア構成の一例を示すブロック図である。

【0013】

ＣＰＵ２０１は、画像処理装置２００全体の動作制御を行い、具体的には、ＲＡＭ２０２又はＲＯＭ２０３等のメモリに格納されているプログラム及びデータを用いて各種の処理を実行する。これにより、ＣＰＵ２０１は、後述するモジュール（図３参照）を実現したり、後述の処理（図４参照）を実行したりする。

【0014】

ＲＡＭ２０２は、ＲＯＭ２０３又は記憶部２０４のようなメモリからロードされたプログラム及びデータを格納するためのエリアを有する。さらにＲＡＭ２０２は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０２は、各種のエリアを提供することができる。ＲＯＭ２０３は、書き換え不要の設定データ、並びに、ブート時に必要なプログラム及びデータを格納している。

【0015】

記憶部２０４は、プログラム及びデータを格納する記憶装置であり、例えばハードディスクドライブのような大容量情報記憶装置である。記憶部２０４は、オペレーティングシステム（以下ＯＳ）、並びに、後述する各処理をＣＰＵ２０１に実行させるためのプログラム及びデータを格納することができる。また、記憶部２０４は、処理対象となる画像又は動画像のデータを格納することができる。記憶部２０４に格納されているプログラムやデータは、ＣＰＵ２０１による制御に従ってＲＡＭ２０２にロードされることにより、ＣＰＵ２０１の処理対象となる。記憶部２０４は、ハードディスクドライブ以外に、ＣＤ－ＲＯＭ若しくはＤＶＤ－ＲＯＭ等の記憶媒体から情報を読み取る機器、又は、フラッシュメモリ若しくはＵＳＢメモリ等のメモリ装置であっても良い。

【0016】

ＣＰＵ２０１は、出力インターフェース２０５を介して、出力インターフェース２０５に接続された表示装置２０７に表示用データを送ることにより、表示装置２０７に表示を行わせることができる。こうして、表示装置２０７は、ＣＰＵ２０１による処理結果を画像や文字を用いて表示したり、投影したりすることができる。表示装置２０７として、例えば、ＣＲＴ、液晶ディスプレイ等のディスプレイ装置、又は、プロジェクタ等の投影装置が考えられる。

【0017】

ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、記憶部２０４、及び出力インターフェース２０５は、何れもバス２０６に接続されており、バス２０６を介して相互に通信することができる。尚、図２に示した構成は、画像処理装置２００に適用可能なコンピュータ装置の構成の一例に過ぎない。以上が、本実施形態における画像処理装置２００のハードウェア構成の内容である。
＜形状データ生成処理について＞

【0018】

以下、本実施形態における画像処理装置２００が実行する、オブジェクトの形状を推定する処理、言い換えると、オブジェクトの形状データを生成する処理（形状データ生成処理とする）について、図３及び図４を用いて説明する。図３は、本実施形態における画像処理装置２００のソフトウェア構成（機能構成）の一例を示すブロック図であり、図４は、本実施形態における形状データ生成処理のフローチャートである。

【0019】

図３に示すように、本実施形態における画像処理装置２００は、画像取得部３０１と、カメラパラメータ取得部３０２と、位置取得部３０３と、信頼度導出部３０４と、条件決定部３０５と、形状生成部３０６とを有する。画像処理装置２００のＣＰＵ２０１は、ＲＯＭ２０３又は記憶部２０４内に格納されたプログラムをＲＡＭ２０２にロードし、該ロードしたプログラムを実行することで、上記の各モジュールを実現することができる。尚、画像処理装置２００が、図３に示すモジュールのうち１つ以上のモジュールに相当する専用の処理回路を有しても良い。

【0020】

以下、図３に示したモジュールにより行われる形状データ生成処理の流れについて、図４を用いて説明する。

【0021】

ステップＳ４０１で、画像取得部３０１は、複数の異なる撮像位置に対応する、オブジェクトのシルエット画像群を取得する。以下、「ステップＳ～」を単純に「Ｓ～」と略記する。シルエット画像とは、各画素の取り得る値が２種類のみのデジタル画像、所謂２値画像であり、例えばオブジェクトが存在する領域の画素値が２５５、オブジェクトが存在しない領域の画素値が０の画像である。尚、デジタル画像であるシルエット画像を、シルエット画像データとも呼ぶ。

【0022】

画像取得部３０１は、複数のカメラ１０１夫々に対する、互いに異なる方向から撮像された画像に基づき生成されたシルエット画像を、記憶部２０４から取得することができる。尚、カメラ１０１がシルエット画像データを生成可能な場合、画像取得部３０１は、カメラ１０１からシルエット画像データを直接取得しても良い。また、画像取得部３０１は、複数のカメラ１０１により略同時に得られた静止画像群を取得することができる。また、画像取得部３０１は、複数の異なる位置から撮像された動画像群を取得することもできる。例えば、画像取得部３０１は、複数のカメラ１０１により得られた動画像のうち、略同時に撮像されたフレーム画像群を取得することができる。

【0023】

Ｓ４０２で、カメラパラメータ取得部３０２は、複数のカメラ１０１夫々の、カメラパラメータを取得する。カメラパラメータは、内部パラメータと、外部パラメータと、歪曲パラメータとを含む。内部パラメータは、画像中心の座標値と、カメラのレンズの焦点距離との少なくとも１つを含んで良い。外部パラメータは、カメラの位置と向きを表すパラメータである。本明細書では、外部パラメータとして、世界座標におけるカメラの位置ベクトル及び回転行列を用いるが、カメラの位置と向きを他の方法で記述する外部パラメータを用いても良い。歪曲パラメータは、カメラのレンズの歪曲を表す。このようなカメラパラメータに基づき、オブジェクトを撮像したカメラの位置と、カメラから画像の各画素に対応するオブジェクトへと向かう方向とを得ることができる。

【0024】

尚、カメラパラメータの取得手法は特に限定されない。例えば、カメラパラメータは記憶部２０４に予め格納されていても良い。また、カメラパラメータは、複数視点からの画像データに基づきｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ法を用いた推定を行うことで得ることができるし、チャート等を用いたキャリブレーションを行うことで得ることもできる。

【0025】

Ｓ４０３で、位置取得部３０３は、オブジェクトの概略位置を示す情報として、オブジェクトを代表する点又はボクセルの３次元座標を導出する。オブジェクトを代表する点として例えば、オブジェクトの重心位置やオブジェクトを含むバウンディングボックスの頂点の一部を用いることができる。オブジェクトの概略位置を導出する具体的な方法として、例えば、解像度の粗いボクセルを用いた視体積交差法による方法が挙げられる。また、オブジェクト認識を行い、認識されたオブジェクトの一部についてステレオマッチング法を用いた距離推定を行うこともできる。他にも、オブジェクトまでの大まかな距離を取得するための、公知の他の方法を用いることができる。本ステップにより、位置取得部３０３は、カメラ１０１からオブジェクトまでの概略距離を取得する。

【0026】

Ｓ４０４で、信頼度導出部３０４は、複数のカメラ１０１の夫々に対して、画像中におけるオブジェクトの空間分解能を導出する。

【0027】

Ｓ４０５で、信頼度導出部３０４は、Ｓ４０４で導出した空間分解能に基づき信頼度を導出する。尚、Ｓ４０４～Ｓ４０５において、空間分解能及び信頼度を導出する手法については、図５を用いて後述する。

【0028】

Ｓ４０６で、条件決定部３０５は、Ｓ４０５で導出した信頼度に基づき、シルエット内か否か判定する際に用いる条件（シルエットの内外判定条件とする）を決定する。尚、シルエットの内外判定条件を決定する際、予め定められた閾値を記憶部２０４等の記憶媒体から取得しても良いし、画像処理装置２００の外部から取得しても良い。尚、本ステップにおけるシルエットの内外判定条件を決定する手法については、図６を用いて後述する。

【0029】

Ｓ４０７で、形状生成部３０６は、シルエット画像群を用いて、Ｓ４０６で決定された条件に基づき、視体積交差法と同様の手法により形状データを生成する。尚、本ステップで用いる視体積交差法については、特許文献１にも開示されているように公知であるため、詳細な説明は省略する。以上が、画像処理装置２００が実行する形状データ生成処理の内容である。
＜信頼度の導出手法＞

【0030】

以下、本実施形態における信頼度の導出手法について、図５を用いて説明する。図５は、３次元空間中に設定されたボクセル５０１と、カメラ１０１との位置関係を示す。信頼度とは、３次元空間中に設定されるボクセルをカメラの画像平面に射影したとき、３次元空間上で該ボクセルにより表現されるオブジェクトと、カメラの撮像画像上で該ボクセルに対応するピクセルにより表現されるオブジェクトとが一致する度合いを示す。

【0031】

以下の説明において、オブジェクトが存在する３次元空間はボクセルを用いて離散的に表される。つまり、対象となる３次元空間は、１辺の長さがΔ［ｍｍ］の正規格子であるボクセルで区切られる。各ボクセルの座標は、例えば（ｘ座標，ｙ座標，ｚ座標）＝（０，０，０）、（１，０，０）、（３，０，１）・・・のように、格子ベクトルを用いて表現できる。ボクセルに対応する３次元空間内での実際の物理的な位置は、このような格子ベクトルに正規格子の大きさΔを乗算することで得られる。Δとしては、例えば５ｍｍ等の値を採用することができる。

【0032】

図５（ａ）は、所定サイズのボクセル５０１をカメラ１０１に射影した様子を表している。線５０６は、ボクセル５０１の中心部からカメラ１０１までの、カメラ１０１の光軸方向に沿った距離ｚ［ｍｍ］を表す。また、線５０５及び線５０７は、ボクセル５０１の端部をカメラ１０１に射影する線である。線５０２は、ボクセルの１辺の長さΔ［ｍｍ］を表す。面５０４は、カメラ１０１の画像平面、言い換えると、カメラ１０１により得られる撮像画像の投影面を表す。以下では、カメラ１０１の、ピクセル単位で表した焦点距離をｆ［ｐｉｘ］する。

【0033】

ボクセル５０１をカメラ１０１に射影する際、カメラ１０１から見てボクセル５０１が最も大きく見えるのは、ボクセル５０１の最も長い対角線（長さは√３Δ）が、カメラ１０１の光軸と直交する場合である。この場合、ボクセル５０１の、画像上での大きさは、以下の式（１）に従うピクセル幅ｄ［ｐｉｘ］で表される。

【0034】

【数1】

言い換えれば、ボクセル１辺の長さがΔの場合、画像上でのオブジェクトの空間分解能は概ねｄ［ｐｉｘ］で表現されることになる。ここでは、最もオブジェクトの解像度が低くなるケースを考慮し、ボクセルの最も長い対角線（長さは√３Δ）を用いてピクセル幅ｄを算出した。しかし、この最も長い対角線の代わりにボクセルの面、具体的には正方形の対角線（長さは√２Δ）、又は、ボクセルの１辺（長さはΔ）を用いてピクセル幅ｄを算出することもできる。

【0035】

図５（ｂ）は、画像５１０及び画像５１１にオブジェクト５１２が写っている場合にボクセル５０１を射影した様子を表している。尚、ボクセル５０１は、図示の都合上、大きく表示している。画像５１０は、式（１）を用いて算出したｄが小さい場合（例えば１ｐｉｘ）の場合を示す一方、画像５１１は、式（１）を用いて算出したｄが大きい場合（例えば５ｐｉｘ）の場合を示している。カメラ１０１とオブジェクト５１２との間の距離が長い場合や、カメラ１０１が広角の場合、カメラ１０１で撮像した画像は、画像５１０に示すような、射影されたボクセル内でオブジェクト境界が占める割合が大きい画像になる。一方、カメラ１０１とオブジェクト５１２との間の距離が短い場合や、カメラ１０１が望遠の場合、カメラ１０１で撮像した画像は、画像５１１に示すような、射影されたボクセル内でオブジェクト境界が占める割合が小さい画像になる。

【0036】

画像５１０では、ｄが小さいため、所望の空間解像度Δ［ｍｍ］に対し、オブジェクト境界が分解しているとは言えない。そのため、オブジェクト境界の信頼度は低い。一方で、画像５１１では、ｄが大きいので、オブジェクト境界が十分分解しており、オブジェクト境界の信頼度は高い。これらを踏まえ、以下では、ｄの値を用いて信頼度を導出する。但し、ｄの値そのものを信頼度として用いるような場合に本実施形態を適用しても良い。 視体積交差法の実装形態の１つとして、Ｓｐａｃｅ Ｃａｒｖｉｎｇ Ｍｅｔｈｏｄ（以下ＳＣＭ）が知られている。以下、ＳＣＭによる形状復元の原理について、図６を用いて説明する。

【0037】

図６は、オブジェクトＯＢを取り囲むように配置した４台のカメラで、オブジェクトＯＢを撮像する様子を示す。図中の符号Ｃ１～Ｃ４は夫々、カメラ中心を表し、符号Ｐ１～Ｐ４は夫々、カメラの画像平面を表す。符号Ｒ１～Ｒ４はオブジェクトＯＢからカメラ中心Ｃ１～Ｃ４に向かう光線を表す。符号Ｓ１～Ｓ４は、オブジェクトＯＢを画像平面Ｐ１～Ｐ４に射影したときのシルエット画像の模式図を表す。ここでは、オブジェクトＯＢは球であるものとする。

【0038】

ＳＣＭでは、予め決められた範囲内、具体的にはバウンディングボックス内に存在するボクセルの１つに着目する（このボクセルを、着目ボクセルとする）。着目ボクセル（ボクセルＶとする）を画像平面Ｐ１～Ｐ４に射影したとき、シルエット画像Ｓ１～Ｓ４のシルエット（画素値が２５５の画素から成る領域）内にその射影が収まるか否かを判定する。この判定の結果、ボクセルＶの射影がシルエットから外れるカメラが１つでも存在する場合、ボクセルＶを削除する。一方、全てのシルエット画像Ｓ１～Ｓ４において、ボクセルＶの射影がシルエット内部に収まる場合、オブジェクトＯＢを構成するボクセルとして、ボクセルＶを残す。この一連の処理を、バウンディングボックス内の全てのボクセルに対して行うことにより、連結した凸形状のボクセルの集合であるビジュアルハル（ＶＨと略記される）が生成される。以上が、ＳＣＭによる形状復元の原理である。

【0039】

以下、本実施形態におけるシルエットの内外判定条件を決定する条件決定部３０５の動作について述べる。図６において、シルエット画像Ｓ１～Ｓ４各々におけるシルエット境界の信頼度は、前述した通り、式（１）で算出されるｄの値を用いて導出されるものとする。ここでは、シルエット画像Ｓ１、Ｓ２の各々に対してｄ＝５[ｐｉｘ]と算出され、シルエット画像Ｓ３に対してｄ＝１．５[ｐｉｘ]と算出され、シルエット画像Ｓ４に対してｄ＝０．５[ｐｉｘ]と算出された場合について考える。閾値ｄ＿ｔｈ＝２[ｐｉｘ]に対し、ｄの値がｄ＿ｔｈ以上の場合、信頼度“高”とする一方、ｄの値がｄ＿ｔｈ未満の場合、信頼度“低”とする。図６の場合、シルエット画像Ｓ１、Ｓ２の信頼度が“高”、シルエット画像Ｓ３、Ｓ４の信頼度が“低”である。条件決定部３０５は、信頼度に応じて、ＳＣＭでボクセルＶを残す条件を変更する。以下では、ボクセルＶが画角内に収まっているカメラのみを対象に説明を行う。

【0040】

信頼度“高”のシルエット画像群（Ｓ＿ｈｉｇｈとする）に対しては、ボクセルＶを画像平面に射影した結果、全てのシルエット画像群Ｓ＿ｈｉｇｈにボクセルＶの射影が含まれる場合のみボクセルＶを残す。この理由は、シルエット境界の空間分解能が十分高く、オブジェクトＯＢに属するボクセルＶがシルエット外に出る確率が低いからである。

【0041】

信頼度“低”のシルエット画像群（Ｓ＿ｌｏｗとする）に対しては、ボクセルＶを画像平面に射影した結果、ボクセルＶの射影がシルエットから外れる視点数が所定の閾値ｍ以下の場合のみボクセルＶを残す。例えば、信頼度が“低”のシルエット画像が５枚、ｍ＝１のケースでは、５枚中４枚までボクセルＶの射影がシルエット内に収まっていれば、ボクセルＶを残す。

【0042】

以上、信頼度“低”のシルエット画像群Ｓ＿ｌｏｗを用いる形状推定時のシルエット内外判定条件を緩和するケースを説明したが、信頼度“低”のシルエット画像群Ｓ＿ｌｏｗを、そもそも形状推定に用いなくても良い。但し、このような場合であっても、信頼度“低”のカメラで撮像した画像にしか写っていないオブジェクトに対しては、信頼度“低”のシルエット画像群を用いた形状推定を行う。内外判定の条件としては、ｍ’箇所の視点、つまりｍ’箇所の撮像位置において、ボクセルの射影がシルエット画像から外れても許容するものとする。ｍ’はｍと等しくても良いし、異なっても良い。例えば、ｍ’＝２とすることができる。

【0043】

尚、ここでは、信頼度が２段階の値を取る場合を説明したが、信頼度は、２段階より多くの段階の値を取っても良い。例えば、“高”，“中”，“低”と段階的に（３段階で）設定することも可能である。また、シルエットが外れて良い視点の数ｍを、ピクセル幅ｄを代入する関数や、ｍとｄとの対応関係を保持するテーブルを用いて導出しても良い。
＜本実施形態の効果について＞
本実施形態によれば、撮像画像における空間分解能の大きさに応じて信頼度を導出し、該導出した信頼度に基づき空間分解能の高いカメラで取得した画像を優先的に使用することで、オブジェクトの形状を精度良く推定することが可能になる。
［第２の実施形態］

【0044】

本実施形態では、色情報の整合性を用いて、複数視点の２次元画像から３次元の情報を得る手法（所謂、多視点ステレオマッチング）により、形状推定を行う。尚、以下では既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。

【0045】

本実施形態において、第１の実施形態と同様にシルエット画像を補助的に用いても良いが、基本的には撮像画像の色情報を用いる。以下では、色情報を用いたマッチングの評価値として、正規化相互相関（以下ＮＣＣ）を採用する場合について説明する。

【0046】

ＮＣＣでは、ターゲットとする点の近傍を含むパッチのＲＧＢ値をベクトル化し、ベクトル間の相関をとることでマッチングの度合いを評価する。マッチングの評価値としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等を用いて良いし、その他の評価値を用いても良い。多視点ステレオマッチングでは、マッチングの評価値が最大（又は最小）となる点をオブジェクト表面の点と推定する。
＜形状データ生成処理について＞

【0047】

以下、本実施形態における画像処理装置２００が実行する形状データ生成処理について、図７及び図８を用いて説明する。図７は、本実施形態における画像処理装置２００のソフトウェア構成（機能構成）の一例を示すブロック図であり、図８は、本実施形態における形状データ生成処理のフローチャートである。

【0048】

図８中のＳ４０１～Ｓ４０５における処理は、第１の実施形態と同様である（図４参照）。

【0049】

Ｓ８０１で、境界判定部７０１は、着目画素がオブジェクト境界の画素か判定する。本ステップの判定結果が真の場合、Ｓ８０２に進む一方、該判定結果が偽の場合、Ｓ８０３に進む。本ステップにおける、オブジェクト境界の画素であるか否かの判定は、シルエット画像に基づいて行っても良い。または、撮像画像において、Ｈａｒｒｉｓコーナー検出など既存のエッジ検出法により判定しても良い。または、任意の物体検出法によりオブジェクトを検出した後にエッジを検出しても良い。尚、Ｓ８０１～Ｓ８０５の処理は、各撮像位置における画像の画素毎に実行される。

【0050】

Ｓ８０２で、重み算出部７０２は、第１の実施形態で導出した空間分解能に基づき、境界用の重みをカメラ毎に導出する。

【0051】

Ｓ８０３で、重み算出部７０２は、第１の実施形態で導出した空間分解能に基づき、（非境界用の）重みをカメラ毎に導出する。

【0052】

Ｓ８０４で、評価値導出部７０３は、Ｓ８０２又はＳ８０３で導出した重みに基づき、マッチング評価値を導出する。尚、Ｓ８０２～Ｓ８０４における、重み及びマッチング評価値の導出手法の詳細については、後述する。

【0053】

Ｓ８０５で、形状生成部７０４は、Ｓ８０４で導出されたマッチング評価値に基づき、オブジェクトの形状データを生成する。以上が、本実施形態における形状データ生成処理の内容である。
＜重み、マッチング評価値の導出手法について＞

【0054】

以下では、実施形態１で用いる空間分解能に基づき、重みを算出する場合について説明する。尚、空間分解能の代わりに別のパラメータを用いて重みを算出しても良い。重みは、例えば以下の式（２）を用いて算出することができる。

【0055】

【数2】

式（２）において、ｗ_nはｎ番目のカメラに対する重みを示し、ｄ_nは式（１）で算出される空間分解能であり、１ボクセルをｎ番目のカメラに射影したときの、該１ボクセルに対応する正方形における１辺の長さを表す。尚、重みｗ_nを算出する式は式（２）に限定されず、重みｗ_nが空間分解能ｄ_n（又は信頼度）に対して単調に増加する他の式を用いて良い。αは、全てのカメラの重みｗ_nの和が１になるように決定する。また、マッチング評価値は、各カメラのＮＣＣに、重みｗ_nを乗算して平均を取ったものを採用する。

【0056】

オブジェクト境界部においては、より空間分解能（又は信頼度）の高いものを優先的に使用するよう重みを定義することにより、オブジェクト境界の精度を向上させることができる。例えば、重みを式（３）のように定義する。

【0057】

【数3】

式（３）におけるβは、式（２）のαと同様、全てのカメラの重みｗ’_nの和が１になるように決定する。尚、重みを算出する式は、式（３）に限らず、式（２）に比べて空間分解能に対する増加率が高い関数であれば、別の式を用いて構わない。また、空間分解能（又は信頼度）と重みとの間の関係を保持するテーブルを、画像処理装置２００が予め有しており、このテーブルを用いて、重み及びマッチング評価値を導出しても良い。また、予め決められた閾値未満の重みのカメラは、形状推定に使用しなくても良い。
＜本実施形態の効果について＞

【0058】

本実施形態によれば、撮像画像における空間分解能又は信頼度に基づき、重みやマッチング評価値を導出する。これにより、空間分解能の高いカメラで取得した画像を優先的に使用することが可能になり、オブジェクトの形状を精度良く推定することが可能になる。尚、本実施形態は、本発明の他の実施形態と組み合わせて用いて良い。
[第３の実施形態]

【0059】

本実施形態では、各カメラで用いる信頼度を予め導出しておく。
＜本実施形態における処理の概念について＞

【0060】

以下、本実施形態における処理の概念について、図９を用いて説明する。図９（ａ）は、地面の領域（撮像フィールド）、つまりグラウンド１０３を真上から見た図である。本実施形態では、グラウンド１０３を小領域に分割し、各カメラに対する、該分割した小領域毎の信頼度を予め導出する。小領域としては、例えば一辺５０ｃｍの正方形をとることができる。

【0061】

図９(ａ)は、グラウンド１０３を小領域に分割し、第１、第２の実施形態と同様、各小領域に含まれる代表的なボクセルを射影して各領域の信頼度を導出した結果を表している。図中の符号９０１は、複数ある小領域の一つを指している。図示の都合上、他の小領域は省略している。小領域におけるボクセルの代表的な位置は、小領域内であればどこでも良いが、ここではボクセルの中心を、代表的な位置とする。図示するように、カメラ１０１ａに対しては、領域９０２の信頼度は“高”であり、領域９０３の信頼度は“中”であり、領域９０４の信頼度は“低”である。

【0062】

図９（ｂ）は、カメラ１０１ａの撮像画像９０５における、選手１０２と、グラウンド１０３と、領域９０２～９０４との位置関係を表している。撮像画像９０５中でオブジェクトがいる領域を導出し、該導出した領域に対応する信頼度を、該オブジェクトの信頼度とする。図９（ｂ）の例では、選手１０２が領域９０２に立っていることから、選手１０２の信頼度を領域９０２の信頼度、即ち“高”とする。尚、ここでは、信頼度が３段階の値を取る場合を説明したが、信頼度は、３段階より多くの段階の値を取っても良いし、２段階の値を取っても良い。また、各領域と信頼度との間の対応関係を保持するテーブルを画像処理装置２００が予め有しており、該テーブルを用いて信頼度を導出しても良い。また、本実施形態は、本実施形態単独、又は、本発明の他の実施形態と組み合わせて用いることが可能である。
＜本実施形態の効果について＞

【0063】

本実施形態によれば、信頼度を予め導出しておくことで、演算量を増大させることなく、オブジェクトの形状を精度良く推定することが可能になる。尚、本実施形態は、本発明の他の実施形態と組み合わせて用いて良い。
[第４の実施形態]

【0064】

第１の実施形態、第２の実施形態では、空間分解能が低いカメラの、形状推定への寄与率を下げる場合について説明したが、本実施形態では、形状推定に用いるカメラの寄与率をカメラ配置も考慮して決定する。
＜本実施形態における処理の概念について＞

【0065】

以下、本実施形態における処理の概念について、図１０を用いて説明する。図１０は、複数のカメラ１０１を８つのグループに分割した例を示す。図１０において、原点を始点として伸長する半直線１００１～１００８は夫々、カメラ群を８つのグループに分割する線であり、隣り合う半直線同士で囲まれるカメラの集合を１つのグループとする。例えば、半直線１００１と半直線１００２とで囲まれるカメラ群の空間分解能が全て低い場合、これらのカメラに対する信頼度は低く設定され、その結果、これらのカメラの形状推定への寄与率が下がることになる。従って、このような場合、特定の方向から見た情報が欠落し、形状推定精度の低下につながりかねない。

【0066】

そこで本実施形態では、各グループで少なくとも１台は形状推定に使用されるように、カメラ毎の重み、又は、使用するカメラを決定する。

【0067】

例えば、低信頼度のカメラを形状推定に使用しないケースについて検討する。このケースで、あるグループに属する全てのカメラに対する空間分解能が所定の閾値より小さい場合に、そのグループに属するカメラのうち少なくとも１台は形状推定に使用するように、該少なくとも１台のカメラに対する信頼度を高く設定する。

【0068】

他の一例として、信頼度に基づき重みを導出するケースについて検討する。このケースで、あるグループに属するカメラの重みがすべて閾値ｗ＿ｔｈを下回った場合に、グループ内の少なくとも１台のカメラの重みをｗ＿ｔｈまで引き上げれば良い。尚、本実施形態で採用可能な方法はこれに限られず、形状推定に使用するカメラの分布に偏りが発生しない方法であれば、他の方法を採用して構わない。また、本実施形態は、他の実施形態と組み合わせて用いることが可能である。以上が、本実施形態における処理の概念の内容である。
＜本実施形態の効果について＞

【0069】

本発明によれば、形状推定に使用するカメラの分布に偏りを発生させないようにしつつ、空間分解能の高いカメラを優先的に使用して形状推定を行うことで、オブジェクトの形状を精度良く推定することが可能になる。尚、本実施形態は、本発明の他の実施形態と組み合わせて用いて良い。
［その他の実施形態］

【0070】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0071】

３０１：画像取得部、３０２：カメラパラメータ取得部、３０３：位置取得部、３０４：信頼度導出部、３０５：条件決定部、３０６：形状生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】