特開 2023-180453 情報処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180453

(43)【公開日】2023-12-21

(54)【発明の名称】情報処理装置、制御方法及びプログラム

(51)【国際特許分類】

   G06T 17/20 20060101AFI20231214BHJP

   H04N 23/60 20230101ALI20231214BHJP

【ＦＩ】

G06T17/20

H04N5/232 220

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022093795

(22)【出願日】2022-06-09

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】金子 千晶

【テーマコード（参考）】

5B080

5C122

【Ｆターム（参考）】

5B080AA13

5B080AA17

5B080BA00

5B080CA00

5B080FA02

5B080GA22

5C122DA13

5C122EA01

5C122EA42

5C122FA06

5C122FA11

5C122GE25

5C122GE27

5C122HA13

5C122HA88

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

【課題】 形状推定精度を評価するためのデータセットを簡便に得る。
【解決手段】 ３次元空間の空間領域を表す領域情報を取得する第一の取得手段と、被写体に関する属性情報を取得する第二の取得手段と、前記領域情報と前記属性情報とに基づいて、被写体の形状と配置とを表す被写体データを複数生成する生成手段と、を有し、前記生成手段によって生成された前記複数の被写体データは、前記空間領域に対応する領域において、前記被写体に対応する形状モデルが占める割合の和集合が所定の割合以上になることを特徴とする情報処理装置。
【選択図】 図１

【特許請求の範囲】

【請求項1】

３次元空間の空間領域を表す領域情報を取得する第一の取得手段と、
被写体に関する属性情報を取得する第二の取得手段と、
前記領域情報と前記属性情報とに基づいて、被写体の形状と配置とを表す被写体データを複数生成する生成手段と、を有し、
前記生成手段によって生成された前記複数の被写体データは、前記空間領域に対応する領域において、前記被写体に対応する形状モデルが占める割合の和集合が所定の割合以上になる
ことを特徴とする情報処理装置。

【請求項2】

前記領域情報は、前記３次元空間の範囲を示す情報と、前記３次元空間に対応する領域を構成する単位体積要素であるボクセルの大きさを示す情報とから成ることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記生成手段は、前記被写体の形状の内部に含まれる前記ボクセルの個数に基づいて、前記空間領域に占める割合を算出することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記生成手段は、前記被写体の形状の表面と交わる前記ボクセルの個数に基づいて、前記空間領域に占める割合を算出することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記被写体は人物であり、前記属性情報は少なくとも人数、身長、および身幅に関する情報を含むことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記生成手段は、前記属性情報に基づき前記被写体の形状を表す形状データを取得し、前記領域情報と前記形状データとに基づいて複数パターンの被写体の配置を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記生成手段は、配置された被写体の位置の分散に基づいて、前記被写体データに優先順位を付与することを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記第二の取得手段は、前記被写体の移動速度を取得し、
前記生成手段は、前記被写体データを時刻と対応付け、時間的に隣り合う前記被写体データ間における前記被写体の位置の変化量が、前記移動速度と前記被写体データとにおける経過時間とに応じた変化量と略一致するように、前記被写体データを生成する
ことを特徴とする請求項に記載の情報処理装置。

【請求項9】

前記空間領域に配置された被写体の撮像に用いるカメラパラメータを設定するカメラパラメータ設定手段と、
前記被写体データと前記カメラパラメータとを用いて撮像シミュレーション画像を生成するレンダリング手段と、
前記撮像シミュレーション画像を用いて前記被写体の３次元形状を推定する形状推定手段と、
前記被写体データが示す形状と前記推定手段により推定された推定形状とに基づいて、形状推定精度を評価する評価手段と
をさらに有することを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記空間領域に配置された被写体の撮像に用いるカメラパラメータを設定するカメラパラメータ設定手段と、
前記被写体データと前記カメラパラメータとを用いて撮像シミュレーション画像を生成するレンダリング手段と、
前記撮像シミュレーション画像を用いて前記被写体の３次元形状を推定する形状推定手段と、
前記被写体データが示す形状と前記推定手段により推定された推定形状とに基づいて、形状推定精度を評価する評価手段と
をさらに有することを特徴とする請求項１に記載の情報処理装置。

【請求項11】

３次元空間の空間領域を表す領域情報を取得する第一の取得工程と、
被写体に関する属性情報を取得する第二の取得工程と、
前記領域情報と前記属性情報とに基づいて、被写体の形状と配置とを表す被写体データを複数生成する生成工程と、を有し、
前記生成工程によって生成された前記複数の被写体データは、前記空間領域に対応する領域において、前記被写体に対応する形状モデルが占める割合の和集合が所定の割合以上になる
ことを特徴とする情報装置の制御方法。

【請求項12】

３次元空間の空間領域を表す領域情報を取得する第一の取得工程と、
被写体に関する属性情報を取得する第二の取得工程と、
前記領域情報と前記属性情報とに基づいて、被写体の形状と配置とを表す被写体データを複数生成する生成工程と、を情報処理装置に実行させるためのプログラムであって、
前記生成工程によって生成された前記複数の被写体データは、前記空間領域に対応する領域において、前記被写体に対応する形状モデルが占める割合の和集合が所定の割合以上になる
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は３次元形状データを生成する技術に関する。

【背景技術】

【0002】

従来、被写体を撮像した２次元画像に基づいて被写体の３次元形状を推定する形状推定技術が知られている。また、形状推定の精度を評価する技術として、特許文献１では、被写体の３次元形状モデルを用いる評価技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１６０６０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、形状推定の精度は、撮像システムを構成する撮像装置と被写体との位置関係に依存する。例えば、位置や向きの異なる複数のデジタルカメラから成る撮像システムを用いて人物などの被写体の形状を推定する場合、被写体の位置によって被写体が画角内に写るデジタルカメラの台数が変化する。そして、被写体を撮像するデジタルカメラの台数が多いほど精度が高くなる傾向にあり、少ないほど精度が低い傾向にある。このような撮像システム内において被写体の位置が変化する場合において、被写体の位置に応じた被写体の形状推定の精度を評価できると便利である。その評価方法として、被写体の３次元形状モデルを様々な位置に配置したデータセットを用いて評価する方法がある。しかしながら、データセットを手作業で大量に作成するには多大な労力が必要となるという課題があった。

【0005】

そこで本発明では、形状推定の精度を評価するための複数のデータセットを簡便に得るようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の情報処理装置の一つは、３次元空間の空間領域を表す領域情報を取得する第一の取得手段と、被写体に関する属性情報を取得する第二の取得手段と、前記領域情報と前記属性情報とに基づいて、被写体の形状と配置とを表す被写体データを複数生成する生成手段と、を有し、前記生成手段によって生成された前記複数の被写体データは、前記空間領域に対応する領域において、前記被写体に対応する形状モデルが占める割合の和集合が所定の割合以上になる。

【発明の効果】

【0007】

本発明により、形状推定精度を評価するためのデータセットを簡便に得ることができる。

【図面の簡単な説明】

【0008】

【図1】情報処理装置のハードウェア構成を示すブロック図。

【図2】第１実施形態における情報処理装置の論理構成を示すブロック図。

【図3】ボクセルとキャプチャ空間領域を説明する模式図。

【図4】被写体の例を示す模式図。

【図5】第１実施形態における情報処理装置が実行する処理の全体の流れを示すフローチャート。

【図6】第１実施形態におけるＧＵＩの例を示す図。

【図7】第１実施形態における被写体データの生成処理の流れを示すフローチャート。

【図8】被写体の配置を説明する模式図。

【図9】配置の組み合わせの例を示す模式図。

【図10】第１実施形態におけるその他のＧＵＩの例を示す図。

【図11】第２実施形態における情報処理装置の論理構成を示すブロック図。

【図12】第２実施形態における情報処理装置が実行する処理の全体の流れを示すフローチャート。

【図13】第２実施形態におけるＧＵＩの例を示す図。

【図14】第３実施形態におけるＧＵＩの例を示す図。

【図15】第３実施形態における被写体データの生成処理の流れを示すフローチャート。

【図16】第３実施形態における被写体データの例を示す模式図。

【図17】第４実施形態における情報処理装置が実行する処理の全体の流れを示すフローチャート。

【図18】被写体データの並び替えの例を示す模式図。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0010】

（第１実施形態）
＜ハードウェア構成＞
図１は、本実施形態における情報処理装置のハードウェア構成の一例を示す図である。この図において、情報処理装置１００は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ（インタフェース）１０４と、ＶＣ（ビデオカード）１０５と、汎用Ｉ／Ｆ１０６と、を有する。

【0011】

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３、外部記憶装置１１１などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行するためのプロセッサである。なお、ＯＳや各種プログラムは、内部の記憶装置内に格納されていても良い。また、ＣＰＵ１０１は、システムバス１０７を介して各構成を制御するための。なお、後述するフローチャートによる処理は、ＲＯＭ１０３や外部記憶装置１１１などに格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。

【0012】

ＳＡＴＡＩ／Ｆ１０４には、シリアルバス１０８を介して、外部記憶装置１１１が接続される。外部記憶装置１１１は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）である。ＶＣ１０５には、シリアルバス１０９を介して、ディスプレイ１１２が接続される。汎用Ｉ／Ｆ１０６には、シリアルバス１１０を介して、マウスやキーボードなどの入力デバイス１１３が接続される。

【0013】

ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインタフェース）をディスプレイ１１２に表示し、入力デバイス１１３を介して得られたユーザの指示を表す入力情報を受信する。情報処理装置１００は、例えば、デスクトップ型のＰＣ（パーソナルコンピュータ）によって実現される。あるいは、ディスプレイ１１２と一体となったノート型ＰＣやタブレットＰＣなどによって実現されてもよい。また、外部記憶装置１１１は、メディア（記録媒体）と、当該メディアへのアクセスを行うための外部記憶ドライブとによっても実現される。メディアには、ＦＤ（フレキシブルディスク）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどを用いることができる。

【0014】

＜論理構成＞
図２は、本実施形態における情報処理装置１００の論理構成を示すブロック図である。情報処理装置１００は、ＲＡＭ１０２をワークメモリとして、ＣＰＵ１０１がＲＯＭ１０３に格納されたプログラムを実行することによって、図２に示す論理構成として機能する。なお、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１００が構成されていてもよい。

【0015】

情報処理装置１００は、空間領域取得部２０１、被写体属性取得部２０２、生成部２０３を有する。

【0016】

空間領域取得部２０１は、入力デバイス１１３を介して入力されたユーザの指示に基づき、３次元空間を構成する単位体積要素であるボクセルの大きさと、キャプチャ空間領域の範囲とを領域情報として取得する。キャプチャ空間領域とは、形状を推定する対象（すなわち、被写体）が存在し得る領域である。ボクセルとキャプチャ空間領域の例を図３に示す。この図の例では、ボクセル３０１は一辺の長さがｄ_ｕｎｉｔの立方体である。また、キャプチャ空間領域３０２はｘｙｚ空間中におけるｘ０≦ｘ≦ｘ１かつｙ０≦ｙ≦ｙ１かつｚ０≦ｚ≦ｚ１の範囲の領域である。取得された領域情報は、生成部２０３へ送られる。

【0017】

被写体属性取得部２０２は、入力デバイス１１３を介して入力されたユーザの指示に基づき、被写体に関する属性情報を取得する。属性情報とは、被写体の個数や形状の特徴を示す情報である。本実施形態では人物を想定被写体とし、被写体の人数、身長、身幅を属性情報として取得する。なお、身長や身幅に代えて（あるいは加えて）性別や年齢といった被写体の形状の特徴を間接的に示す情報を属性情報に含めてもよい。また、想定被写体は人物以外の物体であってもよく、その場合、物体の個数やサイズを属性情報とすればよい。取得された属性情報は、生成部２０３へ送られる。

【0018】

生成部２０３は、領域情報と属性情報とに基づいて、３次元空間における被写体の形状と配置とを表す被写体データを複数パターン生成する。本実施形態における被写体データは、個々の被写体人物の形状をポリゴンメッシュで表現した形状モデルと、各被写体人物の位置座標および向き（回転角度）とから成るものとする。また、形状モデルは、ポリゴンメッシュを構成する頂点の３次元座標のリストから成るものとする。形状モデルおよび被写体データの例を図４に示す。

【0019】

図４（ａ）は、形状モデルにより示される被写体形状を表している。この図において、形状モデル４０１は被写体の表面形状を表すポリゴンメッシュである。点４０２および方向４０３は、それぞれ、この形状モデルの基準点と正面方向である。この図の例では、形状モデル４０１の重心４０４からｘｚ平面に下した垂線の足を基準点４０２とし、ｘ軸方向を正面方向４０３としている。

【0020】

図４（ｂ）は、被写体データにより示される３次元空間に配置された被写体を表している。この図の例では２体の形状モデル４０５、４０８が配置されており、点４０６、方向４０７は、それぞれ、形状モデル４０５の基準点と向きを表す。点４０９、方向４１０は、それぞれ、形状モデル４０８の基準点と向きを表している。この図において、座標（ｐｘ_１，ｐｙ_１，ｐｚ_１）および、座標（ｐｘ_２，ｐｙ_２，ｐｚ_２）が、それぞれ、形状モデル４０５および形状モデル４０８の位置座標である。θ_１およびφ_１は形状モデル４０５の向きを表す回転角度である。θ_２およびφ_２は形状モデル４０８の向きを表す回転角度である。

【0021】

なお、形状モデルはポリゴンメッシュを構成する頂点のｘｙｚ座標に対応するｕｖ座標（所謂テクスチャ座標）や、各頂点に関する色情報を含んでいてもよい。被写体データ生成の詳細は後述する。生成された複数パターンの被写体データは、被写体データセットとして外部記憶装置１１１などに出力されて記憶される。

【0022】

＜実行する処理＞
図５は、情報処理装置１００が実行する処理の全体の流れを示すフローチャートである。

【0023】

ステップＳ５０１において、空間領域取得部２０１は、ユーザの指示に基づいてボクセルの大きさとキャプチャ空間領域の範囲を取得する。また、ステップＳ５０２において、被写体属性取得部２０２は、ユーザの指示に基づいて被写体の人数、身長、身幅を取得する。被写体属性取得部２０２は、ユーザの指示を、例えば図６に示すような、ディスプレイ１１２に表示したＧＵＩ６０１を介して受け付ける。

【0024】

ここで、図６において、設定欄６０２は、ボクセルの大きさとして、ボクセルの一辺の長さを入力するための欄である。設定欄６０３、６０４、６０５、６０６、６０７、６０８は、それぞれキャプチャ空間領域のｘ軸方向の始点ｘ０と終点ｘ１、ｙ軸方向の始点ｙ０と終点ｙ１、ｚ軸方向の始点ｚ０と終点ｚ１を入力する欄である。被写体属性設定リスト６０９、６１０、６１１は、それぞれ想定する被写体の人数、身長、身幅を選択するプルダウンリストである。ボタン６１２は、後述する被写体データの生成処理の実行をユーザが指示するためのボタンである。表示領域６１３は、生成された被写体データに関する画像を表示する領域である。スライダ６１４は、表示領域６１３に表示する被写体データの識別番号を指定するスライダである。ボタン６１５は、生成された被写体データの保存をユーザが指示するためのボタンである。ユーザによりボタン６１２が押下されるとステップＳ５０１およびステップＳ５０２が実行される。

【0025】

ステップＳ５０１およびステップＳ５０２で取得された情報は、領域情報と被写体の属性情報に相当する。

【0026】

ステップＳ５０３において、生成部２０３は、ステップＳ５０１およびステップＳ５０２で取得された領域情報とステップＳ５被写体の属性情報とに基づいて、被写体データを複数生成する。ここで、生成部２０３は、被写体がキャプチャ空間領域に占める割合の和集合（以下、空間網羅率と呼ぶ）が所定の割合以上となるまで、被写体の配置を変えて被写体データを生成し続ける。本ステップの処理の詳細については、空間網羅率の例も含めて、図７を用いて後述する。なお、本実施形態では、被写体の形状表面がキャプチャ空間領域に占める割合をボクセル単位で求め、これを空間網羅率として用いる。また、本実施形態では、所定の割合を目標空間網羅率Ｔｈ_Ｃと記載して説明する。目標空間網羅率Ｔｈ_Ｃは予め定めておいてもよいし、別途ユーザの指示に基づいて設定してもよい。

【0027】

ステップＳ５０４において、生成部２０３は、ステップＳ５０３で生成された複数の被写体データをデータセット（被写体データセット）として外部記憶装置１１１などに保存し、処理を終了する。なお、図６の表示領域６１３に示すように、生成された被写体データに基づくレンダリング画像をＧＵＩ上に表示してもよい。レンダリング画像の生成には、公知のコンピュータグラフィックス技術を用いることができる。図６の例では、スライダ６１４で指定された番号の被写体データに基づくレンダリング画像が表示されている。ここで、図６では、スライダ６１４で指定された被写体データが示す被写体は間隔を空けて配置された２人の人物である。ユーザはスライダ６１４を操作することで、表示領域６１３に表示される被写体データの画像を切り替えることができる。そして、ユーザは、表示領域６１３に表示された被写体データの画像を参照することで、どのような被写体データが生成されたかを視覚的に確認することができる。

【0028】

＜ステップＳ５０３における被写体データの生成処理の詳細＞
生成部２０３が行う被写体データの生成処理の詳細を、図７に示すフローチャートを用いて説明する。以下、ステップＳ５０２で取得された被写体の人数をＭ（Ｍは１以上の整数）として説明する。

【0029】

ステップＳ７０１において、生成部２０３は、ステップＳ５０２で取得された被写体の身長と身幅に基づいて、被写体の形状モデルを取得する。例えば、生成部２０３は、被写体について作成された様々な形状モデルと属性とが対応付けられたデータベースから、ステップＳ５０２で取得された身長、身幅に対応する形状モデルを取得する。あるいは、生成部２０３は、外部記憶装置１１１から取得した形状モデルを、ステップＳ５０２で取得された身長と身幅に基づいて変形することで被写体の形状モデルを取得してもよい。本実施形態では、生成部２０３は、Ｍ人の被写体（人物）に対して共通の形状モデルを１つ取得する。

【0030】

ステップＳ７０２において、生成部２０３は、被写体であるＭ人の被写体（人物）のうちの１人を指し示すインデックスｍを１に設定する。

【0031】

ステップＳ７０３において、生成部２０３は、キャプチャ空間領域を構成する各ボクセルｖ（ｉｘ，ｉｙ，ｉｚ）に対応するカウンタｆ_{ＣＯＵＮＴ}（ｉｘ，ｉｙ，ｉｚ）の値をそれぞれ０で初期化する。ここで、ｉｘ、ｉｙ、ｉｚはボクセルの位置を示すインデックスである。

【0032】

ステップＳ７０４において、生成部２０３は、インデックスｍの被写体に関する何通り目の配置であるかを示すインデックスｋを１に設定する。

【0033】

ステップＳ７０５において、生成部２０３は、キャプチャ空間領域内から１点の位置座標（ｘ_{Ｐ（ｍ，ｋ）}，ｙ_{Ｐ（ｍ，ｋ）}，ｚ_{Ｐ（ｍ，ｋ）}）を選び、この位置にステップＳ７０１で取得された形状モデルを配置する。ここで、位置座標（ｘ_{Ｐ（ｍ，ｋ）}，ｙ_{Ｐ（ｍ，ｋ）}，ｚ_{Ｐ（ｍ，ｋ）}）および形状モデルの向き（すなわち、基準点を中心とした回転角度）はそれぞれランダムに決めてもよいし、予め定めた任意の規則に則って決めてもよい。例えば、一般的な人物の動き方を考慮して、ｙ軸方向（鉛直方向）の座標ｙ_{Ｐ（ｍ，ｋ）}を一定とし、向きの変化をｙ軸中心の回転だけに限定してもよい。以下、形状モデルの位置座標と向きをまとめて「配置」と呼び、インデックスｍの被写体の形状モデルに関するｋ通り目の配置をＰ（ｍ，ｋ）で表す。

【0034】

ステップＳ７０６において、生成部２０３は、キャプチャ空間領域を構成するボクセルのうち、ステップＳ７０５で配置された形状モデルの表面が交わるボクセルを判定する。生成部２０３は、ステップＳ７０５で配置された形状モデルの表面が交わるボクセルに対応するカウンタの値に＋１を加える。

【0035】

ステップＳ７０７において、生成部２０３は、カウンタの値に基づいて空間網羅率Ｆ_{ＣＯＶＥＲ}を算出する。本実施形態では、空間網羅率Ｆ_{ＣＯＶＥＲ}は次の式で表される。
Ｆ_{ＣＯＶＥＲ}＝ＶＮＵＭ_＋／ＶＮＵＭ_ＡＬＬ・・・式（１）

【0036】

ここで、ＶＮＵＭ_＋はカウンタの値が１以上であるボクセルの個数、ＶＮＵＭ_ＡＬＬはキャプチャ空間領域を構成するボクセルの総数である。カウンタｆ_{ＣＯＵＮＴ}（ｉｘ，ｉｙ，ｉｚ）の値は、ボクセルｖ（ｉｘ，ｉｙ，ｉｚ）がインデックスｍ被写体の形状モデルの配置Ｐ（ｍ，１）、Ｐ（ｍ，２）、・・・、Ｐ（ｍ，ｋ）のいずれかにおいて形状モデルの表面となる場合に、１以上の値となる。したがって、式（１）で表される空間網羅率Ｆ_{ＣＯＶＥＲ}は、ｋ通りの配置のいずれか１通り以上において被写体表面となるボクセルの、キャプチャ空間領域に占める割合の和集合を表している。

【0037】

ステップＳ７０８において、生成部２０３は、ステップＳ７０７で得られた空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}以上であるか否かを判定する。空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}以上である場合、これまでの処理で決定したｋ通りの配置によるインデックスｍ被写体の形状モデルの配置がキャプチャ空間領域を十分に網羅すると考えられる。したがって、空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}以上である場合、ステップＳ７１０の処理が実行される。空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}未満である場合、ステップＳ７０９において、生成部２０３は、インデックスｋに＋１を加え、ステップＳ７０５の処理へ戻る。

【0038】

ここで、図８を用いてステップＳ７０５～ステップＳ７０７の処理で決定される配置とカウンタの値、および、空間網羅率の例を説明する。この図では、説明を簡単にするために、キャプチャ空間領域８０１が２次元の平面状に並んだボクセルで構成される空間領域であるとして説明する。図８（ａ）はステップＳ７０５で決定された配置Ｐ（ｍ，ｋ）（ｍ＝１，ｋ＝１，２，・・・，５）の例である。この図において、矩形８０２はボクセル、形状８０３は形状モデルにより示される形状、点８０４は形状モデルの基準点、方向８０５は形状モデルの正面方向である。斜線部は配置された形状モデルの表面と交わるボクセルを示す。図８（ｂ）は、図８（ａ）のように配置が決定された場合における、ステップＳ７０６で更新されたカウンタの値とステップＳ７０７で算出された空間網羅率Ｆ_{ＣＯＶＥＲ}を示している。この図において、矩形８０６内の数字は矩形８０２のボクセルに対応するカウンタ、斜線部は図８（ａ）の斜線部のボクセル（すなわち、配置された形状モデルの表面と交わるボクセル）に対応する。目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}が例えば１００％である場合、ｋ＝５のときに初めて空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}以上になる。この場合、空間網羅率Ｆ_{ＣＯＶＥＲ}が１００％になったことに応じて、ステップＳ７１０の処理が実行される。

【0039】

ステップＳ７１０では、生成部２０３は、被写体人物のインデックスｍに＋１を加える。ステップＳ７１１では、生成部２０３は、インデックスｍがＭより大きいか否かを判定する。インデックスｍがＭより大きい場合、ステップＳ７１２の処理が実行される。インデックスｍがＭ以下の場合、ステップＳ７０３の処理へ戻る。

【0040】

ステップＳ７１２において、生成部２０３は、ステップＳ７０２～ステップＳ７１１で決定された配置を組み合わせてＭ人の被写体（人物）を含む被写体データを生成し、被写体データの生成処理を終了する。具体的には、生成部２０３は、各インデックスｍ（＝１，２，・・・，Ｍ）における１つの配置を、それぞれ組み合わせた被写体データを生成して記憶する。なお、本実施形態では、生成部２０３は、上記の被写体データの生成を全ての配置の組み合わせについて行う。ここで、Ｍ＝２の場合の例を図９に示す。

【0041】

図９（ａ）は、インデックスｍが１の被写体９０１の配置Ｐ（１，ｋ_１）（ｋ_１＝１，２，・・・，５）の例を示す図である。図９（ｂ）は、インデックスｍが２の被写体９０２の配置Ｐ（２，ｋ_２）（ｋ_２＝１，２，３，４）の例を示す図である。図９（ｃ）は、配置Ｐ（１，ｋ_１）と配置Ｐ（２，ｋ_２）のすべての組み合わせの例を示す図である。上述したステップＳ７０２～ステップＳ７１１の処理により、配置Ｐ（１，ｋ_１）およびＰ（２，ｋ_２）に対応する空間網羅率Ｆ_{ＣＯＶＥＲ}は、それぞれ目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}以上になるように決定されている。したがって、配置Ｐ（１，ｋ_１）およびＰ（２，ｋ_２）を組み合わせることで、２人の人物の様々な位置関係のパターンを含む被写体データセットを網羅的に生成できる。なお、複数の人物が重なって存在することは非現実的であることを考慮し、被写体の形状モデルが重なるように配置された被写体データについては、生成されなくともよい。例えば、図９（ｃ）のＰ（１，５）＋Ｐ（２，１）、Ｐ（１，２）＋Ｐ（２，２）、Ｐ（１，１）＋Ｐ（２，３）、Ｐ（１，３）＋Ｐ（２，４）は、被写体データとして生成されなくともよい。

【0042】

以上のように説明した処理制御を行うことで、撮像システムに関して形状推定の精度を評価するための被写体データのデータセットを簡便に得ることができる。

【0043】

なお、本実施形態では、図６に示すＧＵＩを介してユーザにより入力された範囲をキャプチャ空間領域の範囲として取得する例を説明したが、キャプチャ空間領域の範囲の取得方法はこれに限らない。例えば、キャプチャ空間の空間範囲とキャプチャ空間に対応する名称とを対応付けたＬＵＴを参照することで、ＧＵＩを介してユーザにより入力された名称に対応する範囲を取得してもよい。図１０（ａ）は、この場合におけるＧＵＩの例を示す図である。なお、この場合、ＬＵＴは予め作成して外部記憶装置１１１などに格納されている。

【0044】

また、被写体が複数人である場合、図１０（ｂ）に示すように、属性情報である身長や身幅を個々に指定するようにしてもよい。その場合、生成部２０３は、ステップＳ７０１において被写体ごとに形状モデルを取得する。

【0045】

また、ボクセルの個数に基づき式（１）に従って算出される値を空間網羅率とする例を説明したが、空間網羅率はキャプチャ空間領域に占める被写体の割合を表すものであればよく、他の方法で算出してもよい。例えば、キャプチャ空間領域の体積に対する被写体の形状モデルの体積の和集合の割合を空間網羅率としてもよい。その場合、ステップＳ７０６において形状モデルの表面が交わるボクセルに加えて形状モデルの内部に含まれるボクセルも求め、それらに対応するカウンタの値を１増やせばよい。

【0046】

（第２実施形態）
第１実施形態では、被写体データのデータセット（被写体データセット）を生成する方法について説明した。本実施形態においては、生成されたデータセットを用い、撮像システムに関して形状推定の推定精度を評価する例について説明する。

【0047】

本実施形態における情報処理装置１００のハードウェア構成は、第１実施形態のものと同等であるため説明を省略する。以下では、本実施形態と第１実施形態とで異なる部分を主に説明する。なお、第１実施形態と同一の構成については、同一の符号を付して説明する。

【0048】

図１１は、本実施形態における情報処理装置１００の論理構成を示すブロック図である。情報処理装置１００は、空間領域取得部２０１、被写体属性取得部２０２、生成部２０３、カメラパラメータ設定部１１０１、レンダリング部１１０２、形状推定部１１０３、評価部１１０４を有する。空間領域取得部２０１、被写体属性取得部２０２、生成部２０３は、第１実施形態と同じであるため説明を省略する。ただし、本実施形態では生成部２０３で生成された複数パターンの被写体データから成る被写体データセットは、レンダリング部１１０２および評価部１１０４に送られる。

【0049】

カメラパラメータ設定部１１０１は、入力デバイス１１３を介して入力されたユーザの指示に基づき、評価対象である撮像システムのカメラパラメータを設定する。本実施形態におけるカメラパラメータは、撮像システムに含まれる各デジタルカメラの内部パラメータ、外部パラメータ、および、歪曲パラメータから成る。内部パラメータは、デジタルカメラの主点の位置とレンズの焦点距離を表すパラメータである。外部パラメータは、デジタルカメラの位置と向きを表すパラメータである。歪曲パラメータは、デジタルカメラのレンズの歪曲を表すパラメータである。設定されたカメラパラメータは、レンダリング部１１０２へ送られる。

【0050】

レンダリング部１１０２は、カメラパラメータと被写体データセットに基づき、撮像システムで被写体を撮像する場合のシミュレーション画像を生成する。本実施形態では、この生成されたシミュレーション画像を撮像シミュレーション画像ともいう。詳細は後述する。生成された撮像シミュレーション画像は、形状推定部１１０３へ送られる。

【0051】

形状推定部１１０３は、所定の形状推定アルゴリズムを撮像シミュレーション画像に適用し、被写体の形状を推定する。所定の形状推定アルゴリズムは、公知の視体積交差法やステレオマッチングを用いた方法など、被写体を撮像した２次元画像に基づいて被写体の３次元形状を推定するものであればよい。以下、推定の結果として得られる３次元形状を表すデータを推定形状データと呼ぶ。得られた推定形状データは、評価部１１０４へ送られる。

【0052】

評価部１１０４は、被写体データと推定形状データとに基づいて形状推定の推定精度（形状推定精度）を評価し、その結果をＧＵＩ上に表示する。詳細は後述する。

【0053】

図１２は、本実施形態における情報処理装置１００が実行する処理の全体の流れを示すフローチャートである。

【0054】

ステップＳ１２０１において、空間領域取得部２０１は、ユーザの指示に基づいて領域情報を取得する。また、ステップＳ１２０２において、被写体属性取得部２０２は、ユーザの指示に基づいて被写体の属性情報を取得する。

【0055】

ステップＳ１２０３において、カメラパラメータ設定部１１０１は、ユーザの指示に基づいてカメラパラメータファイルを外部記憶装置１１１などから取得し、カメラパラメータを設定する。ユーザの指示は、図１３に示すようなＧＵＩ１３０１を介して受け付ける。図１３において、カメラパラメータ設定欄１３０２は、カメラパラメータファイルのパスを入力するための欄である。ボタン１３０３は、評価の実行を指示する場合に押下（選択）されるボタンである。表示領域１３０４および表示領域１３０５は、評価結果を表示する領域である。ユーザによりボタン１３０３が押下されると、ステップＳ１２０１～ステップＳ１２０３が実行され、ステップＳ１２０４に進む。以下、ステップＳ１２０２で取得された被写体の人数を第１実施形態と同じくＭ（Ｍは１以上の整数）として説明する。

【0056】

ステップＳ１２０４において、生成部２０３は、ステップＳ１２０１で取得された領域情報と、ステップＳ１２０２で取得された被写体の属性情報とに基づいて、被写体データを生成する。ここで、本実施形態では、生成部２０３は、Ｎ_ＤＡＴＡ個の被写体データＤａｔａ（ｉ）（ｉ＝１，２，・・・，Ｎ_ＤＡＴＡ）を生成する。本ステップの処理は第１実施形態の図５のステップＳ５０３と同じであるため説明を省略する。

【0057】

ステップＳ１２０５では、レンダリング部１１０２は、ステップＳ１２０４で生成されたＮ_ＤＡＴＡ個の被写体データにより示される被写体（すなわち、３次元空間中に配置された形状モデル）をレンダリングし、撮像シミュレーション画像を生成する。ここで、レンダリング部１１０２は、ステップＳ１２０３で取得されたカメラパラメータを用いてレンダリングする。本実施形態では、レンダリング部１１０２によるレンダリングのアルゴリズムには公知のコンピュータグラフィックス技術を用いる。なお、本実施形態における撮像シミュレーション画像は第１実施形態の撮像シミュレーション画像と同様である。

【0058】

ここで、撮像システムに含まれるデジタルカメラの台数をＮ_ＣＡＭとすると、撮像シミュレーション画像は１個の被写体データにつきＮ_ＣＡＭ個生成される。以下、被写体データＤａｔａ（ｉ）により示される被写体が撮像システムに含まれるｃ番目のデジタルカメラで撮像された場合における、撮像シミュレーション画像をＩｍｇ_ｉ（ｃ）（ｃ＝１，２，・・・，Ｎ_ＣＡＭ）と表す。撮像シミュレーション画像Ｉｍｇ_ｉ（ｃ）は、被写体データＤａｔａ（ｉ）に従って配置されたＭ人の被写体（人物）を写した画像となる。

【0059】

ステップＳ１２０６では、形状推定部１１０３は、Ｎ_ＤＡＴＡ個の被写体データのそれぞれについて、ステップＳ１２０５で生成された撮像シミュレーション画像Ｉｍｇ_ｉ（ｃ）に所定の形状推定アルゴリズムを適用し、推定形状データＥＤａｔａ（ｉ）を得る。

【0060】

ステップＳ１２０７において、評価部１１０４は、ステップＳ１２０４で生成された被写体データを用いてステップＳ１２０６で得られた推定形状の精度を評価し、その結果をＧＵＩ上に表示して処理を終了する。具体的には、評価部１１０４は、ｉ＝１，２，・・・，Ｎ_ＤＡＴＡのそれぞれで、被写体データＤａｔａ（ｉ）により示される３次元形状と推定形状データＥＤａｔａ（ｉ）により示される３次元形状との間のハウスドルフ距離ｄ_Ｈ（ｉ）を評価値として算出する。さらに、評価部１１０４は、ハウスドルフ距離ｄ_Ｈ（ｉ）の平均値や最大値を求め、これらの値をＧＵＩ上に表示する。例えば図１３に示すように、スライダ６１４で指定された識別番号に対応する被写体データ（すなわち、表示領域６１３に表示された被写体データ）から算出された評価値が、表示領域１３０４に表示される。また、撮像システムに対する評価結果として、表示領域１３０５に評価値の平均値や最大値が表示される。なお、評価値はハウスドルフ距離に限らず、２つの形状間における差異や類似度を表す指標や値であればよい。

【0061】

以上説明した処理制御を行うことで、第２実施形態によれば撮像システムに関して想定被写体の形状推定精度を網羅的に評価することができる。

【0062】

なお、デジタルカメラ台数や設置可能な場所といった撮影システムの制約条件を別途取得し、その制約条件を満たす撮影システムのカメラパラメータを複数作成して上述した評価を行ってもよい。

【0063】

（第３実施形態）
本実施形態においては、被写体データセットを被写体の動きを表す一連の時系列データと見なした場合に、被写体が指定された速度で移動するような被写体データセットを生成する例について説明する。

【0064】

本実施形態における情報処理装置１００のハードウェア構成および論理構成は、第１実施形態のものと同等であるため説明を省略する。

【0065】

本実施形態における情報処理装置１００が実行する処理の全体の流れを示すフローチャートは、第１実施形態で説明した図５のフローチャートとおおむね同じである。本実施形態における処理の相違点は次のとおりである。ステップＳ５０２において、被写体属性取得部２０２は、被写体に関する属性情報として被写体の移動速度を取得する。また、ステップＳ５０３における生成部２０３の被写体データの生成処理の内容が異なる。なお、ステップＳ５０１、ステップＳ５０４における処理は、第１実施形態と同じであるため説明を省略する。

【0066】

ステップＳ５０２において、被写体属性取得部２０２は、ＧＵＩを介したユーザの指示に基づいて被写体の人数、身長、身幅と移動速度を取得する。

【0067】

ステップＳ５０３において、生成部２０３は、ステップＳ５０１およびステップＳ５０２で取得された領域情報と属性情報とに基づいて、被写体がステップＳ５０２で取得された移動速度で移動するように被写体データを生成する。ここで、第１実施形態と同様に、生成部２０３は、被写体がキャプチャ空間領域に占める割合の和集合が所定の目標空間網羅率以上となるまで、被写体の配置を変えて被写体データを生成し続ける。

【0068】

本実施形態における被写体データの生成処理の詳細を、図１５に示すフローチャートを用いて説明する。なお、Ｓ１５０１、Ｓ１５０２における処理は、それぞれ、第１実施形態の図７のステップＳ７０１、ステップＳ７０３と同じであるため説明を省略する。以下、ステップＳ５０２で取得された被写体の移動速度をα［ｃｍ／秒］、被写体の人数を第１実施形態と同じくＭ（Ｍは１以上の整数）として説明する。

【0069】

Ｓ１５０３において、生成部２０３は、時刻ｔを０に初期化する。

【0070】

Ｓ１５０４において、生成部２０３は、時刻ｔに対応する被写体データＤａｔａ（ｔ）を生成する。

【0071】

時刻ｔ＝０の場合には、生成部２０３は、キャプチャ空間領域内からＭ点を選び、これを時刻ｔ＝０におけるＭ人の被写体の位置座標ｐ_ｍ（０）（ｍ＝１，２，・・・，Ｍ）として、Ｓ１５０１で取得された形状モデルを配置する。このとき、位置座標はランダムで選ばれてもよいし、例えばｘｚ平面上で等間隔となるように選ばれてもよい。また、被写体の向きは任意の向きであってよく、個々の被写体人物ごとにランダムに決められてもよいし、全員一律に同じ向きとされてもよい。以下、時刻ｔにおけるｍ番目の被写体の位置座標をｐ_ｍ（ｔ）で表す。

【0072】

時刻ｔ＞０の場合には、生成部２０３は、被写体人物ごとに位置座標ｐ_ｍ（ｔ－Δｔ）を中心とする半径ｒ＝α＊Δｔの円上からランダムに１点を選び、これを位置座標ｐ_ｍ（ｔ）として形状モデルを配置する。ここで、Δｔは予め定められた、時間的に隣り合う被写体データ間における経過時間であり、例えばΔｔ＝１／３０［秒］である。また、半径ｒは速度αでΔｔ間移動したときの移動距離（変化量）に相当する。配置される被写体の向きは任意の向きであってよい。例えば、３次元ベクトルｐ_ｍ（ｔ）－ｐ_ｍ（ｔ－Δｔ）が示す向きと略一致させれば、進行方向を向いて移動しているような配置となる。

【0073】

生成部２０３は、以上のようにして配置されたＭ人分の形状モデルを、時刻ｔにおける被写体データＤａｔａ（ｔ）として記憶する。Ｍ＝２の場合に生成される被写体データの例を図１６に示す。

【0074】

Ｓ１５０５において、生成部２０３は、Ｓ１５０４で配置された形状モデルについて図７のステップＳ７０６と同様にして表面が交わるボクセルを求め、カウンタの値を１増やす。

【0075】

Ｓ１５０６において、生成部２０３は、第１実施形態の式（１）に従い空間網羅率Ｆ_{ＣＯＶＥＲ}を算出する。

【0076】

Ｓ１５０７において、生成部２０３は、Ｓ１５０６で得られた空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}以上であれば、被写体データの生成処理を終了する。空間網羅率Ｆ_{ＣＯＶＥＲ}が目標空間網羅率Ｔｈ_{ＣＯＶＥＲ}未満であれば、生成部２０３は、Ｓ１５０８へ進んで時刻ｔにΔｔを加え、Ｓ１５０４へ戻る。

【0077】

図１４に、本実施形態におけるＧＵＩ１４０１の例を示す。この図において、速度設定欄１４０２は被写体の移動速度を入力する欄である。ボタン１４０３は、生成された被写体データセットを一連の時系列データとして再生する際に押下されるボタンである。ユーザによりボタン１４０３が押下されると、上述したΔｔ［秒］間隔で表示領域６１３に表示される被写体データが切り替わる。

【0078】

以上説明した処理制御を行うことで、第３実施形態によれば動物体に対する形状推定精度を評価するための被写体データセットを得ることができる。

【0079】

（第４実施形態）
本実施形態においては、評価に用いる際にユーザが使いやすいように、配置された被写体の位置の分散に応じて被写体データセット内で被写体データを並べ替える例について説明する。

【0080】

本実施形態における情報処理装置１００のハードウェア構成および論理構成は、第１実施形態のものと同等であるため説明を省略する。

【0081】

図１７は、本実施形態における情報処理装置１００が実行する処理の全体の流れを示すフローチャートである。Ｓ１７０１～Ｓ１７０３における処理は、それぞれ、第１実施形態の図５のステップＳ５０１～ステップＳ５０３と同じであるため説明を省略する。

【0082】

Ｓ１７０４において、生成部２０３は、Ｓ１７０３で生成されたＮ_ＤＡＴＡ個の被写体データＤａｔａ（ｉ）（ｉ＝１，２，・・・，Ｎ_ＤＡＴＡ）に優先順位を付与する。本実施形態では、生成部２０３は、ｎ＝１からｎ＝Ｎ_ＤＡＴＡまで順に、優先順位を付与されていない被写体データの中から次式で算出される被写体位置の分散σ^２（ｉ’）が最大となる被写体データＤａｔａ（ｉ’）を求め、これに優先順位ｎ位を付与する。

【0083】

【数1】

【0084】

ここで、Ｉ_{ｏｒｄｅｒ}は優先順位を付与済みの被写体データを示すｎ－１個のインデックスの集合であり、ｏ（ｉ，ｍ）は被写体データＤａｔａ（ｉ）に含まれるｍ番目の被写体人物の位置座標である。このとき、優先順位の高いｎ－１個の被写体データと組み合わせたときに被写体人物の位置座標の分散が最大となるものが、優先順位ｎ位の被写体データとして選ばれる。

【0085】

Ｓ１７０５において、生成部２０３は、Ｓ１７０４で付与された優先順位に従い並び替えた被写体データを被写体データセットとして外部記憶装置１１１などに保存し、処理を終了する。図１８（ａ）に並び替え前のデータセットの例を、図１８（ｂ）に並び替え後のデータセットの例を示す。図１８（ｂ）では、優先順位の高いものから順に左から右へ被写体データが並んでいる。優先順位の高い被写体データから順に第２実施形態で説明したステップＳ１２０５～ステップＳ１２０７の処理を適用すれば、配置の似た被写体に対する評価を後回しにすることができる。また、全被写体データについて評価を完了し終えずとも、撮像システムに関するおおよその形状推定精度を把握することができる。

【0086】

以上説明した処理制御を行うことで、第４実施形態によれば被写体データを被写体の位置の分散に応じた順で並べた被写体データセットを得ることができる。

【0087】

なお、被写体データに含まれる被写体の位置の分散が小さい順に並べ替えてもよい。その場合、図１８（ｃ）に示すように、被写体人物の密集度が高い（すなわち、形状推定の難易度が高い）被写体データに高い優先度が付与される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】