6984583 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6984583

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   H04N 5/247 20060101AFI20211213BHJP

   H04N 5/232 20060101ALI20211213BHJP

   G03B 15/00 20210101ALI20211213BHJP

【ＦＩ】

   H04N5/247

   H04N5/232 939

   G03B15/00 H

【請求項の数】11

【全頁数】29

(21)【出願番号】特願2018-501552(P2018-501552)

(86)(22)【出願日】2017年2月8日

(86)【国際出願番号】JP2017004530

(87)【国際公開番号】WO2017145755

(87)【国際公開日】20170831

【審査請求日】2019年12月13日

(31)【優先権主張番号】特願2016-30858(P2016-30858)

(32)【優先日】2016年2月22日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】小林 剛也

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２００９−０５３１３６（ＪＰ，Ａ）

【文献】 特開平１１−１８３１７２（ＪＰ，Ａ）

【文献】 特開平１０−２４０９３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２４７

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

被写体の３次元データの生成に用いられる２次元画像データを撮影する複数の撮影装置の複数の配置候補に基づいて、前記３次元データの生成に対する前記複数の配置候補の各評価値を算出する評価部と、
前記評価部により算出された前記複数の配置候補の各評価値のうちの最も高い評価を示す評価値に対応する前記配置候補の配置を示す情報と、前記被写体の領域を示す情報とを表示部に表示させる表示制御部と
を備える情報処理装置。

【請求項2】

前記表示制御部は、前記最も高い評価を示す評価値を前記表示部に表示させる
ように構成された
請求項１に記載の情報処理装置。

【請求項3】

前記表示制御部は、前記最も高い評価を示す評価値に対応する前記配置候補における前記撮影装置の画角を示す情報を前記表示部に表示させる
ように構成された
請求項１に記載の情報処理装置。

【請求項4】

前記評価部は、前記複数の配置候補それぞれにおける前記複数の撮影装置の画角に基づいて前記複数の配置候補の各評価値を算出する
ように構成された
請求項１に記載の情報処理装置。

【請求項5】

前記複数の配置候補は、前記複数の撮影装置が前記被写体の領域を囲う配置であり、
前記評価部は、前記複数の配置候補それぞれにおける前記複数の撮影装置の画角を３次元座標に投影する際に交差する領域と前記被写体の領域とに基づいて、前記複数の配置候補の各評価値を算出する
ように構成された
請求項４に記載の情報処理装置。

【請求項6】

前記複数の配置候補は、前記複数の撮影装置が前記被写体の領域の内部にある配置であり、
前記評価部は、前記被写体の領域における、前記複数の配置候補それぞれにおける前記複数の撮影装置の画角内の領域に基づいて、前記複数の配置候補の各評価値を算出する
ように構成された
請求項４に記載の情報処理装置。

【請求項7】

前記２次元画像データに基づいて前記複数の撮影装置の実際の配置を算出する配置算出部
をさらに備え、
前記表示制御部は、前記配置算出部により算出された前記実際の配置を示す情報を前記表示部に表示させる
ように構成された
請求項１に記載の情報処理装置。

【請求項8】

前記評価部は、前記配置算出部により算出された前記実際の配置における前記複数の撮影装置の画角に基づいて前記実際の配置の評価値を算出し、
前記表示制御部は、前記実際の配置の評価値を前記表示部に表示させる
ように構成された
請求項７に記載の情報処理装置。

【請求項9】

前記実際の配置は、前記複数の撮影装置が前記被写体の領域を囲う配置であり、
前記評価部は、前記実際の配置における前記複数の撮影装置の画角を３次元座標に投影する際に交差する領域と前記被写体の領域とに基づいて、前記実際の配置の評価値を算出する
ように構成された
請求項８に記載の情報処理装置。

【請求項10】

前記実際の配置は、前記複数の撮影装置が前記被写体の領域の内部にある配置であり、
前記評価部は、前記被写体の領域における、前記実際の配置における前記複数の撮影装置の画角内の領域に基づいて、前記実際の配置の評価値を算出する
ように構成された
請求項８に記載の情報処理装置。

【請求項11】

情報処理装置が、
被写体の３次元データの生成に用いられる２次元画像データを撮影する複数の撮影装置の複数の配置候補に基づいて、前記３次元データの生成に対する前記複数の配置候補の各評価値を算出する評価ステップと、
前記評価ステップの処理により算出された前記複数の配置候補の各評価値のうちの最も高い評価を示す評価値に対応する前記配置候補の配置を示す情報と、前記被写体の領域を示す情報とを表示部に表示させる表示制御ステップと
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および情報処理方法に関し、特に、複数の撮影装置の配置を３次元データの生成に最適な配置に容易にすることができるようにした情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

マルチカメラにより撮影された複数の視点の２次元画像データとデプス画像データから、被写体の３次元位置情報と２次元画像データからなる３次元データを生成する方法が考案されている(例えば、非特許文献１参照)。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video”, University of California, San DiegoやTakeo Kanade and Peter Rander,P.J. Narayanan, "Virtualized Reality:Constructing Virtual Worlds from Real Scenes"

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような３次元データの生成に用いられるマルチカメラの配置は、一般的に、撮影者の過去の撮影の経験に基づいて決定される。従って、３次元データの生成に最適な配置にすることは困難である。その結果、生成された３次元データの精度が十分ではないことがある。

【0005】

このような場合、撮影者は、十分な精度の３次元データが得られるまで、カメラの再配置、キャリブレーション、撮影、および、生成された３次元データの精度の確認といった作業を繰り返す必要があり、手間および時間がかかる。

【0006】

本開示は、このような状況に鑑みてなされたものであり、複数の撮影装置の配置を３次元データの生成に最適な配置に容易にすることができるようにするものである。

【課題を解決するための手段】

【0007】

本開示の一側面の情報処理装置は、被写体の３次元データの生成に用いられる２次元画像データを撮影する複数の撮影装置の複数の配置候補に基づいて、前記３次元データの生成に対する前記複数の配置候補の各評価値を算出する評価部と、前記評価部により算出された前記複数の配置候補の各評価値のうちの最も高い評価を示す評価値に対応する前記配置候補の配置を示す情報と、前記被写体の領域を示す情報とを表示部に表示させる表示制御部とを備える情報処理装置である。

【0008】

本開示の一側面の情報処理方法は、本開示の一側面の情報処理装置に対応する。

【0009】

本開示の一側面においては、被写体の３次元データの生成に用いられる２次元画像データを撮影する複数の撮影装置の複数の配置候補に基づいて、前記３次元データの生成に対する前記複数の配置候補の各評価値が算出され、算出された前記複数の配置候補の各評価値のうちの最も高い評価を示す評価値に対応する前記配置候補の配置を示す情報と、前記被写体の領域を示す情報とが表示部に表示される。

【0010】

なお、本開示の一側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

【0011】

また、本開示の一側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【発明の効果】

【0012】

本開示の一側面によれば、複数の撮影装置の配置を３次元データの生成に最適な配置に容易にすることができる。

【0013】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0014】

【図1】本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。

【図2】設置領域と視聴領域の第１の例を示す図である。

【図3】図２の設置領域の他の例を示す図である。

【図4】設置領域と視聴領域の第２の例を示す図である。

【図5】図１の配置生成部の構成例を示すブロック図である。

【図6】候補とする取り囲み配置の例を示す図である。

【図7】候補とする見回し配置の例を示す図である。

【図8】図５の評価部の構成例を示すブロック図である。

【図9】図８の評価部による処理を説明する図である。

【図10】図８の評価部により算出される評価値を説明する図である。

【図11】図５の評価部の他の構成例を示すブロック図である。

【図12】数Viewcountを説明する図である。

【図13】Value(x,y,z)を説明する図である。

【図14】配置画面の例を示す図である。

【図15】配置画面の他の例を示す図である。

【図16】図１の情報処理装置の表示処理を説明するフローチャートである。

【図17】本開示を適用した情報処理システムの第２実施の形態の構成例を示すブロック図である。

【図18】配置比較画面の例を示す図である。

【図19】図１７の情報処理装置の表示処理を説明するフローチャートである。

【図20】本開示を適用した情報処理システムの第３実施の形態の構成例を示すブロック図である。

【図21】図２０の選択部の構成例を示すブロック図である。

【図22】有効撮影装置の例を示す図である。

【図23】図２０の情報処理装置の３次元データ生成処理を説明するフローチャートである。

【図24】視聴領域の他の設定方法の例を示す図である。

【図25】コンピュータのハードウエアの構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：情報処理システム（図１乃至図１６）
２．第２実施の形態：情報処理システム（図１７乃至図１９）
３．第３実施の形態：情報処理システム（図２０乃至図２３）
４．視聴領域の他の設定方法（図２４）
５．第４実施の形態：コンピュータ（図２５）

【0016】

＜第１実施の形態＞
（情報処理システムの第１実施の形態の構成例）
図１は、本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。

【0017】

図１の情報処理システム１０は、撮影装置１１−１乃至１１−Ｎ（Ｎは２以上の整数）と情報処理装置１２により構成される。なお、以下では、撮影装置１１−１乃至１１−Ｎを特に区別する必要がない場合、それらをまとめて撮影装置１１という。

【0018】

情報処理システム１０は、例えば、撮影者が撮影装置１１を設置する前に、撮影装置１１の最適な配置を示す配置画面を表示する。撮影者は、配置画面を見ながら撮影装置１１を設置し、撮影装置１１に撮影を行わせることにより、３次元データを生成させる。

【0019】

具体的には、情報処理システム１０の各撮影装置１１は、情報処理装置１２に表示された配置画面を見た撮影者により、配置画面が示す最適な配置で設置される。撮影装置１１は、キャリブレーション用の撮影を行い、その結果得られる２次元画像データとデプス画像データを情報処理装置１２に供給する。また、撮影装置１１は、３次元データ生成用の撮影を行い、その結果得られる２次元画像データとデプス画像データを情報処理装置１２に供給する。

【0020】

情報処理装置１２は、配置生成部２１、表示制御部２２、表示部２３、キャリブレーション部２５、および３Ｄ生成部２６により構成される。

【0021】

情報処理装置１２の配置生成部２１には、各撮影装置１１の焦点距離、画像中心、アスペクト比、スキューなどからなる内部パラメータが入力される。また、配置生成部２１には、生成する３次元データに対応する被写体を含む四角柱の領域である視聴領域の位置を示す視聴領域情報として、視聴領域のx,y,z座標の最小値および最大値、または、視聴領域を構成するポリゴンを特定する情報が入力される。さらに、配置生成部２１には、全ての撮影装置１１が設置される領域である設置領域の位置を示す設置領域情報として、設置領域のx,y,z座標の最小値および最大値、または、設置領域を構成するポリゴンを特定する情報が入力される。

【0022】

配置生成部２１は、内部パラメータ、視聴領域情報、および設置領域情報に基づいて、３次元データの生成に対する、候補となる撮影装置１１の配置の評価値を算出する。配置生成部２１は、候補となる撮影装置１１の配置の評価値に基づいて、最も評価が高い配置を最適な配置として選択する。配置生成部２１は、最適な配置における各撮影装置１１の位置ｔと姿勢Ｒを示す外部パラメータを、配置情報として生成する。配置生成部２１は、内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値を表示制御部２２に供給する。

【0023】

なお、配置生成部２１は、候補となる配置の評価値を順に算出し、評価値が所定の閾値以上になったときに評価値の算出を終了して、その評価値に対応する配置を最適な配置とするようにしてもよい。

【0024】

表示制御部２２は、配置生成部２１から供給される各撮影装置１１の内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値に基づいて、配置画面を生成する。表示制御部２２は、配置画面を表示部２３に供給する。表示部２３は、表示制御部２２から供給される配置画面を表示する。

【0025】

キャリブレーション部２５には、各撮影装置１１の内部パラメータが入力される。キャリブレーション部２５（配置算出部）は、各撮影装置１１から供給される２次元画像データおよびデプス画像データと内部パラメータとに基づいてキャリブレーションを行い、各撮影装置１１の外部パラメータを算出する。キャリブレーション部２５は、算出された各撮影装置１１の外部パラメータを３Ｄ生成部２６に供給する。

【0026】

３Ｄ生成部２６には、各撮影装置１１の内部パラメータが入力される。３Ｄ生成部２６は、各撮影装置１１から供給される２次元画像データおよびデプス画像データ、キャリブレーション部２５から供給される各撮影装置１１の外部パラメータ、並びに各撮影装置１１の内部パラメータに基づいて、３次元データを生成する。３Ｄ生成部２６は、生成された３次元データを出力する。

【0027】

なお、図１の例では、配置生成部２１、表示制御部２２、および表示部２３と、キャリブレーション部２５および３Ｄ生成部２６とが同一の情報処理装置１２を構成したが、異なる情報処理装置を構成するようにしてもよい。

【0028】

（設置領域と視聴領域の第１の例）
図２は、設置領域と視聴領域の第１の例を示す図である。

【0029】

図２の例では、撮影装置１１の数Ｎは３である。このことは、後述する図３、図６、図７、図９、および図１０においても同様である。また、図２は、撮影装置１１の配置を撮影装置１１の上から見た図である。このことは、後述する図３、図４、図６、図７、図１０、図１２、図１３、図２２、および図２４においても同様である。

【0030】

図２に示すように、設置領域４１は、視聴領域４２を含むように設定することができる。この場合、撮影装置１１は、視聴領域４２の周囲に配置され、設置領域４１の内側に向けて撮影を行う。

【0031】

なお、図３に示すように、撮影装置１１ごとに設置領域４３−１乃至４３−３が設定されるようにしてもよい。以下では、設置領域が視聴領域を含み、各撮影装置１１が視聴領域を取り囲むように配置される撮影装置１１の配置を、取り囲み配置という。

【0032】

（設置領域と視聴領域の第２の例）
図４は、設置領域と視聴領域の第２の例を示す図である。

【0033】

図４の例では、撮影装置１１の数Ｎは７である。

【0034】

図４に示すように、視聴領域６１は、設置領域６２を含むように設定することができる。この場合、撮影装置１１は、視聴領域６１の内部に配置され、設置領域４１の外側に向けて撮影を行う。なお、以下では、視聴領域が設置領域を含み、各撮影装置１１が視聴領域の内部に配置される撮影装置１１の配置を、見回し配置という。

【0035】

（配置生成部の構成例）
図５は、図１の配置生成部２１の構成例を示すブロック図である。

【0036】

図５の配置生成部２１は、配置決定部８１、評価部８２、および選択部８３により構成される。配置生成部２１に入力される内部パラメータと視聴領域情報は、配置決定部８１、評価部８２、および選択部８３に供給される。また、配置生成部２１に入力される設置領域情報は、配置決定部８１に供給される。さらに、設置領域情報、視聴領域情報、および内部パラメータは、図１の表示制御部２２に供給される。

【0037】

配置生成部２１の配置決定部８１は、内部パラメータ、視聴領域情報、および設置領域情報に基づいて、候補とする撮影装置１１の配置ごとに、その配置における各撮影装置１１の外部パラメータを決定する。配置決定部８１は、候補とする撮影装置１１の配置ごとの各撮影装置１１の外部パラメータを評価部８２と選択部８３に供給する。

【0038】

評価部８２は、候補とする撮影装置１１の配置ごとに、各撮影装置１１の外部パラメータと内部パラメータに基づいて、各撮影装置１１の画角を求める。評価部８２は、候補とする撮影装置１１の配置ごとに、各撮影装置１１の画角に基づいて、３次元データの生成に対する撮影装置１１の配置の評価値を算出する。評価部８２は、候補とする撮影装置１１の配置ごとの評価値を選択部８３に供給する。

【0039】

選択部８３は、評価部８２から供給される候補とする撮影装置１１の配置ごとの評価値に基づいて、最も評価が高い配置を最適な配置として選択する。また、選択部８３は、配置決定部８１から供給される外部パラメータから、最適な配置に対応する各撮影装置１１の外部パラメータを選択する。選択部８３は、選択された各撮影装置１１の外部パラメータを示す配置情報と評価値とを、図１の表示制御部２２に供給する。

【0040】

（候補とする取り囲み配置の例）
図６は、候補とする取り囲み配置の例を示す図である。

【0041】

図６に示すように、設置領域９１が視聴領域９２を含む場合、配置決定部８１は、候補とする撮影装置１１の配置を取り囲み配置にする。具体的には、配置決定部８１は、設置領域９１を複数（図６の例では、１２（横）×８(縦)）のグリッド９３に分割する。そして、配置決定部８１は、全てのグリッド９３の頂点のうちの３つの頂点の組み合わせごとに、その３つの頂点を各撮影装置１１の位置ｔとして含み、各撮影装置１１の光軸が視聴領域９２の中心点９４を通る姿勢Ｒを含む各撮影装置１１の外部パラメータを生成する。配置決定部８１は、３つの頂点の組み合わせごとの各撮影装置１１の外部パラメータを、候補とする撮影装置１１の配置の外部パラメータに決定する。

【0042】

なお、候補とする撮影装置１１の配置は、全ての撮影装置１１の画角が視聴領域９２を含む配置のみであってもよい。

【0043】

（候補とする見回し配置の例）
図７は、候補とする見回し配置の例を示す図である。

【0044】

図７に示すように、視聴領域１０１が設置領域１０２を含む場合、配置決定部８１は、候補とする撮影装置１１の配置を見回し配置にする。具体的には、配置決定部８１は、設置領域１０２を複数（図７の例では、６（横）×６(縦)）のグリッド１０３に分割する。そして、配置決定部８１は、全てのグリッド１０３の頂点のうちの３つの頂点の組み合わせごとに、その３つの頂点を各撮影装置１１の位置ｔとして含み、各撮影装置１１の光軸が設置領域１０２の中心点１０４を通る姿勢Ｒを含む各撮影装置１１の外部パラメータを、候補とする撮影装置１１の配置の外部パラメータに決定する。

【0045】

（評価部の第１の構成例）
図８は、候補とする撮影装置１１の配置が取り囲み配置である場合の図５の評価部８２の構成例を示すブロック図である。

【0046】

図８の評価部８２は、分割部１２１、投影部１２２、判定部１２３、および計算部１２４により構成される。

【0047】

評価部８２の分割部１２１は、入力された視聴領域情報が位置を示す視聴領域の表面を複数のグリッドに分割する。分割部１２１は、各グリッドの左上の位置を示す３次元座標などからなるグリッド情報を投影部１２２に供給する。

【0048】

例えば、分割部１２１は、図９のＡに示す視聴領域１４１の表面を複数のグリッド１４２に分割し、そのグリッド１４２の左上の位置１４３を示す３次元座標をグリッド情報として投影部１２２に供給する。なお、図９のＡは、視聴領域１４１の斜視図である。

【0049】

投影部１２２は、候補とする撮影装置１１の配置ごとに、分割部１２１から供給されるグリッド情報、並びに、各撮影装置１１の外部パラメータおよび内部パラメータに基づいて、各グリッドを各撮影装置１１に投影し、投影線を示す投影線情報を生成する。投影部１２２は、候補とする撮影装置１１の配置ごとに、各グリッドの各撮影装置１１への投影線情報を判定部１２３に供給する。

【0050】

例えば、投影部１２２は、図９のＢに示すグリッド１４２の左上の位置１４３を撮影装置１１−１乃至撮影装置１１−３のそれぞれに投影し、投影線１４４を示す投影線情報を判定部１２３に供給する。なお、図９のＢは、撮影装置１１と視聴領域１４１を撮影装置１１の上から見た図である。このことは、図９のＣにおいても同様である。

【0051】

判定部１２３は、候補とする撮影装置１１の配置ごとに、投影部１２２から供給される投影線情報に基づいて、各グリッドに対して、撮影装置１１への投影線が撮影装置１１の画角内に存在する撮影装置１１の数Viewcountを検出する。

【0052】

判定部１２３は、グリッドごとに、数Viewcountが撮影装置１１の数Ｎである場合、即ち各撮影装置１１への投影線が全て撮影装置１１の画角内に存在する場合、撮影装置１１の配置が妥当であるかどうかを示すValidFlagを、妥当であることを示す１に設定する。

【0053】

一方、判定部１２３は、グリッドごとに、数Viewcountが撮影装置１１の数Ｎより小さい場合、即ち各撮影装置１１への投影線の少なくとも１つが撮影装置１１の画角内に存在しない場合、ValidFlagを、妥当ではないことを示す１に設定する。判定部１２３は、候補とする撮影装置１１の配置ごとに、各グリッドのValidFlagを算出部１２５に供給する。

【0054】

例えば、図９のＢに示す左上の位置１４３から撮影装置１１−１および撮影装置１１−２への投影線は、それぞれ、撮影装置１１−１の画角１４２−１、撮影装置１１−２の画角１４２−２内に存在する。しかしながら、左上の位置１４３から撮影装置１１−３への投影線は、撮影装置１１−３の画角１４２−３内に存在しない。従って、判定部１２３は、左上の位置１４３のグリッド１４２について、撮影装置１１の数Viewcountを２と判定する。そして、判定された数Viewcountである２は、撮影装置１１の数Ｎである３より小さいので、判定部１２３は、左上の位置１４３のグリッド１４２のValidFlagを０に設定し、算出部１２５に供給する。

【0055】

一方、図９のＢに示す中央下の位置１４３から撮影装置１１−１および撮影装置１１−３への投影線は、それぞれ、撮影装置１１−１乃至１１−３の画角１４２−１乃至１４２−３内に存在する。従って、判定部１２３は、中央下の位置１４３のグリッド１４２について、撮影装置１１の数Viewcountを３と判定する。そして、判定された数Viewcountである３は、撮影装置１１の数Ｎである３と同一であるので、判定部１２３は、中央下の位置１４３のグリッド１４２のValidFlagを１に設定し、算出部１２５に供給する。

【0056】

計算部１２４は、候補とする撮影装置１１の配置ごとに、各撮影装置１１の外部パラメータおよび内部パラメータに基づいて、Convex Hullを生成する。Convex Hullは、各撮影装置１１の画角を３次元座標に投影する際に交差する領域であり、撮影装置１１の画角によって生成されるVisual Hullである。Convex Hullの詳細は、例えば、C. BRADFORD BARBER, DAVID P. DOBKIN, HANNU HUHDANPAA,The Quickhull Algorithm for Convex Hullsに記載されている。

【0057】

図９のＢの例では、計算部１２４は、Convex Hull１４５を生成する。Convex Hull１４５からはみ出した視聴領域１４１の３次元データを、撮影装置１１により撮影された２次元画像データとデプス画像データを用いて生成することはできない。

【0058】

また、計算部１２４は、候補とする撮影装置１１の配置ごとに、Convex Hullのx,y,z座標の最小値と最大値に基づいて、Convex Hullに外接する四角柱であるBounding Boxの３次元座標を計算する。計算部１２４は、候補とする撮影装置１１の配置ごとに、Bounding Boxの３次元座標を算出部１２５に供給する。

【0059】

例えば、計算部１２４は、図９のＣのConvex Hull１４５のx,y,z座標の最小値と最大値に基づいて、Convex Hull１４５に外接する四角柱であるBounding Box１４６の３次元座標を計算し、算出部１２５に供給する。

【0060】

算出部１２５は、候補とする撮影装置１１の配置ごとに、判定部１２３から供給される各グリッドのValidFlagに基づいて、全てのグリッドのValidFlagが１であるかどうかを判定する。算出部１２５は、全てのグリッドのValidFlagが１であると判定した場合、以下の式（１）に基づいて、評価値Ｅを算出する。

【0061】

【数1】

【0062】

なお、len（R）は、領域Rの辺のｘ方向、ｙ方向、およびｚ方向の長さの和である。また、本明細書では、視聴領域の形状が四角柱であるが、四角柱以外の形状の領域であってもよい。この場合、式（１）において、視聴領域の代わりに、視聴領域に外接する四角柱の領域が用いられる。

【0063】

式（１）によれば、評価値Ｅは、Bounding Boxに占める視聴領域の割合が大きいほど１に近づく。即ち、評価値Ｅは、Convex Hullに占める視聴領域の割合が大きいほど１に近づく。

【0064】

例えば、図１０のＢの上段に示すように、Convex Hull１５２に占める視聴領域１４１の割合が比較的大きい場合、図１０のＡの上段に示すように、Convex Hull１５１に占める視聴領域１４１の割合が比較的小さい場合に比べて、評価値Ｅは１に近い値となる。

【0065】

また、撮影装置１１の配置が取り囲み配置である場合、３Ｄ生成部２６は、撮影装置１１により撮影された２次元画像データ等からVisual Hullを用いて３次元データを生成する。従って、図１０のＡの上段に示すように、画角によって生成されるVisual HullであるConvex Hull１５１に占める視聴領域１４１の割合が比較的小さい場合、図１０のＡの下段に示すように、３次元データから生成される２次元画像１６１内の視聴領域１４１の２次元画像１６２の割合が比較的小さい。

【0066】

これに対して、図１０のＢの上段に示すように、Convex Hull１５２に占める視聴領域１４１の割合が比較的大きい場合、図１０のＢの下段に示すように、３次元データから生成される２次元画像１６３内の視聴領域１４１の２次元画像１６４の割合が比較的大きい。従って、視聴領域１４１の２次元画像１６２の分解能は、視聴領域１４１の２次元画像１６４の分解能に比べて高くなる。よって、式（１）により求められる評価値Ｅが１に近いほど、３次元データの精度が高くなる。

【0067】

また、算出部１２５は、少なくとも１つのグリッドのValidFlagが１であると判定した場合、即ち視聴領域の少なくとも一部が少なくとも１つの撮影装置１１の画角に含まれない場合、評価値Ｅを０に決定する。算出部１２５は、候補とする撮影装置１１の配置ごとの評価値Ｅを図５の選択部８３に供給する。

【0068】

以上のようにして評価値Ｅが決定されることにより、３次元データの精度が最も高い撮影装置１１の配置に対応する評価値Ｅが、１に最も近くなる。従って、選択部８３は、評価値Ｅが最も１に近い配置を最適な配置として選択する。

【0069】

なお、図８の例では、投影部１２２が、グリッドを撮影装置１１に投影したが、撮影装置１１をグリッドに投影するようにしてもよい。

【0070】

また、評価値Ｅは、撮影装置１１により撮影された２次元画像データ等を用いて生成されるVisual Hullの精度を示す値であれば、Bounding Boxに占める視聴領域の割合を示す値以外であってもよい。

【0071】

例えば、評価値Ｅは、convex hullに占める視聴領域の割合、Convex Hullの体積や表面積、Bounding Boxのx,y,z方向の辺の長さの差などを示す値にすることができる。この場合、convex hullに占める視聴領域の割合が最も大きいこと、Convex Hullの体積や表積が最も小さいこと、Bounding Boxのx,y,z方向の辺の長さの差が最も小さい（Bounding Boxが最も立方体に近くなる）ことを示す評価値Ｅに対応する配置が、最適な配置として選択される。

【0072】

（評価部の第２の構成例）
図１１は、候補とする撮影装置１１の配置が見回し配置である場合の図５の評価部８２の構成例を示すブロック図である。

【0073】

図１１に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0074】

図１１の評価部８２の構成は、判定部１２３、算出部１２５の代わりに検出部１８１、算出部１８２が設けられる点、および、計算部１２４が設けられない点が、図８の構成と異なる。

【0075】

評価部８２の検出部１８１は、候補とする撮影装置１１の配置ごとに、投影部１２２から供給される投影線情報に基づいて、各グリッドの数Viewcountを検出する。

【0076】

図１２の例では、撮影装置１１の数Ｎが２である。また、設置領域２０１を含む視聴領域２０２の表面を分割する複数のグリッドのうちの、あるグリッドの左上の位置２１１から撮影装置１１−１および撮影装置１１−２への投影線２２１が、それぞれ、撮影装置１１−１の画角２２２−１、撮影装置１１−２の画角２２２−２内に存在する。従って、左上の位置が位置２１１であるグリッドの数Viewcountは２である。

【0077】

また、図１２の例では、あるグリッドの左上の位置２１２から撮影装置１１−２への投影線２２１は、画角２２２−２内に存在するが、位置２１２から撮影装置１１−１への投影線２２１は、画角２２２−１内に存在しない。従って、左上の位置が位置２１２であるグリッドの数Viewcountは１である。

【0078】

さらに、図１２の例では、あるグリッドの左上の位置２１１から撮影装置１１−１および撮影装置１１−２への投影線２２１が、それぞれ、画角２２２−１、画角２２２−２内に存在しない。従って、左上の位置が位置２１３であるグリッドの数Viewcountは０である。検出部１８１は、各グリッドの数Viewcountを算出部１８２に供給する。

【0079】

算出部１８２は、候補とする撮影装置１１の配置ごとに、検出部１８１から供給される各グリッドの数Viewcountに基づいて、以下の式（２）に基づいて評価値Ｅを算出する。

【0080】

【数2】

【0081】

式（２）によれば、評価値Ｅは、全てのグリッドのValue(x,y,z)の積算値をGridGountで除算した値である。なお、GridGountは、分割部１２１により分割されたグリッドの数である。また、Value(x,y,z)は、３Ｄ生成部２６により生成される３次元データのうちの被写体の３次元位置情報が撮影装置１１により撮影された２次元画像データ等から生成される場合、グリッドごとに、以下の式（３）により求められる。

【0082】

【数3】

【0083】

式（３）によれば、各グリッドのValue(x,y,z)は、そのグリッドが２以上の撮影装置１１の画角内に重複して存在する場合１であり、重複して存在しない場合０である。

【0084】

例えば、図１３のＡでは、撮影装置１１の数Ｎが２であり、視聴領域２０２の表面の領域２４１が、撮影装置１１−１の画角２４０−１と撮影装置１１−２の画角２４０−２内に重複して存在する領域である。従って、領域２４１内のグリッドのValue(x,y,z)は１になり、領域２４１外のグリッドのValue(x,y,z)は０になる。上述した式（２）と式（３）により、評価値Ｅは、視聴領域の表面内の２以上の撮影装置１１の画角内に重複して存在する領域が大きいほど大きくなる。

【0085】

また、２次元画像データから被写体の３次元位置情報を生成するためには、被写体が２以上の撮影装置１１の画角内に重複して存在することが必要である。従って、視聴領域の表面内の２以上の撮影装置１１の画角内に重複して存在する領域が大きいほど、３次元データの精度が高い。よって、評価値Ｅは、３次元データの精度が高いほど大きくなる。

【0086】

一方、３Ｄ生成部２６により生成される３次元データのうちの３次元位置情報が予め決まっている場合、Value(x,y,z)は、以下の式（４）で表される。

【0087】

【数4】

【0088】

式（４）によれば、各グリッドのValue(x,y,z)は、そのグリッドが１以上の撮影装置１１の画角内に存在する場合１であり、いずれの撮影装置１１の画角内にも存在しない場合０である。

【0089】

例えば、図１３のＢでは、撮影装置１１の数Ｎが７であり、視聴領域２０２の表面の全領域２４２が、撮影装置１１−１乃至１１−７の画角２４３−１乃至２４３−７のいずれかに存在する。従って、全グリッドのValue(x,y,z)は１になる。上述した式（２）と式（４）により、評価値Ｅは、視聴領域の表面内の１以上の撮影装置１１の画角内に存在する領域が大きいほど大きくなる。

【0090】

また、２次元画像データから３次元位置情報が既知である被写体の２次元画像データを生成するためには、被写体が１以上の撮影装置１１の画角内に存在することが必要である。従って、視聴領域の表面内の１以上の撮影装置１１の画角内に存在する領域が大きいほど、３次元データの精度が高い。よって、評価値Ｅは、３次元データの精度が高いほど大きくなる。

【0091】

以上のようにして算出された、候補とする撮影装置１１の配置ごとの評価値Ｅは、図５の選択部８３に供給される。上述したように、この評価値Ｅは、３次元データの精度が高いほど大きくなる。従って、選択部８３は、評価値Ｅが最も大きい配置を最適な配置として選択する。

【0092】

(配置画面の例)
図１４は、配置情報に対応する撮影装置１１の配置が取り囲み配置である場合の配置画面の例を示す図である。

【0093】

なお、図１４の例では、撮影装置１１の数Ｎが４である。

【0094】

図１４の配置画面２６０は、配置表示部２６１、配置情報表示部２６２、および評価値表示部２６３により構成される。

【0095】

配置表示部２６１には、３次元座標空間が表示される。この３次元座標空間には、設置領域情報に基づいて、設置領域の位置に、設置領域を示す設置領域画像２７０が表示される。また、各撮影装置１１の配置情報に基づいて、撮影装置１１−１乃至１１−４の位置に、撮影装置１１−１乃至１１−４を示す撮影装置画像２７１−１乃至２７１−４が、撮影装置１１の配置を示す情報として表示される。従って、撮影装置画像２７１−１乃至２７１−４は、設置領域画像２７０内に表示される。なお、以下では、撮影装置画像２７１−１乃至２７１−４を特に区別する必要がない場合、それらをまとめて撮影装置画像２７１という。

【0096】

さらに、３次元座標空間には、各撮影装置１１の配置情報と内部パラメータに基づいて、各撮影装置１１の画角の境界を示す画角画像２７２が、撮影装置画像２７１に接続して表示される。なお、図１４では、説明の便宜上、撮影装置画像２７１−１の画角画像２７２のみを図示してある。また、３次元座標空間には、視聴領域情報に基づいて、視聴領域の位置に、視聴領域を示す視聴領域画像２７３が表示される。

【0097】

配置情報表示部２６２には、各撮影装置１１の配置情報に含まれる位置ｔの座標、配置領域情報、および視聴領域情報が表示される。評価値表示部２６３には、評価値が表示される。

【0098】

配置画面２６０において、撮影者などにより撮影装置画像２７１が選択された場合、選択された撮影装置画像２７１の画角画像２７２が境界を示す画角の範囲がハイライト表示される。例えば、撮影装置画像２７１−１が選択された場合、図１５に示すように、撮影装置画像２７１−１の画角画像２７２が境界を示す画角の範囲２９１がハイライト表示される。これにより、撮影者は、最適な撮影装置１１の配置における各撮影装置１１の撮影範囲を撮影前に知ることができる。

【0099】

なお、配置画面は、図１４の例に限定されず、配置画面には、姿勢Ｒ、Convex Hullなどが表示されるようにしてもよい。また、配置表示部２６１、配置情報表示部２６２、および評価値表示部２６３の表示および非表示は、撮影者などによって選択可能にしてもよい。

【0100】

（情報処理装置の処理の説明）
図１６は、図１の情報処理装置１２の表示処理を説明するフローチャートである。

【0101】

図１６のステップＳ１１において、情報処理装置１２の配置生成部２１は、内部パラメータ、視聴領域情報、および設置領域情報に基づいて、３次元データの生成に対する、候補となる撮影装置１１の配置の評価値を算出する。

【0102】

ステップＳ１２において、配置生成部２１は、候補となる撮影装置１１の配置の評価値に基づいて、最適な配置における各撮影装置１１の外部パラメータを、配置情報として生成する。配置生成部２１は、内部パラメータ、配置情報、視聴領域情報、設置領域情報、および、最適な配置の評価値を表示制御部２２に供給する。

【0103】

ステップＳ１３において、表示制御部２２は、配置生成部２１から供給される内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値に基づいて、配置画面を生成する。

【0104】

ステップＳ１４において、表示制御部２２は、配置画面を表示部２３に供給して表示部２３に表示させる。そして、処理は終了する。

【0105】

情報処理装置１２は、以上のような表示処理を行った後、キャリブレーション部２５によりキャリブレーションを行い、３Ｄ生成部２６により３次元データを生成する。

【0106】

以上のように、情報処理装置１２は、候補とする撮影装置１１の配置に基づいて、３次元データの生成に対する、候補とする撮影装置１１の配置の評価値を算出する。従って、情報処理装置１２は、例えば、評価値に基づいて、候補とする撮影装置１１の配置の中から最適な撮影装置１１の配置を選択し、その配置の配置画面を撮影者に表示することができる。これにより、撮影者は、撮影装置１１の配置を３次元データの生成に最適な配置に容易にすることができる。その結果、３次元データの精度を向上させることができる。

【0107】

また、撮影者は、十分な精度の３次元データが得られるまで、撮影装置１１の再配置、キャリブレーション、撮影、および、生成された３次元データの精度の確認といった作業を繰り返す必要がなくなる。従って、撮影時間を短縮することができる。

【0108】

＜第２実施の形態＞
（情報処理システムの第２実施の形態の構成例）
図１７は、本開示を適用した情報処理システムの第２実施の形態の構成例を示すブロック図である。

【0109】

図１７に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0110】

図１７の情報処理システム３００の構成は、情報処理装置１２の代わりに情報処理装置３０１が設けられる点が、図１の情報処理システム１０の構成と異なる。

【0111】

情報処理システム３００は、例えば、キャリブレーション後に、撮影装置１１の最適な配置と実際の配置を示す配置比較画面を表示する。撮影者は、配置比較画面を見ながら撮影装置１１の位置や光軸のずれを修正し、撮影装置１１に撮影を行わせることにより、３次元データを生成させる。

【0112】

情報処理装置３０１は、評価部３１１が新たに設けられる点、および、表示制御部２２、表示部２３の代わりに、表示制御部３１２、表示部３１３が設けられる点が、図１の情報処理装置１２の構成と異なる。

【0113】

情報処理装置３０１の評価部３１１には、各撮影装置１１の内部パラメータおよび視聴領域情報が入力される。また、評価部３１１には、キャリブレーション部２５により算出された各撮影装置１１の外部パラメータが入力される。評価部３１１は、図８や図１１の評価部８２と同様に、入力された各撮影装置１１の内部パラメータおよび外部パラメータ並びに視聴領域情報に基づいて、各撮影装置１１の実際の配置の評価値を算出する。

【0114】

評価部３１１は、キャリブレーション部２５により算出された各撮影装置１１の外部パラメータを、実際配置情報として表示制御部３１２に供給するとともに、各撮影装置１１の実際の配置の評価値を表示制御部３１２に供給する。

【0115】

表示制御部３１２は、配置生成部２１から供給される各撮影装置１１の内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値、並びに、評価部３１１から供給される実際配置情報および実際の配置の評価値に基づいて、配置比較画面を生成する。表示制御部３１２は、配置比較画面を表示部３１３に供給する。表示部３１３は、表示制御部３１２から供給される配置比較画面を表示する。

【0116】

(配置比較画面の例)
図１８は、撮影装置１１の最適な配置および実際の配置が取り囲み配置である場合の配置比較画面の例を示す図である。

【0117】

なお、図１８の例では、撮影装置１１の数Ｎが４である。

【0118】

図１８の配置比較画面３３０は、配置表示部３３１、配置情報表示部３３２、および評価値表示部３３３により構成される。

【0119】

配置表示部３３１は、実際撮影装置画像３４１−１乃至３４１−４および実際画角画像３４２が新たに表示される点を除いて、図１４の配置表示部２６１と同一である。なお、以下では、実際撮影装置画像３４１−１乃至３４１−４を特に区別する必要がない場合、それらをまとめて実際撮影装置画像３４１という。

【0120】

実際撮影装置画像３４１は、各撮影装置１１の実際配置情報に基づいて、配置表示部３３１に表示される３次元座標空間上の実際の撮影装置１１−１乃至１１−４の位置に表示される画像であり、撮影装置１１の実際の配置を示す情報として表示される。

【0121】

また、実際画角画像３４２は、各撮影装置１１の実際配置情報と内部パラメータに基づいて、配置表示部３３１の３次元座標空間上に表示される、各撮影装置１１の実際の画角の境界を示す画像である。実際画角画像３４２は、実際撮影装置画像３４１に接続して表示される。なお、図１８では、説明の便宜上、実際撮影装置画像３４１−１の実際画角画像３４２のみを図示してある。

【0122】

配置情報表示部３３２は、各撮影装置１１の実際配置情報に含まれる位置ｔの座標が新たに表示される点を除いて、図１４の配置情報表示部２６２と同一である。図１８では、実際配置情報に含まれる位置ｔの座標が「撮影装置の座標（calib）」と記述され、配置生成部２１から出力される配置情報に含まれる位置ｔの座標が「撮影装置の座標（ideal）」と記述されている。

【0123】

評価値表示部３３３は、各撮影装置１１の実際の配置の評価値が新たに表示される点を除いて、図１４の評価値表示部２６３と同一である。図１８では、各撮影装置１１の実際の配置の評価値が「評価値（calib）」と記述され、配置生成部２１から出力される評価値が「評価値（ideal）」と記述されている。

【0124】

なお、図示は省略するが、実際撮影装置画像３４１においても、撮影装置画像２７１と同様に、撮影者などにより実際撮影装置画像３４１が選択された場合、選択された実際撮影装置画像３４１の実際画角画像３４２が境界を示す画角の範囲がハイライト表示される。これにより、撮影者は、撮影装置１１の実際の配置における各撮影装置１１の撮影範囲を知ることができる。

【0125】

また、配置比較画面は、図１８の例に限定されず、配置比較画面には、撮影装置１１の実際の配置における各撮影装置１１の姿勢Ｒ、Convex Hullなどが表示されるようにしてもよい。また、配置表示部３３１、配置情報表示部３３２、および評価値表示部３３３の表示および非表示は、撮影者などによって選択可能にしてもよい。

【0126】

（情報処理装置の処理の説明）
図１９は、図１７の情報処理装置３０１の表示処理を説明するフローチャートである。

【0127】

図１９のステップＳ３１およびＳ３２の処理は、図１６のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

【0128】

ステップＳ３３において、キャリブレーション部２５は、撮影装置１１から供給される２次元画像データおよびデプス画像データと内部パラメータとに基づいてキャリブレーションを行い、各撮影装置１１の実際の配置を示す外部パラメータを算出する。キャリブレーション部２５は、算出された各撮影装置１１の外部パラメータを３Ｄ生成部２６と評価部３１１に供給する。

【0129】

ステップＳ３４において、評価部３１１は、キャリブレーション部２５から供給される各撮影装置１１の外部パラメータ、各撮影装置１１の内部パラメータ、および視聴領域情報に基づいて、各撮影装置１１の実際の配置の評価値を算出する。評価部３１１は、キャリブレーション部２５から供給される各撮影装置１１の外部パラメータを実際配置情報として表示制御部３１２に供給するとともに、各撮影装置１１の実際の配置の評価値を表示制御部３１２に供給する。

【0130】

ステップＳ３５において、表示制御部３１２は、配置生成部２１から供給される各撮影装置１１の内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値と、実際配置情報および実際の配置の評価値とに基づいて、配置比較画面を生成する。

【0131】

ステップＳ３６において、表示制御部３１２は、配置比較画面を表示部３１３に供給して表示部３１３に表示させる。撮影者は、必要に応じて、表示部３１３に表示される配置比較画面を見ながら、撮影装置１１の配置を修正する。そして、撮影者は、撮影装置１１にキャリブレーション用の撮影を再度行わせる。これにより、キャリブレーション部２５には、２次元画像データおよびデプス画像データが新たに供給される。

【0132】

ステップＳ３７において、キャリブレーション部２５は、キャリブレーションを終了するかどうか、即ち２次元画像データおよびデプス画像データが新たに供給されていないかどうかを判定する。ステップＳ３７でキャリブレーションを終了しないと判定された場合、処理はステップＳ３３に戻り、キャリブレーションを終了するまでステップＳ３３乃至Ｓ３７の処理が繰り返される。

【0133】

一方、ステップＳ３７でキャリブレーションを終了すると判定された場合、処理は終了する。

【0134】

情報処理装置１２は、以上のような表示処理を行った後、３Ｄ生成部２６により３次元データを生成する。

【0135】

以上のように、情報処理装置３０１は、撮影装置１１の最適な配置の配置情報と撮影装置１１の実際の配置の実際配置情報を生成する。従って、情報処理装置３０１は、例えば、配置情報と実際配置情報に基づいて配置比較画面を撮影者に表示することができる。これにより、撮影者は、撮影装置１１の最適な配置と実際の配置の違いを認識することができる。その結果、撮影者は、撮影装置１１の配置を３次元データの生成に最適な配置に容易に修正することができる。その結果、３次元データの精度を向上させることができる。

【0136】

なお、情報処理装置３０１は、情報処理装置１２と同様に、キャリブレーション前に配置画面を表示するようにしてもよい。

【0137】

＜第３実施の形態＞
（情報処理システムの第３実施の形態の構成例）
図２０は、本開示を適用した情報処理システムの第３実施の形態の構成例を示すブロック図である。

【0138】

図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0139】

図２０の情報処理システム４００の構成は、情報処理装置１２の代わりに情報処理装置４０１が設けられる点が、図１の情報処理システム１０の構成と異なる。情報処理システム４００は、キャリブレーション後の３次元データの生成時に、撮影装置１１−１乃至１１−Ｎの中から最適な配置の撮影装置１１を選択し、選択された撮影装置１１により撮影された２次元画像データ等を用いて３次元データを生成する。なお、撮影装置１１の配置は取り囲み配置である。

【0140】

情報処理装置４０１は、キャリブレーション部２５、選択部４１１、および３Ｄ生成部４１２により構成される。

【0141】

選択部４１１には、各撮影装置１１の内部パラメータおよび視聴領域情報が入力されるとともに、キャリブレーション部２５により算出された各撮影装置１１の外部パラメータが入力される。選択部４１１は、各撮影装置１１の内部パラメータおよび外部パラメータ並びに視聴領域情報に基づいて、撮影装置１１ごとに、３次元データの生成に対する、撮影装置１１の実際の配置の評価値を算出する。

【0142】

選択部４１１は、各撮影装置１１の実際の配置の評価値に基づいて、撮影装置１１−１乃至１１−Ｎの中から、評価値が閾値以上である撮影装置１１を選択する。そして、選択部４１１は、選択された撮影装置１１を、３Ｄ生成部４１２において３次元データの生成に用いられる２次元画像データおよびデプス画像データに対応する撮影装置１１（以下、有効撮影装置という）とする。

【0143】

選択部４１１は、有効撮影装置を特定する撮影装置特定情報と外部パラメータを３Ｄ生成部４１２に供給する。撮影装置特定情報は、例えば、各撮影装置１１に固有のＩＤのうちの有効撮影装置のＩＤであってもよいし、各撮影装置１１に固有のＩＤと有効または無効とを対応付ける情報であってもよい。

【0144】

３Ｄ生成部４１２には、各撮影装置１１の内部パラメータが入力される。また、３Ｄ生成部４１２には、各撮影装置１１の３次元データ生成用の撮影により得られた２次元画像データとデプス画像データが入力される。

【0145】

３Ｄ生成部４１２は、選択部４１１から供給される撮影装置特定情報により特定される有効撮影装置の２次元画像データ、デプス画像データ、外部パラメータ、および内部パラメータに基づいて、３次元データを生成する。３Ｄ生成部４１２は、生成された３次元データを出力する。

【0146】

（評価部の構成例）
図２１は、図２０の選択部４１１の構成例を示すブロック図である。

【0147】

図２１の選択部４１１は、評価部４３１と生成部４３２により構成される。

【0148】

評価部４３１は、各撮影装置１１の内部パラメータおよび外部パラメータ、並びに、視聴領域情報に基づいて、撮影装置１１ごとに、画角が視聴領域の全てを含む撮影装置１１の評価値が、視聴領域の少なくとも一部を含まない撮影装置１１の評価値に比べて大きくなるように、評価値を算出する。

【0149】

即ち、画角が視聴領域の少なくとも一部を含まない撮影装置１１により撮影された２次元画像データ等を用いて高精度の３次元データを生成することはできない。従って、画角が視聴領域の少なくとも一部を含まない撮影装置１１は、３次元データの生成に適していない。よって、評価部４３１は、画角が視聴領域の少なくとも一部を含まない撮影装置１１の評価値を、視聴領域の全てを含む撮影装置１１の評価値に比べて小さくする。

【0150】

具体的には、評価部４３１は、図８の分割部１２１と同様に、視聴領域の表面を複数のグリッドに分割し、投影部１２２と同様に、各グリッドを各撮影装置１１に投影して投影線情報を生成する。評価部４３１は、投影線情報に基づいて、撮影装置１１ごとに、全てのグリッドから撮影装置１１への投影線が撮影装置１１の画角内に存在するかどうかを判定する。

【0151】

そして、評価部４３１は、全てのグリッドから撮影装置１１への投影線が撮影装置１１の画角内に存在すると判定した場合、その撮影装置１１の評価値を１に設定する。一方、評価部４３１は、少なくとも１つのグリッドから撮影装置１１への投影線が撮影装置１１の画角内に存在しないと判定した場合、その撮影装置１１の評価値を０に設定する。評価部４３１は、各撮影装置１１の評価値を生成部４３２に供給する。

【0152】

生成部４３２は、評価部４３１から供給される各撮影装置１１の評価値に基づいて、撮影装置１１−１乃至１１−Ｎの中から、評価値が閾値（第３実施の形態の場合１）以上である撮影装置１１を、有効撮影装置として選択する。即ち、生成部４３２は、撮影装置１１−１乃至１１−Ｎの中から、画角が視聴領域の全てを含む、３次元データの生成に適した位置の撮影装置１１を、有効撮影装置として選択する。生成部４３２は、有効撮影装置の撮影装置特定情報を生成し、図２０の３Ｄ生成部４１２に供給する。

【0153】

（有効撮影装置の例）
図２２は、有効撮影装置の例を示す図である。

【0154】

図２２の例では、撮影装置１１の数Ｎは５である。また、撮影装置１１−１および撮影装置１１−２の画角は視聴領域４５１の全てを含まず、撮影装置１１−３乃至１１−５の画角は視聴領域４５１の全てを含む。

【0155】

この場合、評価部４３１は、画角が視聴領域４５１の全てを含む撮影装置１１−３乃至１１−５の評価値を１に設定する。また、評価部４３１は、画角が視聴領域４５１の全てを含まない撮影装置１１−１および撮影装置１１−２の評価値を０に設定する。従って、生成部４３２は、撮影装置１１−１乃至１１−５のうちの、評価値が１以上である撮影装置１１−３乃至１１−５を、有効撮影装置として選択する。

【0156】

（情報処理装置の処理の説明）
図２３は、図２０の情報処理装置４０１の３次元データ生成処理を説明するフローチャートである。

【0157】

図２３のステップＳ５１において、キャリブレーション部２５は、撮影装置１１から供給される２次元画像データおよびデプス画像データと内部パラメータとに基づいてキャリブレーションを行い、各撮影装置１１の外部パラメータを算出する。キャリブレーション部２５は、算出された各撮影装置１１の外部パラメータを３Ｄ生成部２６に供給する。

【0158】

ステップＳ５２において、選択部４１１の評価部４３１（図２１）は、各撮影装置１１の内部パラメータおよび外部パラメータ、並びに、視聴領域情報に基づいて、各撮影装置１１の評価値を算出する。評価部４３１は、各撮影装置１１の評価値を生成部４３２に供給する。

【0159】

ステップＳ５３において、生成部４３２は、評価部４３１から供給される各撮影装置１１の評価値に基づいて、評価値が閾値以上である撮影装置１１を有効撮影装置として選択する。生成部４３２は、有効撮影装置の撮影装置特定情報を生成し、３Ｄ生成部４１２に供給する。

【0160】

ステップＳ５４において、３Ｄ生成部４１２は、撮影装置特定情報により特定される有効撮影装置の２次元画像データ、デプス画像データ、外部パラメータ、および内部パラメータに基づいて、３次元データを生成する。３Ｄ生成部４１２は、生成された３次元データを出力する。

【0161】

以上のように、情報処理装置４０１は、各撮影装置１１の配置に基づいて、撮影装置１１ごとに、３次元データの生成に対する、各撮影装置１１の配置の評価値を算出する。従って、情報処理装置４０１は、例えば、各撮影装置１１の評価値に基づいて、３次元データの生成に最適な配置の撮影装置１１を選択し、その撮影装置１１の情報のみを３次元データの生成に用いることができる。よって、撮影者は、撮影装置１１の配置を変更することなく、３次元データの生成に用いられる撮影装置１１の配置を、３次元データの生成に最適な配置に容易にすることができる。

【0162】

なお、情報処理装置４０１は、表示制御部および表示部を備え、撮影装置１１の外部パラメータ、内部パラメータ、設置領域情報、視聴領域情報、および評価値に基づいて、配置画面と同様に撮影装置１１の実際の配置を示す画面を生成して表示するようにしてもよい。

【0163】

＜視聴領域の他の設定方法＞
図２４は、視聴領域の他の設定方法の例を示す図である。

【0164】

図２４の例では、撮影装置１１の数Ｎは８である。

【0165】

上述した説明では、生成する３次元データに対応する被写体を含む四角柱の領域の全てが、取り囲み配置された各撮影装置１１の画角に含めることが可能なサイズであるものとし、その領域が視聴領域として設定された。

【0166】

しかしながら、図２４に示すように、生成する３次元データに対応する被写体を含む四角柱の領域４７１が大きく、取り囲み配置された各撮影装置１１の画角内に領域４７１の全てを含めることが不可能である場合、領域４７１は、各撮影装置１１の画角内に全てを含めることが可能なサイズの領域に分割される。そして、分割された領域が視聴領域に設定される。図２４の例では、領域４７１は３つに分割され、視聴領域４８１乃至４８３として設定される。

【0167】

この場合、撮影装置１１−１乃至１１−８が設置される領域４７２も、視聴領域４８１乃至４８３に応じて分割され、設置領域４９１乃至４９３として設定される。

【0168】

そして、第１実施の形態および第２実施の形態では、視聴領域４８１と設置領域４９１、視聴領域４８２と設置領域４９２、および視聴領域４８３と設置領域４９３のペアごとに処理が行われる。また、第３実施の形態では、視聴領域４８１乃至４８３のそれぞれに対して、３次元データ生成処理が行われる。

【0169】

＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0170】

図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0171】

コンピュータ６００において、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

【0172】

バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

【0173】

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

【0174】

以上のように構成されるコンピュータ６００では、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

【0175】

コンピュータ６００（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0176】

コンピュータ６００では、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

【0177】

なお、コンピュータ６００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0178】

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0179】

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0180】

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0181】

なお、本開示は、以下のような構成もとることができる。

【0182】

（１）
被写体の３次元データの生成に用いられる２次元画像データを撮影する複数の撮影装置の配置に基づいて、前記３次元データの生成に対する前記配置の評価値を算出する評価部
を備える情報処理装置。
（２）
前記評価部は、複数の前記配置の評価値を算出し、
前記評価部により算出された複数の前記配置の評価値のうちの最も高い評価を示す評価値に対応する前記配置を示す情報を表示部に表示させる表示制御部
をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記２次元画像データに基づいて前記配置を算出する配置算出部と、
前記配置算出部により算出された前記配置を示す情報を表示部に表示させる表示制御部と
をさらに備える
前記（１）に記載の情報処理装置。
（４）
前記評価部により算出された前記配置の評価値を表示部に表示させる表示制御部
をさらに備える
前記（１）に記載の情報処理装置。
（５）
前記配置における前記撮影装置の画角を示す情報を表示部に表示させる表示制御部
をさらに備える
前記（１）に記載の情報処理装置。
（６）
前記評価部は、前記複数の撮影装置の画角に基づいて前記評価値を算出する
ように構成された
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記複数の撮影装置は、前記被写体の領域の周囲に配置され、
前記評価部は、前記複数の撮影装置の画角を３次元座標に投影する際に交差する領域と前記被写体の領域とに基づいて、前記評価値を算出する
ように構成された
前記（６）に記載の情報処理装置。
（８）
前記複数の撮影装置は、前記被写体の領域の内部に配置され、
前記評価部は、前記被写体の領域における前記複数の撮影装置の画角内の領域に基づいて、前記評価値を算出する
ように構成された
前記（６）に記載の情報処理装置。
（９）
前記評価値に基づいて、前記複数の撮影装置から、前記３次元データの生成に用いられる２次元画像データに対応する撮影装置を選択する選択部
をさらに備え、
前記評価部は、前記撮影装置ごとに前記配置の評価値を算出する
ように構成された
前記（１）または（３）に記載の情報処理装置。
（１０）
前記複数の撮影装置は、前記被写体の領域の周囲に配置され、
前記評価部は、前記撮影装置ごとに、画角が前記被写体の領域を含む前記撮影装置の評価が、画角が前記被写体の領域を含まない前記撮影装置の評価に比べて高くなるように、前記撮影装置の評価値を算出し、
前記選択部は、画角が前記被写体の領域を含む前記撮影装置を選択する
ように構成された
前記（９）に記載の情報処理装置。
（１１）
情報処理装置が、
被写体の３次元データの生成に用いられる２次元画像データを撮影する複数の撮影装置の配置に基づいて、前記３次元データの生成に対する前記配置の評価値を算出する評価ステップ
を含む情報処理方法。

【符号の説明】

【0183】

１１−１乃至１１−Ｎ 撮影装置, １２ 情報処理装置, ２２ 表示制御部, ２３ 表示部, ２５ キャリブレーション部, ８２ 評価部, １４１ 視聴領域, １４５ Convex Hull， ２４１ 領域, ２７１−１乃至２７１−４ 撮影装置画像, ２７２ 画角画像, ２６３ 評価値表示部, ３０１ 情報処理装置, ３１１ 評価部, ３１２ 表示制御部, ３１３ 表示部, ３３３ 評価値表示部, ３４１−１乃至３４１−４ 実際撮影装置画像， ４０１ 情報処理装置, ４３１ 評価部, ４３２ 生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】