特表-17145755IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年8月31日
【発行日】2018年12月13日
(54)【発明の名称】情報処理装置および情報処理方法
(51)【国際特許分類】
   H04N 5/247 20060101AFI20181116BHJP
   H04N 5/232 20060101ALI20181116BHJP
   G03B 15/00 20060101ALI20181116BHJP
【FI】
   H04N5/247
   H04N5/232 939
   G03B15/00 H
【審査請求】未請求
【予備審査請求】未請求
【全頁数】38
【出願番号】特願2018-501552(P2018-501552)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年2月8日
(31)【優先権主張番号】特願2016-30858(P2016-30858)
(32)【優先日】2016年2月22日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】小林 剛也
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122EA55
5C122FA04
5C122FA18
5C122FK28
5C122HB01
5C122HB05
(57)【要約】
本開示は、複数の撮影装置の配置を3次元データの生成に最適な配置に容易にすることができるようにする情報処理装置および情報処理方法に関する。
評価部は、被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、3次元データの生成に対する配置の評価値を算出する。本開示は、例えば、被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置を示す情報を表示する情報処理装置等に適用することができる。
【特許請求の範囲】
【請求項1】
被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、前記3次元データの生成に対する前記配置の評価値を算出する評価部
を備える情報処理装置。
【請求項2】
前記評価部は、複数の前記配置の評価値を算出し、
前記評価部により算出された複数の前記配置の評価値のうちの最も高い評価を示す評価値に対応する前記配置を示す情報を表示部に表示させる表示制御部
をさらに備える
請求項1に記載の情報処理装置。
【請求項3】
前記2次元画像データに基づいて前記配置を算出する配置算出部と、
前記配置算出部により算出された前記配置を示す情報を表示部に表示させる表示制御部と
をさらに備える
請求項1に記載の情報処理装置。
【請求項4】
前記評価部により算出された前記配置の評価値を表示部に表示させる表示制御部
をさらに備える
請求項1に記載の情報処理装置。
【請求項5】
前記配置における前記撮影装置の画角を示す情報を表示部に表示させる表示制御部
をさらに備える
請求項1に記載の情報処理装置。
【請求項6】
前記評価部は、前記複数の撮影装置の画角に基づいて前記評価値を算出する
ように構成された
請求項1に記載の情報処理装置。
【請求項7】
前記複数の撮影装置は、前記被写体の領域の周囲に配置され、
前記評価部は、前記複数の撮影装置の画角を3次元座標に投影する際に交差する領域と前記被写体の領域とに基づいて、前記評価値を算出する
ように構成された
請求項6に記載の情報処理装置。
【請求項8】
前記複数の撮影装置は、前記被写体の領域の内部に配置され、
前記評価部は、前記被写体の領域における前記複数の撮影装置の画角内の領域に基づいて、前記評価値を算出する
ように構成された
請求項6に記載の情報処理装置。
【請求項9】
前記評価値に基づいて、前記複数の撮影装置から、前記3次元データの生成に用いられる2次元画像データに対応する撮影装置を選択する選択部
をさらに備え、
前記評価部は、前記撮影装置ごとに前記配置の評価値を算出する
ように構成された
請求項1に記載の情報処理装置。
【請求項10】
前記複数の撮影装置は、前記被写体の領域の周囲に配置され、
前記評価部は、前記撮影装置ごとに、画角が前記被写体の領域を含む前記撮影装置の評価が、画角が前記被写体の領域を含まない前記撮影装置の評価に比べて高くなるように、前記撮影装置の評価値を算出し、
前記選択部は、画角が前記被写体の領域を含む前記撮影装置を選択する
ように構成された
請求項9に記載の情報処理装置。
【請求項11】
情報処理装置が、
被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、前記3次元データの生成に対する前記配置の評価値を算出する評価ステップ
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および情報処理方法に関し、特に、複数の撮影装置の配置を3次元データの生成に最適な配置に容易にすることができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
マルチカメラにより撮影された複数の視点の2次元画像データとデプス画像データから、被写体の3次元位置情報と2次元画像データからなる3次元データを生成する方法が考案されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video”, University of California, San DiegoやTakeo Kanade and Peter Rander,P.J. Narayanan, "Virtualized Reality:Constructing Virtual Worlds from Real Scenes"
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような3次元データの生成に用いられるマルチカメラの配置は、一般的に、撮影者の過去の撮影の経験に基づいて決定される。従って、3次元データの生成に最適な配置にすることは困難である。その結果、生成された3次元データの精度が十分ではないことがある。
【0005】
このような場合、撮影者は、十分な精度の3次元データが得られるまで、カメラの再配置、キャリブレーション、撮影、および、生成された3次元データの精度の確認といった作業を繰り返す必要があり、手間および時間がかかる。
【0006】
本開示は、このような状況に鑑みてなされたものであり、複数の撮影装置の配置を3次元データの生成に最適な配置に容易にすることができるようにするものである。
【課題を解決するための手段】
【0007】
本開示の一側面の情報処理装置は、被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、前記3次元データの生成に対する前記配置の評価値を算出する評価部を備える情報処理装置である。
【0008】
本開示の一側面の情報処理方法は、本開示の一側面の情報処理装置に対応する。
【0009】
本開示の一側面においては、被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、前記3次元データの生成に対する前記配置の評価値が算出される。
【0010】
なお、本開示の一側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【0011】
また、本開示の一側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【0012】
本開示の一側面によれば、複数の撮影装置の配置を3次元データの生成に最適な配置に容易にすることができる。
【0013】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0014】
図1】本開示を適用した情報処理システムの第1実施の形態の構成例を示すブロック図である。
図2】設置領域と視聴領域の第1の例を示す図である。
図3図2の設置領域の他の例を示す図である。
図4】設置領域と視聴領域の第2の例を示す図である。
図5図1の配置生成部の構成例を示すブロック図である。
図6】候補とする取り囲み配置の例を示す図である。
図7】候補とする見回し配置の例を示す図である。
図8図5の評価部の構成例を示すブロック図である。
図9図8の評価部による処理を説明する図である。
図10図8の評価部により算出される評価値を説明する図である。
図11図5の評価部の他の構成例を示すブロック図である。
図12】数Viewcountを説明する図である。
図13】Value(x,y,z)を説明する図である。
図14】配置画面の例を示す図である。
図15】配置画面の他の例を示す図である。
図16図1の情報処理装置の表示処理を説明するフローチャートである。
図17】本開示を適用した情報処理システムの第2実施の形態の構成例を示すブロック図である。
図18】配置比較画面の例を示す図である。
図19図17の情報処理装置の表示処理を説明するフローチャートである。
図20】本開示を適用した情報処理システムの第3実施の形態の構成例を示すブロック図である。
図21図20の選択部の構成例を示すブロック図である。
図22】有効撮影装置の例を示す図である。
図23図20の情報処理装置の3次元データ生成処理を説明するフローチャートである。
図24】視聴領域の他の設定方法の例を示す図である。
図25】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:情報処理システム(図1乃至図16
2.第2実施の形態:情報処理システム(図17乃至図19
3.第3実施の形態:情報処理システム(図20乃至図23
4.視聴領域の他の設定方法(図24
5.第4実施の形態:コンピュータ(図25
【0016】
<第1実施の形態>
(情報処理システムの第1実施の形態の構成例)
図1は、本開示を適用した情報処理システムの第1実施の形態の構成例を示すブロック図である。
【0017】
図1の情報処理システム10は、撮影装置11−1乃至11−N(Nは2以上の整数)と情報処理装置12により構成される。なお、以下では、撮影装置11−1乃至11−Nを特に区別する必要がない場合、それらをまとめて撮影装置11という。
【0018】
情報処理システム10は、例えば、撮影者が撮影装置11を設置する前に、撮影装置11の最適な配置を示す配置画面を表示する。撮影者は、配置画面を見ながら撮影装置11を設置し、撮影装置11に撮影を行わせることにより、3次元データを生成させる。
【0019】
具体的には、情報処理システム10の各撮影装置11は、情報処理装置12に表示された配置画面を見た撮影者により、配置画面が示す最適な配置で設置される。撮影装置11は、キャリブレーション用の撮影を行い、その結果得られる2次元画像データとデプス画像データを情報処理装置12に供給する。また、撮影装置11は、3次元データ生成用の撮影を行い、その結果得られる2次元画像データとデプス画像データを情報処理装置12に供給する。
【0020】
情報処理装置12は、配置生成部21、表示制御部22、表示部23、キャリブレーション部25、および3D生成部26により構成される。
【0021】
情報処理装置12の配置生成部21には、各撮影装置11の焦点距離、画像中心、アスペクト比、スキューなどからなる内部パラメータが入力される。また、配置生成部21には、生成する3次元データに対応する被写体を含む四角柱の領域である視聴領域の位置を示す視聴領域情報として、視聴領域のx,y,z座標の最小値および最大値、または、視聴領域を構成するポリゴンを特定する情報が入力される。さらに、配置生成部21には、全ての撮影装置11が設置される領域である設置領域の位置を示す設置領域情報として、設置領域のx,y,z座標の最小値および最大値、または、設置領域を構成するポリゴンを特定する情報が入力される。
【0022】
配置生成部21は、内部パラメータ、視聴領域情報、および設置領域情報に基づいて、3次元データの生成に対する、候補となる撮影装置11の配置の評価値を算出する。配置生成部21は、候補となる撮影装置11の配置の評価値に基づいて、最も評価が高い配置を最適な配置として選択する。配置生成部21は、最適な配置における各撮影装置11の位置tと姿勢Rを示す外部パラメータを、配置情報として生成する。配置生成部21は、内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値を表示制御部22に供給する。
【0023】
なお、配置生成部21は、候補となる配置の評価値を順に算出し、評価値が所定の閾値以上になったときに評価値の算出を終了して、その評価値に対応する配置を最適な配置とするようにしてもよい。
【0024】
表示制御部22は、配置生成部21から供給される各撮影装置11の内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値に基づいて、配置画面を生成する。表示制御部22は、配置画面を表示部23に供給する。表示部23は、表示制御部22から供給される配置画面を表示する。
【0025】
キャリブレーション部25には、各撮影装置11の内部パラメータが入力される。キャリブレーション部25(配置算出部)は、各撮影装置11から供給される2次元画像データおよびデプス画像データと内部パラメータとに基づいてキャリブレーションを行い、各撮影装置11の外部パラメータを算出する。キャリブレーション部25は、算出された各撮影装置11の外部パラメータを3D生成部26に供給する。
【0026】
3D生成部26には、各撮影装置11の内部パラメータが入力される。3D生成部26は、各撮影装置11から供給される2次元画像データおよびデプス画像データ、キャリブレーション部25から供給される各撮影装置11の外部パラメータ、並びに各撮影装置11の内部パラメータに基づいて、3次元データを生成する。3D生成部26は、生成された3次元データを出力する。
【0027】
なお、図1の例では、配置生成部21、表示制御部22、および表示部23と、キャリブレーション部25および3D生成部26とが同一の情報処理装置12を構成したが、異なる情報処理装置を構成するようにしてもよい。
【0028】
(設置領域と視聴領域の第1の例)
図2は、設置領域と視聴領域の第1の例を示す図である。
【0029】
図2の例では、撮影装置11の数Nは3である。このことは、後述する図3図6図7図9、および図10においても同様である。また、図2は、撮影装置11の配置を撮影装置11の上から見た図である。このことは、後述する図3図4図6図7図10図12図13図22、および図24においても同様である。
【0030】
図2に示すように、設置領域41は、視聴領域42を含むように設定することができる。この場合、撮影装置11は、視聴領域42の周囲に配置され、設置領域41の内側に向けて撮影を行う。
【0031】
なお、図3に示すように、撮影装置11ごとに設置領域43−1乃至43−3が設定されるようにしてもよい。以下では、設置領域が視聴領域を含み、各撮影装置11が視聴領域を取り囲むように配置される撮影装置11の配置を、取り囲み配置という。
【0032】
(設置領域と視聴領域の第2の例)
図4は、設置領域と視聴領域の第2の例を示す図である。
【0033】
図4の例では、撮影装置11の数Nは7である。
【0034】
図4に示すように、視聴領域61は、設置領域62を含むように設定することができる。この場合、撮影装置11は、視聴領域61の内部に配置され、設置領域41の外側に向けて撮影を行う。なお、以下では、視聴領域が設置領域を含み、各撮影装置11が視聴領域の内部に配置される撮影装置11の配置を、見回し配置という。
【0035】
(配置生成部の構成例)
図5は、図1の配置生成部21の構成例を示すブロック図である。
【0036】
図5の配置生成部21は、配置決定部81、評価部82、および選択部83により構成される。配置生成部21に入力される内部パラメータと視聴領域情報は、配置決定部81、評価部82、および選択部83に供給される。また、配置生成部21に入力される設置領域情報は、配置決定部81に供給される。さらに、設置領域情報、視聴領域情報、および内部パラメータは、図1の表示制御部22に供給される。
【0037】
配置生成部21の配置決定部81は、内部パラメータ、視聴領域情報、および設置領域情報に基づいて、候補とする撮影装置11の配置ごとに、その配置における各撮影装置11の外部パラメータを決定する。配置決定部81は、候補とする撮影装置11の配置ごとの各撮影装置11の外部パラメータを評価部82と選択部83に供給する。
【0038】
評価部82は、候補とする撮影装置11の配置ごとに、各撮影装置11の外部パラメータと内部パラメータに基づいて、各撮影装置11の画角を求める。評価部82は、候補とする撮影装置11の配置ごとに、各撮影装置11の画角に基づいて、3次元データの生成に対する撮影装置11の配置の評価値を算出する。評価部82は、候補とする撮影装置11の配置ごとの評価値を選択部83に供給する。
【0039】
選択部83は、評価部82から供給される候補とする撮影装置11の配置ごとの評価値に基づいて、最も評価が高い配置を最適な配置として選択する。また、選択部83は、配置決定部81から供給される外部パラメータから、最適な配置に対応する各撮影装置11の外部パラメータを選択する。選択部83は、選択された各撮影装置11の外部パラメータを示す配置情報と評価値とを、図1の表示制御部22に供給する。
【0040】
(候補とする取り囲み配置の例)
図6は、候補とする取り囲み配置の例を示す図である。
【0041】
図6に示すように、設置領域91が視聴領域92を含む場合、配置決定部81は、候補とする撮影装置11の配置を取り囲み配置にする。具体的には、配置決定部81は、設置領域91を複数(図6の例では、12(横)×8(縦))のグリッド93に分割する。そして、配置決定部81は、全てのグリッド93の頂点のうちの3つの頂点の組み合わせごとに、その3つの頂点を各撮影装置11の位置tとして含み、各撮影装置11の光軸が視聴領域92の中心点94を通る姿勢Rを含む各撮影装置11の外部パラメータを生成する。配置決定部81は、3つの頂点の組み合わせごとの各撮影装置11の外部パラメータを、候補とする撮影装置11の配置の外部パラメータに決定する。
【0042】
なお、候補とする撮影装置11の配置は、全ての撮影装置11の画角が視聴領域92を含む配置のみであってもよい。
【0043】
(候補とする見回し配置の例)
図7は、候補とする見回し配置の例を示す図である。
【0044】
図7に示すように、視聴領域101が設置領域102を含む場合、配置決定部81は、候補とする撮影装置11の配置を見回し配置にする。具体的には、配置決定部81は、設置領域102を複数(図7の例では、6(横)×6(縦))のグリッド103に分割する。そして、配置決定部81は、全てのグリッド103の頂点のうちの3つの頂点の組み合わせごとに、その3つの頂点を各撮影装置11の位置tとして含み、各撮影装置11の光軸が設置領域102の中心点104を通る姿勢Rを含む各撮影装置11の外部パラメータを、候補とする撮影装置11の配置の外部パラメータに決定する。
【0045】
(評価部の第1の構成例)
図8は、候補とする撮影装置11の配置が取り囲み配置である場合の図5の評価部82の構成例を示すブロック図である。
【0046】
図8の評価部82は、分割部121、投影部122、判定部123、および計算部124により構成される。
【0047】
評価部82の分割部121は、入力された視聴領域情報が位置を示す視聴領域の表面を複数のグリッドに分割する。分割部121は、各グリッドの左上の位置を示す3次元座標などからなるグリッド情報を投影部122に供給する。
【0048】
例えば、分割部121は、図9のAに示す視聴領域141の表面を複数のグリッド142に分割し、そのグリッド142の左上の位置143を示す3次元座標をグリッド情報として投影部122に供給する。なお、図9のAは、視聴領域141の斜視図である。
【0049】
投影部122は、候補とする撮影装置11の配置ごとに、分割部121から供給されるグリッド情報、並びに、各撮影装置11の外部パラメータおよび内部パラメータに基づいて、各グリッドを各撮影装置11に投影し、投影線を示す投影線情報を生成する。投影部122は、候補とする撮影装置11の配置ごとに、各グリッドの各撮影装置11への投影線情報を判定部123に供給する。
【0050】
例えば、投影部122は、図9のBに示すグリッド142の左上の位置143を撮影装置11−1乃至撮影装置11−3のそれぞれに投影し、投影線144を示す投影線情報を判定部123に供給する。なお、図9のBは、撮影装置11と視聴領域141を撮影装置11の上から見た図である。このことは、図9のCにおいても同様である。
【0051】
判定部123は、候補とする撮影装置11の配置ごとに、投影部122から供給される投影線情報に基づいて、各グリッドに対して、撮影装置11への投影線が撮影装置11の画角内に存在する撮影装置11の数Viewcountを検出する。
【0052】
判定部123は、グリッドごとに、数Viewcountが撮影装置11の数Nである場合、即ち各撮影装置11への投影線が全て撮影装置11の画角内に存在する場合、撮影装置11の配置が妥当であるかどうかを示すValidFlagを、妥当であることを示す1に設定する。
【0053】
一方、判定部123は、グリッドごとに、数Viewcountが撮影装置11の数Nより小さい場合、即ち各撮影装置11への投影線の少なくとも1つが撮影装置11の画角内に存在しない場合、ValidFlagを、妥当ではないことを示す1に設定する。判定部123は、候補とする撮影装置11の配置ごとに、各グリッドのValidFlagを算出部125に供給する。
【0054】
例えば、図9のBに示す左上の位置143から撮影装置11−1および撮影装置11−2への投影線は、それぞれ、撮影装置11−1の画角142−1、撮影装置11−2の画角142−2内に存在する。しかしながら、左上の位置143から撮影装置11−3への投影線は、撮影装置11−3の画角142−3内に存在しない。従って、判定部123は、左上の位置143のグリッド142について、撮影装置11の数Viewcountを2と判定する。そして、判定された数Viewcountである2は、撮影装置11の数Nである3より小さいので、判定部123は、左上の位置143のグリッド142のValidFlagを0に設定し、算出部125に供給する。
【0055】
一方、図9のBに示す中央下の位置143から撮影装置11−1および撮影装置11−3への投影線は、それぞれ、撮影装置11−1乃至11−3の画角142−1乃至142−3内に存在する。従って、判定部123は、中央下の位置143のグリッド142について、撮影装置11の数Viewcountを3と判定する。そして、判定された数Viewcountである3は、撮影装置11の数Nである3と同一であるので、判定部123は、中央下の位置143のグリッド142のValidFlagを1に設定し、算出部125に供給する。
【0056】
計算部124は、候補とする撮影装置11の配置ごとに、各撮影装置11の外部パラメータおよび内部パラメータに基づいて、Convex Hullを生成する。Convex Hullは、各撮影装置11の画角を3次元座標に投影する際に交差する領域であり、撮影装置11の画角によって生成されるVisual Hullである。Convex Hullの詳細は、例えば、C. BRADFORD BARBER, DAVID P. DOBKIN, HANNU HUHDANPAA,The Quickhull Algorithm for Convex Hullsに記載されている。
【0057】
図9のBの例では、計算部124は、Convex Hull145を生成する。Convex Hull145からはみ出した視聴領域141の3次元データを、撮影装置11により撮影された2次元画像データとデプス画像データを用いて生成することはできない。
【0058】
また、計算部124は、候補とする撮影装置11の配置ごとに、Convex Hullのx,y,z座標の最小値と最大値に基づいて、Convex Hullに外接する四角柱であるBounding Boxの3次元座標を計算する。計算部124は、候補とする撮影装置11の配置ごとに、Bounding Boxの3次元座標を算出部125に供給する。
【0059】
例えば、計算部124は、図9のCのConvex Hull145のx,y,z座標の最小値と最大値に基づいて、Convex Hull145に外接する四角柱であるBounding Box146の3次元座標を計算し、算出部125に供給する。
【0060】
算出部125は、候補とする撮影装置11の配置ごとに、判定部123から供給される各グリッドのValidFlagに基づいて、全てのグリッドのValidFlagが1であるかどうかを判定する。算出部125は、全てのグリッドのValidFlagが1であると判定した場合、以下の式(1)に基づいて、評価値Eを算出する。
【0061】
【数1】
【0062】
なお、len(R)は、領域Rの辺のx方向、y方向、およびz方向の長さの和である。また、本明細書では、視聴領域の形状が四角柱であるが、四角柱以外の形状の領域であってもよい。この場合、式(1)において、視聴領域の代わりに、視聴領域に外接する四角柱の領域が用いられる。
【0063】
式(1)によれば、評価値Eは、Bounding Boxに占める視聴領域の割合が大きいほど1に近づく。即ち、評価値Eは、Convex Hullに占める視聴領域の割合が大きいほど1に近づく。
【0064】
例えば、図10のBの上段に示すように、Convex Hull152に占める視聴領域141の割合が比較的大きい場合、図10のAの上段に示すように、Convex Hull151に占める視聴領域141の割合が比較的小さい場合に比べて、評価値Eは1に近い値となる。
【0065】
また、撮影装置11の配置が取り囲み配置である場合、3D生成部26は、撮影装置11により撮影された2次元画像データ等からVisual Hullを用いて3次元データを生成する。従って、図10のAの上段に示すように、画角によって生成されるVisual HullであるConvex Hull151に占める視聴領域141の割合が比較的小さい場合、図10のAの下段に示すように、3次元データから生成される2次元画像161内の視聴領域141の2次元画像162の割合が比較的小さい。
【0066】
これに対して、図10のBの上段に示すように、Convex Hull152に占める視聴領域141の割合が比較的大きい場合、図10のBの下段に示すように、3次元データから生成される2次元画像163内の視聴領域141の2次元画像164の割合が比較的大きい。従って、視聴領域141の2次元画像162の分解能は、視聴領域141の2次元画像164の分解能に比べて高くなる。よって、式(1)により求められる評価値Eが1に近いほど、3次元データの精度が高くなる。
【0067】
また、算出部125は、少なくとも1つのグリッドのValidFlagが1であると判定した場合、即ち視聴領域の少なくとも一部が少なくとも1つの撮影装置11の画角に含まれない場合、評価値Eを0に決定する。算出部125は、候補とする撮影装置11の配置ごとの評価値Eを図5の選択部83に供給する。
【0068】
以上のようにして評価値Eが決定されることにより、3次元データの精度が最も高い撮影装置11の配置に対応する評価値Eが、1に最も近くなる。従って、選択部83は、評価値Eが最も1に近い配置を最適な配置として選択する。
【0069】
なお、図8の例では、投影部122が、グリッドを撮影装置11に投影したが、撮影装置11をグリッドに投影するようにしてもよい。
【0070】
また、評価値Eは、撮影装置11により撮影された2次元画像データ等を用いて生成されるVisual Hullの精度を示す値であれば、Bounding Boxに占める視聴領域の割合を示す値以外であってもよい。
【0071】
例えば、評価値Eは、convex hullに占める視聴領域の割合、Convex Hullの体積や表面積、Bounding Boxのx,y,z方向の辺の長さの差などを示す値にすることができる。この場合、convex hullに占める視聴領域の割合が最も大きいこと、Convex Hullの体積や表積が最も小さいこと、Bounding Boxのx,y,z方向の辺の長さの差が最も小さい(Bounding Boxが最も立方体に近くなる)ことを示す評価値Eに対応する配置が、最適な配置として選択される。
【0072】
(評価部の第2の構成例)
図11は、候補とする撮影装置11の配置が見回し配置である場合の図5の評価部82の構成例を示すブロック図である。
【0073】
図11に示す構成のうち、図8の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0074】
図11の評価部82の構成は、判定部123、算出部125の代わりに検出部181、算出部182が設けられる点、および、計算部124が設けられない点が、図8の構成と異なる。
【0075】
評価部82の検出部181は、候補とする撮影装置11の配置ごとに、投影部122から供給される投影線情報に基づいて、各グリッドの数Viewcountを検出する。
【0076】
図12の例では、撮影装置11の数Nが2である。また、設置領域201を含む視聴領域202の表面を分割する複数のグリッドのうちの、あるグリッドの左上の位置211から撮影装置11−1および撮影装置11−2への投影線221が、それぞれ、撮影装置11−1の画角222−1、撮影装置11−2の画角222−2内に存在する。従って、左上の位置が位置211であるグリッドの数Viewcountは2である。
【0077】
また、図12の例では、あるグリッドの左上の位置212から撮影装置11−2への投影線221は、画角222−2内に存在するが、位置212から撮影装置11−1への投影線221は、画角222−1内に存在しない。従って、左上の位置が位置212であるグリッドの数Viewcountは1である。
【0078】
さらに、図12の例では、あるグリッドの左上の位置211から撮影装置11−1および撮影装置11−2への投影線221が、それぞれ、画角222−1、画角222−2内に存在しない。従って、左上の位置が位置213であるグリッドの数Viewcountは0である。検出部181は、各グリッドの数Viewcountを算出部182に供給する。
【0079】
算出部182は、候補とする撮影装置11の配置ごとに、検出部181から供給される各グリッドの数Viewcountに基づいて、以下の式(2)に基づいて評価値Eを算出する。
【0080】
【数2】
【0081】
式(2)によれば、評価値Eは、全てのグリッドのValue(x,y,z)の積算値をGridGountで除算した値である。なお、GridGountは、分割部121により分割されたグリッドの数である。また、Value(x,y,z)は、3D生成部26により生成される3次元データのうちの被写体の3次元位置情報が撮影装置11により撮影された2次元画像データ等から生成される場合、グリッドごとに、以下の式(3)により求められる。
【0082】
【数3】
【0083】
式(3)によれば、各グリッドのValue(x,y,z)は、そのグリッドが2以上の撮影装置11の画角内に重複して存在する場合1であり、重複して存在しない場合0である。
【0084】
例えば、図13のAでは、撮影装置11の数Nが2であり、視聴領域202の表面の領域241が、撮影装置11−1の画角240−1と撮影装置11−2の画角240−2内に重複して存在する領域である。従って、領域241内のグリッドのValue(x,y,z)は1になり、領域241外のグリッドのValue(x,y,z)は0になる。上述した式(2)と式(3)により、評価値Eは、視聴領域の表面内の2以上の撮影装置11の画角内に重複して存在する領域が大きいほど大きくなる。
【0085】
また、2次元画像データから被写体の3次元位置情報を生成するためには、被写体が2以上の撮影装置11の画角内に重複して存在することが必要である。従って、視聴領域の表面内の2以上の撮影装置11の画角内に重複して存在する領域が大きいほど、3次元データの精度が高い。よって、評価値Eは、3次元データの精度が高いほど大きくなる。
【0086】
一方、3D生成部26により生成される3次元データのうちの3次元位置情報が予め決まっている場合、Value(x,y,z)は、以下の式(4)で表される。
【0087】
【数4】
【0088】
式(4)によれば、各グリッドのValue(x,y,z)は、そのグリッドが1以上の撮影装置11の画角内に存在する場合1であり、いずれの撮影装置11の画角内にも存在しない場合0である。
【0089】
例えば、図13のBでは、撮影装置11の数Nが7であり、視聴領域202の表面の全領域242が、撮影装置11−1乃至11−7の画角243−1乃至243−7のいずれかに存在する。従って、全グリッドのValue(x,y,z)は1になる。上述した式(2)と式(4)により、評価値Eは、視聴領域の表面内の1以上の撮影装置11の画角内に存在する領域が大きいほど大きくなる。
【0090】
また、2次元画像データから3次元位置情報が既知である被写体の2次元画像データを生成するためには、被写体が1以上の撮影装置11の画角内に存在することが必要である。従って、視聴領域の表面内の1以上の撮影装置11の画角内に存在する領域が大きいほど、3次元データの精度が高い。よって、評価値Eは、3次元データの精度が高いほど大きくなる。
【0091】
以上のようにして算出された、候補とする撮影装置11の配置ごとの評価値Eは、図5の選択部83に供給される。上述したように、この評価値Eは、3次元データの精度が高いほど大きくなる。従って、選択部83は、評価値Eが最も大きい配置を最適な配置として選択する。
【0092】
(配置画面の例)
図14は、配置情報に対応する撮影装置11の配置が取り囲み配置である場合の配置画面の例を示す図である。
【0093】
なお、図14の例では、撮影装置11の数Nが4である。
【0094】
図14の配置画面260は、配置表示部261、配置情報表示部262、および評価値表示部263により構成される。
【0095】
配置表示部261には、3次元座標空間が表示される。この3次元座標空間には、設置領域情報に基づいて、設置領域の位置に、設置領域を示す設置領域画像270が表示される。また、各撮影装置11の配置情報に基づいて、撮影装置11−1乃至11−4の位置に、撮影装置11−1乃至11−4を示す撮影装置画像271−1乃至271−4が、撮影装置11の配置を示す情報として表示される。従って、撮影装置画像271−1乃至271−4は、設置領域画像270内に表示される。なお、以下では、撮影装置画像271−1乃至271−4を特に区別する必要がない場合、それらをまとめて撮影装置画像271という。
【0096】
さらに、3次元座標空間には、各撮影装置11の配置情報と内部パラメータに基づいて、各撮影装置11の画角の境界を示す画角画像272が、撮影装置画像271に接続して表示される。なお、図14では、説明の便宜上、撮影装置画像271−1の画角画像272のみを図示してある。また、3次元座標空間には、視聴領域情報に基づいて、視聴領域の位置に、視聴領域を示す視聴領域画像273が表示される。
【0097】
配置情報表示部262には、各撮影装置11の配置情報に含まれる位置tの座標、配置領域情報、および視聴領域情報が表示される。評価値表示部263には、評価値が表示される。
【0098】
配置画面260において、撮影者などにより撮影装置画像271が選択された場合、選択された撮影装置画像271の画角画像272が境界を示す画角の範囲がハイライト表示される。例えば、撮影装置画像271−1が選択された場合、図15に示すように、撮影装置画像271−1の画角画像272が境界を示す画角の範囲291がハイライト表示される。これにより、撮影者は、最適な撮影装置11の配置における各撮影装置11の撮影範囲を撮影前に知ることができる。
【0099】
なお、配置画面は、図14の例に限定されず、配置画面には、姿勢R、Convex Hullなどが表示されるようにしてもよい。また、配置表示部261、配置情報表示部262、および評価値表示部263の表示および非表示は、撮影者などによって選択可能にしてもよい。
【0100】
(情報処理装置の処理の説明)
図16は、図1の情報処理装置12の表示処理を説明するフローチャートである。
【0101】
図16のステップS11において、情報処理装置12の配置生成部21は、内部パラメータ、視聴領域情報、および設置領域情報に基づいて、3次元データの生成に対する、候補となる撮影装置11の配置の評価値を算出する。
【0102】
ステップS12において、配置生成部21は、候補となる撮影装置11の配置の評価値に基づいて、最適な配置における各撮影装置11の外部パラメータを、配置情報として生成する。配置生成部21は、内部パラメータ、配置情報、視聴領域情報、設置領域情報、および、最適な配置の評価値を表示制御部22に供給する。
【0103】
ステップS13において、表示制御部22は、配置生成部21から供給される内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値に基づいて、配置画面を生成する。
【0104】
ステップS14において、表示制御部22は、配置画面を表示部23に供給して表示部23に表示させる。そして、処理は終了する。
【0105】
情報処理装置12は、以上のような表示処理を行った後、キャリブレーション部25によりキャリブレーションを行い、3D生成部26により3次元データを生成する。
【0106】
以上のように、情報処理装置12は、候補とする撮影装置11の配置に基づいて、3次元データの生成に対する、候補とする撮影装置11の配置の評価値を算出する。従って、情報処理装置12は、例えば、評価値に基づいて、候補とする撮影装置11の配置の中から最適な撮影装置11の配置を選択し、その配置の配置画面を撮影者に表示することができる。これにより、撮影者は、撮影装置11の配置を3次元データの生成に最適な配置に容易にすることができる。その結果、3次元データの精度を向上させることができる。
【0107】
また、撮影者は、十分な精度の3次元データが得られるまで、撮影装置11の再配置、キャリブレーション、撮影、および、生成された3次元データの精度の確認といった作業を繰り返す必要がなくなる。従って、撮影時間を短縮することができる。
【0108】
<第2実施の形態>
(情報処理システムの第2実施の形態の構成例)
図17は、本開示を適用した情報処理システムの第2実施の形態の構成例を示すブロック図である。
【0109】
図17に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0110】
図17の情報処理システム300の構成は、情報処理装置12の代わりに情報処理装置301が設けられる点が、図1の情報処理システム10の構成と異なる。
【0111】
情報処理システム300は、例えば、キャリブレーション後に、撮影装置11の最適な配置と実際の配置を示す配置比較画面を表示する。撮影者は、配置比較画面を見ながら撮影装置11の位置や光軸のずれを修正し、撮影装置11に撮影を行わせることにより、3次元データを生成させる。
【0112】
情報処理装置301は、評価部311が新たに設けられる点、および、表示制御部22、表示部23の代わりに、表示制御部312、表示部313が設けられる点が、図1の情報処理装置12の構成と異なる。
【0113】
情報処理装置301の評価部311には、各撮影装置11の内部パラメータおよび視聴領域情報が入力される。また、評価部311には、キャリブレーション部25により算出された各撮影装置11の外部パラメータが入力される。評価部311は、図8図11の評価部82と同様に、入力された各撮影装置11の内部パラメータおよび外部パラメータ並びに視聴領域情報に基づいて、各撮影装置11の実際の配置の評価値を算出する。
【0114】
評価部311は、キャリブレーション部25により算出された各撮影装置11の外部パラメータを、実際配置情報として表示制御部312に供給するとともに、各撮影装置11の実際の配置の評価値を表示制御部312に供給する。
【0115】
表示制御部312は、配置生成部21から供給される各撮影装置11の内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値、並びに、評価部311から供給される実際配置情報および実際の配置の評価値に基づいて、配置比較画面を生成する。表示制御部312は、配置比較画面を表示部313に供給する。表示部313は、表示制御部312から供給される配置比較画面を表示する。
【0116】
(配置比較画面の例)
図18は、撮影装置11の最適な配置および実際の配置が取り囲み配置である場合の配置比較画面の例を示す図である。
【0117】
なお、図18の例では、撮影装置11の数Nが4である。
【0118】
図18の配置比較画面330は、配置表示部331、配置情報表示部332、および評価値表示部333により構成される。
【0119】
配置表示部331は、実際撮影装置画像341−1乃至341−4および実際画角画像342が新たに表示される点を除いて、図14の配置表示部261と同一である。なお、以下では、実際撮影装置画像341−1乃至341−4を特に区別する必要がない場合、それらをまとめて実際撮影装置画像341という。
【0120】
実際撮影装置画像341は、各撮影装置11の実際配置情報に基づいて、配置表示部331に表示される3次元座標空間上の実際の撮影装置11−1乃至11−4の位置に表示される画像であり、撮影装置11の実際の配置を示す情報として表示される。
【0121】
また、実際画角画像342は、各撮影装置11の実際配置情報と内部パラメータに基づいて、配置表示部331の3次元座標空間上に表示される、各撮影装置11の実際の画角の境界を示す画像である。実際画角画像342は、実際撮影装置画像341に接続して表示される。なお、図18では、説明の便宜上、実際撮影装置画像341−1の実際画角画像342のみを図示してある。
【0122】
配置情報表示部332は、各撮影装置11の実際配置情報に含まれる位置tの座標が新たに表示される点を除いて、図14の配置情報表示部262と同一である。図18では、実際配置情報に含まれる位置tの座標が「撮影装置の座標(calib)」と記述され、配置生成部21から出力される配置情報に含まれる位置tの座標が「撮影装置の座標(ideal)」と記述されている。
【0123】
評価値表示部333は、各撮影装置11の実際の配置の評価値が新たに表示される点を除いて、図14の評価値表示部263と同一である。図18では、各撮影装置11の実際の配置の評価値が「評価値(calib)」と記述され、配置生成部21から出力される評価値が「評価値(ideal)」と記述されている。
【0124】
なお、図示は省略するが、実際撮影装置画像341においても、撮影装置画像271と同様に、撮影者などにより実際撮影装置画像341が選択された場合、選択された実際撮影装置画像341の実際画角画像342が境界を示す画角の範囲がハイライト表示される。これにより、撮影者は、撮影装置11の実際の配置における各撮影装置11の撮影範囲を知ることができる。
【0125】
また、配置比較画面は、図18の例に限定されず、配置比較画面には、撮影装置11の実際の配置における各撮影装置11の姿勢R、Convex Hullなどが表示されるようにしてもよい。また、配置表示部331、配置情報表示部332、および評価値表示部333の表示および非表示は、撮影者などによって選択可能にしてもよい。
【0126】
(情報処理装置の処理の説明)
図19は、図17の情報処理装置301の表示処理を説明するフローチャートである。
【0127】
図19のステップS31およびS32の処理は、図16のステップS11およびS12の処理と同様であるので、説明は省略する。
【0128】
ステップS33において、キャリブレーション部25は、撮影装置11から供給される2次元画像データおよびデプス画像データと内部パラメータとに基づいてキャリブレーションを行い、各撮影装置11の実際の配置を示す外部パラメータを算出する。キャリブレーション部25は、算出された各撮影装置11の外部パラメータを3D生成部26と評価部311に供給する。
【0129】
ステップS34において、評価部311は、キャリブレーション部25から供給される各撮影装置11の外部パラメータ、各撮影装置11の内部パラメータ、および視聴領域情報に基づいて、各撮影装置11の実際の配置の評価値を算出する。評価部311は、キャリブレーション部25から供給される各撮影装置11の外部パラメータを実際配置情報として表示制御部312に供給するとともに、各撮影装置11の実際の配置の評価値を表示制御部312に供給する。
【0130】
ステップS35において、表示制御部312は、配置生成部21から供給される各撮影装置11の内部パラメータ、配置情報、視聴領域情報、設置領域情報、および最適な配置の評価値と、実際配置情報および実際の配置の評価値とに基づいて、配置比較画面を生成する。
【0131】
ステップS36において、表示制御部312は、配置比較画面を表示部313に供給して表示部313に表示させる。撮影者は、必要に応じて、表示部313に表示される配置比較画面を見ながら、撮影装置11の配置を修正する。そして、撮影者は、撮影装置11にキャリブレーション用の撮影を再度行わせる。これにより、キャリブレーション部25には、2次元画像データおよびデプス画像データが新たに供給される。
【0132】
ステップS37において、キャリブレーション部25は、キャリブレーションを終了するかどうか、即ち2次元画像データおよびデプス画像データが新たに供給されていないかどうかを判定する。ステップS37でキャリブレーションを終了しないと判定された場合、処理はステップS33に戻り、キャリブレーションを終了するまでステップS33乃至S37の処理が繰り返される。
【0133】
一方、ステップS37でキャリブレーションを終了すると判定された場合、処理は終了する。
【0134】
情報処理装置12は、以上のような表示処理を行った後、3D生成部26により3次元データを生成する。
【0135】
以上のように、情報処理装置301は、撮影装置11の最適な配置の配置情報と撮影装置11の実際の配置の実際配置情報を生成する。従って、情報処理装置301は、例えば、配置情報と実際配置情報に基づいて配置比較画面を撮影者に表示することができる。これにより、撮影者は、撮影装置11の最適な配置と実際の配置の違いを認識することができる。その結果、撮影者は、撮影装置11の配置を3次元データの生成に最適な配置に容易に修正することができる。その結果、3次元データの精度を向上させることができる。
【0136】
なお、情報処理装置301は、情報処理装置12と同様に、キャリブレーション前に配置画面を表示するようにしてもよい。
【0137】
<第3実施の形態>
(情報処理システムの第3実施の形態の構成例)
図20は、本開示を適用した情報処理システムの第3実施の形態の構成例を示すブロック図である。
【0138】
図20に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0139】
図20の情報処理システム400の構成は、情報処理装置12の代わりに情報処理装置401が設けられる点が、図1の情報処理システム10の構成と異なる。情報処理システム400は、キャリブレーション後の3次元データの生成時に、撮影装置11−1乃至11−Nの中から最適な配置の撮影装置11を選択し、選択された撮影装置11により撮影された2次元画像データ等を用いて3次元データを生成する。なお、撮影装置11の配置は取り囲み配置である。
【0140】
情報処理装置401は、キャリブレーション部25、選択部411、および3D生成部412により構成される。
【0141】
選択部411には、各撮影装置11の内部パラメータおよび視聴領域情報が入力されるとともに、キャリブレーション部25により算出された各撮影装置11の外部パラメータが入力される。選択部411は、各撮影装置11の内部パラメータおよび外部パラメータ並びに視聴領域情報に基づいて、撮影装置11ごとに、3次元データの生成に対する、撮影装置11の実際の配置の評価値を算出する。
【0142】
選択部411は、各撮影装置11の実際の配置の評価値に基づいて、撮影装置11−1乃至11−Nの中から、評価値が閾値以上である撮影装置11を選択する。そして、選択部411は、選択された撮影装置11を、3D生成部412において3次元データの生成に用いられる2次元画像データおよびデプス画像データに対応する撮影装置11(以下、有効撮影装置という)とする。
【0143】
選択部411は、有効撮影装置を特定する撮影装置特定情報と外部パラメータを3D生成部412に供給する。撮影装置特定情報は、例えば、各撮影装置11に固有のIDのうちの有効撮影装置のIDであってもよいし、各撮影装置11に固有のIDと有効または無効とを対応付ける情報であってもよい。
【0144】
3D生成部412には、各撮影装置11の内部パラメータが入力される。また、3D生成部412には、各撮影装置11の3次元データ生成用の撮影により得られた2次元画像データとデプス画像データが入力される。
【0145】
3D生成部412は、選択部411から供給される撮影装置特定情報により特定される有効撮影装置の2次元画像データ、デプス画像データ、外部パラメータ、および内部パラメータに基づいて、3次元データを生成する。3D生成部412は、生成された3次元データを出力する。
【0146】
(評価部の構成例)
図21は、図20の選択部411の構成例を示すブロック図である。
【0147】
図21の選択部411は、評価部431と生成部432により構成される。
【0148】
評価部431は、各撮影装置11の内部パラメータおよび外部パラメータ、並びに、視聴領域情報に基づいて、撮影装置11ごとに、画角が視聴領域の全てを含む撮影装置11の評価値が、視聴領域の少なくとも一部を含まない撮影装置11の評価値に比べて大きくなるように、評価値を算出する。
【0149】
即ち、画角が視聴領域の少なくとも一部を含まない撮影装置11により撮影された2次元画像データ等を用いて高精度の3次元データを生成することはできない。従って、画角が視聴領域の少なくとも一部を含まない撮影装置11は、3次元データの生成に適していない。よって、評価部431は、画角が視聴領域の少なくとも一部を含まない撮影装置11の評価値を、視聴領域の全てを含む撮影装置11の評価値に比べて小さくする。
【0150】
具体的には、評価部431は、図8の分割部121と同様に、視聴領域の表面を複数のグリッドに分割し、投影部122と同様に、各グリッドを各撮影装置11に投影して投影線情報を生成する。評価部431は、投影線情報に基づいて、撮影装置11ごとに、全てのグリッドから撮影装置11への投影線が撮影装置11の画角内に存在するかどうかを判定する。
【0151】
そして、評価部431は、全てのグリッドから撮影装置11への投影線が撮影装置11の画角内に存在すると判定した場合、その撮影装置11の評価値を1に設定する。一方、評価部431は、少なくとも1つのグリッドから撮影装置11への投影線が撮影装置11の画角内に存在しないと判定した場合、その撮影装置11の評価値を0に設定する。評価部431は、各撮影装置11の評価値を生成部432に供給する。
【0152】
生成部432は、評価部431から供給される各撮影装置11の評価値に基づいて、撮影装置11−1乃至11−Nの中から、評価値が閾値(第3実施の形態の場合1)以上である撮影装置11を、有効撮影装置として選択する。即ち、生成部432は、撮影装置11−1乃至11−Nの中から、画角が視聴領域の全てを含む、3次元データの生成に適した位置の撮影装置11を、有効撮影装置として選択する。生成部432は、有効撮影装置の撮影装置特定情報を生成し、図20の3D生成部412に供給する。
【0153】
(有効撮影装置の例)
図22は、有効撮影装置の例を示す図である。
【0154】
図22の例では、撮影装置11の数Nは5である。また、撮影装置11−1および撮影装置11−2の画角は視聴領域451の全てを含まず、撮影装置11−3乃至11−5の画角は視聴領域451の全てを含む。
【0155】
この場合、評価部431は、画角が視聴領域451の全てを含む撮影装置11−3乃至11−5の評価値を1に設定する。また、評価部431は、画角が視聴領域451の全てを含まない撮影装置11−1および撮影装置11−2の評価値を0に設定する。従って、生成部432は、撮影装置11−1乃至11−5のうちの、評価値が1以上である撮影装置11−3乃至11−5を、有効撮影装置として選択する。
【0156】
(情報処理装置の処理の説明)
図23は、図20の情報処理装置401の3次元データ生成処理を説明するフローチャートである。
【0157】
図23のステップS51において、キャリブレーション部25は、撮影装置11から供給される2次元画像データおよびデプス画像データと内部パラメータとに基づいてキャリブレーションを行い、各撮影装置11の外部パラメータを算出する。キャリブレーション部25は、算出された各撮影装置11の外部パラメータを3D生成部26に供給する。
【0158】
ステップS52において、選択部411の評価部431(図21)は、各撮影装置11の内部パラメータおよび外部パラメータ、並びに、視聴領域情報に基づいて、各撮影装置11の評価値を算出する。評価部431は、各撮影装置11の評価値を生成部432に供給する。
【0159】
ステップS53において、生成部432は、評価部431から供給される各撮影装置11の評価値に基づいて、評価値が閾値以上である撮影装置11を有効撮影装置として選択する。生成部432は、有効撮影装置の撮影装置特定情報を生成し、3D生成部412に供給する。
【0160】
ステップS54において、3D生成部412は、撮影装置特定情報により特定される有効撮影装置の2次元画像データ、デプス画像データ、外部パラメータ、および内部パラメータに基づいて、3次元データを生成する。3D生成部412は、生成された3次元データを出力する。
【0161】
以上のように、情報処理装置401は、各撮影装置11の配置に基づいて、撮影装置11ごとに、3次元データの生成に対する、各撮影装置11の配置の評価値を算出する。従って、情報処理装置401は、例えば、各撮影装置11の評価値に基づいて、3次元データの生成に最適な配置の撮影装置11を選択し、その撮影装置11の情報のみを3次元データの生成に用いることができる。よって、撮影者は、撮影装置11の配置を変更することなく、3次元データの生成に用いられる撮影装置11の配置を、3次元データの生成に最適な配置に容易にすることができる。
【0162】
なお、情報処理装置401は、表示制御部および表示部を備え、撮影装置11の外部パラメータ、内部パラメータ、設置領域情報、視聴領域情報、および評価値に基づいて、配置画面と同様に撮影装置11の実際の配置を示す画面を生成して表示するようにしてもよい。
【0163】
<視聴領域の他の設定方法>
図24は、視聴領域の他の設定方法の例を示す図である。
【0164】
図24の例では、撮影装置11の数Nは8である。
【0165】
上述した説明では、生成する3次元データに対応する被写体を含む四角柱の領域の全てが、取り囲み配置された各撮影装置11の画角に含めることが可能なサイズであるものとし、その領域が視聴領域として設定された。
【0166】
しかしながら、図24に示すように、生成する3次元データに対応する被写体を含む四角柱の領域471が大きく、取り囲み配置された各撮影装置11の画角内に領域471の全てを含めることが不可能である場合、領域471は、各撮影装置11の画角内に全てを含めることが可能なサイズの領域に分割される。そして、分割された領域が視聴領域に設定される。図24の例では、領域471は3つに分割され、視聴領域481乃至483として設定される。
【0167】
この場合、撮影装置11−1乃至11−8が設置される領域472も、視聴領域481乃至483に応じて分割され、設置領域491乃至493として設定される。
【0168】
そして、第1実施の形態および第2実施の形態では、視聴領域481と設置領域491、視聴領域482と設置領域492、および視聴領域483と設置領域493のペアごとに処理が行われる。また、第3実施の形態では、視聴領域481乃至483のそれぞれに対して、3次元データ生成処理が行われる。
【0169】
<第4実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0170】
図25は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0171】
コンピュータ600において、CPU(Central Processing Unit)601,ROM(Read Only Memory)602,RAM(Random Access Memory)603は、バス604により相互に接続されている。
【0172】
バス604には、さらに、入出力インタフェース605が接続されている。入出力インタフェース605には、入力部606、出力部607、記憶部608、通信部609、及びドライブ610が接続されている。
【0173】
入力部606は、キーボード、マウス、マイクロフォンなどよりなる。出力部607は、ディスプレイ、スピーカなどよりなる。記憶部608は、ハードディスクや不揮発性のメモリなどよりなる。通信部609は、ネットワークインタフェースなどよりなる。ドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア611を駆動する。
【0174】
以上のように構成されるコンピュータ600では、CPU601が、例えば、記憶部608に記憶されているプログラムを、入出力インタフェース605及びバス604を介して、RAM603にロードして実行することにより、上述した一連の処理が行われる。
【0175】
コンピュータ600(CPU601)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア611に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0176】
コンピュータ600では、プログラムは、リムーバブルメディア611をドライブ610に装着することにより、入出力インタフェース605を介して、記憶部608にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部609で受信し、記憶部608にインストールすることができる。その他、プログラムは、ROM602や記憶部608に、あらかじめインストールしておくことができる。
【0177】
なお、コンピュータ600が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0178】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0179】
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0180】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0181】
なお、本開示は、以下のような構成もとることができる。
【0182】
(1)
被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、前記3次元データの生成に対する前記配置の評価値を算出する評価部
を備える情報処理装置。
(2)
前記評価部は、複数の前記配置の評価値を算出し、
前記評価部により算出された複数の前記配置の評価値のうちの最も高い評価を示す評価値に対応する前記配置を示す情報を表示部に表示させる表示制御部
をさらに備える
前記(1)に記載の情報処理装置。
(3)
前記2次元画像データに基づいて前記配置を算出する配置算出部と、
前記配置算出部により算出された前記配置を示す情報を表示部に表示させる表示制御部と
をさらに備える
前記(1)に記載の情報処理装置。
(4)
前記評価部により算出された前記配置の評価値を表示部に表示させる表示制御部
をさらに備える
前記(1)に記載の情報処理装置。
(5)
前記配置における前記撮影装置の画角を示す情報を表示部に表示させる表示制御部
をさらに備える
前記(1)に記載の情報処理装置。
(6)
前記評価部は、前記複数の撮影装置の画角に基づいて前記評価値を算出する
ように構成された
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記複数の撮影装置は、前記被写体の領域の周囲に配置され、
前記評価部は、前記複数の撮影装置の画角を3次元座標に投影する際に交差する領域と前記被写体の領域とに基づいて、前記評価値を算出する
ように構成された
前記(6)に記載の情報処理装置。
(8)
前記複数の撮影装置は、前記被写体の領域の内部に配置され、
前記評価部は、前記被写体の領域における前記複数の撮影装置の画角内の領域に基づいて、前記評価値を算出する
ように構成された
前記(6)に記載の情報処理装置。
(9)
前記評価値に基づいて、前記複数の撮影装置から、前記3次元データの生成に用いられる2次元画像データに対応する撮影装置を選択する選択部
をさらに備え、
前記評価部は、前記撮影装置ごとに前記配置の評価値を算出する
ように構成された
前記(1)または(3)に記載の情報処理装置。
(10)
前記複数の撮影装置は、前記被写体の領域の周囲に配置され、
前記評価部は、前記撮影装置ごとに、画角が前記被写体の領域を含む前記撮影装置の評価が、画角が前記被写体の領域を含まない前記撮影装置の評価に比べて高くなるように、前記撮影装置の評価値を算出し、
前記選択部は、画角が前記被写体の領域を含む前記撮影装置を選択する
ように構成された
前記(9)に記載の情報処理装置。
(11)
情報処理装置が、
被写体の3次元データの生成に用いられる2次元画像データを撮影する複数の撮影装置の配置に基づいて、前記3次元データの生成に対する前記配置の評価値を算出する評価ステップ
を含む情報処理方法。
【符号の説明】
【0183】
11−1乃至11−N 撮影装置, 12 情報処理装置, 22 表示制御部, 23 表示部, 25 キャリブレーション部, 82 評価部, 141 視聴領域, 145 Convex Hull, 241 領域, 271−1乃至271−4 撮影装置画像, 272 画角画像, 263 評価値表示部, 301 情報処理装置, 311 評価部, 312 表示制御部, 313 表示部, 333 評価値表示部, 341−1乃至341−4 実際撮影装置画像, 401 情報処理装置, 431 評価部, 432 生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
【国際調査報告】