特表-17149869IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-149869情報処理装置、方法、プログラム及びマルチカメラシステム
<>
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000007
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000008
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000009
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000010
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000011
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000012
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000013
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000014
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000015
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000016
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000017
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000018
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000019
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000020
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000021
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000022
  • 再表WO2017149869-情報処理装置、方法、プログラム及びマルチカメラシステム 図000023
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年9月8日
【発行日】2018年12月27日
(54)【発明の名称】情報処理装置、方法、プログラム及びマルチカメラシステム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181130BHJP
   H04N 5/247 20060101ALI20181130BHJP
【FI】
   H04N5/232 290
   H04N5/247
【審査請求】未請求
【予備審査請求】未請求
【全頁数】29
【出願番号】特願2018-502529(P2018-502529)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2016年11月25日
(31)【優先権主張番号】特願2016-37835(P2016-37835)
(32)【優先日】2016年2月29日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】押領司 宏
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA02
5C122EA48
5C122FA02
5C122FA12
5C122FA18
5C122FH11
5C122FK23
5C122FK34
5C122GA34
5C122GC77
5C122GE24
5C122GE26
5C122HB01
5C122HB10
(57)【要約】
【課題】マルチカメラシステムの校正を最適化するためのカメラの配置を、試行錯誤によらずに効率的に見出すこと。
【解決手段】撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、を備える情報処理装置を提供する。
【選択図】図8
【特許請求の範囲】
【請求項1】
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
を備える情報処理装置。
【請求項2】
前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部、をさらに備える、請求項1に記載の情報処理装置。
【請求項3】
前記評価部は、前記撮像用カメラの校正のために撮像される1つ以上のマーカもまた前記撮像空間に配置されるものとして、前記複数の撮像用カメラのそれぞれの配置、前記校正用カメラの配置及び前記1つ以上のマーカのそれぞれの配置に基づいて、前記校正精度を評価する、請求項2に記載の情報処理装置。
【請求項4】
前記配置決定部は、前記校正用カメラを配置することの可能な領域内の複数の候補配置の各々について前記評価部に前記校正精度を評価させ、最適な校正精度を有すると評価された候補配置に従って、前記校正用カメラの配置を決定する、請求項3に記載の情報処理装置。
【請求項5】
前記配置決定部は、前記校正用カメラの配置及び前記1つ以上のマーカのそれぞれの配置の双方を可変的なパラメータとして、前記最適な校正精度を探索し、当該探索を通じて前記校正用カメラの配置と前記1つ以上のマーカのそれぞれの配置とを決定する、請求項4に記載の情報処理装置。
【請求項6】
前記評価部は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第1の評価指標を用いて、前記校正精度を評価する、請求項3に記載の情報処理装置。
【請求項7】
前記評価部は、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第2の評価指標を用いて、前記校正精度を評価する、請求項3に記載の情報処理装置。
【請求項8】
前記配置決定部は、前記最適な校正精度を有すると評価された候補配置で前記校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを判定し、前記所定の校正精度条件が満たされないと判定される場合には、前記撮像空間に追加的な校正用カメラを配置すべきであると判定する、請求項2に記載の情報処理装置。
【請求項9】
前記所定の校正精度条件は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第1の評価指標、並びに、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第2の評価指標、のうちの少なくとも一方に基づく、請求項8に記載の情報処理装置。
【請求項10】
前記配置決定部は、前記撮像空間に追加的な校正用カメラを配置すべきであると判定した場合に、前記複数の撮像用カメラのうち、初期の前記校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、前記追加的な校正用カメラについて得られる前記校正精度を前記評価部に評価させる、請求項8に記載の情報処理装置。
【請求項11】
前記配置決定部は、初期の前記校正用カメラ及びゼロ個以上の前記追加的な校正用カメラの配置により前記所定の校正精度条件が満たされると判定されるまで、前記校正精度の評価と前記校正用カメラの追加とを繰り返す、請求項8に記載の情報処理装置。
【請求項12】
前記情報取得部は、前記校正用カメラを配置することの可能な領域を定義する領域情報、をさらに取得する、請求項1に記載の情報処理装置。
【請求項13】
前記情報取得部は、暫定的に決定される前記撮像空間内の前記校正用カメラの配置を示すさらなるカメラ配置情報を取得し、
前記情報処理装置は、前記カメラ配置情報及び前記さらなるカメラ配置情報を用いて前記評価部により実行される前記校正精度の評価の結果をユーザにフィードバックするユーザインタフェース部、をさらに備える、
請求項1に記載の情報処理装置。
【請求項14】
前記撮像用カメラの前記配置は、前記撮像用カメラの位置及び姿勢を含み、
前記校正用カメラの前記配置は、前記校正用カメラの少なくとも位置を含む、
請求項1に記載の情報処理装置。
【請求項15】
情報処理装置により実行される方法であって、
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、
を含む方法。
【請求項16】
情報処理装置のプロセッサを、
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
として機能させるためのプログラム。
【請求項17】
撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、
前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、
を含むマルチカメラシステムであって、
前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、
マルチカメラシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、方法、プログラム及びマルチカメラシステムに関する。
【背景技術】
【0002】
従来、実空間内の複数の地点にそれぞれ配置されるカメラからの画像を統合的に処理するマルチカメラシステムが知られている。マルチカメラシステムは、例えば、画像の記録又は再生の際に、複数のカメラからの画像をスティッチング(貼り合せ)して、1つの巨大な合成画像又は視野をシームレスに移動させながら連続的に再生される一連の画像を生成し得る。マルチカメラシステムは、被写体の3次元的な動きの解析又は認識のためにも利用され得る。マルチカメラシステムにおいて、複数のカメラからの画像を円滑に統合的に処理するためには、カメラの校正(キャリブレーション)が適切に行われ、カメラの位置、姿勢又は画角といったパラメータの相対的な関係が正確に把握されることが重要である。
【0003】
マルチカメラシステムのためのカメラの校正は、一般には、基準カメラ法又は逐次法に従って行われる。基準カメラ法によれば、複数の撮像用カメラのうちの1つが基準カメラとして選択され、基準カメラと残りのカメラの各々との間で校正が行われる。逐次法によれば、第1のカメラと第2のカメラとの間で校正が行われ、次に第2のカメラと第3のカメラとの間で校正が行われ、次に第3のカメラと第4のカメラとの間で校正が行われ…、というように、カスケード式に校正が行われる。特許文献1は、マルチカメラシステムにおいて、各カメラにより撮像される画像の輝度及びホワイトバランスなどの画像特性を基準カメラ法に従って校正する手法を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−088247号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、既存の基準カメラ法には、基準カメラと他の撮像用カメラとのペアの全てについて校正のために最適な配置が必ずしも実現されるとは限らない、という欠点がある。多くの場合、カメラ配置は、配置現場でのオペレータによる試行錯誤を通じて決定される。しかし、例えば校正のためにカメラの配置を最適化すると、その配置は撮像のためには適していないといった、トレードオフの問題もある。
【0006】
一方、逐次法には、カスケード式に校正が行われる結果として、誤差が累積してしまうという欠点がある。最終的に誤差をカメラ間で分散するための再計算(いわゆるバンドル調整)を実行すれば誤差そのものは軽減され得るが、その再計算の計算コストは膨大になりがちである。
【0007】
本開示に係る技術は、こうした既存の手法の欠点の少なくとも1つを解消し又は軽減することを目的とする。
【課題を解決するための手段】
【0008】
本開示によれば、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、を備える情報処理装置が提供される。
【0009】
また、本開示によれば、情報処理装置により実行される方法であって、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、を含む方法が提供される。
【0010】
また、本開示によれば、情報処理装置のプロセッサを、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、として機能させるためのプログラムが提供される。
【0011】
また、本開示によれば、撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、を含むマルチカメラシステムであって、前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、マルチカメラシステムが提供される。
【発明の効果】
【0012】
本開示に係る技術によれば、マルチカメラシステムの校正を最適化するためのカメラの配置を、試行錯誤によらずに効率的に見出すことができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0013】
図1】マルチカメラシステムの一般的な構成の一例について説明するための説明図である。
図2】マルチカメラシステムの一般的な構成の他の例について説明するための説明図である。
図3】マルチカメラシステムの校正のための既存の手法の一例について説明するためのシーケンス図である。
図4】一実施形態において採用される校正用カメラの配置について説明するための説明図である。
図5】校正用カメラを用いた撮像用カメラの校正について説明するための説明図である。
図6】校正用カメラの追加について説明するための説明図である。
図7】一実施形態に係る校正精度評価装置の用途について説明するための説明図である。
図8】一実施形態に係る校正精度評価装置の構成の一例を示すブロック図である。
図9A】位置評価指標の一例について説明するための説明図である。
図9B】姿勢評価指標の一例について説明するための説明図である。
図10】追加的な校正用カメラの配置の探索について説明するための説明図である。
図11】一実施形態に係る配置最適化処理の流れの一例を示すフローチャートである。
図12図11に示した位置探索処理の詳細な流れの一例を示すフローチャートである。
図13図11に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。
図14】校正用カメラとして全天周カメラが採用される場合の配置最適化処理の流れの一例を示すフローチャートである。
図15図14に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。
図16】一実施形態に係る校正精度評価装置の他の用途について説明するための説明図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
また、以下の順序で説明を行う。
1.序論
1−1.マルチカメラシステムの一般的な構成
1−2.校正のための既存の手法
1−3.校正用カメラの採用
1−4.校正精度評価装置の導入
2.一実施形態に係る校正精度評価装置の構成
3.一実施形態に係る処理の流れ
3−1.配置最適化処理
3−2.位置探索処理
3−3.姿勢探索処理
4.全天周カメラの採用
4−1.校正用カメラとしての全天周カメラ
4−2.撮像用カメラとしての全天周カメラ
5.応用例
6.まとめ
【0016】
<1.序論>
[1−1.マルチカメラシステムの一般的な構成]
図1は、マルチカメラシステムの一般的な構成の一例について説明するための説明図である。図1を参照すると、撮像空間10に複数のカメラ20a、20b、20c及び20dが配置されている。これらカメラ20a、20b、20c及び20dは、それぞれの視点からフィールド11を撮像し、撮像画像を生成する。撮像画像は、静止画であってもよく、又は動画を構成するフレームの各々であってもよい。フィールド11は、撮像の対象が存在する部分空間である。図1の例では、フィールド11は、スポーツが行われるサイトである。カメラ20a、20b、20c及び20dにより生成される撮像画像は、ネットワークを介してサーバ30へ送信される。サーバ30は、カメラ20a、20b、20c及び20dから受信される撮像画像を統合的に処理する。例えば、サーバ30は、画像の記録又は再生の際に、異なる視点からの複数の撮像画像をスティッチングして、1つの巨大な合成画像を生成してもよい。また、サーバ30は、ディスプレイの視野をシームレスに移動させながら連続的に再生される一連の画像を生成してもよい。また、サーバ30は、視差の解析に基づいて被写体の3次元的な動きを認識してもよい。
【0017】
マルチカメラシステムは、いかなる数のカメラを含んでもよい。また、カメラは、システムの目的に沿っていかなる位置及び姿勢で撮像空間に配置されてもよい。本明細書において、カメラの「配置」とは、通常は、実空間内のカメラの位置及び姿勢を意味するものとする。但し、画角に制限の無い全天周カメラのように、その姿勢を考慮することを省略し得る場合には、カメラの「配置」とは、実空間内のカメラの位置のみを意味してもよい。
【0018】
図2は、マルチカメラシステムの一般的な構成の他の例について説明するための説明図である。図2を参照すると、撮像空間12に複数のカメラ20e、20f及び20gが配置されている。これらカメラ20e、20f及び20gは、それぞれの視点からフィールド13を撮像し、撮像画像を生成する。図2の例においても、カメラ20e、20f及び20gにより生成される撮像画像は、ネットワークを介してサーバ30へ送信され、サーバ30により統合的に処理される。
【0019】
なお、以下の説明において、カメラ20a〜20gを互いに区別する必要の無い場合には、符号の末尾のアルファベットを省略することにより、これらをカメラ20と総称する。
【0020】
[1−2.校正のための既存の手法]
図3は、図1及び図2に例示したようなマルチカメラシステムの校正のための既存の手法の一例について説明するためのシーケンス図である。図3に示した校正の手法には、オペレータ15、複数のカメラ20、及びサーバ30が関与する。
【0021】
まず、マルチカメラシステムの撮像空間への配備に際して、オペレータ15は、カメラ及びマーカの配置を事前に決定する(ステップS10)。マーカは、校正のために利用される、既知の視覚的パターンを有するオブジェクトである。校正は、例えば、撮像空間内のマーカの配置を基準にして、撮像画像内のマーカの見え方からカメラの配置を導出することにより行われ得る。ここでは、オペレータ15により配置を動かすことのできる人工マーカが利用されるものとする(マーカが撮像空間に内在する自然マーカである場合には、マーカの配置は、オペレータ15により決定されず、固定的に定義され得る)。そして、オペレータ15は、ステップS10における決定に従って、カメラ及びマーカを撮像空間に配置する(ステップS12)。
【0022】
次に、カメラ20は、それぞれマーカを撮像し、マーカ画像を生成する(ステップS20)。そして、カメラ20は、生成したマーカ画像をサーバ30へ送信する。サーバ30は、カメラ20からマーカ画像を取得し(ステップS22)、校正を実行する(ステップS24)。例えば、カメラ20a及びカメラ20bが1つの共通的なマーカをそれぞれの視点から撮像した場合、これらカメラからの2つのマーカ画像を用いて、カメラ20aとカメラ20bとの間の相対的な位置関係(又は画角の間の関係)を知得することができる。
【0023】
その後、撮像空間から必要に応じて人工マーカが除去され、サーバ30から各カメラ20へ撮像開始が指示される(ステップS30)。各カメラ20は、撮像対象のフィールドを撮像し(ステップS32)、撮像画像をサーバ30へ送信する。サーバ30は、複数のカメラ20から撮像画像を収集し(ステップS34)、多視点画像処理を実行する(ステップS36)。ここで実行される多視点画像処理は、複数の画像の同期的な記録、画像のスティッチング又は被写体の3次元的な動きの解析など、いかなる種類の処理であってもよい。多視点画像処理において、ステップS24での校正の結果(例えば、カメラ間の位置関係)が活用され得る。ステップS32〜S36は、任意の回数繰り返されてよい。
【0024】
オペレータ15は、必要に応じて校正精度を検証する(ステップS40)。既存の手法によれば、十分な校正精度が得られるか否かは、カメラ及びマーカを実際に配置してみるまで不明である。オペレータ15は、十分な校正精度が得られていないと判断される場合には、カメラ及びマーカの配置を変更する。これは、システムの本格的な運用が開始される前に、カメラ及びマーカの配置について試行錯誤が行われ得ることを示唆する。
【0025】
[1−3.校正用カメラの採用]
撮像対象のフィールド(又はフィールド内の被写体)を撮像するために適したカメラの配置は、必ずしも校正のためにも適しているわけではない。逆に、校正のためにカメラの配置を最適化すると、その配置は、撮像画像のコンテンツとしての魅力を十分に引き出すことができないかもしれない。そこで、本開示に係る技術の一実施形態において、撮像空間を撮像する複数の撮像用カメラとは別に、それら撮像用カメラの配置についての校正に関与する校正用カメラが採用され得る。撮像空間内の撮像用カメラの配置は、例えばコンテンツの魅力を高めるという観点で事前に決定されてよい。一方、校正用カメラの配置は、複数の撮像用カメラの配置を所与として、校正の精度を最適化するように決定される。校正用カメラは、一旦校正が終了すると、撮像空間から除去されてもよい。
【0026】
図4は、一実施形態において採用される校正用カメラの配置について説明するための説明図である。図4を参照すると、マルチカメラシステム1は、撮像用カメラ20a、20b、20c及び20d、並びに校正用カメラ41を含む。撮像用カメラ20a、20b、20c及び20dは、撮像空間内のそれぞれ異なる位置に異なる姿勢で配置される。撮像用カメラ20a、20b、20c及び20dの配置は、例えばフィールド11の撮像を通じて最も魅力的な多視点画像コンテンツが提供されるように決定される。校正用カメラ41は、カメラ配置可能領域内で、校正の精度を最適化する位置及び姿勢で配置される。図4には、3次元的な撮像空間内の、フィールド11の周囲の第1のカメラ配置可能領域45a及びフィールド11の上空の第2のカメラ配置可能領域45bが示されている。
【0027】
図5は、校正用カメラを用いた撮像用カメラの校正について説明するための説明図である。図5を参照すると、図4と同様の、撮像用カメラ20a、20b、20c及び20d、並びに校正用カメラ41を含むマルチカメラシステム1が再び示されている。さらに、フィールド11には、マーカ51a、51b、51c及び51dが配置されている。ここでは、校正用カメラ41は、上述した基準カメラ法における基準カメラとしての役割を有する。そして、撮像用カメラ20aの校正は、撮像用カメラ20a及び校正用カメラ41がマーカ51aを撮像することにより行われる。撮像用カメラ20bの校正は、撮像用カメラ20b及び校正用カメラ41がマーカ51bを撮像することにより行われる。撮像用カメラ20cの校正は、撮像用カメラ20c及び校正用カメラ41がマーカ51cを撮像することにより行われる。撮像用カメラ20dの校正は、撮像用カメラ20d及び校正用カメラ41がマーカ51dを撮像することにより行われる。このように、専ら校正の精度を最適化するように配置される校正用カメラ41を採用し、校正用カメラ41を基準カメラ法における基準カメラとして利用することで、カメラ配置の最適化に関する上述したトレードオフを解決することができる。なお、ここでは1つの撮像用カメラについて1つのマーカが存在する例を示したが、撮像用カメラとマーカとの間の関係は必ずしも1対1でなくてもよい。例えば、2つ以上の撮像用カメラの校正のために1つの共通的なマーカが撮像されてもよい。また、1つの撮像用カメラの校正のために2つ以上のマーカが撮像されてもよい。
【0028】
一実施形態において、マルチカメラシステムは、2つ以上の校正用カメラを含んでもよい。図6は、校正用カメラの追加について説明するための説明図である。図6を参照すると、マルチカメラシステム1は、撮像用カメラ20a、20b、20c及び20d並びに校正用カメラ41に加えて、校正用カメラ42を含む。校正用カメラ42は、例えば、1つの校正用カメラ41を基準カメラとして利用するのみではシステム全体として十分な校正精度が達成されないと判定される場合に、システムに追加され得る。図6の例では、撮像用カメラ20aの校正は、撮像用カメラ20a及び校正用カメラ41がマーカ51aを撮像することにより行われる。撮像用カメラ20bの校正は、撮像用カメラ20b及び校正用カメラ41がマーカ51bを撮像することにより行われる。撮像用カメラ20cの校正は、撮像用カメラ20c及び校正用カメラ42がマーカ51cを撮像することにより行われる。撮像用カメラ20dの校正は、撮像用カメラ20d及び校正用カメラ42がマーカ51dを撮像することにより行われる。そして、校正用カメラ41及び校正用カメラ42の双方がマーカ51dを撮像して上述した逐次法を適用することで、撮像用カメラ20a及び20bの校正結果と、撮像用カメラ20c及び20dの校正結果とを統合することができる。
【0029】
なお、一実施形態において、専ら校正の精度を最適化するように校正用カメラが配置され、撮像用カメラの校正が行われた後、校正用カメラもまた撮像空間を撮像する目的で利用されてもよい。
【0030】
[1−4.校正精度評価装置の導入]
さらに、本開示に係る技術の一実施形態において、校正用カメラの配置は、既存の手法のようにオペレータにより試行錯誤的に決定されるのではなく、新たに導入される校正精度評価装置により決定される。
【0031】
図7は一実施形態に係る校正精度評価装置100の用途について説明するための説明図である。図7の例において、校正精度評価装置100は、情報処理装置である。校正精度評価装置100は、例えば、CPU(Central Processing Unit)などのプロセッサ、ROM(Read Only Memory)などの不揮発性メモリ及びRAM(Random Access Memory)などの揮発性メモリを有し得る。校正精度評価装置100は、例えば、撮像空間に配置される複数の撮像用カメラの配置を示す撮像用カメラ配置情報を、入力情報として取得する。なお、入力情報として取得されるカメラ配置情報は、後の校正処理において導出される配置情報と比較して、格段に粗い精度で各カメラの配置を示せばよい。そして、校正精度評価装置100は、撮像空間に校正用カメラを配置した場合に得られる校正精度を、複数の撮像用カメラのそれぞれの配置及び校正用カメラの暫定的な配置に基づいて評価する。校正精度の評価は、1つ以上の評価指標を計算することにより行われ得る。校正精度評価装置100は、校正用カメラ(及び必要に応じてマーカ)の様々な(暫定的な)配置について評価指標を計算し、最も良好なスコアを示す配置を、最適な配置であると決定する。校正精度評価装置100は、最適化の結果(即ち、校正用カメラ(及びマーカ)の最適な配置)を、モニタ上に表示してもよく、メモリに記憶してもよく、又は印刷してもよい。
【0032】
ユーザ(例えば、オペレータ)は、撮像用カメラ配置情報及び他のいくつかの補足的な情報を校正精度評価装置100へ入力するだけで、マルチカメラシステムの校正を良好な精度で行うための校正用カメラの配置を容易に知得することができる。こうした校正精度評価装置100の具体的な構成の一例について、次節以降で詳細に説明する。
【0033】
<2.一実施形態に係る校正精度評価装置の構成>
図8は、一実施形態に係る校正精度評価装置100の構成の一例を示すブロック図である。図8を参照すると、校正精度評価装置100は、情報取得部110、ユーザインタフェース部120、配置決定部130、精度評価部140及び記憶部150を備える
【0034】
情報取得部110は、校正精度評価装置100における校正精度の評価及び校正用カメラの配置の最適化を実行するための入力情報を取得する。情報取得部110により取得される入力情報は、少なくとも、撮像空間内の複数の撮像用カメラの配置を示す撮像用カメラ配置情報を含む。撮像用カメラ配置情報は、例えば、M個の撮像用カメラの各々についての、撮像用カメラ位置Pimg_m及び撮像用カメラ姿勢Aimg_m(m=1,…,M)を含む。さらに、情報取得部110により取得される入力情報は、M個の撮像用カメラの各々についてのカメラパラメータ情報PRimg_m(m=1,…,M)を含む。カメラパラメータ情報は、撮像用カメラの校正のために必要とされるカメラ内部パラメータの集合であってよく、例えば、焦点距離、画角、アスペクト比、及びスキュー(歪み)をそれぞれ表すパラメータを含み得る。さらに、情報取得部110により取得される入力情報は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報Rclbをも含み得る。これら入力情報は、ユーザインタフェース部120の何らかの入力手段を介して入力されてもよく、記憶部150により予め記憶されてもよく、又は図示しない通信インタフェースを介して他の装置から取得されてもよい。情報取得部110は、取得した入力情報を配置決定部130へ出力する。
【0035】
ユーザインタフェース部120は、ユーザによる校正精度評価装置100への指示又は情報の入力のための入力インタフェース121と、情報を表示するための表示インタフェース123とを含み得る。入力インタフェース121は、例えば、タッチパネル、キーパッド、キーボード、マウス又はタッチパッドなどを含み得る。表示インタフェース123は、液晶ディスプレイ若しくはOLED(Organic light-Emitting Diode)ディスプレイなどのモニタ、又はプロジェクタを含み得る。
【0036】
配置決定部130は、撮像空間に配置される校正用カメラの最適な配置を決定するための探索処理を実行する。配置決定部130は、例えば、カメラ配置可能領域情報Rclbにより定義されるカメラ配置可能領域の範囲内で、校正用カメラの1つの候補配置pclb,aclbを設定し、設定した候補配置について精度評価部140に校正精度を評価させる。ここでの校正精度の評価は、実際に校正を実行して精度を測定するのではなく、校正用カメラの暫定的な配置(即ち、候補配置)に基づいて1つ以上の評価指標を計算することにより行われる。配置決定部130は、こうした候補配置の設定と校正精度の評価とを、複数の候補配置の各々について繰り返し、最適な校正精度を有すると評価された候補配置に従って校正用カメラの配置を決定する。
【0037】
配置決定部130は、固定的でないマーカが校正のために利用される場合には、N個のマーカの各々についても候補配置pmrk_n,amrk_n(n=1,…,N)を設定し、校正精度の評価の入力として候補配置pmrk_n,amrk_nを精度評価部140に与えてもよい。撮像空間に内在する固定的な自然マーカが利用される場合には、マーカの配置は予め定義され、その配置情報が精度評価部140に与えられ得る。これ以降、説明の簡明さのために、マーカの数Nは撮像用カメラの数Mと等しく、1つの撮像用カメラの校正のために1つのマーカが撮像されるものとする。但し、本開示に係る技術は、マーカの数Nが撮像用カメラの数Mと異なるケースにも適用可能である。
【0038】
精度評価部140は、撮像空間に校正用カメラを配置した場合に得られる校正精度を、M個の撮像用カメラのそれぞれの配置Pimg_m,Aimg_m及び校正用カメラの候補配置pclb,aclbに基づいて評価する。精度評価部140は、撮像用カメラの校正のために撮像されるN個のマーカもまた撮像空間に配置されるものとして、N個のマーカのそれぞれの配置にも基づいて、校正精度を評価してもよい。上述したように、あるケースでは、校正用カメラの配置及びN個のマーカのそれぞれの配置の双方が、最適な校正精度を探索する際の可変的なパラメータであり、当該探索を通じて校正用カメラの配置とN個のマーカのそれぞれの配置とが決定される。他のケースでは、N個のマーカのそれぞれの配置は固定的であり、校正用カメラの配置のみが探索の際の可変的なパラメータである。
【0039】
概して、校正精度は、校正の際に撮像されるマーカ画像にマーカが大きく(高い解像度で)映っているほど高くなる。よって、システム全体としての校正精度を高めるためには、校正用カメラ及びどの撮像用カメラからも平均的に遠くない場所に、それぞれ対応するマーカが位置していることが望ましい。撮像すべきマーカが極端に遠くに位置しているカメラが存在すると、十分な校正精度は達成されない。そこで、一例として、精度評価部140は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第1の評価指標を用いて、校正精度を評価する。第1の評価指標は、主にカメラの位置の探索のために利用される指標である。ここでは、第1の評価指標を位置評価指標CPOSという。位置評価指標CPOSは、例えば、次の式(1)により定義される。
【0040】
【数1】
【0041】
式(1)の右辺に含まれるDは、i番目のマーカの(候補)位置pmrk_iと、当該マーカに対応するi番目の撮像用カメラの位置Pimg_iとの間の距離を表す(式(2)参照)。Daveは、マーカと撮像用カメラとのM個のペアにわたる、距離Dの平均値を表す。式(1)の右辺に含まれるdは、j番目のマーカの(候補)位置pmrk_jと、校正用カメラの位置pclbとの間の距離を表す(式(3)参照)。daveは、マーカと校正用カメラとのN個のペアにわたる、距離dの平均値を表す。
【0042】
図9Aは、式(2)及び式(3)によりそれぞれ定義される中間パラメータD及びdについての理解のために供される説明図である。図9Aにおいて、距離Dは、k番目のマーカ51kとk番目の撮像用カメラ20kとの間の距離を表す。距離Dは、h番目のマーカ51hとh番目の撮像用カメラ20hとの間の距離を表す。距離dは、k番目のマーカ51kと暫定的に配置される校正用カメラ41との間の距離を表す。距離dは、h番目のマーカ51hと暫定的に配置される校正用カメラ41との間の距離を表す。
【0043】
あり得る全ての校正用カメラの候補位置、及びマーカの候補位置にわたって精度評価部140により位置評価指標CPOSが計算されると、配置決定部130は、最適な校正用カメラの位置Pclb及びN個のマーカの位置Pmrk_nを、次式のように位置評価指標CPOSを最小化するデータセットとして決定することができる。
【0044】
【数2】
【0045】
また、概して、校正精度は、校正の際に撮像されるマーカ画像の中心のより近くにマーカが映っているほど高くなる。撮像すべきマーカがマーカ画像の縁部に映っている場合には、マーカのパターンがレンズ歪みの影響を強く受けて校正の精度が低下し得る。さらに、校正精度は、マーカ画像内でマーカが正面を向いているほど高くなる。マーカが2次元マーカである場合に、マーカが浅い角度でマーカ画像に映っている(例えば、マーカが横を向いている)場合には、やはり校正の精度は低下し得る。よって、システム全体としての校正精度を高めるためには、各カメラとマーカとを結ぶ光路が各カメラの光軸に対してなす角度ができる限り小さいこと、及び各カメラとマーカとを結ぶ光路がマーカの校正用パターンの法線に対してなす角度ができる限り小さいことが望ましい。そこで、精度評価部140は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する第2の評価指標を用いて、校正精度を評価する。第2の評価指標は、主にカメラの姿勢の探索のために利用される指標である。ここでは、第2の評価指標を姿勢評価指標CATTという。姿勢評価指標CATTは、例えば、次の式(5)により定義される。
【0046】
【数3】
【0047】
式(5)の右辺に含まれるαは、i番目のマーカの位置Pmrk_iとi番目の撮像用カメラの位置Pimg_iとの間の光路がi番目の撮像用カメラの姿勢Aimg_iに対してなす角度を表す(式(6)参照)。βは、i番目のマーカの位置Pmrk_iとi番目の撮像用カメラの位置Pimg_iとの間の光路がi番目のマーカの(候補)姿勢amrk_iに対してなす角度を表す(式(7)参照)。式(5)の右辺に含まれるγは、j番目のマーカの位置Pmrk_jと校正用カメラの位置Pclbとの間の光路が校正用カメラの姿勢aclbに対してなす角度を表す(式(8)参照)。δは、j番目のマーカの位置Pmrk_jと撮像用カメラの位置Pclbとの間の光路がj番目のマーカの(候補)姿勢amrk_jに対してなす角度を表す(式(9)参照)。
【0048】
図9Bは、式(6)〜(9)によりそれぞれ定義される中間パラメータα、β、γ及びδについての理解のために供される説明図である。図9Bにおいて、角度αは、k番目のマーカ51kとk番目の撮像用カメラ20kとの間の光路91kがk番目の撮像用カメラ20kの光軸92k(姿勢に相当)に対してなす角度である。角度βは、k番目のマーカ51kとk番目の撮像用カメラ20kとの間の光路91kがk番目のマーカ51kの法線93k(姿勢に相当)に対してなす角度である。角度γは、k番目のマーカ51kと校正用カメラ41との間の光路94kが校正用カメラ41の光軸95(姿勢に相当)に対してなす角度である。角度δは、k番目のマーカ51kと校正用カメラ41との間の光路94kがk番目のマーカ51kの法線93k(姿勢に相当)に対してなす角度である。
【0049】
あり得る全ての校正用カメラの候補姿勢、及びマーカの候補姿勢にわたって精度評価部140により姿勢評価指標CATTが計算されると、配置決定部130は、最適な校正用カメラの姿勢Aclb及びN個のマーカの姿勢Amrk_nを、次式のように姿勢評価指標CATTを最大化するデータセットとして決定することができる。
【0050】
【数4】
【0051】
配置決定部130は、式(1)及び式(5)を用いて精度評価部140により計算される評価指標が示す(予期される)校正精度に基づいて、校正用カメラ(及び必要に応じてマーカ)の最適な配置を決定し得る。配置決定部130は、例えば、式(4)に従って、校正用カメラ及びマーカについて最適な位置を示す単一のデータセットを選択する代わりに、位置評価指標CPOSのスコアの順に複数個の位置データセットを選択し、それら位置データセットに基づいてそれぞれ式(10)に従った姿勢の探索を実行してもよい。また、配置決定部130は、姿勢の探索の結果として、校正用カメラ及びマーカの最適な位置及び姿勢を示す単一のデータセットを出力してもよく、又は評価指標のスコアの順に複数個のデータセットを出力してもよい。
【0052】
一実施形態において、配置決定部130は、最適な校正精度を有すると評価された候補配置で校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを検証してもよい。ここでの所定の校正精度条件は、上述した位置評価指標CPOS及び姿勢評価指標CATTのうちの少なくとも一方に基づく条件であってよく、例えば次のうちの1つ以上を含み得る:
条件1)位置評価指標CPOSが第1の閾値を下回る
条件2)姿勢評価指標CATTが第2の閾値を上回る
なお、位置評価指標CPOSと比較される第1の閾値及び姿勢評価指標CATTと比較される第2の閾値は、撮像用カメラの数M又はマーカの数Nに依存する可変的な値であってもよい。また、これら閾値は、記憶部150により予め記憶されてもよく、又はユーザインタフェース部120を介してユーザにより指定されてもよい。
【0053】
配置決定部130は、位置及び姿勢の探索の結果として得られた配置で校正用カメラを配置した場合に上述した校正精度条件が満たされないと判定される場合には、撮像空間に追加的な校正用カメラを配置すべきであると判定してもよい。配置決定部130は、撮像空間に追加的な校正用カメラを配置すべきであると判定した場合には、追加的な校正用カメラの配置を決定するための位置及び姿勢の探索を、精度評価部140により計算される上述した位置評価指標CPOS及び姿勢評価指標CATTを用いて再び実行し得る。この再探索の際に、配置決定部130は、複数の撮像用カメラのうち、(初回の探索の結果として配置の確定した)初期の校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、追加的な校正用カメラについて得られる校正精度を精度評価部140に評価させてもよい。
【0054】
図10は、追加的な校正用カメラの配置の探索について説明するための説明図である。図10の例では、初回の位置及び姿勢の探索の結果として、初期の校正用カメラ41、並びにマーカ51a、51b、51c及び51dの組合せについて精度評価部140により計算された評価指標が最も良好なスコアを示し、しかしその評価指標は上述した校正精度条件を満たさなかったものとする。そこで、配置決定部130は、撮像空間に追加的な校正用カメラを配置してシステム全体としての校正精度を向上させることを決定する。
【0055】
追加的な校正用カメラの配置は、上で説明した初回の位置及び姿勢の探索と同様の再探索を通じて決定され得る。但し、この再探索のために、配置決定部130は、撮像用カメラ20a、20b、20c及び20dのうち、初回の探索時の位置評価指標CPOS及び姿勢評価指標CATTの劣化により強く関係している撮像用カメラを選択する。ここで選択される撮像用カメラは、対応するマーカへの距離がより大きい撮像用カメラ、又は対応するマーカと初期の校正用カメラとの間の距離がより大きい撮像用カメラであってもよい。また、ここで選択される撮像用カメラは、対応するマーカが良好な姿勢を有しない撮像用カメラであってもよい。図10の例では、初回の探索時の評価指標の劣化により強く関係している撮像用カメラとして、撮像用カメラ20c及び20dが選択されている。撮像用カメラ20a及び20bは、初期の校正用カメラ41により良好に校正可能であるため、再探索における評価指標の計算から除外される。撮像用カメラ20a及び20bにそれぞれ対応するマーカ51a及び51bの配置は、再探索の前に確定される。そして、配置決定部130は、初回の探索よりも少ない数の撮像用カメラの配置に基づいて、追加的な校正用カメラについて予期される校正精度を精度評価部140に評価させ、評価指標が最も良好なスコアを示す追加的な校正用カメラの配置と、未確定のマーカの配置とを決定する。図10の例では、校正用カメラ42を追加的に配置すべきであることが、再探索の結果として決定されている。一例として、撮像用カメラ20dに対応するマーカ51dの配置は、初期の校正用カメラ41と追加的な校正用カメラ42との間の校正結果の統合を可能とするために、初回の探索の結果のまま維持され得る。一方、撮像用カメラ20cに対応するマーカの配置は再探索において可変とされ、新たにマーカ51eを配置すべきであることが決定されている。
【0056】
配置決定部130は、初期の校正用カメラ及びゼロ個以上の追加的な校正用カメラの配置により上述した校正精度条件が満たされると判定されるまで、校正精度の評価と校正用カメラの追加とを繰り返してよい。そして、上述した校正精度条件が満たされると、マルチカメラシステム1に配置すべき校正用カメラの数とその配置、及びマーカ群の配置が全て確定し得る。なお、配置決定部130は、校正用カメラの数が所定の上限数に達した場合には、校正精度条件が満たされるか否かに関わらず、再探索の繰り返しを打ち切ってもよい。
【0057】
<3.一実施形態に係る処理の流れ>
本節では、上述した校正精度評価装置100により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0058】
[3−1.配置最適化処理]
図11は、一実施形態に係る配置最適化処理の流れの一例を示すフローチャートである。図11に示した処理は、撮像空間内の複数の撮像用カメラの配置が決定された後に、例えばユーザにより入力インタフェース121を介して入力されるトリガに応じて開始され得る。
【0059】
まず、情報取得部110は、撮像用カメラの配置を示す撮像用カメラ配置情報、及び撮像用カメラのカメラ内部パラメータを示すカメラパラメータ情報を取得する(ステップS100)。また、情報取得部110は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報を取得する(ステップS105)。
【0060】
次に、配置決定部130は、校正用カメラ(及びマーカ)の最適な位置を決定するために、位置探索処理を実行する(ステップS110)。ここで実行される位置探索処理について、後により詳細に説明する。配置決定部130は、位置探索処理の結果として、カメラ配置可能領域情報により示される領域の範囲内で最適な校正用カメラの位置を決定する。また、配置決定部130は、1つ以上のマーカの最適な位置をも決定し得る。
【0061】
次に、配置決定部130は、校正用カメラ(及びマーカ)の最適な姿勢を決定するために、姿勢探索処理を実行する(ステップS120)。ここで実行される姿勢探索処理について、後により詳細に説明する。配置決定部130は、姿勢探索処理の結果として、ステップS110において決定した位置において最適な校正用カメラの姿勢を決定する。また、配置決定部130は、1つ以上のマーカの最適な姿勢をも決定し得る。
【0062】
次に、配置決定部130は、位置探索処理及び姿勢探索処理の結果として決定された最適な配置に対応する、精度評価部140により計算された評価指標(例えば、位置評価指標及び姿勢評価指標)のスコアを取得する(ステップS140)。そして、配置決定部130は、評価指標が校正精度条件を満たすか否かを判定する(ステップS145)。評価指標が校正精度条件を満たす場合には、処理はステップS180へ移る。一方、評価指標が校正精度条件を満たさない場合には、処理はステップS150へ移る。
【0063】
ステップS150において、配置決定部130は、初期の校正用カメラにより良好に校正可能な撮像用カメラを再探索における評価の対象から除外する(ステップS150)。そして、配置決定部130は、追加的な校正用カメラ(及び未確定のマーカ)の最適な位置を決定するために、位置探索処理を実行する(ステップS160)。ここで実行される位置探索処理は、一部の撮像用カメラ及び対応するマーカが考慮されないことを除き、ステップS110において実行される処理と同様であってよい。また、配置決定部130は、追加的な校正用カメラ(及び未確定のマーカ)の最適な姿勢を決定するために、姿勢探索処理を実行する(ステップS170)。ここで実行される姿勢探索処理は、一部の撮像用カメラ及び対応するマーカが考慮されないことを除き、ステップS120において実行される処理と同様であってよい。これら位置探索処理及び姿勢探索処理の結果として、追加的な校正用カメラの最適な配置(及び未確定であったマーカの最適な配置)が決定される。
【0064】
次に、配置決定部130は、再探索により決定した最適な配置に対応する評価指標のスコアを取得し(ステップS140)、評価指標が校正精度条件を満たすか否かを判定する(ステップS145)。配置決定部130は、上述したステップS140〜S170の処理を、上述した校正精度条件が満たされるまで繰り返す。
【0065】
そして、配置決定部130は、校正精度条件が満たされると(又は校正用カメラの数が所定の上限数に達すると)、1つ以上の校正用カメラ及びマーカの全ての配置を確定させる(ステップS180)。
【0066】
[3−2.位置探索処理]
図12は、図11に示した位置探索処理の詳細な流れの一例を示すフローチャートである。
【0067】
図12を参照すると、まず、配置決定部130は、カメラ配置可能領域情報により示される配置可能領域の範囲内に、探索のための校正用カメラの候補位置を設定する(ステップS111)。また、配置決定部130は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補位置を設定する(ステップS112)。なお、マーカの位置が固定的である場合には、ステップS112はスキップされてよい。
【0068】
次に、精度評価部140は、マーカまでの距離のばらつきに関する位置評価指標を、校正用カメラの候補位置、マーカの位置及び撮像用カメラの位置に基づいて計算する(ステップS113)。
【0069】
配置決定部130は、あり得るマーカの全ての候補位置の組合せについて位置評価指標の計算が終了するまで、上述したステップS112及びS113を繰り返す(ステップS114)。また、配置決定部130は、探索範囲内の校正用カメラの全ての候補位置について位置評価指標の計算が終了するまで、上述したステップS111〜S114を繰り返す(ステップS115)。
【0070】
探索が終了すると、配置決定部130は、最も良好な(又はある上位のいくつかの)位置評価指標を示す校正用カメラ及びマーカの候補位置のセットを選択する(ステップS116)。
【0071】
[3−3.姿勢探索処理]
図13は、図11に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。
【0072】
図13を参照すると、まず、配置決定部130は、位置探索処理の結果として決定した校正用カメラの位置における、探索のための校正用カメラの候補姿勢を設定する(ステップS121)。また、配置決定部130は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補姿勢を設定する(ステップS122)。なお、マーカの姿勢が固定的である場合には、ステップS122はスキップされてよい。
【0073】
次に、精度評価部140は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する姿勢評価指標を、校正用カメラの位置及び候補姿勢、マーカの位置及び候補姿勢、並びに撮像用カメラの位置及び姿勢に基づいて計算する(ステップS123)。
【0074】
配置決定部130は、あり得るマーカの全ての候補姿勢の組合せについて姿勢評価指標の計算が終了するまで、上述したステップS122及びS123を繰り返す(ステップS124)。また、配置決定部130は、校正用カメラの全ての候補姿勢について姿勢評価指標の計算が終了するまで、上述したステップS121〜S124を繰り返す(ステップS125)。
【0075】
探索が終了すると、配置決定部130は、最も良好な姿勢評価指標を示す校正用カメラ及びマーカの候補姿勢のセットを選択する(ステップS126)。
【0076】
<4.全天周カメラの採用>
[4−1.校正用カメラとしての全天周カメラ]
全天周カメラは、方位角及び仰俯角の双方において、360°の画角を有し得るカメラである。校正用カメラとして全天周カメラが採用される場合、校正用カメラの姿勢は、校正精度にほとんど影響しなくなる。そのため、この場合、配置最適化処理において、校正用カメラの位置のみが実質的な探索の対象とされてよい。
【0077】
図14は、校正用カメラとして全天周カメラが採用される場合の配置最適化処理の流れの一例を示すフローチャートである。図14に示した処理は、撮像空間内の複数の撮像用カメラの配置が決定された後に、例えばユーザにより入力インタフェース121を介して入力されるトリガに応じて開始され得る。
【0078】
まず、情報取得部110は、撮像用カメラの配置を示す撮像用カメラ配置情報、及び撮像用カメラのカメラ内部パラメータを示すカメラパラメータ情報を取得する(ステップS100)。また、情報取得部110は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報を取得する(ステップS105)。
【0079】
次に、配置決定部130は、校正用カメラ及びマーカの最適な位置を決定するために、位置探索処理を実行する(ステップS110)。ここで実行される位置探索処理は、図12を用いて説明した処理と同様であってよい。
【0080】
次に、配置決定部130は、マーカの最適な姿勢を決定するために、姿勢探索処理を実行する(ステップS130)。ここで実行される姿勢探索処理について、後により詳細に説明する。
【0081】
次に、配置決定部130は、位置探索処理及び姿勢探索処理の結果として決定された最適な配置に対応する、精度評価部140により計算された評価指標のスコアを取得する(ステップS140)。そして、配置決定部130は、評価指標が校正精度条件を満たすか否かを判定する(ステップS145)。評価指標が校正精度条件を満たさない場合には、配置決定部130は、良好に校正可能な撮像用カメラを評価の対象から除外して(ステップS150)、追加的な校正用カメラ及び未確定のマーカの最適な位置を決定するための位置探索処理(ステップS160)、及び未確定のマーカの最適な姿勢を決定するための姿勢探索処理(ステップS170)を実行する。
【0082】
配置決定部130は、上述したステップS140〜S170の処理を、上述した校正精度条件が満たされるまで繰り返す(ステップS145)。そして、配置決定部130は、校正精度条件が満たされると(又は校正用カメラの数が所定の上限数に達すると)、1つ以上の校正用カメラ(全天周カメラ)及びマーカの全ての配置を確定させる(ステップS180)。
【0083】
図15は、図14に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。なお、マーカの姿勢が固定的である場合には、本姿勢探索処理は実行されなくてよい。
【0084】
図14を参照すると、まず、配置決定部130は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補姿勢を設定する(ステップS132)。
【0085】
次に、精度評価部140は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する姿勢評価指標を、校正用カメラの位置、マーカの位置及び候補姿勢、並びに撮像用カメラの位置及び姿勢に基づいて計算する(ステップS133)。全天周カメラは、あらゆる方向に対して正面を向いているものと見なされるため、ここでの姿勢評価指標の計算において、姿勢評価指標CATTの計算式(式(5))における角度γの項は省略されてよい。
【0086】
配置決定部130は、あり得るマーカの全ての候補姿勢の組合せについて姿勢評価指標の計算が終了するまで、上述したステップS132及びS133を繰り返す(ステップS134)。
【0087】
探索が終了すると、配置決定部130は、最も良好な姿勢評価指標を示すマーカの候補姿勢のセットを選択する(ステップS136)。
【0088】
[4−2.撮像用カメラとしての全天周カメラ]
全天周カメラは、それ自体が複数のカメラモジュールの集合として構成されることもある。こうしたマルチモジュール型の全天周カメラの製造又は撮像空間内への配備の際に、モジュール間のわずかな画像のズレが生じると、そのズレが全天周画像の画質低下の原因となり得る。しかしながら、上述した校正精度評価装置100を用いて、複数のカメラモジュールの配置に基づいて校正用カメラ及びマーカの最適な配置を決定しておくことで、マルチモジュール型の全天周カメラの配備の際に効率的に全天周カメラの校正を遂行することができる。この場合、情報取得部110により取得される撮像用カメラ配置情報は、全天周カメラのローカル座標系又は想定される撮像空間の座標系における、全天周カメラの個々のカメラモジュールの配置(位置及び姿勢)を表す。撮像用カメラとしての全天周カメラの製造者は、例えば、全天周カメラの出荷の際に、予め校正精度評価装置100を用いて決定された配置に従って撮像空間に校正用カメラ及びマーカを配置しておき、現場への全天周カメラの取付け作業と同時に校正を遂行してもよい。
【0089】
<5.応用例>
前節までに説明した校正精度評価装置100は、校正用カメラの最適な配置の探索のみならず、オペレータにより暫定的に決定される校正用カメラの配置の検証のために利用されてもよい。
【0090】
図16は、図7を用いて説明した用途とは異なる校正精度評価装置100の用途について説明するための説明図である。図16の例では、校正精度評価装置100の情報取得部110は、撮像空間に配置される複数の撮像用カメラの配置を示す撮像用カメラ配置情報に加えて、暫定的に決定され得る校正用カメラの配置を示す校正用カメラ配置情報を入力情報として取得する。情報取得部110は、暫定的に決定され得る複数のマーカの配置を示すマーカ配置情報をも入力情報として取得してもよい。そして、校正精度評価装置100の精度評価部140は、暫定的に決定されたこれら配置について予期される校正精度を、上述した位置評価指標及び姿勢評価指標を計算することにより評価する。ユーザインタフェース部120は、精度評価部140により実行される校正精度の評価の結果をユーザにフィードバックする。校正精度の評価の結果のフィードバックは、例えば、位置評価指標及び姿勢評価指標のスコアそのもの、又は各スコアが上述した校正精度条件を満たすか否かの判定結果を、モニタ上に表示し又は印刷するなどの手法で行われてよい。
【0091】
上述した応用例によれば、ユーザは、校正用カメラ(及びマーカ)の配置を暫定的に決定した後、実際にカメラ(及びマーカ)を撮像空間に配置して校正を実行せずとも、良好な校正精度を得ることができるか否かを簡易に知得することができる。よって、既存の手法において校正のために行われていた試行錯誤の負荷が軽減され、マルチカメラシステムの配備を迅速に行うことが可能となる。
【0092】
<6.まとめ>
ここまで、図1図16を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得し、上記撮像空間に校正用カメラを配置した場合に得られる校正精度を、上記カメラ配置情報により示される撮像用カメラのそれぞれの配置及び校正用カメラの配置に基づいて評価する、情報処理装置が提供される。従って、システム配備の現場でオペレータがカメラの校正のために試行錯誤する必要性が回避される。また、上述した実施形態によれば、撮像用カメラの配置は校正精度を考慮することなく予め決定され得ることから、撮像されるコンテンツの魅力が校正の目的のための配置変更に起因して減殺されることがない。
【0093】
また、上述した実施形態によれば、複数の撮像用カメラとは別に、それら撮像用カメラの配置についての校正に関与する校正用カメラが採用され、校正用カメラの配置は複数の撮像用カメラの配置を所与として校正の精度を最適化するように決定され得る。このように、校正用カメラの配置(例えば、位置及び姿勢、又は校正用カメラが全天周カメラである場合には位置のみ)を可変的なパラメータとして校正精度の最適化が図られるため、撮像用カメラの配置を動かすことなく、良好な精度でマルチカメラシステムのカメラの校正を行うことができる。校正用カメラは、基準カメラ法における基準カメラとして利用され得るため、逐次法で必要とされるバンドル調整は原則として不要であり、校正のための計算コストは抑制される。一旦校正が終了すると、撮像空間から校正用カメラを除去することも可能である。
【0094】
また、上述した実施形態によれば、校正用カメラを配置した場合に得られる校正精度の評価結果に基づいて、撮像空間に配置される校正用カメラの最適な配置が決定される。従って、オペレータは、撮像用カメラ配置情報及び他のいくつかの補足的な情報を入力するだけで、マルチカメラシステムの校正を良好な精度で行うための校正用カメラの配置を容易に知得することができる。例えば、オペレータは、モニタ上に表示され又は印刷され得る配置に従って、校正用カメラ(及び、必要に応じて、1つ以上のマーカ)を撮像空間に配置することにより、当初から良好な精度を期待し得る形で校正を開始することができる。
【0095】
また、上述した実施形態によれば、撮像用カメラの校正のために撮像される1つ以上のマーカもまた撮像空間に配置されるものとして、校正精度が評価され得る。従って、校正用カメラの配置のみならず校正用のマーカの配置をも校正精度の評価結果に基づいて最適化することができる。
【0096】
また、上述した実施形態によれば、校正用カメラを配置することの可能なカメラ配置可能領域内の複数の候補配置の各々について校正精度が評価され、最適な校正精度を有すると評価された候補配置に従って校正用カメラの配置が決定され得る。従って、撮像空間の状況に依存して異なるカメラ配置可能領域の範囲内の最も良好な位置に、最も良好な姿勢で校正用カメラを配置することができる。
【0097】
また、上述した実施形態によれば、まず1つの校正用カメラが配置されるものとして最適化される校正精度が十分でない場合(所定の校正精度条件が満たされないと判定される場合)に、撮像空間に追加的に配置される校正用カメラの最適な配置がさらに探索され得る。従って、校正用カメラの数を変化させることで、マルチカメラシステムが達成すべき校正精度を確実に達成することができる。また、不必要なほど多くの校正用カメラが配置されることが防止される。
【0098】
また、ある応用例によれば、オペレータにより暫定的に決定される校正用カメラの配置について、どの程度の校正精度が予期されるかが評価され、その評価の結果がユーザインタフェースを介してフィードバックされ得る。この場合、カメラ配置の変更及び校正精度の実測を試行錯誤的に繰り返さずとも、校正用カメラの配置が適正であるかをオペレータが容易に知得することができる。
【0099】
なお、本明細書において説明した一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
【0100】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0101】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【0102】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
を備える情報処理装置。
(2)
前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部、をさらに備える、前記(1)に記載の情報処理装置。
(3)
前記評価部は、前記撮像用カメラの校正のために撮像される1つ以上のマーカもまた前記撮像空間に配置されるものとして、前記複数の撮像用カメラのそれぞれの配置、前記校正用カメラの配置及び前記1つ以上のマーカのそれぞれの配置に基づいて、前記校正精度を評価する、前記(2)に記載の情報処理装置。
(4)
前記配置決定部は、前記校正用カメラを配置することの可能な領域内の複数の候補配置の各々について前記評価部に前記校正精度を評価させ、最適な校正精度を有すると評価された候補配置に従って、前記校正用カメラの配置を決定する、前記(3)に記載の情報処理装置。
(5)
前記配置決定部は、前記校正用カメラの配置及び前記1つ以上のマーカのそれぞれの配置の双方を可変的なパラメータとして、前記最適な校正精度を探索し、当該探索を通じて前記校正用カメラの配置と前記1つ以上のマーカのそれぞれの配置とを決定する、前記(4)に記載の情報処理装置。
(6)
前記評価部は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第1の評価指標を用いて、前記校正精度を評価する、前記(3)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記評価部は、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第2の評価指標を用いて、前記校正精度を評価する、前記(3)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記配置決定部は、前記最適な校正精度を有すると評価された候補配置で前記校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを判定し、前記所定の校正精度条件が満たされないと判定される場合には、前記撮像空間に追加的な校正用カメラを配置すべきであると判定する、前記(2)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記所定の校正精度条件は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第1の評価指標、並びに、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第2の評価指標、のうちの少なくとも一方に基づく、前記(8)に記載の情報処理装置。
(10)
前記配置決定部は、前記撮像空間に追加的な校正用カメラを配置すべきであると判定した場合に、前記複数の撮像用カメラのうち、初期の前記校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、前記追加的な校正用カメラについて得られる前記校正精度を前記評価部に評価させる、前記(8)又は前記(9)に記載の情報処理装置。
(11)
前記配置決定部は、初期の前記校正用カメラ及びゼロ個以上の前記追加的な校正用カメラの配置により前記所定の校正精度条件が満たされると判定されるまで、前記校正精度の評価と前記校正用カメラの追加とを繰り返す、前記(8)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記情報取得部は、前記校正用カメラを配置することの可能な領域を定義する領域情報、をさらに取得する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記情報取得部は、暫定的に決定される前記撮像空間内の前記校正用カメラの配置を示すさらなるカメラ配置情報を取得し、
前記情報処理装置は、前記カメラ配置情報及び前記さらなるカメラ配置情報を用いて前記評価部により実行される前記校正精度の評価の結果をユーザにフィードバックするユーザインタフェース部、をさらに備える、
前記(1)に記載の情報処理装置。
(14)
前記撮像用カメラの前記配置は、前記撮像用カメラの位置及び姿勢を含み、
前記校正用カメラの前記配置は、前記校正用カメラの少なくとも位置を含む、
前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
情報処理装置により実行される方法であって、
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、
を含む方法。
(16)
情報処理装置のプロセッサを、
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
として機能させるためのプログラム。
(17)
撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、
前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、
を含むマルチカメラシステムであって、
前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、
マルチカメラシステム。
【符号の説明】
【0103】
1 マルチカメラシステム
10,12 撮像空間
11,13 フィールド
20 撮像用カメラ
41,42 校正用カメラ
51 マーカ
100 校正精度評価装置(情報処理装置)
110 情報取得部
120 ユーザインタフェース部
130 配置決定部
140 精度評価部
150 記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9A
図9B
図10
図11
図12
図13
図14
図15
図16
【国際調査報告】