(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】生成方法、生成プログラムおよび情報処理装置
(51)【国際特許分類】
G01B 11/00 20060101AFI20221206BHJP
G01B 21/00 20060101ALI20221206BHJP
G01C 3/06 20060101ALI20221206BHJP
G06T 7/70 20170101ALI20221206BHJP
【ＦＩ】
G01B11/00 H
G01B21/00 E
G01C3/06 140
G06T7/70 Z
【請求項の数】
6
(21)【出願番号】P 2021550867
(86)(22)【出願日】2019-10-02
(86)【国際出願番号】 JP2019039019
(87)【国際公開番号】W WO2021064925
(87)【国際公開日】2021-04-08
【審査請求日】2022-02-07
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山尾 創輔
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開２０１６－２１３８０８（ＪＰ，Ａ）
【文献】特表２０１４－５１５５３０（ＪＰ，Ａ）
【文献】特開２０１９－１５３８６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００
Ｇ０１Ｂ ２１／００
Ｇ０１Ｃ ３／０６
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得し、各時点において３つ以上のセンサそれぞれが前記ターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点において前記ターゲットを検出した時点の回数を特定し、
前記センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成し、
前記連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成し、
連結性を示す情報と、前記第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、
前記第１の相対位置関係を示す情報および前記第２の相対位置関係を示す情報を、前記３つ以上のセンサ間の位置関係を示す情報として出力する
処理をコンピュータが実行することを特徴とする生成方法。
【請求項2】
前記ターゲットの形状は球体であり、前記検出結果に含まれる球体をターゲットとして検出する処理を更に実行することを特徴とする請求項１に記載の生成方法。
【請求項3】
前記２つのセンサの組それぞれで、複数時点のうち同じ時点において検出したターゲットをそれぞれ対応付けた複数のターゲットの組を設定し、複数のターゲットの組から一部のターゲットの組を選択し、選択した一部のターゲットの組において、各ターゲットの位置の距離が最小となるセンサの位置および姿勢を算出する処理を、選択するターゲットの組を変更しながら繰り返し実行し、各ターゲットの位置の距離の最小値を基にして、複数時点での検出された各ターゲットのうち、いずれかのターゲットを除外する処理を更に実行することを特徴とする請求項１に記載の生成方法。
【請求項4】
前記ターゲットは、複数時点において、前記３つ以上のセンサ以外の物体を基準とした所定の位置に配置され、前記３つ以上のセンサのうちいずれかのセンサによって複数時点で検出されたターゲットの位置を基にして、前記物体を基準とする座標系の原点座標を算出する処理を更に実行することを特徴とする請求項１、２または３に記載の生成方法。
【請求項5】
３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得し、各時点において３つ以上のセンサそれぞれが前記ターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点において前記ターゲットを検出した時点の回数を特定し、
前記センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成し、
前記連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成し、
連結性を示す情報と、前記第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、
前記第１の相対位置関係を示す情報および前記第２の相対位置関係を示す情報を、前記３つ以上のセンサ間の位置関係を示す情報として出力する
処理をコンピュータに実行させることを特徴とする生成プログラム。
【請求項6】
３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得し、各時点において３つ以上のセンサそれぞれが前記ターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点において前記ターゲットを検出した時点の回数を特定する特定部と、前記センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成するグラフ生成部と、
前記連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成し、連結性を示す情報と、前記第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成し、前記第１の相対位置関係を示す情報および前記第２の相対位置関係を示す情報を、前記３つ以上のセンサ間の位置関係を示す情報として出力するパラメータ生成部と
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生成方法等に関する。
【背景技術】
【0002】
レーザセンサ等の距離測定装置を用いて、被写体の３次元点群を測定する従来技術がある。以下の説明では、レーザセンサ等の距離測定装置を「センサ」と表記する。たとえば、被写体の周囲に配置した、複数のセンサを使って、各方向から被写体をセンシングし、各センサの測定結果となる３次元点群を統合することで、被写体を立体的に再現することができる。
【0003】
図２５は、複数のセンサに測定された３次元点群を統合した結果を示す図である。図２５に示す例では、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄが被写体１の周囲（前後）に配置されて、センサ１０Ａ～１０Ｄは、被写体１を測定し、３次元点群を得る。
【0004】
３次元点群１１Ａは、センサ１０Ａの測定結果を基にしたデータである。３次元点群１１Ｂは、センサ１０Ｂの測定結果を基にしたデータである。３次元点群１１Ｃは、センサ１０Ｃの測定結果を基にしたデータである。３次元点群１１Ｄは、センサ１０Ｄの測定結果を基にしたデータである。３次元点群１１Ａ～１１Ｄを統合することで、３次元点群１２が生成される。３次元点群１２は、被写体１を立体的に再現している。
【0005】
ここで、複数の３次元点群を統合する場合には、外部パラメータが用いられる。外部パラメータは、複数のセンサの互いの位置関係を示す情報である。外部パラメータを算出する従来技術として、たとえば、従来技術１、２がある。
【0006】
従来技術１について説明する。従来技術１は、球体ターゲットを利用して、センサの外部パラメータを算出する外部キャリブレーションの技術である。従来技術１では、一つの球体ターゲットを移動させつつ、第１のセンサおよび第２のセンサで、球体ターゲットを複数回、観測する。
【0007】
図２６は、従来技術１を説明するための図である。図２６において、測定結果１３ａ，１４ａ，１５ａは、時点ｔ＝１，２，３において、第１のセンサにそれぞれ測定されたものである。測定結果１３ａ，１４ａ，１５ａからは、球体ターゲット２３ａ，２４ａ，２５ａがそれぞれ検出される。時点ｔ＝４以降の測定結果の説明は省略する。
【0008】
測定結果１３ｂ，１４ｂ，１５ｂは、時点ｔ＝１，２，３において、第２のセンサにそれぞれ測定されたものである。測定結果１３ｂ，１４ｂ，１５ｂからは、球体ターゲット２３ｂ，２４ｂ，２５ｂがそれぞれ検出される。時点ｔ＝４以降の測定結果の説明は省略する。
【0009】
従来技術１では、球体ターゲット２３ａ，２４ａ，２５ａと、球体ターゲット２３ｂ，２４ｂ，２５ｂとの対応付けを行い、対応付けを行った球体ターゲットの３次元点群の位置関係を基にして、外部パラメータの初期値を推定する。初期値の推定には、特異値分解の位置合わせが行われる。従来技術１では、初期値の推定を行った後に、バンドル推定や最尤推定を用いて、第１のセンサと第２のセンサとの間の外部パラメータの最適化を行い、外部パラメータを算出する。
【0010】
画像１６は、外部キャリブレーション結果を示すものである。外部キャリブレーションを実行することで、球体ターゲット２３ａ，２４ａ，２５ａと、球体ターゲット２３ｂ，２４ｂ，２５ｂとの位置が一致する。
【0011】
なお、従来技術１では、球体ターゲットの位置を変更しながら、最低３時点で、第１のセンサと第２のセンサで、球体ターゲットを同時に検出できていることが、外部パラメータを算出するための条件となる。
【0012】
次に、従来技術２について説明する。従来技術２は、画像処理によってターゲットを検出し、２つのカメラを起点とし、ＤＬＴ（Direct Linear Transform）アルゴリズムを用いて、各カメラの外部パラメータを順々に推定する技術である。
【0013】
図２７および図２８は、従来技術２を説明するための図である。図２７の説明を行う。従来技術２では、時点ｔ＝１～７において、ターゲット２を移動させながら、センサ１０Ａ～１０Ｄによって、ターゲット２を観測する。
【0014】
たとえば、時点ｔ＝１において、ターゲット２は、センサ１０Ａ～１０Ｄによって観測される。時点ｔ＝２において、ターゲット２は、センサ１０Ａ～１０Ｄによって観測される。時点ｔ＝３において、ターゲット２は、センサ１０Ａ～１０Ｄによって観測される。
【0015】
時点ｔ＝４において、ターゲット２は、センサ１０Ａ，１０Ｂ，１０Ｄによって観測される。時点ｔ＝５において、ターゲット２は、センサ１０Ａ，１０Ｂ，１０Ｄによって観測される。時点ｔ＝６において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。時点ｔ＝７において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。
【0016】
これによって、センサ１０Ａは、時点ｔ＝１，２，３，４，５において、ターゲット２を観測し、観測結果２０Ａが得られる。センサ１０Ｂは、時点ｔ＝１，２，３，４，５において、ターゲット２を観測し、観測結果２０Ｂが得られる。センサ１０Ｃは、時点ｔ＝１，２，３，６，７において、ターゲットを観測し、観測結果２０Ｃが得られる。センサ１０Ｄは、時点ｔ＝１，２，３，４，５，６，７において、ターゲットを観測し、観測結果２０Ｄが得られる。
【0017】
図２８の説明に移行する。従来技術２では、外部パラメータを推定する順番が予め定められている。たとえば、従来技術２は、センサ１０Ａを基準として、センサ１０Ｂ，１０Ｃ，１０Ｄの順番でセンサを選択し、外部パラメータを推定する。外部パラメータを推定する場合、推定に利用できるターゲット２は、基準となるセンサまたは、選択済みのセンサで既に観測されている時点のターゲット２となる。
【0018】
このため、センサ１０Ｂ，１０Ｃ，１０Ｄの順番でセンサを選択すると、センサ１０Ｂの観測結果２０Ｂでは、時点ｔ＝１，２，３，４，５に観測したターゲットを、外部パラメータの推定に使用できる。センサ１０Ｃの観測結果２０Ｃでは、時点ｔ＝１，２，３で観測したターゲットを、外部パラメータの推定に使用できる。センサ１０Ｄの観測結果２０Ｄでは、時点ｔ＝１～７で観測したターゲットを、外部パラメータの推定に使用できる。
【先行技術文献】
【特許文献】
【0019】
【文献】特開２０１９－０８６４７６号公報
【非特許文献】
【0020】
【文献】M.Ruan,“Calibration of 3D Sensors Using a Spherical Target,” 3DV 2014
【発明の概要】
【発明が解決しようとする課題】
【0021】
上述した従来技術１では、２つのセンサの外部パラメータを把握することを前提としており、更に、第１のセンサ、第２のセンサが一つの球体ターゲットを同時に観測することが求められる。このため、第１のセンサと第２のセンサとのセンシング範囲が共有されていない場合、球体ターゲットを２つのセンサで同時に観測することはできない。また、共有するセンシング範囲が狭い場合にも、球体ターゲットの場所を移動させながら複数回の撮影を行うことが前提であるため、２つのセンサが球体ターゲットを十分な回数観測することは難しい。このような場合、第１のセンサと第２のセンサとの外部パラメータを推定するための条件が不足する。
【0022】
また、３つ以上のセンサを使って、より広範囲に、よりいろいろな方向から、被写体をセンシングしたい場合がある。しかし、従来技術１では、各時点において全センサがターゲットを同時に観測することが前提となっているため、３つ以上のセンサの中に、センシング範囲が共有されていないペアが存在する場合、外部パラメータを推定できない。
【0023】
また、上述した従来技術２では、外部パラメータを推定する順番が予め定められている。たとえば、図２８で説明したように、センサ１０Ａを基準として、センサ１０Ｂ，１０Ｃ，１０Ｄの順番でセンサを選択して、外部パラメータを推定すると、観測結果２０Ｃにおいて、外部パラメータの推定に利用できるターゲットが減少し、分布に偏りが生じる。外部パラメータの推定に利用できるターゲットが偏って分布すると、外部パラメータの推定精度が低くなる。推定精度の低下は、後段の観測結果２０Ｄを選択して外部パラメータを推定する場合の推定精度にも影響を与える。
【0024】
１つの側面では、本発明は、３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる生成方法、生成プログラムおよび情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0025】
第１の案では、コンピュータは次の処理を実行する。コンピュータは、３つ以上のセンサによる、複数時点でのターゲットの検出結果を取得する。コンピュータは、各時点において３つ以上のセンサそれぞれがターゲットを検出したか否かを基にして、３つ以上のセンサのうちの２つのセンサの組それぞれで、複数時点のうち同じ時点においてターゲットを検出した時点の回数を特定する。コンピュータは、センサの組それぞれについて特定した回数と、複数時点におけるターゲットの配置位置の分散とを基にして、センサ間の相対位置関係の推定精度に関する連結性を示す情報を生成する。コンピュータは、連結性を示す情報を基にして、連結性のある２つのセンサ間で、第１の相対位置関係を示す情報を生成する。コンピュータは、連結性を示す情報と、第１の相対位置関係を示す情報とを基にして、連結性のない２つのセンサ間の第２の相対位置関係を示す情報を生成する。コンピュータは、第１の相対位置関係を示す情報および第２の相対位置関係を示す情報を、３つ以上のセンサ間の位置関係を示す情報として出力する。
【発明の効果】
【0026】
３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる。
【図面の簡単な説明】
【0027】
【発明を実施するための形態】
【0028】
以下に、本願の開示する生成方法、生成プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例1】
【0029】
図１は、本実施例１に係る情報処理システムの一例を示す図である。図１に示すように、本実施例１に係る情報処理システムは、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄと、情報処理装置１００とを有する。センサ１０Ａ～１０Ｄと、情報処理装置１００とは、有線または無線によってそれぞれ接続されている。図１では、センサ１０Ａ～１０Ｄを示すが、情報処理システムは、他のセンサを有していてもよい。
【0030】
センサ１０Ａは、被写体（あるいはターゲット２）を構成する点群とセンサ１０Ａとの距離を測定する測定装置（レーザーセンサ）である。センサ１０Ａは、測定結果となる距離画像のデータを、情報処理装置１００に出力する。距離画像のデータには、各画素と距離値とをそれぞれ対応付けた情報が含まれる。距離画像のデータは、情報処理装置１００によって、３次元点群データに変換される。３次元点群データは、点群について、点と、３次元直交座標系の座標とをそれぞれ対応付けた情報である。
【0031】
センサ１０Ｂに関する説明は、センサ１０Ａに関する説明と同様である。以下の説明では、適宜、センサ１０Ａ～１０Ｂをまとめて「センサ１０」と表記する。また、３次元点群データは、センサ１０が測定した距離画像のデータを変換したデータであるが、適宜、センサ１０が測定した３次元点群データと表記し、距離画像のデータを３次元点群データに変換する旨の記載を省略する。
【0032】
本実施例１に係る情報処理システムは、センサ１０を用いて被写体（図示略）を測定し、被写体が行う演技を評価するシステムであるが、前処理として、ターゲット２を用いて、外部キャリブレーションを実行し、外部パラメータを生成する。情報処理システムは、生成した外部パラメータに基づいて、センサ１０に測定された３次元点群データを統合し、被写体全体の３次元点群データを生成し、被写体が行う演技を評価する。
【0033】
情報処理システムの情報処理装置１００が、外部パラメータを生成する場合の処理について説明する。情報処理装置１００は、外部パラメータを生成する場合において、センサ連結性グラフを生成する処理、ターゲットの分散をセンサ連結性グラフに反映する処理、センサを選択する順番を特定する処理を実行する。
【0034】
図２及び図３は、センサ連結性グラフを生成する処理を説明するための図である。図２に示すように、時点ｔ＝１～１３において、ターゲット２を移動させながら、センサ１０Ａ～１０Ｄによって、ターゲット２を観測する。ターゲット２は、ユーザによって移動される。
【0035】
たとえば、時点ｔ＝１において、ターゲット２は、センサ１０Ａによって観測される。時点ｔ＝２において、ターゲット２は、センサ１０Ａによって観測される。時点ｔ＝３において、ターゲット２は、センサ１０Ａ，１０Ｂによって観測される。時点ｔ＝４において、ターゲット２は、センサ１０Ａ，１０Ｂによって観測される。
【0036】
時点ｔ＝５において、ターゲット２は、センサ１０Ａ，１０Ｂによって観測される。時点ｔ＝６において、ターゲット２は、センサ１０Ａ，１０Ｂ，１０Ｃによって観測される。時点ｔ＝７において、ターゲット２は、センサ１０Ｂ，１０Ｃによって観測される。時点ｔ＝８において、ターゲット２は、センサ１０Ｂ，１０Ｄによって観測される。
【0037】
時点ｔ＝９において、ターゲット２は、センサ１０Ｂ，１０Ｃ，１０Ｄによって観測される。時点ｔ＝１０において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。時点ｔ＝１１において、ターゲット２は、センサ１０Ｃ，１０Ｄによって観測される。時点ｔ＝１２において、ターゲット２は、センサ１０Ｂ，１０Ｃ，１０Ｄによって観測される。時点ｔ＝１３において、ターゲット２は、センサ１０Ｃによって観測される。
【0038】
ここで、情報処理装置１００は、センサ１０Ａ～１０Ｄのうち、２つのセンサの組で、複数時点のうち同じ時点において、ターゲット２を検出した時点の回数（以下、共有数）を特定する。
【0039】
センサ１０Ａとセンサ１０Ｂとの組については、時点ｔ＝１～１３のうち、時点ｔ＝３，４，５，６において、ターゲット２を観測している。このため、センサ１０Ａ，１０Ｂの組の共有数は「４」となる。
【0040】
センサ１０Ａとセンサ１０Ｃとの組については、時点ｔ＝１～１３のうち、時点ｔ＝６において、ターゲット２を観測している。このため、センサ１０Ａ，１０Ｃの組の共有数は「１」となる。
【0041】
センサ１０Ａとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、ターゲット２を観測している時点はない。このため、センサ１０Ａ，１０Ｄの組の共有数は「０」となる。
【0042】
センサ１０Ｂとセンサ１０Ｃとの組については、時点ｔ＝１～１３のうち、時点ｔ＝６，７，１２において、ターゲット２を観測している。このため、センサ１０Ｂ，１０Ｃの組の共有数は「３」となる。
【0043】
センサ１０Ｂとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝８，９，１２において、ターゲット２を観測している。このため、センサ１０Ｂ，１０Ｄの組の共有数は「３」となる。
【0044】
センサ１０Ｃとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝９，１０，１１，１２において、ターゲット２を観測している。このため、センサ１０Ｃ，１０Ｄの組の共有数は「４」となる。
【0045】
図３の説明に移行する。情報処理装置１００は、２つのセンサの組それぞれについて特定した共有数を基にして、ターゲット共有数グラフ５０を生成する。ターゲット共有数グラフ５０は、ノード５０Ａ，５０Ｂ，５０Ｃ，５０Ｄを含む。ノード５０Ａは、センサ１０Ａに対応するノードである。ノード５０Ｂは、センサ１０Ｂに対応するノードである。ノード５０Ｃは、センサ１０Ｃに対応するノードである。ノード５０Ｄは、センサ１０Ｄに対応するノードである。
【0046】
ターゲット共有数グラフ５０において、ノード５０Ａ～５０Ｄは、それぞれエッジＥによって接続され、各エッジＥには、共有数に応じた重みが設定される。情報処理装置１００は、センサ１０Ａ，１０Ｂの組の共有数は「４」であるため、ノード５０Ａとノード５０Ｂとを接続するエッジＥＢＡに、重み「４」を設定する。情報処理装置１００は、センサ１０Ａ，１０Ｃの組の共有数は「１」であるため、ノード５０Ａとノード５０Ｄとを接続するエッジＥＣＡに、重み「１」を設定する。なお、センサ１０Ａ，１０Ｄの組の共有数は「０」であるため、ノード５０Ａとノード５０Ｄとは、エッジで接続されない。
【0047】
情報処理装置１００は、センサ１０Ｂ，１０Ｃの組の共有数は「４」であるため、ノード５０Ｂとノード５０Ｃとを接続するエッジＥＢＣに、重み「４」を設定する。情報処理装置１００は、センサ１０Ｂ，１０Ｄの組の共有数は「３」であるため、ノード５０Ｂとノード５０Ｄとを接続するエッジＥＤＢに、重み「３」を設定する。
【0048】
情報処理装置１００は、各エッジＥのうち、重みが「３」以上となるエッジを残すことで、センサ連結性グラフ５１を生成する。図３に示す例では、情報処理装置１００は、ターゲット共有数グラフ５０からエッジＥＣＡを削除し、エッジＥＢＡ、ＥＣＢ、ＥＤＢ、ＥＣＤを残すことで、センサ連結性グラフ５１を生成する。
【0049】
図４は、ターゲットの分散をセンサ連結性グラフに反映する処理を説明するための図である。情報処理装置１００は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出する。情報処理装置１００は、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフに反映する。エッジの重みが小さいほど、２つのセンサの組で観測したターゲット群の位置の空間的な分散が大きいこと（まんべんなく分布していること）を意味する。
【0050】
たとえば、図２で説明したように、センサ１０Ａとセンサ１０Ｂとの組については、時点ｔ＝１～１３のうち、時点ｔ＝３，４，５，６において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ａ（あるいはセンサ１０Ｂ）が観測した時点ｔ＝３，４，５，６におけるターゲット２の位置の分散σ２
ＢＡを算出する。たとえば、「－２ｌｏｇσＢＡ」を「－２．７」とすると、情報処理装置１００は、エッジＥＢＡに、重み「－２．７」を設定する。
【0051】
センサ１０Ｂとセンサ１０Ｃとの組については、時点ｔ＝１～１３のうち、時点ｔ＝６，７，１２において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ｂ（あるいはセンサ１０Ｃ）が観測した、時点ｔ＝６，７，１２におけるターゲット２の位置の分散σ２
ＣＢを算出する。たとえば、「－２ｌｏｇσＣＢ」を「－１．２」とすると、情報処理装置１００は、エッジＥＣＢに、重み「－１．２」を設定する。
【0052】
センサ１０Ｂとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝８，９，１２において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ｂ（あるいはセンサ１０Ｄ）が観測した、時点ｔ＝８，９，１２におけるターゲット２の位置の分散σ２
ＤＢを算出する。たとえば、「－２ｌｏｇσＤＢ」を「－３．２」とすると、情報処理装置１００は、エッジＥＤＢに、重み「－３．２」を設定する。
【0053】
センサ１０Ｃとセンサ１０Ｄとの組については、時点ｔ＝１～１３のうち、時点ｔ＝９，１０，１１，１２において、ターゲット２を観測している。情報処理装置１００は、センサ１０Ｃ（あるいはセンサ１０Ｄ）が観測した、時点ｔ＝９，１０，１１，１２におけるターゲット２の位置の分散σ２
ＣＤを算出する。たとえば、「－２ｌｏｇσＣＤ」を「－３．４」とすると、情報処理装置１００は、エッジＥＣＤに、重み「－３．４」を設定する。
【0054】
情報処理装置１００は、ターゲット２の分散をセンサ連結性グラフ５１に反映した結果を基にして、外部パラメータ計算対象となるセンサを選択する順番を特定する処理を実行する。情報処理装置１００は、各エッジＥの和が最小となるような経路を、最短経路探索により決定する。たとえば、情報処理装置１００は、Bellman-Ford法等を用いて、各エッジＥの和が最小となるような経路を決定する。
【0055】
各エッジＥの和が最小となるような経路は、ターゲット群の位置の空間的な分散がなるべく大きくなるような、センサの順番である。図４に示す例では、基準となるノードを、センサ１０Ａに対応するノード５０Ａとすると、各エッジＥの和が最小となるような経路は、ノード５０Ａ、ノード５０Ｂ、ノード５０Ｄ、ノード５０Ｃの順となる。すなわち、ターゲット群の位置の空間的な分散がなるべく大きくなるような、センサの順番は、センサ１０Ａ、センサ１０Ｂ、センサ１０Ｄ、センサ１０Ｃとなる。
【0056】
情報処理装置１００は、センサ１０Ａを基準として、センサ１０Ｂ、センサ１０Ｄ、センサＣの順に選択し、外部パラメータを推定する。ここで、連結する２つのセンサの組の相対的な位置および姿勢を合成して行くことで、基準のセンサと直接連結しないセンサの外部パラメータを計算することが可能である。
【0057】
図５は、直接連結しないセンサの外部パラメータの計算を説明するための図である。ノード５０Ａ、ノード５０Ｂ、ノード５０Ｄ、ノード５０Ｃは、センサ１０Ａ、センサ１０Ｂ、センサ１０Ｃ、センサ１０Ｄにそれぞれ対応する。図４で説明した、センサ連結性グラフ５１は、ノード５０Ａと、ノード５０Ｃとが直接連結していないが、下記の処理を実行することで、基準となるセンサ１０Ａと、センサ１０Ｃとの相対的な位置および姿勢を計算することが可能である。
【0058】
情報処理装置１００は、センサ１０Ａとセンサ１０Ｂとの組を選択し、センサ１０Ａの各時点ｔ＝１～１３の観測結果と、センサ１０Ｂの観測結果とを基にして、センサ１０Ａに対するセンサ１０Ｂの外部パラメータＴＢＡを算出する。
【0059】
情報処理装置１００は、センサ１０Ｂとセンサ１０Ｄとの組を選択し、センサ１０Ｂの各時点ｔ＝１～１３の観測結果と、センサ１０Ｄの観測結果とを基にして、センサ１０Ｂに対するセンサ１０Ｄの外部パラメータＴＤＢを算出する。
【0060】
情報処理装置１００は、センサ１０Ｄとセンサ１０Ｃとの組を選択し、センサ１０Ｄの各時点ｔ＝１～１３の観測結果と、センサ１０Ｃの観測結果とを基にして、センサ１０Ｄに対するセンサ１０Ｃの外部パラメータＴＣＤを算出する。
【0061】
情報処理装置１００は、式（１）を基にして、基準となるセンサ１０Ａと、センサ１０Ｃとの相対的な位置および姿勢を計算する。たとえば、各Ｔは、回転行列と、並進ベクトルとを含む行列である。
【0062】
ＴＣＡ＝ＴＣＤＴＤＢＴＢＡ・・・（１）
【0063】
上記のように、本実施例１に係る情報処理装置１００は、各時点においてターゲット２を移動させながら、センサ１０Ａ～１０Ｄによる観測を実行し、同時点でターゲット２を検出した時点の回数を示す共有数を特定する。情報処理装置１００は、共有数をエッジの重みとするターゲット共有数グラフ５０を生成し、ターゲット共有数グラフ５０から、エッジＥの重みが所定の数以上となるエッジを残したセンサ連結性グラフ５１を生成する。センサ連結性グラフ５１で連結されるノードの組は、同時点で、ターゲット２を観測した回数が所定の数以上となるセンサの組を示すものである。
【0064】
また、情報処理装置１００は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出し、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフに反映する。係る「－２ｌｏｇσ」を、各エッジＥの重みとしたセンサ連結性グラフにおいて、エッジの重みが小さいほど、２つのセンサの組で観測したターゲット群の位置の空間的な分散が大きいことを意味する。情報処理装置１００は、各エッジＥの和が最小となるような経路を特定し、特定した経路を基にして、外部パラメータを算出する場合に選択するセンサ１０の順番を特定する。これによって、センサ１０の外部パラメータの計算が安定するように、ターゲット群の位置の空間的な分散がなるべく大きくなるようなセンサの順番を特定することができる。したがって、３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる。
【0065】
図６は、本実施例１に係る情報処理装置の効果を説明するための図である。図６の上段は、従来技術２を用いた場合のセンサ１０の選択の順番を示す。下段は、情報処理装置１００が特定した、センサ１０の選択の順番を示す。ただし、情報処理装置１００は、図２７で説明した条件と同様にして、時点ｔ＝１～７において、ターゲット２を移動させながら、センサ１０によって観測を行い、順番を特定するものとする。センサ１０Ａ～１０Ｄの観測結果を、観測結果２０Ａ～２０Ｄとする。
【0066】
図２８で説明したように、従来技術２では、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄのように、予め定められた順番で、センサ１０が選択される。係る順番でセンサ１０が選択されると、観測結果２０Ｃにおいて、外部パラメータの推定に利用できるターゲットが減少し、分布に偏りが生じる。外部パラメータの推定に利用できるターゲットが偏って分布すると、外部パラメータの推定精度が低くなる。
【0067】
これに対して、情報処理装置１００では、センサ連結性グラフを用いることで、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄの順番で、センサ１０が選択される。係る順番でセンサ１０が選択されると、観測結果２０Ｄにおいて、時点ｔ＝６，７において、ターゲット２を外部パラメータの計算に利用できないものの、時点ｔ＝１，２，３，４，５のターゲット２が視野上でまんべんなく分布しており、外部パラメータの推定精度が高くなる。また、後段の観測結果２０Ｃを選択して外部パラメータを推定する場合の推定精度が低下することを抑止することもできる。
【0068】
次に、図１に示した情報処理装置１００の構成について説明する。図７は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図７に示すように、この情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
【0069】
通信部１１０は、図１に示したセンサ１０から距離画像のデータを受信する処理部である。通信部１１０は、受信した距離画像のデータを、制御部１５０に出力する。通信部１１０は、通信装置の一例である。
【0070】
入力部１２０は、各種の情報を情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、各時点において、ターゲット２の設置が完了する度に、入力部１２０を操作して、ターゲット２の設置が完了した旨の情報を、情報処理装置１００に入力する。
【0071】
表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。
【0072】
記憶部１４０は、背景画像テーブル１４１と、検出結果テーブル１４２と、外部パラメータテーブル１４３とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
【0073】
背景画像テーブル１４１は、ターゲット２が存在しない状態で、各センサ１０Ａ～１０Ｄによってそれぞれ測定された背景画像のデータ（距離画像のデータ）を格納するテーブルである。
【0074】
検出結果テーブル１４２は、センサ１０の観測結果に基づき、各時点で検出されたターゲット２の点群および位置を格納するテーブルである。図８は、検出結果テーブルのデータ構造の一例を示す図である。図８に示すように、この検出結果テーブル１４２は、センサ識別情報と、各時点における、ターゲット２の点群情報を格納する。センサ識別情報は、センサ１０を識別する情報である。たとえば、センサ識別情報ＳＥ１０Ａ，ＳＥ１０Ｂ，ＳＥ１０Ｃ，ＳＥ１０Ｄは、センサ１０Ａ、センサ１０Ｂ、センサ１０Ｃ、センサ１０Ｄにそれぞれ対応する。また、ターゲットの点群情報には、ターゲット２の３次元の点群と、点群に含まれる点の３次元の座標との関係を示すデータである。なお、該当するセンサ識別情報、時点において、ターゲットが検出されていない場合には、「ターゲット無し」が格納される。
【0075】
外部パラメータテーブル１４３は、後述する外部パラメータ生成処理部１５２によって生成される外部パラメータを格納するテーブルである。図９は、外部パラメータテーブルのデータ構造の一例を示す図である。図９に示すように、この外部パラメータテーブル１４３は、センサ識別情報と、外部パラメータとを対応付ける。センサ識別情報は、センサ１０を識別する情報である。外部パラメータは、基準となるセンサ１０との相対的な位置および姿勢を示すデータである。本実施例１では、基準となるセンサをセンサ１０Ａとする。
【0076】
外部パラメータＴＢＡは、センサ１０Ａを基準とするセンサ１０Ｂの相対的な位置および姿勢を示すデータである。外部パラメータＴＣＡは、センサ１０Ａを基準とするセンサ１０Ｃの相対的な位置および姿勢を示すデータである。外部パラメータＴＤＡは、センサ１０Ａを基準とするセンサ１０Ｄの相対的な位置および姿勢を示すデータである。
【0077】
制御部１５０は、取得部１５１と、外部パラメータ生成処理部１５２と、統合部１５３と、フィッティング処理部１５４と、評価部１５５とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。
【0078】
取得部１５１は、通信部１１０を介して、センサ１０から、距離画像のデータを取得する処理部である。たとえば、取得部１５１が、距離画像のデータを取得するタイミングは、入力部１２０を操作するユーザによって指示される。取得部１５１は、距離画像のデータと、背景画像テーブル１４１に格納された背景画像のデータとの差分をとり、背景差分画像データを生成する。取得部１５１は、背景差分画像データを、外部パラメータ生成処理部１５２に出力する。
【0079】
なお、取得部１５１は、センサ１０Ａに測定された距離画像のデータと、センサ１０Ａに対応する背景画像のデータとの差分により、センサ１０Ａに対応する背景差分データを生成する。取得部１５１は、センサ１０Ｂに測定された距離画像のデータと、センサ１０Ｂに対応する背景画像のデータとの差分により、センサ１０Ｂに対応する背景差分データを生成する。
【0080】
取得部１５１は、センサ１０Ｃに測定された距離画像のデータと、センサ１０Ｃに対応する背景画像のデータとの差分により、センサ１０Ｃに対応する背景差分データを生成する。取得部１５１は、センサ１０Ｄに測定された距離画像のデータと、センサ１０Ｄに対応する背景画像のデータとの差分により、センサ１０Ｄに対応する背景差分データを生成する。
【0081】
取得部１５１は、各時点において、センサ１０から、距離画像のデータを取得する度に、上記処理を繰り返し実行する。取得部１５１は、背景差分データを、外部パラメータ生成処理部１５２に出力する場合、時点ｔの情報と、該当センサ１０のセンサ識別情報を、背景差分データに付与してもよい。
【0082】
取得部１５１は、外部キャリブレーションを実行する場合には、背景差分データを、外部パラメータ生成処理部１５２に出力する。取得部１５１は、被写体（図示略）が行う演技を評価する場合には、背景差分データを、統合部１５３に出力する。取得部１５１は、外部キャリブレーションを行うタイミング、演技の評価を行うタイミングは、ユーザの操作する入力部１２０から受け付ける。
【0083】
外部パラメータ生成処理部１５２は、図２～図５で説明した処理を実行することで、外部パラメータを生成する処理部である。外部パラメータ生成処理部１５２は、生成した外部パラメータを、外部パラメータテーブル１４３に格納する。
【0084】
図１０は、外部パラメータ生成処理部の構成を示す機能ブロック図である。図１０に示すように、外部パラメータ生成処理部１５２は、検出部１６０と、特定部１６１と、グラフ生成部１６２と、パラメータ生成部１６３と、ロバスト推定部１６４とを有する。
【0085】
検出部１６０は、複数時点においてターゲット２を検出する処理部である。検出部１６０は、背景差分データに残された各画素（背景部分を除いた画素）をクラスタリングし、各画素を複数のクラスタに分類する。検出部１６０は、各クラスタのうち、クラスタに属する画素の数が所定数未満（クラスタの面積が閾値未満）のクラスタを、ノイズとして除去する。
【0086】
検出部１６０は、画素の位置および距離値と、点および直交座標系の座標との関係を定義した変換テーブルを保持しているものとする。検出部１６０は、変換テーブルを基にして、クラスタに含まれる各画素を、３次元点群に変換する。検出部１６０は、各クラスタの３次元点群について、予め設定しておいたターゲット２の３次元モデル表面にフィッティングさせたときの誤差をそれぞれ評価する。
【0087】
検出部１６０は、フィッティングさせたときの誤差が最も小さいクラスタを、ターゲット２として特定する。検出部１６０は、ＩＣＰ（Iterative Closest Point）等に基づいて、フィッティングを実行してもよい。ターゲット２に対応するクラスタの３次元点群は、点群と各点の直交座標系の座標との関係を有し、点群情報に対応する。
【0088】
検出部１６０は、背景差分データに付与されたセンサ識別情報および時点の情報を基にして、上記の点群情報を、検出結果テーブル１４２に格納する。なお、検出部１６０は、背景差分データを基にして上記処理を実行し、ターゲット２がセンサ１０に観測されなかった場合、ターゲット無しの情報を、検出結果テーブル１４２に格納する。検出部１６０は、背景差分データを取得する度に、上記処理を繰り返し実行する。
【0089】
特定部１６１は、２つのセンサ１０の組毎に共有数を特定する処理部である。
【0090】
たとえば、特定部１６１は、検出結果テーブル１４２のデータを取得し、各時点においてセンサ１０Ａ～１０Ｄがそれぞれターゲットを検出したか否かを特定する。特定部１６１は、センサ１０Ａ～１０Ｄのうちの２つのセンサ１０の組で、複数時点のうち同じ時点においてターゲット２を検出した時点の回数（共有数）を特定する。特定部１６１が、共有数を特定する具体的な処理は、図２を用いて説明した情報処理装置１００の処理に対応する。
【0091】
特定部１６１は、２つのセンサ１０の組毎に特定した共有数のデータを、グラフ生成部１６２に出力する。たとえば、各時点におけるターゲット２の観測結果が、図２で説明したものである場合には、センサ１０Ａ，１０Ｂの組の共有数は「４」となる。センサ１０Ａ，１０Ｃの組の共有数は「１」となる。センサ１０Ａ，１０Ｄの組の共有数は「０」となる。センサ１０Ｂ，１０Ｃの組の共有数は「４」となる。センサ１０Ｂ，１０Ｄの組の共有数は「３」となる。センサ１０Ｃ，１０Ｄの組の共有数は「４」となる。
【0092】
グラフ生成部１６２は、センサ連結性グラフ５１を生成する処理部である。
【0093】
たとえば、グラフ生成部１６２は、２つのセンサ１０の組毎に特定された共有数のデータを基にして、ターゲット共有数グラフ５０を生成する。センサ１０Ａ，１０Ｂの組の共有数が「４」、センサ１０Ａ，１０Ｃの組の共有数が「１」、センサ１０Ａ，１０Ｄの組の共有数が「０」、センサ１０Ｂ，１０Ｃの組の共有数が「４」、センサ１０Ｂ，１０Ｄの組の共有数が「３」とする。そうすると、グラフ生成部１６２が生成するターゲット共有数グラフ５０は、図３で説明したものとなる。
【0094】
グラフ生成部１６２は、各エッジＥのうち、重みが「３」以上となるエッジを残すことで、センサ連結性グラフ５１を生成する。図３に示す例では、グラフ生成部１６２は、ターゲット共有数グラフ５０からエッジＥＣＡを削除し、エッジＥＢＡ、ＥＣＢ、ＥＤＢ、ＥＣＤを残すことで、センサ連結性グラフ５１を生成する。
【0095】
また、グラフ生成部１６２は、ターゲットの分散をセンサ連結性グラフ５１に反映する処理を実行する。図４で説明したように、グラフ生成部１６２は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出する。グラフ生成部１６２は、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフに反映する。
【0096】
図２で説明したように、センサ１０Ａとセンサ１０Ｂとの組については、時点ｔ＝１～１３のうち、時点ｔ＝３，４，５，６において、ターゲット２を観測している。グラフ生成部１６２は、センサ１０Ａ（あるいはセンサ１０Ｂ）が観測した、時点ｔ＝３，４，５，６におけるターゲット２の位置の分散σ２
ＢＡを算出する。たとえば、「－２ｌｏｇσＢＡ」を「－２．７」とすると、グラフ生成部１６２は、エッジＥＢＡに、重み「－２．７」を設定する。
【0097】
グラフ生成部１６２は、センサ１０Ａが観測した、時点ｔ＝３，４，５，６におけるターゲット２の位置を、検出結果テーブル１４２から特定する。たとえば、ターゲット２の点群情報に含まれる各点の座標の重心座標を、ターゲット２の位置としてもよい。
【0098】
グラフ生成部１６２は、センサ１０Ｂとセンサ１０Ｃとの組、センサ１０Ｂとセンサ１０Ｄとの組、センサ１０Ｃとセンサ１０Ｄとの組についても同様にして、分散σ２
ＣＢ、分散σ２
ＤＢ、分散σ２
ＣＤを算出する。グラフ生成部１６２は、エッジＥＣＢに、重み「－１．２」、エッジＥＤＢに、重み「－３．２」、エッジＥＣＤに、重み「－３．４」をそれぞれ設定する。グラフ生成部１６２は、エッジの重みを設定したセンサ連結性グラフ５１のデータを、パラメータ生成部１６３に出力する。
【0099】
パラメータ生成部１６３は、センサ連結性グラフ５１を基にして、連結性のある２つのセンサ間で、外部パラメータを生成する。パラメータ生成部１６３は、外部パラメータを、外部パラメータテーブル１４３に記憶する。また、パラメータ生成部１６３は、外部パラメータを、予め設定された外部装置に送信してもよい。パラメータ生成部１６３は、センサ連結性グラフ５１と、生成した外部パラメータを基にして、連結性のない２つのセンサ間の外部パラメータを生成する。以下において、パラメータ生成部１６３の処理の一例について説明する。
【0100】
パラメータ生成部１６３は、センサ連結性グラフ５１について、各エッジＥの和が最小になるような経路を、最短経路探索により実行する。たとえば、パラメータ生成部１６３は、Bellman-Ford法等を用いて、各エッジＥの和が最小となるような経路Ｐを選択する。
【0101】
図４で説明したように、基準となるノードを、センサ１０Ａに対応するノード５０Ａとすると、各エッジＥの和が最小となるような経路Ｐは、ノード５０Ａ、ノード５０Ｂ、ノード５０Ｄ、ノード５０Ｃの順となる。
【0102】
パラメータ生成部１６３は、センサ１０Ａ，１０Ｂの組、センサ１０Ｂ，１０Ｄの組、センサ１０Ｄ，１０Ｃの組を、連結性のある２つのセンサとして特定する。パラメータ生成部１６３は、センサ１０Ａ，１０Ｃの組を、連結性のない２つのセンサとして特定する。
【0103】
パラメータ生成部１６３は、センサ１０Ａの時点ｔ＝３，４，５，６のターゲット２の位置と、センサ１０Ｂの時点ｔ＝３，４，５，６のターゲット２の位置との関係から、特異値分解で位置合わせを行い、外部パラメータＴＢＡの初期値を算出する。
【0104】
パラメータ生成部１６３は、センサ１０Ｂの時点ｔ＝８，９，１２のターゲット２の位置と、センサ１０Ｄの時点ｔ＝８，９，１２のターゲット２の位置との関係から、特異値分解で位置合わせを行い、外部パラメータＴＤＢの初期値を算出する。
【0105】
パラメータ生成部１６３は、センサ１０Ｄの時点のターゲット２の位置と、センサ１０Ｃの時点のターゲット２の位置との関係から、特異値分解で位置合わせを行い、外部パラメータＴＣＤの初期値を算出する。
【0106】
パラメータ生成部１６３は、バンドル調整や最尤推定を用いて、外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤの最適化（ターゲット２形状のフィッティング）を実行し、最終的な外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤを算出する。連結性のある２つのセンサ間の、各外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤは「第１の相関位置関係を示す情報」に対応する。
【0107】
パラメータ生成部１６３は、式（１）と、外部パラメータＴＢＡ、ＴＤＢ、ＴＣＤとを基にして、外部パラメータＴＣＡを算出する。外部パラメータＴＣＡは、連結性のない２つのセンサ間の外部パラメータであり、「第２の相関位置関係を示す情報」に対応する。
【0108】
パラメータ生成部１６３は、センサ１０Ａを基準とする外部パラメータＴＢＡ、ＴＣＡ、ＴＤＡを、外部パラメータテーブル１４３に格納する。なお、パラメータ生成部１６３は、センサ１０Ａを基準とするセンサ１０Ｄの相対的な位置および姿勢を示す外部パラメータＴＤＡを、式（２）により算出する。
【0109】
ＴＤＡ＝ＴＤＢＴＢＡ・・・（２）
【0110】
ロバスト推定部１６４は、ターゲット２の誤検出を検出する処理部である。図１１～図１５は、ロバスト推定部の処理を説明するための図である。ここでは一例として、センサ１０Ａとセンサ１０Ｂとを基にして説明を行う。図１１に示すように、時点ｔ＝１～４において、ターゲット２を移動させながら、センサ１０Ａ、センサ１０Ｂによって、ターゲット２を観測するものとする。なお、時刻ｔ＝２において、ターゲット２に似た特徴を持つ前景物体３が、センサ１０Ｂの観測結果に含まれるものとする。
【0111】
センサ１０Ａおよびセンサ１０Ｂの観測結果は、図１２に示すものとなる。観測結果３０Ａは、センサ１０Ａの時点ｔ＝１～４の観測結果を示す。観測結果３０Ｂは、センサ１０Ｂの時点ｔ＝１～４の観測結果を示す。たとえば、観測結果３０Ｂの時点ｔ＝２において、ターゲット２の代わりに、誤って、前景物体３をターゲット２として誤検出され、検出結果テーブル１４２に格納されているものとする。
【0112】
図１３の説明に移行する。センサ１０Ａが時点ｔ＝１～４に観測したターゲット２の符号を、２Ａ－１、２Ａ－２、２Ａ－３、２Ａ－４とする。センサ１０Ｂが時点ｔ＝１，３，４に観測したターゲット２の符号を、２Ｂ－１、２Ｂ－３、２Ｂ－４とする。センサ１０Ｂは、時点ｔ＝２で前景物体３を観測する。
【0113】
ロバスト推定部１６４は、同時点で観測したターゲット２（前景物体３）を対応付ける。すなわち、ロバスト推定部１６４は、ターゲット２Ａ－１と、ターゲット２Ｂ－１とを対応付ける。ロバスト推定部１６４は、ターゲット２Ａ－２と、前景物体３とを対応付ける。ロバスト推定部１６４は、ターゲット２Ａ－３と、ターゲット２Ｂ－３とを対応付ける。ロバスト推定部１６４は、ターゲット２Ａ－４と、ターゲット２Ｂ－４とを対応付ける。
【0114】
ロバスト推定部１６４は、上記の対応関係によって、対応するターゲットのペア間における位置の距離の総和が最小となるような外部パラメータＴＢＡを算出する。たとえば、ロバスト推定部１６４は、初期値の推定を行った後に、バンドル推定や最尤推定を用いて、センサ１０Ａとセンサ１０Ｂとの間の外部パラメータＴＢＡの最適化を行い、最終的な外部パラメータＴＢＡを算出する。
【0115】
ロバスト推定部１６４は、外部パラメータＴＢＡを用いて、観測結果３０Ｂの各ターゲット２の位置を、センサ１０Ａを基準とする位置に補正すると、図１４に示すものとなる。誤対応（ターゲット２Ａ－２と、前景物体３）の影響により、対応付けられたターゲット２Ａ－１，２Ｂ－１の組の位置、ターゲット２Ａ－３，２Ｂ－３の組の位置、ターゲット２Ａ－４，２Ｂ－４の組の位置が一致しない。
【0116】
ロバスト推定部１６４は、対応付けた各ターゲットの距離の平均が閾値以上である場合に、ノイズ（前景物体３）が観測されていると判定し、次の処理を実行する。ロバスト推定部１６４は、各時点において対応付けられた各ターゲットの組のうち、いずれかの組を除外して、外部パラメータＴＢＡの算出を行う。
【0117】
たとえば、ロバスト推定部１６４は、時刻ｔ＝１のターゲット２Ａ－１と、ターゲット２Ｂ－１との組を除外して、外部パラメータＴＢＡ１を生成する。ロバスト推定部１６４は、時刻ｔ＝２のターゲット２Ａ－２と、前景物体３との組を除外して、外部パラメータＴＢＡ２を生成する。ロバスト推定部１６４は、時刻ｔ＝３のターゲット２Ａ－３と、２Ｂ－３との組を除外して、外部パラメータＴＢＡ３を生成する。ロバスト推定部１６４は、時刻ｔ＝４のターゲット２Ａ－４と、ターゲット２Ｂ－４との組を除外して、外部パラメータＴＢＡ４を生成する。
【0118】
ロバスト推定部１６４は、外部パラメータＴＢＡ１を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－１、２Ｂ－１の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第１平均値）を算出する。
【0119】
ロバスト推定部１６４は、外部パラメータＴＢＡ２を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－２、前景物体３の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第２平均値）を算出する。たとえば、外部パラメータＴＢＡ２を用いて、各ターゲット２（ターゲット２Ａ－２、前景物体３の組を除く）の位置を、センサ１０Ａを基準とする位置に補正した結果は、図１５に示すものとなる。誤対応（ターゲット２Ａ－２と、前景物体３）の影響がなくなり、対応付けられたターゲット２Ａ－１，２Ｂ－１の組の位置、ターゲット２Ａ－３，２Ｂ－３の組の位置、ターゲット２Ａ－４，２Ｂ－４の組の位置が一致する（第２平均値が小さくなる）。
【0120】
外部パラメータＴＢＡ３を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－３、２Ｂ－３の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第３平均値）を算出する。
【0121】
外部パラメータＴＢＡ４を用いて、観測結果３０Ｂの各ターゲット２（ターゲット２Ａ－４、２Ｂ－４の組を除く）の位置を、センサ１０Ａを基準とする位置に補正し、対応付けられた各ターゲットの距離の平均（第４平均値）を算出する。
【0122】
ロバスト推定部１６５は、第１平均値、第２平均値、第３平均値、第４平均値を比較し、他の平均値と比較して、十分小さい平均値が存在するか否かを判定する。たとえば、第２平均値が、第１，３，４平均値と比較して、十分小さい場合には、ターゲット２Ａ－２と、前景物体３を、ターゲット２から除外する。すなわち、時点ｔ＝２に観測されたターゲット２の情報を、検出結果テーブル１４２から削除する。たとえば、ロバスト推定部１６５は、第２平均値が、第１，３，４平均値より大きく、かつ、差分が閾値以上である場合に、十分小さいと判定する。
【0123】
たとえば、ロバスト推定部１６５は、検出部１６０によって、検出結果テーブル１４２が生成された後、特定部１６１、グラフ生成部１６２、パラメータ生成部１６３による処理が開始される前に、上記処理を実行する。これによって、ターゲット以外を誤検出したノイズ（前景物体３）を除去することが可能になる。
【0124】
図７の説明に戻る。統合部１５３、フィッティング処理部１５４、評価部１５５は、外部パラメータ生成処理部１５２によって、外部キャリブレーションが終了し、被写体が演技を開始した場合に処理を実行する。
【0125】
統合部１５３は、取得部１５１から、各センサ１０Ａ～１０Ｄの背景差分データを取得する。統合部１５３は、変換テーブルを用いて、背景差分データに含まれる各画素と距離値との関係を、点群と各点の直交座標系の座標との関係に変換する。変換した背景差分データを「３次元点群データ」と表記する。変換テーブルは、画素の位置および距離値と、点および直交座標系の座標との関係を定義したテーブルである。
【0126】
統合部１５３は、センサ１０Ａを基準のセンサ１０とし、センサ１０Ｂ～１０Ｄの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。たとえば、統合部１５３は、外部パラメータＴＢＡを用いて、センサ１０Ｂの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５３は、外部パラメータＴＣＡを用いて、センサ１０Ｃの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５３は、外部パラメータＴＤＡを用いて、センサ１０Ｄの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５３は、各外部パラメータを、外部パラメータテーブル１４３から取得する。
【0127】
統合部１５３は、センサ１０Ａの３次元点群データと、センサ１０Ａの位置および姿勢に合わせたセンサ１０Ｂ～１０Ｄの３次元点群データとを統合して、一つの３次元点群データを生成する。統合部１５３は、生成した３次元点群データを、フィッティング処理部１５４に出力する。
【0128】
統合部１５３は、取得部１５１から、センサ１０Ａ～１０Ｄの背景差分データを取得する度に、上記処理を繰り返し実行する。
【0129】
フィッティング処理部１５４は、３次元点群データに対して、被写体の３次元モデルデータを当てはめるフィッティングを実行する処理部である。フィッティング処理部１５４は、フィッティング結果を基にして、被写体の骨格モデルデータを特定する。骨格モデルデータには、各関節の位置情報が含まれる。フィッティング処理部は、骨格モデルデータを、評価部１５５に出力する。フィッティング処理部は、統合部１５３から、３次元点群データを取得する度に、上記処理を繰り返し実行する。
【0130】
評価部１５５は、時系列に骨格モデルデータを取得し、骨格モデルデータの各関節座標の遷移を基にして、被写体の演技を評価する処理部である。たとえば、評価部１５５は、各関節座標の遷移と、技の種別、技の成立不成立を定義したテーブル（図示略）を用いて、被写体の演技を評価し、評価結果を表示部１３０に出力して表示させる。
【0131】
なお、評価部１５５が実行する技の評価は、各種の採点競技に適用可能である。採点競技には、体操演技の他に、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。
【0132】
次に、本実施例１に係る情報処理装置１００が、外部キャリブレーションを実行する処理手順の一例について説明する。図１６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図１６に示すように、情報処理装置１００の取得部１５１は、センサ１０から距離画像のデータを取得する（ステップＳ１０）。取得部１５１は、距離画像のデータと、背景画像データとの差分をとり、背景差分データを生成する（ステップＳ１１）。
【0133】
情報処理装置１００の検出部１６０は、背景差分データからターゲットを検出し、ターゲットの点群情報を、検出結果テーブル１４２に登録する（ステップＳ１２）。情報処理装置１００は、ターゲットの検出を終了しない場合には（ステップＳ１３，Ｎｏ）、再度、ステップＳ１０に移行する。一方、情報処理装置１００は、ターゲットの検出を終了する場合には（ステップＳ１３，Ｙｅｓ）、ステップＳ１４に移行する。
【0134】
情報処理装置１００の外部パラメータ生成処理部１５２（特定部１６１およびグラフ生成部１６２）は、センサ連結性グラフ生成処理を実行する（ステップＳ１４）。情報処理装置１００のパラメータ生成部１６３は、基準センサｉｒｅｆと、その他のセンサｉｔａｒの組（ｉｒｅｆ，ｉｔａｒ）について、センサ連結性グラフ３１上で、Bellman-Ford法を適用することで、最短経路を検索する（ステップＳ１５）。たとえば、基準センサｉｒｅｆは、センサ１０Ａに対応する。その他のセンサｉｔａｒは、センサ１０Ｂ，１０Ｃ，１０Ｄに対応する。
【0135】
パラメータ生成部１６３は、最短経路の検索結果を基にして、センサ群の経路Ｐを選択する（ステップＳ１６）。パラメータ生成部１６３は、経路Ｐの順番に基づき、特異値分解を用いて、センサｉｔａｒの外部パラメータの初期値を算出する（ステップＳ１７）。
【0136】
パラメータ生成部１６３は、バンドル調整および最尤推定により、センサｉｔａｒの外部パラメータを最適化する（ステップＳ１８）。パラメータ生成部１６３は、外部パラメータを、外部パラメータテーブル１４３に格納する（ステップＳ１９）。ステップＳ１９の処理は、外部パラメータを外部装置へ送信する処理にも対応する。
【0137】
次に、図１６のステップＳ１４に示したセンサ連結性グラフ生成処理の処理手順の一例について説明する。図１７は、センサ連結性グラフ生成処理の処理手順を示すフローチャートである。図１７に示すように、情報処理装置１００の特定部１６１は、全てのセンサの組（ｉ，ｊ）について、共有観測するターゲットの共有数Ｎｉ，ｊを集計する（ステップＳ１０１）。
【0138】
情報処理装置１００のグラフ生成部１６２は、共有数Ｎｉ，ｊをエッジ重み、センサ１０をノードとするターゲット共有数グラフ５０を生成する（ステップＳ１０２）。グラフ生成部１６２は、ターゲット共有数グラフのエッジのうち、共有数Ｎｉ，ｊ≧３であるようなエッジを残したセンサ連結性グラフを生成する（ステップＳ１０３）。
【0139】
グラフ生成部１６２は、センサ連結性グラフの各エッジについて、－２ｌｏｇσをエッジ重みとするようなセンサ連結性グラフを生成する（ステップＳ１０４）。
【0140】
次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、各時点においてターゲット２を移動させながら、センサ１０Ａ～１０Ｄによる観測を実行し、同時点でターゲット２を検出した時点の回数を示す共有数を特定する。情報処理装置１００は、共有数をエッジの重みとするターゲット共有数グラフ５０を生成し、ターゲット共有数グラフ５０から、エッジＥの重みが所定の数以上となるエッジを残したセンサ連結性グラフ５１を生成する。これによって、同時点で、ターゲット２を観測した回数が所定の数以上となるセンサの組を特定することができる。
【0141】
情報処理装置１００は、各時点において、２つのセンサの組で観測されるターゲット群の位置の分散σ２を算出し、「－２ｌｏｇσ」を、各エッジＥの重みとし、ターゲットの分散をセンサ連結性グラフ５１に反映する。係る「－２ｌｏｇσ」を、各エッジＥの重みとしたセンサ連結性グラフにおいて、エッジの重みが小さいほど、２つのセンサの組で観測したターゲット群の位置の空間的な分散が大きいことを意味する。情報処理装置１００は、各エッジＥの和が最小となるような経路を特定し、特定した経路を基にして、外部パラメータを算出する場合に選択するセンサ１０の順番を特定する。これによって、センサ１０の外部パラメータの計算が安定するように、ターゲット群の位置の空間的な分散がなるべく大きくなるようなセンサの順番を特定することができる。したがって、情報処理装置１００によれば、３つ以上のセンサについて、配置位置関係や画角の関係など、相対位置関係を示す情報を精度よく生成することができる。
【0142】
ところで、本実施例１に係る情報処理装置１００は、ターゲットとして、円筒状のターゲット２を用いて、外部キャリブレーションを実行し、外部パラメータを生成したが、これに限定されるものではない。たとえば、情報処理装置１００は、球体マーカを、ターゲットとして用いてもよい。
【0143】
図１８～図２０は、球体マーカを用いた外部キャリブレーションの一例を示す図である。図１８に示すように、ユーザ（図示略）は、各時点において、球体マーカ６０を移動させながら、センサ１０Ａ～１０Ｄによって、球体マーカ６０を観測する。球体マーカ６０は、ユーザ（図示略）によって移動される。
【0144】
センサ１０Ａによって、各時点の観測結果６１Ａが観測される。センサ１０Ｂによって、各時点の観測結果６１Ｂが観測される。センサ１０Ｃによって、各時点の観測結果６１Ｃが観測される。センサ１０Ｄによって、各時点の観測結果６１Ｄが観測される。
【0145】
図１９の説明に移行する。ここでは、観測結果に含まれる距離画像のデータを用いて説明する。情報処理装置１００は、距離画像のデータ６２と、背景画像データとの差分を取ることで、背景差分データ６３を生成する。情報処理装置１００は、背景差分データ６３からノイズを除去することで、背景差分データ６４を生成する。情報処理装置１００は、背景差分データ６４から、球体マーカ６４ａを検出する。たとえば、情報処理装置１００は、球体マーカ６４ａをフィッティングすることで、計測ノイズに対してロバストに球体マーカ６４ａを検出することが可能となる。
【0146】
図２０の説明に移行する。情報処理装置１００は、各時点ｔ＝１～４において、上記処理を繰り返し実行することで、各センサ１０が観測した、各時点ｔ＝１～４の球体マーカ６０をそれぞれ特定する。たとえば、センサ１０Ａは、各時点ｔ＝１～４において、球体マーカ６０を観測する。センサ１０Ｂは、各時点ｔ＝１～４において、球体マーカ６０を観測する。センサ１０Ｃは、各時点ｔ＝１～４において、球体マーカ６０を観測する。センサ１０Ｄは、各時点ｔ＝１～３において、球体マーカ６０を観測し、時刻ｔ＝４において、ノイズ６５を誤検出する。
【0147】
ここで、時刻ｔ＝４において、ノイズ６５は、ロバスト推定部１６４により、除去され、センサ１０Ｄにより、時刻ｔ＝４において、球体マーカ６０が検出されるものとする。情報処理装置１００は、球体マーカ６０の共有数、球体マーカ６０の分散を基にして、センサ連結性グラフを生成し、外部パラメータを生成する。
【0148】
上記のように、情報処理装置１００は、ターゲット２の代わりに、球体マーカ６０を用いても、配置位置関係や画角の関係など、相対位置関係を示す情報（外部パラメータ）を精度よく生成することができる。
【実施例2】
【0149】
次に、本実施例２に係る情報処理システムについて説明する。本実施例２に係る情報処理システムでは、ターゲットを所定の位置に配置して計測することで、外部パラメータの生成に加えて、センサ以外の物体の位置と姿勢を計算することができる。本実施例２では一例として、センサ以外の物体として、体操器具を用いて説明を行うが、これに限定されるものではない。
【0150】
図２１は、ターゲットの配置位置を説明するための図である。図２１に示すように、体操器具７０が配置される。また、センサ１０Ａ～１０Ｄは、体操器具７０の周囲に配置される。センサ１０Ａ～１０Ｄは、情報処理装置２００にそれぞれ接続される。
【0151】
図２１において、ターゲットＰｎは、時点ｔ＝ｎにおいて、配置されたターゲットを意味する。ターゲットＰ１は、体操器具７０の中央の真上に配置される。ターゲットＰ２は、体操器具７０のｙ軸上であって、体操器具７０の上面の高さＨで配置される。ターゲットＰ３～Ｐｎは、床面７１からの高さが同一となるマット７２上において、Ｐ２よりも高い位置に配置される。床面７１から、ターゲットＰ３～Ｐｎまでの高さはそれぞれ同一である。ターゲットＰ３～Ｐｎは、３以上であることを条件とする。
【0152】
情報処理装置２００は、実施例１の情報処理装置１００と同様にして、外部キャリブレーションを実行した後に、外部キャリブレーション実行時に観測したターゲットＰ１～Ｐｎの位置を用いて、体操器具７０の座標系のＸａ軸、Ｙａ軸、Ｚａ軸と、原点Ｏａを算出する。
【0153】
情報処理装置２００は、ターゲットＰ３～Ｐｎに対して平面をフィッティングし、平面の法線をＺａ軸として特定する。
【0154】
情報処理装置２００は、式（３）及び式（４）を基にして、Ｘａ軸を算出する。式（３）に含まれるＰ１、Ｐ２は、ターゲットＰ１，Ｐ２の位置を示す。
【0155】
ｖ＝（Ｐ２－Ｐ１）/｜Ｐ２－Ｐ１｜・・・（３）
Ｘａ＝（ｖ/｜ｖ｜）×Ｚａ・・・（４）
Ｘａ＝（ｖ/｜ｖ｜）×Ｚａ・・・（４）
【0156】
情報処理装置２００は、式（５）を基にして、Ｙａ軸を算出する。
【0157】
Ｙａ＝Ｚａ×Ｘａ・・・（５）
【0158】
情報処理装置２００は、式（６）を基にして、原点Ｏａを算出する。式（６）に含まれるＨは、体操器具７０の上面の高さに対応する。式（６）に含まれるｄｏｔ（ｖ，Ｚａ）は、ｖと、Ｚａとの内積を計算する関数である。
【0159】
Ｏａ＝Ｐ１－（Ｈ－ｄｏｔ（ｖ，Ｚａ））Ｚａ・・・（６）
【0160】
基準となるセンサをセンサ１０Ａとし、Ｘａ軸、Ｙａ軸、Ｚａ軸、原点Ｏａを、センサ１０Ａを基準とする座標に変換する座標変換パラメータＴａＡを算出する。座標変換パラメータＴａＡは、回転成分Ｒと、並進成分ｔとを含む。回転成分Ｒは、式（７）により定義される。並進成分ｔは、式（８）により定義される。たとえば、センサ１０Ａの観測結果から得られる３次元座標に、座標変換パラメータＴａＡを乗算することで、センサ１０Ａ基準の座標系を、体操器具７０の座標系に変換することができる。
【0161】
【数1】
【0162】
ｔ＝Ｒ×Ｏａ・・・（８）
【0163】
上記のように、本実施例２に係る情報処理装置２００は、ターゲットＰｎを所定の位置に配置して計測することで、外部パラメータの生成に加えて、センサ以外の体操器具７０の座標系のＸａ、Ｙａ、Ｚａと、原点Ｏａを算出することができる。たとえば、被写体の３次元モデルを生成し、アニメーション表示する場合に、体操器具７０の座標系によって、３次元モデルをアニメーション表示することができる。
【0164】
次に、本実施例２に係る情報処理装置２００の構成の一例について説明する。図２２は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図２２に示すように、この情報処理装置２００は、通信部２１０、入力部２２０、表示部２３０、記憶部２４０、制御部２５０を有する。
【0165】
通信部２１０は、図２１に示したセンサ１０から距離画像のデータを受信する処理部である。通信部２１０は、受信した距離画像のデータを、制御部２５０に出力する。通信部２１０は、通信装置の一例である。
【0166】
入力部２２０は、各種の情報を情報処理装置２００に入力する入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、各時点において、ターゲットＰｎの設置が完了する度に、入力部２２０を操作して、ターゲットＰｎの設置が完了した旨の情報を、情報処理装置１００に入力する。
【0167】
表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。たとえば、表示部２３０は、各種競技の技認定、採点結果等を表示する。表示部２３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。
【0168】
記憶部２４０は、背景画像テーブル２４１と、検出結果テーブル２４２と、外部パラメータテーブル２４３と、座標変換パラメータデータ２４４とを有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
【0169】
背景画像テーブル２４１は、ターゲットＰｎが存在しない状態で、各センサ１０Ａ～１０Ｄによってそれぞれ測定された背景画像のデータ（距離画像のデータ）を格納するテーブルである。
【0170】
検出結果テーブル２４２は、センサ１０の観測結果に基づき、各時点で検出されたターゲットＰｎの点群および位置を格納するテーブルである。検出結果テーブル２４２のデータ構造は、図８で説明した検出結果テーブル１４２のデータ構造に対応する。ただし、ターゲットは、ターゲット２の代わりに、ターゲットＰｎとなる。
【0171】
外部パラメータテーブル２４３は、後述する外部パラメータ生成処理部２５２によって生成される外部パラメータを格納するテーブルである。外部パラメータテーブル２４３のデータ構造は、図９で説明した外部パラメータテーブル１４３に対応する。
【0172】
座標変換パラメータデータ２４４は、座標変換パラメータＴａＡのデータを有する。座標変換パラメータＴａＡは、Ｘａ軸、Ｙａ軸、Ｚａ軸、原点Ｏａを、センサ１０Ａを基準とする座標に変換するパラメータである。
【0173】
制御部２５０は、取得部２５１と、外部パラメータ生成処理部２５２と、算出部２５３と、統合部２５４と、フィッティング処理部２５５と、評価部２５６とを有する。制御部２５０は、ＣＰＵやＭＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。
【0174】
取得部２５１は、通信部２１０を介して、センサ１０から、距離画像のデータを取得する処理部である。たとえば、取得部２５１が、距離画像のデータを取得するタイミングは、入力部２２０を操作するユーザによって指示される。取得部２５１は、距離画像のデータと、背景画像テーブル２４１に格納された背景画像のデータとの差分をとり、背景差分画像データを生成する。取得部２５１は、背景差分画像データを、外部パラメータ生成処理部２５２に出力する。取得部２５１に関するその他の説明は、実施例１で説明した取得部１５１に関する説明と同様である。
【0175】
外部パラメータ生成処理部２５２は、検出結果テーブル２４２に格納されたデータを基にして、外部パラメータを生成する処理部である。外部パラメータ生成処理部２５２は、生成した外部パラメータを、外部パラメータテーブル２４３に格納する。外部パラメータ生成処理部２５２に関する説明は、実施例１で説明した外部パラメータ生成処理部２５２に関する説明と同様である。
【0176】
算出部２５３は、体操器具７０の座標系の座標系のＸａ軸、Ｙａ軸、Ｚａ軸と、原点Ｏａを算出する処理部である。たとえば、算出部２５３は、センサ１０Ａを基準のセンサ１０とし、センサ１０Ｂ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。センサ１０Ｂ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データは、検出結果テーブル２４２に格納されている。
【0177】
たとえば、算出部２５３は、外部パラメータＴＢＡを用いて、センサ１０Ｂが観測した３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。算出部２５３は、外部パラメータＴＣＡを用いて、センサ１０Ｃが観測した３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。算出部２５３は、外部パラメータＴＤＡを用いて、センサ１０Ｄが観測した３次元点群データを、センサ１０Ａの位置および姿勢に合わせる。算出部２５３は、各外部パラメータを、外部パラメータテーブル２４３から取得する。
【0178】
算出部２５３は、センサ１０Ｂ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データを、センサ１０Ａの位置および姿勢に合わせた後、センサ１０Ａ～１０Ｄが観測したターゲットＰ１～Ｐｎの３次元点群データを統合する。算出部２５３は、係る処理を実行することで、図２１に示した各時点ｔ＝１～ｎのターゲットＰ１～Ｐｎの位置および形状を特定する。たとえば、算出部２５３は、ターゲットＰ１～Ｐｎの重心位置を、ターゲットＰ１～Ｐｎの位置とする。
【0179】
算出部２５３は、ターゲットＰ３～Ｐｎに対して平面をフィッティングし、平面の法線をＺａ軸として特定する。算出部２５３は、式（３）及び式（４）を基にして、Ｘａ軸を算出する。算出部２５３は、式（５）を基にして、Ｙａ軸を算出する。算出部２５３は、式（６）を基にして、原点Ｏａを算出する。算出部２５３は、式（７）、式（８）を基にして、Ｘａ軸、Ｙａ軸、Ｚａ軸、原点Ｏａを、センサ１０Ａを基準とする座標に変換する座標変換パラメータＴａＡを算出する。算出部２５３は、座標変換パラメータＴａＡを、記憶部２４０に格納する。
【0180】
続いて、統合部２５４、フィッティング処理部２５５、評価部２５６の説明に移行する。統合部２５４、フィッティング処理部２５５、評価部２５６は、外部パラメータ生成処理部２５２によって、外部キャリブレーションが終了し、被写体が演技を開始した場合に処理を実行する。
【0181】
統合部２５４は、センサ１０Ａの３次元点群データと、センサ１０Ａの位置および姿勢に合わせたセンサ１０Ｂ～１０Ｄの３次元点群データとを統合して、一つの３次元点群データを生成する処理部である。統合部２５４に関する説明は、実施例１で説明した統合部１５３に関する説明と同様である。
【0182】
なお、統合部２５４は、評価部２５６から、体操器具７０の座標系に変換する旨の指示を受け付けた場合、統合した３次元点群データの座標に、座標変換パラメータＴａＡを乗算する。これにより、センサ１０Ａを基準とする座標系の３次元点群データを、体操器具７０の座標系の３次元点群データに変換することができる。
【0183】
フィッティング処理部２５５は、３次元点群データに対して、被写体の３次元モデルデータを当てはめるフィッティングを実行する処理部である。フィッティング処理部２５５は、フィッティング結果を基にして、被写体の骨格モデルデータを特定する。骨格モデルデータには、各関節の位置情報が含まれる。フィッティング処理部は、骨格モデルデータを、評価部２５６に出力する。フィッティング処理部２５５は、統合部２５４から、３次元点群データを取得する度に、上記処理を繰り返し実行する。
【0184】
評価部２５６は、時系列に骨格モデルデータを取得し、骨格モデルデータの各関節座標の遷移を基にして、被写体の演技を評価する処理部である。たとえば、評価部２５６は、各関節座標の遷移と、技の種別、技の成立不成立を定義したテーブル（図示略）を用いて、被写体の演技を評価し、評価結果を表示部２３０に出力して表示させる。
【0185】
また、評価部２５６は、時系列の骨格モデルデータを用いて、被写体の３次元モデルを生成し、アニメーション表示する場合に、体操器具７０の座標系によって、３次元モデルをアニメーション表示してもよい。また、評価部２５６は、体操器具７０の座標系に変換する旨の指示を、統合部２５４に出力し、被写体の座標を、体操器具７０の座標系に変換して表示させてもよい。
【0186】
次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図２３は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２３に示すように、情報処理装置２００の取得部２５１は、センサ１０から距離画像のデータを取得する（ステップＳ２０１）。取得部２５１は、距離画像のデータと、背景画像データとの差分をとり、背景差分データを生成する（ステップＳ２０２）。
【0187】
情報処理装置２００の外部パラメータ生成処理部２５２は、背景差分データからターゲットを検出し、ターゲットの点群情報を、検出結果テーブル２４２に登録する（ステップＳ２０３）。情報処理装置２００は、ターゲットの検出を終了しない場合には（ステップＳ２０４，Ｎｏ）、再度、ステップＳ２０１に移行する。一方、情報処理装置２００は、ターゲットの検出を終了する場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２０５に移行する。
【0188】
情報処理装置２００の外部パラメータ生成処理部２５２は、センサ連結性グラフ生成処理を実行する（ステップＳ２０５）。ステップＳ２０５のセンサ連結性グラフ生成処理は、実施例１の図１７で説明したセンサ連結性グラフ生成処理の処理手順に対応する。
【0189】
情報処理装置２００の外部パラメータ生成処理部２５２は、基準センサｉｒｅｆと、その他のセンサｉｔａｒの組（ｉｒｅｆ，ｉｔａｒ）について、センサ連結性グラフ３１上で、Bellman-Ford法を適用することで、最短経路を検索する（ステップＳ２０６）。たとえば、基準センサｉｒｅｆは、センサ１０Ａに対応する。その他のセンサｉｔａｒは、センサ１０Ｂ，１０Ｃ，１０Ｄに対応する。
【0190】
外部パラメータ生成処理部２５２は、最短経路の検索結果を基にして、センサ群の経路Ｐを選択する（ステップＳ２０７）。外部パラメータ生成処理部２５２は、経路Ｐの順番に基づき、特異値分解を用いて、センサｉｔａｒの外部パラメータの初期値を算出する（ステップＳ２０８）。
【0191】
外部パラメータ生成処理部２５２は、バンドル調整および最尤推定により、センサｉｔａｒの外部パラメータを最適化する（ステップＳ２０９）。外部パラメータ生成処理部２５２は、外部パラメータを、外部パラメータテーブル２４３に格納する（ステップＳ２１０）。
【0192】
情報処理装置２００の算出部２５３は、体操器具７０のＸａ軸、Ｙａ軸、Ｚａ軸を算出する（ステップＳ２１１）。算出部２５３は、体操器具７０の原点Ｏａを算出する（ステップＳ２１２）。算出部２５３は、座標変換パラメータＴａＡを算出する（ステップＳ２１３）。算出部２５３は、座標変換パラメータＴａＡを座標変換パラメータデータ２４４に格納する（ステップＳ２１４）。
【0193】
次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、外部キャリブレーションを実行した後に、外部キャリブレーション実行時に観測したターゲットＰ１～Ｐｎの位置を用いて、体操器具７０の座標系のＸａ軸、Ｙａ軸、Ｚａ軸と、原点Ｏａを算出することができる。たとえば、座標変換パラメータＴａＡを用いることで、被写体の３次元モデルを生成し、アニメーション表示する場合に、体操器具７０の座標系によって、３次元モデルをアニメーション表示することができる。
【0194】
次に、上記実施例に示した情報処理装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２４は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【0195】
図２４に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、センサ１０から距離画像のデータを受信する通信装置３０４と、各種の装置と接続するインタフェース装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。
【0196】
ハードディスク装置３０７は、取得プログラム３０７ａ、外部パラメータ生成処理プログラム３０７ｂ、算出プログラム３０７ｃ、統合プログラム３０７ｄ、フィッティング処理プログラム３０７ｅ、評価プログラム３０７ｆを有する。ＣＰＵ２０１は、取得プログラム３０７ａ、外部パラメータ生成処理プログラム３０７ｂ、算出プログラム３０７ｃ、統合プログラム３０７ｄ、フィッティング処理プログラム３０７ｅ、評価プログラム３０７ｆを読み出してＲＡＭ３０６に展開する。
【0197】
取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。外部パラメータ生成処理プログラム３０７ｂは、外部パラメータ生成処理プロセス３０６ｂとして機能する。算出プログラム３０７ｃは、算出プロセス３０６ｃとして機能する。統合プログラム３０７ｄは、統合プロセス３０６ｄとして機能する。フィッティング処理プログラム３０７ｅは、フィッティング処理プロセス３０６ｅとして機能する。評価プログラム３０７ｆは、評価プロセス３０６ｆとして機能する。
【0198】
取得プロセス２０６ａの処理は、取得部１５１，２５１の処理に対応する。外部パラメータ生成処理プロセス３０６ｂの処理は、外部パラメータ生成処理部１５２，２５２の処理に対応する。算出プロセス３０６ｃの処理は、算出部２５３の処理に対応する。統合プロセス３０６ｄの処理は、統合部１５３，２５４の処理に対応する。フィッティング処理プロセス３０６ｅの処理は、フィッティング処理部１５４，２５５の処理に対応する。評価プロセス３０６ｆの処理は、評価部１５５，２５６の処理に対応する。
【0199】
なお、各プログラム３０７ａ～３０７ｆについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｆを読み出して実行するようにしてもよい。
【符号の説明】
【0200】
１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ センサ
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０，２４０ 記憶部
１４１，２４１ 背景画像テーブル
１４２，２４２ 検出結果テーブル
１４３，２４３ 外部パラメータテーブル
１５０，２５０ 制御部
１５１，２５１ 取得部
１５２，２５２ 外部パラメータ生成処理部
１５３，２５４ 統合部
１５４，２５５ フィッティング処理部
１５５，２５６ 評価部
１６０ 検出部
１６１ 特定部
１６２ グラフ生成部
１６３ パラメータ生成部
１６４ ロバスト推定部
２４４ 座標変換パラメータデータ
２５３ 算出部
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０，２４０ 記憶部
１４１，２４１ 背景画像テーブル
１４２，２４２ 検出結果テーブル
１４３，２４３ 外部パラメータテーブル
１５０，２５０ 制御部
１５１，２５１ 取得部
１５２，２５２ 外部パラメータ生成処理部
１５３，２５４ 統合部
１５４，２５５ フィッティング処理部
１５５，２５６ 評価部
１６０ 検出部
１６１ 特定部
１６２ グラフ生成部
１６３ パラメータ生成部
１６４ ロバスト推定部
２４４ 座標変換パラメータデータ
２５３ 算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】