特許 6772593 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6772593

(24)【登録日】2020年10月5日

(45)【発行日】2020年10月21日

(54)【発明の名称】移動体識別装置、移動体識別システム、移動体識別方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20201012BHJP

   G06T 1/00 20060101ALI20201012BHJP

   H04N 7/18 20060101ALI20201012BHJP

【ＦＩ】

   G06T7/20

   G06T1/00 340B

   H04N7/18 K

【請求項の数】12

【全頁数】28

(21)【出願番号】特願2016-130184(P2016-130184)

(22)【出願日】2016年6月30日

(65)【公開番号】特開2018-5474(P2018-5474A)

(43)【公開日】2018年1月11日

【審査請求日】2019年6月21日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】山本 量平

(72)【発明者】

【氏名】上田 将司

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２０１６−１８６７４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定手段と、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段と、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする移動体識別装置。

【請求項2】

前記少なくとも１つの測定装置のそれぞれから前記移動情報を受信するとともに、前記撮像装置から前記動画を受信する受信手段と、
前記受信手段によって受信された前記動画から前記第１の時系列的特徴を取得する第１の特徴取得手段と、
前記受信手段によって受信された前記移動情報から前記第２の時系列的特徴を取得する第２の特徴取得手段と、
を更に備える、
ことを特徴とする請求項１に記載の移動体識別装置。

【請求項3】

前記少なくとも１つの測定装置のうちの、前記少なくとも１つの移動体のそれぞれに対応する測定装置を識別する識別情報を、前記動画とともに表示手段に表示する表示制御手段、
を更に備える、
ことを特徴とする請求項１又は２に記載の移動体識別装置。

【請求項4】

前記撮像装置は、屋内において移動している前記少なくとも１つの移動体を撮像することによって、前記動画を生成する、
ことを特徴とする請求項１から３のいずれか１項に記載の移動体識別装置。

【請求項5】

前記撮像装置は、前記少なくとも１つの移動体を斜め上方から撮像することによって、前記動画を生成する、
ことを特徴とする請求項１から４のいずれか１項に記載の移動体識別装置。

【請求項6】

前記少なくとも１つの測定装置は、加速度センサを含む、
ことを特徴とする請求項１から５のいずれか１項に記載の移動体識別装置。

【請求項7】

撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定手段と、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段と、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされ、
前記差の絶対値が前記許容値を超えた場合、前記位置推定手段は、前記いずれかの移動体がジャンプした又は屈んだと推定する、
ことを特徴とする移動体識別装置。

【請求項8】

前記特定手段は、前記時間区間においては、前記撮像装置によって撮像された前記動画から得られた、前記少なくとも１つの移動体の移動に関する情報を対応関係を特定するために用いない、
ことを特徴とする請求項１から７のいずれか１項に記載の移動体識別装置。

【請求項9】

撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定手段、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する、
ことを特徴とする移動体識別装置。

【請求項10】

請求項１から９のいずれか１項に記載の移動体識別装置と、前記撮像装置と、前記少なくとも１つの測定装置と、を備える、
ことを特徴とする移動体識別システム。

【請求項11】

撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定ステップと、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定ステップと、
を含み、
前記特定ステップでは、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする移動体識別方法。

【請求項12】

移動体識別装置のコンピュータを、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定手段、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段、
として機能させ、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体識別装置、移動体識別システム、移動体識別方法及びプログラムに関する。

【背景技術】

【0002】

移動している複数の移動体の位置を追跡したり運動を解析したりするために、複数の移動体を撮像し、撮像された動画から複数の移動体を識別する技術が知られている。動画を用いることは、複数の移動体の位置及び周囲の状況を容易に把握できるというメリットがある。その反面、複数の移動体の外観が似ている場合や、移動体同士が重なったり移動体が障害物に隠れたりする場合のように、移動体個々の特定が難しい場合があるというデメリットがある。

【0003】

このようなデメリットを補うために、複数の移動体のそれぞれに測定装置を装着し、測定装置による測定と動画の撮像とを組み合わせて複数の移動体を識別する手法が知られている。装着型の測定装置を用いることで、対応する移動体が特定されており、移動体の定量的な移動情報を取得することができる。

【0004】

例えば特許文献１は、幼稚園又は保育園等において、移動体である幼児の位置を検出するシステムを開示している。特許文献１に開示された位置検出システムは、カメラの撮影によって各幼児の位置を検出し、且つ、各幼児に装着された加速度センサによって各幼児の移動量を検出する。そして、この位置検出システムは、加速度センサによって検出された各幼児の移動量とカメラの撮影によって検出された各幼児の位置とを照合し、各幼児の位置を、各幼児を個々に特定しつつ検出する。

【0005】

また、特許文献２は、移動体である幼児の位置を、幼児が誰であるのかを認識しつつ追跡する移動体識別システムを開示している。特許文献２に開示された移動体識別システムは、２台のカメラによって移動体の上下方向の動きと水平方向の動きとを検出し、且つ、移動体に取り付けられたセンサによって移動体の上下方向及び水平方向の加速度を検出する。そして、この移動体識別システムは、上下方向と水平方向とのそれぞれについて、センサにより得られた加速度とカメラにより得られた移動体の動きとを照合して、最も一致度の高い移動体を選別する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−９６５０１号公報

【特許文献2】特開２００４−２７４１０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前記のような、動画における複数の移動体と複数の移動体にそれぞれ装着された複数の測定装置とを対応付けることによって複数の移動体を識別する技術において、対応付けを誤ることがある。そのため、対応付けの誤りを減らすことが望まれている。

【0008】

本発明は、以上のような課題を解決するためのものであり、動画における少なくとも１つの移動体と少なくとも１つの移動体に装着された少なくとも１つの測定装置とを対応付ける際に、対応付けの誤りを減らすことが可能な移動体識別装置、移動体識別システム、移動体識別方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

前記目的を達成するため、本発明に係る移動体識別装置の一様態は、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定手段と、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段と、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする。

【0010】

また、前記目的を達成するため、本発明に係る移動体識別システムの一態様は、
前記に記載の移動体識別装置と、前記撮像装置と、前記少なくとも１つの測定装置と、を備える、
ことを特徴とする。

【0011】

また、前記目的を達成するため、本発明に係る移動体識別方法の一様態は、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定ステップと、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定ステップと、
を含み、
前記特定ステップでは、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする。

【0012】

また、前記目的を達成するため、本発明に係るプログラムの一様態は、
移動体識別装置のコンピュータを、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を特定する特定手段、
前記少なくとも１つの測定装置によって測定された移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段、
として機能させ、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された前記移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いず、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする。

【発明の効果】

【0013】

本発明によれば、動画における少なくとも１つの移動体と少なくとも１つの移動体に装着された少なくとも１つの測定装置とを対応付ける際に、対応付けの誤りを減らすことが可能な移動体識別装置、移動体識別システム、移動体識別方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態１に係る移動体識別システムの概要を示す図である。

【図2】移動体識別システムが適用される場面の例を示す図である。

【図3】複数の測定装置、撮像装置及び移動体識別装置のハードウェア構成を示すブロック図である。

【図4】撮像装置によって撮像された複数の移動体の動画の例を示す図である。

【図5】移動体識別装置の機能構成を示すブロック図である。

【図6】（ａ）は、動画から得られた速度の時間変化の例を示す図である。（ｂ）及び（ｃ）は、測定装置から得られた加速度の分散の時間変化の例を示す図である。（ｄ）は、第１の相関値の例を示す図である。

【図7】（ａ）は、動画から得られた加速度の時間変化の例を示す図である。（ｂ）及び（ｃ）は、測定装置から得られた鉛直方向の加速度の時間変化の例を示す図である。（ｄ）は、第２の相関値の例を示す図である。

【図8】（ａ）は、動画から得られた移動の向きの時間変化の例を示す図である。（ｂ）及び（ｃ）は、測定装置から得られた移動の向きの時間変化の例を示す図である。（ｄ）は、第３の相関値の例を示す図である。

【図9】移動体がジャンプした場合における鉛直方向の加速度の時間変化の例を示す図である。

【図10】複数の移動体のそれぞれに対応する測定装置の識別情報を合わせて表示された動画の表示例を示す図である。

【図11】移動体識別装置によって実行される移動体識別処理の流れを示すフローチャートである。

【図12】移動体識別処理の中で実行される特定処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

【0016】

（実施形態１）
図１に、実施形態１に係る移動体識別システム１の概要を示す。移動体識別システム１は、撮像装置２００によって撮像された複数の移動体１０ａ，１０ｂ，１０ｃ…の動画において、複数の移動体１０ａ，１０ｂ，１０ｃ…を識別するシステムである。複数の移動体１０ａ，１０ｂ，１０ｃ…のそれぞれは、現実世界の空間内において移動可能な物体であって、図１の例では人間である。

【0017】

図１に示すように、移動体識別システム１は、複数の測定装置１００ａ，１００ｂ，１００ｃ…と、撮像装置２００と、移動体識別装置３００と、を備える。複数の測定装置１００ａ，１００ｂ，１００ｃ…は、それぞれ複数の移動体１０ａ，１０ｂ，１０ｃ…に装着されるウェアラブル型の測定装置であって、複数の移動体１０ａ，１０ｂ，１０ｃ…の移動及び運動を測定するモーションセンサを備える。

【0018】

なお、以下では、複数の移動体１０ａ，１０ｂ，１０ｃ…のそれぞれを区別せずに称する場合には、移動体１０と総称し、複数の測定装置１００ａ，１００ｂ，１００ｃ…のそれぞれを区別せずに称する場合には、測定装置１００と総称する。

【0019】

図２に、移動体識別システム１が適用される場面の例を示す。図２の例では、それぞれ移動体１０ａ〜１０ｆである６人の選手が、コート内において運動競技をしている。運動競技は、例えば、バスケットボール、ハンドボール、バレーボール又はフットサル等、屋内でプレイされるスポーツである。これら６人の選手（移動体１０ａ〜１０ｆ）には、それぞれ測定装置１００ａ〜１００ｆが１台ずつ装着されている。測定装置１００ａ〜１００ｆのそれぞれは、測定装置１００が装着された選手（移動体１０）の競技中における動きを測定する。測定装置１００ａ〜１００ｆのそれぞれは、選手の移動及び運動を的確に測定できるように、各選手（各移動体１０ａ〜１０ｆ）の体幹に取り付けられる。

【0020】

撮像装置２００は、移動している複数の移動体１０ａ〜１０ｆを撮像して、複数の移動体１０ａ〜１０ｆの動画を生成する。撮像装置２００は、例えばビデオカメラ、又はスマートフォン等の携帯端末に内蔵されたカメラ等である。撮像装置２００によって生成される動画は、フレーム単位で撮像された複数の画像を含んでいる。撮像装置２００は、複数の移動体１０ａ〜１０ｆの全部が視野に入るように、複数の移動体１０ａ〜１０ｆに対して斜め上方の位置（図２の例では観客席）に設置される。撮像装置２００は、斜め上方から俯瞰して撮像することによって、複数の移動体１０ａ〜１０ｆの水平方向における動きと鉛直方向における動きとのどちらも捉えることができる。

【0021】

なお、図２に示すように、複数の移動体１０ａ〜１０ｆが移動する空間において、ｘｙ平面が水平面に相当し、且つ、ｚ方向が鉛直方向に相当するように、世界座標系が設定されている。

【0022】

次に、図３を参照して、移動体識別システム１の構成について説明する。複数の測定装置１００のそれぞれは、制御部１０１と、記憶部１０２と、測定部１０３と、通信部１０４と、を備える。

【0023】

制御部１０１は、ＣＰＵ（Central Processing Unit）を備え、様々な処理や演算を実行する中央演算処理部である。制御部１０１は、命令やデータを転送するための伝送経路であるシステムバスを介して測定装置１００の各部と接続され、測定装置１００全体を制御する。

【0024】

記憶部１０２は、制御部１０１のワークメモリとして機能するＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部１０２は、制御部１０１が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、記憶部１０２は、制御部１０１が各種処理を行うことにより生成又は取得する各種データを記憶する。

【0025】

測定部１０３は、測定対象である、測定装置１００が装着された移動体１０の移動情報を測定する。ここで、移動情報とは、移動体１０の移動に関する情報であって、移動体１０の速度、加速度又は角速度等の情報である。具体的に説明すると、測定部１０３は、加速度センサ（慣性センサ）を備え、測定装置１００に付与された加速度を検出することによって、移動体１０の動き及び振動を測定する。また、加速度センサは、重力を検出してその向き（鉛直下向き）を特定することによって、測定装置１００の傾きを測定する。測定部１０３は、方角を検出する地磁気センサと、測定装置１００の回転（角速度）を検出する角速度センサ（ジャイロセンサ）と、更に備える。

【0026】

通信部１０４は、制御部１０１の制御のもと、移動体識別装置３００と有線又は無線で通信するためインタフェースを備える。通信部１０４は、例えばＷｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＵＳＢ（Universal Serial Bus）等を介して、移動体識別装置３００と通信する。具体的に説明すると、通信部１０４は、測定部１０３が測定して得られた、測定装置１００が装着された移動体１０の移動情報を、移動体識別装置３００に送信する。

【0027】

次に、撮像装置２００の構成の説明に移る。図３に示すように、撮像装置２００は、制御部２０１と、記憶部２０２と、撮像部２０３と、画像処理部２０４と、通信部２０５と、を備える。

【0028】

制御部２０１は、ＣＰＵを備え、様々な処理や演算を実行する中央演算処理部である。制御部２０１は、命令やデータを転送するための伝送経路であるシステムバスを介して撮像装置２００の各部と接続され、撮像装置２００全体を制御する。

【0029】

記憶部２０２は、制御部２０１のワークメモリとして機能するＲＡＭ、及び、ＲＯＭ又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部２０２は、制御部２０１が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、記憶部２０２は、制御部２０１が各種処理を行うことにより生成又は取得する各種データを記憶する。

【0030】

撮像部２０３は、撮像によって静止画及び動画を取得する機能を備える。撮像部２０３は、被写体（オブジェクト）から射出された光束を集光するレンズ、及び、レンズによる集光位置に配置され、光電変換によって被写体の光学像を電気信号として取得する撮像素子（イメージセンサ）等を備える。撮像素子は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。

【0031】

画像処理部２０４は、撮像素子から電気信号として送られた被写体の撮像画像を示すデータをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器を備える。画像処理部２０４は、制御部２０１の制御のもと、撮像部２０３によって撮像された動画のデジタルデータを生成する。また、画像処理部２０４は、ＶＲＡＭ（Video RAM）等のフレームメモリ、及び、ＧＰＵ（Graphics Processing Unit）等の画像処理用のプロセッサ（画像処理エンジン）等を備える。画像処理部２０４は、制御部２０１の制御のもと、撮像部２０３によって撮像された動画に対して加工処理を実行する機能、及び、動画に対してオブジェクト認識処理及び顔認識処理等の画像認識処理を実行する機能を備える。

【0032】

通信部２０５は、制御部２０１の制御のもと、移動体識別装置３００と有線又は無線で通信するためインタフェースを備える。通信部２０５は、例えばＷｉ−Ｆｉ等の無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＵＳＢ等を介して、移動体識別装置３００と通信する。具体的に説明すると、通信部２０５は、撮像部２０３が複数の移動体（選手）１０を撮像して得られた動画データを、移動体識別装置３００に送信する。

【0033】

図４に、撮像装置２００によって撮像された動画５の例を示す。具体的には図４は、撮像装置２００によって撮像された動画５に含まれる１つのフレームの画像を示している。撮像装置２００は、コート内で運動競技をプレイしている複数の移動体１０ａ〜１０ｆを斜め上方から撮像することによって、図４に示すような、複数の移動体１０ａ〜１０ｆの全体の動きを捉えた動画５を生成する。

【0034】

次に、移動体識別装置３００の構成の説明に移る。図３に示すように、移動体識別装置３００は、制御部３０１と、記憶部３０２と、画像処理部３０３と、操作部３０４と、表示部３０５と、通信部３０６と、を備える。

【0035】

制御部３０１は、ＣＰＵを備え、様々な処理や演算を実行する中央演算処理部である。制御部３０１は、命令やデータを転送するための伝送経路であるシステムバスを介して移動体識別装置３００の各部と接続され、移動体識別装置３００全体を制御する。

【0036】

記憶部３０２は、制御部３０１のワークメモリとして機能するＲＡＭ、及び、ＲＯＭ又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部３０２は、制御部３０１が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、記憶部３０２は、制御部３０１が各種処理を行うことにより生成又は取得する各種データを記憶する。

【0037】

画像処理部３０３は、ＶＲＡＭ等のフレームメモリ、及び、ＧＰＵ等の画像処理用のプロセッサ（画像処理エンジン）等を備える。画像処理部３０３は、制御部３０１の制御のもと、撮像装置２００によって撮像された動画５に対して、背景差分法又は特徴点追跡等の画像処理を実行する。

【0038】

操作部３０４は、例えば入力キー、ボタン、スイッチ、タッチパッド、又は、タッチパネル等のような入力デバイスを備える。操作部３０４は、ユーザから入力された各種の操作指示を受け付け、受け付けた操作指示を制御部３０１に送信する。

【0039】

表示部３０５は、例えば液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等のような表示デバイスを備える。表示部３０５は、例えば撮像装置２００から受信した動画データ等、各種の情報を制御部３０１から取得して、取得した情報を示す画像を表示する。なお、表示部３０５は、操作部３０４と互いに重畳して配置され、表示部３０５と操作部３０４とでいわゆるタッチパネル（タッチスクリーン）を構成してもよい。表示部３０５は、撮像装置２００によって撮像された動画５を表示する表示手段として機能する。

【0040】

通信部３０６は、制御部３０１の制御のもと、複数の測定装置１００のそれぞれ及び撮像装置２００と有線又は無線で通信するためインタフェースを備える。通信部３０６は、例えばＷｉ−Ｆｉ等の無線ＬＡＮ又はＢｌｕｅｔｏｏｔｈ（登録商標）等を介して、複数の測定装置１００のそれぞれ及び撮像装置２００と通信する。具体的に説明すると、通信部３０６は、複数の測定装置１００から複数の移動体（選手）１０の移動情報を受信し、撮像装置２００から複数の移動体（選手）１０の動画データを受信する。

【0041】

次に、図５を参照して、移動体識別装置３００の機能的な構成について説明する。図５に示すように、移動体識別装置３００は、機能的に、受信部３１１と、第１の特徴取得部３１２と、第２の特徴取得部３１３と、算出部３１４と、位置推定部３１５と、特定部３１６と、表示制御部３１７と、を備える。制御部３０１は、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。

【0042】

受信部３１１は、複数の測定装置１００のそれぞれから移動情報を受信するとともに、撮像装置２００から動画５を受信する。受信部３１１が受信する移動情報は、複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆによって測定された、複数の移動体１０ａ〜１０ｆの移動情報である。受信部３１１が受信する動画５は、移動している複数の移動体１０ａ〜１０ｆを撮像装置２００が撮像することによって得られた動画５である。

【0043】

複数の測定装置１００のそれぞれは、ユーザから受け付けられた指示に従って、或いは移動体識別装置３００からの要求に応じて、測定装置１００において測定された移動情報を移動体識別装置３００に送信する。受信部３１１は、このようにして複数の測定装置１００のそれぞれから送信された移動情報を、通信部３０６を介して受信する。また、撮像装置２００は、ユーザから受け付けられた指示に従って、或いは移動体識別装置３００からの要求に応じて、撮像装置２００が撮像した動画５を移動体識別装置３００に送信する。受信部３１１は、このようにして撮像装置２００から送信された動画５を示す動画データを、通信部３０６を介して受信する。受信部３１１は、制御部３０１が通信部３０６と協働することによって実現される。受信部３１１は、受信手段として機能する。

【0044】

第１の特徴取得部３１２は、受信部３１１によって受信された、複数の移動体１０ａ〜１０ｆが撮像された動画５から、複数の移動体１０ａ〜１０ｆの移動に関する第１の時系列的特徴を取得する。第１の時系列的特徴とは、動画５における複数の移動体１０ａ〜１０ｆの位置、速度、加速度及びそれらの向き等が時間と共にどのように変化するかを示す指標である。第１の特徴取得部３１２は、制御部３０１が画像処理部３０３と協働することによって実現される。第１の特徴取得部３１２は、第１の特徴取得手段として機能する。

【0045】

第１の時系列的特徴を取得するために、第１の特徴取得部３１２は、背景差分法を用いて、動画５における複数の移動体１０ａ〜１０ｆの位置を検出する。具体的に説明すると、第１の特徴取得部３１２は、動画５に含まれる複数の画像のそれぞれについて、予め用意された背景画像との差分をとることで、各画像における複数の移動体１０ａ〜１０ｆの領域の候補となる前景物体領域を抽出する。背景画像は、複数の移動体１０ａ〜１０ｆがいずれも視野に入らない状態において、撮像装置２００によって撮像された画像である。

【0046】

第１の特徴取得部３１２は、抽出した前景物体領域に対して膨張収縮処理及びラベリング処理を実行することで、前景物体領域をいくつかの領域にまとめる。第１の特徴取得部３１２は、このようにしてまとめられた複数の領域を、移動体領域として検出する。移動体領域は、各画像において移動体１０が位置していることが推定される領域である。第１の特徴取得部３１２は、このような移動体領域を検出する処理を、動画５に含まれる各フレームの画像について実行する。

【0047】

移動体領域を検出することにより、各フレームにおける複数の移動体１０ａ〜１０ｆの位置を検出すると、第１の特徴取得部３１２は、連続するフレーム間で移動体１０を対応付ける。具体的に説明すると、第１の特徴取得部３１２は、第（ｎ−１）フレームの画像（ｎは２以上の自然数）において検出された複数の移動体領域のうちの、第ｎフレームの画像において検出された移動体領域の位置から最も近くに位置する移動体領域を特定する。そして、第１の特徴取得部３１２は、特定した第（ｎ−１）フレームの画像における移動体領域を、第ｎフレームの画像におけるこの移動体領域に対応する移動体領域として、これら２つの移動体領域を連結する。

【0048】

第１の特徴取得部３１２は、このような連結処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の位置の変化を示す軌跡を取得する。

【0049】

なお、撮像装置２００は複数の移動体１０ａ〜１０ｆを斜め上方から撮像しているため、動画５内の座標系は、世界座標系に対して傾いている。そのため、第１の特徴取得部３１２は、取得した軌跡の動画５内における位置情報を、予め用意された撮像装置２００のキャリブレーション情報により、水平面（図２におけるｘｙ平面）に投影する。このキャリブレーション情報は、撮像装置２００が設置された位置と視線方向によって定められる、動画５内の座標系を世界座標系に変換するための情報である。

【0050】

このように動画５中の移動体領域の軌跡を取得すると、第１の特徴取得部３１２は、第１の時系列的特徴として、以下の（１）から（３）の特徴を取得する。
（１）動画５における複数の移動体１０ａ〜１０ｆの速度。
（２）動画５における複数の移動体１０ａ〜１０ｆの鉛直方向以外の方向における加速度。
（３）動画５における複数の移動体１０ａ〜１０ｆの移動の向き。

【0051】

第１に、第１の特徴取得部３１２は、動画５から検出された複数の移動体領域の位置を微分することによって、動画５における複数の移動体１０ａ〜１０ｆの速度を取得する。具体的に説明すると、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の位置と、第（ｎ−１）フレームの画像における対応する移動体領域の位置と、の差（距離）を算出し、算出した差を１フレーム分の時間で除算する。これにより、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の速度を取得する。第１の特徴取得部３１２は、このような処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の速度の大きさを取得する。

【0052】

第２に、第１の特徴取得部３１２は、動画５から検出された複数の移動体領域の位置を２回微分することによって、動画５における複数の移動体１０ａ〜１０ｆの加速度を取得する。そのために、第１の特徴取得部３１２は、前記のようにして取得した複数の移動体領域の速度を更に微分する。具体的に説明すると、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の速度と、第（ｎ−１）フレームの画像における対応する移動体領域の速度と、の差（速度差）を１フレーム分の時間で除算する。これにより、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の加速度を取得する。第１の特徴取得部３１２は、このような処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の加速度の大きさを取得する。

【0053】

なお、撮像装置２００は、水平方向（真横）からではなく、複数の移動体１０ａ〜１０ｆを斜め上方から撮像している。そのため、前記のようにして動画５から取られた複数の移動体１０ａ〜１０ｆの加速度は、鉛直方向における加速度ではなく、鉛直方向以外の方向（具体的には鉛直方向と水平方向との間の斜めの方向）における加速度である。

【0054】

第３に、第１の特徴取得部３１２は、動画５から検出された複数の移動体領域の速度の向きを取得することによって、動画５における複数の移動体１０ａ〜１０ｆの移動の向きを取得する。具体的に説明すると、第１の特徴取得部３１２は、第（ｎ−１）フレームの画像における移動体領域の位置から第ｎフレームの画像における対応する移動体領域の位置への向きを算出する。これにより、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の移動の向きを取得する。第１の特徴取得部３１２は、このような処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の移動の向きを取得する。

【0055】

図６（ａ）、図７（ａ）及び図８（ａ）に、複数の移動体１０ａ〜１０ｆのうちの１つである選手Ａの、動画５から得られた速度、加速度及び移動の向きの時間変化を示す。図６（ａ）からは、選手Ａが走っている時間区間では、選手Ａが歩いている時間区間に比べて速度が増大することが見て取れる。また、図７（ａ）からは、選手Ａが走っている時間区間では加速度が大きく変化することが見て取れ、図８（ａ）からは、選手Ａが様々に向きを変えていることが見て取れる。

【0056】

なお、図６（ａ）及び図８（ａ）に示すように、時間区間によっては、動画５から移動体１０の軌跡の取得に失敗することがある。これは、複数の選手が動画５内で重なったり、又は選手が障害物に隠れたりすること等によって、動画５内における移動体１０の位置を推定できない時間区間があることが原因である。また、このように移動体１０の軌跡が断片化されると、フレーム間での移動体１０の対応付けを誤ることがある。例えば、２人の選手が重なった後で離れた場合、この２人の選手が入れ替わったのか入れ替わっていないのかを正しく判別できない場合等である。

【0057】

図５に戻って、第２の特徴取得部３１３は、受信部３１１によって受信された、複数の測定装置１００ａ〜１００ｆによって測定された複数の移動体１０ａ〜１０ｆの移動情報から、複数の移動体１０ａ〜１０ｆの移動に関する第２の時系列的特徴を取得する。第２の時系列的特徴とは、移動情報から得られた複数の移動体１０ａ〜１０ｆの位置、速度、加速度及びそれらの向き等が時間と共にどのように変化するかを示す指標である。第２の特徴取得部３１３は、制御部３０１が画像処理部３０３と協働することによって実現される。第２の特徴取得部３１３は、第２の特徴取得手段として機能する。

【0058】

第２の特徴取得部３１３は、第２の時系列的特徴を取得する前に、複数の測定装置１００ａ〜１００ｆのそれぞれから受信された移動情報を、世界座標系における移動情報に変換する。具体的に説明すると、第２の特徴取得部３１３は、加速度センサによって検出された重力の方向から、鉛直方向（図２におけるｚ方向）を判別する。また、第２の特徴取得部３１３は、地磁気センサによって検出された方角から、水平面（図２におけるｘｙ平面）におけるｘ方向及びｙ方向を判別する。第２の特徴取得部３１３は、このような重力及び地磁気の情報によって世界座標系を判別する。そして、第２の特徴取得部３１３は、様々に向きを変えて移動する複数の移動体１０ａ〜１０ｆのそれぞれの速度又は加速度の向きを、世界座標系における向きにキャリブレーションする。

【0059】

第２の特徴取得部３１３は、受信部３１１によって受信された移動情報から、加速度センサによって測定された複数の移動体１０ａ〜１０ｆのそれぞれの加速度を取得する。そして、第２の特徴取得部３１３は、第２の時系列的特徴として、以下の（１）から（３）の特徴を取得する。
（１）移動情報における複数の移動体１０ａ〜１０ｆの加速度の分散。
（２）移動情報における複数の移動体１０ａ〜１０ｆの鉛直方向における加速度。
（３）移動情報における複数の移動体１０ａ〜１０ｆの移動の向き。

【0060】

第１に、第２の特徴取得部３１３は、撮像装置２００が動画５を撮像している最中の複数の時点における加速度の分散を、複数の移動体１０ａ〜１０ｆのそれぞれについて算出する。加速度の分散とは、加速度の大きさが時間と共にどれだけばらついているかを示す指標である。第２の特徴取得部３１３は、加速度の分散を、例えば複数の時点のそれぞれを中心に幅１秒の時間区間において算出する。加速度の分散を算出する複数の時点は、例えば、第１の特徴取得部３１２が動画５から速度を取得するタイミングと同じに設定される。

【0061】

第２に、第２の特徴取得部３１３は、撮像装置２００が動画５を撮像している最中の複数の時点における鉛直方向の加速度を、複数の移動体１０ａ〜１０ｆのそれぞれについて算出する。具体的に説明すると、第２の特徴取得部３１３は、移動情報に含まれる加速度情報のうちから、加速度の大きさの鉛直方向における成分を抽出する。鉛直方向は、加速度センサによって重力を検出することで判別することができる。加速度の分散を算出する複数の時点は、例えば、第１の特徴取得部３１２が動画５から加速度を取得するタイミングと同じに設定される。

【0062】

第３に、第２の特徴取得部３１３は、複数の移動体１０ａ〜１０ｆのそれぞれについて、撮像装置２００が動画５を撮像している最中の複数の時点における加速度を積分することで、複数の時点における速度を算出する。そして、第２の特徴取得部３１３は、複数の移動体１０ａ〜１０ｆのそれぞれの移動の向きとして、複数の時点における速度の向きを取得する。加速度の分散を算出する複数の時点は、例えば、第１の特徴取得部３１２が動画５から移動の向きを取得するタイミングと同じに設定される。

【0063】

図６（ｂ）、図７（ｂ）及び図８（ｂ）に、複数の移動体１０ａ〜１０ｆのうちの１つである選手Ａの、測定装置１００から得られた加速度の分散、鉛直方向の加速度及び移動の向きの時間変化を示す。また、図６（ｃ）、図７（ｃ）及び図８（ｃ）に、複数の移動体１０ａ〜１０ｆのうちの１つである選手Ｂの、測定装置１００から得られた加速度の分散、鉛直方向の加速度及び移動の向きの時間変化を示す。これらの図に示すように、測定装置１００の測定から取得される第２の時系列的特徴は、動画５から取得される第１の時系列的特徴のように、断片化することはない。また、測定装置１００は移動体１０に装着されているため、複数の測定装置１００ａ〜１００ｆのそれぞれが複数の移動体１０ａ〜１０ｆのうちのどの移動情報を測定しているかを正確に特定することができる。

【0064】

図５に戻って、算出部３１４は、第１の特徴取得部３１２によって取得された第１の時系列的特徴と、第２の特徴取得部３１３によって取得された第２の時系列的特徴と、の相関を示す指標を算出する。算出部３１４は、制御部３０１によって実現される。算出部３１４は、算出手段として機能する。

【0065】

具体的に説明すると、算出部３１４は、以下のような３つの相関値を算出する。
（１）動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値。
（２）動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値。
（３）動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値。

【0066】

第１に、算出部３１４は、動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値（相関係数）を算出する。加速度の分散が大きい場合には移動速度が大きくなり、加速度の分散が小さい場合には移動速度が小さくなる、という傾向がある。第１の相関値は、このような傾向を反映した指標である。

【0067】

具体的には図６（ｄ）に示すように、動画５から得られた選手Ａの速度と選手Ａの測定装置１００から得られた加速度の分散との相関値は、相対的に大きな値になる。これに対して、動画５から得られた選手Ａの速度と選手Ｂの測定装置１００から得られた加速度の分散との相関値は、０に近い値になる。第１の相関値は、例えば単独の選手のみが走っている場合のように、複数の移動体１０ａ〜１０ｆの中で単独の移動体１０のみが移動している場合に有効な指標である。

【0068】

第２に、算出部３１４は、動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値（相関係数）を算出する。移動体１０が歩行又は走行する場合、上下運動を伴うことが多い。そのため、移動体１０の鉛直方向における加速度は、移動体１０の鉛直方向以外の方向（例えば水平方向、又は水平方向と鉛直方向との間の斜め方向）における加速度と相関を持つ傾向がある。第２の相関値は、このような傾向を反映した指標である。

【0069】

具体的には図７（ｄ）に示すように、動画５から得られた選手Ａの加速度と選手Ａの測定装置１００から得られた鉛直方向における加速度との相関値は、相対的に大きな値になる。これに対して、動画５から得られた選手Ａの加速度と選手Ｂの測定装置１００から得られた鉛直方向における加速度との相関値は、０に近い値になる。第２の相関値は、例えば選手が走行している場合のように、移動している移動体１０の速度リズムが顕著である場合に有効な指標である。

【0070】

第３に、算出部３１４は、動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値を算出する。具体的に説明すると、算出部３１４は、第３の相関値として、動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の差（具体的には角度の差）を時間的に平均した値を算出する。

【0071】

具体的には図８（ｄ）に示すように、動画５から得られた選手Ａの移動の向きと選手Ａの測定装置１００から得られた移動の向きとの差の平均値は、相対的に小さな値になる。これに対して、動画５から得られた選手Ａの移動の向きと選手Ｂの測定装置１００から得られた移動の向きとの差の平均値は、相対的に大きな値になる。第３の相関値は、異なる向きに複数の選手が走り出している場合のように、複数の移動体１０が異なる向きに移動している場合に有効な指標である。

【0072】

算出部３１４は、このように算出された第１の相関値と第２の相関値と第３の相関値とに基づいて、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出する。具体的に説明すると、算出部３１４は、このような指標として、第１の相関値と第２の相関値と第３の相関値との重み付き和を算出する。３つの相関値の重みは、自由に定めることができる。例えば、３つの相関値の重みは、一定値であっても良いし、状況に応じて変化する値であっても良い。このようにして算出された指標は、最終的な指標として特定部３１６での特定処理に用いられる。

【0073】

位置推定部３１５は、複数の移動体１０ａ〜１０ｆのそれぞれの鉛直方向における位置を推定する。具体的に説明すると、位置推定部３１５は、複数の測定装置１００ａ〜１００ｆのそれぞれから受信した移動情報に基づいて、撮像装置２００が動画５を撮像している最中の複数の時点における鉛直方向の加速度を、複数の移動体１０ａ〜１０ｆのそれぞれについて算出する。そして、位置推定部３１５は、算出した鉛直方向における加速度を二重積分することにより、得られた値を、複数の移動体１０ａ〜１０ｆのそれぞれの、複数の時点における鉛直方向の位置と推定する。位置推定部３１５は、制御部３０１によって実現される。位置推定部３１５は、位置推定手段として機能する。

【0074】

移動体１０の鉛直方向における位置は、この移動体１０がジャンプしたり屈んだりすることによって変化する。具体的に図９に、移動体１０がジャンプした場合における鉛直方向の加速度の時間変化を示す。図９に示すように、移動体１０が走っている場合には、この移動体１０に装着された測定装置１００によって測定された加速度は一定の周期で増減を繰り返す。これに対して、移動体１０がジャンプをした場合には、比較的長い時間をかけて加速度が増えるため、移動体１０の位置は鉛直上向きに増える。移動体１０の鉛直方向における位置は、変化する範囲が限られていること、及び、長時間の平均値は移動体１０が基本的な姿勢をとっている場合の値に安定するため、比較的精度良く推定することができる。

【0075】

算出部３１４は、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間においては、この移動情報からは前記の指標を算出せず、移動情報が予め定められた条件を満たしていない時間区間において、この移動情報から前記の指標を算出する。予め定められた条件が満たされる場合とは、本来は対応するはずの測定装置１００と移動体１０との間で相関が悪くなって、測定装置１００と移動体１０との対応付けを誤る確率が高いことが想定される場合である。そのため、算出部３１４は、このような対応付けを誤り易い時間区間を、前述した３つの相関値、及びそれらから定められる最終的な指標を算出する時間区間から除外する。

【0076】

具体的に説明すると、予め定められた条件は、移動体１０の鉛直方向における位置と、移動体１０の鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる。移動体１０の鉛直方向における位置とその平均位置との差の絶対値が許容値を超えた場合とは、例えば選手がジャンプしたり屈んだりすることによって、移動体１０の鉛直方向における位置が大きく変化した場合である。このように移動体１０の鉛直方向における位置が変化すると、移動体１０を斜め上方から撮像した動画５からは、移動体１０が水平方向における奥側又は手前側に移動したのか、又は鉛直方向に移動したのか、を判別することができない。そのため、第１の時系列的特徴と第２の時系列的特徴との対応付けを誤る確率が高くなる。

【0077】

このような問題を回避するため、位置推定部３１５は、複数の移動体１０ａ〜１０ｆのうちのいずれかの移動体１０の鉛直方向における位置とその平均位置との差の絶対値が許容値を超えた場合、この移動体１０がジャンプした又は屈んだと推定する。そして、位置推定部３１５によって移動体１０がジャンプした又は屈んだ時間区間においては、その移動体１０の移動情報から得られた第２の時系列的特徴からは、第１の時系列的特徴との相関を示す指標を算出しない。言い換えると、算出部３１４は、移動情報から推定された移動体１０の鉛直方向における位置とその平均位置との差の絶対値が許容値内に収まっている時間区間に限って、その移動情報から得られた第２の時系列的特徴を用いて、第１の時系列的特徴との相関を示す指標を算出する。

【0078】

なお、移動体１０の鉛直方向における平均位置は、位置推定部３１５によって推定された移動体１０の鉛直方向における位置を、例えば動画５が撮像された全体の時間区間において平均したものである。許容値は、移動体１０がジャンプした又は屈んだことを検出することができる大きさの値に予め設定され、ＲＯＭ又は記憶部３０２等に記憶されている。

【0079】

図５に戻って、特定部３１６は、算出部３１４によって算出された指標に基づいて、撮像装置２００によって撮像された動画５における複数の移動体１０ａ〜１０ｆと、複数の測定装置１００ａ〜１００ｆと、の対応関係を特定する。この対応関係を特定するとは、動画５に撮像された複数の移動体１０ａ〜１０ｆのそれぞれが、複数の測定装置１００ａ〜１００ｆのうちのどの測定装置１００を装着しているかを特定することである。言い換えると、特定部３１６は、動画５に撮像された複数の移動体１０ａ〜１０ｆのそれぞれが装着している測定装置１００が、複数の測定装置１００ａ〜１００ｆのうちのどの測定装置１００であるのかを特定する。特定部３１６は、制御部３０１によって実現される。特定部３１６は、特定手段として機能する。

【0080】

具体的に説明すると、特定部３１６は、複数の測定装置１００ａ〜１００ｆのうちの、１つの移動体１０との間で算出された最終的な指標が最も大きい測定装置１００を、この移動体１０に対応する測定装置１００であると特定する。特定部３１６は、このような処理を、動画５において移動体領域として検出された複数の移動体１０ａ〜１０ｆのそれぞれについて、及び、断片化された軌跡のそれぞれについて、繰り返し実行する。これにより、特定部３１６は、動画５に撮像された複数の移動体１０ａ〜１０ｆと、複数の測定装置１００ａ〜１００ｆと、をそれぞれ対応付ける。

【0081】

なお、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間は、算出部３１４が指標を算出する時間区間から除外されている。そのため、特定部３１６は、この時間区間においては、この測定装置１００によって測定された移動情報を、動画５における複数の移動体１０ａ〜１０ｆと複数の測定装置１００ａ〜１００ｆとの対応関係を特定するためには用いない。

【0082】

表示制御部３１７は、受信部３１１によって撮像装置２００から受信された動画５を表示部３０５に表示する。このとき、表示制御部３１７は、特定部３１６によって特定された対応関係を参照して、複数の測定装置１００ａ〜１００ｆのうちの、複数の移動体１０ａ〜１０ｆのそれぞれに対応する測定装置１００を識別する識別情報を、表示部３０５に表示する。表示制御部３１７は、制御部３０１が画像処理部３０３及び表示部３０５と協働することによって実現される。表示制御部３１７は、表示制御手段として機能する。

【0083】

具体的には図１０に示すように、表示制御部３１７は、動画５における複数の移動体１０ａ〜１０ｆのそれぞれの位置に、対応する測定装置１００の数字を表示する。表示制御部３１７は、このような測定装置１００の識別情報を、時間と共に様々な位置に移動する移動体１０に追従させて表示する。これにより、動画５を見るユーザは、動画５に写っている複数の移動体１０ａ〜１０ｆのそれぞれが、複数の測定装置１００ａ〜１００ｆのうちのどの測定装置１００を装着しているのかを容易に認識することができる。特に、複数の移動体１０ａ〜１０ｆが密集又は交差した場合、又は移動体１０が障害物に隠れた場合等であっても、ユーザは、移動体１０と測定装置１００との対応関係を誤ることなく、複数の移動体１０ａ〜１０ｆのそれぞれを正確に識別することができる。

【0084】

以上のような移動体識別装置３００において実行される移動体識別処理の流れについて、図１１及び図１２に示すフローチャートを参照して、説明する。

【0085】

図１１のフローチャートに示す移動体識別処理は、移動体識別装置３００において、移動体識別処理を実行する旨の指示が、操作部３０４を介してユーザから受け付けられると、開始する。このとき、識別対象となる複数の移動体１０ａ〜１０ｆの移動情報と、その複数の移動体１０ａ〜１０ｆを撮像した動画５とは、それぞれ複数の測定装置１００と撮像装置２００とから、受信部３１１によって既に受信されている。

【0086】

移動体識別処理が開始すると、移動体識別装置３００の制御部３０１は、動画５に含まれる各フレームの画像において、複数の移動体１０ａ〜１０ｆの位置を検出する（ステップＳ１）。具体的に説明すると、制御部３０１は、動画５に含まれる各フレームの画像について、背景差分法により背景画像との差分をとり、前景物体領域を抽出する。そして、制御部３０１は、抽出した前景物体領域に対して膨張収縮処理及びラベリング処理を実行することで、移動体領域を検出する。制御部３０１は、このように検出した移動体領域の位置を、動画５における複数の移動体１０ａ〜１０ｆの位置と推定する。

【0087】

動画５における複数の移動体１０ａ〜１０ｆの位置を検出すると、制御部３０１は、フレーム間で移動体１０を対応付ける（ステップＳ２）。具体的に説明すると、制御部３０１は、隣り合うフレーム間において距離が近い移動体領域同士を連結することで、動画５の先頭から末尾までにおける複数の移動体１０ａ〜１０ｆの位置の変化を示す軌跡を取得する。

【0088】

複数の移動体１０ａ〜１０ｆの軌跡を取得すると、制御部３０１は、動画５と測定装置１００との間で座標系を合わせる（ステップＳ３）。具体的に説明すると、制御部３０１は、複数の移動体１０ａ〜１０ｆを斜め上方から撮像して得られた動画５内の位置情報を水平面に投影することで、世界座標系における位置情報に変換する。また、制御部３０１は、複数の測定装置１００ａ〜１００ｆのそれぞれから受信された移動情報に含まれる加速度の向きを、重力及び地磁気の情報に基づいて方向を判別し、世界座標系における向きに変換する。これにより、制御部３０１は、動画５と測定装置１００との間で座標系を合わせる。

【0089】

動画５と測定装置１００との間で座標系を合わせると、制御部３０１は、移動体１０と測定装置１００との対応関係を特定する処理に移行する。まず、制御部３０１は、識別対象となる移動体１０と識別時間区間とを指定する（ステップＳ４）。具体的に説明すると、制御部３０１は、識別対象となる移動体１０として、動画５における複数の移動体１０ａ〜１０ｆのうちからいずれか１つを指定する。また、識別時間区間は、動画に含まれる先頭フレームから末尾フレームまでのうちの時間区間であって、指定した移動体１０について対応する測定装置１００を特定する時間区間である。制御部３０１は、識別時間区間として、例えば、動画５における指定した移動体１０の軌跡が断片化していないひと続きの時間区間（すなわち連続した軌跡が得られた時間区間）を指定する。

【0090】

識別対象となる移動体１０と識別時間区間とを指定すると、制御部３０１は、指定した識別時間区間において、指定した移動体１０に対応する測定装置１００を特定する（ステップＳ５）。ステップＳ５における特定処理の詳細については、図１２に示すフローチャートを参照して説明する。

【0091】

図１２に示す特定処理が開始すると、制御部３０１は、複数の測定装置１００ａ〜１００ｆのうちから、指標を算出する測定装置１００を指定する（ステップＳ５１）。そして、制御部３０１は、指定した測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間を、指標を算出する時間区間から除外する（ステップＳ５２）。

【0092】

具体的に説明すると、制御部３０１は、位置推定部３１５として機能し、移動情報に含まれる鉛直方向における加速度を二重積分することによって、指定した測定装置１００を装着している移動体１０の鉛直方向における位置を推定する。そして、制御部３０１は、指定した識別時間区間の中に、推定した位置と平均位置との差の絶対値が許容値を超えている時間区間が含まれているか否かを判定する。判定の結果、指定した識別時間区間の中にそのような時間区間が含まれている場合には、制御部３０１は、指定した識別時間区間からその時間区間を除外した時間区間を、指標を算出する時間区間として設定する。これに対して、指定した識別時間区間の中にそのような時間区間が含まれていない場合には、制御部３０１は、指定した識別時間区間全体を、指標を算出する時間区間として設定する。

【0093】

このようにして指標を算出する時間区間を設定すると、制御部３０１は、指定した移動体１０と測定装置１００との間の、指定した識別時間区間における相関を示す第１の相関値、第２の相関値及び第３の相関値を算出する（ステップＳ５３〜Ｓ５５）。

【0094】

具体的に説明すると、制御部３０１は、第１の特徴取得部３１２として機能し、撮像装置２００によって撮像された複数の移動体１０ａ〜１０ｆの動画から、指定した移動体１０の指定した識別時間区間における第１の時系列的特徴を取得する。また、制御部３０１は、第２の特徴取得部３１３として機能し、指定した測定装置１００によって測定された移動情報から、指定した識別時間区間における第２の時系列的特徴を取得する。そして、制御部３０１は、算出部３１４として機能し、前述したように、（１）動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値と、（２）動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値と、（３）動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値と、を算出する。

【0095】

これら３つの相関値を算出すると、制御部３０１は、特定部３１６として機能し、指定した移動体１０と測定装置１００との間の、指定した識別時間区間における相関を示す最終的な指標を算出する（ステップＳ５６）。具体的に説明すると、制御部３０１は、３つの相関値の重み付き和をとることで、最終的な指標を算出する。

【0096】

最終的な指標を算出すると、制御部３０１は、全ての測定装置１００を指定し終えたか否かを判定する（ステップＳ５７）。全ての測定装置１００を指定し終えていない場合（ステップＳ５７；ＮＯ）、制御部３０１は、処理をステップＳ５１に戻す。そして、制御部３０１は、複数の測定装置１００ａ〜１００ｆのうちから未指定の測定装置１００を新たに指定し、新たに指定した測定装置１００に対して、ステップＳ５１〜Ｓ５７の処理を実行する。このように、制御部３０１は、全ての測定装置１００を指定し終えるまでステップＳ５１〜Ｓ５７の処理を繰り返し、全ての測定装置１００について、指定した移動体１０との指定した識別時間区間における相関を示す指標を算出する。

【0097】

最終的に、全ての測定装置１００を指定し終えると（ステップＳ５７；ＹＥＳ）、制御部３０１は、指標を算出した測定装置１００のうちの指標が最大の測定装置１００を、指定した識別時間区間において指定した移動体１０に対応する測定装置１００と特定する（ステップＳ５８）。ステップＳ５８の処理を終えると、制御部３０１は、図１２に示した特定処理を終了する。

【0098】

指定した識別時間区間において、指定した移動体１０に対応する測定装置１００を特定すると、制御部３０１は、全ての移動体１０の全ての識別時間区間を指定し終えたか否かを判定する（ステップＳ６）。全ての移動体１０の全ての識別時間区間を指定し終えていない場合（ステップＳ６；ＮＯ）、制御部３０１は、処理をステップＳ４に戻す。そして、制御部３０１は、動画に撮像された複数の移動体１０ａ〜１０ｆと識別時間区間との組み合わせのうちの未指定の組み合わせを新たに指定し、新たに指定した組み合わせにおける移動体１０及び識別時間区間に対して、ステップＳ４〜Ｓ６の処理を実行する。このように、制御部３０１は、全ての移動体１０の全ての識別時間区間を指定し終えるまでステップＳ４〜Ｓ６の処理を繰り返し、全ての移動体１０の全ての識別時間区間について、対応する測定装置１００を特定する。

【0099】

最終的に、全ての移動体１０の全ての識別時間区間を指定し終えると（ステップＳ６；ＹＥＳ）、制御部３０１は、表示制御部３１７として機能し、特定結果を表示する（ステップＳ７）。具体的に説明すると、制御部３０１は、例えば図１０に示したように、複数の移動体１０ａ〜１０ｆのそれぞれに対応する測定装置１００を識別する識別情報を、動画５とともに、表示部３０５に表示する。以上によって、図１１に示した移動体識別処理は終了する。

【0100】

以上説明したように、実施形態１に係る移動体識別システム１及び移動体識別装置３００は、撮像装置２００によって撮像された複数の移動体１０ａ〜１０ｆの動画５から第１の時系列的特徴を取得し、複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆによって測定された移動情報から第２の時系列的特徴を取得する。そして、移動体識別システム１及び移動体識別装置３００は、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出し、算出した指標に基づいて、動画５における複数の移動体１０ａ〜１０ｆと複数の測定装置１００ａ〜１００ｆとの対応関係を特定する。

【0101】

その際に、移動体識別システム１及び移動体識別装置３００は、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間においては、この移動情報からは前記の指標を算出しない。言い換えると、移動体識別システム１及び移動体識別装置３００は、測定装置１００と移動体１０との対応付けを誤る確率が高いことが想定される時間区間を、指標を算出する時間区間から除外する。その結果、対応付けの誤りを減らすことができ、動画５に撮像された複数の移動体１０ａ〜１０ｆを精度良く識別することができる。

【0102】

また、実施形態１に係る移動体識別システム１及び移動体識別装置３００は、前記の指標として、（１）動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値と、（２）動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値と、（３）動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値と、を算出し、これら３つの相関値の重み付き和を指標として算出する。このように、移動体識別システム１及び移動体識別装置３００は、第１の時系列的特徴と第２の時系列的特徴として高い相関が出やすい特徴同士を組み合わせて、相関値を算出する。その結果、動画５における複数の移動体１０ａ〜１０ｆと複数の測定装置１００ａ〜１００ｆとを精度良く対応付けることができる。

【0103】

特に、例えば屋内競技をプレイしている場合のように、複数の移動体１０ａ〜１０ｆが屋内で移動している場合、外部からの電波が届きにくいためＧＰＳ（Global Positioning System）等では移動体１０の位置を精度良く検出することが難しい。そのような場合であっても、実施形態１に係る移動体識別システム１及び移動体識別装置３００は、動画５に撮像された複数の移動体１０ａ〜１０ｆを精度良く識別することができる。

【0104】

（変形例）
以上に本発明の実施形態について説明したが、前記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

【0105】

例えば、前記実施形態では、動画５における複数の移動体１０ａ〜１０ｆと複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆとを対応付ける例を示したが、動画５における少なくとも１つの移動体１０と少なくとも１つの移動体１０に装着された少なくとも１つの測定装置１００とを対応付けてもよい。この場合、動画５における１つのみの移動体１０と１つのみの移動体１０に装着された１つのみの測定装置１００との対応関係は自明であるため除外する。すなわち、本発明は、動画５における複数の移動体１０ａ〜１０ｆと複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆとを対応付けることに限定されず、例えば、動画５における１つの移動体１０と複数の移動体１０ａ〜１０ｆに装着された複数の測定装置１００ａ〜１０ｆとを対応付けることや、動画５における複数の移動体１０ａ〜１０ｆと複数の移動体１０ａ〜１０ｆのうちの１つの移動体１０に装着された１つの測定装置１００とを対応付けることも含む。

【0106】

また、特定部３１６は、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間においては、この測定装置１００によって測定された移動情報を、前述した対応関係を特定するためには用いなかった。しかしながら、特定部３１６は、移動情報が予め定められた条件を満たした時間区間において、撮像装置２００によって撮像された動画５から得られた、少なくとも１つの移動体１０の移動に関する情報を、前述した対応関係を特定するためには用いなくても良い。少なくとも１つの移動体１０の移動に関する情報とは、例えば第１の時系列的特徴である。言い換えると、特定部３１６は、移動情報が予め定められた条件を満たした時間区間においては、動画５における少なくとも１つの移動体１０の全てについて、動画５から得られた移動に関する情報を、特定部３１６が対応関係を特定するために用いなくても良い。

【0107】

また、例えば、前記実施形態では、算出部３１４は、第１の相関値と第２の相関値と第３の相関値とを算出し、これら３つの相関値の重み付き和を、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標として算出した。しかしながら、本発明において、算出部３１４は、これら３つの相関値を全て算出せず、これら３つの相関値のうちのいずれか１つのみを、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標として算出しても良い。或いは、算出部３１４は、これら３つの相関値のうちのいずれか２つを用いて、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出しても良い。また、算出部３１４は、重み付き和以外の算出方法を用いても良い。

【0108】

前記実施形態では、第１の特徴取得部３１２は、背景差分法を用いて動画５における複数の移動体１０ａ〜１０ｆの位置を検出し、それらの位置を追跡した。しかしながら、本発明において、第１の特徴取得部３１２は、背景差分法に限らず、他の手法を用いても良い。例えば、第１の特徴取得部３１２は、特徴点追跡（オプティカルフロー）の手法を用いて、動画５中の特徴点を検出及び追跡することができる。

【0109】

前記実施形態では、特定部３１６は、移動体１０の鉛直方向における位置と移動体１０の鉛直方向における平均位置との差の絶対値が許容値を超えた場合に、その移動体１０に装着された測定装置１００を対応付けから除外した。しかしながら、本発明において、対応付けから除外するための予め定められた条件は、このような場合以外の場合に満たされても良い。例えば、予め定められた条件は、移動体１０の水平方向における位置が撮像装置２００の視野の外に出たと判別された場合に、満たされても良い。この場合、移動体１０の水平方向における位置は、その移動体１０に装着された測定装置１００によって測定された移動情報から推定することができる。このように、特定部３１６は、測定装置１００と移動体１０との対応付けを誤る確率が高いことが想定される様々な条件が満たされた場合に、動画５における複数の移動体１０ａ〜１０ｆのうちからその測定装置１００に対応する移動体１０を特定しないと定めることができる。

【0110】

前記実施形態では、表示制御部３１７は、測定装置１００を識別する識別情報として、動画５における複数の移動体１０ａ〜１０ｆのそれぞれの位置に、対応する測定装置１００の数字を表示した。しかしながら、表示制御部３１７は、識別情報として、数字の代わりに文字、記号又は図形を表示しても良い。また、表示制御部３１７は、識別情報を、移動体１０の近傍に表示しても良いし、移動体１０に重畳させて表示しても良い。

【0111】

或いは、表示制御部３１７は、識別情報として、背景差分法又は特徴点追跡等の手法によって動画５から得られた複数の移動体１０ａ〜１０ｆの軌跡を、表示部３０５に表示しても良い。この場合、表示制御部３１７は、複数の移動体１０ａ〜１０ｆの軌跡のそれぞれを、対応する測定装置１００を識別できるように、互いに異なる表示態様で表示する。例えば、表示制御部３１７は、対応する測定装置１００に応じて軌跡の色を変える、軌跡の太さを変える、又は、実線と点線とによって軌跡の描画方法を変える等によって、対応する測定装置１００を識別できるように軌跡を表示する。

【0112】

前記実施形態では、移動体識別装置３００が第１の特徴取得部３１２と第２の特徴取得部３１３とを備えていた。しかしながら、本発明において、移動体識別装置３００は第１の時系列的特徴と第２の時系列的特徴とを取得する機能を備えておらず、撮像装置２００が第１の特徴取得部３１２を備えており、複数の測定装置１００のそれぞれが第２の特徴取得部３１３を備えていても良い。この場合、撮像装置２００は、複数の移動体１０を撮像して得られた動画５を解析して第１の時系列的特徴を取得し、取得した第１の時系列的特徴を示す情報を移動体識別装置３００に送信する。また、複数の測定装置１００のそれぞれは、測定された移動情報を解析して第２の時系列的特徴を取得し、取得した第２の時系列的特徴を示す情報を移動体識別装置３００に送信する。移動体識別装置３００は、第１の時系列的特徴を示す情報と第２の時系列的特徴を示す情報とを受信すると、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出して、複数の移動体１０と複数の測定装置１００との対応関係を特定する。

【0113】

前記実施形態では、移動体１０として人間を例にとって説明した。しかしながら、本発明において、移動体１０は、人間以外の動物であっても良いし、自動車又はロボット等の人工物であっても良い。また、前記実施形態では、移動体識別システム１が適用される場面として、屋内でプレイされるスポーツを例にとって説明した。しかしながら、本発明において、移動体識別システム１は、屋外でプレイされるスポーツに適用することもできる。また、スポーツに限らず、複数の移動体が移動する場面であれば、どのような場面に対しても適用することができる。例えば、移動体識別システム１は、保育園又は幼稚園における幼児の識別、学校における生徒の識別、及び、映画館又は競技場における入場者の識別等にも適用することができる。

【0114】

また、前記実施形態では、複数の測定装置１００、撮像装置２００及び移動体識別装置３００は、それぞれＣＰＵを備えていた。しかし、本発明において、複数の測定装置１００、撮像装置２００及び移動体識別装置３００は、ＣＰＵの代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の制御回路を備えていてもよい。例えば、前記実施形態では、ＣＰＵが、受信部３１１、第１の特徴取得部３１２、第２の特徴取得部３１３、算出部３１４、位置推定部３１５、特定部３１６及び表示制御部３１７のそれぞれとして機能したが、これら各部は、それぞれ個別の制御回路によって実現されてもよい。

【0115】

なお、本発明に係る機能を実現するための構成を予め備えた移動体識別装置、測定装置及び撮像装置して提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る移動体識別装置、測定装置及び撮像装置のそれぞれとして機能させることもできる。すなわち、前記実施形態で例示した複数の測定装置１００、撮像装置２００及び移動体識別装置３００による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る移動体識別装置、測定装置及び撮像装置として機能させることができる。また、本発明に係る表示方法は、移動体識別装置、測定装置及び撮像装置を用いて実施できる。

【0116】

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0117】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0118】

（付記１）
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする移動体識別装置。

【0119】

（付記２）
前記少なくとも１つの測定装置によって測定された前記移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段、
を更に備え、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする付記１に記載の移動体識別装置。

【0120】

（付記３）
前記少なくとも１つの測定装置のそれぞれから前記移動情報を受信するとともに、前記撮像装置から前記動画を受信する受信手段と、
前記受信手段によって受信された前記動画から前記第１の時系列的特徴を取得する第１の特徴取得手段と、
前記受信手段によって受信された前記移動情報から前記第２の時系列的特徴を取得する第２の特徴取得手段と、
を更に備える、
ことを特徴とする付記１又は２に記載の移動体識別装置。

【0121】

（付記４）
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の速度を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の加速度の分散を取得する、
ことを特徴とする付記３に記載の移動体識別装置。

【0122】

（付記５）
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の鉛直方向以外の方向における加速度を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の前記鉛直方向における加速度を取得する、
ことを特徴とする付記３又は４に記載の移動体識別装置。

【0123】

（付記６）
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の移動の向きを取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の移動の向きを取得する、
ことを特徴とする付記３から５のいずれか１つに記載の移動体識別装置。

【0124】

（付記７）
前記第１の時系列的特徴と前記第２の時系列的特徴との相関を示す指標を算出する算出手段を更に備え、
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の速度と、前記動画における前記少なくとも１つの移動体の鉛直方向以外の方向における加速度と、前記動画における前記少なくとも１つの移動体の移動の向きと、を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から、前記少なくとも１つの移動体の加速度の分散と、前記少なくとも１つの移動体の前記鉛直方向における加速度と、前記少なくとも１つの移動体の移動の向きと、を取得し、
前記算出手段は、前記第１の特徴取得手段によって取得された前記速度と前記第２の特徴取得手段によって取得された前記分散との相関を示す第１の相関値と、前記第１の特徴取得手段によって取得された前記加速度と前記第２の特徴取得手段によって取得された前記加速度との相関を示す第２の相関値と、前記第１の特徴取得手段によって取得された前記移動の向きと前記第２の特徴取得手段によって取得された前記移動の向きとの相関を示す第３の相関値と、に基づいて、前記指標を算出する、
ことを特徴とする付記３から６のいずれか１つに記載の移動体識別装置。

【0125】

（付記８）
前記算出手段は、前記指標として、前記第１の相関値と前記第２の相関値と前記第３の相関値との重み付き和を算出する、
ことを特徴とする付記７に記載の移動体識別装置。

【0126】

（付記９）
前記少なくとも１つの測定装置のうちの、前記少なくとも１つの移動体のそれぞれに対応する測定装置を識別する識別情報を、前記動画とともに表示手段に表示する表示制御手段、
を更に備える、
ことを特徴とする付記１から８のいずれか１つに記載の移動体識別装置。

【0127】

（付記１０）
前記撮像装置は、屋内において移動している前記少なくとも１つの移動体を撮像することによって、前記動画を生成する、
ことを特徴とする付記１から９のいずれか１つに記載の移動体識別装置。

【0128】

（付記１１）
前記撮像装置は、前記少なくとも１つの移動体を斜め上方から撮像することによって、前記動画を生成する、
ことを特徴とする付記１から１０のいずれか１つに記載の移動体識別装置。

【0129】

（付記１２）
前記少なくとも１つの測定装置は、加速度センサを含む、
ことを特徴とする付記１から１１のいずれか１つに記載の移動体識別装置。

【0130】

（付記１３）
前記差の絶対値が前記許容値を超えた場合、前記位置推定手段は、前記いずれかの移動体がジャンプした又は屈んだと推定する、
ことを特徴とする付記２に記載の移動体識別装置。

【0131】

（付記１４）
前記特定手段は、前記時間区間においては、前記撮像装置によって撮像された前記動画から得られた、前記少なくとも１つの移動体の移動に関する情報を対応関係を特定するために用いない、
ことを特徴とする付記１から１３のいずれか１つに記載の移動体識別装置。

【0132】

（付記１５）
付記１から１４のいずれか１つに記載の移動体識別装置と、前記撮像装置と、前記少なくとも１つの測定装置と、を備える、
ことを特徴とする移動体識別システム。

【0133】

（付記１６）
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定ステップと、
を含み、
前記特定ステップでは、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする移動体識別方法。

【0134】

（付記１７）
移動体識別装置のコンピュータを、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
として機能させ、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とするプログラム。

【符号の説明】

【0135】

１…移動体識別システム、５…動画、１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ…移動体、１００，１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅ、１００ｆ…測定装置、１０１…制御部、１０２…記憶部、１０３…測定部、１０４…通信部、２００…撮像装置、２０１…制御部、２０２…記憶部、２０３…撮像部、２０４…画像処理部、２０５…通信部、３００…移動体識別装置、３０１…制御部、３０２…記憶部、３０３…画像処理部、３０４…操作部、３０５…表示部、３０６…通信部、３１１…受信部、３１２…第１の特徴取得部、３１３…第２の特徴取得部、３１４…算出部、３１５…位置推定部、３１６…特定部、３１７…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】