知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6962145
(24)【登録日】2021年10月18日
(45)【発行日】2021年11月5日
(54)【発明の名称】画像処理プログラム、画像処理方法および情報処理装置
(51)【国際特許分類】
G06T 7/246 20170101AFI20211025BHJP
H04N 7/18 20060101ALI20211025BHJP
【ＦＩ】
G06T7/246
H04N7/18 G
H04N7/18 K
【請求項の数】10
【全頁数】32
(21)【出願番号】特願2017-218636(P2017-218636)
(22)【出願日】2017年11月13日
(65)【公開番号】特開2019-91187(P2019-91187A)
(43)【公開日】2019年6月13日
【審査請求日】2020年8月7日
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】山本 ▲隆▼哉
(72)【発明者】
【氏名】阿部 大輔
(72)【発明者】
【氏名】佐々木 和雄
(72)【発明者】
【氏名】岩崎 真理
(72)【発明者】
【氏名】折田 健二
(72)【発明者】
【氏名】茅島 直史
【審査官】
鈴木 明
(56)【参考文献】
【文献】
特開２０１６−０９９９４１（ＪＰ，Ａ）
【文献】
特開２００４−０４６６４７（ＪＰ，Ａ）
【文献】
特開２００１−２７３５００（ＪＰ，Ａ）
【文献】
特開２０１７−１６３２８６（ＪＰ，Ａ）
【文献】
特開２０１７−０９１０９２（ＪＰ，Ａ）
【文献】
特開２００６−０１２０１２（ＪＰ，Ａ）
【文献】
特表２０１３−５１４５８１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／２４６
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
時系列の複数の画像フレームからボール候補の位置を検出し、
前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加し、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、
前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する
処理を実行させることを特徴とする画像処理プログラム。
時系列の複数の画像フレームからボール候補の位置を検出し、
前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加し、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、
前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する
処理を実行させることを特徴とする画像処理プログラム。
【請求項2】
前記ボール候補の位置を追加する処理は、前記第１画像フレームから検出したボール候補の位置と、前記運動定義情報とを基にして、前記第２画像フレームのボール候補の位置を推定し、推定したボール候補の位置を基準とした所定の範囲にボール候補が存在しない場合に、推定したボール候補の位置を追加することを特徴とする請求項１に記載の画像処理プログラム。
【請求項3】
前記ボール候補の位置を追加する処理は、推定したボール候補の位置を基準とした所定の範囲に含まれない前記第２画像フレームのボール候補にロスト情報を付与し、前記複数のボールの軌跡候補を評価する処理は、前記軌跡候補の含まれるロスト情報を基にして、前記ボールの軌跡を決定することを特徴とする請求項２に記載の画像処理プログラム。
【請求項4】
前記複数のボールの軌跡を決定する処理は、前記複数の軌跡候補について、前記ロスト情報が付与されたボール候補の数を計数し、計数した数が閾値未満となるボールの軌跡候補から、前記ボールの軌跡を決定することを特徴とする請求項３に記載の画像処理プログラム。
【請求項5】
前記ボールの軌跡を決定する処理は、複数の軌跡候補を評価して軌跡を決定し、前記補間する処理は、決定された軌跡と、複数の軌跡候補とを比較して、前記軌跡に前記軌跡候補を接続して、新たな軌跡を生成することを特徴とする請求項１〜４のいずれか一つに記載の画像処理プログラム。
【請求項6】
前記ボールの軌跡を決定する処理は、前記人物が競技を行うフィールド上のランドマークの位置情報を更に利用して、前記複数の軌跡候補を評価し、ボールの軌跡を決定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理プログラム。
【請求項7】
前記ボールの軌跡を決定する処理は、前記軌跡の始点と、前記軌跡候補の終点との間に人物の軌跡が存在する場合に、前記軌跡と、人物の軌跡と、前記軌跡候補とを接続した軌跡を生成し、生成した軌跡を、前記ボールの軌跡として決定することを特徴とする請求項１〜６のいずれか一つに記載の画像処理プログラム。
【請求項8】
前記ボールの軌跡と、前記人物の軌跡とを基にして、前記人物がボールをドリブルした距離、ボールをパスした回数を計算する処理を更にコンピュータに実行させることを特徴とする請求項１〜７のいずれか一つに記載の画像処理プログラム。
【請求項9】
コンピュータが、
時系列の複数の画像フレームからボール候補の位置を検出し、
前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加し、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、
前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する
処理を実行することを特徴とする画像処理方法。
時系列の複数の画像フレームからボール候補の位置を検出し、
前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加し、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、
前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する
処理を実行することを特徴とする画像処理方法。
【請求項10】
時系列の複数の画像フレームからボール候補を検出し、前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補を追加するボール検出部と、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成する生成部と、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する軌跡決定部と
を有することを特徴とする情報処理装置。
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成する生成部と、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する軌跡決定部と
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理プログラム等に関する。
【背景技術】
【0002】
近年、スポーツの分野において、ＩＣＴ（Information and Communication Technology）が導入されている。たとえば、試合の映像を撮影し、撮影した映像を基にして、スタッツ（statistics）情報を生成する技術がある。スタッツ情報は、チームや選手個人のプレー成績をまとめた情報である。
【0003】
ここで、スタッツ情報を生成するためには、選手の動きや、ボールの動きの両方を入力情報として利用する。たとえば、人物の動きを追跡するための技術として、人物の速度や移動方向がある程度一定であることを前提とした統計情報に基づき、複数のカメラに映る人物を、時系列に繋ぎ、追跡情報を作成する技術がある。また、テンプレートを用いて人物を追跡する技術がある。
【0004】
また、ボールの動きを追跡する技術として、たとえば、背景画像とボールを含む画像との差分画像によりボールを検出し、画像間のボールに関するベクトルを用いて、ボールを追跡する技術がある。また、反射材等をボールに使用することを前提にして、カメラ画像から画像処理によりボールを検出し、追跡する技術がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１６−０９９９４１号公報
【特許文献2】特開２００４−０４６６４７号公報
【特許文献3】特開２００９−１４３７２２号公報
【特許文献4】特開２００４−０９６４０２号公報
【特許文献5】米国特許出願公開第２００５／０２５４６８６号明細書
【特許文献6】特開２００１−２７３５００号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した従来技術では、必ずしも、ボールの追跡を行うことができないという問題がある。
【0007】
たとえば、ボールの動きを追跡する際に、カメラから見てボールが人物の後ろに隠れてしまった場合には、継続してボールの動きを追跡することが求められる。上述した技術のように、画像間のボールに関するベクトルを用いることで、ボールが人物により隠れた場合でも、僅かの期間、ボールの動きを予測することは可能である。しかし、一定時間以上、ボールが人物により隠れてしまうと、上記の技術では、ボールの追跡が途絶えてしまう。つまり、ボールの追跡ができなくなってしまう。
【0008】
１つの側面では、本発明は、ボールの追跡を行うための画像処理プログラム、画像処理方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、時系列の複数の画像フレームからボール候補の位置を検出する。コンピュータは、複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加する。コンピュータは、異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、複数の軌跡候補を評価して、ボールの軌跡を決定する。コンピュータは、ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、始点から終点まで移動する人物の軌跡で補間する。
【発明の効果】
【0010】
ボールの追跡を行うことができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下に、本願の開示する画像処理プログラム、画像処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例1】
【0013】
図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、このシステムは、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄと、情報処理装置１００とを有する。図示を省略するが、競技エリア５において、複数の選手がボールを用いた競技を行うものとする。たとえば、選手が行う競技は、サッカー、バスケット、ハンドボール、ホッケー、ラグビー、ラクロス等の競技を含む。カメラ１０ａ，１０ｂ，１０ｃ，１０ｄと、情報処理装置１００とは相互に接続される。
【0014】
カメラ１０ａ〜１０ｄは、競技エリア５の映像を撮影するカメラである。本実施例１では、一例として、カメラ１０ａ〜１０ｄを用いて、競技エリア５を分割して撮影する。図２は、カメラの撮影範囲の一例を示す図である。図２に示すように、カメラ１０ａの撮影範囲は撮影範囲１１ａである。カメラ１０ｂの撮影範囲は撮影範囲１１ｂである。カメラ１０ｃの撮影範囲は撮影範囲１１ｃである。カメラ１０ｄの撮影範囲は撮影範囲１１ｄである。撮影範囲１１ａ〜１１ｄにより、競技エリア５全体を撮影することができる。
【0015】
カメラ１０ａ〜１０ｄは、撮影範囲の映像データを、情報処理装置１００に送信する。映像データは、時系列に並んだ複数の画像フレームを含む。画像フレームは、１コマの静止画像のデータである。以下の説明では、カメラ１０ａ〜１０ｄをまとめて、適宜、カメラ１０と表記する。なお、映像データには、映像データを撮影したカメラ１０を識別する情報が付与される。
【0016】
情報処理装置１００は、カメラ１０から映像データに含まれる各画像フレームを解析し、競技エリア５上のボールの位置を追跡する装置である。たとえば、情報処理装置１００は、各画像フレームから検出したボールの候補の位置を、ボールの運動予測に基づいて追跡する。また、情報処理装置１００は、画像フレームからボールの候補を検出しない期間のボールの軌跡を、選手の動きの軌跡を基にして生成する。
【0017】
図３は、本実施例１に係る情報処理装置の構成を示す図である。図３に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
【0018】
通信部１１０は、ネットワーク等を介して、カメラ１０との間でデータ通信を実行する処理部である。たとえば、カメラ１０から映像データを受信する。通信部１１０は、受信した映像データを、制御部１５０に出力する。通信部１１０は、通信装置の一例である。
【0019】
入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。入力部１２０は、たとえば、キーボードやマウス、タッチパネル等に対応する。
【0020】
表示部１３０は、制御部１５０から出力される各種の情報を表示するための表示装置である。表示部１３０は、たとえば、液晶ディスプレイ、タッチパネル等に対応する。
【0021】
記憶部１４０は、バッファ１４０ａ、変換テーブル１４０ｂ、ボール管理テーブル１４０ｃ、選手管理テーブル１４０ｄ、運動定義情報１４０ｅ、軌跡候補管理テーブル１４０ｆ、軌跡管理テーブル１４０ｇ、統計情報１４０ｈを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
【0022】
バッファ１４０ａは、カメラ１０から送信される映像データを保持するバッファである。図４は、本実施例１に係るバッファのデータ構造の一例を示す図である。図４に示すように、バッファ１４０ａは、複数のテーブル１４１ａ，１４１ｂ，１４１ｃ，１４１ｄを有する。
【0023】
テーブル１４１ａは、カメラ１０ａが撮影した映像データを格納するテーブルである。テーブル１４１ｂは、カメラ１０ｂが撮影した映像データを格納するテーブルである。テーブル１４１ｃは、カメラ１０ｃが撮影した映像データを格納するテーブルである。テーブル１４１ｄは、カメラ１０ｄが撮影した映像データを格納するテーブルである。
【0024】
テーブル１４１ａ〜１４１ｄはそれぞれ、カメラ識別情報と、フレーム番号と、時刻と、画像フレームとを対応づける。カメラ識別情報は、カメラ１０を一意に識別する情報である。フレーム番号は、画像フレームを一意に識別する情報である。時刻は、画像フレームを撮影した時刻を示す。画像フレームは、フレーム番号に対応する画像フレームである。
【0025】
変換テーブル１４０ｂは、カメラ１０が撮影した画像フレーム上の座標と、競技エリア５上の座標とを対応づけるテーブルである。図５は、本実施例１に係る変換テーブルのデータ構造の一例を示す図である。図５に示すように、変換テーブル１４０ｂは、第１変換テーブル１４２ａと、第２変換テーブル１４２ｂと、第３変換テーブル１４２ｃと、第４変換テーブル１４２ｄとを有する。
【0026】
第１変換テーブル１４２ａは、カメラ１０ａが撮影する画像フレーム上の座標と、競技エリア５上の座標とを対応づけるテーブルである。第２変換テーブル１４２ｂは、カメラ１０ｂが撮影する画像フレーム上の座標と、競技エリア５上の座標とを対応づけるテーブルである。第３変換テーブル１４２ｃは、カメラ１０ｃが撮影する画像フレーム上の座標と、競技エリア５上の座標とを対応づけるテーブルである。第４変換テーブル１４２ｄは、カメラ１０ｄが撮影する画像フレーム上の座標と、競技エリア５上の座標とを対応づけるテーブルである。
【0027】
ここでは一例として、第２変換テーブル１４２ｂのデータ構造について説明する。図６は、第２変換テーブルのデータ構造の一例を示す図である。図６に示すように、第２変換テーブル１４２ｂは、画像フレーム座標と、全体座標とを対応づける。画像フレーム座標は、カメラ１０ｂが撮影した画像フレーム上の座標を示すものである。画像フレーム座標を、ピクセルによって示す。全体座標は、競技エリア５の座標を示すものである。全体座標を、ｍによって示す。たとえば、画像フレーム座標「０，１」は、全体座標「２５．２，１３，６」に対応する。
【0028】
図７は、画像フレーム座標系と全体座標系との関係を説明するための図である。図７において、画像フレーム５ｂは、ある時刻において、カメラ１０ｂにより撮影された画像フレームに対応する。たとえば、画像フレーム５ｂ上の画像フレーム座標（ｘｎ，ｙｎ）は、競技エリア５上の全体座標（Ｘｎ，Ｙｎ）に対応する。
【0029】
ここでは説明を省略するが、第１変換テーブル１４２ａ、第３変換テーブル１４２ｃ、第４変換テーブル１４２ｄも同様にして、画像フレーム座標と、全体座標との関係を定義する。
【0030】
図３の説明に戻る。ボール管理テーブル１４０ｃは、各画像フレームから検出されたボールの候補に関する情報を保持するテーブルである。図８は、本実施例１に係るボール管理テーブルのデータ構造の一例を示す図である。図８に示すように、このボール管理テーブル１４０ｃは、テーブル１４３ａとテーブル１４３ｂとを有する。
【0031】
図８において、ボール管理テーブル１４０ｃのテーブル１４３ａは、各時刻で検出したボール候補の座標に関する情報を保持する。テーブル１４３ａは、時刻と、候補数と、候補識別情報と、座標とを対応づける。このうち、時刻は、ボール候補を検出した時刻を示す。候補数は、同一時刻にカメラ１０ａ〜１０ｄが撮影した各画像フレームに含まれるボール候補の数を示すものである。候補識別情報は、画像フレーム上のボール候補を一意に識別する情報である。座標は、ボールの座標（全体座標）を示す情報である。同一時刻に複数のボール候補が検出された場合には、候補識別情報と座標との組が、同一レコードに複数登録される。
【0032】
図８において、ボール管理テーブル１４０ｃのテーブル１４３ｂは、各画像フレームで検出されたボール候補にロストフラグが付与されたか否かを区別する情報を保持する。図８に示すように、テーブル１４３ｂは、候補識別情報と、ロストフラグとを対応づける。ロストフラグが「０」である場合には、ロストフラグが付与されていないことを示す。ロストフラグが「１」である場合には、ロストフラグが付与されていることを示す。ロストフラグの初期値を「０」とする。ロストフラグの付与に関する具体的な説明は後述するが、たとえば、ボール候補がボールである可能性が低い場合に、ロストフラグが付与される。また、ボール軌跡の候補に関して、ロストフラグが「１」に設定されたボール候補の総数が閾値以上となるものは、ボール軌跡の候補から除外される。
【0033】
選手管理テーブル１４０ｄは、各画像フレームから検出された各選手の位置情報を保持するテーブルである。図９は、本実施例１に係る選手管理テーブルのデータ構造の一例を示す図である。図９に示すように、選手管理テーブル１４０ｄは、時刻と、各選手識別情報の選手の座標とを対応づける。選手識別情報は、選手を一意に識別する情報である。選手識別情報の選手の座標は、全体座標系の座標である。たとえば、時刻「Ｔ１」において、選手識別情報「Ｈ１０１」の選手が座標（ｘａ１１，ｙａ１１）に位置し、選手識別情報「Ｈ１０２」の選手が座標（ｘａ２１，ｙａ２１）に位置することが示されている。
【0034】
運動定義情報１４０ｅは、ボールの運動に関する情報を保持する。後述するように、情報処理装置１００は、運動定義情報１４０ｅを利用して、ボールの軌跡を予測する。図１０は、本実施例１に係る運動定義情報のデータ構造の一例を示す図である。図１０に示すように、この運動定義情報は、イベント識別情報と、形状と、速度とを対応づける。イベント識別情報は、選手が行うパスや、シュート、センタリング等のイベントを識別する情報である。形状は、イベントに対応するボールの運動の軌跡を示すものである。速度は、イベントに対応するボールの速度を示すものである。
【0035】
軌跡候補管理テーブル１４０ｆは、ボールの軌跡の候補に関する情報を保持するテーブルである。図１１は、本実施例１に係る軌跡候補管理テーブルのデータ構造の一例を示す図である。図１１に示すように、この軌跡候補管理テーブル１４０ｆは、軌跡候補識別情報と、総ロスト回数と、候補識別情報と、座標とを対応づける。軌跡候補識別情報は、ボール軌跡の候補を一意に識別する情報である。総ロスト回数は、ボール軌跡の候補に含まれるボール候補のうち、ロストフラグが付与されたボール候補の総数を示すものである。候補識別情報は、ボール軌跡の候補に含まれるボールの候補を一意に識別する情報である。座標は、ボール軌跡の候補に含まれる各ボール候補の座標を示すものである。同一レコードの各座標を辿った軌跡が、ボール軌跡の候補となる。
【0036】
軌跡管理テーブル１４０ｇは、確定したボール軌跡に関する情報を保持するテーブルである。本実施例１では、確定したボール軌跡を単に、ボール軌跡と表記する。図１２は、本実施例１に係る軌跡管理テーブルのデータ構造の一例を示す図である。図１２に示すように、軌跡管理テーブル１４０ｇは、軌跡識別情報と、候補識別情報と、座標と、対応情報とを対応づける。軌跡識別情報は、ボール軌跡を一意に識別する情報である。候補識別情報は、ボール軌跡を構成する各ボール候補を一意に識別する情報である。座標は、ボール軌跡に含まれる各ボール候補の座標を示すものである。
【0037】
対応情報は、ボール軌跡のうち、選手の移動軌跡に関する情報を示す。たとえば、軌跡識別情報「Ｋ１０１」のボール軌跡には、選手識別情報「Ｈ１０１」の選手が期間Ｔａ１〜Ｔａ１０の間に移動した軌跡と、選手識別情報「Ｈ１０２」の選手が期間Ｔｂ１５〜Ｔｂ２０の間に移動した軌跡とを含むことが示されている。
【0038】
統計情報１４０ｈは、選手に関する統計情報を保持するテーブルである。図１３は、本実施例１に係る統計情報のデータ構造の一例を示す図である。図１３に示すように、この統計情報１４０ｈは、選手識別情報と、運動量と、ドリブル距離と、パス回数とを対応づける。選手識別情報は、選手を一意に識別する情報である。運動量は、試合中に選手が移動した距離を示す。ドリブル距離は、試合中に選手がボールをドリブルしつつ移動した距離を示す。パス回数は、試合中に選手がボールをパスした回数を示す。
【0039】
図３の説明に戻る。制御部１５０は、受信部１５０ａと、ボール検出部１５０ｂと、選手検出部１５０ｃと、生成部１５０ｄと、軌跡決定部１５０ｅと、統計情報生成部１５０ｆとを有する。また、制御部１５０は、出力部１５０ｇを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
【0040】
受信部１５０ａは、カメラ１０から映像データを受信する処理部である。受信部１５０ａは、受信した映像データを、バッファ１４０ａに格納する。受信部１５０ａは、カメラ１０ａから受信した映像データを、バッファ１４０ａのテーブル１４１ａに格納する。受信部１５０ａは、カメラ１０ｂから受信した映像データを、バッファ１４０ａのテーブル１４１ｂに格納する。受信部１５０ａは、カメラ１０ｃから受信した映像データを、バッファ１４０ａのテーブル１４１ｃに格納する。受信部１５０ａは、カメラ１０ｄから受信した映像データを、バッファ１４０ａのテーブル１４１ｄに格納する。
【0041】
ボール検出部１５０ｂは、バッファ１４０ａに格納された各画像フレームから、ボール候補の位置を検出する処理部である。ボール検出部１５０ｂは、検出部の一例である。たとえば、ボール検出部１５０ｂは、ボール候補の位置を検出する処理、ボール候補の位置を追加する処理を実行する。
【0042】
ボール検出部１５０ｂが、ボール候補の位置を検出する処理について説明する。ここでは一例として、バッファ１４０ａのテーブル１４１ａに格納されたカメラ１０ａに撮影された映像データ（画像フレーム）から、ボール候補を検出する処理について説明する。ボール検出部１５０ｂは、テーブル１４１ａから、時刻Ｔ１の画像フレームと、時刻Ｔ２の画像フレームとの差分画像を生成する。ボール検出部１５０ｂは、差分画像に残った領域の面積と、ボールの面積を定義したテンプレートとの比較を行い、テンプレートの面積との差が閾値未満となる差分画像上の領域を、ボール候補として検出する。
【0043】
図１４は、本実施例１に係るボール検出部の処理を説明するための図（１）である。図１４に示す例では、差分画像１５に、領域１５ａ，１５ｂ，１５ｃ，１５ｄ，１５ｅが含まれている。たとえば、テンプレートに定義された面積との差分が閾値未満となる領域を、領域１５ａ，１５ｃ，１５ｅとする。この場合には、ボール検出部１５０ｂは、領域１５ａ，１５ｃ，１５ｅをボール候補として検出する。
【0044】
ボール検出部１５０ｂは、差分画像から算出したボール候補の座標（画像フレーム座標）を、変換テーブル１４０ｂを基にして、全体座標に変換する。ボール検出部１５０ｂは、ボール候補にユニークな候補識別情報を割り当てる。ボール検出部１５０ｂは、時刻と、候補識別情報と、座標（全体座標）とを対応づけて、テーブル１４３ａに登録する。
【0045】
たとえば、ボール検出部１５０ｂは、差分画像１５の領域１５ａの平均座標と、第１変換テーブル１４２ａとを比較して、ボール候補の全体座標（ｘ１１，ｙ１１）を得る。たとえば、差分画像１５は、時刻Ｔ１の画像フレームと、時刻Ｔ２の画像フレームとの差分画像とする。ボール検出部１５０ｂは、領域１５ａに対応するボール候補に、候補識別情報「Ｂ１００１」を割り当てる。この場合には、ボール検出部１５０ｂは、時刻Ｔ１と、候補識別情報「Ｂ１００１」と、座標「ｘ１１，ｙ１１」とを対応づけて、テーブル１４３ａに登録する。ボール検出部１５０ｂは、差分画像１５の領域１５ｃ，１５ｅについても、同様の処理を実行する。
【0046】
ボール検出部１５０ｂは、バッファ１４０ａのテーブル１４１ｂ〜１４１ｄに格納された映像データ（画像フレーム）についても、上記と同様の処理を行うことで、差分画像から、ボール候補を抽出し、時刻と、候補識別情報と、座標とを対応づけて、テーブル１４３ａに登録する。なお、ボール検出部１５０ｂは、同一時刻において、座標の差が閾値未満となる複数のボール候補を検出した場合には、いずれか一つのボール候補の情報を、ボール管理テーブル１４０ｃに登録し、残りのボール候補を削除する処理を実行する。
【0047】
続いて、ボール検出部１５０ｂが、ボール候補の位置を追加する処理について説明する。ボール検出部１５０ｂは、運動定義情報１４０ｅを基にして、ボール候補の位置を予測することで、ボール管理テーブル１４０ｃに登録できなかったボール候補に関する情報を補う。なお、ボール検出部１５０ｂは、運動定義情報１４０ｅを基にして、ボール候補の位置を予測し、予測した位置に既にボール候補が存在している場合には、ボール候補を追加しない。
【0048】
図１５は、本実施例１に係るボール検出部の処理を説明するための図（２）である。図１５のステップＳ１０について説明する。ボール候補１８は、時刻ｔ−２において検出されたボール候補とする。ボール候補１９は、時刻ｔ−１において検出されたボール候補とする。ボール候補２０ａ，２０ｂ，２０ｃは、時刻ｔにおいて検出されたボール候補とする。
【0049】
ボール検出部１５０ｂは、ボール候補１９を基準とし、運動定義情報１４０ｅで定義されたイベント識別情報に対応する形状および速度を基にして、時刻ｔにおけるボール候補の移動先の領域２１を予測する。ここでは一例として、ボール検出部１５０ｂには、イベント識別情報が予め設定されているものとする。
【0050】
図１５のステップＳ１１について説明する。ボール検出部１５０ｂは、時刻ｔにおいて、領域２１にボール候補が存在しない場合には、領域２１に、ボール候補２０ｄを追加する。ボール検出部１５０ｂは、ボール候補２０ｄに関する情報を、ボール管理テーブル１４０ｃに登録する。すなわち、ボール検出部１５０ｂは、時刻ｔに対応づけて、ボール候補２０ｄの候補識別情報、座標を、ボール管理テーブル１４０ｃに登録する。
【0051】
ボール検出部１５０ｂは、時刻ｔにおいて、領域２１に含まれないボール候補２０ａ，２０ｂ，２０ｃを特定する。ボール検出部１５０ｂは、ボール管理テーブル１４０ｃにおいて、ボール候補２０ａ，２０ｂ，２０ｃに対するロストフラグを「１」に設定する。また、ステップＳ１０のように、時刻ｔ−１のボール候補１９を基準とした、移動先の領域２１に、ボール候補が存在しない場合には、ボール候補１９に対するロストフラグを「１」に設定する。
【0052】
図１６は、本実施例１に係るボール検出部の処理を説明するための図（３）である。図１６のステップＳ２０について説明する。ボール候補１８は、時刻ｔ−２において検出されたボール候補とする。ボール候補１９は、時刻ｔ−１において検出されたボール候補とする。ボール候補２０ａ，２０ｂ，２０ｃ，２０ｆは、時刻ｔにおいて検出されたボール候補とする。
【0053】
ボール検出部１５０ｂは、ボール候補１９を基準とし、運動定義情報１４０ｅで定義されたイベント識別情報に対応する形状および速度を基にして、時刻ｔにおけるボール候補の移動先の領域２１を予測する。ここでは一例として、ボール検出部１５０ｂには、イベント識別情報が予め設定されているものとする。
【0054】
図１６のステップＳ２１について説明する。ボール検出部１５０ｂは、時刻ｔにおいて、領域２１にボール候補２０ｆが存在しているため、図１５のステップＳ１１で説明したようなボール候補の追加を行わない。ボール検出部１５０ｂは、ボール管理テーブル１４０ｃにおいて、ボール候補２０ａ，２０ｂ，２０ｃに対するロストフラグを「１」に設定する。
【0055】
なお、ボール検出部１５０ｂは、前の時刻にボール候補が存在していない場合には、現時刻で検出した各ボール候補のロストフラグを「１」に設定する。
【0056】
図３の説明に戻る。選手検出部１５０ｃは、各画像フレームから選手を検出する処理部である。ここでは、選手検出部１５０ｃは、バッファ１４０ａのテーブル１４１ａに格納されたカメラ１０ａに撮影された映像データ（画像フレーム）から、選手を検出する処理について説明する。選手検出部１５０ｃは、テーブル１４１ａから、時刻Ｔ１の画像フレームと、時刻Ｔ２の画像フレームとの差分画像を生成する。選手検出部１５０ｃは、差分画像に残った領域の面積と、選手の面積を定義したテンプレートとの比較を行い、テンプレートの面積との差が閾値未満となる差分画像上の領域を、選手として検出する。
【0057】
選手検出部１５０ｃは、差分画像から算出したボール候補の座標（画像フレーム座標）を、変換テーブル１４０ｂを基にして、全体座標に変換する。選手検出部１５０ｃは、選手にユニークな選手識別情報を割り当てる。ボール検出部１５０ｂは、時刻と、選手識別情報に対応する座標（全体座標）とを対応づけて、選手管理テーブル１４０ｄに登録する。選手検出部１５０ｃは、選手の運動予測を行って、異なる時刻から検出される同一の選手を追跡する。
【0058】
選手検出部１５０ｃは、バッファ１４０ａのテーブル１４１ｂ〜１４１ｄに格納された映像データ（画像フレーム）についても、上記と同様の処理を行うことで、差分画像から、選手を抽出し、時刻と、選手識別情報に対応する座標とを対応づけて、選手管理テーブル１４０ｄに登録する。
【0059】
なお、本実施例１では一例として、選手検出部１５０ｃが、選手管理テーブル１４０ｄを生成する場合について説明したが、これに限定されるものではない。たとえば、情報処理装置１００は、競技エリア５で競技を行う各選手の軌跡を追跡する他の追跡装置から、選手管理テーブル１４０ｄを取得してもよい。
【0060】
生成部１５０ｄは、ボール管理テーブル１４０ｃを基にして、ボール軌跡の候補を生成する処理部である。生成部１５０ｄは、生成したボール軌跡の候補の情報を、軌跡候補管理テーブル１４０ｆに登録する。
【0061】
図１７は、本実施例１に係る生成部の処理を説明するための図である。たとえば、時刻ｔ−２にボール候補１８が検出され、時刻ｔ−１にボール候補１９が検出された場合には、生成部１５０ｄは、ボール候補１８の座標とボール候補１９の座標とを結ぶボール軌跡の候補を生成する。以下の説明において、ボール軌跡の候補を「軌跡候補」と表記する。
【0062】
時刻ｔにおいて、ボール候補２０ａ，２０ｂ，２０ｃ，２０ｄが検出された場合には、生成部１５０ｄは、軌跡候補ｋ１１１，ｋ１１２，ｋ１１３，ｋ１１４を生成する。軌跡候補ｋ１１１は、ボール候補１８，１９，２０ａを含む。軌跡候補ｋ１１２は、ボール候補１８，１９，２０ｂを含む。軌跡候補ｋ１１３は、ボール候補１８，１９，２０ｃを含む。軌跡候補ｋ１１４は、ボール候補１８，１９，２０ｄを含む。
【0063】
生成部１５０ｄは、上記のように、各時刻で検出したボール候補をそれぞれ組み合わせることで、軌跡候補を生成する。生成部１５０ｄは、生成した軌跡候補の情報を、軌跡候補管理テーブル１４０ｆに登録する。たとえば、生成部１５０ｄは、軌跡候補識別情報と、総ロスト回数と、候補識別情報と、座標とを対応づけて、軌跡候補管理テーブル１４０ｆに登録する。生成部１５０ｄは、軌跡候補に含まれるボール候補のうち、ロストフラグが「１」となるボール候補の総数を、総ロスト回数として算出する。
【0064】
図３の説明に戻る。軌跡決定部１５０ｅは、軌跡候補管理テーブル１４０ｆに含まれる複数の軌跡候補を評価し、ボールの軌跡を決定する処理部である。たとえば、軌跡決定部１５０ｅは、軌跡候補を追加する処理と、複数の軌跡候補からボール軌跡を決定する処理を順に実行する。
【0065】
軌跡決定部１５０ｅが実行する軌跡候補を追加する処理について説明する。軌跡決定部１５０ｅは、各軌跡候補と、選手の移動軌跡とを比較し、選手の移動軌跡と重なる軌跡候補については、選手の移動軌跡を追加した軌跡を、新たな候補軌跡として追加する。
【0066】
図１８は、本実施例１に係る軌跡決定部の処理を説明するための図（１）である。図１８のステップＳ３０に示すように、軌跡候補ｋ１２１，ｋ１２２，ｋ１２３が存在する。また、ある選手の移動軌跡を、移動軌跡ｐ１０１とする。図１８に示す例では、Ｒ１において、軌跡候補ｋ１２１と、移動軌跡ｐ１０１とが重複している。Ｒ２において、軌跡候補ｋ１２２と、移動軌跡ｐ１０１とが重複している。ただし、Ｒ１に対応するｋ１２１のボール候補の時刻と、移動軌跡ｐ１０１の選手の時刻との差分を閾値未満とする。Ｒ２に対応するｋ１２２のボール候補の時刻と、移動軌跡ｐ１０１の選手の時刻との差分を閾値未満とする。
【0067】
図１８のステップＳ３１について説明する。軌跡決定部１５０ｅは、Ｒ１とＲ２との間の移動軌跡を、軌跡候補として補間することで、軌跡候補ｋ１２４を新たに追加する。たとえば、Ｒ１とＲ２との移動軌跡における選手の位置を、ボール候補の位置とする。軌跡決定部１５０ｅは、追加した軌跡候補の情報を、軌跡管理テーブル１４０ｇに登録する。なお、選手の位置に対応するボール候補のロストフラグを「０」とする。
【0068】
また、軌跡決定部１５０ｅは、Ｒ１とＲ２との間の移動軌跡を基にして、対応情報を生成する。対応情報は、Ｒ１とＲ２との間の移動軌跡に対応する選手の選手識別情報と、Ｒ１からＲ２までの期間の情報を含む。たとえば、軌跡決定部１５０ｅは、軌跡候補ｋ１２４に、生成した移動軌跡の情報を対応づけておくものとする。
【0069】
続いて、軌跡決定部１５０ｅが複数のボール軌跡候補からボール軌跡を決定する処理について説明する。図１９は、本実施例１に係る軌跡決定部の処理を説明するための図（２）である。図１９に示す例では、軌跡候補ｋ１２２，ｋ１２３，ｋ１２４が含まれる。軌跡候補ｋ１２４は、ある選手から他の選手にボールが渡った場合の軌跡候補と考えられる。軌跡候補ｋ１２２は、ある選手から他の選手を交差して、その先に進んでいる場合の軌跡候補と考えられる。軌跡候補ｋ１２３は、ある選手から右方向にボールが移動している場合の軌跡候補と考えられる。
【0070】
軌跡決定部１５０ｅは、複数の軌跡候補のうち、総ロスト回数が閾値以上となる軌跡候補が存在する場合には、総ロスト回数が閾値以上となる軌跡候補を削除する。また、軌跡決定部１５０ｅは、総ロスト回数が閾値未満となる軌跡候補のうち、選手の移動軌跡と一定時間（予め設定される時間幅）以上重複しない軌跡候補を削除する。軌跡決定部１５０ｅは、上記のように、軌跡候補を削除する処理を実行し、最終的に残った軌跡候補を、正しいボールの軌跡として決定する。
【0071】
たとえば、図１９において、軌跡候補ｋ１２２の総ロスト回数が閾値以上となる場合には、軌跡決定部１５０ｅは、軌跡候補ｋ１２２を削除する。また、軌跡候補ｋ１２３が、一定時間以上、選手の移動軌跡と重複しないため、軌跡決定部１５０ｅは、軌跡候補１２３を削除する。この場合には、軌跡決定部１５０ｅは、残った軌跡候補ｋ１２４を、ボールの軌跡として決定する。
【0072】
軌跡決定部１５０ｅは、ボールの軌跡にユニークな軌跡識別情報を割り当て、ボールの軌跡の情報を、軌跡管理テーブル１４０ｇに登録する。たとえば、ボールの軌跡の情報は、図１２で説明したように、軌跡識別情報と、候補識別情報と、座標と、対応情報とが含まれる。
【0073】
図３の説明に戻る。統計情報生成部１５０ｆは、選手管理テーブル１４０ｄおよび軌跡管理テーブル１４０ｇを基にして、統計情報１４０ｈを生成する処理部である。たとえば、統計情報生成部１５０ｆは、統計情報として、選手の運動量、ドリブル距離、パス回数を算出する。
【0074】
統計情報生成部１５０ｆが、選手の運動量を算出する処理の一例について説明する。統計情報生成部１５０ｆは、選手管理テーブル１４０ｄを参照し、各時刻間の移動距離を積算することで、運動量を算出する。たとえば、時刻ｔの選手の座標を（ｘｔ，ｙｔ）とすると、時刻ｔから、時刻ｔ＋ｎまでの、選手の運動量は、式（１）により算出される。式（１）において、時刻ｔは、試合の開始時刻とし、時刻ｔ＋ｎは、試合の終了時刻とする。
【0075】
【数1】
【0076】
統計情報生成部１５０ｆが、選手のドリブル距離を算出する処理の一例について説明する。統計情報生成部１５０ｆは、軌跡管理テーブル１４０ｇの対応情報を参照し、選手識別情報と、この選手識別情報に対応する選手がボールとともに移動した期間を特定する。統計情報生成部１５０ｆは、選手識別情報および選手がボールとともに移動した期間と、選手管理テーブル１４０ｄとを比較し、選手がボールとともに移動した各時刻の座標を特定する。統計情報生成部１５０ｆは、式（２）により、選手のドリブル距離を算出する。式（２）において、時刻ｔａは、選手がボールとともに移動した期間の開始時刻であり、ｎａは、選手がボールとともに移動した期間の終了時刻である。なお、統計情報生成部１５０ｆは、選手が連続してドリブルした期間が複数存在する場合には、各期間のドリブル距離をそれぞれ算出し、算出した各ドリブル距離を合計することで、最終的なドリブル距離を求める。
【0077】
【数2】
【0078】
統計情報生成部１５０ｆが、選手のパス回数を算出する処理の一例について説明する。たとえば、統計情報生成部１５０ｆは、軌跡管理テーブル１４０ｇの対応情報を参照し、選手識別情報の切り替わりを基にして、選手のパス回数を算出する。たとえば、ある軌跡識別情報の対応情報について、選手識別情報「Ｈ１０１」の期間が、期間Ｔａ１〜Ｔａ１０であり、他の選手識別情報の期間が期間Ｔｂ１５から開始されたとする。統計情報生成部１５０ｆは、上記の時刻Ｔａ１０から時刻Ｔｂ１５までの期間が、所定期間内に含まれる場合に、選手識別情報「Ｈ１０１」の選手のパス回数に１をインクリメントする。統計情報生成部１５０ｆは、上記処理を繰り返し実行することで、選手のパス回数を算出する。
【0079】
統計情報生成部１５０ｆは、各選手について、運動量、ドリブル距離、パス回数を算出し、選手の選手識別情報と対応づけて、運動量、ドリブル距離、パス回数を、統計情報１４０ｈに登録する。
【0080】
出力部１５０ｇは、軌跡管理テーブル１４０ｇの情報、統計情報１４０ｈの情報を、表示部１３０に出力して、表示させる処理部である。また、出力部１５０ｇは、選手に対応する運動量、パス回数、ドリブル距離をスタッツ情報として、表示部１３０に表示させる。出力部１５０ｇは、選手毎にスタッツ情報を生成し、選手の移動軌跡と対応づけて、スタッツ情報を表示部１３０に表示させてもよい。
【0081】
なお、出力部１５０ｇは、軌跡管理テーブル１４０ｇの情報、統計情報１４０ｈの情報を、外部のＤＢ（Data base）に格納してもよい。また、出力部１５０ｇは、軌跡管理テーブル１４０ｇの情報、統計情報１４０ｈの情報を圧縮して、ＤＢに格納してもよい。
【0082】
次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図２０は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図２０に示すように、情報処理装置１００の受信部１５０ａは、カメラ１０から画像フレームを取得し、バッファ１４０ａに格納する（ステップＳ１０１）。
【0083】
情報処理装置１００のボール検出部１５０ｂ（および選手検出部１５０ｃ）は、バッファ１４０ａから前後の画像フレームを取得し、差分画像を生成する（ステップＳ１０２）。ボール検出部１５０ｂは、ボール候補を検出し（ステップＳ１０３ａ）、ボール領域の座標を全体座標系へ統合し（ステップＳ１０４ａ）、ステップＳ１０５に移行する。
【0084】
選手検出部１５０ｃは、選手を検出し（ステップＳ１０３ｂ）、選手の座標を全体座標形へ統合し（ステップＳ１０４ｂ）、ステップＳ１０５に移行する。
【0085】
情報処理装置１００の生成部１５０ｄは、複数の軌跡候補を生成する（ステップＳ１０５）。情報処理装置１００の軌跡決定部１５０ｅは、複数の軌跡候補から、ボールの軌跡を決定する（ステップＳ１０６）。情報処理装置１００の統計情報生成部１５０ｆは、軌跡管理テーブル１４０ｇを基にして、統計情報１４０ｈを生成する（ステップＳ１０７）。情報処理装置１００の出力部１５０ｇは、各選手の移動軌跡とスタッツ情報とを対応づけて、表示部１３０に出力する（ステップＳ１０８）。
【0086】
次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、差分画像と運動定義情報１４０ｅとを基にして検出した各時刻のボール候補を組み合わせることで、複数の軌跡候補を検出し、検出した複数の軌跡候補を評価することで、ボール軌跡を特定する。また、情報処理装置１００は、ボール軌跡が途切れる場合に、途切れの始点と終点との間を、かかる始点から終点まで移動する選手の移動軌跡によって補間する。上記のように、ボール軌跡が途絶えた間は、選手がボールとともに移動していると考えられるため、選手の移動軌跡で補間することで、ボールの追跡を途切れなく行うことができる。
【0087】
情報処理装置１００は、過去の画像フレームから検出したボール候補の位置と、運動定義情報１４０ｅとを基にして現画像フレーム上のボール候補の位置を推定し、推定した位置に、ボール候補が存在しない場合に、ボール候補を追加する処理を行う。これにより、一時的に画像フレームに含まれないボール候補を追加することができる。
【0088】
情報処理装置１００は、運動定義情報１４０ｅを基にして推定した位置を基準とした所定の範囲に含まれないボール候補に対して、ロストフラグを付与し、ロストフラグに基づく、軌跡候補の総ロスト回数が閾値以上となる軌跡候補を削除する。ロストフラグは、ボールの運動定義にそぐわないボール候補に付与されるため、より、ボールの運動定義に対応したボール軌跡を、軌跡候補から決定することができる。
【実施例2】
【0089】
次に、本実施例２に係る情報処理装置について説明する。図示を省略するが、本実施例２にかかる情報処理装置は、実施例１と同様にして、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄに接続されているものとする。カメラ１０ａ〜１０ｄに関する説明は、実施例１と同様であるため説明を省略する。
【0090】
図２１は、本実施例２に係る情報処理装置の構成を示す図である。図２１に示すように、この情報処理装置２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。
【0091】
通信部２１０、入力部２２０、表示部２３０に関する説明は、実施例１で説明した、通信部１１０、入力部１２０、表示部１３０に関する説明と同様である。
【0092】
記憶部２４０は、バッファ２４０ａ、変換テーブル２４０ｂ、ボール管理テーブル２４０ｃ、選手管理テーブル２４０ｄ、運動定義情報２４０ｅ、軌跡候補管理テーブル２４０ｆ、軌跡管理テーブル２４０ｇ、統計情報２４０ｈを有する。記憶部２４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
【0093】
バッファ２４０ａ、変換テーブル２４０ｂ、ボール管理テーブル２４０ｃ、選手管理テーブル２４０ｄ、運動定義情報２４０ｅに関する説明は、実施例１で説明した情報１４０ａ〜１４０ｅに関する説明と同様である。また、軌跡候補管理テーブル２４０ｆ、軌跡管理テーブル２４０ｇ、統計情報２４０ｈに関する説明は、実施例１で説明した情報１４０ｆ〜１４０ｈに関する説明と同様である。
【0094】
制御部２５０は、受信部２５０ａと、ボール検出部２５０ｂと、選手検出部２５０ｃと、生成部２５０ｄと、軌跡決定部２５０ｅと、統計情報生成部２５０ｆと、出力部２５０ｇとを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【0095】
受信部２５０ａ、ボール検出部２５０ｂ、選手検出部２５０ｃ、生成部２５０ｄに関する説明は、実施例１で説明した、受信部１５０ａ、ボール検出部１５０ｂ、選手検出部１５０ｃ、生成部１５０ｄに関する説明と同様である。また、統計情報生成部２５０ｆ、出力部２５０ｇは、実施例１で説明した、統計情報生成部１５０ｆ、出力部１５０ｇの説明と同様である。
【0096】
軌跡決定部２５０ｅは、軌跡候補管理テーブル２４０ｆに含まれる複数の軌跡候補を評価し、ボールの軌跡を決定する処理部である。たとえば、軌跡決定部２５０ｅは、軌跡候補を追加する処理と、複数の軌跡候補からボール軌跡を決定する処理を順に実行する。ここで、軌跡決定部２５０ｅが軌跡候補を追加する処理は、実施例１で説明した、軌跡決定部１５０ｅが軌跡候補を追加する処理と同様であるため、説明を省略する。
【0097】
軌跡決定部２５０ｅが、複数の軌跡候補からボールの軌跡を決定する処理について説明する。図２２は、本実施例２に係る軌跡決定部の処理を説明するための図である。図２２に示すように、軌跡候補ｋ１３１，ｋ１３２，ｋ１３３が存在する。また、各選手の移動軌跡を、移動軌跡ｐ１０２，ｐ１０３，ｐ１０４とする。
【0098】
軌跡決定部２５０ｅは、各軌跡候補ｋ１３１，ｋ１３２，ｋ１３３と、移動軌跡ｐ１０２、ｐ１０３，ｐ１０４とを比較し、軌跡候補と移動軌跡とが重複する部分を特定する。図２２に示す例では、Ｒ３，Ｒ４，Ｒ５において、軌跡候補と移動軌跡とが重複している。ただし、Ｒ３，Ｒ４，Ｒ５に対応するボール候補および選手は、図１８で説明したＲ１，Ｒ２と同様にして、時刻も重複しているものとする。
【0099】
軌跡決定部２５０ｅは、複数の軌跡候補のうち、重複する部分に挟まれる軌跡候補を、ボールの軌跡として確定する。たとえば、軌跡決定部２５０ｅは、図２２において、重複する部分Ｒ４，Ｒ５に挟まれる移動軌跡ｋ１３３を、ボールの軌跡として確定する。なお、軌跡決定部２５０ｅは、軌跡候補のうち、挟まれる部分からはみ出る部分については、削除する。
【0100】
軌跡決定部２５０ｅは、確定した軌跡候補と、確定していない残りの軌跡候補との比較を行い、確定した軌跡候補と接続する軌跡候補を選択する。ここでは、確定した軌跡候補ｋ１３３の始点に対応するボール候補を、ボール候補２２ａとし、次の時刻のボール候補をボール候補２２ｂとする。確定していない軌跡候補ｋ１３１の終点のボール候補をボール候補２３ｂとし、前の時刻のボール候補をボール候補２３ａとする。確定していない軌跡候補ｋ１３２の終点のボール候補をボール候補２４ｂとし、前の時刻のボール候補をボール候補２４ａとする。
【0101】
軌跡決定部２５０ｅは、ボール候補２２ａとの距離が閾値未満であり、かつ、時刻の差分が閾値未満となるボール候補の終点を有する軌跡候補を選択する。たとえば、ボール候補２２ａとボール候補２３ｂとの距離が閾値未満であり、かつ、時刻の差分が閾値未満である場合に、軌跡決定部２５０ｅは、軌跡候補ｋ１３１を選択する。一方、ボール候補２２ａとボール候補２４ｂとの距離が閾値以上または時刻の差分が閾値以上である場合に、軌跡決定部２５０ｅは、軌跡候補ｋ１３２を選択しない。
【0102】
続いて、軌跡決定部２５０ｅは、確定した軌跡候補ｋ１３３のボール候補２２ａからボール候補２２ｂまでの方向と、選択した軌跡候補ｋ１３１のボール候補２３ａからボール候補２３ｂまでの方向とを比較する。軌跡決定部２５０ｅは、各方向のなす角が閾値未満である場合には、軌跡候補ｋ１３１と、軌跡候補１３３とを接続した軌跡Ｋ１１０を生成し、この軌跡Ｋ１１０を、ボールの軌跡として、軌跡管理テーブル２４０ｇに登録する。
【0103】
軌跡決定部２５０ｅは、各方向のなす角が閾値以上である場合には、確定した軌跡ｋ１３３を、軌跡管理テーブル２４０ｇに登録する。
【0104】
次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、複数の軌跡候補を評価して、ボールの軌跡を確定し、確定した軌跡と、軌跡候補とを比較して、確定した軌跡に軌跡候補を接続することで、軌跡を生成する処理を実行する。これにより、ボールが選手に隠れてボール候補が検出されない場合や、ボールが運動定義情報２４０ｅで推定した位置に移動しない場合でも、ボールの軌跡を継続して追跡することができる。
【実施例3】
【0105】
次に、本実施例３に係る情報処理装置について説明する。図示を省略するが、本実施例３に係る情報処理装置は、実施例１と同様にして、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄに接続されているものとする。カメラ１０ａ〜１０ｄに関する説明は、実施例１と同様であるため説明を省略する。
【0106】
図２３は、本実施例３に係る情報処理装置の構成を示す図である。図２３に示すように、この情報処理装置３００は、通信部３１０と、入力部３２０と、表示部３３０と、記憶部３４０と、制御部３５０とを有する。
【0107】
通信部３１０、入力部３２０、表示部３３０に関する説明は、実施例１で説明した、通信部１１０、入力部１２０、表示部１３０に関する説明と同様である。
【0108】
記憶部３４０は、バッファ３４０ａ、変換テーブル３４０ｂ、ボール管理テーブル３４０ｃ、選手管理テーブル３４０ｄ、運動定義情報３４０ｅ、軌跡候補管理テーブル３４０ｆを有する。記憶部３４０は、軌跡管理テーブル３４０ｇ、統計情報３４０ｈ、ランドマーク情報３４０ｉを有する。記憶部３４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
【0109】
バッファ３４０ａ、変換テーブル３４０ｂ、ボール管理テーブル３４０ｃ、選手管理テーブル３４０ｄ、運動定義情報３４０ｅに関する説明は、実施例１で説明した各情報１４０ａ〜１４０ｅに関する説明と同様である。また、軌跡候補管理テーブル３４０ｆ、軌跡管理テーブル３４０ｇ、統計情報３４０ｈに関する説明は、実施例１で説明した各情報１４０ｆ〜１４０ｈに関する説明と同様である。
【0110】
ランドマーク情報３４０ｉは、競技エリア５上に存在するランドマークの情報を保持する。ランドマークは、競技エリアの目印となるものであり、たとえば、ランドマークは、競技エリア５の各ラインを示すものである。
【0111】
図２４は、ランドマークの一例を説明するための図である。図２４に示すように、競技エリア５には、ランドマークＬ１０１，Ｌ１０２，Ｌ１０３，Ｌ１０４が含まれる。ランドマークＬ１０１は、点５ａと点５ｂとを結ぶコートのラインである。ランドマークＬ１０２は、点５ｂと点５ｃとを結ぶコートのラインである。ランドマークＬ１０３は、点５ｃと点５ｄとを結ぶコートのラインである。ランドマークＬ１０４は、点５ｄと点５ａとを結ぶコートのラインである。
【0112】
スポーツにおいて、ボールの移動は、選手から選手への移動のみではない。たとえば、選手は競技中にシュートしたり、外部にボールを蹴り出すプレーを行う場合があり、かかるプレーを行った場合には、ボールの軌跡と各ランドマーク（ライン）Ｌ１０１〜Ｌ１０４が交差する。このため、情報処理装置３００は、各ランドマークＬ１０１〜Ｌ１０４と交差する軌跡候補を、ボール軌跡として決定する。
【0113】
図２５は、ランドマーク情報のデータ構造の一例を示す図である。図２５に示すように、このランドマーク情報３４０ｉは、ランドマーク識別情報と、始点座標と、終点座標とを対応づける。ランドマークを一意に識別する情報である。始点座標および終点座標は、ランドマークの始点および終点の座標を示す。
【0114】
図２３の説明に戻る。制御部３５０は、受信部３５０ａと、ボール検出部３５０ｂと、選手検出部３５０ｃと、生成部３５０ｄと、軌跡決定部３５０ｅと、統計情報生成部３５０ｆと、出力部３５０ｇとを有する。制御部３５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部３５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【0115】
受信部３５０ａ、ボール検出部３５０ｂ、選手検出部３５０ｃ、生成部３５０ｄに関する説明は、実施例１で説明した、受信部１５０ａ、ボール検出部１５０ｂ、選手検出部１５０ｃ、生成部１５０ｄに関する説明と同様である。また、統計情報生成部３５０ｆ、出力部３５０ｇは、実施例１で説明した、統計情報生成部１５０ｆ、出力部１５０ｇの説明と同様である。
【0116】
軌跡決定部３５０ｅは、軌跡候補管理テーブル３４０ｆに含まれる複数の軌跡候補を評価し、ボールの軌跡を決定する処理部である。たとえば、軌跡決定部３５０ｅは、軌跡候補を追加する処理と、複数の軌跡候補からボール軌跡を決定する処理を順に実行する。ここで、軌跡決定部３５０ｅが軌跡候補を追加する処理は、実施例１で説明した、軌跡決定部１５０ｅが軌跡候補を追加する処理と同様であるため、説明を省略する。
【0117】
軌跡決定部３５０ｅが、複数の軌跡候補からボールの軌跡を決定する処理について説明する。図２６は、本実施例３に係る軌跡決定部の処理を説明するための図である。図２６に示すように、軌跡候補ｋ１４１，ｋ１４２，ｋ１４３が存在する。また、各選手の移動軌跡を、移動軌跡ｐ１１０，ｐ１１１とする。また、図２６には、ランドマークＬ１０１が含まれる。
【0118】
軌跡決定部３５０ｅは、各軌跡候補ｋ１４１，ｋ１４２，ｋ１４３と、移動軌跡ｐ１１０、ｐ１１１とを比較し、軌跡候補と移動軌跡とが重複する部分を特定する。図２６に示す例では、Ｒ１０，Ｒ１１において、軌跡候補と移動軌跡とが重複している。ただし、Ｒ１０，Ｒ１１に対応するボール候補および選手は、図１８で説明したＲ１，Ｒ２と同様にして、時刻も重複しているものとする。
【0119】
また、軌跡決定部３５０ｅは、各軌跡候補ｋ１４１〜ｋ１４３と、ランドマークＬ１０１とを比較し、軌跡候補とランドマークとが重複する部分を特定する。図２６に示す例では、Ｒ１２において、軌跡候補とランドマークＬ１０１とが重複している。
【0120】
軌跡決定部３５０ｅは、複数の軌跡候補のうち、軌跡候補および移動軌跡が重複する部分と、軌跡候補およびランドマークが重複する部分とに挟まれる軌跡候補を、ボールの軌跡として確定する。たとえば、軌跡決定部３５０ｅは、図２６において、重複する部分Ｒ１１，Ｒ１２に挟まれる移動軌跡ｋ１４３を、ボールの軌跡として確定する。
【0121】
軌跡決定部３５０ｅは、確定した軌跡候補と、確定していない残りの軌跡候補との比較を行い、確定した軌跡候補と接続する軌跡候補を選択する。ここでは、確定した軌跡候補ｋ１４３の始点に対応するボール候補を、ボール候補３２ａとし、次の時刻のボール候補をボール候補３２ｂとする。確定していない軌跡候補ｋ１４１の終点のボール候補をボール候補３３ｂとし、前の時刻のボール候補をボール候補３３ａとする。確定していない軌跡候補ｋ１４２の終点のボール候補をボール候補３４ｂとし、前の時刻のボール候補をボール候補３４ａとする。
【0122】
軌跡決定部３５０ｅは、ボール候補３２ａとの距離が閾値未満であり、かつ、時刻の差分が閾値未満となるボール候補の終点を有する軌跡候補を選択する。たとえば、ボール候補３２ａとボール候補３３ｂとの距離が閾値未満であり、かつ、時刻の差分が閾値未満である場合に、軌跡決定部３５０ｅは、軌跡候補ｋ１４１を選択する。一方、ボール候補３２ａとボール候補３４ｂとの距離が閾値以上または時刻の差分が閾値以上である場合に、軌跡決定部３５０ｅは、軌跡候補ｋ１４２を選択しない。
【0123】
続いて、軌跡決定部３５０ｅは、確定した軌跡候補ｋ１４３のボール候補３２ａからボール候補３２ｂまでの方向と、選択した軌跡候補ｋ１４１のボール候補３３ａからボール候補３３ｂまでの方向とを比較する。軌跡決定部３５０ｅは、各方向のなす角が閾値未満である場合には、軌跡候補ｋ１４１と、軌跡候補ｋ１４３とを接続した軌跡Ｋ１２０を生成し、この軌跡Ｋ１２０を、ボールの軌跡として、軌跡管理テーブル３４０ｇに登録する。
【0124】
軌跡決定部３５０ｅは、各方向のなす角が閾値以上である場合には、確定した軌跡ｋ１４３を、軌跡管理テーブル３４０ｇに登録する。
【0125】
次に、本実施例３に係る情報処理装置３００の効果について説明する。情報処理装置３００は、ランドマークを利用してボールの軌跡を確定し、確定した軌跡と、軌跡候補とを比較して、確定した軌跡に軌跡候補を接続することで、軌跡を生成する処理を実行する。これにより、ボールが選手に隠れてボール候補が検出されない場合や、ボールが運動定義情報３４０ｅで推定した位置に移動しない場合でも、ボールの軌跡を継続して追跡することができる。また、選手間のパスという単純なボールの運動のみではなく、ラインアウトやシュートなどに応じたボールの軌跡を追従でき、統計情報３４０ｈをより精度よく生成することができる。
【実施例4】
【0126】
次に、本実施例４に係る情報処理装置について説明する。図示を省略するが、本実施例４にかかる情報処理装置は、実施例１と同様にして、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄに接続されているものとする。カメラ１０ａ〜１０ｄに関する説明は、実施例１と同様であるため説明を省略する。
【0127】
図２７は、本実施例４に係る情報処理装置の構成を示す図である。図２７に示すように、この情報処理装置４００は、通信部４１０と、入力部４２０と、表示部４３０と、記憶部４４０と、制御部４５０とを有する。
【0128】
通信部４１０、入力部４２０、表示部４３０に関する説明は、実施例１で説明した、通信部１１０、入力部１２０、表示部１３０に関する説明と同様である。
【0129】
記憶部４４０は、バッファ４４０ａ、変換テーブル４４０ｂ、ボール管理テーブル４４０ｃ、選手管理テーブル４４０ｄ、運動定義情報４４０ｅ、軌跡候補管理テーブル４４０ｆ、軌跡管理テーブル４４０ｇ、統計情報４４０ｈを有する。記憶部４４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
【0130】
バッファ４４０ａ、変換テーブル４４０ｂ、ボール管理テーブル４４０ｃ、選手管理テーブル４４０ｄ、運動定義情報４４０ｅに関する説明は、実施例１で説明した情報１４０ａ〜１４０ｅに関する説明と同様である。また、軌跡候補管理テーブル４４０ｆ、軌跡管理テーブル４４０ｇ、統計情報４４０ｈに関する説明は、実施例１で説明した情報１４０ｆ〜１４０ｈに関する説明と同様である。
【0131】
制御部４５０は、受信部４５０ａと、ボール検出部４５０ｂと、選手検出部４５０ｃと、生成部４５０ｄと、軌跡決定部４５０ｅと、統計情報生成部４５０ｆと、出力部４５０ｇを有する。制御部４５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部４５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【0132】
受信部４５０ａ、ボール検出部４５０ｂ、選手検出部４５０ｃ、生成部４５０ｄに関する説明は、実施例１で説明した、受信部１５０ａ、ボール検出部１５０ｂ、選手検出部１５０ｃ、生成部１５０ｄに関する説明と同様である。また、統計情報生成部４５０ｆ、出力部４５０ｇは、実施例１で説明した、統計情報生成部１５０ｆ、１５０ｇの説明と同様である。
【0133】
軌跡決定部４５０ｅは、軌跡候補管理テーブル４４０ｆに含まれる複数の軌跡候補を評価し、ボールの軌跡を決定する処理部である。たとえば、軌跡決定部４５０ｅは、軌跡候補を追加する処理と、複数の軌跡候補からボール軌跡を決定する処理、ボール軌跡を決定後、複数の軌跡候補を再評価する処理を順に実行する。ここで、軌跡決定部４５０ｅが軌跡候補を追加する処理およびボール軌跡を決定する処理は、実施例１で説明した、軌跡決定部１５０ｅが軌跡候補を追加する処理と同様である。
【0134】
また、軌跡決定部４５０ｅが、複数の軌跡候補からボール軌跡を決定する処理と同様である。ただし、軌跡決定部４５０ｅは、ボール軌跡以外の複数の軌跡候補を、軌跡候補管理テーブル４４０ｆから削除することなく、残しておくものとする。
【0135】
軌跡決定部４５０ｅが、複数の軌跡候補を再評価する処理について説明する。図２８は、本実施例４に係る軌跡決定部の処理を説明するための図である。図２８に示す例では、軌跡候補ｋ１５１，１５２，ｋ１５３が存在する。各選手の移動軌跡を、移動軌跡ｐ１２０，ｐ１２１とする。軌跡Ｋ１２５は、上記の「軌跡候補を追加する処理」と、「複数の軌跡候補からボール軌跡を決定する処理」により決定されたボールの軌跡とする。
【0136】
図２８において、軌跡Ｋ１２５に含まれるボールの各位置を４１ａ，４１ｂ，４１ｃとする。また、ボールが各位置４１ａ，４１ｂ，４１ｃに存在していた時刻を、Ｔｎ−２，Ｔｎ−１，Ｔｎとする。
【0137】
軌跡候補ｋ１５１において、ボール候補は位置４３ａ，４３ｂ，４３ｃの順に移動したものとし、ボール候補が位置４３ａに存在していた時刻をＴｎ１とする。軌跡候補ｋ１５２において、ボール候補は位置４４ａ（４３ａ），４４ｂ，４４ｃ，４４ｄの順に移動したものとし、ボール候補が位置４４ａに存在していた時刻をＴｎ１とする。軌跡候補ｋ１５３において、ボール候補は位置４２ａ，４２ｂ，４２ｃの順に移動したものとし、ボール候補が位置４２ａに存在していた時刻をＴｎ２とする。
【0138】
軌跡決定部４５０ｅは、時刻「Ｔｎ」から「Ｔｎ−ｍ」の間に検出されたボール候補を有する軌跡候補を選択する。ｍの値は予め設定される。たとえば、時刻「Ｔｎ」から「Ｔｎ−ｍ」の間に、時刻Ｔｎ１が含まれ、時刻Ｔｎ２が含まれないとする。この場合には、軌跡決定部４５０ｅは、軌跡候補ｋ１５１，ｋ１５２を選択する。
【0139】
また、軌跡決定部４５０ｅは、時刻「Ｔｎ」から「Ｔｎ−ｍ」の間に検出された移動軌跡を選択する。たとえば、移動軌跡ｐ１２１は、選手の位置５１ａ，５１ｂ，５２ｃを有し、各位置５１ａ，５１ｂ，５２ｃに選手が存在していた時刻が時刻「Ｔｎ」から「Ｔｎ−ｍ」の間であるとすると、軌跡決定部４５０ｅは、移動軌跡ｐ１２１を選択する。
【0140】
軌跡決定部４５０ｅは、選択した移動軌跡ｐ１２１と、軌跡候補ｋ１５１との評価値を算出する。また、選択した移動軌跡ｐ１２１と、軌跡候補ｋ１５２との評価値を算出する。たとえば、移動軌跡の始点５１ａと、軌跡候補の終点との距離が小さいほど、評価値が大きくなるものとする。また、移動軌跡の方向と、軌跡候補の方向とのなす角が小さいほど、評価値が大きくなるものとする。軌跡決定部４５０ｅは、なす角を、実施例２で説明した軌跡決定部２５０ｅと同様にして算出するものとする。
【0141】
軌跡決定部４５０ｅは、各評価値を比較し、評価値が大きい方の移動軌跡と、軌跡候補との組を選択する。図２８に示す例では、移動軌跡ｐ１２１と軌跡候補ｋ１５１との評価値が、移動軌跡ｐ１２１と軌跡候補ｋ１５２との評価値よりも大きいため、移動軌跡ｐ１２１と軌跡候補ｋ１５１との組を選択する。
【0142】
軌跡決定部４５０ｅは、軌跡候補ｋ１５１、移動軌跡ｐ１２１、軌跡Ｋ１２５を接続した軌跡Ｋ１３０を生成し、この軌跡Ｋ１３０を、ボールの軌跡として、軌跡管理テーブル４４０ｇに登録する。
【0143】
次に、本実施例４に係る情報処理装置４００の処理手順の一例について説明する。図２９は、本実施例４に係る情報処理装置の処理手順を示すフローチャートである。図２９に示すように、情報処理装置４００の受信部４５０ａは、カメラ１０から画像フレームを取得し、バッファ４４０ａに格納する（ステップＳ２０１）。
【0144】
情報処理装置４００のボール検出部４５０ｂ（および選手検出部４５０ｃ）は、バッファ４４０ａから前後の画像フレームを取得し、差分画像を生成する（ステップＳ２０２）。ボール検出部４５０ｂは、ボール候補を検出し（ステップＳ２０３ａ）、ボール領域の座標を全体座標系へ統合し（ステップＳ２０４ａ）、ステップＳ２０５に移行する。
【0145】
選手検出部４５０ｃは、選手を検出し（ステップＳ２０３ｂ）、選手の座標を全体座標形へ統合し（ステップＳ２０４ｂ）、ステップＳ２０５に移行する。
【0146】
情報処理装置４００の生成部４５０ｄは、複数の軌跡候補を生成する（ステップＳ２０５）。情報処理装置４００の軌跡決定部４５０ｅは、複数の軌跡候補から、ボールの軌跡を決定する（ステップＳ２０６）。また、軌跡決定部４５０ｅは、決定したボールの軌跡を基にして、軌跡候補を再評価する（ステップＳ２０７）。情報処理装置４００の統計情報生成部４５０ｆは、軌跡管理テーブル４４０ｇを基にして、統計情報４４０ｈを生成する（ステップＳ２０８）。情報処理装置４００の出力部４５０ｇは、各選手の移動軌跡とスタッツ情報とを対応づけて、表示部４３０に出力する（ステップＳ２０９）。
【0147】
次に、本実施例４に係る情報処理装置４００の効果について説明する。情報処理装置４００は、軌跡の始点と、軌跡候補の終点との間に選手の移動軌跡が存在する場合に、軌跡と、移動軌跡と、軌跡候補とを接続した軌跡を生成し、生成した軌跡を、ボールの軌跡として決定する。これにより、選手とボールとの対応が取れない場合や、ボールの軌跡が途切れた場合でも、確定した軌跡を基にして、検出できなかった軌跡を新たに生成することができ、追跡の継続性を高めることができる。
【0148】
次に、上記実施例に示した情報処理装置１００，２００，３００，４００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図３０は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【0149】
図３０に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、ディスプレイ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラム等を読み取る読み取り装置５０４と、有線または無線ネットワークを介して収録機器等との間でデータの授受を行うインタフェース装置５０５とを有する。また、コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０６と、ハードディスク装置５０７とを有する。そして、各装置５０１〜５０７は、バス５０８に接続される。
【0150】
ハードディスク装置５０７は、検出プログラム５０７ａ、生成プログラム５０７ｂ、軌跡決定プログラム５０７ｃ、統計情報生成プログラム５０７ｄを有する。ＣＰＵ５０１は、各プログラム５０７ａ〜５０７ｄを読み出してＲＡＭ５０６に展開する。
【0151】
検出プログラム５０７ａは、検出プロセス５０６ａとして機能する。生成プログラム５０７ｂは、生成プロセス５０６ｂとして機能する。軌跡決定プログラム５０７ｃは、軌跡決定プロセス５０６ｃとして機能する。統計情報生成プログラム５０７ｄは、統計情報生成プロセス５０６ｄとして機能する。
【0152】
検出プロセス５０６ａの処理は、ボール検出部１５０ｂ，２５０ｂ，３５０ｂ，４５０ｂの処理に対応する。生成プロセス５０６ｂの処理は、生成部１５０ｄ，２５０ｄ，３５０ｄ，４５０ｄの処理に対応する。軌跡決定プロセス５０６ｃの処理は、軌跡決定部１５０ｅ，２５０ｅ，３５０ｅ，４５０ｅの処理に対応する。統計情報生成プロセス４０６ｄの処理は、統計情報生成部１５０ｆ，２５０ｆ，３５０ｆ，４５０ｆの処理に対応する。
【0153】
なお、各プログラム５０７ａ〜５０７ｄについては、必ずしも最初からハードディスク装置５０７に記憶させておかなくても良い。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ５００が各プログラム５０７ａ〜５０７ｄを読み出して実行するようにしても良い。
【0154】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【0155】
（付記１）コンピュータに、時系列の複数の画像フレームからボール候補の位置を検出し、
前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加し、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、
前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する
処理を実行させることを特徴とする画像処理プログラム。
【0156】
（付記２）前記ボール候補の位置を追加する処理は、前記第１画像フレームから検出したボール候補の位置と、前記運動定義情報とを基にして、前記第２画像フレームのボール候補の位置を推定し、推定したボール候補の位置を基準とした所定の範囲にボール候補が存在しない場合に、推定したボール候補の位置を追加することを特徴とする付記１に記載の画像処理プログラム。
【0157】
（付記３）前記ボール候補の位置を追加する処理は、推定したボール候補の位置を基準とした所定の範囲に含まれない前記第２画像フレームのボール候補にロスト情報を付与し、前記複数のボールの軌跡候補を評価する処理は、前記軌跡候補の含まれるロスト情報を基にして、前記ボールの軌跡を決定することを特徴とする付記２に記載の画像処理プログラム。
【0158】
（付記４）前記複数のボールの軌跡を決定する処理は、前記複数の軌跡候補について、前記ロスト情報が付与されたボール候補の数を計数し、計数した数が閾値未満となるボールの軌跡候補から、前記ボールの軌跡を決定することを特徴とする付記３に記載の画像処理プログラム。
【0159】
（付記５）前記ボールの軌跡を決定する処理は、複数の軌跡候補を評価して軌跡を決定し、前記補間する処理は、決定された軌跡と、複数の軌跡候補とを比較して、前記軌跡に前記軌跡候補を接続して、新たな軌跡を生成することを特徴とする付記１〜４のいずれか一つに記載の画像処理プログラム。
【0160】
（付記６）前記ボールの軌跡を決定する処理は、前記人物が競技を行うフィールド上のランドマークの位置情報を更に利用して、前記複数の軌跡候補を評価し、ボールの軌跡を決定することを特徴とする付記１〜５のいずれか一つに記載の画像処理プログラム。
【0161】
（付記７）前記ボールの軌跡を決定する処理は、前記軌跡の始点と、前記軌跡候補の終点との間に人物の軌跡が存在する場合に、前記軌跡と、人物の軌跡と、前記軌跡候補とを接続した軌跡を生成し、生成した軌跡を、前記ボールの軌跡として決定することを特徴とする付記１〜６のいずれか一つに記載の画像処理プログラム。
【0162】
（付記８）前記ボールの軌跡と、前記人物の軌跡とを基にして、前記人物がボールをドリブルした距離、ボールをパスした回数を計算する処理を更にコンピュータに実行させることを特徴とする付記１〜７のいずれか一つに記載の画像処理プログラム。
【0163】
（付記９）コンピュータが実行する画像処理方法であって、時系列の複数の画像フレームからボール候補の位置を検出し、
前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補の位置を追加し、
異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成し、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、
前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する
処理を実行することを特徴とする画像処理方法。
【0164】
（付記１０）前記ボール候補の位置を追加する処理は、前記第１画像フレームから検出したボール候補の位置と、前記運動定義情報とを基にして、前記第２画像フレームのボール候補の位置を推定し、推定したボール候補の位置を基準とした所定の範囲にボール候補が存在しない場合に、推定したボール候補の位置を追加することを特徴とする付記９に記載の画像処理方法。
【0165】
（付記１１）前記ボール候補の位置を追加する処理は、推定したボール候補の位置を基準とした所定の範囲に含まれない前記第２画像フレームのボール候補にロスト情報を付与し、前記複数のボールの軌跡候補を評価する処理は、前記軌跡候補の含まれるロスト情報を基にして、前記ボールの軌跡を決定することを特徴とする付記１０に記載の画像処理方法。
【0166】
（付記１２）前記複数のボールの軌跡を決定する処理は、前記複数の軌跡候補について、前記ロスト情報が付与されたボール候補の数を計数し、計数した数が閾値未満となるボールの軌跡候補から、前記ボールの軌跡を決定することを特徴とする付記１１に記載の画像処理方法。
【0167】
（付記１３）前記ボールの軌跡を決定する処理は、複数の軌跡候補を評価して軌跡を決定し、前記補間する処理は、決定された軌跡と、複数の軌跡候補とを比較して、前記軌跡に前記軌跡候補を接続して、新たな軌跡を生成することを特徴とする付記９〜１２のいずれか一つに記載の画像処理方法。
【0168】
（付記１４）前記ボールの軌跡を決定する処理は、前記人物が競技を行うフィールド上のランドマークの位置情報を更に利用して、前記複数の軌跡候補を評価し、ボールの軌跡を決定することを特徴とする付記９〜１３のいずれか一つに記載の画像処理方法。
【0169】
（付記１５）前記ボールの軌跡を決定する処理は、前記軌跡の始点と、前記軌跡候補の終点との間に人物の軌跡が存在する場合に、前記軌跡と、人物の軌跡と、前記軌跡候補とを接続した軌跡を生成し、生成した軌跡を、前記ボールの軌跡として決定することを特徴とする付記９〜１４のいずれか一つに記載の画像処理方法。
【0170】
（付記１６）前記ボールの軌跡と、前記人物の軌跡とを基にして、前記人物がボールをドリブルした距離、ボールをパスした回数を計算する処理を更にコンピュータに実行させることを特徴とする付記９〜１５のいずれか一つに記載の画像処理方法。
【0171】
（付記１７）時系列の複数の画像フレームからボール候補を検出し、前記複数の画像フレームのうち、第１画像フレームから検出したボール候補の位置と、ボールの運動の特徴を定義した運動定義情報とを基にして、前記第１画像フレームの後の第２画像フレームに、ボール候補を追加するボール検出部と、異なる時刻の画像フレームから検出された複数のボール候補の位置をそれぞれ組み合わせることで、複数の軌跡候補を生成する生成部と、
前記複数の軌跡候補を評価して、ボールの軌跡を決定し、前記ボールの軌跡が途切れた場合に、途切れの始点と終点との間を、前記始点から前記終点まで移動する人物の軌跡で補間する軌跡決定部と
を有することを特徴とする情報処理装置。
【0172】
（付記１８）前記ボール検出部は、前記第１画像フレームから検出したボール候補の位置と、前記運動定義情報とを基にして、前記第２画像フレームのボール候補の位置を推定し、推定したボール候補の位置を基準とした所定の範囲にボール候補が存在しない場合に、推定したボール候補の位置を追加することを特徴とする付記１７に記載の情報処理装置。
【0173】
（付記１９）前記ボール検出部は、推定したボール候補の位置を基準とした所定の範囲に含まれない前記第２画像フレームのボール候補にロスト情報を付与し、前記軌跡決定部は、前記軌跡候補の含まれるロスト情報を基にして、前記ボールの軌跡を決定することを特徴とする付記１８に記載の情報処理装置。
【0174】
（付記２０）前記軌跡決定部は、前記複数の軌跡候補について、前記ロスト情報が付与されたボール候補の数を計数し、計数した数が閾値未満となるボールの軌跡候補から、前記ボールの軌跡を決定することを特徴とする付記１９に記載の情報処理装置。
【0175】
（付記２１）前記軌跡決定部は、複数の軌跡候補を評価して軌跡を決定し、前記補間する処理は、決定された軌跡と、複数の軌跡候補とを比較して、前記軌跡に前記軌跡候補を接続して、新たな軌跡を生成することを特徴とする付記１７〜２０のいずれか一つに記載の情報処理装置。
【0176】
（付記２２）前記軌跡決定部は、前記人物が競技を行うフィールド上のランドマークの位置情報を更に利用して、前記複数の軌跡候補を評価し、ボールの軌跡を決定することを特徴とする付記１７〜２１のいずれか一つに記載の情報処理装置。
【0177】
（付記２３）前記軌跡決定部は、前記軌跡の始点と、前記軌跡候補の終点との間に人物の軌跡が存在する場合に、前記軌跡と、人物の軌跡と、前記軌跡候補とを接続した軌跡を生成し、生成した軌跡を、前記ボールの軌跡として決定することを特徴とする付記１７〜２２のいずれか一つに記載の情報処理装置。
【0178】
（付記２４）前記ボールの軌跡と、前記人物の軌跡とを基にして、前記人物がボールをドリブルした距離、ボールをパスした回数を計算する統計情報生成部を更に有することを特徴とする付記１７〜２３のいずれか一つに記載の情報処理装置。
【符号の説明】
【0179】
１００，２００，３００，４００ 情報処理装置１５０，２５０，３５０，４５０ 制御部
１５０ａ，２５０ａ，３５０ａ，４５０ａ 受信部
１５０ｂ，２５０ｂ，３５０ｂ，４５０ｂ ボール検出部
１５０ｃ，２５０ｃ，３５０ｃ，４５０ｃ 選手検出部
１５０ｄ，２５０ｄ，３５０ｄ，４５０ｄ 生成部
１５０ｅ，２５０ｅ，３５０ｅ，４５０ｅ 軌跡決定部
１５０ｆ，２５０ｆ，３５０ｆ，４５０ｆ 統計情報生成部
１５０ｇ，２５０ｇ，３５０ｇ，４５０ｇ 出力部