特開2022-66917 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 田中　成典の特許一覧 ▶ 姜　文渊の特許一覧 ▶ 中村　健二の特許一覧 ▶ 山本　雄平の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ　Ｓｔｙｌｅ株式会社の特許一覧

特開2022-66917オクルージョン対応トラッキング装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6a
6b
7
8
9
10
11
12
13a
13b
14
15
16
17
18
19
20
21
22
23
24
25
26

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022066917

(43)【公開日】2022-05-02

(54)【発明の名称】オクルージョン対応トラッキング装置

(51)【国際特許分類】

G06T 7/246 20170101AFI20220422BHJP

【ＦＩ】

G06T7/246

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020175524

(22)【出願日】2020-10-19

(71)【出願人】

【識別番号】500063228

【氏名又は名称】田中成典

(71)【出願人】

【識別番号】517305894

【氏名又は名称】姜文渊

(71)【出願人】

【識別番号】502235692

【氏名又は名称】中村健二

(71)【出願人】

【識別番号】517305883

【氏名又は名称】山本雄平

(71)【出願人】

【識別番号】519113745

【氏名又は名称】ＩｎｔｅｌｌｉｇｅｎｔＳｔｙｌｅ株式会社

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下正

(72)【発明者】

【氏名】田中成典

(72)【発明者】

【氏名】姜文渊

(72)【発明者】

【氏名】中村健二

(72)【発明者】

【氏名】山本雄平

(72)【発明者】

【氏名】田中ちひろ

(72)【発明者】

【氏名】肖智▲威▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096FA16

5L096FA60

5L096FA76

5L096GA51

5L096HA04

5L096HA05

(57)【要約】（修正有）

【課題】オクルージョンが発生しても、スポーツ選手などの動体を正確にトラッキングできるトラッキング装置を提供する。
【解決手段】トラッキング装置は、移動体が撮像された動画データ２の各フレームから移動体を抽出し、移動体の動きをトラッキングする追跡手段１０と、各フレームにおいて移動体を含む判定枠を設定する判定枠設定手段４と、現在のフレームの判定枠が前のフレームの複数の判定枠に重なっているかどうかに基づいて、オクルージョンが発生したと判断するオクルージョン発生判断手段６と、オクルージョン解除を受けて、特徴点に基づいて、オクルージョン発生直前の移動体と、オクルージョン解除直後の移動体とを対応づける対応手段１２と、を備える。解析が難しいオクルージョンの生じている間において、信頼度の低い解析をせずに、選手のオクルージョン前後の位置を繋げた軌跡を得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動物を撮像した動画像における移動物の動きを追跡するオクルージョン対応トラッキング装置であって、
移動物を撮像した動画像の各フレーム画像を取得し、各フレームにおける移動物を示す移動物枠を設定し、移動物枠内の移動物の特徴点に基づいて各移動物枠を特定し、移動物枠の移動を追跡することで所定フレームごとの移動物のトラッキングを行う追跡手段と、
前記各フレームにおける移動物を含む判定枠を設定する判定枠設定手段と、
前記判定枠が、前フレームの移動物枠の複数と重なっており、当該重なりがいずれの移動物枠とも所定割合以上である場合に、前記複数の移動物枠に対応する複数の移動物のオクルージョンが生じていると判断するオクルージョン発生判断手段と、
オクルージョンが生じていると判断された判定枠に対し、次のフレームにおいて複数の判定枠が重なっており、当該重なりがいずれの移動物枠とも所定割合以上である場合に、前記複数の移動物枠に対応する複数の移動物のオクルージョンが解除されたと判断するオクルージョン解除判断手段と、
前記オクルージョン発生直前のフレームにおける移動物の特徴点と、前記オクルージョン解除の際のフレームにおける移動物の特徴点とに基づいて、前記所定フレームをまたがって移動物を対応づける対応手段と、
を備えたオクルージョン対応トラッキング装置。

【請求項2】

移動物を撮像した動画像における移動物の動きを追跡するトラッキング装置を、コンピュータによって実現するためのオクルージョン対応トラッキング・プログラムであって、コンピュータを、
移動物を撮像した動画像の各フレーム画像を取得し、各フレームにおける移動物を示す移動物枠を設定し、移動物枠内の移動物の特徴点に基づいて各移動物枠を特定し、移動物枠の移動を追跡することで所定フレームごとの移動物のトラッキングを行う追跡手段と、
前記各フレームにおける移動物を含む判定枠を設定する判定枠設定手段と、
前記判定枠が、前フレームの移動物枠の複数と重なっており、当該重なりがいずれの移動物枠とも所定割合以上である場合に、前記複数の移動物枠に対応する複数の移動物のオクルージョンが生じていると判断するオクルージョン発生判断手段と、
オクルージョンが生じていると判断された判定枠に対し、次のフレームにおいて複数の判定枠が重なっており、当該重なりがいずれの移動物枠とも所定割合以上である場合に、前記複数の移動物枠に対応する複数の移動物のオクルージョンが解除されたと判断するオクルージョン解除判断手段と、
前記オクルージョン発生直前のフレームにおける移動物の特徴点と、前記オクルージョン解除の際のフレームにおける移動物の特徴点とに基づいて、前記所定フレームをまたがって移動物を対応づける対応手段として機能させるためのオクルージョン対応トラッキング・プログラム。

【請求項3】

請求項１の装置または請求項２のプログラムにおいて、
前記オクルージョン発生判断手段は、オクルージョンが発生するとオクルージョン発生のフラグを立て、オクルージョンが生じた複数の移動物の識別符号を記録し、
前記オクルージョン解除判断手段は、オクルージョンが解除するとオクルージョン発生のフラグを降ろし、オクルージョンが生じていた複数の移動物の識別符号を削除することを特徴とする装置またはプログラム。

【請求項4】

請求項１～３のいずれかの装置またはプログラムにおいて、
前記判定枠は、背景を削除した画像における各クラスターを外包する矩形枠であることを特徴とする装置またはプログラム。

【請求項5】

請求項１～４のいずれかの装置またはプログラムにおいて、
前記移動物枠を、前記判定枠として用いることを特徴とする装置またはプログラム。

【請求項6】

請求項１～５のいずれかの装置またはプログラムにおいて、
前記追跡手段は、
移動物を撮像した動画像の対象フレーム画像を取得し、当該対象フレームより前の参照フレームの移動物枠に基づいて設定された探索枠において、移動物の特徴点を抽出する対象特徴点抽出手段と、
前記参照フレームの前記移動物枠内における特徴点を取得する参照特徴点取得手段と、
前記参照特徴点の周囲画素と、前記対象特徴点の周囲画素に基づいて、各参照特徴点と各対象特徴点を対応づける対応形成手段と、
参照フレームにおける特徴点を開始点とし、対象フレームにおける対応する特徴点を終了点とする移動線を、特徴点ごとに算出する移動線算出手段と、
前記移動線に基づいて、移動体の移動量を算出する移動算出手段と、
前記参照フレームの移動物枠を基準とし、前記算出された移動量に基づいて、前記対象フレームの移動物枠を設定する移動物枠設定手段と、
を備えることを特徴とする装置またはプログラム。

【請求項7】

請求項６の装置またはプログラムにおいて、
前記移動算出手段は、前記各移動線の開始点を同一点としたとき、終了点の位置が所定範囲から外れる移動線を除き、終了点の位置が所定範囲内にある移動線に基づいて、移動体の移動量を算出することを特徴とする装置またはプログラム。

【請求項8】

請求項６または７の装置またはプログラムにおいて、
前記移動算出手段は、前記各移動線の開始点を同一点としたときの各終了点の重心位置を中心として所定半径内に終了点が入る移動線に基づいて、移動体の移動量を算出することを特徴とする装置またはプログラム。

【請求項9】

請求項８の装置またはプログラムにおいて、
前記移動物枠設定手段は、前記参照フレームの移動物枠を、前記算出された移動量にしたがって動かした位置に前記対象フレームの移動物枠を設定することを特徴とする装置またはプログラム。

【請求項10】

請求項６～９のいずれかの装置またはプログラムにおいて、
前記移動物枠設定手段は、設定された移動物枠の画面上の位置に基づいて、移動物枠の大きさを修正することを特徴とする装置またはプログラム。

【請求項11】

請求項６～１０のいずれかの装置またはプログラムにおいて、
前記移動物枠設定手段は、前記算出した移動量に基づいて、複数の候補移動物枠を生成し、これら候補移動物枠のうち、最も多くの特徴点を含むものを移動物枠として設定することを特徴とする装置またはプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、動体をトラッキングするためのトラッキング装置に関し、特にオクルージョンが生じた場合であっても動体のトラッキングを継続する技術に関するものである。

【背景技術】

【0002】

被写体をカメラなどで撮像し、トラッキングする装置が用いられている。たとえば、特許文献１のように、各フレームにおいて被写体の特徴点を抽出し、当該特徴点によって被写体を追跡する装置が示されている。

【0003】

このようなトラッキング装置においては、被写体が他の被写体などに重なってしまい（すなわちオクルージョンが生じて）、トラッキングがうまくいかないという問題があった。

【0004】

特許文献１では、次のフレームにおける特徴点の位置を予測し、当該予測した特徴点の位置と実際に抽出された特徴点の位置が、所定距離以上離れていればオクルージョンが発生したものと判断している。このようなオクルージョンが発生した場合、特許文献１では、予測した特徴点を用いてオクルージョンが生じた時であっても、被写体を追跡できるようにしている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６－１７３７９５

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記のような従来技術では、次のような問題があった。オクルージョンが生じると、予測した特徴点を用いてトラッキングをするようにしているが、予測が正確であるとは限らず、やはりトラッキングがうまくいかない可能性があった。

【0007】

この発明は、上記のような問題点を解決して、オクルージョンが生じても全体として適切にトラッキングを行うことのできる装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

この発明の独立して適用可能な特徴を以下に列挙する。

【0009】

(1)(2)この発明に係る移動物を撮像した動画像における移動物の動きを追跡するオクルージョン対応トラッキング装置においては、移動物を撮像した動画像の各フレーム画像を取得し、各フレームにおける移動物を示す移動物枠を設定し、移動物枠内の移動物の特徴点に基づいて各移動物枠を特定し、移動物枠の移動を追跡することで所定フレームごとの移動物のトラッキングを行う追跡手段と、前記各フレームにおける移動物を含む判定枠を設定する判定枠設定手段と、前記判定枠が、前フレームの移動物枠の複数と重なっており、当該重なりがいずれの移動物枠とも所定割合以上である場合に、前記複数の移動物枠に対応する複数の移動物のオクルージョンが生じていると判断するオクルージョン発生判断手段と、オクルージョンが生じていると判断された判定枠に対し、次のフレームにおいて複数の判定枠が重なっており、当該重なりがいずれの移動物枠とも所定割合以上である場合に、前記複数の移動物枠に対応する複数の移動物のオクルージョンが解除されたと判断するオクルージョン解除判断手段と、前記オクルージョン発生直前のフレームにおける移動物の特徴点と、前記オクルージョン解除の際のフレームにおける移動物の特徴点とに基づいて、前記所定フレームをまたがって移動物を対応づける対応手段とを備えている。

【0010】

したがって、オクルージョンが生じた期間について、その前後のフレームを用いてトラッキングすることができる。

【0011】

(3)この発明に係る装置においては、オクルージョン発生判断手段は、オクルージョンが発生するとオクルージョン発生のフラグを立て、オクルージョンが生じた複数の移動物の識別符号を記録し、オクルージョン解除判断手段は、オクルージョンが解除するとオクルージョン発生のフラグを降ろし、オクルージョンが生じていた複数の移動物の識別符号を削除することを特徴としている。

【0012】

したがって、いずれの移動物においてオクルージョンが生じているかを容易に判断することができる。

【0013】

(4)この発明に係る装置においては、判定枠は、背景を削除した画像における各クラスターを外包する矩形枠であることを特徴としている。

【0014】

したがって、判定枠の生成が容易である。

【0015】

(5)この発明に係る装置においては、移動物枠を、前記判定枠として用いることを特徴としている。

【0016】

したがって、判定枠を別途設定する必要がない。

【0017】

(6)この発明に係る装置においては、追跡手段は、移動物を撮像した動画像の対象フレーム画像を取得し、当該対象フレームより前の参照フレームの移動物枠に基づいて設定された探索枠において、移動物の特徴点を抽出する対象特徴点抽出手段と、前記参照フレームの前記移動物枠内における特徴点を取得する参照特徴点取得手段と、前記参照特徴点の周囲画素と、前記対象特徴点の周囲画素に基づいて、各参照特徴点と各対象特徴点を対応づける対応形成手段と、参照フレームにおける特徴点を開始点とし、対象フレームにおける対応する特徴点を終了点とする移動線を、特徴点ごとに算出する移動線算出手段と、前記移動線に基づいて、移動体の移動量を算出する移動算出手段と、前記参照フレームの移動物枠を基準とし、前記算出された移動量に基づいて、前記対象フレームの移動物枠を設定する移動物枠設定手段とを備えている。

【0018】

移動物枠をフレームごとに移動させて追跡するようにしているので、確実に移動物を追跡することができる。

【0019】

(7)この発明に係る装置においては、移動算出手段は、前記各移動線の開始点を同一点としたとき、終了点の位置が所定範囲から外れる移動線を除き、終了点の位置が所定範囲内にある移動線に基づいて、移動体の移動量を算出することを特徴としている。

【0020】

したがって、移動物の姿勢変化などにより画像上の形状が変化しても、精度よくトラッキングを行うことができる。

【0021】

(8)この発明に係る装置においては、移動算出手段は、前記各移動線の開始点を同一点としたときの各終了点の重心位置を中心として所定半径内に終了点が入る移動線に基づいて、移動体の移動量を算出することを特徴としている。

【0022】

したがって、移動体の姿勢などが変化しても、精度よくトラッキングを行うことができる。また、その処理が容易である。

【0023】

(9)この発明に係る装置においては、移動物枠設定手段は、前記参照フレームの移動物枠を、前記算出された移動量にしたがって動かした位置に前記対象フレームの移動物枠を設定することを特徴としている。

【0024】

したがって、正確にトラッキングを行うことができる。

【0025】

(10)この発明に係る装置においては、移動物枠設定手段は、設定された移動物枠の画面上の位置に基づいて、移動物枠の大きさを修正することを特徴としている。

【0026】

したがって、カメラからの距離に応じた撮像画像の大きさに対応して移動物枠を設定することができる。

【0027】

(11)この発明に係る装置においては、移動物枠設定手段は、前記算出した移動量に基づいて、複数の候補移動物枠を生成し、これら候補移動物枠のうち、最も多くの特徴点を含むものを移動物枠として設定することを特徴としている。

【0028】

したがって、より正確に移動物枠を設定して、トラッキングを行うことができる。

【0029】

この発明において、「追跡手段」は、実施形態においては、ステップＳ２２がこれに対応する。

【0030】

「オクルージョン発生判断手段」は、実施形態においては、ステップＳ１０、Ｓ１１がこれに対応する。

【0031】

「オクルージョン解除判断手段」は、実施形態においては、ステップＳ１４、Ｓ１５がこれに対応する。

【0032】

「対応手段」は、実施形態においては、ステップＳ２３がこれに対応する。

【0033】

「参照特徴点取得手段」は、実施形態においては、ステップＳ３３がこれに対応する。

【0034】

「対象特徴点抽出手段」は、実施形態においては、ステップＳ３２がこれに対応する。

【0035】

「対応形成手段」は、実施形態においては、ステップＳ３４がこれに対応する。

【0036】

「移動線算出手段」は、実施形態においては、ステップＳ３５がこれに対応する。

【0037】

「移動物枠設定手段」は、実施形態においては、ステップＳ３８がこれに対応する。

【0038】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム、オペレーティングシステムと協働して機能を発揮するプログラム等を含む概念である。

【図面の簡単な説明】

【0039】

【図1】一実施形態によるオクルージョン対応トラッキング装置の機能構成である。

【図2】トラッキング装置のハードウエア構成である。

【図3】トラッキング・プログラムのフローチャートである。

【図4】トラッキング・プログラムのフローチャートである。

【図5】トラッキング・プログラムのフローチャートである。

【図6a】撮像画像の例である。

【図6b】背景を取り除いた撮像画像の例である。

【図7】二値画像において判定枠が設定された状態を示す図である。

【図8】図６ｂの画像において、人物枠６０ａ、６０ｂを設定した状態を示す図である。

【図9】オクルージョンが生じた画像の例である。

【図10】判定枠によるオクルージョンの発生を判断する処理を示すための図である。

【図11】判定枠によるオクルージョンの解除を判断する処理を示すための図である。

【図12】オクルージョン期間を含む場合のトラッキング例である。

【図13a】トラッキングの機能構成である。

【図13b】トラッキングのフローチャートである。

【図14】対象フレームに設定された探索枠６１ｂを示す図である。

【図15】選手の画像に対して設定された特徴点Ｐ1、Ｐ2・・・を示す図である。

【図16】BRISK特徴量の算出方法を示す図である。

【図17】参照フレームの特徴点と、対象フレームの特徴点を示す図である。

【図18】移動線の選択処理を説明するための図である。

【図19】選択された移動線と、平均移動線を示す図である。

【図20】対象フレームに設定された選手枠６２ｂを示す図である。

【図21】参照フレームの選手枠と、対象フレームの選手枠を示す図である。

【図22】３人の選手についてオクルージョンが生じた場合のトラッキング例を示す図である。

【図23】３人の選手のうち、１人の選手のみがオクルージョンから外れた場合のトラッキング例である。

【図24】他の実施形態によるトラッキングの機能構成である。

【図25】トラッキングプログラムのフローチャートである。

【図26】人物枠の選択処理を示す図である。

【発明を実施するための形態】

【0040】

１．第１の実施形態
1.1機能構成
図１は、この発明の一実施形態によるトラッキング装置の機能構成を示す図である。

【0041】

追跡手段１０は、移動体が撮像された動画データ２の各フレームから移動体を抽出し、移動体の動きをトラッキングする。判定枠設定手段４は、各フレームにおいて移動体を含む判定枠を設定する。この実施形態では、背景を取り除いた画像における一塊の画素（クラスター）を外包する矩形を、判定枠として設定するようにしている。

【0042】

各移動体の判定枠が互いに重なっていなければ、移動体同士のオクルージョンは生じていないが、これが重なるとオクルージョンが生じている可能性がある。オクルージョン発生判断手段６は、現在のフレームの判定枠（現判定枠）が前のフレームの複数の判定枠（前判定枠）に重なっている場合であって、その複数の前判定枠のいずれもが、その所定割合以上、現判定枠に重なっている場合には、オクルージョンが発生したと判断する。

【0043】

オクルージョン解除判断手段８は、オクルージョンが生じた後の現在のフレームの複数の判定枠（現判定枠）が、前のフレームの判定枠（前判定枠）に重なっている場合であって、その複数の現判定枠のいずれもが、その所定割合以上、前判定枠に重なっている場合には、オクルージョンが解除したと判断する。

【0044】

上記のオクルージョンが生じている間は、追跡手段１０は、各フレームから移動体を抽出できない。対応手段１２は、オクルージョン解除を受けて、特徴点に基づいて、オクルージョン発生直前の移動体と、オクルージョン解除直後の移動体とを対応づける。したがって、オクルージョンが生じている間の移動体の詳細なトラッキングはできないが、オクルージョン前後で同一選手を判定し、オクルージョン前後の同一選手の位置を繋げた軌跡を得ることができる。

【0045】

このようにして、全体としてのトラッキングの精度を高めることができる。

【0046】

1.2ハードウエア構成
図２に、トラッキング装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、通信回路３６、ＳＳＤ３８、ＤＶＤ－ＲＯＭドライブ４０、入出力インターフェイス４２、マウス／キーボード４４が接続されている。通信回路３６は、インターネットに接続するための回路である。

【0047】

ＳＳＤ３８には、オペレーティングシステム５０、トラッキングプログラム５２、動画データ５４が記録される。トラッキングプログラム５２は、オペレーティングシステム５０と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ５６に記録されていたものを、ＤＶＤ－ＲＯＭドライブ４０を介して、ＳＳＤ３８にインストールしたものである。

【0048】

ＳＳＤ３８には、解析対象である動画データ５４も記録される。この動画データ５４は、カメラ（図示せず）によって撮像されて可搬性記録媒体５８に記録されたものを、入出力インターフェイス４２を介して、ＳＳＤ３８に取り込んだものである。なお、インターネットなどを介して、カメラから直接取り込むようにしてもよい。

【0049】

1.3トラッキング処理
1.3.1処理の概要とオクルージョン判定処理
図３～図５に、トラッキングプログラム５２のフローチャートを示す。ＣＰＵ３０は、動画データ５４（カラー画像または白黒画像を用いることができる）の開始フレームをＳＳＤ３８から取得する。なお、ここでは、サッカーグラウンド全体を、固定カメラによって撮像した動画データ５４を例として説明する。

【0050】

ＣＰＵ３０は、動画データから背景を削除し、選手のみの画像とする（ステップＳ１）。図６ａが撮像画像であり、図６ｂが背景を削除した画像である。動画データに対して、背景差分法にて背景を取り除くことができる。なお、背景画像は、選手のいない状態であらかじめ撮像しておいてもよいが、動画の全フレームを解析して背景画像を生成するようにしてもよい。

【0051】

次に、ＣＰＵ３０は、選手のみとした動画データの開始フレームを取得する（ステップＳ２）。開始フレームは、必ずしも先頭フレームである必要はなく、個々の選手が判別しやすい適切なフレーム（オクルージョンのないフレーム）を開始フレームとすればよい。この実施形態では、操作者が動画データを再生し、ディスプレイ３４にて確認しながら、開始フレームを選択するようにしている。

【0052】

ＣＰＵ３０は、図６ｂの背景差分による選手の画像を２値化する。これにより、選手の部分は「黒」、背景は「白」の画像を得ることができる。ＣＰＵ３０は、この２値化した画像に基づいて、図７に示すように、当該開始フレームにおける選手（黒画像の塊）を囲うように判定枠を設定する（ステップＳ３）。この際、ＣＰＵ３０は、各判定枠にＩＤ（たとえば連番による番号）を付し、対応づけて記録する。このＩＤは、選手ＩＤとして用いる。

【0053】

この実施形態では、判定枠は、選手を外包するように設定される。すなわち、当該選手を示す画素のうち最も小さいＸ座標、Ｙ座標による点Ａと、最も大きいＸ座標、Ｙ座標による点Ｂによって定義される矩形によって設定する。なお、所定の画素数をもたない塊については（画像ノイズ）、選手ではないものとして判定枠の設定は行わない。図７に示すように、この実施形態では選手の影も含めて判定枠が設定される。

【0054】

この実施形態では、判定枠をＣＰＵ３０によって自動設定するようにしているが、開始フレームにおける設定は操作者がマウス４４を操作して設定するようにしてもよい。また、ＣＰＵ３０が自動設定した判定枠を、操作者が修正するようにしてもよい。

【0055】

次に、ＣＰＵ３０は、開始フレームをディスプレイ３４に表示する（二値化されていない画像）。図６ｂに、開始フレームの例を示す。操作者はディスプレイ３４に表示された開始フレームの画像に対し、マウス４４を操作して、各選手に対し長方形の人物枠を設定する（ステップＳ４）。図８に、競技中のすべての選手に対して人物枠６０ａ、６０ｂ・・・を設定した状態を示す。この実施形態では、影を除いて人物枠を設定するようにしている。各人物枠は、先に設定した判定枠と対応付けられ、ＩＤ（選手ＩＤ）も対応づけて記録される。

【0056】

操作者は、マウス４４を操作して人物枠の大きさを変え、概ね、選手を外包するように設定する。なお、この実施形態では、人物枠の大きさは変えられるが、縦横比は固定（たとえば、縦２：横１）にしている。

【0057】

次に、ＣＰＵ３０は、人物枠中の選手の画像について、画像としての特徴点を抽出する（ステップＳ４）。抽出した特徴点は座標によってその位置が特定される。さらに、当該特徴点の特徴量を算出する（ステップＳ４）。特徴点の特徴量は、当該特徴点の周囲の画素の値によって算出される。なお、特徴点の抽出と、特徴量の算出は、後に詳述する。

【0058】

続いて、ＣＰＵ３０は、開始フレームを参照フレームとして、上記の判定枠、人物枠、特徴点などとともにＳＳＤ３８に記録する（ステップＳ５）。

【0059】

ＣＰＵ３０は、人物枠を設定してトラッキングを行う前に、まず、オクルージョンが発生していないかどうかを判断する（ステップＳ６～Ｓ１８）。この処理については後述するとして、今、オクルージョンが生じていないものとして説明を進める。

【0060】

ＣＰＵ３０は、ステップＳ２３において、参照フレームの人物枠に含まれる特徴点と、対象フレーム中の特徴点を対応付け、対象フレームにおける人物枠を設定する（ステップＳ２３）。この対応づけは、特徴点の特徴量に基づいて行う。既に、参照フレームにおける人物枠は設定されているので、対象フレームにおける人物枠を設定することで、選手の移動を追跡することができる。

【0061】

上記の処理を参照フレーム中のすべての人物枠について行い（ステップＳ２１、Ｓ２５）、各選手の移動をトラッキングする。

【0062】

以上のようにして、対象フレーム中に全ての選手の人物枠を設定すると、ＣＰＵ３０は、対象フレームを新たな参照フレームとする（ステップ２６）。さらに、次のフレームを対象フレームとして（ステップＳ７）、上記の処理を繰り返す。このようにして、フレームごとに人物枠を設定し、選手の位置のトラッキングを行うことができる。

【0063】

ＣＰＵ３０は、この処理を全てのフレームについて繰り返し、人物枠によって選手のトラッキングを行う。たとえば、各フレームの人物枠の所定座標（重心座標や底辺の中心座標など）の動きを、選手ＩＤとともに順次記録し、各選手をトラッキングすることができる。

【0064】

次に、オクルージョンが発生した場合の処理について説明する。ＣＰＵ３０は、ステップＳ２１～Ｓ２４の処理を行う前に、当該対象フレームにおいてオクルージョンが生じているかどうかを判断するようにしている（ステップＳ９～Ｓ１８）。

【0065】

ＣＰＵ３０は、対象フレームについて、ステップＳ３と同じようにして判定枠を設定する（ステップＳ８）。オクルージョンが生じると、図９に示すように、２人の選手が重なり、判定枠が２選手について一つとなる。したがって、ＣＰＵ３０は、参照フレームにおける複数の判定枠が、一つの判定枠になったことを検出してオクルージョンが発生したことを判定する。以下詳しく説明する。

【0066】

ＣＰＵ３０は、対象フレームの判定枠と、参照フレームの判定枠を対比し、対象フレームの判定枠に、参照フレームの判定枠が複数重なっているかどうかを判断する（ステップＳ１０）。

【0067】

たとえば、図１０Ａに示すように、対象フレームの判定枠６３が、参照フレームの判定枠６１ａ、６１ｂと重なる場合には、判定枠６１ａ、６１ｂの選手にオクルージョンが生じたと判断することができる。

【0068】

ただし、図１０Ｂに示すように、対象フレームの判定枠６３が、参照フレームの判定枠６１ｂの移動したものである場合にも、位置関係によっては、対象フレームの判定枠６３に、参照フレームの判定枠６１ａが一部重なる可能性がある。これは、たまたま、前の位置に重なっただけであり、オクルージョンが生じているわけではない。

【0069】

この実施形態では、上記を区別して、正しくオクルージョンを判断するために、参照フレームの判定枠がともに所定割合（たとえば６０％）以上の面積で重なっている場合にのみ、オクルージョンが生じたと判断するようにしている（ステップＳ１１）。

【0070】

図１０Ａの場合であれば、参照フレームの判定枠６１ａの６０％以上の面積において、対象フレームの判定枠６３に重なっており、参照フレームの判定枠６１ｂの６０％以上の面積において、対象フレームの判定枠６３に重なっている。したがって、ＣＰＵ３０は、オクルージョンが発生したと判断する。

【0071】

一方、図１０Ｂの場合であれば、参照フレームの判定枠６１ｂの６０％以上の面積において、対象フレームの判定枠６３に重なっているものの、参照フレームの判定枠６１ａの６０％未満の面積しか、対象フレームの判定枠６３に重なっていない。したがって、ＣＰＵ３０は、オクルージョンは発生していないと判断する。

【0072】

ＣＰＵ３０は、オクルージョンが発生していると判断すると、対象フレームの判定枠６３に対応づけて、オクルージョンフラグを立てる（ステップＳ１２）。さらに、参照フレームの判定枠６１ａ、６１ｂに含まれる選手ＩＤを記録する（ステップＳ１３）。判定枠は、（オクルージョンがなければ）人物枠と１対１に対応する。したがって、人物枠に対応づけられた選手ＩＤを取得することで、上記処理を行うことができる。以上のようにして、オクルージョンが生じた判定枠６３に対し、オクルージョンが生じた選手ＩＤを対応づけて記録することができる。

【0073】

以上の処理は、対象フレーム中の全ての判定枠に対して行われる（ステップＳ９）。

【0074】

オクルージョンが生じた選手（人物）については、ＣＰＵ３０は、一時的にトラッキングを行わない（ステップＳ２２）。すなわち、オクルージョンが生じている間、対象フレームに当該選手(人物)の人物枠の設定をしない。

【0075】

ＣＰＵ３０は、上記のようにステップＳ１０、Ｓ１１において、判定枠に基づき、オクルージョンが生じたかどうかを判断している。さらに、ＣＰＵ３０は、一旦生じたオクルージョンが解除されたかどうかの判断も行っている。この実施形態では、オクルージョンが発生したことを検知すると、当該オクルージョンが解除したことを検知するまでのフレームにおいて、オクルージョンが継続しているものと判断するようにしている。

【0076】

ＣＰＵ３０は、オクルージョンが生じている判定枠について、以下の処理を行う。対象フレームの判定枠と、参照フレームの判定枠を対比し、参照フレームの判定枠に、対象フレームの判定枠が複数重なっているかどうかを判断する（ステップＳ１４）。

【0077】

たとえば、図１１Ａに示すように、参照フレームの判定枠６３が、対象フレームの判定枠６５ａ、６５ｂと重なる場合には、判定枠６５ａ、６５ｂの選手に生じていたオクルージョンが解除されたと判断することができる。

【0078】

ただし、図１１Ｂに示すように、参照フレームの判定枠６３がオクルージョン状態のまま、対象フレームの判定枠６５ｂに移動したものである場合にも、位置関係によっては、参照フレームの判定枠６３に、対象フレームの他の判定枠６５ａが一部重なる可能性がある。これは、たまたま、重なっただけであり、オクルージョンが解除されたわけではない。

【0079】

この実施形態では、上記を区別して、正しくオクルージョンを判断するために、参照フレームの判定枠がともに所定割合（たとえば６０％）以上の面積で重なっている場合にのみ、オクルージョンが解除されたと判断するようにしている（ステップＳ１５）。

【0080】

図１１Ａの場合であれば、対象フレームの判定枠６５ａの６０％以上の面積において、参照フレームの判定枠６３に重なっており、対象フレームの判定枠６５ｂの６０％以上の面積において、参照フレームの判定枠６３に重なっている。したがって、ＣＰＵ３０は、オクルージョンが解除したものと判断する。

【0081】

一方、図１１Ｂの場合であれば、対象フレームの判定枠６５ｂの６０％以上の面積において、参照フレームの判定枠６３に重なっているものの、対象フレームの判定枠６５ａの６０％未満の面積しか、参照フレームの判定枠６３に重なっていない。したがって、ＣＰＵ３０は、オクルージョンは解除されていないと判断する。

【0082】

ＣＰＵ３０は、オクルージョンが解除されたと判断すると、参照フレームの判定枠６３に対応づけられていた、オクルージョンフラグを降ろす（ステップＳ１６）。さらに、オクルージョンが生じているものとして記録されていた選手ＩＤを削除する（ステップＳ１７）。

【0083】

以上の処理は、対象フレーム中の全ての判定枠（ただし、ステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７は、オクルージョンが生じている判定枠のみ）に対して行われる（ステップＳ９）。なお、オクルージョン解除が判定された選手については、オクルージョン直前のフレームの人物枠から、現在の対象フレームの人物枠へのトラッキングを行う（ステップＳ２４）。この対応付けには、人物枠内の特徴点を用いる。

【0084】

図１２Ｂを用いて、この対応付けのための処理を説明する。選手Ａと選手Ｂのトラッキングが行われており、選手Ａの人物枠Ａ１～Ａ３０、選手Ｂの人物枠Ｂ１～Ｂ３０としてトラッキングされている。選手Ａは、人物枠Ａ１、Ａ２・・・の順でトラッキングされており、人物枠Ａ３０の直後に選手Ｂとのオクルージョンが生じ、人物枠Ｆ１にてオクルージョンが解除されている。選手Ｂは、人物枠Ｂ１、Ｂ２・・・の順でトラッキングされており、人物枠Ｂ３０の直後に選手Ａとのオクルージョンが生じ、人物枠Ｆ２にてオクルージョンが解除されている。

【0085】

オクルージョン解除の際には、人物枠Ｆ１、Ｆ２が認識されているが、いずれが選手Ａ、選手Ｂに対応するかを決定する必要がある。たとえば、人物枠Ｆ１について、可能性のある選手（ステップＳ１３にてＩＤを記録した選手）全員のオクルージョン直前から所定フレーム数前（たとえば３０フレーム前）までの人物枠全てを対象として、最も類似する人物枠を選択する。

【0086】

たとえば、人物枠Ｆ１に含まれる特徴点と、人物枠Ａ１に含まれる特徴点とを対応づける。すなわち、人物枠Ｆ１の特徴点のそれぞれについて、その特徴量（後述する）に対し、所定値以下の相違度であって最も相違度の小さい人物枠Ａ１の特徴点を対応づける。このようにして、人物枠Ｆ１の特徴点と人物枠Ａ１の特徴点を対応づける（対応付けがなされない特徴点も存在する）。さらに、対応付けがなされた各特徴点の特徴量の相違度を平均する。この平均相違度を、人物枠Ｆ１と人物枠Ａ１の相違度とする。なお、平均相違度だけでなく、対応付けられた特徴点の数も含めて考慮して相違度を算出するようにしてもよい。

【0087】

人物枠Ｆ１に対し、以上の処理を他の人物枠Ｆ２～Ｆ３０、Ｂ１～Ｂ３０についても行い、それぞれの枠に対する相違度を算出する。ＣＰＵ３０は、人物枠Ｆ１に対して、最も小さい相違度を有する人物枠を選択する。たとえば、選択された人物枠が選手Ａに対するものであれば（人物枠Ａ１からＡ３０のいずれかであれば）、人物枠Ｆ１を選手Ａの人物枠であるとして選手ＩＤを対応づける。これにより、対応付け可能な選手Ａをリストから削除する。これによって、対応付け可能な選手は選手Ｂのみとなる。したがって、ＣＰＵ３０は、人物枠Ｆ２を選手Ｂの人物枠であるとして選手ＩＤを対応づける。

【0088】

なお、ステップＳ２４において、オクルージョンが生じていない選手の場合には、参照フレームの人物枠と対応づける。

【0089】

したがって、図１２Ａに示すように、選手Ａと選手Ｂのトラッキングにおいて、オクルージョンが生じていた期間は、細かなトラッキングはなされない。オクルージョン発生の直前の位置と、オクルージョン解除の直後の位置とを結んでトラッキングがなされる。

【0090】

以上のように、この実施形態では、人物枠によるトラッキング（ステップＳ２１～Ｓ２５）の前にオクルージョンの有無を判定するようにしている（ステップＳ８～Ｓ１８）。

【0091】

1.3.2トラッキング処理の詳細
次に、ステップＳ２３のトラッキング処理の詳細について説明する。図１３ａに、ステップＳ２３のトラッキング処理の機能構成を示す。

【0092】

対象特徴点抽出手段１１４は、動画中の対象フレーム画像ＦＴの探索枠内において、画像の特徴点（対象特徴点）を抽出する。この探索枠は、対象フレーム画像ＦＴより前の参照フレーム画像の移動体の位置を示す移動体枠に基づいて設定されたものである（たとえば、移動体枠の２倍の大きさの枠とする）。

【0093】

参照特徴点取得手段１１２は、既に移動体枠の設定と特徴点の抽出がなされた参照フレームＦＳについて、記録された特徴点（参照特徴点）を取得する。すなわち、記録されている移動体枠内の特徴点を取得する。

【0094】

対応形成手段１１６は、各参照特徴点の周囲画素と、各対象特徴点の周囲画素の類似性を判断し、各参照特徴点と各対象特徴点とを対応づける。これにより、参照フレームの移動体の参照特徴点と、対象フレームの移動体の対象特徴点とが対応づけられる。

【0095】

移動線算出手段１１８は、上記の対応する参照特徴点と対象特徴点を結ぶ移動線を算出する。なお、参照特徴点を開始点、対象特徴点を終了点とする。

【0096】

移動線抽出手段１２２は、全規格移動線の開始点を同一点としたとき、終了点の位置が所定範囲から外れる移動線を除いて、終了点の位置が所定範囲内にある移動線を抽出する。移動量算出手段１２４は、これら移動線の平均線を算出し、当該平均線に基づいて、移動体の移動量を算出する。この実施形態では、移動線抽出手段１２２と移動量算出手段１２４によって、移動算出手段１２０が構成されている。

【0097】

移動枠設定手段１２６は、当該算出した移動量に基づいて、参照フレームの移動体枠を移動させ、対象フレームの移動体枠を設定する。

【0098】

以上の処理が終了すると、対象フレームを参照フレームとし、対象フレームの次のフレームをあたらな対象フレームとして、上記の処理を繰り返す。これにより、移動体枠の動きとして移動体をトラッキングすることができる。この実施形態では、参照フレームの移動体枠を移動させて、対象フレームの移動体枠を設定しているので、確実に移動体をとらえることができる。

【0099】

図１３ｂに、ステップＳ２３のトラッキング処理の詳細フローチャートを示す。ＣＰＵ３０は、参照フレームの人物枠に基づいて、対象フレームに探索枠を設定する（ステップＳ３１）。なお、参照フレームは１つ前のフレームであり既に人物枠が設定されているフレームである。対象フレームは、ステップＳ７にて取得した今回のフレームである。

【0100】

図１４に対象フレームの例を示す。ＣＰＵ３０は、この対象フレームにおいて選手を検出し、人物枠６０を各選手に設定する（ステップＳ３１～Ｓ３８）。この実施形態では、１フレームの間に選手が移動できる範囲は限られているとの前提で、参照フレームの選手枠６０の所定範囲内において、対象フレームから同一の選手を探し出してトラッキングするようにしている。

【0101】

たとえば、図８の参照フレームの人物枠６０ｂについての処理を以下に説明する。ＣＰＵ３０は、まずこの人物枠６０ｂの中心点を変えずに（参照フレームと対象フレームは同じ座標位置にあるとする）、枠を所定倍（この実施形態では２倍）にして探索枠６１ｂを生成する。生成した探索枠６１ｂを、対象フレームに設定する。探索枠６１ｂの設定された対象フレームを、図１４に示す。

【0102】

図１４の対象フレームに示すように、図８の参照フレームから選手の位置は動いているが、探索枠６１ｂが余裕を持って大きく形成されているので、選手がこの探索枠６１ｂの中に収まっている。したがって、探索枠の大きさは、１フレームの間に選手が最大速度でいずれかの方向に移動した場合であっても、対象フレームにて選手が探索枠に入る程度の大きさであることが好ましい。

【0103】

ＣＰＵ３０は、この探索枠６１ｂ内の特徴点の抽出と特徴量の算出を行う（ステップＳ３２）。特徴点の抽出・特徴量の算出は、参照フレームについて既にステップＳ４において行われている。特徴点の抽出・特徴量の算出は以下のようにして行う。

【0104】

ＣＰＵ３０は、探索枠中の選手の画像について、画像としての特徴点を抽出する。画像としての特徴点としては、コーナーやエッジなどである。この実施形態では、ＦＡＳＴ手法によって特徴点を抽出するようにしている。ＦＡＳＴ手法では、対象とする画素を中心とする円（半径、数画素程度）の円周上の画素（１６画素程度）の輝度を取得する。円周上のすべて（所定個以上）の画素の輝度が、対象画素の輝度よりも明るければ（暗ければ）、当該対象画素を特徴点とする。輝度だけでなく、色情報を用いてもよい。

【0105】

このような特徴点は、選手が移動したとしても特定可能であるから、選手のトラッキングに好ましいものである。図１５に示すように、選手に対して多くの特徴点Ｐ1、Ｐ2・・・が抽出されることになる。

【0106】

さらに、ＣＰＵ３０は、抽出した各特徴点について特徴量を算出する。特徴量は、各特徴点を特徴付けて区別するためのものであり、たとえば、特徴点の周囲の画像によって特徴付ける。選手が移動したとしても、特徴点の周囲の画像は変化しないので、複数の特徴点を区別することができる。

【0107】

特徴点ごとに周囲の画像を記録し、当該周囲の画像に基づいて特徴点を区別するようにしてもよい。しかし、これでは処理が冗長であるので、この実施形態では、BRISK特徴量を用いている。

【0108】

BRISK特徴量は、図１６に示すように対象画素ＴＰの周囲の複数の画素ＲＰによって算出される。あらかじめ定めた２の画素ＦＩＲＳＴ、ＳＥＣＯＮＤのペア（第１点と第２点）を５１２ペア作成する。１番目のペアＰＡＩＲ1から順に、第１点ＦＩＲＳＴの輝度が、第２点ＳＥＣＯＮＤよりも大きければ「１」そうでなければ「０」とする。各ペアについて「１」または「０」を算出する。このようにして、５１２ビット（所定ビット数とすることができる）の特徴量を得ることができる。

【0109】

このような特徴量は、特徴点の周囲の画像の特徴を表しており、当該特徴量によって各特徴点を区別して特徴付けることができる。

【0110】

なお、選手の姿勢の変化により、同じ特徴点であっても上記の特徴量が変化してしまうことになる。そこで、BRISK特徴量では、図１６の画素ＲＰの全体の濃度勾配の方向（たとえば、全体として右上１５度の方向に濃度が上がっている）を算出し、この濃度勾配の方向が所定角度（たとえば０度）になるように画像を回転して、向きをそろえて上記の特徴量を算出するようにしている。

【0111】

以上のようにして、探索枠内の各選手の各特徴点について特徴量（５１２ビットのBRISK特徴量）が算出される。

【0112】

図１７に、参照フレームにおける選手の特徴点Ｐ1～Ｐnと、対象フレームにおける選手の特徴点Ｔ1～Ｔnを、同一の座標上に重ねて示す。図から明らかなように、１フレームの間に、右上に選手が移動している。

【0113】

次に、ＣＰＵ３０は、ＳＳＤ３８に記録されている参照フレームにおける特徴点（参照特徴点）Ｐ1～Ｐnを取得する（ステップＳ３３）。さらに、参照フレームにおける特徴点（参照特徴点）Ｐ1～Ｐnのそれぞれに対応する対象フレームの特徴点（対象特徴点）Ｔ1～Ｔnを見いだす（ステップＳ３４）。この対応付けには、各特徴点のBRISK特徴量を用い、所定のしきい値以下の相違度（たとえばハミング距離を用いる）を持ち、もっと近いBRISK特徴量を持つ参照特徴点と対象特徴点を対応づける。

【0114】

なお、選手の姿態や位置によって（あるいは他の選手が一部入っているなど）、必ずしもすべての参照特徴点に合致する対象特徴点が見いだされるわけではない。たとえば、参照フレームにおいては撮像されていた特徴点が、姿態の変化により隠れてしまい対象フレームにおいては撮像されない場合などである。このような場合には、所定のしきい値以下の相違度を持つ対象特徴点がないものとして処理を行う。

【0115】

続いてＣＰＵ３０は、対応付けられた参照特徴点と対象特徴点について、参照特徴点を始点とし、対象特徴点を終点とする移動線Ｍを算出する（ステップＳ３５）。図１７においては、参照特徴点Ｐ1と対象特徴点Ｔ1を結ぶ移動線Ｍ1と、参照特徴点Ｐ2と対象特徴点Ｔ2を結ぶ移動線Ｍ2が示されている。

【0116】

このようにして算出した移動線の平均値（中央値、最頻値などその他の代表する値を用いてもよい）を選手の移動量として把握することができる。したがって、参照フレームにおける人物枠６０ｂを、この移動量によって移動し、人物枠６１ｂを設定することができる。この処理を繰り返すことで、順次、選手の移動をトラッキングすることができる。

【0117】

ただし、上記で算出した移動線の平均値によって移動量を把握すると、手の先など選手全体の動きとは異なる動きをする特徴点のために、移動量に誤差を生じる可能性がある。そこで、この実施形態では、次のようにして、移動量の誤差を低減するようにしている。

【0118】

ＣＰＵ３０は、図１８Ａに示す各移動線Ｍ1～Ｍnの始点を、図１８Ｂに示すように一点に合致させる。さらに、図１８Ｃに示すように、この移動線Ｍ1～Ｍnの終点ＥＰ1～ＥＰnの重心Ｇを算出し、当該重心Ｇから所定距離以上離れている終点ＥＰk、ＥＰm、ＥＰqを持つ移動線（特異な移動線）を削除する（ステップＳ３６）。重心Ｇから離れている終点は、選手全体の動きではなく姿態など局所的な動きを反映している可能性が高いからである。なお、ヒストグラム、統計的手法など他の手法によって特異な移動線を削除するようにしてもよい。

【0119】

ＣＰＵ３０は、削除した移動線を除いて、残りの移動線（選択された移動線）を元の位置に戻す。この状態を図１９Ａに示す。続いて、図１９Ｂに示すように、選択された移動線の平均（Ｘ軸方向平均移動距離とＹ軸方向平均移動距離）を算出し、Ｘ軸、Ｙ軸方向の移動距離を算出する（ステップＳ３７）。

【0120】

次に、ＣＰＵ３０は、算出した移動距離に基づいて、図２０に示すように、対象フレームにおける人物枠６２ｂを設定する。人物枠６２ｂの設定は以下のようにして行う。

【0121】

図２１に示すように、参照フレームの人物枠６０ｂを上記算出した移動距離に基づいて移動させ、対象フレームの人物枠６２ｂとする。次に、対象フレームの人物枠６２ｂの底辺の中央点ＰＧの、画面全体における座標位置を取得する。すなわち、図２０の画面における、中央点ＰＧのＹ座標位置を取得する。

【0122】

さらに、取得したＹ座標位置に応じて人物枠６２ｂの大きさ（中央点ＰＧは動かさず、縦横比は維持したままとする）を変更する。これは、画面の上方向（カメラから遠い位置）になると、相対的に人物が小さく撮像されるからである。この実施形態では、Ｙ座標に応じて人物枠の大きさを予め定めておき、これを用いるようにしている。

【0123】

Ｙ座標に応じた人物枠の大きさは、たとえば、図８の画面において、最も大きい人物枠６０ａおよびその底辺中央点ＰＧのＹ座標と、最も小さい人物枠６０ｎおよびその底辺中央点ＰＧのＹ座標とに基づいて、Ｙ座標に応じた人物枠の大きさを比例配分するように、予め算出式を記録しておくようにすればよい。

【0124】

なお、上記のようにして最終的に決定された対象フレームの人物枠の画面上の座標（たとえば、左上の点の座標、右下の点の座標）が記録される。また、この人物枠の中に含まれる特徴点の座標、特徴量が、当該人物枠に対応づけて記録される。

【0125】

以上のようにして、参照フレームの人物枠６０ｂから対象フレームの人物枠６２ｂへの移動として選手の動きをトラッキングすることができる。なお、ＣＰＵ３０は、選手ＩＤを各人物枠に付すことで、各選手を特定することができる。選手ＩＤは、開始フレームにおいて、操作者が入力して付してもよいし、ＣＰＵ３０が自動的に付すようにしてもよい。

【0126】

1.4その他
(1)上記実施形態では、２人の選手についてオクルージョンが発生した場合について説明した。しかし、図２２に示すように、３人以上の選手についてオクルージョンが発生した場合も同様である。

【0127】

また、図２３に示すように、オクルージョンが生じている選手の数が途中で変化した場合であっても、ステップＳ１３、Ｓ１７において、オクルージョンが生じている選手ＩＤを管理しているので、適切にトラッキングを行うことができる。選手Ａ、Ｂについては、オクルージョンが発生（表における「有」によって示されている）したフレームｎ＋３の直前のフレームｎ＋２の位置と、オクルージョンが解除（表における「有」から「無」への変化によって示されている）されたフレームｎ＋７の位置によって、トラッキングを行っている。また、選手Ｃについては、オクルージョンが発生したフレームｎ＋３の直前のフレームｎ＋２の位置と、オクルージョンが解除されたフレームｎ＋５の位置によって、トラッキングを行っている。

【0128】

(2)上記実施形態では、サッカーフィールド内の選手を移動物としてトラッキングするようにしている。ラグビー、テニス、バスケットボールなどその他の選手の動きを移動物としてトラッキングするようにしてもよい。

【0129】

また、選手ではなく、コーチや審判などの動きもトラッキングするようにしてもよい。すなわち、移動する人物全般のトラッキングを行うことができる。

【0130】

さらに、人物ではなく、自動車、電車、飛行機など移動物をトラッキングするようにしてもよい。

【0131】

(3)上記実施形態では、移動線を選択し、選択された移動線に基づいて移動方向、移動距離を算出するようにしている。しかし、移動線を選択せず、全ての移動線を用いて移動方向、移動距離を算出するようにしてもよい。

【0132】

(4)上記実施形態では、１台のＰＣによってトラッキング装置を構成した。しかし、これをサーバ装置として構築してもよい。この場合には、端末装置から動画データをサーバ装置に送信し、トラッキングの結果（各選手の人物枠の移動）を端末装置に返信するようにすればよい。

【0133】

また、端末装置において動画データの背景差分を求め、図５ｂのような動画データをサーバ装置に送信するようにしてもよい。

【0134】

(5)上記実施形態では、Ｘ軸移動距離、Ｙ軸移動距離によって移動量を決定している。しかし、移動方向と当該移動方向における移動距離によって移動量を決定するようにしてもよい。

【0135】

(6)上記実施形態では、開始フレームの人物枠の設定を操作者が行うようにしている。しかし、これをYOLOなどのアルゴリズムによって、自動的に設定するようにしてもよい。また、自動的に設定された人物枠を、操作者が確認し修正するようにしてもよい。

【0136】

(7)上記実施形態では、特徴点の抽出にＦＡＳＴ手法を用いているが、OpenCVなど他の特徴点抽出手法を用いてもよい。また、各選手にマーカーをつけてもらい、撮像されたマーカーを特徴点として認識するようにしてもよい。

【0137】

(8)上記実施形態では、特徴量の算出にBRISK手法を用いているが、A-KAZE、SIFT、SURF、HOGなど他の特徴量算出手法を用いてもよい。

【0138】

(9)上記実施形態では、全フレームの画像に基づいて背景画像を生成するようにしている。すなわち、選手以外の背景を表す画像は、全フレーム中のほとんどのフレームを占めている。したがって、画素ごとに、全フレーム中で最も多く出現するデータを当該画素のデータとすれば、背景画像を得ることができる。

【0139】

しかし、背景画像も変化する可能性がある。たとえば、天候の変化や、太陽の位置による建物の影の変化などである。したがって、上記背景画像の抽出を全フレームに基づいて行うのではなく、所定時間（１時間ごとなど）間隔にて行うようにしてもよい。

【0140】

また、深層学習済のモデル（たとえばCycleGANアルゴリズムなど）などによって、撮像した画像から建物や人物の影を削除した上で、背景差分によって人物のみの画像を得るようにしてもよい。

【0141】

(10)上記実施形態では、人物枠を矩形としているが、その他の形状を用いてもよい。たとえば、移動物を内包する楕円形や、人物の外形を形取った形状としてもよい。

【0142】

(11)上記実施形態では、参照フレームと対象フレームの特徴点の対応付けを行って、人物枠（移動体枠）を移動させて、トラッキングを行うようにしている。しかし、その他の方法にてトラッキングを行う場合であっても、オクルージョンに対する対応を行うことができる。たとえば、特徴点を用いずに、YOLO等によって移動体を特定し、参照フレームの移動体から最も近い、対象フレームの移動体を関連づけてトラッキングをするような場合であっても、適用することができる。

【0143】

(12)上記実施形態では、探索枠が所定割合重なるか否かによって、オクルージョン発生と解除を判断している。しかし、オクルージョンが解除したことについては、これに加えて、あるいはこれに代えて、図１１Ａや図１１Ｂに示す人物枠６５ａ、６５ｂが、オクルージョン発生直前の人物枠（たとえば図１０Ａの人物枠６１ａ、６１ｂ）と対応するかどうかを判断するようにしてもよい。人物枠が対応するかどうかは、人物枠に含まれる特徴点が所定割合以上（たとえば８割以上）合致するかどうかによって判断することができる。図１１Ａや図１１Ｂの人物枠６５ａ、６５ｂの双方に対応するオクルージョン発生直前の人物枠がない場合には、オクルージョンは解除していないと判断することができる。

【0144】

(13)上記実施形態では、人物だけでなく影なども含めた枠を判定枠として用いている。しかし、人物だけを囲う枠（人物枠）を判定枠として用いるようにしてもよい。

【0145】

(14)上記実施形態では、判定枠、人物枠を矩形としているが、その他の形状を用いてもよい。たとえば、移動物を内包する楕円形や、人物の外形を形取った形状としてもよい。

【0146】

(15)上記変形例は、その本質に反しない限り、他の実施形態においても適用することができる。

【0147】

２．第２の実施形態
2.1機能構成
図２４に、第２の実施形態によるトラッキング装置における、ステップＳ２３のトラッキング処理の機能構成を示す。対象特徴点抽出手段１１４は、動画中の対象フレーム画像ＦＴの探索枠内において、画像の特徴点（対象特徴点）を抽出する。この探索枠は、対象フレーム画像ＦＴより前の参照フレーム画像の移動体の位置を示す移動体枠に基づいて設定されたものである（たとえば、移動体枠の２倍の大きさの枠とする）。

【0148】

【0149】

【0150】

【0151】

移動算出手段１２０は、前記移動線に基づいて、移動体の移動量（Ｘ軸方向移動量、Ｙ軸方向移動量）を算出する。

【0152】

候補移動枠設定手段１２５は、当該算出した移動量に基づいて、複数の候補移動体枠を生成する。たとえば、算出した移動量が、Ｘ軸方向移動量Ｘm、Ｙ軸方向移動量Ｙmであれば、この位置を中心としてその周囲に位置をずらせて複数個の候補移動体枠を生成する。

【0153】

移動枠選択手段１２７は、これら候補移動体枠のうち、対象フレームの特徴点を最も多く含むものを最終的な移動体枠として決定する。

【0154】

以上の処理が終了すると、対象フレームを参照フレームとし、対象フレームの次のフレームを新たな対象フレームとして、上記の処理を繰り返す。これにより、移動体枠の動きとして移動体をトラッキングすることができる。

【0155】

この実施形態では、参照フレームの移動体枠を移動させ、さらに特徴点によって補正を行って対象フレームの移動体枠を設定しているので、確実に移動体をとらえることができる。

【0156】

2.2ハードウエア構成
ハードウエア構成は、第１の実施形態と同じである（図２参照）。

【0157】

２.3トラッキング処理
図２５に、トラッキング処理のフローチャートを示す。ステップＳ３１～Ｓ３７までは、第１の実施形態と同様である。第１の実施形態では、ステップＳ３７にて算出したＸ軸移動量Ｘm、Ｙ軸移動量Ｙmに基づいて、対象フレームの人物枠６２ｂを設定している。

【0158】

この実施形態では、ステップＳ３７にて算出したＸ軸移動量Ｘm、Ｙ軸移動量Ｙmに基づいて、図２６のような候補人物枠６２１～６２９を設定する（ステップＳ４０）。なお、図において破線で示す人物枠は、参照フレームにおける人物枠６０ｂである。この人物枠６０ｂに対して、Ｘm、Ｙm移動した候補人物枠６２１、２Ｘm、Ｙm移動した候補人物枠６２２、Ｘm、２Ｙm移動した候補人物枠６２３、０、Ｙm移動した候補人物枠６２４、・・・、０、０移動した（すなわち移動しない）候補人物枠６２９が設定されている。

【0159】

ＣＰＵ３０は、これら候補人物枠６２１～６２９のうち、対象フレームの特徴点が最も多く含まれるものを人物枠として選択する（ステップＳ４１）。選手の特徴点を最も多く含むものが、選手の位置を示す人物枠として適切だからである。

【0160】

図２６の場合であれば、候補人物枠６２３が最も多くの特徴点を含むので、これが人物枠として選択されることになる。

【0161】

ＣＰＵ３０は、上記のようにして設定した人物枠の底辺の中央点ＰＧの、画面全体における座標位置を取得する。すなわち、図２１の画面における、中央点ＰＧのＹ座標位置を取得する。さらに、取得したＹ座標位置に応じて人物枠の大きさ（縦横比は維持したままとする）を変更する。

【0162】

以上のようにして、参照フレームの人物枠６０ｂから対象フレームの人物枠６２ｂへの移動として選手の動きをトラッキングすることができる。上記の処理を全ての人物枠について行い、各選手についての参照フレームの人物枠と対象フレームの人物枠を設定し、全ての選手のトラッキングを行う。

【0163】

2.4その他
(1)上記実施形態では、サッカーフィールド内の選手を移動物としてトラッキングするようにしている。ラグビー、テニス、バスケットボールなどその他の選手の動きを移動物としてトラッキングするようにしてもよい。

【0164】

また、選手ではなくく、コーチや審判などの動きもトラッキングするようにしてもよい。すなわち、移動する人物全般のトラッキングを行うことができる。