7246005 移動体追跡装置及び移動体追跡方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-16

(45)【発行日】2023-03-27

(54)【発明の名称】移動体追跡装置及び移動体追跡方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230317BHJP

   G06T 7/254 20170101ALI20230317BHJP

【ＦＩ】

H04N7/18 G

H04N7/18 K

H04N7/18 U

G06T7/254 Z

【請求項の数】 12

(21)【出願番号】P 2019547001

(86)(22)【出願日】2018-10-04

(86)【国際出願番号】 JP2018037131

(87)【国際公開番号】W WO2019070011

(87)【国際公開日】2019-04-11

【審査請求日】2021-09-13

(31)【優先権主張番号】P 2017194958

(32)【優先日】2017-10-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】片山 優麻

(72)【発明者】

【氏名】上田 純子

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１６－０９９９４１（ＪＰ，Ａ）

【文献】特開２００９－２５１９４０（ＪＰ，Ａ）

【文献】特開２００７－２７４５４３（ＪＰ，Ａ）

【文献】特開２００７－２３３７９８（ＪＰ，Ａ）

【文献】特開２００４－０４６６４７（ＪＰ，Ａ）

【文献】特表２０１３－５０３５０４（ＪＰ，Ａ）

【文献】国際公開第２０１６／０２１１２１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

球技用の移動体を追跡する移動体追跡装置であって、
異なる位置にある複数のカメラがそれぞれ撮影した球技の動画フレームを受信する映像受信部と、
１つのカメラが撮影した動画フレームを表示して、追跡対象の移動体の位置の指定をユーザから受け付ける移動体選択部と、
前記指定された位置に対応する３次元空間の領域に存在する移動体候補を抽出し、
他のカメラが撮影した動画フレームの、前記抽出された移動体候補の存在する３次元空間の位置に対応する部分から移動体候補画像を抽出する移動体候補抽出部と、
前記追跡対象の移動体を追跡する移動体追跡部と、を備え、
前記移動体選択部は、前記移動体候補画像を表示して、前記追跡対象の移動体の選択を前記ユーザから受け付け、
前記移動体選択部が前記ユーザから前記追跡対象の移動体の選択を受け付けた場合、前記移動体追跡部は、前記追跡対象の移動体を、前記ユーザに選択された移動体に修正する、
移動体追跡装置。

【請求項2】

前記移動体候補抽出部は、
前記指定された位置に対応する３次元空間の領域に存在する複数の移動体候補を抽出し、
前記移動体選択部は、
前記３次元空間における各移動体候補の位置の高さの順に、当該各移動体候補の移動体候補画像を表示する、
請求項１に記載の移動体追跡装置。

【請求項3】

前記移動体候補抽出部は、
前記指定された位置に対応する３次元空間の領域に存在する複数の移動体候補を抽出し、
前記移動体選択部は、
各移動体候補の前記追跡対象の移動体である尤度の高さの順に、当該各移動体候補の移動体候補画像を表示する、
請求項１に記載の移動体追跡装置。

【請求項4】

前記移動体選択部は、
前記移動体候補抽出部によって各カメラの動画フレームから抽出された同じ３次元空間の位置に対応する移動体候補画像をグルーピングして表示する、
請求項１に記載の移動体追跡装置。

【請求項5】

前記移動体選択部は、
前記移動体候補抽出部によって各カメラの動画フレームから抽出された同じ３次元空間の位置に対応する移動体候補画像をグルーピングし、そのグルーピングされた単位で、前記追跡対象の移動体の選択を前記ユーザから受け付ける、
請求項１に記載の移動体追跡装置。

【請求項6】

前記移動体候補抽出部は、
前記指定された位置および前記追跡対象の移動体が移動した軌跡に基づいて、前記移動体候補を抽出する３次元空間の領域を限定する、
請求項１に記載の移動体追跡装置。

【請求項7】

前記指定された位置に対応する３次元空間の領域は、前記指定された位置に基づいて算出される、前記３次元空間における探索軸上の点を含む探索範囲であり、
前記移動体候補抽出部は、前記３次元空間における探索軸上の点を含む探索範囲から、前記移動体候補を抽出する、
請求項１に記載の移動体追跡装置。

【請求項8】

前記移動体候補抽出部は、
前記探索範囲内に前記追跡対象の移動体が存在する尤度を、前記他のカメラが撮影した動画フレームの前記探索範囲に対応する部分の画像に基づいて算出し、
前記算出された尤度に基づいて、前記他のカメラが撮影した動画フレームの前記探索範囲に対応する部分から前記移動体候補画像を抽出するか否かを決定する、
請求項７に記載の移動体追跡装置。

【請求項9】

複数の探索範囲は、それぞれ、前記探索軸上の異なる点を含み、
前記移動体候補抽出部は、
前記探索範囲毎に、前記尤度の算出と、当該算出された尤度に基づく前記移動体候補画像の抽出の可否の決定とを行う、
請求項８に記載の移動体追跡装置。

【請求項10】

前記移動体候補抽出部は、
前記尤度が所定の閾値を超える移動体候補を、前記追跡対象の移動体候補に抽出する、
請求項９に記載の移動体追跡装置。

【請求項11】

前記移動体候補抽出部は、
１つの探索範囲に複数の移動体候補が存在する場合、前記尤度の最も高い移動体候補を抽出する、
請求項８に記載の移動体追跡装置。

【請求項12】

球技用の移動体を追跡する移動体追跡方法であって、
異なる位置にある複数のカメラがそれぞれ撮影した球技の動画フレームを受信し、
１つのカメラが撮影した動画フレームを表示して、追跡対象の移動体の位置の指定をユーザから受け付け、
前記指定された位置に対応する３次元空間の領域に存在する移動体候補を抽出し、
他のカメラが撮影した動画フレームの、前記抽出された移動体候補の存在する３次元空間の位置に対応する部分から移動体候補画像を抽出し、
前記追跡対象の移動体を追跡し、
前記移動体候補画像を表示して、前記追跡対象の移動体の選択を前記ユーザから受け付け、
前記ユーザから前記追跡対象の移動体の選択を受け付けた場合、前記追跡対象を当該ユーザに選択された移動体に修正する、
移動体追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体追跡装置及び移動体追跡方法に関する。

【背景技術】

【0002】

従来から、異なる視点のカメラで撮影した球技の動画フレームを用いて、ボール等の球技用の移動体を追跡する装置が知られている。例えば、非特許文献１には、バレーボールを撮影した各視点の動画フレームを用いて、ボールの３次元（以下「３Ｄ」という）位置を算出するマルチビュー３次元ボール追跡システムが開示されている。

【0003】

非特許文献１に開示されている技術では、誤ったオブジェクトを追跡対象としてしまい、ボールの追跡に失敗することがある。例えば、４台のカメラ中、２台のカメラが撮影した動画フレームにおいてボールが遮蔽又はフレームアウトされている場合、又は、動画フレームのボールの付近に当該ボールに類似する物体（人の頭など）が存在する場合などに、ボールの追跡に失敗しやすい。ユーザには、このようにボールの追跡に失敗した場合に、追跡対象を修正したいというニーズがある。特に、偶然撮影されてしまった予備のボールを追跡対象のボールと誤認してしまう場合、誤認されているオブジェクト（予備のボール）は追跡対象とほぼ同一の特徴を備えているため、追跡の失敗を自動で修正することは難しい。そのため、ユーザが容易に追跡対象を修正できるシステムが求められていた。

【先行技術文献】

【非特許文献】

【0004】

【文献】Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１には、追跡対象を修正する手段が開示されていない。

【0006】

本開示の非限定的な実施例は、球技用の移動体の追跡に失敗した場合に追跡対象を修正することができる移動体追跡装置及び移動体追跡方法の提供に資する。

【課題を解決するための手段】

【0007】

本開示の一態様に係る移動体追跡装置は、球技用の移動体を追跡する移動体追跡装置であって、異なる位置にある複数のカメラがそれぞれ撮影した球技の動画フレームを受信する映像受信部と、１つのカメラが撮影した動画フレームを表示して、追跡対象の移動体の位置の指定をユーザから受け付ける移動体選択部と、前記指定された位置に対応する３次元空間の領域に存在する移動体候補を抽出し、他のカメラが撮影した動画フレームの、前記抽出された移動体候補の存在する３次元空間の位置に対応する部分から移動体候補画像を抽出する移動体候補抽出部と、前記移動体候補を表示して、前記追跡対象の移動体を追跡する移動体追跡部と、を備え、前記移動体選択部は、前記移動体候補画像を表示して、前記追跡対象の移動体の選択を前記ユーザから受け付け、前記移動体選択部が前記ユーザから前記追跡対象の移動体の選択を受け付けた場合、前記移動体追跡部は、前記追跡対象の移動体を、前記ユーザに選択された移動体に修正する。

【0008】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本開示の一態様によれば、球技用の移動体の追跡に失敗した場合に追跡対象を修正することができる。

【0010】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0011】

【図1】移動体追跡システムの概要を示す図。

【図2】移動体追跡装置の構成例を示す図。

【図3】ボール選択ＵＩの例を示す図。

【図4】ボール選択ＵＩの使用例を説明するためのシーケンス図。

【図5】実施の形態１に係るボール候補表示領域にボール候補を高さ順に表示する例を示す図。

【図6】実施の形態１に係るボール候補表示領域にボール候補を高さ順に表示する処理のフローチャート。

【図7】実施の形態１に係る１次ボール候補抽出処理の例を示すフローチャート。

【図8】実施の形態１に係る２次ボール候補の高さ順表示処理の例を示すフローチャート。

【図9】実施の形態２に係るボール候補表示領域にボール候補を尤度順に表示する例を示す図。

【図10】実施の形態２に係るボール候補表示領域にボール候補を尤度順に表示する処理のフローチャート。

【図11】実施の形態２に係る２次ボール候補の尤度順表示処理の例を示すフローチャート。

【図12】実施の形態３に係るボールの軌跡を用いてボール候補の表示数を減らす例を示す図。

【図13】実施の形態３に係るボールの軌跡を用いてボール候補の表示数を減らす処理の例を示すフローチャート。

【図14】各カメラの動画フレームからボールを選択するＵＩの例を示す図。

【図15】本開示の実施の形態に係るハードウェア構成の例を示す図。

【発明を実施するための形態】

【0012】

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0013】

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0014】

また、同種の要素を区別して説明する場合には、「カメラ３Ａ」、「カメラ３Ｂ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「カメラ３」のように参照符号のうちの共通番号のみを使用することがある。

【0015】

（実施の形態１）
＜移動体追跡システム＞
まず、図１を参照して、移動体追跡システムの概要について説明する。

【0016】

移動体追跡システム１は、球技用の移動体の一例であるボールを追跡するためのシステムである。本実施の形態では、球技の１つであるバレーボールにおけるボールを移動体の例として説明する。ただし、移動体追跡システム１は、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール又はバドミントンなど、様々な球技に適用可能である。また、移動体追跡システム１が追跡対象とする移動体は、ボールに限られず、例えば、バドミントンのシャトルなどであってもよい。

【0017】

移動体追跡システム１は、複数のカメラ３と、表示装置４と、操作装置５と、移動体追跡装置１０と、を備える。

【0018】

複数のカメラ３は、それぞれ異なる位置に設置される。例えば、バレーボールの場合、各カメラ３は、高所からコートを異なる視点（画角）で撮影できる位置に設置される。なお、図１では、カメラ３の台数が４台の場合を例示しているが、本実施の形態はこれに限られず、カメラ３の台数は２台以上であればよい。カメラ３の最小の台数が２台である理由は、後述するように、移動体追跡システム１は、１つのカメラ３の撮影したメイン動画フレームを用いて正しい追跡対象の入力を受け付け、その結果を用いて他のカメラ３が撮影した動画フレームから同じ追跡対象の候補画像を抽出するためである。また、各カメラ３は、移動体追跡装置１０に接続されており、球技の状況を撮影した動画フレームを、移動体追跡装置１０に送信する。カメラ３と移動体追跡装置１０とは、有線又は無線の何れで接続されてもよい。

【0019】

表示装置４は、移動体追跡装置１０に接続されており、移動体追跡装置１０から出力される画像を表示する。表示装置４は、例えば、液晶ディスプレイ装置又は有機ＥＬディスプレイ装置等である。

【0020】

操作装置５は、移動体追跡装置１０に接続されており、ユーザによる操作情報を、移動体追跡装置１０に入力する。操作装置５は、例えば、キーボード、マウス、マイク及び／又はタッチパネル等である。なお、操作装置５及び表示装置４は一体型の装置であってもよい。

【0021】

移動体追跡装置１０は、各カメラ３で撮影された動画フレームから、球技で用いられるボールを追跡し、そのボールの追跡結果（例えばボールの軌跡）を表示装置４に表示する。

【0022】

＜移動体追跡装置＞
次に、図２を参照して、移動体追跡装置１０の詳細について説明する。

【0023】

移動体追跡装置１０は、映像受信部１０１と、移動体特定部１０２と、移動体追跡部１０３と、移動体位置出力部１０４と、移動体候補抽出部１０５、移動体選択部１０６と、を備える。

【0024】

映像受信部１０１は、各カメラ３Ａ～３Ｄから送信される動画フレームを受信し、移動体特定部１０２及び移動体選択部１０６に入力する。動画フレームは、例えば、ＭＰ４、Ｈ．２６４、Ｈ．２６５、又は、Ｍｏｔｉｏｎ ＪＰＥＧ等のフレーム画像であってよい。

【0025】

移動体特定部１０２は、映像受信部１０１から入力された各カメラ３Ａ～３Ｄの動画フレームから、追跡対象のボールのオブジェクトを特定し、当該ボールの３次元空間における位置（以下「３Ｄ位置」という）を特定する。例えば、移動体特定部１０２は、非特許文献１の方法によって、追跡対象のボールのオブジェクト及び３Ｄ位置を特定する。なお、ボールの３Ｄ位置は、３次元空間の座標（ｘ，ｙ，ｚ）で表されてよい。

【0026】

移動体追跡部１０３は、移動体特定部１０２で特定されたボールの３Ｄ位置を追跡する。すなわち、移動体追跡部１０３は、ボールの３Ｄ位置の時間的変化を記録する。例えば、移動体追跡部１０３は、非特許文献１の方法によってボールの３Ｄ位置を追跡する。

【0027】

移動体位置出力部１０４は、ボールの３Ｄ位置の追跡結果（例えばボールの軌跡）を、表示装置４に出力する。

【0028】

移動体候補抽出部１０５は、映像受信部１０１から入力された各カメラ３Ａ～３Ｄの動画フレームから、ボール候補を抽出する。ボール候補とは、追跡対象のボールと推測されるオブジェクトである。なお、移動体候補抽出部１０５の処理の詳細については後述する（図７参照）。

【0029】

移動体選択部１０６は、追跡対象を修正するためのＵＩ（以下「ボール選択ＵＩ」という）２００（図３参照）を生成し、表示装置４に表示する。ユーザは、移動体特定部１０２が追跡対象を誤っている場合に、操作装置５を介してボール選択ＵＩ２００を操作することにより、追跡対象を修正することができる。なお、移動体選択部１０６の処理の詳細については、後述する（図６及び図８参照）。

【0030】

移動体選択部１０６は、例えば、次の何れかの場合に、ボール選択ＵＩ２００を表示する。
（Ａ１）ユーザが、追跡対象が誤っていることに気づき、所定の操作を行った場合。
（Ａ２）移動体候補抽出部１０５がボール候補を抽出できない場合。
（Ａ３）移動体候補抽出部１０５が抽出したボール候補の何れもが所定の閾値未満の尤度である場合。ボール候補の尤度とは、当該ボール候補が、追跡対象として正しいボールである可能性を示す指標である。なお、ボール候補の尤度の算出方法の詳細については後述する。
（Ａ４）移動体追跡部１０３が、追跡対象のボールの軌跡が異常であると判定した場合。異常と判定する場合とは、例えば、追跡対象のボールの軌跡が、バレーボールにおける典型的なボールの軌跡から大きく外れている場合等である。

【0031】

＜ボール選択ＵＩ＞
次に、図３及び図４を参照して、ボール選択ＵＩ２００とその使用例について説明する。

【0032】

ボール選択ＵＩ２００は、図３に示すように、動画フレーム表示領域２０１と、ボール候補表示領域２０２とを有する。

【0033】

動画フレーム表示領域２０１には、ユーザによって選択された１つのカメラ３の動画フレーム（以下「メイン動画フレーム」という）が表示される。

【0034】

ボール候補表示領域２０２には、メイン動画フレーム以外の動画フレームに撮影されているボール候補の画像が表示される。

【0035】

次に、図４を参照して、ボール選択ＵＩ２００の使用方法について説明する。

【0036】

（Ｓ１１）ユーザは、各カメラ３Ａ～３Ｄの動画フレームのうち、ボールが良く撮影されている１つのカメラ３の動画フレームを選択する。図３は、ユーザが、カメラ３Ａの動画フレームを選択した場合の例である。

【0037】

なお、ボール選択ＵＩ２００を表示する条件が上述の（Ａ２）～（Ａ４）の場合、移動体選択部１０６は、誤追跡が発生したと判断されたフレーム以前の２Ｄ尤度に基づいて、最適なメイン動画フレームを自動で選択してもよい。または、実際の操作上、画面の切り替わりが激しい場合、移動体選択部１０６は、メイン動画フレームを、一定のフレーム間隔で２Ｄ尤度の高い画面に更新したり、メイン動画フレームの２Ｄ尤度が所定の閾値以下となった場合に他のメイン動画フレームに自動で切り換えたりしてもよい。まだ操作に慣れていないユーザは、このように適切なメイン動画フレームを自動で選択する設定をオンにすることにより、当該移動体追跡装置１０を容易に利用することができる。

【0038】

（Ｓ１２）移動体選択部１０６は、Ｓ１１で選択されたメイン動画フレーム２０３を、動画フレーム表示領域２０１に表示する。

【0039】

（Ｓ１３）ユーザは、選択カーソル２０４を移動させて、動画フレーム表示領域２０１に表示されたメイン動画フレーム２０３の中から、追跡対象として正しいボールの位置を指定（クリック又はタッチ等）する。

【0040】

（Ｓ１４）移動体選択部１０６は、Ｓ１３で指定された、メイン動画フレーム２０３における正しいボールの２Ｄ位置（座標）に応じて、３Ｄ空間における探索軸３０１（図５参照）を算出する。探索軸３０１とは、図５に示すように、メイン動画フレーム２０３を撮影したカメラ３Ａの３Ｄ空間における位置（座標）と、Ｓ１３で指定された正しいボールの２Ｄ位置の３Ｄ空間における位置（座標）とを結ぶ軸線である。なお、カメラ３Ａの３Ｄ空間における位置（座標）は、ユーザによって入力されてもよいし、センサ等を用いた検出結果から自動で設定されてもよい。

【0041】

（Ｓ１５）移動体選択部１０６は、メイン動画フレーム２０３以外の動画フレームから、探索軸３０１上の点を含む各探索範囲３０２Ａ～３０２Ｇ（図５参照）に含まれているボール候補画像を抽出し、ボール候補表示領域２０２に表示する。図３は、カメラ３Ｂ、３Ｃ、３Ｄの動画フレームからそれぞれ抽出されたボール候補画像２０６を、ボール候補表示領域２０２に表示した例である。

【0042】

このとき、移動体選択部１０６は、図３に示すように、同じ３Ｄ位置に対応するボール候補画像２０６については１つのグループ２０７としてまとめて表示し、グループ単位で追跡対象として正しいボール候補画像２０６を選択できるようにする。ここでは、同じ探索範囲３０２に対応するボール候補画像２０６を同じ３Ｄ位置に対応するボール候補画像２０６であると近似して説明するが、ボール候補画像２０６をより詳細に解析して正確な３Ｄ位置を算出してもよい。

【0043】

なお、図３の例において、高さ５１５ｃｍ、７８５ｃｍ、１０２５ｃｍには、一部のカメラ３が撮影したボール候補画像２０６にオブジェクトが映っていない。これは、同一の３Ｄ位置を撮影したとしても、障害物の存在などにより、オブジェクトを撮影できない場合があるためである。実際の環境では、すべてのカメラ３から撮影できたオブジェクトが、必ずしも正しいボールであるとは限らない。例えば、図３における高さ１５５ｃｍの探索範囲には、正しいボールは撮影されていない。そのため、移動体選択部１０６は、一部のカメラ３でオブジェクトが見つからない場合であっても、比較的高い尤度が算出されている場合、同じ３Ｄ位置のボール候補画像２０６を、修正候補としてグループ２０７にまとめて表示する。なお、ボール候補画像の抽出処理の詳細については後述する。

【0044】

（Ｓ１６）ユーザは、選択カーソル２０５を移動させて、ボール候補表示領域２０２の中から、追跡対象として正しいボール候補画像２０６のグループ２０７を選択する。

【0045】

（Ｓ１７）移動体選択部１０６は、Ｓ１６で選択されたボール候補を識別するための情報（例えば３Ｄ座標又はオブジェクトＩＤ等）を、移動体特定部１０２に出力する。

【0046】

（Ｓ１８）移動体特定部１０２は、追跡対象を、Ｓ１７で出力されたボール候補に修正する。

【0047】

このように、移動体追跡装置１０において追跡対象が誤っている場合に、ユーザは、ボール選択ＵＩ２００に対して上記Ｓ１３とＳ１５に示す２回の操作を行うことにより、追跡対象を正しいボールに修正することができる。

【0048】

すなわち、移動体追跡装置１０は、Ｓ１３において指定された位置をもとに正しいボールである尤度の高い３Ｄ位置の画像（ボール候補画像）をグループ分けして提示する。これにより、ユーザは同じ３Ｄ位置におけるボール候補を他のカメラ（カメラ３Ｂ～３Ｃ）の視点から確認することができ、正しいボールであるか否かを容易に判断することができる。

【0049】

また、移動体追跡装置１０では、ユーザは、Ｓ１５にてカメラ３Ｂ～３Ｃにおける正しいボールの３Ｄ位置をグループ単位で一括指定できる。そのため、ユーザがすべてのカメラ３の映像全体から正しいボール候補を目視で確認し、その３Ｄ位置を指定する作業を行う場合と比較して、移動体追跡装置１０は、正しいボールを選択するユーザの手間を低減することができる。

【0050】

また、移動体追跡装置１０は、尤度の高い修正候補周辺の画像をボール候補画像２０６として抽出して表示することができ、また、後述する通り、抽出したボール候補画像２０６の表示順を整列することができる。したがって、移動体追跡装置１０を利用するユーザは、修正候補の確認を容易に行うことができる。

【0051】

なお、移動体選択部１０６は、一定時間（Ｓ１６）の操作がなされず、かつ、後述する尤度順でのボール表示であった場合、最も３Ｄ尤度の高い候補を自動で選択してもよい。これにより、ユーザーの操作負担が軽減されることが期待でき、また、候補が１つのみの場合に、ユーザが素早く次の動作に移行することができる。すなわち、ユーザは、移動体追跡装置１０において追跡が失敗した場合に、簡単に素早く（短時間で）、追跡対象を修正することができる。

【0052】

移動体選択部１０６は、ボール候補表示領域２０２に表示するボール候補画像２０６を、様々な条件で並び替えることができる。次に、ボール候補画像２０６を３Ｄ位置の高さ順に並べて表示する方法について説明する。

【0053】

＜ボール候補を高さ順に表示する例＞
次に、図５を参照して、ボール候補表示領域２０２にボール候補画像を高さ順に表示する例について説明する。

【0054】

移動体選択部１０６は、メイン動画フレームとは別の視点で撮影された動画フレームから、探索軸３０１上の点を含む各探索範囲３０２Ａ～３０２Ｇに撮影されているボール候補画像を抽出する。例えば、移動体選択部１０６は、図５に示すように、メイン動画フレーム以外の各動画フレームにおける、探索軸３０１上の中心が高さ方向に互いに異なるように設定された複数の探索範囲３０２Ａ～３０２Ｇからそれぞれボール候補を抽出し、それら抽出したボール候補の画像を、ボールの３Ｄ位置の高さ順に並べてボール候補表示領域２０２に表示する。また、移動体選択部１０６は、各カメラ３の動画フレームの同じ探索範囲３０２から抽出した同じオブジェクトと推定されるボール候補の画像を、１つのグループとしてまとめて表示する。

【0055】

なお、移動体選択部１０６は、１つの探索範囲３０２から１つのボール候補を抽出するとしてよい。例えば、図５において、１つの探索範囲３０２Ｃに２つのボール候補３０３Ａ、３０３Ｂが存在しているので、移動体選択部１０６は、尤度の高い方の１つのボール候補３０３Ａを抽出し、ボール候補表示領域２０２に表示する。これにより、表示する候補の数を尤度の高いものに限定することができるので、ユーザによる確認の手間を低減できる。

【0056】

また、ボール候補３０３Ａ、３０３Ｂの両方をボール候補として抽出してもよい。例えば、ボール候補３０３Ａ、３０３Ｂの両方が他の探索範囲３０２のボール候補よりも高い尤度である場合は、何れか一方のボール候補を抽出するよりも、両方のボール候補を抽出する方が、正しいボール候補を抽出できる可能性が高い。

【0057】

＜ボール候補を高さ順に表示する処理フロー＞
次に、図６から図８のフローチャートを参照して、ボール候補を３Ｄ位置の高さ順にボール候補表示領域２０２に表示する処理の例について説明する。本処理は、ユーザが、メイン動画フレームの中から、追跡対象として正しいボールの位置を指定（つまり図４のＳ１３を実行）した後に実行される。

【0058】

まず、移動体選択部１０６は、メイン動画フレームの中から選択されたボールの２Ｄ位置に対応する、３Ｄ空間における探索軸３０１を算出する（Ｓ１０１）。

【0059】

次に、移動体選択部１０６は、探索軸高（変数）を０（初期値）に設定する（Ｓ１０２）。この検索軸高が、探索範囲３０２の中心点の高さ位置に相当する。

【0060】

次に、移動体選択部１０６は、探索軸高が所定のボール最高到達点未満であるか否かを判定する（Ｓ１０３）。ボール最高到達点は、球技の種目によって異なる。例えば、バレーボールの場合、規則により、コートから天井までの高さを１２．５ｍ以上確保する必要がある。すなわち、球技の規則が想定しているボール最高到達点が１２．５ｍであるので、この値を使用する。なお、規則を上回る高さをボール最高到達点としてもよいが、ボール最高到達点を高く設定するほど処理に時間がかかる。よって、処理速度と追跡範囲のバランスの観点から、規則通りの高さをボール最高到達点として使用することが好ましい。なお、ボールの最高到達点までが画像内に含まれるように撮影することができない場合、移動体選択部１０６は、キャリブレーション等で撮影可能範囲内での最高到達点を算出し、その値を用いてもよい。

【0061】

探索軸高がボール最高到達点以上の場合（Ｓ１０３：ＮＯ）、移動体選択部１０６は、２次ボール候補の高さ順表示処理を実行する（Ｓ１１０）。なお、２次ボール候補の高さ順表示処理の説明については後述する（図８参照）。

【0062】

探索軸高がボール最高到達点未満の場合（Ｓ１０３：ＹＥＳ）、移動体候補抽出部１０５は、探索軸高に対応する探索範囲３０２における１次ボール候補抽出処理（Ｓ１０４）を実行する。なお、１次ボール候補抽出処理の説明については後述するが（図７参照）、当該処理により、各ループ処理（Ｓ１０３～Ｓ１０９）における探索軸高に対応する探索範囲３０２に含まれる１次ボール候補とその３Ｄ尤度が算出される。

【0063】

次に、移動体選択部１０６は、１次ボール候補のうち３Ｄ尤度が第１閾値を超えるボール候補（「２次ボール候補」という）が存在するか否かを判定する（Ｓ１０５）。なお、第１閾値は、撮影環境毎に異なる。例えば、第１閾値は、その撮影環境において、ボールの追跡に成功したときの３Ｄ尤度の平均値に基づいて設定されてよい。これにより、正しい追跡対象である可能性の低い移動体を除外することができる。つまり、修正の候補として不適切なものが抽出されることを抑制することができる。

【0064】

２次ボール候補が存在しない場合（Ｓ１０５：ＮＯ）、移動体選択部１０６は、Ｓ１０９の処理へ進む。

【0065】

２次ボール候補が存在する場合（Ｓ１０５：ＹＥＳ）、移動体選択部１０６は、２次ボール候補が複数存在するか否かを判定する（Ｓ１０６）。

【0066】

２次ボール候補が１つしか存在しない場合（Ｓ１０６：ＮＯ）、移動体選択部１０６は、Ｓ１０８の処理へ進む。

【0067】

２次ボール候補が複数存在する場合（Ｓ１０６：ＹＥＳ）、移動体選択部１０６は、３Ｄ尤度が最も高い２次ボール候補を選択し（Ｓ１０７）、Ｓ１０８の処理へ進む。

【0068】

移動体選択部１０６は、２次ボール候補の３Ｄ座標をボール候補テーブル（図示せず）に格納する。また、移動体選択部１０６は、メイン動画フレーム以外の各動画フレームから２次ボール候補が撮影されている部分の画像（「ボール候補画像」という）を抽出し、ボール候補テーブルに格納する（Ｓ１０８）。

【0069】

次に、移動体選択部１０６は、探索軸高に所定値αを加算し（Ｓ１０９）、Ｓ１０３へ戻る。所定値αは、互いに異なる探索軸高に対応する探索範囲３０２が一部重複するように設定されてよい。例えば、所定値αは、ボールの半径に応じた値であってよい。バレーボールの例では、競技用のボールの直径は２１ｃｍであるため、所定値αは約１１ｃｍとなる。

【0070】

以上の処理により、最高到達点までの各探索範囲３０２から２次ボール候補が抽出され、ボール候補テーブルに格納される。

【0071】

次に、図７のフローチャートを参照して、図６における１次ボール候補抽出処理（Ｓ１０４）の例について説明する。

【0072】

まず、移動体候補抽出部１０５は、図６のループ処理（Ｓ１０３～Ｓ１０９）の探索軸高に対応する探索範囲３０２に含まれる、１次ボール候補の３Ｄ座標を算出する（Ｓ２０１）。

【0073】

次に、移動体候補抽出部１０５は、１次ボール候補の３Ｄ座標を、４つのカメラ３Ａ、３Ｂ、３Ｃ、３Ｄの動画フレームのそれぞれにおける２Ｄ座標に変換する（Ｓ２０２）。

【0074】

次に、移動体候補抽出部１０５は、４台のカメラ３Ａ、３Ｂ、３Ｃ、３Ｄの動画フレームのそれぞれにおいて、所定のサンプル画像を用いて、１次ボール候補のボールの色味らしさを数値化した値（以下「色尤度」という）を算出する（Ｓ２０３）。なお、競技の種類や大会主催者の意向などにより使用するボールの色や模様が替わるため、正しいボールのサンプル画像を用いて色尤度を算出する。例えば、色ヒストグラムを算出し、ボール候補とサンプル画像のヒストグラムを比較することにより、色尤度を算出する。

【0075】

次に、移動体候補抽出部１０５は、４台のカメラ３Ａ、３Ｂ、３Ｃ、３Ｄの動画フレームのそれぞれにおいて、過去のフレーム画像（例えば前フレーム画像）との差分、背景画像との差分、または、複数のフレーム画像を用いて特徴的な動きを排除した動的背景モデルとの動きの差分を用いて、１次ボール候補に相当する２Ｄ座標で物体が動いたか否かを数値化した値（以下「動き尤度」という）を算出する（Ｓ２０４）。

【0076】

次に、移動体候補抽出部１０５は、動画フレームのそれぞれにおいて、Ｓ２０３で算出した色尤度とＳ２０４で算出した動き尤度とを用いて、各動画フレームにおける１次ボール候補の尤度（「２Ｄ尤度」という）を算出する（Ｓ２０５）。

【0077】

次に、移動体候補抽出部１０５は、４つの動画フレームのうち、２Ｄ尤度の高い順に３つの動画フレームを特定し、当該特定した３つの動画フレームの情報を統合し、３Ｄ座標における１次ボール候補の尤度（「３Ｄ尤度」という）を算出する（Ｓ２０６）。例えば、移動体候補抽出部１０５は、その特定した３つの２Ｄ尤度を乗算及び正規化して、３Ｄ尤度を算出する。

【0078】

なお、３Ｄ尤度の算出方法は上述したものに限られない。例えば、各カメラ３の２Ｄ尤度に応じて３Ｄ尤度を算出する際の優先度を可変にしてもよい。一例として、カメラ３Ａの２Ｄ尤度が極めて高く、カメラ３Ｂの２Ｄ尤度が比較的低い場合、移動体候補抽出部１０５は、乗算及び正規化を行う際に、カメラ３Ａの２Ｄ尤度がカメラ３Ｂの２Ｄ尤度よりも優先的に３Ｄ尤度に反映されるよう、重み付けを行ってもよい。

【0079】

また、上述の算出方法では、２Ｄ尤度の高い順に３台のカメラからの動画フレームの情報を３Ｄ尤度の算出に用いているが、２Ｄ尤度が所定の閾値を超えている２台のカメラからの動画フレームの情報を、３Ｄ尤度の算出に用いてもよい。ここで、３Ｄ尤度の算出に２台のカメラからの情報を用いている理由は、３Ｄ位置の算出に少なくとも２台のカメラからの情報が必要なためである。多数のカメラが存在する場合は、２台又は３台のカメラに限らず、より多くのカメラからの情報を用いて３Ｄ尤度を算出してもよい。また、２Ｄ尤度が所定の閾値を超えているカメラの台数が２台未満の場合には、その探索範囲３０２に存在する１次ボール候補の３Ｄ尤度を、ゼロと見做してもよい。上述の通り、３Ｄ位置の算出には少なくとも２台のカメラからの情報が必要であるため、２Ｄ尤度が閾値未満のカメラの台数が２台未満の場合に３Ｄ位置を算出しようとすると、２Ｄ尤度の低いカメラからの情報を使わざるを得なくなるためである。

【0080】

また、３Ｄ尤度の算出方法としては、閾値と重み付けの両方を反映するなど、様々なものが考えられる。後述する通り、３Ｄ尤度は、探索範囲３０２に存在するボール候補の絞り込み又は順位付けに使用されるため、探索範囲３０２間で同じ基準で評価できる結果が得られるのであれば、３Ｄ尤度の算出方法は問わない。

【0081】

以上の処理により、探索軸高に対応する探索範囲３０２に存在する１次ボール候補のそれぞれについて、３Ｄ尤度が算出される。

【0082】

次に、図８のフローチャートを参照して、図６における２次ボール候補の高さ順表示処理（Ｓ１１０）の例について説明する。

【0083】

まず、移動体選択部１０６は、２次ボール候補の数が所定のＮ個（Ｎは１以上の整数）よりも多いか否かを判定する（Ｓ３０１）。

【0084】

２次ボール候補の数がＮ個以下である場合（Ｓ３０１：ＮＯ）、移動体選択部１０６は、Ｓ３０３へ進む。

【0085】

２次ボール候補の数がＮ個よりも多い場合（Ｓ３０１：ＹＥＳ）、移動体選択部１０６は、３Ｄ尤度の高い順にＮ個の２次ボール候補をボール候補テーブルに残し、それ以外の２次ボール候補をボール候補テーブルから除外する（Ｓ３０２）。

【0086】

次に、移動体選択部１０６は、ボール候補テーブルに残っている２次ボール候補画像を、３Ｄ座標の高さ方向（ｚ軸方向）の高い順に並び替えて、ボール候補表示領域２０２に表示する（Ｓ３０３）。

【0087】

以上の処理により、Ｎ個以下の２次ボール候補画像が、３Ｄ座標の高さ方向の高い順に並んでボール候補表示領域２０２に表示される。

【0088】

なお、上述以外の方法として、ボール画像候補をＮ個に絞らず全て表示してもよい。撮影環境上、類似する物体が多数存在するような場合は、ボール画像候補をＮ個に絞ると、正しいボール候補が失われてしまう恐れがあるため、全てのボール画像候補を表示させてもよい。

【0089】

また、Ｎはボール候補表示領域２０２に表示する候補の数に上限を設けるための値であり、ボール候補表示領域２０２の広さ、解像度、又は、修正を行うユーザの習熟度など、様々な要因によって適切なＮの値は異なる。そのため、Ｎの値は固定値である必要はなく、ユーザの指示などに応じて随時変更可能な値であってよい。

【0090】

＜実施の形態１の効果＞
実施の形態１では、移動体追跡装置１０は、動画フレーム表示領域２０１にメイン画像フレームを表示し、ボール候補表示領域２０２に、メイン画像フレーム以外の画像フレームから抽出されたボール候補画像２０６を、３Ｄ位置の高さ順に並べて表示する。そして、ユーザが、メイン画像フレームから、追跡対象として正しいボールの位置を指定し、３Ｄ位置の高さ順に並べられたボール候補画像２０６から、追跡対象として正しいボール候補画像２０６を選択すると、移動体追跡装置１０は、追跡対象をその選択されたボール候補に修正する。

【0091】

これにより、ユーザは、動画フレーム表示領域２０１と、ボール候補表示領域２０２とに対して操作を行うだけで、簡単に追跡対象を修正することができる。また、ユーザは、ボール候補表示領域２０２から、ボールの高さを参考に、追跡対象として正しいボール候補画像２０６を素早く探すことができる。よって、ユーザは、移動体追跡装置１０における追跡対象の誤りを素早く修正することができる。

【0092】

（実施の形態２）
実施の形態２では、ボール候補を尤度順に表示する例について説明する。なお、実施の形態２では、実施の形態１と相違する点について説明し、実施の形態１と共通する点については説明を省略する。

【0093】

＜ボール候補を尤度順に表示＞
まず、図９を参照して、ボール候補表示領域２０２にボール候補を尤度順に表示する例について説明する。

【0094】

移動体選択部１０６は、図９に示すように、メイン動画フレーム以外の各動画フレームにおける、探索軸３０１上に中心が高さ方向に互いに異なるように設定された複数の探索範囲３０２からそれぞれボール候補を抽出し、それら抽出したボール候補の画像を、ボールの３Ｄ尤度の高い順に並べてボール候補表示領域２０２に表示する。

【0095】

このとき、移動体選択部１０６は、全探索範囲３０２Ａ～３０２Ｇから３Ｄ尤度の高い順に、所定数のボール候補を抽出する。例えば、図９において、移動体選択部１０６は、１つの探索範囲３０２Ｃに２つのボール候補３０３Ａ、３０３Ｂが存在しているが、何れの３Ｄ尤度も他と比較して高いならば、図５の場合とは異なり、両方のボール候補３０３Ａ、３０３Ｂの画像を、ボール候補表示領域２０２に表示する。

【0096】

＜ボール候補を尤度順に表示する処理フロー＞
次に、図１０及び図１１のフローチャートを参照して、ボール候補を尤度順にボール候補表示領域２０２に表示する処理について説明する。本処理は、図６の場合と同様、ユーザが、メイン動画フレームの中から、追跡対象として正しいボールの位置を指定（つまり図４のＳ１３を実行）した後に実行される。

【0097】

図１０は、図６と比較して、探索軸高がボール最高到達点以上の場合（Ｓ１０３：ＮＯ）の処理と、２次ボール候補が存在する場合（Ｓ１０５：ＹＥＳ）の処理とが異なり、それ以外の処理は同じである。そこで、以下では、異なる処理について説明する。

【0098】

移動体選択部１０６は、探索軸高がボール最高到達点以上の場合（Ｓ１０３：ＮＯ）、すなわち２次ボール候補の抽出が完了した場合、２次ボール候補の尤度順表示処理を実行する（Ｓ１１１）。なお、２次ボール候補の尤度順表示処理の説明については後述する（図１１参照）。

【0099】

また、移動体選択部１０６は、２次ボール候補が存在する場合（Ｓ１０５：ＹＥＳ）、図６のＳ１０８と同様の処理を行い、Ｓ１０９に進む。すなわち、図１０では、図６と比較して、探索軸高に対応する探索範囲３０２内において１つの２次ボール候補に限定せずに、３Ｄ尤度が第１閾値を超える全ての２次ボール候補を、ボール候補テーブルに格納する。

【0100】

以上の処理により、最高到達点までの各探索範囲３０２において、３Ｄ尤度が第１閾値を超える２次ボール候補が抽出され、ボール候補テーブルに格納される。

【0101】

次に、図１１のフローチャートを参照して、図１０における２次ボール候補の尤度順表示処理（Ｓ１１１）について説明する。

【0102】

移動体選択部１０６は、図８のＳ３０３の処理に代えて、次の処理を実行する。すなわち、移動体選択部１０６は、ボール候補テーブルに格納されている２次ボール候補画像を、３Ｄ尤度の高さ順に並び替えて、ボール候補表示領域２０２に表示する（Ｓ３０４）。

【0103】

以上の処理により、Ｎ個以下の２次ボール候補画像が、３Ｄ尤度の高い順に並んでボール候補表示領域２０２に表示される。

【0104】

＜実施の形態２の効果＞
実施の形態２では、移動体追跡装置１０は、動画フレーム表示領域２０１にメイン画像フレームを表示し、ボール候補表示領域２０２に、メイン画像フレーム以外の画像フレームから抽出されたボール候補画像を、３Ｄ尤度の高い順に並べて表示する。そして、ユーザが、メイン画像フレームから、追跡対象として正しいボールの位置を指定し、３Ｄ尤度の高い順に並べられたボール候補画像から、追跡対象として正しいボール候補画像を選択すると、移動体追跡装置１０は、追跡対象をその選択されたボール候補に修正する。

【0105】

これにより、ユーザは、ボール候補表示領域２０２から、ボールの尤度を参考に、追跡対象として正しいボール候補画像を素早く探すことができる。よって、ユーザは、移動体追跡装置１０における追跡対象の誤りを、素早く修正することができる。

【0106】

（実施の形態３）
実施の形態３では、前回までの動画フレームにおけるボールの軌跡を用いて、ボール候補の表示数を減らす例について説明する。なお、実施の形態３では、実施の形態２と相違する点について説明し、実施の形態２と共通する点については説明を省略する。

【0107】

＜ボールの軌跡を用いてボール候補の表示数を減らして表示＞
まず、図１２を参照して、ボールの軌跡を用いてボール候補数を減らし、ボール候補表示領域２０２に表示する例について説明する。

【0108】

移動体選択部１０６は、前回までの動画フレームを用いて算出されるボールの軌跡を用いて、今回の動画フレームにおける探索範囲３０２を限定する。例えば、図１２において、探索範囲３０２Ａ～３０２Ｇに複数のボール候補が存在しているが、前回までの動画フレームにおいてボールが落下の軌跡５０１を描いているので、移動体選択部１０６は、探索範囲を、今回の動画フレームにおけるボールの落下先に位置する探索範囲３０２Ｃ、３０２Ｄ、３０２Ｅに限定する。そして、移動体選択部１０６は、その限定した探索範囲３０２Ｃ、３０２Ｄ、３０２Ｅに含まれるボール候補画像２０６を、実施の形態２と同様に、３Ｄ尤度の高い順に並べてボール候補表示領域２０２に表示する。

【0109】

これにより、図１２に示すように、図９と比較して、ボール候補表示領域２０２に表示されるボール候補画像の数が減るので、ユーザは、追跡対象として正しいボール候補を、より素早く（短時間で）探すことができる。

【0110】

＜ボールの軌跡を用いてボール候補の表示数を減らして表示する処理フロー＞
次に、図１３のフローチャートを参照して、ボールの軌跡を用いて、ボール候補の数を減らしてボール候補表示領域２０２に表示する処理の例について説明する。

【0111】

図１３は、図１１と比較して、Ｓ３０１の処理の前に、次の処理を実行する点が相違する。すなわち、移動体選択部１０６は、前回まで動画フレームを用いて算出されたボールの軌跡から、今回の動画フレームにおけるボールの推定位置を算出し、その算出したボールの推定位置から所定以上離れている探索範囲３０２に含まれる２次ボール候補を、ボール候補テーブルから除外する（Ｓ３００）。

【0112】

以上の処理により、図９と比較して少ない数の２次ボール候補画像が、３Ｄ尤度の高い順に並んでボール候補表示領域２０２に表示される。

【0113】

＜実施の形態３の変形例＞
なお、上述では、ボール候補表示領域２０２に表示する２次ボール候補画像を選択する段階で、ボールの軌跡を用いてボール候補の表示数を減らす処理について説明したが、別の段階でボールの軌跡を用いてボール候補の表示数を減らしてもよい。例えば、移動体選択部１０６は、今回の動画フレームにおけるボールの推定位置から所定以上離れている探索範囲３０２を、図１０における１次ボール候補抽出処理（Ｓ１０４）の対象とする探索範囲３０２から除外してもよい。これにより、図１０におけるループ処理（Ｓ１０３～Ｓ１０９）の回数を減らすことができる。

【0114】

また、図１２では、移動体追跡装置１０は、ボール候補画像を実施の形態２と同様に３Ｄ尤度の高い順に並べて表示しているが、実施の形態１と同様に、３Ｄ位置の高い順に並べて表示してもよい。

【0115】

また、図１３のＳ３００では、ボールの軌跡から所定以上離れた探索範囲３０２をボール抽出処理の対象から除外しているが、移動体追跡装置１０は、ボールの軌跡に基づいて探索範囲３０２を設定してもよい。ボールの軌跡が正確に追跡できているのであれば、ボールは（今回の動画フレームにおける推定位置まで含めた）軌跡と探索軸３０１の交点付近に存在する可能性が高い。そのため、この交点を含むような探索範囲３０２を設定することで、ボール候補を正確に抽出できる可能性が高まる。

【0116】

また、図１３のＳ３００では、ボールの軌跡から所定以上離れた探索範囲３０２をボール抽出処理の対象から除外しているが、移動体追跡装置１０は、各探索範囲３０２についてボール抽出処理を行った後で、ボールの軌跡から所定以上離れた３Ｄ位置のボール候補を表示対象から除外してもよい。この場合、ボールの軌跡から所定以上離れたボール候補も抽出するため、図１０におけるループ処理（Ｓ１０３～Ｓ１０９）の回数は減らないが、表示内容を、軌跡を考慮しないものに切り替える場合に再計算を行う必要がない。つまり、表示内容の切り替えの際に、各探索範囲３０２についてのボール抽出処理の結果を再利用することができる。これは、例えば地面で跳ねる直前のラグビーボールの追跡など、軌跡を予測しにくい状況で有益である。

【0117】

また、ボールの軌跡から所定以上離れた３Ｄ位置のボール候補を表示対象から除外する処理は、図１３のステップＳ３００の処理に限られない。例えば、軌跡と探索範囲３０２との距離が近いほど、見つかったボール候補の３Ｄ尤度に大きな重みを付加するなどとすれば、ステップＳ３００の処理を省略しても、ステップＳ３０２の処理において軌跡に近いボール候補を残すことができる。また、この場合、軌跡から外れたボール候補であっても、３Ｄ尤度が高ければ表示対象に残る。そのため、軌跡の予測が難しい場合であっても、正しいボール候補を抽出することができる可能性が高まる。

【0118】

＜実施の形態３の効果＞
実施の形態３では、移動体追跡装置１０は、動画フレーム表示領域２０１にメイン画像フレームを表示し、ボール候補表示領域２０２に、メイン画像フレーム以外の画像フレームから抽出されたボール候補画像を、前回までの動画フレームから算出されるボールの軌跡に基づいて絞り込み、ボール候補の３Ｄ尤度の高い順に並べて表示する。

【0119】

これにより、ユーザは、少ない数のボール候補画像から、追跡対象として正しいボール候補を素早く探すことができる。よって、ユーザは、移動体追跡装置１０の追跡対象の誤りを、素早く修正することができる。

【0120】

以上、幾つかの実施の形態について説明したが、移動体追跡装置１０は、これらの実施の形態のうち、２つ以上の実施の形態に係る機能を備えてもよい。例えば、移動体追跡装置１０は、実施の形態１から３に係る機能を備え、図３に示すボール選択ＵＩ２００に、ボール候補表示領域２０２におけるボール候補の高さ順と尤度順との表示を切り換えたり、ボール候補表示領域２０２におけるボール候補の表示数をボールの軌跡を用いて減らしたりするための表示方法切替ボタンを設けてもよい。

【0121】

また、移動体追跡装置１０は、図１４に示すように、各カメラ３Ａ～３Ｄの動画フレームを並べて表示し、追跡対象として正しいボールを選択するための多画面選択ＵＩ６００を提供してもよい。例えば、ユーザが、多画面選択ＵＩ６００の各動画フレームにおいて、選択カーソル６０１Ａ、６０１Ｂ、６０１Ｃ、６０１Ｄを操作して、追跡対象のボールの位置を指定（クリック）すると、移動体追跡装置１０は、追跡対象として正しいボールを認識することができる。この方法は、上述の実施の形態の方法と比較して、ユーザの操作の手間が多いため、素早い修正には向かないが、移動体追跡装置１０が高い精度で追跡対象のボールを認識することができる。そこで、図３に示すボール選択ＵＩ２００に、図１４に示す多画面選択ＵＩ６００に切り替えるための認識方法切替ボタンを設けてもよい。そして、例えばボールのぶれが大きい等により、ボール候補表示領域２０２に追跡対象として正しいボール候補画像が存在しない場合に、ユーザが当該認識方法切替ボタンを押下すると、移動体追跡装置１０は、図１４に示す多画面選択ＵＩ６００を表示してもよい。

【0122】

また、上述の各実施の形態では、バレーボールを例に説明したが、移動体追跡装置１０は他の球技にも応用できる。ここで、球技とは、ラグビーなどの特殊な形状のボール、バドミントン又はホッケーなどの球以外の移動体を使用するものも含む。また、球技には、エアホッケーなどの遊戯的な側面が強いものも含む。すなわち、本明細書における球技は、移動体を所定のルールで動かすことによって獲得される点数等を競う競技を指すものであり、追跡対象となる移動体の形状も必ずしも球状である必要はない。

【0123】

また、上述の各実施の形態では、高さの違いを基準に複数の探索範囲を設けているが、奥行き又は水平方向の違いを基準に複数の探索範囲を設けてもよい。例えば、ボウリング又はカーリングなど、移動体が定められた平面を移動する球技を、当該平面とほぼ同じ高さから撮影する場合、探索軸の高さはほぼ一定になってしまう。その結果、高さの違いを基準にすると、探索範囲を設けること自体が困難となる。この場合は、高さとは異なる基準で探索範囲を設定することが有益である。奥行き又は水平方向の違いを基準に探索範囲を設ける場合における動作の詳細な説明は、上述の各実施の形態において、高さを奥行き又は水平位置などに読み替えればよいので、省略する。

【0124】

上述の各実施の形態では、２Ｄ尤度および３Ｄ尤度の算出に用いる尤度として、色尤度と動き尤度を例として挙げているが、形尤度など、他の尤度を用いてもよい。形尤度は、バレーボールの場合、動画フレーム内にボール大の円形のものが存在するか否かを評価することなどで計算することができる。

【0125】

また、上記の各実施の形態では、複数種類の尤度を用いて２Ｄ尤度を算出しているが、使用する尤度は一種類であってもよい。この場合、尤度の計算結果の精度は低下するが、計算処理の負荷は軽くなるので、低スペックのコンピュータなどで移動体追跡装置１０が構成されている場合に有益である。

【0126】

また、上述の各実施の形態で挙げた尤度は一例に過ぎない。上述した各実施の形態において、尤度は、２次ボール候補の絞り込み、および、実施の形態２および３における表示順の並べ替えに用いる基準に過ぎない。すなわち、信頼できる結果が得られるのであれば、形・色・動きの何れとも異なる尤度を用いて同様の処理を行っても構わない。

【0127】

上述の各実施の形態では、探索軸を算出し、探索軸上の複数の点のそれぞれ周囲に探索範囲を定める手順で探索範囲を設定している。しかし、探索範囲の設定方法は他にも様々なものが考えられる。例えば、ユーザからの位置の指定を受けると、メイン動画フレームにおいて当該位置を含み所定値αの幅を持つ範囲を設定し、その範囲に対応する３次元空間における柱状の領域を特定して（重畳させつつ）分割する手順でも、探索範囲を設定することができる。この場合、探索範囲は球状のものではなく、柱状領域を軸に対して垂直に分割した形状となる。すなわち、メイン動画フレームにおいてユーザの指定した位置の近傍に投影されるような３次元空間における範囲を設定できるのであれば、探索範囲の定め方は問わない。

【0128】

上述の各実施の形態では、探索範囲として半径αの球状の範囲を設定しているが、探索範囲の形状は必ずしも球状である必要はない。例えば、移動体の動きが、ボウリング又はカーリングのように高さを伴わない、または高低差のある移動が少ないような競技のものであれば、探索範囲の高さ方向の幅を狭めることにより、精度をあまり劣化させずに計算量を削減できる可能性がある。また、上述した、柱状領域を軸に対して垂直に分割したときの探索範囲のように、探索範囲の設定の仕方によっては、球状でない探索範囲を用いることも考えられる。すなわち、移動体が探索範囲内に含まれる可能性が高く、計算量が非現実的なものにならない限り、探索範囲の形状は問わない。

【0129】

上述の各実施の形態では、複数の探索範囲それぞれについてボール候補の有無を評価しているが、ボール候補の有無を評価する探索範囲を１つとしてもよい。例えば、移動体が探索軸上のどの点の近傍に存在するかを高精度に予測することができる場合、その点を含む探索範囲を１つ評価するだけで正しい追跡対象が発見できる可能性が高い。このような状況の具体例としては、実施の形態３の変形例のように、ボールの軌跡と探索軸との交点に基づいて探索範囲を設定する場合などが考えられる。なお、１つの探索範囲のみを用いる場合は、移動体の位置が予測と多少ずれていても探索範囲に含まれるよう、探索範囲を、移動体の大きさよりも広めに設定することが望ましい。

【0130】

上述の各実施の形態において、移動体の追跡を行う動画は、録画済みのものであってもよいし、リアルタイムで撮影されて再生されているものであってもよい。上述の各実施の形態によれば、追跡対象の移動体の修正を容易に行うことができるので、どちらの場合であっても素早い修正を行うことができる。なお、リアルタイムで撮影されている動画を使用する場合は、修正の作業を容易にするため、修正中は一時停止し、修正が完了した後に早送りを行って実際の場面に追従させるものとしてもよい。

【0131】

上述の各実施の形態において、追跡する対象をボール等の移動体に限定せず、競技選手等の人間の追跡にも適用してもよい。ボールと違い、人間の移動については高さの限度は低いため、探索範囲を狭めることにより、計算量を少なくすることも可能である。

【0132】

また、上述の実施の形態において説明してきた移動体追跡装置１０の機能は、コンピュータプログラムにより実現され得る。

【0133】

図１５は、移動体追跡装置１０の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ２１００は、キーボード又はマウス、タッチパッドなどの入力装置２１０１（操作装置５に相当）、ディスプレイ又はスピーカーなどの出力装置２１０２（表示装置４に相当）、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備え、各部はバス２１０９により接続される。

【0134】

そして、読取装置２１０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

【0135】

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各装置の機能が実現される。

【0136】

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0137】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

【0138】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0139】

本特許出願は２０１７年１０月５日に出願した日本国特許出願第２０１７－１９４９５８号に基づきその優先権を主張するものであり、日本国特許出願第２０１７－１９４９５８号の全内容を本願に援用する。

【産業上の利用可能性】

【0140】

本発明は、スポーツ競技を撮影した映像から移動体を検出及び追跡する移動体追跡装置に適用することができる。

【符号の説明】

【0141】

１ 移動体追跡システム
３Ａ、３Ｂ、３Ｃ、３Ｄ カメラ
４ 表示装置
５ 操作装置
１０ 移動体追跡装置
１０１ 映像受信部
１０２ 移動体特定部
１０３ 移動体追跡部
１０４ 移動体位置出力部
１０５ 移動体候補抽出部
１０６ 移動体選択部
２００ ボール選択ＵＩ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】