特許 6249706 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6249706

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171211BHJP

   G06T 7/20 20170101ALI20171211BHJP

【ＦＩ】

   H04N5/232 190

   G06T7/20

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2013-204292(P2013-204292)

(22)【出願日】2013年9月30日

(65)【公開番号】特開2015-70503(P2015-70503A)

(43)【公開日】2015年4月13日

【審査請求日】2016年9月27日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】黒木 剛

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１０−０４１７２５（ＪＰ，Ａ）

【文献】 特開２００８−１６５６３６（ＪＰ，Ａ）

【文献】 特開２００６−２５１８８５（ＪＰ，Ａ）

【文献】 特表２００９−５２８１１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

撮影された映像中の人物と、前記人物とは異なるオブジェクトとを追跡する追跡手段と、
前記追跡手段によって追跡された前記人物の人物追跡情報と、前記オブジェクトのオブジェクト追跡情報と、予め定められた行動情報とに基づいて、前記人物の行動の種別を認識する認識手段と、
前記認識手段で認識された前記行動に係る認識情報に基づいて、前記行動により生じたイベントを判定する判定手段と、
を有し、
前記判定手段は、前記判定したイベントが所定のイベントの場合に、前記行動の後の前記オブジェクトのオブジェクト追跡情報に基づいて、前記イベントが成功したか、失敗したかを更に判定する情報処理装置。

【請求項2】

前記映像はスポーツに係る映像であって、
前記追跡手段は、前記スポーツに係る映像中の人物と、前記人物とは異なるオブジェクトとを追跡する請求項１記載の情報処理装置。

【請求項3】

前記判定手段は、前記認識情報と、前記オブジェクト追跡情報とに基づいて、前記スポーツの進行中に生じた前記イベントを判定する請求項２記載の情報処理装置。

【請求項4】

前記判定手段は、前記認識情報と、前記オブジェクト追跡情報とに基づいて、前記スポーツの進行状態の遷移に係る要因を特定することにより前記イベントを判定する請求項３記載の情報処理装置。

【請求項5】

前記人物追跡情報と、前記オブジェクト追跡情報とに基づいて前記人物の属性を特定する特定手段を更に有し、
前記認識手段は、前記人物追跡情報と、前記特定手段で特定された属性の人物が行い得る行動として予め定められた行動情報とに基づいて、前記人物の行動を認識する請求項３又は４記載の情報処理装置。

【請求項6】

前記判定手段は、前記認識情報と、前記人物の位置情報とに基づいて、前記イベントを判定する請求項１乃至５何れか１項記載の情報処理装置。

【請求項7】

前記判定手段は、前記認識情報と、前記人物の行動が認識された際のタイミングに係るタイミング情報とに基づいて、前記イベントを判定する請求項１乃至５何れか１項記載の情報処理装置。

【請求項8】

前記判定手段は、前記認識情報と、スポーツの進行中に集音された音声の音声データとに基づいて、前記イベントを判定する請求項１乃至７何れか１項記載の情報処理装置。

【請求項9】

前記判定手段で判定されたイベントの内容に係るダイジェストを記録部に記録する記録手段を更に有する請求項１乃至８何れか１項記載の情報処理装置。

【請求項10】

前記オブジェクトは、サッカーのボールであり、
前記所定のイベントとは、サッカーのスライディングである請求項１乃至９何れか１項記載の情報処理装置。

【請求項11】

前記判定手段は、前記判定したイベントがサッカーのスライディングの場合に、前記行動の後の前記ボールのオブジェクト追跡情報に基づいて、前記ボールの終着点が味方プレーヤーの場合は、前記イベントが成功したと判定し、前記ボールの終着点が味方プレーヤーでない場合は、前記イベントが失敗したと判定する請求項１０記載の情報処理装置。

【請求項12】

前記オブジェクトは、サッカーのボールであり、
前記所定のイベントとは、サッカーのキック、又はヘディングである請求項１乃至９何れか１項記載の情報処理装置。

【請求項13】

前記判定手段は、前記判定したイベントがサッカーのキック、又はヘディングの場合に、前記行動の後の前記ボールのオブジェクト追跡情報に基づいて、前記ボールの軌道がシュートではなく、前記ボールの終着点が味方プレーヤーの場合は、前記イベントが成功したと判定し、前記ボールの軌道がシュートではなく、前記ボールの終着点が敵プレーヤーの場合は、前記イベントが失敗したと判定する請求項１２記載の情報処理装置。

【請求項14】

情報処理装置が実行する情報処理方法であって、
撮影された映像中の人物と、前記人物とは異なるオブジェクトとを追跡する追跡ステップと、
前記追跡ステップによって追跡された前記人物の人物追跡情報と、前記オブジェクトのオブジェクト追跡情報と、予め定められた行動情報とに基づいて、前記人物の行動の種別を認識する認識ステップと、
前記認識ステップで認識された前記行動に係る認識情報に基づいて、前記行動により生じたイベントを判定する判定ステップと、
を有し、
前記判定ステップは、前記判定したイベントが所定のイベントの場合に、前記行動の後の前記オブジェクトのオブジェクト追跡情報に基づいて、前記イベントが成功したか、失敗したかを更に判定する情報処理方法。

【請求項15】

コンピュータを、請求項１乃至１３何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、サッカーや野球等のスポーツにおいて、試合中に起こったパスや得点等のイベントを、人が見てスコアブックに記載していた。また、プロスポーツ等においては、試合映像を試合後に入力スタッフが見て、起こったイベントを手動で入力し、データをチームや観客、マスメディアに提供していた。チームスタッフは、このようなデータを用いることで、選手のプレー成功率等からプレー成績を確認し、チームの特徴を把握することができた。また、観客は、前記データにより試合の様子を確認することができた。また、マスメディアは、前記データにより報道の材料を得ることができた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４１８１３１３号公報

【特許文献2】特表２００９−５２８１１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のイベント記録方法は、目視により人がイベントを確認し、入力していくものであった。このような方法は即時性に欠け、また、スタッフの労力がかかってしまう。
特許文献１には、映像中からボールや審判、選手の位置を認識し、その位置関係からイベントを自動認識するシステムが開示されている。しかしながら、このシステムでは、ボールや選手の位置関係からだけでは判定することができないイベントについて自動判定することができない。
特許文献２には、複数のカメラを使ってボールの位置を正確に出し、ゴールやノーゴールの判定を行うシステムが開示されている。しかしながら、このシステムでは、非常に限定的なイベントしか判定することができない。
本発明は、撮影中のシーンにおいて起こるイベントの情報を自動で判定して関係者に利用可能とするための技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

そこで、本発明の情報処理装置は、撮影された映像中の人物と、前記人物とは異なるオブジェクトとを追跡する追跡手段と、前記追跡手段によって追跡された前記人物の人物追跡情報と、前記オブジェクトのオブジェクト追跡情報と、予め定められた行動情報とに基づいて、前記人物の行動の種別を認識する認識手段と、前記認識手段で認識された前記行動に係る認識情報に基づいて、前記行動により生じたイベントを判定する判定手段と、を有し、前記判定手段は、前記判定したイベントが所定のイベントの場合に、前記行動の後の前記オブジェクトのオブジェクト追跡情報に基づいて、前記イベントが成功したか、失敗したかを更に判定する。

【発明の効果】

【0006】

本発明によれば、撮影中のシーンにおいて起こるイベントの情報を自動で判定して関係者に利用可能とするための技術を提供することができる。

【図面の簡単な説明】

【0007】

【図1】イベント記録システムの概要の一例を示す図（その１）である。

【図2】コンピュータのハードウェア構成等の一例を示す図である。

【図3】魚眼カメラで撮影された映像の一例を示す図である。

【図4】サッカーの状態遷移の一例を示す図である。

【図5】実施形態１の処理の一例を示すフローチャートである。

【図6】トラッキング処理の一例を示すフローチャートである。

【図7】撮影されたピッチの様子の一例を示す図である。

【図8】プレーヤー位置の算出過程の概要の一例を示す図である。

【図9】トラッキング結果の一例を示す図である。

【図10】リスタート判定の処理の一例を示すフローチャートである。

【図11】キックオフ判定の処理の一例を示すフローチャートである。

【図12】スローイン判定の処理の一例を示すフローチャートである。

【図13】インプレー判定処理の一例を示すフローチャートである。

【図14】イベント情報テーブルの一例を示す図（その１）である。

【図15】イベント内容判定処理の一例を示すフローチャートである。

【図16】プレーヤーがサッカーの試合中にとり得る行動の一例を示した図である。

【図17】フィールドプレーヤーのイベント内容判定処理の一例を示すフローチャートである。

【図18】ボールの軌道判定に関する説明の概要の一例を示す図である。

【図19】ゴールキーパーのイベント内容判定処理の一例を示すフローチャートである。

【図20】アウトオブプレー判定処理の一例を示すフローチャートである。

【図21】イベント記録システムの概要の一例を示す図（その２）である。

【図22】バスケットボールの状態遷移の一例を示す図である。

【図23】イベント記録システムの概要の一例を示す図（その３）である。

【図24】実施形態３の処理の一例を示すフローチャートである。

【図25】バレーボールの状態遷移の一例を示す図である。

【図26】サーブ判定処理の一例を示すフローチャートである。

【図27】インプレー判定処理の一例を示す図である。

【図28】イベント情報テーブルの一例を示す図（その２）である。

【発明を実施するための形態】

【0008】

以下、本発明を実施するための最良の形態について図面を用いて説明する。
＜実施形態１＞
本実施形態では、サッカー場で行われるサッカーのイベント記録システムについて説明する。
図１は、本実施形態におけるイベント記録システムの概要の一例を示す図である。
本実施形態におけるサッカーは、サッカー場で行われる１１人対１１人の競技であり、互いのチームのプレーヤーは、各々異なる色で構成されるユニフォームを着用している。また、審判及び副審二名によって試合は裁かれ、審判はピッチ内を、副審二名はサイドライン脇を移動する。
本実施形態におけるイベント記録システムは、サッカーの試合が始まると同時に映像の撮影を開始し、試合終了後に、行われた試合のイベント記録を出力する。以降、イベント記録システムが試合等の映像の撮影を開始してから試合終了後にイベント記録を出力するまでの一連の処理のことを、イベント記録処理という。

【0009】

本実施形態では、ピッチ１０２のサイドライン脇に、２つの魚眼カメラ１０１が予め定められた高さで設置されている。２つの魚眼カメラ１０１は、同じ高さで、ピッチのサイドラインからの距離が等距離であり、更に、光軸方向は正面、即ち、ピッチのエンドライン方向と一致させて配置されている。魚眼カメラ１０１と、ピッチ１０２との相対位置関係は、予め測定器を用いて測定されており、相対位置関係情報として記憶領域に記憶されている。また、記憶領域には、ピッチのサイズやピッチ上のゴールのサイズ等の情報を含む３次元情報（以下、ピッチ情報という）が予め記憶されている。魚眼カメラ１０１の映像データ（以下、単に映像という）は、デジタル信号ケーブル等を介して、イベント記録コンピュータ（以下、単にコンピュータという）１０４に入力される。なお、魚眼カメラ１０１の映像は、無線によりコンピュータ１０４に入力されてもよい。
また、サイドライン脇に、集音マイク１０３が設置されている。集音マイク１０３で集音された音声データ（以下、単に音声という）は、デジタル信号ケーブル等を介して、コンピュータ１０４に入力される。なお、集音マイク１０３で集音された音声は、無線によりコンピュータ１０４に入力されてもよい。
コンピュータ１０４は、魚眼カメラ１０１で撮影した映像に写る人物を追跡し、前記人物の行動を認識する。そして、コンピュータ１０４は、前記行動の認識結果（以下、認識情報という）に基づいて、撮影しているシーンにおいて生じるイベントを判定する。また、コンピュータ１０４は、イベントを判定する際に、集音マイク１０３で集音した音声を利用するようにしてもよい。

【0010】

図２は、本実施形態のイベント記録システムにおけるコンピュータ１０４のハードウェア構成等の一例を示す図である。
コンピュータ１０４は、制御部６０３、トラッキング部６０４、音声認識部６０５、行動認識部６０６、イベント分類部６０７及び記録部６０８を有する。
撮影部６０１は、ピッチ上の映像を撮影する２台の魚眼カメラ１０１で構成されている。
集音部６０２は、ピッチ上の音声を集音する集音マイク１０３で構成されている。
制御部６０３は、イベント記録システム全体を制御する。制御部６０３は、撮影部６０１を介して取得した映像や、集音部６０２を介して取得した音声に基づいて、各種の処理を実行する。
また、コンピュータ１０４が有するＨＤ（ＨａｒｄＤｉｓｋ）等には、コンピュータ１０４が処理を実行する際に要する予め定められた設定値等のデータを含む各種のデータやプログラム等が記憶されている。

【0011】

トラッキング部６０４は、撮影された映像中のプレーヤー及び球技で用いられるボール（オブジェクト）等を追跡する。トラッキング部６０４が取得するプレーヤーの追跡情報は、人物追跡情報の一例である。また、トラッキング部６０４が取得するオブジェクトの追跡情報は、オブジェクト追跡情報の一例である。
音声認識部６０５は、取り込まれた音声から、審判の笛の音等を認識する。
行動認識部６０６は、撮影された映像から、ピッチ上のプレーヤー及び審判、サイドライン脇の副審の行動を認識する。行動認識部６０６による認識結果は、認識情報の一例である。
イベント分類部６０７は、制御部６０３を介して取得する各データに基づいて、ピッチ上で起こっているイベント、即ち、スポーツの進行中に生じたイベントの分類（判定）を行う。
記録部６０８は、撮影された映像や音声を記録したり、ピッチ上で起こっていると判定されたイベント情報を記録したりする。
なお、コンピュータ１０４の制御部６０３、トラッキング部６０４、音声認識部６０５、行動認識部６０６、イベント分類部６０７はソフトウェアで構成されていてもよい。即ち、コンピュータ１０４のＣＰＵがＨＤ等に記憶されているプログラムを実行することにより、制御部６０３、トラッキング部６０４、音声認識部６０５、行動認識部６０６、イベント分類部６０７の機能が実現さるようにしてもよい。また、コンピュータ１０４のＣＰＵがＨＤ等に記憶されているプログラムを実行することにより、後述するフローチャートに係る処理（情報処理）が実現されるようにしてもよい。

【0012】

図３は、魚眼カメラ１０１で撮影された映像の一例を示す図である。
範囲２０１は、コンピュータ１０４に取り込まれた映像の範囲を示している。また、範囲２０２は、魚眼カメラを介して撮影された映像の範囲を示している。範囲２０１と、範囲２０２との間の空間は、魚眼カメラ１０１を通した光が到達しない空白の領域であり、何も映っていない領域である。
魚眼カメラ１０１は、サイドライン脇から、ピッチ１０２の全体を広角に撮影することができる。

【0013】

次に、図４の状態遷移図を用いて、サッカーの試合の状態及び各々の状態で起こりうるイベントについて説明する。図４は、サッカーの進行状態の状態遷移の一例を示す図である。
サッカーの試合は前半、後半からなり、各々の時間は、キックオフによって開始される。キックオフがなされると試合はプレー中であるインプレー状態となり、その状態の中で、シュート、パス、トラップ、ドリブル、クリア、キャッチ、セーブ等、得点の奪取及び防御を目的としたプレーヤーによる様々なイベントが発生する。
インプレー状態から、ゴールやボールがピッチ外に出るアウトオブバウンズ、オフサイド、ファウル、前半終了、後半終了等といったイベントが起こると、試合はアウトオブプレー状態となる。アウトオブプレーの状態ではシュート等といったプレーヤーによるイベントは発生しない。
アウトオブプレーの状態からは、アウトオブプレーとなった際の状況に応じたリスタートがなされることによってインプレー状態へと復帰する。例えば、ゴールが決められてアウトオブプレー状態となった場合には、ゴールを決められたチームのキックオフによって試合がリスタートされ、インプレー状態となる。
このようなインプレー状態、アウトオブプレー状態、リスタートという状態遷移は、サッカーに限らず、他の競技にも多く見られるものである。このような状態遷移が生じるスポーツは、他に、テニス、バドミントン、卓球、柔道、剣道、ボクシング、バスケットボール、フットサル、ラグビー、バレーボール等がある。

【0014】

以下、本実施形態におけるサッカーのイベント記録システムの処理の流れについて説明する。図５は、本実施形態におけるイベント記録処理の一例を示すフローチャートである。
本実施形態におけるコンピュータ１０４は、サッカーの試合開始と同時にイベント記録処理を開始する。
Ｓ８０１で、トラッキング部６０４は、トラッキングを開始する。Ｓ８０１の処理の詳細について、図６を用いて説明する。図６は、トラッキング処理の一例を示すフローチャートである。
Ｓ９０１からＳ９０４までの処理については、トラッキング部６０４が１台のカメラの映像を用いて処理を行う。Ｓ９０５の処理については、トラッキング部６０４が２台のカメラの映像を用いて処理を行う。

【0015】

Ｓ９０１で、トラッキング部６０４は、撮影部分の切り出しを行う。図３に示されるように、制御部６０３に取り込まれる映像には空白の領域が含まれるため、トラッキング部６０４は、魚眼カメラ１０１を介して撮影された映像の範囲２０２を含む最小の矩形を切り出す。
Ｓ９０２で、トラッキング部６０４は、レンズ歪みの補正を行う。魚眼カメラ１０１を介して撮影された映像は大きく歪んでいるので、トラッキング部６０４は、レンズ歪みの補正を行うことで、その歪みをなくすことができる。
Ｓ９０３で、トラッキング部６０４は、背景差分法により、ピッチ上の人や物を際立たせる処理を行う。トラッキング部６０４は、予め撮影されて記憶領域に記憶されているピッチ上に何も存在していないときのピッチの画像と、撮影したピッチの映像との色を比較し、差のある部分だけを取り出す。この処理を行うことにより、トラッキング部６０４は、映像中から、ピッチ上に存在するプレーヤー、審判、ボールの領域だけを取り出すことができる。

【0016】

Ｓ９０４で、トラッキング部６０４は、プレーヤーの追跡を行う。以下、Ｓ９０４の処理について、図７を用いて説明する。図７は、撮影されたピッチの様子の一例を示す図である。
図７の（ａ）には、ボール３０１、プレーヤー３０２からプレーヤー３０４まで、審判３０３、副審３０５が示されている。
まず、トラッキング部６０４は、Ｓ９０３で際立たされたプレーヤー、審判、ボールを含む領域から、プレーヤー及び審判、即ち、人を検出する。映像領域中に人が含まれているかどうかを検出する方法には様々な方法があるが、本実施形態では、ＨＯＧ特徴量を用いて人を検出する方法を用いる。ＨＯＧ特徴量とは、局所領域の輝度の勾配方向と、強度とをヒストグラム化したものであり、人等のテクスチャの多様な物体に有効な特徴量である。
トラッキング部６０４は、Ｓ９０３で抽出した領域毎にＨＯＧ特徴量を用いた人検出を実行し、図７の（ｂ）のように、ピッチ上の人を囲むバウンディングボックスを定義することができる。

【0017】

次に、トラッキング部６０４は、定義したバウンディングボックス内の色ヒストグラムをバウンディングボックス毎に作成し、予め記憶領域に記憶しておいた審判及び両チームのプレーヤーの服装の色と比較する。これにより、トラッキング部６０４は、全てのバウンディングボックスをプレーヤーと、審判とに区別し、また、両チームのプレーヤーを区別することができる。更に、サッカーではゴールキーパーと、フィールドプレーヤーとの服装が異なるため、トラッキング部６０４は、プレーヤーのうちゴールキーパーと、フィールドプレーヤーとを区別することができる。
トラッキング部６０４は、以上の処理を映像中のフレーム毎に繰り返すことにより、ピッチ上の２２人各々のプレーヤーの位置を画面上で検出することができる。各々のプレーヤーの位置はフレーム毎に少しずつ移動するため、トラッキング部６０４は、フレーム毎のプレーヤーの位置を追跡することで、プレーヤーの画面上での移動軌跡を描くことができる。
本実施形態では、トラッキング部６０４がＨＯＧ特徴量を用いた映像中からの人検出をフレーム毎に行うことにより映像中のプレーヤーの画面上での位置を求めるものとしたが、プレーヤーの画面上での位置はこれとは異なる方法で求めることもできる。例えば、トラッキング部６０４は、イベント記録処理が開始された直後のフレームにおいてのみＨＯＧ特徴量を用いた映像中の人検出を行う。そして、トラッキング部６０４は、以降のフレームにおいては、映像中の物体を、その特徴を学習しながら追跡する手法でプレーヤーの画面上での位置の軌跡を求めることができる。また、トラッキング部６０４は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）と、パーティクルフィルタとを用いてプレーヤーの画面上での軌跡を求めるようにしてもよい。

【0018】

次に、トラッキング部６０４は、求めたプレーヤーの画面上の位置から、各々のプレーヤーがピッチ上のどの位置にいるのかを算出する。以下、図８を用いて詳細に説明する。図８は、プレーヤー位置の算出過程の概要の一例を示す図である。
図８の（ａ）には、プレーヤーの位置算出に用いられる魚眼カメラ１８０１、魚眼カメラ１８０１の画像平面１８０３が示されている。また、図８の（ａ）における座標系１８０２は、ピッチの端を原点にとり、サイドライン方向をＸ軸に、垂直情報をＹ軸に、エンドライン方向をＺ軸とした右手系の座標系である。また、図８の（ａ）には、画像平面上で検出されたプレーヤーＡの位置１８０４、検出されたプレーヤーＡの足元の位置１８０５が示されている。また、図８の（ａ）には、カメラの焦点位置から画像平面上のプレーヤーＡの足元の位置１８０５に向けて伸ばされた半直線１８０６が示されている。
ここで、半直線１８０６と、座標系１８０２のＸＺ平面との交差点１８０８は、プレーヤーＡの足元の位置１８０７とほぼ一致する。これは、プレーヤーの跳躍力には限りがあり、その移動は地表面に限定されていることによる。トラッキング部６０４は、この過程をプレーヤーの数だけ繰り返すことで、プレーヤーが各々ピッチ上のどの位置にいるのかを計算することができる。

【0019】

図６の説明に戻る。
Ｓ９０５で、トラッキング部６０４は、ボールの追跡を行う。トラッキング部６０４は、ピッチ上のボールがどの位置にあるのかを算出する。ボールは選手とは異なりピッチ表面から離れることがあるため、トラッキング部６０４は、Ｓ９０４の処理とは異なる方法でボールの位置を求める。以下、図８の（ｂ）を用いて詳細に説明する。
Ｓ９０５において、トラッキング部６０４は、１台のカメラのみを用いたＳ９０４の処理とは異なり、２台のカメラを用いてボールの位置を求める。図８の（ｂ）には、２台の魚眼カメラ１８０１及び魚眼カメラ１８１４が示されている。２つの魚眼カメラは同じ高さにあり、光軸方向も一致しているため、トラッキング部６０４は、ステレオ法の１つである並行ステレオ法を利用することができる。また、図８の（ｂ）には、魚眼カメラ１８０１の画像平面１８０３上で検出されたボールの位置１８０９、魚眼カメラ１８１４の画像平面１８１５上で検出されたボールの位置１８１０が示されている。また、図８の（ｂ）には、魚眼カメラ１８０１の焦点位置から画像平面１８０３上のボールの位置１８０９に向けて伸ばされた半直線１８１１が示されている。また、魚眼カメラ１８１４の焦点位置から画像平面１８１５上のボールの位置１８１０に向けて伸ばされた半直線１８１２が示されている。トラッキング部６０４は、半直線１８１１と、半直線１８１２との交点１８１３の位置を求めることにより、ボール１８１６の位置を求めることができる。

【0020】

図６の説明に戻る。
Ｓ９０６で、トラッキング部６０４は、トラッキングを終了するか否かを判定する。トラッキング部６０４は、コンピュータ１０４がイベント記録処理を実行している限りはトラッキングを続ける。即ち、トラッキング部６０４は、Ｓ９０１からＳ９０５までの処理を繰り返す。
以上の処理により、トラッキングされたプレーヤー及びボールの位置は、図９のように表現することができる。図９は、トラッキング結果の一例を示す図である。
図９において、丸印で囲まれた数字４０１は、あるチームの該当する背番号を付けたプレーヤーのピッチ上での位置を示している。また、四角で囲まれた数字４０２は、対抗するチームの該当する背番号を付けたプレーヤーのピッチ上での位置を示している。また、黒印４０３は、ボールのピッチ上での位置を示している。コンピュータ１０４は、イベント記録処理の実行中、図９に示されるグラフィック表現をコンピュータ１０４の画面上に表示する。
以上、Ｓ８０１の処理について説明した。

【0021】

Ｓ８０２で、制御部６０３は、リスタート判定を行う。サッカーでは、試合は常にリスタートの一種であるキックオフから開始される。Ｓ８０２の処理の詳細について、図１０を用いて説明する。図１０は、リスタート判定に関する処理の一例を示すフローチャートである。
Ｓ１５０１で、制御部６０３は、アウトオブプレー、即ち、プレー中断のきっかけが何であるかを判定する。全てのスポーツにおいて、プレー中断と、その再開方法とはルールによって定められている。
試合が開始する場合、後半が開始する場合、ゴールが決まった場合には、キックオフから再開となるため、Ｓ１５０２で、制御部６０３は、キックオフ判定を行う。
ボールがサイドラインを割った場合には、スローインから再開されるため、Ｓ１５０３で、制御部６０３は、スローイン判定を行う。
ボールがエンドラインを割った場合には、最後にボールに誰が触れたかによってゴールキック又はコーナーキックから再開となる。そのため、Ｓ１５０４で、制御部６０３は、ゴールキック判定を行う。また、Ｓ１５０５で、制御部６０３は、コーナーキック判定を行う。

【0022】

ファウルやオフサイドにより試合が中断された場合には、フリーキックから再開されるため、Ｓ１５０６で、制御部６０３は、フリーキック判定を行う。
ペナルティエリア内での守り手側のファウルで中断された場合には、ペナルティキックから再開されるため、Ｓ１５０７で、制御部６０３は、ＰＫ判定を行う。
以上のリスタート判定方法のうち、Ｓ１５０２のキックオフ判定の処理の流れと、Ｓ１５０３のスローイン判定の処理の流れとについて、図１１及び図１２のフローチャートを用いて説明する。その他のリスタートの判定方法については説明を省略する。

【0023】

図１１は、キックオフ判定の処理の一例を示すフローチャートである。
Ｓ１６０１で、制御部６０３は、ボールがピッチ中央で静止しているか否か判定し、静止していると判定した場合、処理をＳ１６０２に進め、静止していないと判定した場合、Ｓ１６０１の処理を繰り返す。より具体的にいうと、制御部６０３は、トラッキング部６０４によるトラッキングの結果（以下、トラッキング情報という）に基づいてボールの動きを判定する。
Ｓ１６０２で、制御部６０３は、審判の笛が吹かれたか否かを判定し、吹かれたと判定した場合、処理をＳ１６０３に進め、吹かれていないと判定した場合、Ｓ１６０２の処理を繰り返す。より具体的にいうと、制御部６０３は、音声認識部６０５が集音部６０２を介して審判の笛の音を認識した場合、審判の笛が吹かれたと判定する。なお、ルール上、キックオフ時には必ず審判が笛を吹くものと定められている。
Ｓ１６０３で、制御部６０３は、ボールがピッチ中央から動き出したか否かを判定し、動き出したと判定した場合、キックオフ判定を終了する。即ち、制御部６０３は、試合がインプレー状態に移行したと判定し、処理をＳ８０３に進める。一方、制御部６０３は、ボールがピッチ中央から動き出していないと判定した場合、Ｓ１６０３の処理を繰り返す。

【0024】

図１２は、スローイン判定の処理の一例を示すフローチャートである。
Ｓ１７０１で、制御部６０３は、アウトオブバウンズとなった地点、即ち、ボールがサイドラインから飛び出した地点付近に、プレーヤーが出現したか否かを判定し、出現したと判定した場合、処理をＳ１７０２に進める。一方、制御部６０３は、出現しなかったと判定した場合、Ｓ１７０１の処理を繰り返す。より具体的にいうと、制御部６０３は、トラッキング部６０４によるトラッキング情報に基づいてプレーヤーの出現を判定する。また、ここでいうボールがサイドラインから飛び出した地点付近とは、ボールがサイドラインから飛び出した地点から予め定められた距離内の位置のことをいう。
Ｓ１７０２で、制御部６０３は、出現したプレーヤーがスローインを行ったか否かを判定し、行ったと判定した場合、処理をＳ１７０３に進め、行っていないと判定した場合、Ｓ１７０２の処理を繰り返す。より具体的にいうと、行動認識部６０６は、プレーヤーの行動を認識（判定）する。そして、制御部６０３は、行動認識部６０６による認識情報から、出現したプレーヤーがスローインを行ったか否かを判定する。プレーヤーがスローインアクションを行った場合にも、プレーヤーがフェイントを行い実際にはボールを投げていない場合がある。そのため、制御部６０３は、実際のボールの動きに基づいて、実際にスローインが行われたか否かを判定する。より具体的にいうと、制御部６０３は、トラッキング部６０４によるボールのトラッキング情報から、実際にスローインが行われたか否かを判定する。行動認識部６０６による行動判定処理の詳細については、図１５等を用いて後述する。

【0025】

Ｓ１７０３で、制御部６０３は、ボールがピッチ内で動き出したか否かを判定し、動き出したと判定した場合、スローイン判定を終了する。即ち、制御部６０３は、試合がインプレー状態に移行したと判定し、処理をＳ８０３に進める。一方、制御部６０３は、ボールがピッチ内で動き出していないと判定した場合、処理をＳ１７０２に戻す。
以上、リスタート判定のうち、キックオフ判定と、スローイン判定との処理手順について説明した。なお、制御部６０３は、説明を省略したゴールキック判定、コーナーキック判定、フリーキック判定及びＰＫ判定についても、予め定められた判定手順によりインプレー状態への移行を判定することができる。

【0026】

図５の説明に戻る。
Ｓ８０３で、制御部６０３は、インプレー判定を行う。Ｓ８０３の処理の詳細について、図１３を用いて説明する。図１３は、インプレー判定処理の一例を示すフローチャートである。
Ｓ１００１で、制御部６０３は、ボールと、人との接触があったか否かを、トラッキング部６０４によるトラッキング情報から判定し、接触があったと判定した場合、処理をＳ１００２に進め、接触がなかったと判定した場合、処理をＳ１００３に進める。インプレー状態においては、パスやドリブル、シュート等、イベントが起こるのはボールと、プレーヤーとの接触があった場合である。ボールと、プレーヤーとの接触がない時間帯や、ボールが転がっている時間等では、アウトオブプレーとなる場合を除いてイベントは発生しない。

【0027】

上述したように、制御部６０３は、トラッキング部６０４によるトラッキング情報に基づいて、ボールと、人との接触があったか否かを判定することができる。まず、トラッキング部６０４は、図９のように表現されるピッチ上のプレーヤーの位置と、ボールの軌道とから、ボールがプレーヤーの近辺を通過する瞬間又はプレーヤーに接触する瞬間（タイミング）を割り出す。更に、トラッキング部６０４は、割り出した瞬間における前後の予め定められた時間において、ボールの動きベクトルに変化があるか否かを判定する。ここで、トラッキング部６０４は、ボールの動きベクトルを、逐一トラッキングしているボールの位置情報を使って求めることができる。トラッキング部６０４は、動きベクトルに予め定められた閾値よりも大きな変化がある場合には、ボールと、プレーヤーとの間に接触があったものと認識することができる。
制御部６０３は、Ｓ１００１の判定処理の際に、図１４に示されるイベント情報テーブルの時間と、接触者とについて記述し、記録部６０８に記憶する。図１４は、イベント情報テーブルの一例を示す図である。

【0028】

図１３の説明に戻る。
Ｓ１００２で、イベント分類部６０７は、イベントの内容を判定する。Ｓ１００２の処理の詳細について、図１５を用いて説明する。図１５は、イベントの内容判定処理の一例を示すフローチャートである。
Ｓ１２０１で、制御部６０３は、ボールに接触したのが誰かを判定する。より具体的にいうと、制御部６０３は、ボールに接触したのがフィールドプレーヤーであるか、ゴールキーパーであるかを判定し、フィールドプレーヤーであると判定した場合、処理をＳ１２０２に進める。一方、制御部６０３は、ゴールキーパーであると判定した場合、処理をＳ１２０４に進める。ここで、制御部６０３は、図１４に示されるイベント情報テーブルの接触者の情報を参照することによって判定する。
Ｓ１２０２で、行動認識部６０６は、プレーヤーの行動判定を行う。より具体的にいうと、行動認識部６０６は、ボールがプレーヤーに接触した瞬間、プレーヤーがどのような行動をとっていたかを判定する。サッカーでは、このようなフィールドプレーヤーの行動の種類として、キック、ヘディング、胸トラップ、足トラップ、スライディング等がある。その他、単にフィールドプレーヤーの体にボールが当たり、プレーヤーは何の行動もしていない場合もある。行動認識部６０６は、上述の行動を判定し、処理をＳ１２０３に進める。この際、制御部６０３は、行動認識部６０６によるプレーヤーの行動判定結果に基づいて、図１４に示されるイベント情報テーブルの行動種別について記述することができる。

【0029】

上述の行動判定は、以下のような手順で行われる。
上述したように、トラッキング部６０４は、Ｓ９０４でプレーヤーの位置を追跡し、図７の（ｂ）に示されるように映像上の人物を囲むバウンディングボックス３０６、３０７、３０８、３０９を定義している。このバウンディングボックスは、映像上の各人の移動に伴って移動する。
バウンディングボックス内の映像から、その映像の特徴量を求めて、バウンディングボックス内の人がどのような行動を行っているかを求める技術が知られている。この技術は、人を囲んだバウンディングボックス内の映像からオプティカルフローを算出し、その値からモーション記述子を算定する。更に、この技術は、算定した記述子と、記憶領域に記憶されている予め分類された人の行動のモーション記述子とを比較することによって人の行動を分類している。この技術では、予め人が様々な行動を行っている映像を収集し、その映像を使って、様々な行動のモーション記述子を算定しておく必要がある。なお、ここでいう様々な行動としては、人がとり得るあらゆる行動を考慮する必要はなく、サッカーの試合中にとり得る行動のみを対象とすればよい。

【0030】

図１６は、プレーヤーがサッカーの試合中にとり得る行動の一例を示した図である。図１６に示される行動に関する情報は、行動情報の一例である。
サッカーでは、フィールドプレーヤーと、ゴールキーパーとのとり得る行動には差がある。即ち、プレーヤーの種別（属性）に応じて、とり得る行動に差がある。そのため、コンピュータ１０４は、予め図１６に示されるような行動を行っている映像を収集して行動毎に分類し、各々のモーション記述子を算定しておく。これにより、行動認識部６０６は、Ｓ１２０２の処理においてプレーヤーの行動判定を行うことができる。
行動認識部６０６によるプレーヤーの行動判定は、上述した方法に限る必要はない。例えば、ＣＨＬＡＣ（Ｃｕｂｉｃ Ｈｉｇｈ ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ Ｃｏｒｒｅｌａｔｉｏｎ）特徴量を用いてプレーヤーの行動を判定する技術が知られている。ＣＨＬＡＣ特徴量とは物体の動きや形状を表すことができる特徴量であり、人間の動作のように時空間中を連続的に変化する動きに適した特徴量である。また、人の動きのみならず、人の動きに関連するボール等のオブジェクトを認識し、学習することによって人の行動を判定する技術が知られている。行動認識部６０６は、これらの技術を用いて、映像中から人及びボールを認識し、プレーヤーの行動を判定することができる。

【0031】

Ｓ１２０４で、行動認識部６０６は、ゴールキーパーの行動判定を行う。ゴールキーパーは、フィールドプレーヤーの行う行動に加えて、ボールをキャッチする行動も行い得る。そのため、行動認識部６０６は、図１６に示されるように行動判定の選択肢としてキャッチも含めて行動を判定する。
Ｓ１２０３で、イベント分類部６０７は、フィールドプレーヤーのイベント内容の判定を行う。サッカーでは、例えばプレーヤーがキックを行った場合、その行動内容だけではイベント内容がシュートであるかパスであるかわからない。そのため、イベント分類部６０７は、Ｓ１２０３においてフィールドプレーヤーの行動以外の情報も参照してフィールドプレーヤーのイベント内容を判定する。Ｓ１２０３の処理の詳細について、図１７を用いて説明する。図１７は、フィールドプレーヤーのイベント内容判定処理の一例を示すフローチャートである。
Ｓ１３０１で、イベント分類部６０７は、Ｓ１２０２でプレーヤー行動がどう判定されたかについて、図１４のイベント情報テーブルを参照する。そして、イベント分類部６０７は、参照の結果、プレーヤーの行動がキック若しくはヘディングである場合、処理をＳ１３０９に進め、胸トラップ若しくは足トラップである場合、処理をＳ１３０７に進める。また、イベント分類部６０７は、参照の結果、スライディングである場合、処理をＳ１３０４に進め、行動が上記の何れでもない場合、処理をＳ１３０２に進める。

【0032】

Ｓ１３０２で、イベント分類部６０７は、１つ前のイベントが何であったかを図１４のイベント情報テーブルの１つ上の行を参照することにより判定する。イベント分類部６０７が処理をＳ１３０２に進める場合というのは、プレーヤーは何の行動もしていないが、ボールには接触していたという場合である。そのような事態が起こり得るのは、ボールがプレーヤーに向かって飛んできて、プレーヤーに当たってしまったという場合である。１つ前のイベントが、敵チーム側のパス若しくはシュートである場合、このようなプレーは有効なプレーの１つであるため、イベント分類部６０７は、処理をＳ１３０３に進め、起こったイベントを「ブロック」と判定する。それ以外の場合、イベント分類部６０７は、何のイベントが起こったものとも判定せず、イベント内容判定を終了する。
Ｓ１３０４で、イベント分類部６０７は、プレーヤーの行動後にボールがどこに移動したかを、図１４のイベント情報テーブルの１つ下の行を参照することにより判定する。イベント分類部６０７が処理をＳ１３０４に進める場合というのは、プレーヤーがスライディングを行い、ボールに接触した場合である。プレーヤーがスライディングを行い、ボールを味方チームのものとしたプレーは有効なプレーの１つであるため、イベント分類部６０７は、処理をＳ１３０５に進め、起こったイベントを「成功タックル」と判定する。また、味方プレーヤー以外にボールが渡った場合、イベント分類部６０７は、処理をＳ１３０６に進め、起こったイベントを「失敗タックル」と判定する。

【0033】

Ｓ１３０７で、イベント分類部６０７は、起こったイベントを「トラップ」と判定し、イベント内容判定を終了する。
Ｓ１３０９で、イベント分類部６０７は、ボールをキック若しくはヘディングしたプレーヤーにシュートの意図があったか否かを判定するため、キック若しくはヘディング後のボールの軌道をトラッキング部６０４によるトラッキング情報によりチェックする。イベント分類部６０７は、キック若しくはヘディング後のボールが、ゴール方向に向かって、予め定められた速度以上で打ち出されていれば、プレーヤーにはシュートの意図があったものと判定する。
図１８は、ボールの軌道判定に関する説明の概要の一例を示す図である。
図１８に示されるピッチは、上空から見た上面図として描かれている。図１８には、ボール１９０１と、ゴール１９０２とが示されている。また、図１８には、ボールか１９０１からゴール１９０２の左端に向けて引かれた直線１９０４、ボールか１９０１からゴール１９０２の右端に向けて引かれた直線１９０５が示されている。
イベント分類部６０７は、ボールの移動ベクトルのうちピッチ面に平行な成分１９０３が直線１９０４及び直線１９０５の間に収まる場合、又は収まらない場合でも角度のずれが３０度以内に収まる場合、ボールの軌道はゴール方向に向かっているものとする。

【0034】

また、サッカーにおけるプレーヤーは、相手ゴールからの距離が遠くなるほど、より早い速度でボールを蹴り出す場合がある。一方、プレーヤーは、相手ゴールの近くでは、ゴールに流し込むようにボールを蹴り出す場合がある。サッカーの場合、トッププレーヤーのキックによって蹴り出されるボールの最高速度は約３０〜３５ｍ／ｓ程度とされている。
そのため、Ｓ１３０９で、イベント分類部６０７は、蹴り出された直後のボールの速度が１５ｍ／ｓ以上であれば、プレーヤーにシュートの意図があったものと判定する。また、イベント分類部６０７は、前記ボールの速度が１５ｍ／ｓ未満の場合であっても、ゴールラインまで１秒以内に到達する速度で蹴り出された場合には、プレーヤーにシュートの意図があったものと判定する。なお、イベント分類部６０７が判定を行う際の閾値は上記の値に限る必要はなく、ユーザが任意に設定することができる。
Ｓ１３０９で、イベント分類部６０７は、プレーヤーの行動後のボールの軌道がゴール方向に向かい、ボールの速度が予め定められた速度以上であり、シュートであるものと判定した場合、処理をＳ１３１０に進める。一方、イベント分類部６０７は、シュートでないものと判定した場合、処理をＳ１３１３に進める。

【0035】

サッカーでは、試合内容の統計がとられる場合、シュートの数がカウントされる際に、そのシュートがゴール枠内に飛んだものであるか、ゴール枠外に飛んだものであるかも併せてカウントされる場合が多い。Ｓ１３１０で、イベント分類部６０７は、シュート後にボールがゴール枠内に飛んだ枠内シュートであるか、ゴール枠外に飛んだ枠外シュートであるかを判定する。
本実施形態において、イベント分類部６０７は、プレーヤーがボールを蹴り出した直後のボールが、重力加速度を受ける等加速度運動をするものとしてその軌道を推測し、軌道がゴール枠内に向かうか、ゴール枠外に向かうかを判定するものとする。イベント分類部６０７は、起動が枠内に向かうと判定した場合、処理をＳ１３１１に進め、起こったイベントを「枠内シュート」として判定する。また、イベント分類部６０７は、起動が枠外に向かうと判定した場合、処理をＳ１３１２に進め、起こったイベントを「枠外シュート」として判定する。

【0036】

プレーヤーがボールをキック又はヘディングでボールを打ち出した場合であって、その動作がシュートではない場合、イベント分類部６０７は、Ｓ１３１３の処理を実行する。サッカーでは、このような場合として、パス、ドリブル、クリアの３つの場合がある。
Ｓ１３１３で、イベント分類部６０７は、プレーヤーの行動後にボールがどこにたどり着いたかを、図１４のイベント情報テーブルの１つ下の行を参照することにより判定する。イベント分類部６０７は、ボールが味方プレーヤーにたどり着いたと判定した場合、処理をＳ１３１４に進め、起こったイベントを「成功パス」として判定する。また、イベント分類部６０７は、ボールが再びプレーヤー自身に触れたと判定した場合、処理をＳ１３１５に進め、起こったイベントを「ドリブル」として判定する。また、イベント分類部６０７は、ボールが相手のプレーヤーにたどり着いたと判定した場合、処理をＳ１３１６に進める。

【0037】

Ｓ１３１６で、イベント分類部６０７は、プレーヤーの行動地点がどこであるのか判定し、行動地点がペナルティエリア内であると判定した場合、処理をＳ１３１８に進める。一方、イベント分類部６０７は、プレーヤーの行動地点がペナルティエリア内以外であると判定した場合、処理をＳ１３１７に進め、起こったイベントを「失敗パス」と判定する。
Ｓ１３１８で、イベント分類部６０７は、１つ前のイベントが何であったかを、図１４のイベント情報テーブルの１つ上の行を参照することによって判定する。イベント分類部６０７は、１つ前のイベントが敵チーム側のパス若しくはシュートであったと判定した場合、処理をＳ１３１９に進め、起こったイベントを「クリア」と判定する。一方、イベント分類部６０７は、１つ前のイベントが敵チーム側のパス若しくはシュート以外であったと判定した場合、処理をＳ１３１７に進め、起こったイベントを「失敗パス」と判定する。ここで、「クリア」とは、ゴールされないようにボールを跳ね返すというイベントであり、プレーヤーにとってマイナスの評価が付される「失敗パス」とは別のイベントとして区別される。
イベント分類部６０７は、以上の処理によりイベントを判定することができ、判定したイベントのイベント情報に基づいて、図１４に示すイベント情報テーブルのようなダイジェストとして作成することができる。そして、制御部６０３は、イベント分類部６０７で作成されたイベント情報テーブルを記録部６０８に記録する。これにより、ユーザは、イベント情報を有効利用することができる。
以上、図１７を用いて、Ｓ１２０３のフィールドプレーヤーのイベント内容判定処理について説明した。

【0038】

図１５の説明に戻る。
Ｓ１２０５で、イベント分類部６０７は、ゴールキーパーのイベント内容判定を行う。
図１９は、Ｓ１２０５のゴールキーパーのイベント内容判定処理の一例を示すフローチャートである。
Ｓ１４０１で、イベント分類部６０７は、Ｓ１３０１の処理と同様に、プレーヤーの行動が何であったのかを判定し、キックやヘディングが行われたと判定した場合、フィールドプレーヤーと同等のプレーが行われたものとみなし、処理をＳ１２０３に進める。そして、イベント分類部６０７は、図１７を用いて説明したフィールドプレーヤーのイベント内容判定を行う。また、イベント分類部６０７は、キャッチが行われたと判定した場合、処理をＳ１４０２に進め、イベントを「キャッチ」と判定する。また、イベント分類部６０７は、その他の行動、例えば敵チームのシュートを体に当ててはじいたような行動であると判定した場合、処理をＳ１４０３に進め、イベントを「セーブ」と判定する。
以上、Ｓ１００２のイベント内容判定処理について説明した。

【0039】

図１３の説明に戻る。
Ｓ１００３で、イベント分類部６０７は、アウトオブプレーの判定、即ち、インプレーの状態から試合が停止するアウトオブプレーの状態となった際の要因（イベント）を判定する。
図２０は、Ｓ１００３のアウトオブプレー判定処理の一例を示すフローチャートである。
サッカーでは、インプレーの状態から予め定められた条件が満たされると、プレーが止まるアウトオブプレーの状態となる。
Ｓ１１０１で、イベント分類部６０７は、トラッキング部６０４によるトラッキング情報と、予め記憶されているピッチ情報とに基づいて、ボールがピッチの外に出たか否かを判定する。そして、イベント分類部６０７は、ピッチの外に出たと判定した場合、処理をＳ１１０８に進め、出ていないと判定した場合、処理をＳ１１０２に進める。

【0040】

Ｓ１１０２で、イベント分類部６０７は、審判の笛が吹かれたか否かを判定する。より具体的にいうと、音声認識部６０５が集音部６０２を介してピッチ上の音を認識する。そして、イベント分類部６０７は、音声認識部６０５による音声の認識情報に基づいて、審判の笛が吹かれたか否かを判定する。
サッカーでは、アウトオブプレーとなる場合に笛が吹かれる場合があり、反則等の場合には笛が１回吹かれ、前半終了の場合には２回、後半終了の場合には３回吹かれる。Ｓ１１０２で、イベント分類部６０７は、音声認識部６０５による音声の認識情報から審判の笛が１回吹かれたと判定した場合、処理をＳ１１０５へ進める。また、イベント分類部６０７は、音声認識部６０５による音声の認識情報から審判の笛が２回以上吹かれたと判定した場合、処理をＳ１１０３に進める。また、イベント分類部６０７は、音声認識部６０５による音声の認識情報から審判の笛の音が認識されなかったと判定した場合、アウトオブプレーとならなかったものと判定し、アウトオブプレー判定を終了する。

【0041】

Ｓ１１０３で、イベント分類部６０７は、時間が終了時間近辺であるか否か判定する。ここでいう終了時間近辺とは、終了時間から予め定められた時間内であることを意味する。サッカーは通常４５分ハーフであるため、本実施形態では、試合開始から４５分又は後半開始から４５分が経過している場合、イベント分類部６０７は、処理をＳ１１０４に進める。一方、イベント分類部６０７は、試合開始から４５分経過していない場合や後半開始から４５分経過していない場合、処理をＳ１１０９に進める。
Ｓ１１０４で、イベント分類部６０７は、「前半又は後半終了」によりアウトオブプレーとなったと判定する。このように、イベント分類部６０７は、対象とする人物が行動を行ったタイミング（タイミング情報）を加味してイベントを判定することができる。
Ｓ１１０５で、イベント分類部６０７は、行動認識部６０６による認識情報に基づいて、副審が旗を上げているか否かを判定し、上げていると判定した場合、処理をＳ１１０６に進め、上げていないと判定した場合、処理をＳ１１０７に進める。サッカーでは、副審はピッチのサイドラインに沿ってサイドライン外側を移動し、目視でオフサイドの判定を行い、オフサイドである場合には手に持っている旗を頭上に上げるジェスチャを行う。
Ｓ１１０６で、イベント分類部６０７は、「オフサイド」によりアウトオブプレーとなったと判定する。
Ｓ１１０７で、イベント分類部６０７は、「ファウル」によりアウトオブプレーとなったと判定する。

【0042】

Ｓ１１０８では、イベント分類部６０７は、トラッキング部６０４によるトラッキング情報と、予め記憶されているピッチ情報とに基づいて、ボールがゴールの中に入ったか否かを判定する。イベント分類部６０７は、ボールがゴールの中に入ったと判定した場合、処理をＳ１１０９に進め、入っていないと判定した場合、処理をＳ１１１１に進める。
Ｓ１１０９で、イベント分類部６０７は、行動認識部６０６による認識情報に基づいて、審判の行動を判定する。サッカーの場合、ボールがゴールに入った場合であって必ずしも得点が入ったものになるとは限らず、例えばファウルやオフサイドにより得点が認められない場合がある。審判は、得点が決まった場合にはセンターサークルに向けて片手を上げるジェスチャを行い、センターサークル方向に移動する。イベント分類部６０７は、行動認識部６０６による認識情報から、上記のような行動があったと判定した場合、処理をＳ１１１０に進め、上記のような行動がなかったと判定した場合、処理をＳ１１０５に戻す。
Ｓ１１１０で、イベント分類部６０７は、「ゴール」によりアウトオブプレーとなったと判定する。
イベント分類部６０７は、以上の処理により判定したイベントのイベント情報に基づいて、図１４に示すイベント情報テーブルのようなダイジェストとして作成することができる。そして、制御部６０３は、イベント分類部６０７で作成されたイベント情報テーブルを記録部６０８に記録する。これにより、ユーザは、イベント情報を有効利用することができる。
以上、図２０を用いて、Ｓ１００３のアウトオブプレー判定処理について説明した。また、図１３を用いて、Ｓ８０３のインプレー判定処理について説明した。

【0043】

図５の説明に戻る。
Ｓ８０４で、制御部６０３は、図２０の判定結果に基づいて、アウトオブプレーとなったか否かを判定し、アウトオブプレーとなったと判定した場合、処理をＳ８０２に戻し、アウトオブプレーとなっていないと判定した場合、処理をＳ８０５に進める。
Ｓ８０５で、制御部６０３は、試合終了となったか否かを判定し、試合終了となったと判定した場合、イベント記録処理を終了し、試合終了となっていないと判定した場合、処理をＳ８０３に戻す。
以上、本実施形態におけるサッカーのイベント記録システムの構成及び処理の流れについて説明した。本実施形態のイベント記録システムによれば、人の手を介さず、サッカーの競技中におけるイベントを自動で判定することができ、更に、判定したイベントのダイジェストを作成することができる。

【0044】

＜実施形態２＞
本実施形態では、バスケットボールのイベント記録システムについて説明する。
図２１は、本実施形態におけるイベント記録システムの概要の一例を示す図である。
本実施形態におけるバスケットボールは、体育館内で行われる５人対５人の競技であり、互いのチームは各々異なる色で構成されるユニフォームを着用している。また、審判及び副審によって試合は裁かれ、いずれの審判もピッチ内を移動する。
コート２１０５のコーナーの一角に、２つのカメラ２１０１、カメラ２１０２が予め定められた高さで設置されている。カメラ２１０１及びカメラ２１０２の２つのカメラは、同じ高さに設置されている。また、カメラ２１０１及びカメラ２１０２と、コート２１０５との相対位置関係は、予め測定器を用いて測定されており、相対位置関係情報として記憶領域に記憶されている。また、記憶領域には、コート２１０５のサイズやコート２１０５上のゴールのサイズ等の情報を含む３次元情報（以下、コート情報という）が予め記憶されている。

【0045】

カメラ２１０１及びカメラ２１０２の映像は、デジタル信号ケーブル等を介して、コンピュータ１０４に入力される。なお、カメラ２１０１及びカメラ２１０２の映像は、無線によりコンピュータ１０４に入力されてもよい。
カメラ２１０１及びカメラ２１０２は、設置された位置の反対側にあるハーフコートを視界に収めている。また、カメラ２１０３及び２１０４は、カメラ２１０１及びカメラ２１０２が設置されている同サイドの、反対側のコーナーに配置されており、設置された位置の反対側にあるハーフコートを視界に収めている。
本実施形態におけるイベント記録システムの構成は、実施形態１と同様であるため説明を省略する。また、本実施形態におけるイベント記録システムの基本的な処理の流れは、図５と同様である。

【0046】

以下、図５を用いて、本実施形態における処理について説明する。
Ｓ８０１で、トラッキング部６０４は、トラッキング処理を行う。本実施形態で、トラッキング部６０４は、実施形態１のように２台の魚眼カメラによりトラッキングを行うのではなく、４台のカメラにより図６のトラッキング処理を行う。この際、各々のコーナーに置かれた２台の組となるカメラは、各々反対側のハーフコートが収まるように撮影する。
トラッキング部６０４は、各々のカメラの組について撮影されているハーフコートを対象として、実施形態１と同様に図６のフローチャートの処理を行う。即ち、本実施形態で実行されるイベント記録処理では、トラッキング部６０４が、図６に示される処理を各々のカメラの組について１つずつ実行する。図６の処理の詳細については、実施形態１と同様であるため説明を省略する。

【0047】

Ｓ８０２以降の処理は、実施形態１で説明した処理をバスケットボールに適用した処理となる。Ｓ８０２以降の処理の詳細については、説明を省略する。
図２２は、バスケットボールの進行状態の状態遷移の一例を示す図である。
コンピュータ１０４は、図２２の状態遷移図に示される項目に従って、図１３のインプレー判定、図２０のアウトオブプレー判定、図１５のイベント内容判定、図１０のリスタート判定を行う。これにより、本実施形態のイベント記録システムにおけるコンピュータ１０４は、バスケットボールのプレー中に起こるイベントを自動で判定して、記録することができる。
これらの判定の際に、サッカーと大きく異なる点として留意すべき点は、バスケットボールではフィールドプレーヤーが全て同等であり、ゴールキーパーのように他のプレーヤーと異なる行動を行うプレーヤーが存在しないという点である。そのため、行動認識部６０６は、実施形態１で行っていたようにフィールドプレーヤーと、ゴールキーパーとを区別して行動判定を行う必要がない。
本実施形態のイベント記録システムは、サッカーやバスケットボール等のようにフィールドを２チームのプレーヤーが移動し、ボール若しくはそれに準ずるものを用いて一定時間の間に得点を競い合うスポーツに関して同様に処理をすることができる。そのようなスポーツとしては、他に、フットサル、ラグビー、アイスホッケー、ハンドボール、ホッケー、水球等がある。
以上、本実施形態のイベント記録システムによれば、撮影するスポーツに応じて柔軟にイベント判定し、ダイジェストを作成することができる。

【0048】

＜実施形態３＞
本実施形態では、バレーボールのイベント記録システムについて説明する。
図２３は、本実施形態におけるイベント記録システムの概要の一例を示す図である。
本実施形態におけるバレーボールは、体育館内で行われる６人対６人の競技であり、互いのチームは各々異なる色で構成されるユニフォームを着用している。また、主審及び副審、更に２名若しくは４名の線審によって試合は裁かれ、何れの審判もピッチ外に位置し、移動しない。主審は、コート中央の一方の支柱の近くに設置された審判台に上がる。
図２３には、コート２２０１、ネット２２０２、アタックライン２２０３が示されている。
本実施形態では、コート２２０１のサイドライン脇に、２つの魚眼カメラ１０１が予め定められた高さで設置されている。２つの魚眼カメラ１０１は、同じ高さで、コート２２０１のサイドラインからの距離が等距離であり、更に、光軸方向は正面、即ち、コートのエンドライン方向と一致させて配置されている。魚眼カメラ１０１と、コート２２０１との相対位置関係は、予め測定器を用いて測定されており、相対位置関係情報として記憶領域に記憶されている。また、記憶領域には、コート２２０１のサイズやネット２２０２のサイズ等の情報を含む３次元情報（以下、コート情報という）が予め記憶されている。魚眼カメラ１０１の映像は、デジタル信号ケーブル等を介して、コンピュータという１０４に入力される。なお、魚眼カメラ１０１の映像は、無線によりコンピュータ１０４に入力されてもよい。
本実施形態におけるイベント記録システムの構成は、実施形態１と同様であるため説明を省略する。

【0049】

以下、本実施形態の処理について、図２４を用いて説明する。
図２４は、本実施形態における処理の一例を示すフローチャートである。
Ｓ２４０１処理は、Ｓ８０１の処理と同様であるため説明を省略する。
図２５は、バレーボールの進行状態の状態遷移の一例を示す図である。
コンピュータ１０４は、図２５の状態遷移図に示される項目に従って、以降の処理を実行する。
Ｓ２４０２で、制御部６０３は、サーブ判定を行う。Ｓ２４０２の処理の詳細について、図２６を用いて説明する。図２６は、サーブ判定処理の一例を示すフローチャートである。
Ｓ２５０１で、制御部６０３は、トラッキング部６０４によるトラッキング情報と、予め記憶されているコート情報とに基づいて、サービスゾーンにプレーヤーが現れたか否かを判定し、現れたと判定した場合、処理をＳ２５０２に進める。一方、制御部６０３は、サービスゾーンにプレーヤーが現れなかったと判定した場合、Ｓ２５０１の処理を繰り返す。ここで、サービスゾーンとは、コートのエンドラインの後方であり、プレーヤーがサーブを行う位置である。

【0050】

Ｓ２５０２で、制御部６０３は、プレーヤーがサービスを行う行動を行ったか否かを判定する。より具体的にいうと、行動認識部６０６は、プレーヤーの行動を認識（判定）する。そして、制御部６０３は、行動認識部６０６による認識情報から、プレーヤーがサービスを行う行動を行ったか否かを判定する。バレーボールのサービスには複数の打ち方が存在し、大きく分けて、アンダーハンドサービス、サイドハンドサービス、オーバーハンドサービス、ジャンプサービスがある。Ｓ２５０２で、制御部６０３は、プレーヤーがこれらの行動を行ったか否かを判定し、行ったと判定した場合、処理をＳ２５０３に進め、行っていないと判定した場合、Ｓ２５０２の処理を繰り返す。
Ｓ２５０３で、制御部６０３は、トラッキング部６０４によるトラッキング情報から、ボールがコート内で動き出したか否かを判定し、動き出したと判定した場合、サーブ判定処理を終了する。一方、制御部６０３は、ボールがコート内で動き出していないと判定した場合、処理をＳ２５０２に戻す。

【0051】

図２４の説明に戻る。
Ｓ２４０３で、制御部６０３は、インプレー判定を行う。Ｓ２４０３の処理の詳細について、図２７を用いて説明する。図２７は、インプレー判定処理の一例を示す図である。
Ｓ２６０１で、制御部６０３は、ボールと、人との接触があったか否かを、トラッキング部６０４によるトラッキング情報から判定し、接触があったと判定した場合、処理をＳ２６０２に進め、接触がなかったと判定した場合、処理をＳ２６０５に進める。なお、トラッキング部６０４は、実施形態１で説明したように動きベクトルを用いて前記接触を認識する。
Ｓ２６０２で、行動認識部６０６は、プレーヤーの行動判定を行う。バレーボールにおけるプレーヤーの行動としては、ブロック、アンダーハンドパス、アンダーハンドレシーブ、オーバーハンドパス、オーバーハンドレシーブ、ワンハンドパス、ワンハンドレシーブ、スパイク等がある。ここで、パスと、レシーブとは、ボールが敵又は味方のどちらから来たかにより、プレーヤーが同じ行動を行っていても違う名称で呼ばれる。

【0052】

Ｓ２６０３で、制御部６０３は、行動認識部６０６による認識情報から、プレーヤーがスパイクしたか否かを判定し、スパイクしたと判定した場合、処理をＳ２６０４に進め、スパイク以外の他の行動をしたと判定した場合、処理をＳ２６０５に進める。
Ｓ２６０４で、制御部６０３は、スパイクを行ったプレーヤーのトラッキング情報を参照し、プレーヤーがどの位置でジャンプをしたか判定する。バレーでは、ネット２２０２を正面に見て、アタックライン２２０３より後方でジャンプしたスパイクは、バックアタックと呼ばれる。即ち、Ｓ２６０４で、制御部６０３がプレーヤーのジャンプ位置を判定することにより、プレーヤーがバックアタックしたか否かを判定することができる。
Ｓ２６０５で、制御部６０３は、トラッキング部６０４によるトラッキング情報と、予め記憶されているコート情報とから、ボールが終着した位置を判定する。バレーボールでは、プレーヤーがボールに触れた後のボールが終着する領域として、敵コート内、敵の体、味方の体、味方コート内、コート外の５つの領域がある。

【0053】

Ｓ２６０６で、イベント分類部６０７は、イベント内容の判定を行う。より具体的にいうと、イベント分類部６０７は、Ｓ２６０６までの処理で取得した情報から、イベントをサーブ、レシーブ、パス、ブロック、アタック、バックアタックの６つに分類し、各々のプレーが成功であったか否かを判定する。ここで、レシーブとは、相手側が最後に触れたボールに触れることである。パスとは、味方が最後に触れたボールに触れることである。アタックとは、相手側のコートにボールを打ち込むことである。イベント分類部６０７は、このような判定を行い、判定結果に基づいて、図２８に示されるようなイベント情報テーブルを作成する。図２８は、イベント情報テーブルの一例を示す図である。また、上述したように、イベント分類部６０７は、プレーヤーが行動を行った位置（位置情報）を加味してイベントを判定することができる。
Ｓ２６０７で、制御部６０３は、トラッキング部６０４によるトラッキング情報と、予め記憶されているコート情報とから、ボールがコート外若しくはコート面に着いたか否かを判定する。ボールがコート外若しくはコート面に着いたら何れかの得点が記録されプレーが終了するため、制御部６０３は、インプレー判定をいったん終了する。プレーが続行されていれば、制御部６０３は、処理をＳ２６０１に戻し、次のプレーの判定を行う。
以上、図２７を用いて、Ｓ２４０３のインプレー判定について説明した。

【0054】

図２４の説明に戻る。
Ｓ２４０４で、制御部６０３は、行動認識部６０６による認識情報から、主審の行動を判定する。バレーボールでは、主審は、得点後に次のサーブとなる側に手を上げる。また、主審は、得点後にセットが終了した場合、両手を胸の前で交差する。Ｓ２４０３で、制御部６０３は、主審がこれらの行動を行ったか否かを判定する。
Ｓ２４０５で、制御部６０３は、試合が終了したか否か判定し、終了したと判定した場合、図２４のフローチャートの処理を終了し、終了していないと判定した場合、処理をＳ２４０２に戻す。より具体的にいうと、制御部６０３は、Ｓ２４０４で主審がセット終了のジェスチャをしていた場合、処理を終了する。
以上、本実施形態におけるバレーのイベント記録システムの構成及び処理の流れについて説明した。本実施形態のイベント記録システムによれば、人の手を介さず、バレーボールの競技中におけるイベントを自動で判定し、図２７のようなイベント情報テーブルを作成することができる。
本実施形態のイベント記録システムは、バレー等のように、フィールドの区域を２つに分割して境界を作り、ボール若しくはそれに準ずるものを用いて得点を競い合うスポーツに関して同様に処理をすることができる。そのようなスポーツとしては、他に、テニス、バドミントン、卓球等がある。

【0055】

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【0056】

以上、上述した各実施形態によれば、撮影中のシーンにおいて起こるイベントの情報を自動で判定して関係者に利用可能とするための技術を提供することができる。

【0057】

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】