特許 6606985 画像処理方法、画像処理プログラムおよび画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6606985

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】画像処理方法、画像処理プログラムおよび画像処理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20191111BHJP

   A63B 69/00 20060101ALI20191111BHJP

   H04N 5/765 20060101ALI20191111BHJP

   H04N 5/76 20060101ALI20191111BHJP

【ＦＩ】

   G06T7/20 300Z

   A63B69/00 A

   H04N5/765

   H04N5/76

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2015-218623(P2015-218623)

(22)【出願日】2015年11月6日

(65)【公開番号】特開2017-91092(P2017-91092A)

(43)【公開日】2017年5月25日

【審査請求日】2018年7月6日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】佐々木 和雄

(72)【発明者】

【氏名】矢吹 彰彦

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００８−２１９４８９（ＪＰ，Ａ）

【文献】 国際公開第２００６／０７７８０６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００３／００７３５１８（ＵＳ，Ａ１）

【文献】 特開２０１４−１８７４８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ａ６３Ｂ ６９／００

Ｈ０４Ｎ ５／７６

Ｈ０４Ｎ ５／７６５

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する画像処理方法であって、
撮影装置によって撮影された連続する複数の画像データを取得し、前記複数の画像データに含まれる画像データの第１部分領域に、所定の特徴を有する物体が存在するか否かを判定し、
前記第１部分領域に前記物体が存在する場合に、前記物体の存在する画像データよりも前に撮影された画像データにおいて、前記物体の存在する位置から所定距離離れた位置に第２部分領域を設定し、前記第２部分領域から、前記物体を検出する処理を繰り返し実行し、
複数の画像データから検出した前記物体の位置および前記複数の画像データの時刻に基づいて、前記物体の移動軌跡を算出し、前記移動軌跡の開始位置および開始時刻を特定する
処理を実行することを特徴とする画像処理方法。

【請求項2】

前記移動軌跡の開始時刻から所定時間後の終了時刻までの間に、前記撮影装置に撮影された画像データを切り出す処理を更に実行することを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記開始位置と、前記開始時刻と同時刻に前記撮影装置に撮影された画像データに含まれる複数の人物の位置とを比較して、前記物体に関連する人物を特定する処理を更に実行することを特徴とする請求項１または２に記載の画像処理方法。

【請求項4】

前記所定の特徴は、前記物体の形状および大きさを示し、前記第１部分領域は、画像データ上に存在する、球技に用いられるゴール位置周辺に設定されることを特徴とする請求項１、２または３に記載の画像処理方法。

【請求項5】

前記物体を検出する処理は、前記第１部分領域から前記所定の特徴を有する物体を検出する精度よりも、前記第１部分領域以外の領域から前記所定の特徴を有する物体を検出する検出精度を低く設定することを特徴とする請求項１〜４のいずれか１つに記載の画像処理方法。

【請求項6】

前記物体の移動軌跡を算出する処理は、球技の種別に応じて、前記移動軌跡を変更することを特徴とする請求項１〜５のいずれか１つに記載の画像処理方法。

【請求項7】

コンピュータに、
撮影装置によって撮影された連続する複数の画像データを取得し、前記複数の画像データに含まれる画像データの第１部分領域に、所定の特徴を有する物体が存在するか否かを判定し、
前記第１部分領域に前記物体が存在する場合に、前記物体の存在する画像データよりも前に撮影された画像データにおいて、前記物体の存在する位置から所定距離離れた位置に第２部分領域を設定し、前記第２部分領域から、前記物体を検出する処理を繰り返し実行し、
複数の画像データから検出した前記物体の位置および前記複数の画像データの時刻に基づいて、前記物体の移動軌跡を算出し、前記移動軌跡の開始位置および開始時刻を特定する
処理を実行させることを特徴とする画像処理プログラム。

【請求項8】

撮影装置によって撮影された連続する複数の画像データを取得し、前記複数の画像データに含まれる画像データの第１部分領域に、所定の特徴を有する物体が存在するか否かを判定する判定部と、
前記第１部分領域に前記物体が存在する場合に、前記物体の存在する画像データよりも前に撮影された画像データにおいて、前記物体の存在する位置から所定距離離れた位置に第２部分領域を設定し、前記第２部分領域から、前記物体を検出する処理を繰り返し実行し、複数の画像データから検出した前記物体の位置および前記複数の画像データの時刻に基づいて、前記物体の移動軌跡を算出し、前記移動軌跡の開始位置および開始時刻を特定する特定部と
を有することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法等に関する。

【背景技術】

【0002】

近年、センサ技術や映像処理技術が発達し、各種のスポーツの分野で利用されている。例えば、サッカー、バスケット、バレーボール等のチームスポーツにおいて、センサ技術または映像処理技術を利用し、試合中の選手やボールの動きをトラッキングする従来技術がある。以下では一例として、従来技術１，２について説明する。

【0003】

従来技術１は、複数のカメラで選手がプレーするコートを撮影し、マッチング等の画像処理によって、ボールを検出する。そして、従来技術１は、ステレオ画像の原理に基づき、ボールの位置を算出する。また、従来技術１では、ボールの場合と同様にして、画像処理によって、選手を検出することで、ステレオ画像の原理に基づき、選手の位置を算出することもできる。

【0004】

従来技術２は、ボールにセンサを付与し、付与したセンサと通信を行って、ボールの位置を算出する。同様に、選手にセンサを付与すれば、選手の位置を算出することもできる。

【0005】

従来技術には、上記の従来技術１，２等を用いて、ボールまたは選手の位置を算出する処理を繰り返し実行してトラッキングを行い、ボールまたは選手のトラッキング結果を表示するものがある。図２０は、従来技術によるトラッキング結果の一例を示す図である。図２０に示す例では、コート１上に存在する第１チームの各選手の２次元位置と、第２チームの各選手の２次元位置とが、識別可能に表示されている。

【0006】

また、図２０に示したトラッキング結果とは別に、各カメラで撮影された映像データをデータベースに保存しておき、試合終了後に、選手自身が、シュート時の映像を検索し、シュート時のフォームを確認することも行われている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特表２０１４−５３１５８８号公報

【特許文献2】特開２００３−１７４６０９号公報

【特許文献3】実登第３０１２００３号公報

【特許文献4】特開平３−１３９３７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述した従来技術では、利用者が所望する画像を効率よく検索することができないという問題がある。

【0009】

上述した従来技術１，２は、選手やボールの位置を検出するものであり、利用者が所望する特定の映像データを検出するものではない。このため、利用者がシュート時のフォームを確認する場合には、データベースに保存された映像データを利用者自身が確認し、シュートを放った時間帯の映像データを、利用者自身が特定することが一般的であり、利用者に係る負担が大きい。

【0010】

また、仮に、従来技術１を利用して、画像処理により、シュート時の映像データを特定しようとすると、同一画像上に複数の選手が存在する場合や、練習時に複数の選手が異なるボールを持つ場合など様々なパターンが存在するため、処理負荷が大きくなり、精度も低くなる。なお、従来技術２では、複数の選手が存在していても、ボールの位置を検出できるものの、センサを備える特殊なボールを用いることになるので、公式の試合中には用いることができない。

【0011】

１つの側面では、本発明は、利用者が所望する画像を効率よく検索することができる画像処理方法、画像処理プログラムおよび画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、コンピュータが下記の処理を実行する。コンピュータは、撮影装置によって撮影された連続する複数の画像データを取得し、複数の画像データに含まれる画像データの部分領域に、所定の特徴を有する物体が存在するか否かを判定する。コンピュータは、部分領域に前記物体が存在する場合に、物体の存在する画像データよりも前に撮影された画像データから、物体を検出する処理を繰り返し実行する。コンピュータは、複数の画像データから検出した物体の位置に基づいて、物体の移動軌跡を算出し、移動軌跡の開始位置を特定する。

【発明の効果】

【0013】

利用者が所望する画像を効率よく検索することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例に係る画像処理装置の処理を説明するための図である。

【図2】図２は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。

【図3】図３は、画像フレームテーブルのデータ構造の一例を示す図である。

【図4】図４は、トラッキングテーブルのデータ構造の一例を示す図である。

【図5】図５は、シュートデータテーブルのデータ構造の一例を示す図である。

【図6】図６は、ボール軌跡のデータ構造の一例を示す図である。

【図7】図７は、本実施例に係る判定部の処理を説明するための図（１）である。

【図8】図８は、カメラの設置位置を示す図である。

【図9】図９は、平行ステレオによる座標系を示す図である。

【図10】図１０は、本実施例に係る特定部の処理を説明するための図（１）である。

【図11】図１１は、本実施例に係る特定部の処理を説明するための図（２）である。

【図12】図１２は、本実施例に係る切り出し部の処理を説明するための図である。

【図13】図１３は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。

【図14】図１４は、シュート検出処理の処理手順を示すフローチャートである。

【図15】図１５は、ボール軌跡の表示画面の一例を示す図である。

【図16】図１６は、トラッキングテーブルのその他のデータ構造の一例を示す図である。

【図17】図１７は、画像処理装置のその他の処理を説明するための図である。

【図18】図１８は、特定部のその他の処理を説明するための図である。

【図19】図１９は、画像処理プログラムを実行するコンピュータの一例を示す図である。

【図20】図２０は、従来技術によるトラッキング結果の一例を示す図である。

【発明を実施するための形態】

【0015】

以下に、本願の開示する画像処理方法、画像処理プログラムおよび画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例】

【0016】

本実施例に係る画像処理装置の処理について説明する。図１は、本実施例に係る画像処理装置の処理を説明するための図である。画像処理装置は、選手によってシュートされたボールのみが通過する部分領域１０ａを画像フレーム１０に設定する。例えば、部分領域１０ａは、バスケットゴール１０ｂ周辺に設定される。

【0017】

画像処理装置は、部分領域１０ａ内に、ボールが存在するか否かを判定する。例えば、画像処理装置は、ボールの形状やサイズを定義したテンプレートを用いて、部分領域１０ａにボールが存在するか否かを判定する。図１に示す例では、画像処理装置は、部分領域１０ａから、ボール５を検出する。画像処理装置は、部分領域１０ａからボール５を検出すると、ステレオ画像の原理に基づいて、ボール５の３次元座標を算出する。

【0018】

画像処理装置は、部分領域１０ａからボール５を検出すると、画像処理装置は、画像フレーム１０よりも１、２枚前の画像フレーム１１を取得し、画像フレーム１１から、ボール５を検出する。画像処理装置は、画像フレーム１１から検出したボール５の３次元座標を、ステレオ画像の原理に基づいて算出する。

【0019】

画像処理装置は、画像フレーム１０で検出したボール５の位置を手がかりとして、画像フレーム１１からボール５を検出しても良い。画像処理装置は、画像フレーム１０，１１から検出した各ボール５の３次元座標を基にして、ボール５の軌跡５ａを推定する。画像処理装置は、軌跡５ａに基づいて、軌跡５ａの開始位置６と、ボール５が、開始位置６に存在していた時刻を推定する。以下の説明では、適宜、ボール５が開始位置６に存在していた時刻を、「開始時刻」と表記する。

【0020】

画像処理装置は、開始時刻に対応する画像フレーム１２を取得し、開始位置６から、ボール５を検出する。画像処理装置は、画像フレーム１２で検出したボール５の３次元座標を、ステレオ画像の原理に基づいて算出する。画像処理装置は、ボール５の３次元座標に存在する選手７を特定する。

【0021】

上記のように、画像処理装置は、シュートされたボール５だけが通過する部分領域１０ａからボール５を検出した場合に、ボール５の位置から画像フレームを遡って、シュートの発生場所に対応する開始位置６を特定し、シュート時の画像フレームを特定する。例えば、図１に示す例では、画像フレーム１２に続く複数の画像フレームが、選手がシュートしてからの一連の動作を含む映像データとなる。このため、画像処理装置によれば、利用者が所望する画像を効率よく検索することができる。

【0022】

次に、本実施例にかかる画像処理装置の構成の一例について説明する。図２は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、この画像処理装置１００は、カメラ５０ａ〜５０ｄおよびトラッキング装置５５に接続される。画像処理装置１００は、記憶部１１０と、記憶部１２０と、記憶部１３０とを有する。画像処理装置１００は、トラッキングデータ取得部１４０と、キャプチャ部１５０と、判定部１６０と、特定部１７０と、切り出し部１８０とを有する。

【0023】

カメラ５０ａ〜５０ｄは、選手がプレーするコート上の映像を撮影するカメラである。カメラ５０ａ〜５０ｄをまとめて、適宜、カメラ５０と表記する。カメラ５０ａ〜５０ｄのうち、少なくとも２台以上のカメラ５０は、シュートされたボールだけが通過する部分領域が撮影範囲に含まれるように設定される。カメラ５０は、撮影した映像データを、画像処理装置１００に出力する。映像データは、複数の画像フレームが連続するデータである。本実施例では、一例として、カメラ５０ａ〜５０ｄを示すが、更に、その他のカメラを用いて、コート上の映像を撮影し、画像処理装置１００に映像データを出力しても良い。

【0024】

トラッキング装置５５は、コート上の選手の位置を検出する処理を繰り返し実行することで、選手の位置と時刻とを対応付けたトラッキングデータを生成する処理部である。トラッキング装置５５は、トラッキングデータを画像処理装置１００に出力する。トラッキング装置５５は、如何なる従来技術に基づいて、トラッキングデータを生成しても良い。例えば、各選手にセンサを取り付けて、各センサとデータ通信を実行し、トラッキングデータを生成しても良いし、カメラ５０から得られる映像データを基にした画像処理によって、トラッキングデータを生成しても良い。

【0025】

記憶部１１０は、画像フレームテーブル１１０ａを有する。記憶部１２０は、トラッキングテーブル１２０ａおよび映像データ１２０ｂを有する。記憶部１３０は、シュートデータテーブル１３０ａおよびシュートシーン映像データ１３０ｂを有する。例えば、記憶部１１０，１２０，１３０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0026】

画像フレームテーブル１１０ａは、各カメラ５０で撮影された映像データ（連続する画像フレーム）を記憶するテーブルである。図３は、画像フレームテーブルのデータ構造の一例を示す図である。図３に示すように、この画像フレームテーブル１１０ａは、時刻と、カメラ５０から取得した画像フレームとを対応付ける。

【0027】

トラッキングテーブル１２０ａは、トラッキング装置５５により生成されるトラッキングデータを保持するテーブルである。図４は、トラッキングテーブルのデータ構造の一例を示す図である。図４に示すように、このトラッキングテーブル１２０ａは、時刻と、選手の３次元座標とを対応付ける。

【0028】

映像データ１２０ｂは、カメラ５０によって撮影された映像データである。例えば、映像データ１２０ｂは、複数のカメラ５０のうち、コート全体を撮影範囲に含むカメラ５０の映像データや、コート全体のうち、一部の領域を撮影範囲に含むカメラ５０の映像データを含む。

【0029】

シュートデータテーブル１３０ａは、選手がボールをシュートした映像に関する情報を保持するテーブルである。図５は、シュートデータテーブルのデータ構造の一例を示す図である。図５に示すように、このシュートデータテーブル１３０ａは、開始時刻と、終了時刻と、選手識別情報と、ボール軌跡と、映像ファイル名とを対応付ける。

【0030】

シュートシーン映像データ１３０ｂは、選手のシュートシーンの映像データを示すものである。例えば、シュートシーン映像データ１３０ｂは、映像ファイル名と、映像データとを対応付けた情報を有する。シュートシーン映像データ１３０ｂは、後述する切り出し部１８０により、映像データ１２０ｂから切り出される。

【0031】

開始時刻は、選手がボールをシュートした時刻であり、例えば、図１で説明した開始時刻に対応する。終了時刻は、例えば、開始時刻から所定時間後の時刻に対応する。選手識別情報は、選手を一意に識別する情報である。ボール軌跡は、開始時刻から終了時刻までの、ボールの３次元座標と時刻とを対応付けた情報である。映像ファイル名は、開始時刻から終了時刻までの映像データのファイル名を示す。

【0032】

図６は、ボール軌跡のデータ構造の一例を示す図である。図６に示すように、ボール軌跡は、時刻とボールの３次元座標とを対応付ける。

【0033】

図２の説明に戻る。トラッキングデータ取得部１４０は、トラッキング装置５５からトラッキングデータを取得する処理部である。例えば、トラッキングデータには、選手の３次元座標と時刻とを対応付けた情報が含まれているものとする。トラッキングデータ取得部１４０は、トラッキングデータを、トラッキングテーブル１２０ａに格納する。

【0034】

キャプチャ部１５０は、カメラ５０から映像データを取得する処理部である。映像データは、連続する複数の画像フレームを有する。また、各画像フレームには、時刻の情報が付与されているものとする。キャプチャ部１５０は、映像データを、画像フレームテーブル１１０ａに格納する。また、キャプチャ部１５０は、映像データを、判定部１６０に出力する。また、キャプチャ部１４０は、映像データ１２０ｂを、記憶部１２０に格納する。

【0035】

判定部１６０は、キャプチャ部１５０から、映像データを取得し、映像データに含まれる画像フレームの部分領域にボールが存在するか否かを判定する処理部である。判定部１６０は、ボールを検出した場合に、ボールの３次元座標と、このボールを検出した画像フレームの時刻とを対応付けて、特定部１７０に出力する。

【0036】

図７は、本実施例に係る判定部の処理を説明するための図である。図７に示す画像フレーム２０Ｌを、カメラ５０ａが撮影した画像フレームとし、画像フレーム２０Ｒを、カメラ５０ｂが撮影した画像フレームとする。例えば、カメラ５０ａの右側に、カメラ５０ｂが設置されているものとする。

【0037】

判定部１６０は、画像フレーム２０Ｌに部分領域１５Ｌを設定する。部分領域１５Ｌの左上の座標を（ｘ_Ｌ０１，ｙ_Ｌ０１）とし、部分領域１５Ｌの右下の座標を（ｘ_Ｌ０２，ｙ_Ｌ０２）とする。例えば、判定部１６０は、ボールの形状および大きさを定義したテンプレートマッチングを行うことで、部分領域１５Ｌからボール５を検出する。部分領域１５Ｌから検出したボール５の座標を（ｘ_Ｌ１，ｙ_Ｌ１）とする。

【0038】

判定部１６０は、画像フレーム２０Ｒに部分領域１５Ｒを設定する。部分領域１５Ｒの左上の座標を（ｘ_Ｒ０１，ｙ_Ｒ０１）とし、部分領域１５Ｒの右下の座標を（ｘ_Ｒ０２，ｙ_Ｒ０２）とする。例えば、判定部１６０は、ボールの形状および大きさを定義したテンプレートマッチングを行うことで、部分領域１５Ｒからボール５を検出する。部分領域１５Ｒから検出したボール５の座標を（ｘ_Ｒ１，ｙ_Ｒ１）とする。

【0039】

判定部１６０は、ステレオ画像の原理により、ボール５の３次元座標を算出する。ここでは、簡単化のため、光軸が平行な平行ステレオ画像を例にして、２次元座標を３次元座標に変換する処理の一例について説明する。図８は、カメラの設置位置を示す図である。図８に示すように、カメラ５０ａの光軸２ａと、カメラ５０ｂの光軸２ｂとが平行になっているものとする。

【0040】

図９は、平行ステレオによる座標系を示す図である。例えば、左のカメラ５０ａの投影中心を３ａとし、右のカメラ５０ｂの投影中心を３ｂとする。投影中心３ａ，３ｂの間隔をｂとする。また、各カメラ５０ａ，５０ｂの画像面４ａ，４ｂが、投影中心３ａ，３ｂからｆ離れた３次元空間中の同一平面上に存在するものとする。

【0041】

画像面４ａ上の注目物体の座標を（ｘ_ｌ，ｙ_ｌ）とし、画像面４ｂ上の注目物体の座標を（ｘ_ｒ，ｙ_ｒ）とすると、注目物体の３次元座標（Ｘ，Ｙ，Ｚ）は、式（１）、（２）、（３）によって表される。

【0042】

【数1】

【数2】

【数3】

【0043】

判定部１６０は、式（１）〜式（３）を基にして、ボール５の２次元座標を、３次元座標に変換する。例えば、図７に示すように、左の画像フレーム２０Ｌのボール５の座標を（ｘ_Ｌ１，ｙ_Ｌ１）、右の画像フレーム２０Ｒのボール５の座標を（ｘ_Ｒ１，ｙ_Ｒ１）とすると、ボール５の３次元座標（Ｘ_Ｓ１，Ｙ_Ｓ１，Ｚ_Ｓ１）は、式（１ａ）、（２ａ）、（３ａ）により算出される。なお、画像フレーム２０Ｌおよび画像フレーム２０Ｒが撮影された時刻を、Ｔ_ｓ１とする。

【0044】

Ｘ_Ｓ１＝ｘ_Ｌ１ｂ／（ｘ_Ｌ１−ｘ_Ｒ１）・・・（１ａ）
Ｙ_Ｓ１＝ｙ_Ｌ１ｂ／（ｘ_Ｌ１−ｘ_Ｒ１）・・・（２ａ）
Ｚ_Ｓ１＝ｆｂ／（ｘ_Ｌ１−ｘ_Ｒ１）・・・（３ａ）

【0045】

上記処理により、判定部１６０は、ボール５の３次元座標（Ｘ_Ｓ１，Ｙ_Ｓ１，Ｚ_Ｓ１）を算出する。判定部１６０は、ボール５の３次元座標（Ｘ_Ｓ１，Ｙ_Ｓ１，Ｚ_Ｓ１）、時刻Ｔ_Ｓ１、２次元座標（ｘ_Ｌ１，ｙ_Ｌ１）、（ｘ_Ｒ１，ｙ_Ｒ１）の情報を、特定部１７０に出力する。

【0046】

図２の説明に戻る。特定部１７０は、部分領域にボールが存在すると判定された画像フレームよりも前の画像フレームからボールを検出する処理を繰り返し実行し、各ボールの位置に基づいて、ボールの移動軌跡を算出する。また、特定部１７０は、移動軌跡の開始位置を特定する。以下において、特定部１７０が、前の画像フレームからボールを検出する処理、ボールの移動軌跡を算出して開始位置を特定する処理について説明する。

【0047】

特定部１７０が、前の画像フレームからボールを検出する処理について説明する。図１０は、本実施例に係る特定部の処理を説明するための図（１）である。特定部１７０は、時刻Ｔ_Ｓ１よりも所定時間前のＴ_Ｓ２において、カメラ５０ａで撮影された画像フレーム２５Ｌと、カメラ５０ｂで撮影された画像フレーム２５Ｒとを、画像フレームテーブル１１０ａから取得する。

【0048】

画像フレーム２５Ｌに対する特定部１７０の処理について説明する。特定部１７０は、前の画像フレーム２０Ｌで検出されたボール５の２次元座標（ｘ_Ｌ１，ｙ_Ｌ１）から所定距離離れた検出領域１６Ｌを設定する。特定部１７０は、ボールの形状および大きさを定義したテンプレートマッチングを行うことで、検出領域１６Ｌからボール５を検出する。検出領域１６Ｌから検出したボール５の座標を（ｘ_Ｌ２，ｙ_Ｌ２）とする。

【0049】

画像フレーム２５Ｒに対する特定部１７０の処理について説明する。特定部１７０は、前の画像フレーム２０Ｒで検出されたボール５の２次元座標（ｘ_Ｒ１，ｙ_Ｒ１）から所定距離離れた検出領域１６Ｒを設定する。特定部１７０は、ボールの形状および大きさを定義したテンプレートマッチングを行うことで、検出領域１６Ｒからボール５を検出する。検出領域１６Ｒから検出したボール５の座標を（ｘ_Ｒ２，ｙ_Ｒ２）とする。

【0050】

特定部１７０は、判定部１６０と同様にして、時刻Ｔ_Ｓ２におけるボール５の３次元座標を算出する。図１０に示すように、左の画像フレーム２５Ｌのボール５の座標を（ｘ_Ｌ２，ｙ_Ｌ２）、右の画像フレーム２５Ｒのボール５の座標を（ｘ_Ｒ２，ｙ_Ｒ２）とする。そうすると、時刻Ｔ_Ｓ２における、ボール５の３次元座標（Ｘ_Ｓ２，Ｙ_Ｓ２，Ｚ_Ｓ２）は、式（１ｂ）、（２ｂ）、（３ｂ）により算出される。

【0051】

Ｘ_Ｓ２＝ｘ_Ｌ２ｂ／（ｘ_Ｌ２−ｘ_Ｒ２）・・・（１ｂ）
Ｙ_Ｓ２＝ｙ_Ｌ２ｂ／（ｘ_Ｌ２−ｘ_Ｒ２）・・・（２ｂ）
Ｚ_Ｓ２＝ｆｂ／（ｘ_Ｌ２−ｘ_Ｒ２）・・・（３ｂ）

【0052】

次に、特定部１７０が、ボールの移動軌跡を算出して開始位置を特定する処理について説明する。図１１は、本実施例に係る特定部の処理を説明するための図（２）である。図１１に示すように、時刻Ｔ_Ｓ１におけるボール５の３次元座標を（Ｘ_Ｓ１，Ｙ_Ｓ１，Ｚ_Ｓ１）とし、時刻Ｔ_Ｓ２におけるボール５の３次元座標を（Ｘ_Ｓ２，Ｙ_Ｓ２，Ｚ_Ｓ２）とする。特定部１７０は、上記情報を基にしてシュートの開始位置（Ｘ_ＳＳ，Ｙ_ＳＳ，Ｚ_ＳＳ）および開始時刻Ｔ_ＳＳを算出する。

【0053】

特定部１７０は、Ｘ_ＳＳを、式（４）に基づいて算出する。特定部１７０は、Ｙ_ＳＳの値を固定値とする。Ｙ_ＳＳは、地面に相当するＹ座標となる。特定部１７０は、Ｚ_ＳＳを式（５）に基づいて算出する。特定部１７０は、開始時刻Ｔ_ＳＳを、式（６）により算出する。

【0054】

Ｘ_ＳＳ＝Ｘ_Ｓ１−Ｖ_ＸＳ１×Ｔ_Ｄ・・・（４）
Ｚ_ＳＳ＝Ｚ_Ｓ１−Ｖ_ＺＳ１×Ｔ_Ｄ・・・（５）
Ｔ_ＳＳ＝Ｔ_Ｓ１−Ｔ_Ｄ・・・（６）

【0055】

上記の式（４）、（５）や、後述する式（１０）に含まれるＶ_ＸＳ１，Ｖ_ＹＳ１，Ｖ_ＺＳ１は、時刻Ｔ_Ｓ１におけるＸ軸、Ｙ軸、Ｚ軸方向の速度を示すものである。Ｖ_ＸＳ１は、式（７）により示される。Ｖ_ＹＳ１は、式（８）により示される。Ｖ_ＺＳ１は、式（９）により示される。また、Ｔ_Ｄは、式（１０）により示される。特定部１７０は、Ｖ_ＸＳ１，Ｖ_ＹＳ１，Ｖ_ＺＳ１，Ｔ_Ｄを式（７）〜（１０）に基づいて算出する。

【0056】

Ｖ_ＸＳ１＝（Ｘ_Ｓ１−Ｘ_Ｓ２）／（Ｔ_Ｓ１−Ｔ_Ｓ２）・・・（７）
Ｖ_ＹＳ１＝（Ｙ_Ｓ１−Ｙ_Ｓ２）／（Ｔ_Ｓ１−Ｔ_Ｓ２）・・・（８）
Ｖ_ＺＳ１＝（Ｚ_Ｓ１−Ｚ_Ｓ２）／（Ｔ_Ｓ１−Ｔ_Ｓ２）・・・（９）

【数4】

【0057】

特定部１７０は、上記処理を実行することで、開始位置（Ｘ_ＳＳ，Ｙ_ＳＳ，Ｚ_ＳＳ）および開始時刻Ｔ_ＳＳを算出する。特定部１７０は、開始位置（Ｘ_ＳＳ，Ｙ_ＳＳ，Ｚ_ＳＳ）および開始時刻Ｔ_ＳＳの情報を、切り出し部１８０に出力する。また、特定部１７０は、時刻Ｔ_Ｓ１におけるボールの３次元座標、時刻Ｔ_Ｓ２におけるボールの３次元座標の情報を、切り出し部１８０に出力する。

【0058】

ここで、特定部１７０は、算出した開始位置を補正する処理を実行しても良い。特定部１７０は、開始時刻Ｔ_ＳＳに対応する画像フレームを、画像フレームテーブル１１０ａから取得し、補正前の開始位置を起点として、テンプレートマッチングを行い、画像フレームからボールを検出する。そして、特定部１７０は、ボールを検出した場合に、ステレオ画像の原理に基づいてボールの３次元座標を算出し、算出した３次元座標により、開始位置を補正しても良い。

【0059】

切り出し部１８０は、開始位置（Ｘ_ＳＳ，Ｙ_ＳＳ，Ｚ_ＳＳ）および開始時刻Ｔ_ＳＳと、トラッキングテーブル１２０ａとを基にして、シュートデータテーブル１３０ａに格納する情報を生成する処理部である。また、切り出し部１８０は、開始時刻から所定時間後までの映像データを映像データ１２０ｂから切り出し、映像ファイル名を付与して、シュートシーン映像データ１３０ｂに格納する。

【0060】

ここで、切り出し部１８０が、図５に説明したシュートデータテーブル１３０ａに、開始時刻、終了時刻、選手識別情報、ボール軌跡、映像ファイル名を登録する処理の一例について説明する。

【0061】

切り出し部１８０は、開始時刻として、特定部１７０から取得する開始時刻Ｔ_ＳＳをシュートデータテーブル１３０ａに登録する。切り出し部１８０は、開始時刻から所定時間経過後の時刻を、終了時刻として特定し、特定した終了時刻を、シュートデータテーブル１３０ａに登録する。

【0062】

続いて、切り出し部１８０が、シュートを放った選手の選手識別情報を特定する処理の一例について説明する。切り出し部１８０は、開始時刻Ｔ_ＳＳと、トラッキングテーブル１２０ａとを比較して、開始時刻Ｔ_ＳＳにおける各選手の３次元座標を、取得する。切り出し部１８０は、各選手の３次元座標と、開始位置（Ｘ_ＳＳ，Ｙ_ＳＳ，Ｚ_ＳＳ）とを比較して、最も開始位置に近い選手の選手識別情報を特定する。切り出し部１８０は、特定した選手識別情報を、シュートデータテーブル１３０ａに登録する。

【0063】

図１２は、本実施例に係る切り出し部の処理を説明するための図である。図１２において、横軸はＸ方向の軸であり、縦軸はＺ軸方向の軸である。ボール５の３次元座標を（Ｘ_ＳＳ，Ｙ_ＳＳ，Ｚ_ＳＳ）とする。例えば、切り出し部１８０は、ボール５の３次元座標を基準とした半径１ｍの領域を、検出領域３０として設定する。切り出し部１８０は、検出領域３０に含まれる選手の選手識別情報を特定する。図１２に示す例では、選手識別情報は「選手Ｂ」となる。なお、検出領域３０に複数の選手が存在する場合には、ボール５に最も近い選手の選手識別情報を特定する。

【0064】

切り出し部１８０は、各時刻のボールの３次元座標の情報を、ボール軌跡のデータとして、シュートデータテーブル１３０ａに登録する。例えば、切り出し部１８０は、時刻Ｔ_Ｓ１、Ｔ_Ｓ２、Ｔ_ＳＳにおけるボールの３次元座標を、ボール軌跡のデータとする。

【0065】

切り出し部１８０は、シュートデータテーブル１３０ａに登録した開始時刻から終了時刻までの映像データを、映像データ１２０ｂから切り出し、切り出した映像データに映像ファイル名を設定し、シュートシーン映像データ１３０ｂに格納する。また、切り出し部１８０は、切り出した映像データに設定した映像ファイル名を、シュートデータテーブル１３０ａに登録する。

【0066】

ところで、切り出し部１８０は、検出領域３０に選手が存在しない場合には、特定部１７０に対して、開始時刻および開始位置の再計算を要求しても良い。特定部１７０は、再計算の要求を受け付けた場合には、開始時刻Ｔ_ＳＳよりも更に前の時刻Ｔ_ＳＳ’の画像フレームを、画像フレームテーブル１１０ａから取得し、取得した画像フレームからボールの３次元座標を検出する。特定部１７０は、時刻Ｔ_ＳＳ’と、新たに検出したボールの開始位置の情報を、切り出し部１８０に出力する。切り出し部１８０は、時刻Ｔ_ＳＳ’と、新たに検出したボールの開始位置の情報を基にして、選手を検出する処理を再度実行する。

【0067】

次に、本実施例に係る画像処理装置１００の処理手順の一例について説明する。図１３は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。図１３に示すように、画像処理装置１００は、各カメラ５０から映像データの取得を開始する（ステップＳ１０１）。画像処理装置１００は、イベントを検知する（ステップＳ１０２）。

【0068】

画像処理装置１００は、検知したイベントが終了選択である場合には（ステップＳ１０３，Ｙｅｓ）、各カメラ５０から映像データの取得を終了する（ステップＳ１０４）。一方、画像処理装置１００は、検知したイベントが終了選択でない場合には（ステップＳ１０３，Ｎｏ）、シュート検出処理を実行し（ステップＳ１０５）、ステップＳ１０２に移行する。

【0069】

続いて、図１３のステップＳ１０５に示したシュート検出処理の処理手順の一例について説明する。図１４は、シュート検出処理の処理手順を示すフローチャートである。図１４に示すように、画像処理装置１００のキャプチャ部１５０は、各カメラ５０から画像フレームを取得し、記憶部１１０に保存する（ステップＳ２０１）。

【0070】

画像処理装置１００の判定部１６０は、カメラ５０毎に定義された部分領域内にボールが存在するか否かを判定する（ステップＳ２０２）。判定部１６０は、２台以上のカメラ５０でボールを検出してない場合には（ステップＳ２０３，Ｎｏ）、シュート検出処理を終了する。判定部１６０は、２台以上のカメラ５０でボールを検出した場合には（ステップＳ２０３，Ｙｅｓ）、ステップＳ２０４に移行する。

【0071】

判定部１６０は、各画像フレームのボールの２次元座標に基づいて、ボールの３次元座標を算出する（ステップＳ２０４）。画像処理装置１００の特定部１７０は、ボールを検出した時刻Ｔ_Ｓ１から、数フレーム分前までの画像フレームを画像フレームテーブル１１０ａから読み出す（ステップＳ２０５）。

【0072】

特定部１７０は、読み出した画像フレームについて、既に算出したボールの２次元座標の周辺からボールを検出し（ステップＳ２０６）、ボールに対する複数の３次元座標を算出する（ステップＳ２０７）。特定部１７０は、複数の３次元座標と競技におけるボールの軌道の特徴から、ボールの開始位置および開始時刻を推定する（ステップＳ２０８）。例えば、ステップＳ２０８において、特定部１７０は、競技がバスケットボールであり、ボールが放物線状に移動する場合には、式（４）〜式（１０）に基づいて、開始位置および開始時刻を推定する。特定部１７０は、その他の競技についても、競技の種別に応じて、ボールの軌道を変更し、ボールの開始位置および開始時刻を推定する。例えば、球技がバレーボール等のように直線的に変化する場合には、ボールの軌道を直線状に設定する。

【0073】

特定部１７０は、推定した開始時刻の画像フレームを記憶部１２０から読み出し、開始位置周辺のボールを検出する（ステップＳ２０９）。特定部１７０は、検出したボールの３次元座標を計算する（ステップＳ２１０）。画像処理装置１００の切り出し部１８０は、開始位置とトラッキングデータの選手の位置とを比較して、開始位置に基づく検出範囲に選手が存在するか否かを判定する（ステップＳ２１１）。

【0074】

切り出し部１８０は、検出範囲に選手が存在しないと判定した場合には（ステップＳ２１２，Ｎｏ）、特定部１７０は、更に時間をさかのぼった開始時刻と開始位置とを推定し（ステップＳ２１３）、ステップＳ２０９に移行する。

【0075】

一方、切り出し部１８０は、検出範囲に選手が存在すると判定した場合には（ステップＳ２１２，Ｙｅｓ）、シュートデータテーブル１３０ａに各情報を登録し、シュートシーン映像データ１３０ｂを切り出す（ステップＳ２１４）。

【0076】

次に、本実施例に係る画像処理装置１００の効果について説明する。画像処理装置１００は、シュートされたボールだけが通過する部分領域からボールを検出した場合に、検出したボールの位置から画像フレームを溯ってシュートの開始位置および開始時刻を特定するので、利用者が所望する画像フレームを効率よく検索することができる。

【0077】

例えば、画像処理装置１００は、シュート時のボールが通過する部分領域からボールを検出したことを契機にして、シュートの開始位置および開始時刻の推定を開始するため、処理負荷を軽減することができる。また、部分領域には、複数のボールが同時に検出されることが少ないので、一部の選手がシュート練習をし、他の選手がボールを使った他の練習を同時に行っても、精度良く、シュートの開始位置および開始時刻を特定することができる。

【0078】

画像処理装置１００は、一部の画像データから検出したボールの３次元座標を基にして、ボールの移動軌跡を推定し、シュートの開始位置および開始時刻を推定する。このため、途中のボール軌道上において、ボールを検出する処理を省略でき、処理負荷を軽減することができる。

【0079】

画像処理装置１００は、シュートの開始位置と、開始時刻と同時刻に撮影された画像データに含まれる複数の選手の位置とを比較して、シュートを行った選手を特定する。このため、シュートを行った選手を精度良く特定することができる。

【0080】

次に、本実施例に係る画像処理装置１００のその他の処理について説明する。

【0081】

画像処理装置１００の判定部１６０は、カメラ５０によって撮影される画像フレーム上に部分領域を設定し、部分領域にボールが存在しているか否かを判定していたがこれに限定されるものではない。例えば、ゴール付近に深度カメラまたは距離センサ等を設定し、判定部１６０は、深度カメラまたは距離センサから得られる情報を基にして、ゴール付近に、ボールが存在するか否かを判定しても良い。

【0082】

画像処理装置１００の判定部１６０および特定部１７０は、例えば、テンプレートマッチングにより、画像フレームからボールを検出していたが、部分領域からボールを検出する場合と、その他の領域からボールを検出する場合の検出条件を調整してもよい。例えば、部分領域には、ボール以外の物体が存在する可能性が低いので、ボールの検出条件を厳しくする。これに対して、地上近くの領域では、ボール以外に選手が含まれる場合が多いので、ボールの検出条件を緩く設定する。

【0083】

例えば、判定部１６０は、画像フレーム上の部分領域に存在する物体と、テンプレートマッチングを行い、マッチング率がＭ％以上の場合に、物体がボールであると判定する。これに対して、特定部１７０が、地上付近の画像フレーム上に存在する物体と、テンプレートマッチングを行い、マッチング率がＮ％以上の場合に、物体がボールであると判定する。ここで、ＭとＮの大小関係を「Ｍ＞Ｎ」とする。

【0084】

画像処理装置１００の特定部１７０は、判定部１６０が、部分領域からボールを検出したことを契機にして、画像フレームからボールを検出する処理を実行していたがこれに限定されるものではない。例えば、特定部１７０は、判定部１６０がボールを検出したか否かにかかわらず、カメラ５０から取得する画像フレームからリアルタイムに、ボールを検出しても良い。このように、特定部１７０が、常時、画像フレームからボールを検出しておくことで、判定部１６０が、ボールを検出してから、ボールの検出を開始する場合と比較して、処理を高速化することができる。

【0085】

画像処理装置１００の切り出し部１８０は、シュートの開始位置および開始時刻の情報を、特定部１７０から取得した場合に、シュートが成功したか否かに関わらず、映像データを切り出して、記憶部１３０に登録していたが、これに限定されるものではない。例えば、切り出し部１８０は、シュートが成功した場合に、シュートの成功したシュートの開始時刻からシュートが成功するまでの映像データを切り出して、記憶部１３０に登録しても良い。同様に、切り出し部１８０は、シュートが成功した場合にのみ、シュートデータテーブル１３０ａに各情報を登録しても良い。例えば、切り出し部１８０は、シュート成功時にボールが必ず通過する領域をセンシングするセンサを利用して、シュートの成功／失敗を判定する。このような処理を行うことで、記憶部１３０に記憶させるデータ量を削減することができる。

【0086】

画像処理装置１００は、図示しない入力装置から、選手識別情報を指定して、ボール軌跡の表示要求を受け付けた場合には、シュートデータテーブル１３０ａを参照し、選手識別情報に対応するボール軌跡の表示画面を生成して表示しても良い。図１５は、ボール軌跡の表示画面の一例を示す図である。図１５に示す例では、表示画面６０に、選手がシュートしたボール軌跡６０ａ，６０ｂ，６０ｃが表示されている。画像処理装置１００は、ボール軌跡に関連付けて、開始時刻や開始位置の情報を表示しても良い。また、画像処理装置１００は、表示画面６０の情報をプリンタ等に出力して、表示画面６０の情報を印刷させても良い。

【0087】

なお、本実施例で説明したトラッキングテーブル１２０ａのデータ構造の一例として、図４を用いて説明したが、トラッキングテーブル１２０ａのデータ構造は、図４に限定されるものではない。例えば、初期段階において、選手の名前に紐付かない所定のＩＤを割り振ってトラッキングを行っておき、選手の名前と、ＩＤとが対応付いたタイミングで、ＩＤを選手識別情報に置き換えても良い。図１６は、トラッキングテーブルのその他のデータ構造の一例を示す図である。図１６に示すトラッキングテーブル１２１ａは、時刻と、ＩＤとが対応付けられている。

【0088】

ここで、画像処理装置１００のその他の処理について説明する。図１７は、画像処理装置のその他の処理を説明するための図である。図１７に示すように、画像処理装置１００は、プリンタ１００ｂに接続されているものとする。例えば、選手Ａが、画像処理装置１００に選手識別情報を入力して、プリンタ１００ｂからシュート軌跡に関する情報をプリントアウトする操作を行ったものとする。この際に、選手Ａの位置と、選手Ａの選手識別情報との関係がわかるため、画像処理装置１００は、ＩＤを選手Ａの選手識別情報に変換する処理を行う。例えば、選手Ａが、時刻「１：３２：４１：６２」の時点で、位置（ｘ３、ｙ３、ｚ３）の位置に存在していたとすると、図１６の「ＩＤ１」と、選手Ａの選手識別情報とを対応付けることができる。

【0089】

画像処理装置１００の特定部１７０の説明では、一例として、競技の種別がバスケットボールであり、ボールの軌跡の特徴が、図１に示した軌跡５ａで有ることを前提に説明を行った。例えば、特定部１７０は、式（４）〜式（１０）等を用いて、ボールの開始位置、開始時刻を求めていた。ここで、競技の種別が、バスケットボール以外である場合には、ボールの軌跡の特徴に応じて、利用する式を切り替えて、ボールの軌跡を推定しても良い。例えば、競技の種別がバレーボール等であり、ボールの軌跡が直線的に変化する場合には、図１８に示すような、軌跡６ａを推定し、着地位置、着地時間を推定しても良い。図１８は、特定部のその他の処理を説明するための図である。

【0090】

図１８に示すように、特定部１７０は、異なる時刻Ｔ_Ｖ１，Ｔ_Ｖ２の画像フレームから、ボール５を検出し、各ボールの位置をそれぞれ（Ｘ_Ｖ１，Ｙ_Ｖ１，Ｚ_Ｖ１）、（Ｘ_Ｖ２，Ｙ_Ｖ２，Ｚ_Ｖ２）とする。特定部１７０は、（Ｘ_Ｖ１，Ｙ_Ｖ１，Ｚ_Ｖ１）、（Ｘ_Ｖ２，Ｙ_Ｖ２，Ｚ_Ｖ２）を通る直線を、ボールの軌跡６ａとして特定する。特定部１７０は、軌跡６ａと地面との交点位置（Ｘ_ＶＶ，Ｙ_ＶＶ，Ｚ_ＶＶ）を、着地位置として判定する。また、着地時刻Ｔ_ＶＶは、時刻Ｔ_Ｖ１におけるボールのＹ軸方向の速度と、時刻Ｔ_Ｖ１におけるボールのＹ軸方向の高さを基に算出すればよい。

【0091】

次に、上記実施例に示した画像処理装置１００と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例について説明する。図１９は、画像処理プログラムを実行するコンピュータの一例を示す図である。

【0092】

図１９に示すように、コンピュータ２００は、カメラ５０ａ，５０ｂ，５０ｃ，５０ｄ、トラッキング装置５５、表示デバイス５６に接続される。コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、各種情報を一時記憶する一次記憶部２０２と、ディスプレイ等の表示部２０３と、入力装置等の操作部２０４とを有する。コンピュータ２００は、トラッキング装置５５とデータをやり取りするネットワークＩＦ２０５を有する。コンピュータ２００は、カメラ５０ａ〜５０ｄとデータをやり取りするデバイスＩＦ２０６を有する。コンピュータ２００は、表示デバイス５６とデータをやり取りするデバイスＩＦ２０７を有する。また、コンピュータ２００は、ハードディスクドライブ等に対応する二次記憶部２０８を有する。

【0093】

二次記憶部２０８は、画像処理プログラム２０８ａと、エリア定義ファイル２０８ｂと、トラッキングデータ２０８ｃと、シュートデータ２０８ｄと、シュート映像２０８ｅとを有する。画像処理プログラム２０８ａは、ＣＰＵ２０１に読み出され、実行されることで、図２の判定部１６０、特定部１７０、切り出し部１８０に対応する処理を行う。エリア定義ファイル２０８ｂは、部分領域を定義する情報である。トラッキングデータ２０８ｃは、トラッキング装置５５から取得する情報である。シュートデータ２０８ｄおよびシュート映像２０８ｅは、画像処理プログラム２０８ａが実行されることで生成する情報である。例えば、シュートデータテーブル１３０ａ、シュートシーン映像データ１３０ｂに対応する情報である。

【0094】

なお、画像処理プログラム２０８ａ，エリア定義ファイル２０８ｂについては、必ずしも最初から二次記憶部２０８に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が画像処理プログラム２０８ａ，エリア定義ファイル２０８ｂを読み出して実行するようにしてもよい。

【0095】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0096】

（付記１）コンピュータが実行する画像処理方法であって、
撮影装置によって撮影された連続する複数の画像データを取得し、前記複数の画像データに含まれる画像データの部分領域に、所定の特徴を有する物体が存在するか否かを判定し、
前記部分領域に前記物体が存在する場合に、前記物体の存在する画像データよりも前に撮影された画像データから、前記物体を検出する処理を繰り返し実行し、
複数の画像データから検出した前記物体の位置および前記複数の画像データの時刻に基づいて、前記物体の移動軌跡を算出し、前記移動軌跡の開始位置および開始時刻を特定する
処理を実行することを特徴とする画像処理方法。

【0097】

（付記２）前記移動軌跡の開始時刻から所定時間後の終了時刻までの間に、前記撮影装置に撮影された画像データを切り出す処理を更に実行することを特徴とする付記１に記載の画像処理方法。

【0098】

（付記３）前記開始位置と、前記開始時刻と同時刻に前記撮影装置に撮影された画像データに含まれる複数の人物の位置とを比較して、前記物体に関連する人物を特定する処理を更に実行することを特徴とする付記１または２に記載の画像処理方法。

【0099】

（付記４）前記所定の特徴は、前記物体の形状および大きさを示し、前記部分領域は、画像データ上に存在する、球技に用いられるゴール位置周辺に設定されることを特徴とする付記１、２または３に記載の画像処理方法。

【0100】

（付記５）前記部分領域から前記所定の特徴を有する物体を検出する精度よりも、前記部分領域以外の領域から前記所定の特徴を有する物体を検出する検出精度を低く設定することを特徴とする付記１〜４のいずれか１つに記載の画像処理方法。

【0101】

（付記６）前記物体の移動軌跡を算出する処理は、球技の種別に応じて、前記移動軌跡を変更することを特徴とする付記１〜５のいずれか１つに記載の画像処理方法。

【0102】

（付記７）コンピュータに、
撮影装置によって撮影された連続する複数の画像データを取得し、前記複数の画像データに含まれる画像データの部分領域に、所定の特徴を有する物体が存在するか否かを判定し、
前記部分領域に前記物体が存在する場合に、前記物体の存在する画像データよりも前に撮影された画像データから、前記物体を検出する処理を繰り返し実行し、
複数の画像データから検出した前記物体の位置および前記複数の画像データの時刻に基づいて、前記物体の移動軌跡を算出し、前記移動軌跡の開始位置および開始時刻を特定する
処理を実行させることを特徴とする画像処理プログラム。

【0103】

（付記８）前記移動軌跡の開始時刻から所定時間後の終了時刻までの間に、前記撮影装置に撮影された画像データを切り出す処理を更に実行することを特徴とする付記７に記載の画像処理プログラム。

【0104】

（付記９）前記開始位置と、前記開始時刻と同時刻に前記撮影装置に撮影された画像データに含まれる複数の人物の位置とを比較して、前記物体に関連する人物を特定する処理を更にコンピュータに実行させることを特徴とする付記７または８に記載の画像処理プログラム。

【0105】

（付記１０）前記所定の特徴は、前記物体の形状および大きさを示し、前記部分領域は、画像データ上に存在する、球技に用いられるゴール位置周辺に設定されることを特徴とする付記７、８または９に記載の画像処理プログラム。

【0106】

（付記１１）前記物体を検出する処理は、前記部分領域から前記所定の特徴を有する物体を検出する精度よりも、前記部分領域以外の領域から前記所定の特徴を有する物体を検出する検出精度を低く設定することを特徴とする付記７〜１０のいずれか１つに記載の画像処理プログラム。

【0107】

（付記１２）前記物体の移動軌跡を算出する処理は、球技の種別に応じて、前記移動軌跡を変更することを特徴とする付記７〜１１のいずれか１つに記載の画像処理プログラム。

【0108】

（付記１３）撮影装置によって撮影された連続する複数の画像データを取得し、前記複数の画像データに含まれる画像データの部分領域に、所定の特徴を有する物体が存在するか否かを判定する判定部と、
前記部分領域に前記物体が存在する場合に、前記物体の存在する画像データよりも前に撮影された画像データから、前記物体を検出する処理を繰り返し実行し、複数の画像データから検出した前記物体の位置および前記複数の画像データの時刻に基づいて、前記物体の移動軌跡を算出し、前記移動軌跡の開始位置および開始時刻を特定する特定部と
を有することを特徴とする画像処理装置。

【0109】

（付記１４）前記移動軌跡の開始時刻から所定時間後の終了時刻までの間に、前記撮影装置に撮影された画像データを切り出す切り出し部を更に有することを特徴とする付記１３に記載の画像処理装置。

【0110】

（付記１５）前記切り出し部は、前記開始位置と、前記開始時刻と同時刻に前記撮影装置に撮影された画像データに含まれる複数の人物の位置とを比較して、前記物体に関連する人物を特定する処理を更に実行することを特徴とする付記１３または１４に記載の画像処理装置。

【0111】

（付記１６）前記所定の特徴は、前記物体の形状および大きさを示し、前記部分領域は、画像データ上に存在する、球技に用いられるゴール位置周辺に設定されることを特徴とする付記１３、１４または１５に記載の画像処理装置。

【0112】

（付記１７）前記特定部は、前記部分領域から前記所定の特徴を有する物体を検出する精度よりも、前記部分領域以外の領域から前記所定の特徴を有する物体を検出する検出精度を低く設定することを特徴とする付記１３〜１６のいずれか１つに記載の画像処理装置。

【0113】

（付記１８）前記特定部は、球技の種別に応じて、前記移動軌跡を変更することを特徴とする付記１３〜１７のいずれか１つに記載の画像処理装置。

【符号の説明】

【0114】

５０ａ，５０ｂ，５０ｃ，５０ｄ カメラ
５５ トラッキング装置
１００ 画像処理装置
１１０，１２０，１３０ 記憶部
１４０ トラッキングデータ取得部
１５０ キャプチャ部
１６０ 判定部
１７０ 特定部
１８０ 切り出し部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】