特開 2023-177828 映像分析装置、映像分析方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177828

(43)【公開日】2023-12-14

(54)【発明の名称】映像分析装置、映像分析方法、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231207BHJP

   A63B 69/36 20060101ALI20231207BHJP

【ＦＩ】

H04N5/232 290

A63B69/36 541W

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022090725

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000241463

【氏名又は名称】豊田合成株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】小森 陽子

(72)【発明者】

【氏名】杉山 勝哉

(72)【発明者】

【氏名】島田 雅俊

(72)【発明者】

【氏名】岩鼻 孝幸

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA21

5C122EA56

5C122FH09

5C122FH11

5C122FK12

5C122FK28

5C122FK37

5C122FK42

5C122FL08

5C122HB01

5C122HB05

(57)【要約】

【課題】動作が撮影された映像から、その動作に関する情報を取得する処理を実行させる機器にかかる負荷を低減する。
【解決手段】映像分析装置は、定点撮影された動画であるゴルフスイングの映像を表示装置１２の表示画面２０に表示させる映像処理部と、映像に映されている範囲の一部を判定領域Ｒに設定する領域設定部と、設定された判定領域Ｒ内の変化に基づいてインパクトのタイミングを取得する情報取得部とを備える。領域設定部は、映像を構成する静止画であって、ゴルフボールＢが映っている静止画からゴルフボールＢを囲む範囲を選択するユーザーの操作に基づいて、判定領域Ｒを設定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物の動作が映る映像に基づいて、前記動作に関する情報を取得する映像分析装置であって、
前記映像は、静止している前記対象物が動き出す過程が定点撮影された動画であり、
前記映像を表示装置の表示画面に表示させる映像処理部と、
前記映像に映されている範囲の一部を判定領域に設定する領域設定部と、
設定された前記判定領域内の変化に基づいて前記情報を取得する情報取得部とを備え、
前記領域設定部は、前記映像を構成する静止画であって、前記対象物が映っている静止画から前記対象物を囲む範囲を選択するユーザーの操作に基づいて、前記判定領域を設定することを特徴とする映像分析装置。

【請求項2】

前記映像は、ゴルフスイングの映像である請求項１に記載の映像分析装置。

【請求項3】

前記領域設定部は、前記表示画面に表示されている前記静止画に、前記判定領域を選択するための設定枠を重ねて表示し、
前記設定枠は、前記ユーザーの操作に基づいて、前記静止画に対する大きさ及び位置を相対的に変更可能に表示される請求項１又は請求項２に記載の映像分析装置。

【請求項4】

前記情報取得部は、前記映像を構成する複数の静止画について、前記判定領域内に前記対象物が映っている状態が維持されているか否かを判定し、その判定結果の変化に基づいて前記対象物の動き出しのタイミングを取得する請求項３に記載の映像分析装置。

【請求項5】

前記情報取得部の処理を、通信ネットワークを利用せず、スタンドアローンで実行する請求項１又は請求項２に記載の映像分析装置。

【請求項6】

対象物の動作が映る映像に基づいて、前記動作に関する情報を取得する映像分析方法であって、
前記映像は、静止している前記対象物が動き出す過程が定点撮影された動画であり、
前記映像を表示装置の表示画面に表示させる映像処理ステップと、
前記映像に映されている範囲の一部を判定領域に設定する領域設定ステップと、
設定された前記判定領域内の変化に基づいて前記情報を取得する情報取得ステップとを備え、
前記領域設定ステップは、前記映像を構成する静止画であって、前記対象物が映っている静止画から前記対象物を囲む範囲を選択するユーザーの操作に基づいて、前記判定領域を設定するステップであり、
前記領域設定ステップにおいて、前記判定領域に占める前記対象物の面積割合が５０％以上になるように前記対象物を囲む範囲を選択することを特徴とする映像分析方法。

【請求項7】

対象物の動作が映る映像に基づいて、前記動作に関する情報を取得する映像分析装置としてコンピュータを機能させるためのプログラムであって、
前記映像は、静止している前記対象物が動き出す過程が定点撮影された動画であり、
前記映像を表示装置の表示画面に表示させる映像表示処理と、
前記映像に映されている範囲の一部を判定領域に設定する領域設定処理と、
設定された前記判定領域内の変化に基づいて前記情報を取得する情報取得処理とを前記コンピュータに実行させ、
前記領域設定処理は、前記映像を構成する静止画であって、前記対象物が映っている静止画から前記対象物を囲む範囲を選択するユーザーの操作に基づいて、前記判定領域を設定する処理であることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像分析装置、映像分析方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、ゴルフスイングの映像からスイング動作におけるインパクトのタイミングを抽出して画像表示するスイングフォームの診断装置を開示する。特許文献１の診断装置は、以下のようにしてインパクトのタイミングを抽出する。まず、予め作成されているゴルフボールのテンプレートを用いて、映像を構成する連続した静止画のそれぞれについて、ゴルフボールのテンプレートマッチング処理を行うことにより、ゴルフボールの有無を判定する。そして、その判定結果の時系列において、有り判定から無し判定に切り替わったタイミングを、インパクトのタイミングとして抽出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－１１７０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の診断装置の場合、映像を構成する多数の静止画に対して、テンプレートマッチングによりゴルフボールを検出する処理を繰り返し行う必要があるため、当該処理を実行させる機器にかかる負荷が大きくなる。特に、ゴルフスイングの映像は、ゴルフスイングの動作者の体全体を映すものであることから、映像に映るゴルフボールは小さくなる。映像のサイズに対してゴルフボールが相対的に小さくなるほど、１枚の静止画ごとのゴルフボールを検出する処理の演算量が多くなる。その結果、ゴルフボールを検出する処理を実行させる機器にかかる負荷が更に大きくなる。

【課題を解決するための手段】

【0005】

上記課題を解決する映像分析装置は、対象物の動作が映る映像に基づいて、前記動作に関する情報を取得する映像分析装置であって、前記映像は、静止している前記対象物が動き出す過程が定点撮影された動画であり、前記映像を表示装置の表示画面に表示させる映像処理部と、前記映像に映されている範囲の一部を判定領域に設定する領域設定部と、設定された前記判定領域内の変化に基づいて前記情報を取得する情報取得部とを備え、前記領域設定部は、前記映像を構成する静止画であって、前記対象物が映っている静止画から前記対象物を囲む範囲を選択するユーザーの操作に基づいて、前記判定領域を設定する。

【0006】

前記映像は、例えば、ゴルフスイングの映像である。
上記構成によれば、ユーザーにより特定された判定領域を対象範囲として、動作に関する情報を取得するための処理が実行される。そのため、静止画の全体、即ち、判定領域の内外全体を対象範囲として、動作に関する情報を取得する場合と比較して、機器に実行させる処理が軽くなる。上記構成の場合、判定領域を設定する処理が追加されるが、判定領域の選択をユーザーが行っているため、当該処理は、ＡＩモデルなどによる判定を伴わない軽い処理になる。したがって、上記構成によれば、動作に関する情報を取得する処理を実行させる機器にかかる負荷を低減できる。

【0007】

上記映像分析装置において、前記領域設定部は、前記表示画面に表示されている前記静止画に、前記判定領域を選択するための設定枠を重ねて表示し、前記設定枠は、前記ユーザーの操作に基づいて、前記静止画に対する大きさ及び位置を相対的に変更可能に表示されることが好ましい。

【0008】

上記構成によれば、ユーザーは、静止画から対象物を囲む範囲を選択する操作を簡易に行うことができる。
上記映像分析装置において、前記情報取得部は、前記映像を構成する複数の静止画について、前記判定領域内に前記対象物が映っている状態が維持されているか否かを判定し、その判定結果の変化に基づいて前記対象物の動き出しのタイミングを取得することが好ましい。

【0009】

上記構成によれば、対象物の動き出しのタイミングを単純な判定処理により取得できる。そのため、動作に関する情報を取得する処理を実行させる機器にかかる負荷を更に低減できる。

【0010】

上記映像分析装置において、前記情報取得部の処理を、通信ネットワークを利用せず、スタンドアローンで実行することが好ましい。
上記構成によれば、通信コスト及び処理時間を低減できる。また、対象物の動作が映る映像は、個人情報になり得る。そのため、個人情報を外部へ送信することについて、ユーザーが忌避感を覚えることを抑制できる。

【0011】

上記課題を解決する映像分析方法は、対象物の動作が映る映像に基づいて、前記動作に関する情報を取得する映像分析方法であって、前記映像は、静止している前記対象物が動き出す過程が定点撮影された動画であり、前記映像を表示装置の表示画面に表示させる映像処理ステップと、前記映像に映されている範囲の一部を判定領域に設定する領域設定ステップと、設定された前記判定領域内の変化に基づいて前記情報を取得する情報取得ステップとを備え、前記領域設定ステップは、前記映像を構成する静止画であって、前記対象物が映っている静止画から前記対象物を囲む範囲を選択するユーザーの操作に基づいて、前記判定領域を設定するステップであり、前記領域設定ステップにおいて、前記判定領域に占める前記対象物の面積割合が５０％以上になるように前記対象物を囲む範囲を選択する。

【0012】

上記構成によれば、判定領域が小さくなるため、動作に関する情報を取得する処理が軽くなる効果がより顕著に得られる。また、上記構成によれば、判定領域に存在する最も大きな物体が対象物になる。この場合、判定領域に検出されたオブジェクトは対象物と見なすことができる。そのため、判定領域内に対象物が存在するか否かを判定する際に、判定領域に対象物が検出されるか否かを判定するのみでよく、検出されたオブジェクトが対象物であるか否かを判定する必要がない。

【0013】

上記課題を解決するプログラムは、対象物の動作が映る映像に基づいて、前記動作に関する情報を取得する映像分析装置としてコンピュータを機能させるためのプログラムであって、前記映像は、静止している前記対象物が動き出す過程が定点撮影された動画であり、前記映像を表示装置の表示画面に表示させる映像表示処理と、前記映像に映されている範囲の一部を判定領域に設定する領域設定処理と、設定された前記判定領域内の変化に基づいて前記情報を取得する情報取得処理とを前記コンピュータに実行させ、前記領域設定処理は、前記映像を構成する静止画であって、前記対象物が映っている静止画から前記対象物を囲む範囲を選択するユーザーの操作に基づいて、前記判定領域を設定する処理である。

【発明の効果】

【0014】

本発明によれば、特定の動作が撮影された映像から、その動作に関する情報を取得する処理を実行させる機器にかかる負荷を低減できる。

【図面の簡単な説明】

【0015】

【図1】映像分析システムのブロック図である。

【図2】領域設定ステップにおける表示画面を示す説明図である。

【図3】（ａ），（ｂ）は、領域設定ステップにおける表示画面を示す説明図である。

【図4】（ａ），（ｂ）は、情報取得ステップ後の表示画面を示す説明図である。

【図5】情報取得部による判定の説明図である。

【図6】映像分析方法のフローチャートである。

【図7】領域設定ステップ及び情報取得ステップのフローチャートである。

【発明を実施するための形態】

【0016】

＜映像分析システム＞
以下、映像分析装置を備える映像分析システムの一実施形態を説明する。本実施形態の映像分析装置は、ゴルフスイングが撮影された映像に基づいて、ゴルフスイングにおけるインパクトのタイミングを取得する。

【0017】

図１に示すように、映像分析システム１０は、撮影装置１１と、表示装置１２と、映像分析装置１３とを備える。
［撮影装置］
撮影装置１１は、ゴルフスイングを行う動作者及びゴルフボールを囲む領域を定点撮影した映像を取得できるものであれば特に限定されない。撮影装置１１としては、例えば、ビデオカメラ、スマートフォンなどの携帯電話やタブレット端末に搭載されているカメラが挙げられる。撮影装置１１は、定点撮影された映像のデータを映像分析装置１３に出力するように構成されている。

【0018】

撮影装置１１により撮影された映像は、所定のフレームレートで撮影された連続する静止画により構成される動画である。上記動画のフレームレートは、例えば、３０ＦＰＳ、６０ＦＰＳである。また、上記映像の撮影方向は、ゴルフボールが映る方向であれば特に限定されるものでなく、動作者の正面側からであってもよいし、打球の進行方向後方側からであってもよいし、打球の進行方向前方側からであってもよい。図面では、一例として、動作者の正面側から撮影された場合を図示している。

【0019】

［表示装置］
表示装置１２は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスである。表示装置１２は、表示画面を備えるスマートフォン及びタブレット端末であることが好ましい。

【0020】

図１、図４（ａ）及び図４（ｂ）に示すように、映像分析装置１３により制御された表示内容を表示する表示画面２０を備える。表示画面２０の上部は、ゴルフスイングの映像を表示する映像表示画面２１が設けられている。映像表示画面２１には、ゴルフスイングの映像を表示する映像表示部２２、及び映像表示部２２に表示されている映像を操作するための操作アイコンが表示される操作部２３が設けられている。操作部２３に表示される操作アイコンは、再生・停止ボタン２３ａ、コマ戻しボタン２３ｂ、コマ送りボタン２３ｃ、シークバー２３ｄである。操作アイコンは特に限定されるものでなく、公知の動画再生ソフトに設けられるものを適用できる。

【0021】

表示画面２０の下部には、映像表示画面２１に表示されている映像に基づく情報を表示する情報表示画面２４が設けられている。情報表示画面２４には、シークバー２３ｄ上におけるインパクトの位置を示すタイミングアイコン２５が表示される。また、タイミングアイコン２５は、クリックなどの操作入力に基づいてインパクト時の映像を映像表示画面２１に表示させるタイミング指定ボタンである。

【0022】

操作部２３に表示される操作アイコン及び情報表示画面２４に表示されるタイミングアイコン２５に対する操作は、例えば、図示しないポインティングデバイスによる入力操作、タッチパネルに対するタッチ操作により行われる。ポインティングデバイスは、例えば、キーボード、タッチパネル、マウスである。

【0023】

［映像分析装置］
映像分析装置１３は、例えば、サーバ、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、及びそれらの組み合わせである。映像分析装置１３は、当該装置が行う各種処理を、通信ネットワークを利用せず、スタンドアローンで実行できるもの、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末であることが好ましい。また、映像分析装置１３は、撮影装置１１としての機能、表示装置１２としての機能を備えるスマートフォン又はタブレット端末であることが好ましい。

【0024】

図１に示すように、映像分析装置１３は、送受信部３０、映像処理部３１、領域設定部３２、情報取得部３３、及び記憶部３４を備える。
送受信部３０は、映像分析装置１３と撮影装置１１との間、映像分析装置１３と表示装置１２との間でデータの送受信を行う。送受信部３０は、有線又は無線の通信手段を有し、公知の通信方式にて相互の通信を行う。公知の通信方式としては、例えば、ブルートゥース（Bluetooth：登録商標）通信等の近距離無線通信が挙げられる。

【0025】

映像処理部３１は、撮影装置１１から入力されたゴルフスイングの映像を、表示装置１２における映像表示画面２１の映像表示部２２に表示する映像表示処理を行う。上記処理は、ゴルフスイングの映像が撮影装置１１から入力されたタイミング、又は映像分析装置１３に対してユーザーによる所定の操作、例えば、記憶部３４に記憶されているゴルフスイングの映像を読み込む操作が行われたタイミングで実行される。

【0026】

映像処理部３１は、映像表示画面２１の操作部２３に操作アイコンを表示する処理を行う。操作アイコンに対して操作が行われた場合、映像処理部３１は、操作の内容に応じた映像を映像表示部２２に表示する処理、例えば、映像の再生、停止、コマ戻し、コマ送り、再生箇所の変更を行う。

【0027】

領域設定部３２は、映像表示部２２に表示されているゴルフスイングの映像を対象として、ユーザーの操作に基づいて、当該映像に映されている範囲の一部を判定領域に設定する領域設定処理を行う。図２に示すように、領域設定部３２は、映像表示部２２に領域設定ボタン２６を表示する処理を行う。領域設定ボタン２６の表示は、インパクトのタイミングを取得する処理が行われていないゴルフスイングの映像が映像表示部２２に表示されたタイミングで行われる。このとき、領域設定ボタン２６は、「検知」と表示される。また、図２の状態では、情報表示画面２４にタイミングアイコン２５は表示されていない。

【0028】

図３（ａ）に示すように、「検知」表示の領域設定ボタン２６に対して操作が行われた場合、領域設定部３２は、この時点で映像表示部２２に表示されている静止画（以下、対象静止画と記載する。）に、判定領域Ｒを選択するための設定枠２７を重ねて表示する。なお、「検知」表示の領域設定ボタン２６に対する操作は、打球前のゴルフボールＢが映っている静止画が表示されている状態のときに行われる。

【0029】

設定枠２７の表示位置、形状、及び大きさは、映像表示部２２の画面サイズに合わせて固定されている。設定枠２７の表示位置、形状、及び大きさは特に限定されるものではない。設定枠２７の形状は、例えば、矩形状、多角形状、円形状である。設定枠２７の大きさは、例えば、映像表示部２２の画面サイズの４０％以上８０％以下の大きさである。図面では、一例として、映像表示部２２の中央下部に正方形状の設定枠２７が表示される場合を図示している。

【0030】

また、「検知」表示の領域設定ボタン２６に対して操作が行われた場合、領域設定部３２は、映像表示部２２上において対象静止画を拡大縮小及び並行移動ができる状態にする。すなわち、対象静止画に対する、ユーザーによる拡大縮小操作及び並行移動操作を受け付ける状態にする。

【0031】

この状態において、ユーザーは、対象静止画を操作することにより、対象静止画における設定枠２７内に含まれる範囲を任意に調整できる。詳細は後述するが、図３（ｂ）に示すように、設定枠２７にゴルフボールＢが含まれるとともに、設定枠２７内に位置する、主な物体がゴルフボールＢとなるように、又は背景を除く最大の物体がゴルフボールＢとなるように、ユーザーによる対象静止画の大きさ及び位置が調整される。

【0032】

また、「検知」表示の領域設定ボタン２６に対して操作が行われた場合、領域設定ボタン２６の表示が「検知」から「検知開始」に変更される。「検知開始」表示の領域設定ボタン２６に対して操作が行われた場合、領域設定部３２は、ゴルフスイングの映像を構成する複数の静止画について、対象静止画における設定枠２７内に含まれる範囲と同じ範囲を判定領域Ｒに設定する。例えば、領域設定部３２は、対象静止画における設定枠２７内に含まれる範囲が位置するＸＹ座標の範囲（Ｘ１～Ｘ２，Ｙ１～Ｙ２）を求める。そして、ゴルフスイングの映像を構成する複数の静止画について、求めたＸＹ座標の範囲（Ｘ１～Ｘ２，Ｙ１～Ｙ２）に該当する部分を判定領域Ｒに設定する。なお、上記複数の静止画は、ゴルフスイングの映像を構成する全ての静止画であってもよいし、予め設定された周期で抽出された一部の静止画であってもよい。

【0033】

また、「検知開始」表示の領域設定ボタン２６に対して操作が行われた場合、映像表示部２２における対象静止画は、「検知」表示の領域設定ボタン２６に対する操作が行われる前の表示状態に戻る。なお、「検知」表示の領域設定ボタン２６に対する操作が行われてから、「検知開始」表示の領域設定ボタン２６に対する操作が行われるまでの間、領域設定部３２は、操作部２３に対する操作の入力を受け付けない状態にする。

【0034】

情報取得部３３は、領域設定部３２により判定領域Ｒが設定されたことを契機として、インパクトのタイミングを取得する情報取得処理を行う。情報取得部３３は、判定領域Ｒが設定された複数の静止画について、判定領域Ｒ内にゴルフボールＢが映っている状態が維持されているか否かを判定する。

【0035】

図５は、ゴルフスイングの映像を構成する各静止画から、ゴルフスイングにおいて重要とされる各タイミングの静止画を抽出して時系列に並べたものである。また、各静止画における判定領域Ｒを合わせて図示している。上記タイミングは、アドレス（ｔ０）、トップ（ｔ１）、インパクト（ｔ２，ｔ３）、フィニッシュ（ｔ４）である。アドレス（ｔ０）からインパクト（ｔ２）までの間は、判定領域Ｒ内にゴルフボールＢが映っている状態が維持されている。一方、インパクト（ｔ３）以降は、ゴルフボールＢが打ち出されたことにより、判定領域Ｒ内にゴルフボールＢが映っている状態が維持されていない。

【0036】

上記判定は、オブジェクトの位置をトラッキングするオブジェクトトラッキング技術を利用する。詳述すると、ゴルフスイングの映像を構成する複数の静止画の判定領域Ｒのみを対象範囲として、学習済みのＡＩモデルによるオブジェクトトラッキングを行う。このとき、判定領域Ｒに存在する最大の物体をゴルフボールＢにすることにより、マッチング処理をしなくても、オブジェクトトラッキングの対象物はゴルフボールＢとなる。

【0037】

ＡＩモデルは、判定領域ＲにゴルフボールＢが映っている静止画については追跡結果を出力するとともに、判定領域ＲにゴルフボールＢが映っていない静止画については追跡不可を出力する。情報取得部３３は、追跡結果が出力された場合を、ゴルフボールＢが映っている状態であると有り判定し、追跡不可が出力された場合を、ゴルフボールＢが映っていない状態であると無し判定する。なお、上記ＡＩモデルは、情報取得部３３が備えるものであってもよいし、映像分析装置１３として利用できるＰＣ、スマートフォン、タブレット端末などに搭載されているものを利用してもよい。

【0038】

図５に示すように、情報取得部３３は、その判定結果の時系列において、有り判定（○）から無し判定（×）に切り替わった静止画のタイミング（ｔ３）を検出し、検出したタイミングを、インパクトのタイミングとして取得する。図４に示すように、インパクトのタイミングの取得後、情報取得部３３は、情報表示画面２４にタイミングアイコン２５を表示する。タイミングアイコン２５は、シークバー２３ｄにおける、取得したインパクトのタイミングに該当する時点の下方に表示される。

【0039】

映像処理部３１、領域設定部３２、及び情報取得部３３は、コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、各種処理のうち少なくとも一部の処理を実行する特定用途向け集積回路（ＡＳＩＣ）等の１つ以上の専用のハードウェア回路、或いはそれらの組み合わせ、を含む回路（circuitry）として構成し得る。

【0040】

記憶部３４には、撮影装置１１から入力されたゴルフスイングの映像のデータが記憶されるとともに、取得されたインパクトのタイミングが取得元の映像のデータに紐づけて記憶される。また、記憶部３４には、映像処理部３１、領域設定部３２、及び情報取得部３３における各処理の実行を制御するためのプログラム３４ａが記憶されている。なお、プログラム３４ａは、映像分析装置１３としてコンピュータを機能させるためのプログラムに相当する。

【0041】

＜映像分析方法＞
次に、図６を参照して、本実施形態の映像分析システム１０を用いた映像分析方法について説明する。映像分析方法は、以下に記載するステップＳ１０１～Ｓ１０５が順に行われる。

【0042】

ステップＳ１０１は、撮影装置１１を用いてゴルフスイングの映像を撮影する撮影ステップである。撮影される映像は、ゴルフスイングを行う動作者及びゴルフボールＢを囲む領域を定点撮影した動画である。ステップＳ１０２は、撮影装置１１により撮影されたゴルフスイングの映像を、表示装置１２の映像表示部２２に表示する映像処理ステップである。このとき、映像表示部２２に表示される映像は、インパクトのタイミングを取得する処理が行われていない映像である。

【0043】

ステップＳ１０３は、ユーザーの操作に基づいて、映像表示部２２に表示された映像に映されている範囲の一部を判定領域Ｒに設定する領域設定ステップである。ステップＳ１０４は、ステップＳ１０３にて設定された判定領域Ｒ内の変化に基づいて、ゴルフスイングの映像からインパクトのタイミングを取得する情報取得ステップである。領域設定ステップ及び情報取得ステップの詳細については後述する。

【0044】

ステップＳ１０５は、表示装置１２の情報表示画面２４にタイミングアイコン２５を表示する情報表示ステップである。図４（ａ）に示すように、情報取得部３３は、情報表示画面２４にタイミングアイコン２５を表示させる。また、図４（ｂ）に示すように、タイミングアイコン２５が操作されると、情報取得部３３は、インパクトのタイミングの静止画を映像表示画面２１に表示させる。

【0045】

次に、図７を参照して、領域設定ステップ及び情報取得ステップの詳細について説明する。
ステップＳ１０３である領域設定ステップでは、先ず、ユーザーにより対象静止画が選択される（ステップＳ２０１）。ユーザーは、表示装置１２の操作部２３に表示される操作アイコンを操作して、打球前のゴルフボールＢが映っている静止画が映像表示部２２に表示されている状態にする。

【0046】

その後、ユーザーは、映像表示部２２に表示されている「検知」表示の領域設定ボタン２６を操作する（ステップＳ２０２）。領域設定ボタン２６が操作されると、領域設定部３２は、映像表示部２２に表示されている対象静止画に設定枠２７を重ねて表示するとともに、対象静止画の表示状態を変更する（ステップＳ２０３）。ステップＳ２０３において、対象静止画は、映像表示部２２上において拡大縮小及び並行移動できる状態に変更される。

【0047】

次いで、ユーザーは、設定枠２７内にゴルフボールＢ全体が含まれるように、対象静止画の大きさ及び位置を調整する（ステップＳ２０４）。このとき、設定枠２７内に位置する、主な物体がゴルフボールＢとなるように、又は背景を除く最大の物体がゴルフボールＢとなるように対象静止画の大きさ及び位置を調整する。特に、調整後の設定枠２７内に占めるゴルフボールＢの面積割合が５０％以上になるように調整することが好ましい。また、調整後の設定枠２７内に、ゴルフボールＢの背景が含まれるように調整することが好ましい。例えば、設定枠２７内に占める背景の面積割合が４０％以上になるように調整する。ゴルフボールＢの面積割合及び背景の面積割合に関する上記要件の一方又は両方を満たすように調整することにより、情報取得部３３による判定処理の精度が向上する。なお、対象静止画の大きさ及び位置を調整する際の操作は、例えば、ポインティングデバイスによる入力操作、タッチパネルに対するタッチ操作により行われる。

【0048】

その後、ユーザーは、映像表示部２２に表示されている「検知開始」表示の領域設定ボタン２６を操作する（ステップＳ２０５）。領域設定ボタン２６が操作されると、領域設定部３２は、ゴルフスイングの映像を構成する複数の静止画について、対象静止画における設定枠２７内に含まれる範囲と同じ範囲を判定領域Ｒに設定する。その後に、ステップＳ１０４である情報取得ステップが行われる。

【0049】

情報取得ステップでは、先ず、情報取得部３３による判定処理が行われる。情報取得部３３は、判定領域Ｒが設定された複数の静止画について、判定領域Ｒ内にゴルフボールＢが映っている状態が維持されているか否かを判定する（ステップ３０１）。その後、情報取得部３３は、その判定結果の時系列において、有り判定から無し判定に切り替わった静止画のタイミングを検出し、検出したタイミングを、インパクトのタイミングとして取得する（ステップＳ３０２）。ステップＳ３０２の後に、ステップＳ１０５である情報表示ステップが行われる。

【0050】

次に、本実施形態の作用及び効果について記載する。
（１）映像分析装置１３は、定点撮影された動画であるゴルフスイングの映像を表示装置１２の表示画面２０に表示させる映像処理部３１と、映像に映されている範囲の一部を判定領域Ｒに設定する領域設定部３２と、設定された判定領域Ｒ内の変化に基づいてインパクトのタイミングを取得する情報取得部３３とを備える。領域設定部３２は、映像を構成する静止画であって、ゴルフボールＢが映っている静止画からゴルフボールＢを囲む範囲を選択するユーザーの操作に基づいて、判定領域Ｒを設定する。

【0051】

上記構成によれば、ユーザーにより特定された判定領域Ｒを対象範囲として、インパクトのタイミングを取得するための処理が実行される。そのため、静止画の全体、即ち、判定領域Ｒの内外全体を対象範囲として、インパクトのタイミングを取得する場合と比較して、機器に実行させる処理が軽くなる。なお、上記構成の場合、判定領域Ｒを設定する処理が追加されることになるが、判定領域Ｒの位置及び大きさの選択をユーザーが行っているため、当該処理は、ＡＩモデルなどによる判定を伴わない軽い処理になる。

【0052】

したがって、上記構成によれば、インパクトのタイミングを取得する処理を実行させる機器にかかる負荷を低減できる。その結果、インパクトのタイミングを取得する処理に要する時間が低減できるとともに、当該処理に伴う機器の発熱を抑制できる。

【0053】

また、上記構成によれば、映像ごとに、そのサイズ、特に、映像中のゴルフボールＢの大きさが異なる場合にも同様にインパクトのタイミングを取得できる。したがって、様々なサイズの映像に対応した、インパクトのタイミングの取得を実現できる。

【0054】

（２）領域設定部３２は、表示画面２０に表示されている対象静止画に、判定領域Ｒを選択するための設定枠２７を重ねて表示する。設定枠２７は、ユーザーの操作に基づいて、対象静止画に対する大きさ及び位置を相対的に変更可能である。本実施形態では、設定枠２７の位置及び大きさが固定されており、対象静止画を拡大縮小及び並行移動ができる状態にしている。

【0055】

上記構成によれば、ユーザーは、対象静止画に対してゴルフボールＢを囲む範囲を選択する操作を簡易に行うことができる。特に、対象静止画を拡大縮小及び並行移動できる構成としたことにより、ゴルフボールＢが小さく映っている場合にも、ゴルフボールＢを囲む適切な範囲を容易に選択できる。

【0056】

（３）情報取得部３３は、ゴルフスイングの映像を構成する複数の静止画について、判定領域Ｒ内にゴルフボールＢが映っている状態が維持されているか否かを判定し、その判定結果の変化に基づいてインパクトのタイミングを取得する。

【0057】

上記構成によれば、インパクトのタイミングを単純な判定処理により取得できる。そのため、インパクトのタイミングを取得する処理を実行させる機器にかかる負荷を更に低減できる。

【0058】

（４）判定領域Ｒに位置する主な物体がゴルフボールＢになるように、又は判定領域Ｒ内に占めるゴルフボールＢの面積割合、即ち、設定枠２７内に占めるゴルフボールＢの面積割合が５０％以上になるように、ゴルフボールＢを囲む範囲を選択する。

【0059】

上記構成によれば、判定領域Ｒが小さくなるため、上記（１）の効果である、機器に実行させる処理が軽くなる効果がより顕著に得られる。また、上記構成によれば、判定領域Ｒに存在する最も大きな物体がゴルフボールＢになる。この場合、判定領域Ｒに検出されたオブジェクトをそのままゴルフボールＢと見なすことができる。そのため、判定領域Ｒ内にゴルフボールＢが存在するか否かを判定する際に、判定領域Ｒにオブジェクトが検出されるか否かを判定するのみでよく、検出されたオブジェクトがゴルフボールＢであるか否かを判定する必要がない。

【0060】

（５）情報取得部３３の処理は、通信ネットワークを利用せず、スタンドアローンで実行される。
上記構成によれば、通信コスト及び処理時間を低減できる。また、ゴルフスイングの映像は、場合によっては動作者を特定することもできる個人情報になり得る。そのため、個人情報を外部へ送信することについて、ユーザーが忌避感を覚えることを抑制できる。

【0061】

なお、本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・対象静止画に対する設定枠２７の大きさ及び位置を相対的に変更可能とするための構成は、上記実施形態に限定されない。例えば、対象静止画を固定し、設定枠２７の大きさ及び位置を変更可能に構成してもよい。また、対象静止画に重ねて表示された設定枠２７の大きさ及び位置を相対的に変更可能とする構成に代えて、ユーザーの操作に基づいて、任意の形状の設定枠２７を描ける構成としてもよい。

【0062】

・情報取得ステップの判定処理において、有り判定から無し判定に切り替わった静止画の数コマ前の静止画のタイミングをインパクトのタイミングとしてもよい。
・映像分析装置１３は、取得したインパクトのタイミングに基づいて、更なる分析を行ってもよい。例えば、取得したインパクトのタイミングを基準点として、基準点の前後数コマの映像を１回のスイング映像として切り出す処理を行ってもよい。また、基準点の数コマ前のタイミング及び数コマ後のタイミングをそれぞれ、トップのタイミング及びフィニッシュのタイミングとして取得してもよい。

【0063】

・判定領域Ｒ内にゴルフボールＢが映っている状態が維持されているか否かの判定方法は、オブジェクトトラッキング技術を利用する方法に限定されない。その他の判定方法としては、例えば、色ヒストグラムを用いた判定方法が挙げられる。具体的には、判定領域Ｒが設定された複数の静止画について、判定領域Ｒ内の色ヒストグラムを作成するとともに、１コマ前の静止画と比較して色ヒストグラムの変化量が予め設定された閾値以下であるか否かを判定する。そして、色ヒストグラムの変化量が閾値以下である静止画については、ゴルフボールＢが映っている状態であると有り判定し、色ヒストグラムの変化量が閾値を超える静止画については、ゴルフボールＢが映っていない状態であると無し判定する。

【0064】

・ゴルフスイングの映像から取得される情報は、ゴルフボールＢのインパクトのタイミングに限定されない。例えば、オブジェクトトラッキング技術を利用する場合には、ゴルフボールＢが打ち出される際の初速、ゴルフボールＢの打ち出し角度などのゴルフボールＢの動き出しに関する他の情報を取得することもできる。

【0065】

・映像分析装置１３による分析の対象となる映像は、ゴルフスイングの映像に限定されるものでなく、静止している対象物が動き出す過程の映像の全般に適用できる。その他の映像としては、例えば、サッカーのフリーキックの映像、ゲートボールのスイングの映像、野球のティーバッティングの映像、短距離走などでスターティングブロックを使った走り出しの映像が挙げられる。

【0066】

また、参考例として、映像分析装置１３を、静止している対象物が動き出す過程の映像以外の映像の分析に適用することも考えられる。例えば、ゴルフスイングの映像に基づいて、実施者の頭部が動いているか否かの情報を取得する場合のように、実施者の体の一部を対象物として、その動作に関する情報を取得することが考えられる。この場合、実施者の体の一部を囲む範囲を選択するように判定領域Ｒを設定する。また、バスケットボールのシュートの映像において、ゴールに対してボールが通過したタイミングに関する情報を取得する場合のように、静止している対象物に対する動作に関する情報を取得することも考えられる。この場合、静止している対象物を囲む範囲を選択するように判定領域Ｒを設定する。

【0067】

・情報取得ステップの判定処理を、通信ネットワークを利用してサーバやクラウドで行ってもよい。
・映像分析装置１３の分析の対象となる映像は、映像分析システム１０を構成する撮影装置１１以外の撮影装置により撮影された映像であってもよい。

【符号の説明】

【0068】

Ｂ…ゴルフボール
Ｒ…判定領域
１０…映像分析システム
１１…撮影装置
１２…表示装置
１３…映像分析装置
２０…表示画面
３１…映像処理部
３２…領域設定部
３３…情報取得部
３４…記憶部
３４ａ…プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】