知財求人 - 知財ポータルサイト「IP Force」
特開2024-89828インパクト検出装置、インパクト検出方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089828
(43)【公開日】2024-07-04
(54)【発明の名称】インパクト検出装置、インパクト検出方法およびプログラム
(51)【国際特許分類】
A63B 69/36 20060101AFI20240627BHJP
【ＦＩ】
A63B69/36 541W
A63B69/36 541E
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022205279
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】田嶋 良平
(72)【発明者】
【氏名】中島 拓也
(72)【発明者】
【氏名】山本 和彦
(72)【発明者】
【氏名】伊藤 栄美
(57)【要約】
【課題】素振りや空振りと、インパクトを伴うスイングとを区別する。
【解決手段】ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部１０１と、スイングの時間推移を示す基準動作データであって、スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部１０２と、動画データのうち、基準動作データにおいて識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部１０４と、区間に、打球音を含むフレームが存在するか否かを判定し、区間に打球音を含むフレームが存在すると判定した場合、動画データに、インパクトを伴うスイングが含まれると判定する判定部１０５と、を有する。
【選択図】図３
【解決手段】ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部１０１と、スイングの時間推移を示す基準動作データであって、スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部１０２と、動画データのうち、基準動作データにおいて識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部１０４と、区間に、打球音を含むフレームが存在するか否かを判定し、区間に打球音を含むフレームが存在すると判定した場合、動画データに、インパクトを伴うスイングが含まれると判定する判定部１０５と、を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部と、
モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、
前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部と、
前記区間に、打球音を含むフレームが存在するか否かを判定し、
前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、
を有するインパクト検出装置。
モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、
前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部と、
前記区間に、打球音を含むフレームが存在するか否かを判定し、
前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、
を有するインパクト検出装置。
【請求項2】
前記区間に打球音を含むフレームが２以上存在する場合、
前記判定部は、
前記識別子が付されたタイミングに最も近いフレームをインパクトフレームとして判定する
請求項１に記載のインパクト検出装置。
前記判定部は、
前記識別子が付されたタイミングに最も近いフレームをインパクトフレームとして判定する
請求項１に記載のインパクト検出装置。
【請求項3】
前記基準動作データは、モデル毎に複数で用意され、
前記第２取得部は、
前記複数の基準動作データのうち、前記動画データで示されるスイングに類似する一の基準動作データを取得する
請求項１に記載のインパクト検出装置。
前記第２取得部は、
前記複数の基準動作データのうち、前記動画データで示されるスイングに類似する一の基準動作データを取得する
請求項１に記載のインパクト検出装置。
【請求項4】
前記基準動作データは、前記モデルにおける関節座標の時間推移を示すデータであり、
前記動画データにおけるユーザーにおける関節座標の時間推移を解析する解析部を有し、
前記第２取得部は、
前記複数の基準動作データのうち、
前記動画データの、ユーザーにおける関節座標の時間推移に最も類似する時間推移を有する基準動作データを取得する
請求項３に記載のインパクト検出装置。
前記動画データにおけるユーザーにおける関節座標の時間推移を解析する解析部を有し、
前記第２取得部は、
前記複数の基準動作データのうち、
前記動画データの、ユーザーにおける関節座標の時間推移に最も類似する時間推移を有する基準動作データを取得する
請求項３に記載のインパクト検出装置。
【請求項5】
前記動画データを編集する編集部を有し、
前記編集部は、
前記動画データに対し、前記特定部で特定されたインパクトフレームを基準に、第１時間だけ前方のフレームから第２時間だけ後方のフレームまでを切り出す
請求項２に記載のインパクト検出装置。
前記編集部は、
前記動画データに対し、前記特定部で特定されたインパクトフレームを基準に、第１時間だけ前方のフレームから第２時間だけ後方のフレームまでを切り出す
請求項２に記載のインパクト検出装置。
【請求項6】
前記動画データに２以上のスイングが含まれている場合、
前記編集部は、
前記スイング毎に、当該動画データを切り出す
請求項５に記載のインパクト検出装置。
前記編集部は、
前記スイング毎に、当該動画データを切り出す
請求項５に記載のインパクト検出装置。
【請求項7】
前記編集部によって切り出された２以上の動画データを並べて再生する再生部を備える
請求項６に記載のインパクト検出装置。
請求項６に記載のインパクト検出装置。
【請求項8】
コンピューターに、
ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する過程と、
モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する過程部と、
前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する過程と、
前記区間に、打球音を含むフレームが存在するか否かを判定し、
前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する過程と、
を実行させるインパクト検出方法。
ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する過程と、
モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する過程部と、
前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する過程と、
前記区間に、打球音を含むフレームが存在するか否かを判定し、
前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する過程と、
を実行させるインパクト検出方法。
【請求項9】
コンピューターを、
ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部、
モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部、
前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部、および、
前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部、
として機能させるプログラム。
ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部、
モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部、
前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部、および、
前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、例えばインパクト検出装置、インパクト検出方法およびプログラムに関する。
【背景技術】
【0002】
従来、スポーツ等において一定のパターンを有するスイングを撮影し、撮影された動画データを解析することが行われている。これにより、当該スイングを評価したり、診断したりすることができる。このような技術の例として、例えばスイングに係る動画データの画像認識にかかる処理コストを減少させるとともに、画像認識結果を利用した動作の解析精度を向上させる技術が挙げられる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１２５０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載された技術では、インパクト（打撃）を伴わないスイング、具体的には単なる素振りや空振りと、実際にインパクトを伴うスイングと、を区別することが困難である、という課題がある。
このような事情を考慮して、本開示のひとつの態様は、素振りや空振りと、インパクトを伴うスイングとを区別することが容易な技術を提供することを目的とする。
このような事情を考慮して、本開示のひとつの態様は、素振りや空振りと、インパクトを伴うスイングとを区別することが容易な技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の一態様に係るインパクト検出装置は、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部と、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を、特定する特定部と、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、を有する。
【図面の簡単な説明】
【0006】
【図1】実施形態に係るインパクト検出装置の使用状況の一例を示す図である。
【図2】インパクト検出装置のハードウェアの構成を示す図である。
【図3】インパクト検出装置の機能ブロック図である。
【図4】動画データの一例を示す図である。
【図5】基準動作データの一例を示す図である。
【図6】インパクト検出装置の動作を示すフローチャートである。
【図7】動画データと音声データとの関係においてインパクト検出を示す図である。
【図8】スイングが連続する動画データの一例を示す図である。
【図9】動画データの切り出しを示す図である。
【図10】動画データの再生例を示す図である。
【発明を実施するための形態】
【0007】
以下、本開示の実施形態に係るインパクト検出装置について図面を参照して説明する。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【0008】
図１は、実施形態に係るインパクト検出装置１の使用状況の一例を示す図である。インパクト検出装置１は、例えば撮影機能付きの情報処理装置、具体的にはスマートフォンである。インパクト検出装置１は、ユーザーＵによるインパクトを伴うスイング、例えばゴルフにおけるスイングを撮影して、当該撮影した動画データを解析する。なお、インパクト検出装置１は、スマートフォン以外、例えば携帯型端末装置や、パーソナルコンピューターなどのように動画データを解析する機能を有する装置であってもよい。
【0009】
図２は、インパクト検出装置１におけるハードウェアの構成を示す図である。インパクト検出装置１によるインパクト検出は、ハードウェアとソフトウェアとの協働により実現される。インパクト検出装置１は、処理装置１０と撮影装置１１と操作入力装置１２と表示装置１３と記憶装置１４と通信装置１５とを含む。
【0010】
処理装置１０は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の演算処理回路で構成され、情報処理装置であるインパクト検出装置１の各要素を統括的に制御する。なお、処理装置１０は、ＣＰＵのほか、ＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって構成されてもよい。
【0011】
撮影装置１１は、ユーザーＵのスイングを撮影し、当該撮影した音声および映像を含む動画データを出力する。
操作入力装置１２は、ユーザーによる操作を受け付ける。操作入力装置１２は、例えばユーザーが押下する複数の操作子、またはユーザーによる接触を検知するタッチパネルであり、表示装置１３による画像表示面に重ねられる。なお、操作入力装置１２を操作するユーザーは、スイングをしたユーザー本人であってもよいし、他のユーザーであってもよい。
操作入力装置１２は、ユーザーによる操作を受け付ける。操作入力装置１２は、例えばユーザーが押下する複数の操作子、またはユーザーによる接触を検知するタッチパネルであり、表示装置１３による画像表示面に重ねられる。なお、操作入力装置１２を操作するユーザーは、スイングをしたユーザー本人であってもよいし、他のユーザーであってもよい。
【0012】
表示装置１３は、例えば液晶パネルや有機ＥＬパネルで構成され、処理装置１０による制御のもとで各種の画像を表示する。例えば撮影されたスイングや、当該スイングの編集画面などが表示装置１３に表示される。
【0013】
記憶装置１４は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリーであり、処理装置１０が実行するプログラムと処理装置１０が使用する各種データや、スイングの動画データを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１４を構成してもよい。また、インパクト検出装置１に対して着脱可能な可搬型の記録媒体、または、インパクト検出装置１がネットワークを介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１４の一部として利用してもよい。
【0014】
通信装置１５は、処理装置１０による制御のもとで、ネットワークを介してサーバー等と通信する。
【0015】
図３は、処理装置１０の機能的な構成を例示するブロック図である。処理装置１０は、記憶装置１４に記憶されたプログラムを実行することで、動画データにおいてインパクトが発生したインパクトフレームを検出するための複数の要素（制御部１００、第１取得部１０１、第２取得部１０２、解析部１０３、特定部１０４および判定部１０５）として機能する。また、処理装置１０は、動画データにおいてインパクトフレーム検出した後に、当該動画データを編集するための編集部１０６、および、動画データを再生するための再生部１０７としても機能する。
なお、処理装置１０における機能の一部を他の装置、例えばネットワークを介して接続されたサーバーに負担させる構成としてもよい。
なお、処理装置１０における機能の一部を他の装置、例えばネットワークを介して接続されたサーバーに負担させる構成としてもよい。
【0016】
図４は、動画データの一例を示す図である。図に示されるように、動画データは、インパクトの検出対象であって、ユーザーＵによるゴルフのスイングを、例えばインパクト検出装置１によって撮影したものである。当該動画データは、複数のフレームＦｒで構成される映像部分と、図４では省略されているが、映像部分に同期した音声部分と、を含む。映像部分では、スイング画像がフレームＦｒ毎に記録され、音声部分では、スイングの際に収音した音が記録される。
なお、動画データの各フレームＦｒには、開始フレームからの通し番号としてフレーム番号が関連付けられる。
なお、動画データの各フレームＦｒには、開始フレームからの通し番号としてフレーム番号が関連付けられる。
【0017】
図では、スイングの代表的な動作のうち、アドレス、トップ、インパクトおよびフィニッシュが順に（Ａ）、（Ｃ）、（Ｅ）および（Ｇ）で示される。
また、動画データは、例えばＭＰＥＧ方式であるが、複数のフレームで連続する映像部分と、当該映像部分に同期した音声部分とを含むのであれば、方式は問わない。
また、動画データは、例えばＭＰＥＧ方式であるが、複数のフレームで連続する映像部分と、当該映像部分に同期した音声部分とを含むのであれば、方式は問わない。
【0018】
インパクト検出装置１では、動画データのインパクトフレームを検出するために、基準動作データを参照する。そこで、基準動作データについて説明する。
【0019】
図５は、基準動作データを説明するための図である。
基準動作データは、模範／見本になるスイングを示すデータである。詳細には、基準動作データは、モデルＭがスイングした際の骨格情報の各関節Ｊにおける三次元座標の時間推移を示すデータである。三次元座標の基準は、例えばモデルＭにおける両足の重心座標であり、各関節Ｊにおける三次元座標は、当該重心座標からの相対座標によりフレームＦｒ毎に規定される。
なお、基準動作データの各フレームＦｒには、動画データと同様に、開始フレームからの通し番号としてフレーム番号が関連付けられる。
基準動作データは、模範／見本になるスイングを示すデータである。詳細には、基準動作データは、モデルＭがスイングした際の骨格情報の各関節Ｊにおける三次元座標の時間推移を示すデータである。三次元座標の基準は、例えばモデルＭにおける両足の重心座標であり、各関節Ｊにおける三次元座標は、当該重心座標からの相対座標によりフレームＦｒ毎に規定される。
なお、基準動作データの各フレームＦｒには、動画データと同様に、開始フレームからの通し番号としてフレーム番号が関連付けられる。
【0020】
関節Ｊの例としては、例えば左膝、右膝、左股関節、右股関節、左肩関節、右肩関節、左肘および右肘など挙げられる。
図では、右利きのモデルＭが正面（打球方向を北とした場合に、東）から見たスイングした際の関節Ｊが黒丸で示され、スイングのうち、代表的なアドレス、テイクバック、トップ、ダウンスイング、インパクト、フォロースルーおよびフィニッシュについて、順に（１）～（７）として例示されている。
基準動作データで示されるスイングのフレームのうち、インパクトを示すフレームインパクトフレームには、他のフレームとは区別するために識別子が予めタグ付けされる。
図では、右利きのモデルＭが正面（打球方向を北とした場合に、東）から見たスイングした際の関節Ｊが黒丸で示され、スイングのうち、代表的なアドレス、テイクバック、トップ、ダウンスイング、インパクト、フォロースルーおよびフィニッシュについて、順に（１）～（７）として例示されている。
基準動作データで示されるスイングのフレームのうち、インパクトを示すフレームインパクトフレームには、他のフレームとは区別するために識別子が予めタグ付けされる。
【0021】
基準動作データは、各関節Ｊの三次元座標を示すので、視点を指定すれば、任意の地点から、モデルＭのスイングを眺めることが可能である。
スイングは、一般的に言えば、ユーザーＵの性別、利き手、世代（年齢）、ゴルフの巧拙（プロ、セミプロ、アマ）などの属性によって異なる。このため、基準動作データは、これらの属性に応じて、複数の種類が用意されてデータベース化される。基準動作データのデータベースは、記憶装置１４に記憶する構成としてもよいし、クラウド上のサーバーに記憶する構成としてもよい。
また、基準動作データのデータベースの検索性を向上させるために、基準動作データで示されるスイング（関節座標の時間推移）の類似性を示す樹形図を、予め作成してもよい。
スイングは、一般的に言えば、ユーザーＵの性別、利き手、世代（年齢）、ゴルフの巧拙（プロ、セミプロ、アマ）などの属性によって異なる。このため、基準動作データは、これらの属性に応じて、複数の種類が用意されてデータベース化される。基準動作データのデータベースは、記憶装置１４に記憶する構成としてもよいし、クラウド上のサーバーに記憶する構成としてもよい。
また、基準動作データのデータベースの検索性を向上させるために、基準動作データで示されるスイング（関節座標の時間推移）の類似性を示す樹形図を、予め作成してもよい。
【0022】
次に、インパクト検出装置１において、動画データからインパクトフレームを検出するための動作について説明する。
【0023】
図６は、インパクト検出装置１の動作を示すフローチャートである。この動作は、例えばユーザーＵが、インパクト検出装置１に対して、インパクトフレームを検出するアプリケーションプログラムに対応するアイコンを操作したことを契機として実行される。
【0024】
当該アプリケーションプログラムが実行されると、制御部１００は、第１取得部１０１に対し、インパクトフレームの検出対象である動画データの取得を指示する（ステップＳａ１１）。
【0025】
指示された第１取得部１０１は、例えば１または２以上の動画データの一覧を表示装置１３に表示させて、ユーザーＵにインパクトフレームの検出対象となる動画ファイルの選択を促す。ユーザーＵが動画ファイルすると、第１取得部１０１は、選択した動画ファイルを、インパクトフレームの検出する対象の動画ファイルとして取得する。
なお、動画ファイルの取得元としては、記憶装置１４や、ネットワークを介した外部装置などが挙げられる。記憶装置１４に記憶された動画ファイルとしては、撮影装置１１で撮影された直近の動画ファイルや、過去に撮影された動画ファイルなどが含まれる。
なお、動画ファイルの取得元としては、記憶装置１４や、ネットワークを介した外部装置などが挙げられる。記憶装置１４に記憶された動画ファイルとしては、撮影装置１１で撮影された直近の動画ファイルや、過去に撮影された動画ファイルなどが含まれる。
【0026】
制御部１００は、第１取得部１０１によって取得された動画データを解析部１０３に転送する。解析部１０３は、動画データにおいて、スイングするユーザーの関節座標の時間推移を、既知の方法を用いて解析する。
解析部１０３は、解析した関節座標の時間推移を示す情報を第２取得部１０２に転送する。
解析部１０３は、解析した関節座標の時間推移を示す情報を第２取得部１０２に転送する。
【0027】
第２取得部１０２は、動画データを解析して得られた関節座標の時間推移に最も類似する基準動作データを、データベースを検索して特定し、取得する（ステップＳａ１２）。なお、解析して得られた関節座標の時間推移に最も類似する基準動作データは、例えばSubsequence Dynamic Time Warpingを用いて特定してもよい。
【0028】
制御部１００は、第１取得部１０１によって取得された動画データおよび第２取得部１０２によって取得された基準動作データを特定部１０４に転送する。特定部１０４は、動画データの各フレームと基準動作データの各フレームとの相関性を、具体的には、動画データの各フレームが基準動作データのどのフレームに対応しているのかを求める。
【0029】
図７の上欄は、動画データの各フレームと基準動作データの各フレームとの相関性を示す図であり、具体的には、動画データの各フレームが基準動作データのどのフレームに対応しているのかを黒点で示す。
例えば、動画データにおいてフレーム（Ａ）が、基準動作データにおいてアドレス（１）のフレームに対応していることを示す。同様に、動画データにおいてフレーム（Ｅ）が、基準動作データにおいてインパクト（５）のフレームに対応していることを示す。また、動画データにおいてフレーム（Ｇ）が、基準動作データにおいてフィニッシュ（７）のフレームに対応していることを示す。
例えば、動画データにおいてフレーム（Ａ）が、基準動作データにおいてアドレス（１）のフレームに対応していることを示す。同様に、動画データにおいてフレーム（Ｅ）が、基準動作データにおいてインパクト（５）のフレームに対応していることを示す。また、動画データにおいてフレーム（Ｇ）が、基準動作データにおいてフィニッシュ（７）のフレームに対応していることを示す。
【0030】
特定部１０４は、相関性を求めた後、基準動作データのインパクト（５）に対応する動画データのフレーム（Ｅ）を基準にして、時間的に前の例えば０．３秒から、時間的に後方の例えば０．３秒までの区間Ｓを、当該動画データにおいてインパクトフレームが含まれる可能性が高い区間であると特定する（ステップＳａ１３）。
特定部１０４は、特定した区間Ｓを示す情報を判定部１０５に転送する。
特定部１０４は、特定した区間Ｓを示す情報を判定部１０５に転送する。
【0031】
次に、判定部１０５は、動画データのうち、特定部１０４によって特定された区間Ｓの音声部分に、打撃音が１つであるか否かを判定する（ステップＳａ１４）。打撃音とは、極めて短時間（例えば０．０１秒）以内において音量が閾値を超える音をいう。図７の下欄は、特定部１０４によって特定された区間Ｓの音声部分を示す波形一例であって、当該区間Ｓに打撃音が２つ存在する場合の例である。
【0032】
判定部１０５は、区間Ｓの音声部分に存在する打撃音が１つのみと判定した場合（ステップＳａ１４の判定結果が「Ｙｅｓ」である場合）、区間Ｓの映像部分のうち、当該打撃音がピーク値を迎えるフレームをインパクトフレームと検出する（ステップＳａ１５）。
【0033】
区間Ｓの音声部分に存在する打撃音が１つではないと判定される場合（ステップＳａ１４の判定結果が「Ｎｏ」になる場合）、次に、判定部１０５は、当該区間Ｓの音声部分に存在する打撃音が２つ以上であるか否かを判定する（ステップＳａ１６）。
【0034】
当該区間Ｓの音声部分に存在する打撃音が２つ以上であると判定した場合（ステップＳａ１６の判定結果が「Ｙｅｓ」の場合）、判定部１０５は、区間Ｓに存在する２以上の打撃音のうち、動画データのフレーム（Ｅ）に最も近いタイミングの打撃音が、ユーザーＵによるスイングで発生したインパクトであるとする。そして、判定部１０５は、当該打撃音がピーク値を迎えるフレームをインパクトフレームと特定する（ステップＳａ１７）。
【0035】
ゴルフ練習場では、多数のユーザーが、同時並行的にゴルフを練習する。このため、短時間の間に多数の打撃音が発生し得る。図７の下欄は、区間Ｓの音声部分では、タイミングａ、ｂで打撃音が発生した場合の例である。この場合、タイミングｂで発生した打撃音の音量がタイミングａで発生した打撃音の音量よりも大きければ、ユーザーＵのスイングにおけるインパクトがタイミングｂで発生したと誤検出してしまう可能性がある。
【0036】
これに対し、本実施形態では、打撃音の音量ではなく、フレーム（Ｅ）に最も近いタイミングａの打撃音が、ユーザーＵによるスイングで発生したと判定されるので、多数のユーザーが同時に練習する場合であっても、ユーザーＵのスイングにおけるインパクトフレームを精度良く特定することができる。
【0037】
なお、区間Ｓの音声部分に存在する打撃音が１つではなく（ステップＳａ１４の判定結果が「Ｎｏ」であって）、打撃音が２つ以上でない場合（ステップＳａ１６の判定結果が「Ｎｏ」になる場合）とは、当該区間Ｓの音声部分に打撃音が存在しない場合である。このため、判定部１０５は、ステップＳａ１６の判定結果が「Ｎｏ」の場合には、動画データにはインパクトフレームが存在しないことになるので、制御部１００に通知し、当該制御部１００は、エラー処理を実行する（ステップＳａ１８）。
本実施形態では、ユーザーＵによるスイングが単なる素振りである場合、区間Ｓに打撃音が発生しないので、ステップＳａ１８においてエラー処理が実行される。このため、打撃音を伴わないスイングにおいてフレーム（Ｅ）がインパクトフレームである、と特定されることはない。
なお、エラー処理の例としては、動画データにはインパクトフレームが存在しない旨や、動画データのスイングは素振りです旨などのメッセージを、表示装置１３に表示させることなどが挙げられる。
本実施形態では、ユーザーＵによるスイングが単なる素振りである場合、区間Ｓに打撃音が発生しないので、ステップＳａ１８においてエラー処理が実行される。このため、打撃音を伴わないスイングにおいてフレーム（Ｅ）がインパクトフレームである、と特定されることはない。
なお、エラー処理の例としては、動画データにはインパクトフレームが存在しない旨や、動画データのスイングは素振りです旨などのメッセージを、表示装置１３に表示させることなどが挙げられる。
【0038】
本実施形態によれば、素振りや空振りと、実際の打撃を伴うスイングとを区別することができるだけでなく、複数人が同時並行的にスイングする場合でも、ユーザーのスイングを撮影したインパクトフレームを精度良く検出することができる。
【0039】
実施形態において、ユーザーＵが１回のスイングしたことを前提として説明したが、実際には、撮影開始から撮影終了まで、スイングを複数回繰り返す。動画データに複数回のスイングが含まれている場合、スイング毎にインパクトフレームを特定すればよい。
【0040】
図８は、動画データに複数回のスイングが含まれている場合において、当該動画データの各フレームと基準動作データの各フレームとの相関性を示す図である。図に示される相関性は、１つの動画データに３回のスイングが含まれる例である。
この例において、音声部分の図示は省略されているが、仮に、各スイングのフレーム（Ｅ）付近に打撃音が発生していれば、当該打撃音の発生しているフレームがインパクトフレームとして検出される。
この例において、音声部分の図示は省略されているが、仮に、各スイングのフレーム（Ｅ）付近に打撃音が発生していれば、当該打撃音の発生しているフレームがインパクトフレームとして検出される。
【0041】
動画データに複数回のスイングが含まれる場合、各スイングにおいてインパクトフレームが特定された後に、編集部１０６は、当該動画データを編集して、各スイングを切り出す構成としてもよい。
具体的には、当該動画データのうち、３回のスイングにおいてフレーム（Ｅ）がインパクトフレームとして特定された場合、図９に示されるように、編集部１０６が、フレーム（Ｅ）の時間的に前の２．０秒から、フレーム（Ｅ）の時間的に後の２．０秒までを、１つのスイングとして切り出す。
具体的には、当該動画データのうち、３回のスイングにおいてフレーム（Ｅ）がインパクトフレームとして特定された場合、図９に示されるように、編集部１０６が、フレーム（Ｅ）の時間的に前の２．０秒から、フレーム（Ｅ）の時間的に後の２．０秒までを、１つのスイングとして切り出す。
【0042】
なお、図の例の場合、スイングを示す動画データが３つ切り出されることになる。このように切り出された動画データには、例えば撮影日時など情報が関連付けられる。
また、フレーム（Ｅ）の時間的に前の２．０秒が第１時間の一例であり、フレーム（Ｅ）の時間的に後の２．０秒が第２時間の一例である。第１時間および第２時間については、ユーザーＵによって任意の時間に設定可能にしてもよい。
また、フレーム（Ｅ）の時間的に前の２．０秒が第１時間の一例であり、フレーム（Ｅ）の時間的に後の２．０秒が第２時間の一例である。第１時間および第２時間については、ユーザーＵによって任意の時間に設定可能にしてもよい。
【0043】
スイング毎に、動画データが切り出された場合に、再生部１０７は、例えば図１０に示されるように、比較のために２つ並べて再生する構成としてもよい。２つ並べて再生する構成において、図に示されるように、インパクトフレームとして特定されたフレーム（Ｅ）で揃えれば、２つの動画においてインパクト前後においてスイングの相違をユーザーＵが把握しやすくなる。
【0044】
再生する動画データについては、２つに限られず、３以上であってもよい。また、再生する動画データについて、記憶装置１４に記憶されているものに限られず、クラウド上のサーバーに記憶された動画データであってもよい。
例えば、自己のスイングと、より上級者のスイングとを比較することによって、自己のスイングが劣っている点を把握しやすくなる。また例えば過去のスイングと現在のスイングとを比較することによって上達の度合いを把握することもできる。る、
なお、再生部１０７は、等速の再生に限られず、スロー再生してもよいし、早送り再生してもよいし、コマ送りで再生してもよい。
例えば、自己のスイングと、より上級者のスイングとを比較することによって、自己のスイングが劣っている点を把握しやすくなる。また例えば過去のスイングと現在のスイングとを比較することによって上達の度合いを把握することもできる。る、
なお、再生部１０７は、等速の再生に限られず、スロー再生してもよいし、早送り再生してもよいし、コマ送りで再生してもよい。
【0045】
なお、実施形態では、インパクトフレームを特定するアプリケーションプログラムが、ユーザーＵによる操作を契機として実行されたが、例えばスイングの撮影が終了したことを契機として実行される構成としてもよい。この構成において、第１取得部１０１は、撮影されたスイングの動画データをインパクトの検出対象として取得する。
また、実施形態では、動画データの解析を、インパクト検出装置１の解析部１０３が行う構成としたが、インパクト検出装置１以外の装置、例えば外部装置が解析し、当該解析結果である、関節座標の時間推移を示す情報を、第２取得部１０２が取得する構成でもよい。
また、実施形態では、動画データの解析を、インパクト検出装置１の解析部１０３が行う構成としたが、インパクト検出装置１以外の装置、例えば外部装置が解析し、当該解析結果である、関節座標の時間推移を示す情報を、第２取得部１０２が取得する構成でもよい。
【0046】
また、実施形態では、スイングとして、ゴルフスイングを例示したが、他にテニス、野球、卓球など打撃音を伴うスイングにおいて適用可能である。
【0047】
以上の記載から、例えば以下のように本開示の好適な態様が把握される。
【0048】
本開示のひとつの態様（態様１）に係るインパクト検出装置は、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部と、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部と、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部と、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部と、を有する。
【0049】
態様１によれば、第１に、動画データにおいて、基準動作データにおいてインパクトである旨の識別子が付されたタイミングに相当するフレームを含む区間が特定され、第２に、当該区間に、打球音を含むフレームが存在すれば、動画データにインパクトを伴うスイングが含まれると判定される。換言すれば、当該区間に、打球音を含むフレームが存在しなれければ、動画データに、インパクトを伴うスイングが含まれないと判定される。したがって、態様１によれば、素振りや空振りのように、インパクトを伴わないスイングと、インパクトを伴うスイングとを区別することができる。
【0050】
態様１の具体的な態様２に係るインパクト検出装置では、前記区間に打球音を含むフレームが２以上存在する場合、前記判定部は、前記識別子が付されたタイミングに最も近いフレームをインパクトフレームとして判定する。
態様２によれば、区間に打球音を含むフレームが２以上存在する場合、識別子が付されたタイミングに最も近いフレームがインパクトフレームとして判定される。このため、対象ユーザーによる打球音を伴うフレームを、他のユーザーによる打球音の影響を受けずに、精度良く特定することができる。
態様２によれば、区間に打球音を含むフレームが２以上存在する場合、識別子が付されたタイミングに最も近いフレームがインパクトフレームとして判定される。このため、対象ユーザーによる打球音を伴うフレームを、他のユーザーによる打球音の影響を受けずに、精度良く特定することができる。
【0051】
態様１の具体的な態様３に係るインパクト検出装置では、前記基準動作データは、モデル毎に複数で用意され、前記第２取得部は、前記複数の基準動作データのうち、前記動画データで示されるスイングに類似する一の基準動作データを取得する。
態様３によれば、複数の基準動作データのうち、動画データで示されるスイングに類似する基準動作データが用いられて、区間が特定される。
態様３によれば、複数の基準動作データのうち、動画データで示されるスイングに類似する基準動作データが用いられて、区間が特定される。
【0052】
態様３の具体的な態様４に係るインパクト検出装置では、前記基準動作データは、前記モデルにおける関節座標の時間推移を示すデータであり、前記動画データにおけるユーザーにおける関節座標の時間推移を解析する解析部を有し、前記第２取得部は、前記複数の基準動作データのうち、前記動画データの、ユーザーにおける関節座標の時間推移に最も類似する時間推移を有する基準動作データを取得する。
【0053】
態様２の具体的な態様５に係るインパクト検出装置では、前記動画データを編集する編集部を有し、前記編集部は、前記動画データに対し、前記特定部で特定されたインパクトフレームを基準に、第１時間だけ前方のフレームから第２時間だけ後方のフレームまでを切り出す。
態様５によれば、動画データのうち、インパクトフレームに対し第１時間だけ前方のフレームから、インパクトフレームに対し第２時間だけ後方のフレームまでが、編集部によって切り出される。
態様５によれば、動画データのうち、インパクトフレームに対し第１時間だけ前方のフレームから、インパクトフレームに対し第２時間だけ後方のフレームまでが、編集部によって切り出される。
【0054】
態様５の具体的な態様６に係るインパクト検出装置では、前記動画データに２以上のスイングが含まれている場合、前記編集部は、前記スイング毎に、当該動画データを切り出す。態様６によれば、複数のスイングを含む一連の動画データが、スイング毎に切り出される。
【0055】
態様６の具体的な態様７に係るインパクト検出装置では、前記編集部によって切り出された２以上の動画データを並べて再生する再生部を備える。態様７によれば、２以上の動画を再生することによりスイングを比較することができる。
【0056】
本開示の好適な態様８に係るインパクト検出方法は、コンピューターに、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する過程と、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する過程部と、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を特定する過程と、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する過程と、を実行させる。
【0057】
本開示の好適な態様９に係るプログラムは、コンピューターを、ユーザーによるスイングの際に収録した音を含む動画データであって、当該スイングが複数フレームで撮影された動画データを取得する第１取得部、モデルによるスイングの時間推移を示す基準動作データであって、前記スイングにおいてインパクトのタイミングであることを示す識別子が付された基準動作データを取得する第２取得部、前記動画データのうち、前記基準動作データにおいて前記識別子が付されたタイミングに相当するフレームを含んだ区間を特定する特定部、および、前記区間に、打球音を含むフレームが存在するか否かを判定し、前記区間に打球音を含むフレームが存在すると判定した場合には、前記動画データに、インパクトを伴うスイングが含まれると判定する判定部、として機能させる。
【符号の説明】
【0058】
１…インパクト検出装置、１０…処理装置、１１…撮影装置、１２…操作入力装置、１３…表示装置、１４…記憶装置、１５…通信装置、１００…制御部、１０１…第１取得部、１０２…第２取得部、１０３…解析部、１０４…特定部、１０５…判定部、１０６…編集部、１０７…再生部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】