ホーム > 特許ランキング > ブリヂストンスポーツ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108340
(43)【公開日】2024-08-13
(54)【発明の名称】情報処理方法、プログラム、情報処理装置
(51)【国際特許分類】
G06T 7/246 20170101AFI20240805BHJP
G06T 7/00 20170101ALI20240805BHJP
G06V 10/422 20220101ALI20240805BHJP
A63B 69/36 20060101ALI20240805BHJP
【ＦＩ】
G06T7/246
G06T7/00 660B
G06V10/422
A63B69/36 541W
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023012650
(22)【出願日】2023-01-31
(71)【出願人】
【識別番号】592014104
【氏名又は名称】ブリヂストンスポーツ株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】高木 啓雄
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA35
5L096FA09
5L096FA32
5L096FA69
5L096FA81
5L096HA02
5L096JA03
(57)【要約】
【課題】所定の動作を行う人が映っている動画像から所定の動作に関する所定のイベントの発生のタイミングをより適切に推定することが可能な技術を提供する。
【解決手段】本開示の一実施形態に係る情報処理装置３００は、動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点を抽出する特徴点抽出部３００２と、特徴点抽出部３００２により抽出される複数の特徴点に基づき、複数の画像ごとの被写体の動作を表すデータを取得する動作データ取得部３００３と、ゴルフのスイング動作における所定のイベントの発生時の人の動作を表す基準のデータを記憶する基準動作データ記憶部３００４Ｘと、複数の画像ごとの動作データ取得部３００３により取得される動作データと、基準の動作データとの類似度に基づき、動画像における所定のイベントのタイミングを推定するイベントタイミング推定部３００５と、を備える。
【選択図】図１７
【解決手段】本開示の一実施形態に係る情報処理装置３００は、動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点を抽出する特徴点抽出部３００２と、特徴点抽出部３００２により抽出される複数の特徴点に基づき、複数の画像ごとの被写体の動作を表すデータを取得する動作データ取得部３００３と、ゴルフのスイング動作における所定のイベントの発生時の人の動作を表す基準のデータを記憶する基準動作データ記憶部３００４Ｘと、複数の画像ごとの動作データ取得部３００３により取得される動作データと、基準の動作データとの類似度に基づき、動画像における所定のイベントのタイミングを推定するイベントタイミング推定部３００５と、を備える。
【選択図】図１７
【特許請求の範囲】
【請求項1】
情報処理装置が、動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記情報処理装置が、前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記情報処理装置が、前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を含む、
情報処理方法。
前記情報処理装置が、前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記情報処理装置が、前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を含む、
情報処理方法。
【請求項2】
前記複数の特徴点には、ゴルフボールの特徴点の少なくとも一方を含む、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項3】
前記取得ステップで取得されるデータには、前記被写体の人の複数の身体部位の動作を表すデータが含まれる、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項4】
前記所定のイベントは、アドレス、テイクバック、バックスイング、トップ、ハーフウェイダウン、インパクト、フォロー、及びフィニッシュのうちの少なくとも１つを含む、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項5】
前記基準のデータは、ゴルフのスイング動作における前記所定のイベントの発生時の複数の人の平均の動作を表すデータである、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項6】
前記推定ステップでは、前記動画像における所定のタイミングより前又は後の範囲で、前記所定のイベントのタイミングを推定する、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項7】
前記所定のイベントは、第１のイベント及び第２のイベントを含み、
前記推定ステップは、前記第１のイベントのタイミングを推定した後に、前記動画像における前記所定のタイミングとしての前記第１のイベントのタイミングより前又は後の範囲で前記第２のイベントのタイミングを推定する、
請求項６に記載の情報処理方法。
前記推定ステップは、前記第１のイベントのタイミングを推定した後に、前記動画像における前記所定のタイミングとしての前記第１のイベントのタイミングより前又は後の範囲で前記第２のイベントのタイミングを推定する、
請求項６に記載の情報処理方法。
【請求項8】
前記所定のタイミングは、ゴルフクラブの速度の最大又は最小のタイミングである、
請求項６に記載の情報処理方法。
請求項６に記載の情報処理方法。
【請求項9】
前記所定のタイミングは、前記類似度が最小値を取るタイミングである、
請求項６に記載の情報処理方法。
請求項６に記載の情報処理方法。
【請求項10】
前記推定ステップでは、前記類似度が所定の閾値に対して相対的に小さい状態の期間の前又は後に隣接する所定期間内で前記所定のイベントのタイミングを推定する、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項11】
前記所定のタイミングは、ユーザにより指定されるタイミングである、
請求項６に記載の情報処理方法。
請求項６に記載の情報処理方法。
【請求項12】
前記取得ステップでは、前記被写体の人の身長又は身体部位の長さで正規化したデータを取得し、
前記基準のデータは、前記取得ステップと同じ方法で正規化されたデータである、
請求項１に記載の情報処理方法。
前記基準のデータは、前記取得ステップと同じ方法で正規化されたデータである、
請求項１に記載の情報処理方法。
【請求項13】
前記取得ステップでは、前記被写体の人の身長に相当する画像上の距離、前記被写体の人の所定の身体部位の長さに相当する画像上の距離、又はゴルフクラブの長さに相当する画像上の距離によって正規化されたデータを取得し、
前記基準のデータは、前記取得ステップと同じ方法で正規化されたデータである、
請求項１に記載の情報処理方法。
前記基準のデータは、前記取得ステップと同じ方法で正規化されたデータである、
請求項１に記載の情報処理方法。
【請求項14】
前記取得ステップでは、複数の種類のデータを取得し、
前記推定ステップでは、前記複数の種類のデータの間での相対的な重みづけを考慮して、前記複数の種類のデータと、前記複数の種類のデータに対応する複数の種類の前記基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する、
請求項１に記載の情報処理方法。
前記推定ステップでは、前記複数の種類のデータの間での相対的な重みづけを考慮して、前記複数の種類のデータと、前記複数の種類のデータに対応する複数の種類の前記基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する、
請求項１に記載の情報処理方法。
【請求項15】
前記所定のイベントは、複数あり、
前記複数の種類のデータの間での前記重みづけのパターンは、複数の前記所定のイベントごとに異なる、
請求項１４に記載の情報処理方法。
前記複数の種類のデータの間での前記重みづけのパターンは、複数の前記所定のイベントごとに異なる、
請求項１４に記載の情報処理方法。
【請求項16】
情報処理装置に、
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を実行させる、
プログラム。
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を実行させる、
プログラム。
【請求項17】
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出部と、
前記抽出部により抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得部と、
ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータを記憶する記憶部と、
前記複数の画像ごとの前記取得部により取得されるデータと、前記基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定部と、を備える、
情報処理装置。
前記抽出部により抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得部と、
ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータを記憶する記憶部と、
前記複数の画像ごとの前記取得部により取得されるデータと、前記基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定部と、を備える、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理方法等に関する。
【背景技術】
【0002】
従来、動画像において、被写体の所定の動作（例えば、ゴルフのスイング動作）における所定のイベント（例えば、アドレス、トップ、インパクト等）のタイミングを推定する技術が開示されている（特許文献１～３参照）。
【0003】
特許文献１では、動画像の被写体の人やその人が所持する道具（例えば、ゴルフクラブ）の特徴点の位置や速度等のデータが特定の条件を満足する画像を抽出することにより、所定のイベントのタイミングを推定する方法が開示されている。
【0004】
特許文献２，３では、動画像を構成する各フレームの画像の特定の領域の画素値の変化に着目して所定のイベントのタイミングに相当する画像を推定する方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６９０８３１２号公報
【特許文献2】特許第５９３５７７９号公報
【特許文献3】特許第６６８３８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、所定の動作を行う人によって、所定の動作の形態にばらつきが生じうる。そのため、動画像のあるフレームの画像において、所定のイベントが発生しているにも関わらず、所定のイベントに対応する特定の条件を満足しない場合や特定の画像領域に所定の変化が生じないような場合も生じうる。その結果、所定のイベントの発生を適切に推定することができない可能性がある。
【0007】
そこで、上記課題に鑑み、所定の動作を行う人が映っている動画像から所定の動作に関する所定のイベントの発生のタイミングをより適切に推定することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本開示の一実施形態では、
情報処理装置が、動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記情報処理装置が、前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記情報処理装置が、前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を含む、
情報処理方法が提供される。
情報処理装置が、動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記情報処理装置が、前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記情報処理装置が、前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を含む、
情報処理方法が提供される。
【0009】
また、本開示の他の実施形態では、
情報処理装置に、
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を実行させる、
プログラムが提供される。
情報処理装置に、
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出ステップと、
前記抽出ステップで抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得ステップと、
前記複数の画像ごとの前記取得ステップで取得されるデータと、ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定ステップと、を実行させる、
プログラムが提供される。
【0010】
また、本開示の更に他の実施形態では、
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出部と、
前記抽出部により抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得部と、
ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータを記憶する記憶部と、
前記複数の画像ごとの前記取得部により取得されるデータと、前記基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定部と、を備える、
情報処理装置が提供される。
動画像に含まれる複数の画像ごとに、被写体の人のゴルフのスイング動作に関する複数の特徴点であって、前記被写体の人の身体部位を表す特徴点、及びゴルフクラブの特徴点を含む複数の特徴点を抽出する抽出部と、
前記抽出部により抽出される複数の特徴点に基づき、前記複数の画像ごとの前記被写体の人及びゴルフクラブの動作を表すデータであって、前記被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する取得部と、
ゴルフのスイング動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータを記憶する記憶部と、
前記複数の画像ごとの前記取得部により取得されるデータと、前記基準のデータとの類似度に基づき、前記動画像における前記所定のイベントのタイミングを推定する推定部と、を備える、
情報処理装置が提供される。
【発明の効果】
【0011】
上述の実施形態によれば、ゴルフのスイング動作を行う人及びゴルフクラブが映っている動画像からゴルフのスイング動作に関する所定のイベントの発生のタイミングをより適切に推定することができる。
【図面の簡単な説明】
【0012】
【図1】スイング診断システムの一例を示す図である。
【図2】ユーザ端末のハードウェア構成の一例を示す図である。
【図3】情報処理装置のハードウェア構成の一例を示す図である。
【図4】スイング診断システムの機能構成の第１例を示す機能ブロック図である。
【図5】ユーザによるスイング動作の様子を表す動画像の一例を示す図である。
【図6】ユーザによるスイング動作の様子を表す動画像に含まれる複数のフレームごとの特徴点を説明する図である。
【図7】動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第１例を示す図である。
【図8】動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第２例を示す図である。
【図9】動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第３例を示す図である。
【図10】動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第４例を示す図である。
【図11】動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第５例を示す図である。
【図12】ユーザによるゴルフのスイング動作におけるトップのタイミングの画像の具体例を示す図である。
【図13】比較例に係る、動画像上のゴルフのスイング動作における所定のイベントタイミングの推定方法を示す図である。
【図14】動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第６例を示す図である。
【図15】ユーザによるゴルフのスイング動作におけるインパクトの直前のタイミング及びインパクトのタイミングの画像の具体例を示す図である。
【図16】ユーザによるゴルフのスイング動作におけるトップのタイミングの画像の具体例を示す図である。
【図17】スイング診断システムの動作の第１例を示すシーケンス図である。
【図18】スイング診断システムの機能構成の第２例を示す機能ブロック図である。
【図19】スイング診断システムの動作の第２例を示すシーケンス図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して実施形態について説明する。
【0014】
［スイング診断システムの概要］
まず、図１を参照して、本実施形態に係るスイング診断システム１の概要について説明をする。
まず、図１を参照して、本実施形態に係るスイング診断システム１の概要について説明をする。
【0015】
図１は、スイング診断システム１の一例を示す図である。
【0016】
図１に示すように、スイング診断システム１は、カメラ１００と、ユーザ端末２００と、情報処理装置３００とを含む。
【0017】
スイング診断システム１は、情報処理装置３００において、カメラ１００で取得される、ユーザによるゴルフのスイング動作の様子が収められた動画像データに基づき、ユーザのゴルフのスイング動作に関する診断（以下、「スイング診断」）を行う。そして、スイング診断システム１は、ユーザ端末２００を通じて、スイング診断の診断結果をユーザに提供する。
【0018】
カメラ１００は、ユーザによるゴルフのスイング動作を撮像し、スイング動作の様子を表す動画像を取得する。
【0019】
図１では、カメラ１００とユーザ端末２００とは別に描画されるが、カメラ１００は、ユーザ端末２００に内蔵されてもよいし、ユーザ端末２００と別に設けられてもよい。後者の場合、カメラ１００の出力（動画像のデータ）は、通信によりユーザ端末２００に取り込まれてもよいし、後述の記録媒体２０１Ａを通じてユーザ端末２００に取り込まれてもよい。
【0020】
ユーザ端末２００は、スイング診断を受けるユーザが利用する端末装置である。ユーザ端末２００は、例えば、ゴルフのレッスン施設やショップ等に配置される端末装置であってもよいし、ユーザが所持する端末装置であってもよい。
【0021】
ユーザ端末２００は、例えば、可搬型の端末装置、即ち、携帯端末である。携帯端末は、例えば、スマートフォン、タブレット端末、ラップトップ型のＰＣ（Personal Computer）等である。また、ユーザ端末２００は、定置型の端末装置であってもよい。定置型の端末装置は、例えば、デスクトップ型のＰＣである。
【0022】
ユーザ端末２００は、所定の通信回線を通じて、情報処理装置３００と通信可能に接続される。所定の通信回線は、例えば、ローカルネットワーク（ＬＡＮ：Local Area Network）を含む。また、所定の通信回線は、広域ネットワーク（ＷＡＮ：Wide Area Network）を含んでもよい。広域ネットワークは、例えば、インターネット網を含む。また、広域ネットワークは、基地局を末端とする移動体通信網や通信衛星を利用する衛星通信網を含んでもよい。また、所定の通信回線は、例えば、ＷｉＦｉ、ブルートゥース（登録商標）、ローカル５Ｇ（5th Generation）等の所定の無線通信規格を用いる近距離通信回線であってもよい。
【0023】
ユーザ端末２００は、ユーザによるゴルフのスイング動作の様子を表す動画像をカメラ１００から取り込み、情報処理装置３００に送信する。そして、ユーザ端末２００は、情報処理装置３００から返信されるスイング診断の結果を、後述の表示装置２０８を通じてユーザに提示する。
【0024】
情報処理装置３００は、ユーザ端末２００から受信される、ユーザによるゴルフのスイング動作の様子を表す動画像に基づき、スイング診断を行い、スイング診断の結果をユーザ端末２００に返信する。
【0025】
情報処理装置３００は、例えば、処理能力が比較的高いサーバ装置である。サーバ装置は、クラウドサーバやオンプレミスサーバであってもよいし、エッジサーバであってもよい。また、情報処理装置は、スイング診断のための必要な処理能力によっては、サーバ装置よりも処理能力が低い端末装置であってもよい。端末装置は、定置型の端末装置であってもよいし、可搬型の端末装置（携帯端末）であってもよい。
【0026】
【0027】
＜ユーザ端末のハードウェア構成＞
図２は、ユーザ端末２００のハードウェア構成の一例を示すブロック図である。
図２は、ユーザ端末２００のハードウェア構成の一例を示すブロック図である。
【0028】
ユーザ端末２００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図２に示すように、ユーザ端末２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、通信インタフェース２０６、入力装置２０７、表示装置２０８、及び音出力装置２０９を含む。また、上述の如く、カメラ１００がユーザ端末２００に内蔵される場合、カメラ１００は、他の構成要素と同様に、バスＢ２に接続されてよい。
【0029】
外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ等が含まれる。これにより、ユーザ端末２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。
【0030】
尚、ユーザ端末２００は、通信インタフェース２０６を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。
【0031】
補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Disc）やフラッシュメモリ等を含む。
【0032】
メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）を含む。
【0033】
ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従ってユーザ端末２００に関する各種機能を実現する。
【0034】
通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、ユーザ端末２００は、通信インタフェース２０６を通じて、カメラ１００から動画像のデータを取得することができる。また、ユーザ端末２００は、通信インタフェース２０６を通じて、例えば、情報処理装置３００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。
【0035】
入力装置２０７は、ユーザから各種入力を受け付ける。
【0036】
入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける形態の入力装置（以下、「操作入力装置」）を含む。操作入力装置は、例えば、ボタン、トグル、レバー、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド、キーボード、マウス等を含む。
【0037】
また、入力装置２０７は、ユーザからの音声入力を受付可能な音声入力装置を含んでもよい。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。
【0038】
また、入力装置２０７は、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含んでもよい。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。
【0039】
また、入力装置２０７は、ユーザからの生体入力を受付可能な生体入力装置を含んでもよい。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。
【0040】
表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。
【0041】
音出力装置２０９は、ユーザ端末２００のユーザに向けて、音によって各種情報を伝える。音出力装置２０９は、例えば、ブザー、アラーム、スピーカ等である。
【0042】
＜情報処理装置のハードウェア構成＞
図３は、情報処理装置３００のハードウェア構成の一例を示すブロック図である。
図３は、情報処理装置３００のハードウェア構成の一例を示すブロック図である。
【0043】
情報処理装置３００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図３に示すように、情報処理装置３００は、バスＢ３で接続される、外部インタフェース３０１、補助記憶装置３０２、メモリ装置３０３、ＣＰＵ３０４、高速演算装置３０５、通信インタフェース３０６、入力装置３０７、表示装置３０８、及び音出力装置３０９を含む。
【0044】
外部インタフェース３０１は、記録媒体３０１Ａからデータの読み取りや記録媒体３０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体３０１Ａには、例えば、フレキシブルディスク、ＣＤ、ＤＶＤ、ＢＤ、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、情報処理装置３００は、記録媒体３０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置３０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。
【0045】
尚、情報処理装置３００は、通信インタフェース３０６を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。
【0046】
補助記憶装置３０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置３０２は、例えば、ＨＤＤやＳＳＤやフラッシュメモリ等を含む。
【0047】
メモリ装置３０３は、プログラムの起動指示があった場合に、補助記憶装置３０２からプログラムを読み出して格納する。メモリ装置３０３は、例えば、ＤＲＡＭやＳＲＡＭを含む。
【0048】
ＣＰＵ３０４は、補助記憶装置３０２からメモリ装置３０３にロードされた各種プログラムを実行し、プログラムに従って情報処理装置３００に関する各種機能を実現する。
【0049】
高速演算装置３０５は、ＣＰＵ３０４と連動し、ＣＰＵ３０４に対して相対的に高い速度で演算処理を行う。高速演算装置３０５は、例えば、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を含む。
【0050】
尚、高速演算装置３０５は、必要な演算処理の速度によっては、省略されてもよい。
【0051】
通信インタフェース３０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、情報処理装置３００は、通信インタフェース３０６を通じて、例えば、ユーザ端末２００等の外部機器と通信することができる。また、通信インタフェース３０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。
【0052】
入力装置３０７は、ユーザから各種入力を受け付ける。
【0053】
入力装置３０７は、例えば、ユーザからの機械的な操作入力を受け付ける形態の操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー、表示装置３０８に実装されるタッチパネル、表示装置３０８とは別に設けられるタッチパッド、キーボード、マウス等を含む。
【0054】
また、入力装置３０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。
【0055】
また、入力装置３０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。
【0056】
また、入力装置３０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。
【0057】
表示装置３０８は、ユーザに向けて、情報画面や操作画面を表示する。表示装置３０８は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等である。
【0058】
音出力装置３０９は、情報処理装置３００のユーザに向けて、音によって各種情報を伝える。音出力装置３０９は、例えば、ブザー、アラーム、スピーカ等である。
【0059】
【0060】
図４は、スイング診断システムの機能構成の第１例を示す機能ブロック図である。図５は、ユーザによるスイング動作の様子を表す動画像の一例（動画像５００）を示す図である。図６は、ユーザによるスイング動作の様子を表す動画像に含まれる複数のフレームごとの特徴点を説明する図である。図７は、動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第１例を示す図である。図８は、動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第２例を示す図である。図９は、動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第３例を示す図である。図１０は、動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第４例を示す図である。図１１は、動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第５例を示す図である。図１２は、ユーザによるゴルフのスイング動作におけるトップのタイミングの画像の具体例を示す図である。図１３は、比較例に係る、動画像上のゴルフのスイング動作における所定のイベントタイミングの推定方法を示す図である。具体的には、図１３は、所定のイベントに対応する基準動作データを表す図１３Ａと、ユーザＡ及びユーザＢのそれぞれのゴルフのスイング動作における所定のイベントのタイミングでの動作データを表す図１３Ｂ及び図１３Ｃとを含む。図１４は、動画像上のゴルフのスイング動作における所定のイベントのタイミングの推定方法の第６例を示す図である。具体的には、図１４は、所定のイベントに対応する基準動作データを表す図１４Ａと、ユーザＡ及びユーザＢのそれぞれのゴルフのスイング動作における所定のイベントのタイミングでの動作データを表す図１４Ｂ及び図１４Ｃとを含む。図１５は、ユーザによるゴルフのスイング動作におけるインパクトの直前のタイミング及びインパクトのタイミングの画像の具体例である。具体的には、図１５は、ユーザによるゴルフのスイング動作を含む動画像におけるインパクトに対応するタイミングの画像を表す図１５Ｂと、その１フレーム前の画像を表す図１５Ａとを含む。図１６は、ユーザによるゴルフのスイング動作におけるトップのタイミングの画像の具体例を示す図である。
【0061】
図５では、動画像５００の全てのフレームのうちのフレーム５０１～５０８が抜粋して示される。フレーム５０１は、ユーザによるゴルフのスイング動作におけるアドレスの状態を表している。フレーム５０２は、ユーザによるゴルフのスイング動作におけるテイクバックの状態を表している。フレーム５０３は、ユーザによるゴルフのスイング動作におけるバックスイングの状態を表している。フレーム５０４は、ユーザによるゴルフのスイング動作におけるトップの状態を表している。フレーム５０５は、ユーザによるゴルフのスイング動作におけるハーフウェイダウンの状態を表している。フレーム５０６は、ユーザによるゴルフのスイング動作におけるインパクトの状態を表している。フレーム５０７は、ユーザによるゴルフのスイング動作におけるフォローの状態を表している。フレーム５０８は、ユーザによるゴルフのスイング動作におけるフィニッシュの状態を表している。
【0062】
また、図６では、ユーザによるゴルフのスイング動作を表す動画像の複数のフレームごとの特徴点（図中の黒丸）のデータ６００が模式的に視覚化して表されている。図６では、動画像５００の全てのフレームのうちの一部（フレーム５０１～５０８）のフレームごとの特徴点のデータ６０１～６０８が抜粋して示される。データ６０１は、ユーザによるゴルフのスイング動作におけるアドレスの状態のフレーム５０１に対応する特徴点のデータを表す。データ６０２は、ユーザによるゴルフのスイング動作におけるテイクバックの状態のフレーム５０２に対応する特徴点のデータを表す。データ６０３は、ユーザによるゴルフのスイング動作におけるバックスイングの状態のフレーム５０３に対応する特徴点のデータを表す。データ６０４は、ユーザによるゴルフのスイング動作におけるトップの状態のフレーム５０４に対応する特徴点のデータを表す。データ６０５は、ユーザによるゴルフのスイング動作におけるハーフウェイダウンの状態のフレーム５０５に対応する特徴点のデータを表す。データ６０６は、ユーザによるゴルフのスイング動作におけるインパクトの状態のフレーム５０６に対応する特徴点のデータを表す。データ６０７は、ユーザによるゴルフのスイング動作におけるフォローの状態のフレーム５０７に対応する特徴点のデータを表す。データ６０８は、ユーザによるゴルフのスイング動作におけるフィニッシュの状態のフレーム５０８に対応する特徴点のデータを表す。
【0063】
図４に示すように、ユーザ端末２００は、アプリ画面表示処理部２００１と、動画像データ取得部２００２と、動画像データ送信部２００３と、診断結果データ取得部２００４とを含む。これらの機能は、例えば、補助記憶装置２０２にインストールされるアプリケーションプログラム（以下、便宜的に「スイング診断アプリ」）をメモリ装置２０３にロードしＣＰＵ２０４で実行することにより実現される。
【0064】
アプリ画面表示処理部２００１は、スイング診断アプリに関する画面（以下、「アプリ画面」）を表示装置２０８に表示させる。
【0065】
動画像データ取得部２００２は、カメラ１００からユーザによるゴルフのスイング動作の様子を表す動画像のデータを取得する。例えば、動画像データ取得部２００２は、入力装置２０７を用いた所定のアプリ画面上でのユーザからの入力に応じて、カメラ１００からユーザによるゴルフのスイング動作の様子を表す動画像のデータを取得する。この際、動画像データ取得部２００２は、カメラ１００で既に撮像済みの動画像を取得してもよいし、カメラ１００により取得される最新の動画像をリアルタイムに取得してもよい。
【0066】
動画像データ送信部２００３は、動画像データ取得部２００２により取得される、ユーザによるゴルフのスイング動作の様子を表す動画像のデータを、通信インタフェース２０６を通じて情報処理装置３００に送信する。例えば、動画像データ送信部２００３は、入力装置２０７を用いた所定のアプリ画面上でのユーザからの入力に応じて、カメラ１００から取得した動画像データを情報処理装置３００に送信する。
【0067】
診断結果データ取得部２００４は、情報処理装置３００から受信される、スイング診断の結果のデータを含む返信データを取得する。スイング診断の結果を含む返信データの内容は、アプリ画面表示処理部２００１によって、表示装置２０８に表示される。これにより、ユーザは、スイング診断の結果を含む返信データの内容を確認することができる。
【0068】
図４に示すように、情報処理装置３００は、動画像データ取得部３００１と、特徴点抽出部３００２と、動作データ取得部３００３と、類似度取得部３００４と、イベントタイミング推定部３００５と、スイング診断部３００６とを含む。これらの機能は、例えば、補助記憶装置３０２にインストールされるプログラムをメモリ装置３０３にロードしＣＰＵ３０４で実行することにより実現される。また、情報処理装置３００は、動画像データ記憶部３００１Ａと、特徴点データ記憶部３００２Ａと、動作データ記憶部３００３Ａと、類似度データ記憶部３００４Ａと、基準動作データ記憶部３００４Ｘと、イベントタイミングデータ記憶部３００５Ａとを含む。これらの機能は、例えば、補助記憶装置３０２やメモリ装置３０３に規定される記憶領域により実現される。
【0069】
動画像データ取得部３００１は、ユーザ端末２００から受信される、ユーザによるゴルフのスイング動作の様子を表す動画像のデータを取得する（図５参照）。動画像データ取得部３００１により取得されたデータは、動画像データ記憶部３００１Ａに格納される。
【0070】
特徴点抽出部３００２は、動画像データ取得部３００１により取得された動画像のデータを動画像データ記憶部３００１Ａから読み出し、動画像の全てのフレームごとに、被写体のユーザのスイング動作に関する複数の特徴点を抽出する（図６参照）。
【0071】
複数の特徴点には、フレームの画像上の被写体のユーザの身体部位を表す特徴点（以下、「身体的特徴点」）が含まれる。例えば、図６に示すように、身体的特徴点は、ユーザの骨格における関節位置を表し、複数の特徴点に含まれる身体的特徴点には、頭、肩、肘、手首、腰、膝、足首等に対応する画像上の点が含まれる。
【0072】
また、複数の特徴点には、クラブの部位を表す特徴点が含まれる。図６に示すように、クラブの部位に関する特徴点には、クラブのヘッドに相当する特徴点が含まれる。
【0073】
また、複数の特徴点には、ゴルフボールを表す特徴点が含まれてもよい。
【0074】
特徴点抽出部３００２の機能は、例えば、既知のボーン検出技術等の画像認識技術が適用された画像認識エンジンによって実現される。
【0075】
特徴点抽出部３００２により抽出された、フレームごとの特徴点に関するデータは、特徴点データ記憶部３００２Ａに格納される。特徴点に関するデータには、例えば、特徴点ごとの種別を表すデータ、特徴点の画像上の位置を表すデータ等が含まれる。
【0076】
動作データ取得部３００３は、特徴点抽出部３００２により抽出された、動画像のフレームごとの特徴点に関するデータを特徴点データ記憶部３００２Ａから読み出し、フレームごとに、被写体のユーザの動作を表すデータ（以下、「動作データ」）を算出し取得する。動作データには、例えば、被写体のユーザ自身の動作を表すデータやユーザが保持するゴルフクラブの動作を表すデータが含まれる。また、動作データには、ゴルフボールの動作を表すデータが含まれてもよい。動作データ取得部３００３は、１種類の動作データを取得してもよいし、複数の種類の動作データを取得してもよい。
【0077】
動作データ取得部３００３の取得対象の動作データには、ユーザの身体部位の動作を表すデータが含まれる。ユーザの身体部位の動作を表すデータには、例えば、ユーザの対象の身体部位の関節位置を表すデータやユーザの対象の身体部位の関節角度を表すデータが含まれる。また、ユーザの身体部位の動作を表すデータには、ユーザの対象の身体部位の動作速度や動作方向を表すデータが含まれてもよい。対象の身体部位は、１つであってもよいし、複数であってもよい。
【0078】
また、動作データ取得部３００３の取得対象の動作データには、ゴルフクラブの動作を表すデータが含まれる。例えば、ゴルフクラブの動作を表すデータには、ゴルフクラブのヘッドの位置を表すデータやゴルフクラブのシャフトの姿勢角度を表すデータが含まれる。また、ゴルフクラブの動作を表すデータには、ゴルフクラブのヘッドの動作速度や動作方向を表すデータが含まれてもよい。
【0079】
また、動作データ取得部３００３の取得対象の動作データには、ゴルフボールの位置、動作速度、動作方向等を表すデータが含まれてもよい。
【0080】
動作データ取得部３００３は、例えば、画像上の絶対的な位置や姿勢ではなく、複数の特徴点の間での相対的な位置や姿勢に基づき、動作データを算出する。これにより、動画像の画角の違いによって、動作データに大きな違いが生じるような事態を抑制することができる。そのため、例えば、可搬型のユーザ端末２００に内蔵されるカメラ１００を用いて、ユーザ自身が動画像を撮影する場合のように、動画像の画角に大きなばらつきが生じる状況でも、ゴルフのスイング動作におけるイベントの推定精度をより高めることができる。
【0081】
また、動作データ取得部３００３は、動画像の被写体であるユーザの実際の身長や所定の身体部位の長さ等によって正規化した動作データを算出し取得してもよい。所定の身体部位は、例えば、腕や脚等である。また、動作データ取得部３００３は、これに代えて或いは加えて、動画像の被写体であるユーザのフレーム画像上での身長に相当する距離や所定の身体部位に相当する距離によって正規化した動作データを算出し取得してもよい。これにより、動画像の被写体のユーザの身体的な大きさの差異によって、動作データに大きな違いが生じるような事態を抑制することができる。そのため、ゴルフのスイング動作におけるイベントの推定精度をより高めることができる。
【0082】
動作データ取得部３００３により取得された、動画像のフレームごとの動作データは、動作データ記憶部３００３Ａに格納される。
【0083】
類似度取得部３００４は、動画像のフレームごとに、動作データ取得部３００３により取得された動作データと、基準動作データ記憶部３００４Ｘに予め格納される基準動作データとの類似度を算出し取得する。
【0084】
基準動作データは、ゴルフのスイング動作における所定のイベントの発生時の人の動作を表す、基準となる動作データであり、動作データ取得部３００３により取得される動作データと同じ種類の動作データである。動作データ取得部３００３により取得される動作データが複数の種類である場合、基準動作データは、複数の種類の動作データのそれぞれに対応する複数の種類の基準動作データが予め準備される。ゴルフのスイング動作における所定のイベント（以下、単に「所定のイベント」）は、例えば、アドレス、テイクバック、バックスイング、トップ、ハーフウェイダウン、インパクト、フォロー、及びフィニッシュ等である。基準動作データが予め準備される対象の所定のイベントは、後述のイベントタイミング推定部３００５による推定対象の所定のイベントである。イベントタイミング推定部３００５による推定対象の所定のイベントは、これら（アドレス、テイクバック、バックスイング、トップ、ハーフウェイダウン、インパクト、フォロー、及びフィニッシュ等）の全部であってもよいし、一部であってもよい。
【0085】
イベントタイミング推定部３００５による推定対象の所定のイベントが複数ある場合、類似度取得部３００４は、複数の所定のイベントごとに、動画像のフレームのそれぞれにおける類似度を算出する。また、イベントタイミング推定部３００５による推定対象の所定のイベントが複数ある場合、類似度取得部３００４は、例えば、複数の所定のイベントごとに、同じ種類の動作データを用いて、動作データと基準動作データとの類似度を取得する。また、類似度取得部３００４は、複数の所定のイベントのうちの少なくとも一部の間で、異なる種類の動作データを用いて、動作データと基準動作データとの類似度を取得してもよい。複数の種類の動作データが用いられる場合、異なる種類の動作データには、所定のイベントごとに利用される全ての種類の動作データが異なることと、全ての種類の動作データのうちの一部の動作データの種類が異なることとが含まれうる。
【0086】
基準動作データは、例えば、所定の被験者によるゴルフのスイング動作の動画像から抽出された、所定のイベントに相当するフレーム画像に対して、上述の特徴点抽出部３００２及び動作データ取得部３００３と同様の処理が施されることにより取得される。
【0087】
所定の被験者は、１人であってもよいし、複数人であってもよい。後者の場合、基準動作データは、被験者ごとの動作データの平均であってよい。
【0088】
動作データ取得部３００３により取得された動作データと基準動作データとの類似度は、例えば、対象の２つのデータの相関値（相関係数）である。また、動作データ取得部３００３により取得された動作データと基準動作データとの類似度は、対象の２つのデータの同じ種類のデータ同士の差分であってもよく、複数の種類の動作データが用いられる場合、その差分の合計値であってもよい。また、複数の種類の動作データが用いられる場合、類似度取得部３００４は、複数の種類の動作データの間に相対的な重みづけを設定して、動作データと基準動作データとの類似度を取得してもよい（図１４参照）。この際、複数の種類の基準動作データの間にも同じパターンの相対的な重みづけが設定される（図１４参照）。また、イベントタイミング推定部３００５による推定対象の所定のイベントが複数あり、且つ、複数の所定のイベントの間で複数の種類且つ全て同じ種類の動作データが利用される場合、類似度取得部３００４は、複数の所定のイベントごとに、複数の種類の動作データの間での相対的な重みづけのパターンを異ならせてもよい。
【0089】
類似度取得部３００４により算出された類似度のデータは、類似度データ記憶部３００４Ａに格納される。
【0090】
イベントタイミング推定部３００５は、所定のイベントについて、動画像のフレームごとの類似度に基づき、動画像の最初のフレームから最後のフレームまでの間の時間の中から所定のイベントのタイミングを推定する。例えば、所定のイベントが複数ある場合、イベントタイミング推定部３００５は、所定のイベントごとに、動画像のフレームごとの類似度に基づき、動画像の最初のフレームから最後のフレームまでの間の時間の中から所定のイベントのタイミングを推定する。
【0091】
例えば、図７に示すように、イベントタイミング推定部３００５は、類似度が最大値を取る時刻ｔ１を所定のイベントのタイミングと推定する。この際、類似度の最大値とは、時系列での類似度の離散値の中での最大値であってもよいし、時系列での類似度の離散値から近似される曲線おける最大値であってもよい。後者の場合、動画像の隣接する２つのフレームのそれぞれに対応する時刻の間の時刻が所定のイベントのタイミングとして推定される場合がある。
【0092】
また、イベントタイミング推定部３００５は、推定対象の所定のイベントが複数ある場合、複数のイベントの間の時間的な前後関係を考慮して、所定のイベントのタイミングを推定してもよい。
【0093】
例えば、図８に示すように、イベントタイミング推定部３００５は、トップのタイミング（図中の破線の時刻）よりも後の範囲で、インパクトに対応する類似度が最大値を取る時刻ｔ２２をインパクトのタイミングと推定する。トップのタイミングは、図７の場合と同様の方法、即ち、動画像の最初のフレームから最後のフレームまでの全範囲を対象として類似度が最大値を取るタイミングを探索する方法によって予め推定される。
【0094】
インパクトのタイミングにおけるユーザの身体部位やゴルフクラブの位置及びシャフトの姿勢状態は、トップより前のアドレスのタイミングにおけるユーザの身体部位やゴルフクラブの位置及びシャフトの姿勢状態と似通っている。そのため、動画像の最初のフレームから最後のフレームまでの全範囲を対象として、インパクトに対応する類似度が最大値を取るタイミングが探索されると、アドレスに対応する時刻ｔ２１がインパクトのタイミングと誤って推定される可能性がある。
【0095】
これに対して、本例の場合、イベントタイミング推定部３００５は、トップのタイミングよりも後の範囲で、インパクトに対応する類似度が最大値を取るタイミングを探索する。これにより、アドレスのタイミングがインパクトのタイミングと誤って推定される事態の発生を抑制し、インパクトのタイミングの推定精度を向上させることができる。また、類似度の最大値の探索範囲が制限されることから、インパクトのタイミングの推定処理に要する時間を短縮することができる。
【0096】
また、イベントタイミング推定部３００５は、トップのタイミングよりも後の範囲で、ハーフウェイダウンやインパクトやフォローやフィニッシュに対応する類似度が最大となるタイミングを探索してもよい。これにより、インパクトのタイミングの場合と同様、ハーフウェイダウンやインパクトやフォローやフィニッシュのタイミングの推定精度を向上させることができる。また、類似度の最大値の探索範囲が制限されることから、ハーフウェイダウンやインパクトやフォローやフィニッシュのタイミングの推定処理に要する時間を短縮することができる。
【0097】
また、イベントタイミング推定部３００５は、トップのタイミングより前の範囲で、アドレスやテイクバックやバックスイングに対応する類似度が最大値を取るタイミングを探索してもよい。これにより、トップより後のインパクトやハーフウェイダウンのタイミングがアドレスやテイクバックやバックスイングのタイミングとして誤って推定されるような事態の発生を抑制することができる。そのため、アドレスやテイクバックやバックスイングのタイミングの推定精度を向上させることができる。また、類似度の最大値の探索範囲が制限されることから、アドレスやテイクバックやバックスイングのタイミングの推定処理に要する時間を短縮することができる。
【0098】
このように、イベントタイミング推定部３００５は、最初に、動画像の最初のフレームから最後のフレームまでの全範囲でトップに対応する類似度が最大値を取るタイミングを探索することにより、トップのタイミングを推定してよい。そして、イベントタイミング推定部３００５は、トップのタイミングより前の範囲で類似度が最大値を取るタイミングを探索することにより、アドレスやテイクバックやバックスイングのタイミングを推定してよい。また、イベントタイミング推定部３００５は、トップのタイミングより後の範囲で類似度が最大値を取るタイミングを探索することにより、ハーフウェイダウンやインパクトやフォローやフィニッシュのタイミングを推定してよい。アドレスやテイクバックやバックスイングのタイミングを推定する処理と、ハーフウェイダウンやインパクトやフォローやフィニッシュのタイミングを推定する処理との前後関係は任意であってよく、それぞれが並列して処理されてもよい。
【0099】
また、イベントタイミング推定部３００５は、動画像の時間軸での類似度の時系列での変化の傾向を考慮して、所定のイベントのタイミングを推定してもよい。
【0100】
例えば、図８に示すように、インパクトに対応する類似度は、トップのタイミング（図中の破線の時刻）付近で最小値を取る。そのため、イベントタイミング推定部３００５は、インパクトに対応する類似度が最小のタイミングより後の範囲で、インパクトに対応する類似度が最大となるタイミングを探索してもよい。これにより、インパクトのタイミングの推定精度を向上させることができる。また、イベントタイミング推定部３００５は、トップのタイミングを推定するのと並行して、インパクトのタイミングを推定することができる。そのため、所定のイベントのタイミングの推定処理に要する時間を短縮することができる。
【0101】
また、例えば、図９に示すように、アドレスに対応する類似度は、アドレスのタイミング（図中の実線の枠参照）、即ち、クラブがテイクバックへ動き出す直前のタイミングよりもずっと前から相対的に高い状態を維持する場合がある（図中の破線の枠参照）。ユーザは、アドレスよりも前のタイミングからアドレスとほとんど同じ姿勢の状態を維持する可能性が高いからである。そのため、動画像の最初のフレームから最後のフレームまでの全範囲を対象として、アドレスに対応する類似度が最大値を取るタイミングが探索されると、アドレスよりも前のタイミングをアドレスのタイミングと誤って推定する可能性がある。
【0102】
これに対して、本例では、イベントタイミング推定部３００５は、アドレスに対応する類似度が所定の閾値Ｓ１ｔｈに対して相対的に小さくなった時刻ｔ３以前の所定の期間Ｔ１の範囲で、アドレスに対応する類似度が最大値を取るタイミングを探索する。閾値Ｓ１ｔｈに対して相対的に小さくなった状態は、閾値Ｓ１ｔｈ以下になった状態であってもよいし、閾値Ｓ１ｔｈより小さくなった状態であってもよい。そして、イベントタイミング推定部３００５は、その範囲でアドレスに対応する類似度が最大値を取るタイミングをアドレスのタイミングであると推定する。これにより、閾値Ｓ１ｔｈ及び期間Ｔ１が適宜設定されることによって、スイング動作が開始される直前のタイミングをアドレスのタイミングとして適切に推定することができる。そのため、アドレスのタイミングの推定精度を向上させることができる。
【0103】
また、例えば、テイクバックに対応する類似度は、アドレスより前の時点で最大値を取る可能性がある。ユーザは、アドレスの前にテイクバックの位置までゴルフのクラブを動かす形の予備動作を行う場合があるからである。そのため、動画像の最初のフレームから最後のフレームまでの全範囲を対象として、テイクバックに対応する類似度が最大値を取るタイミングが探索されると、アドレスよりも前のタイミングがテイクバックのタイミングと誤って推定される可能性がある。
【0104】
これに対して、イベントタイミング推定部３００５は、テイクバックに対応する類似度が所定の閾値Ｓ２ｔｈに対して相対的に小さくなったタイミング以前の所定の期間Ｔ２で、テイクバックに対応する類似度が最大値を取るタイミングを探索してよい。そして、イベントタイミング推定部３００５は、その範囲でテイクバックに対応する類似度が最大値を取るタイミングをテイクバックのタイミングであると推定する。これにより、閾値Ｓ２ｔｈ及び期間Ｔ２が適宜設定されることによって、テイクバックのタイミングを超えて、テイクバックに対応する類似度が大きく低下するタイミングから遡って、テイクバックのタイミングを適切に推定することができる。そのため、テイクバックのタイミングの推定精度を向上させることができる。
【0105】
また、例えば、図１０に示すように、インパクトに対応する類似度は、アドレスのタイミング及びアドレスの直前の期間（図中の破線の枠参照）でも相対的に高い状態を維持する可能性がある。ゴルフのスイング動作において、アドレス及びインパクトは、ユーザの姿勢やゴルフクラブのヘッドの位置及びシャフトの姿勢が似通っているからである。そのため、動画像の最初のフレームから最後のフレームまでの全範囲を対象として、インパクトに対応する類似度が最大値を取るタイミングが探索されると、アドレスやアドレスよりも前のタイミングがインパクトのタイミングと誤って推定される可能性がある。
【0106】
これに対して、本例では、イベントタイミング推定部３００５は、インパクトに対応する類似度が所定の閾値Ｓ３ｔｈに対して相対的に大きくなった時刻ｔ４以降の所定の期間Ｔ３で、インパクトに対応する類似度が最大値を取るタイミングを探索する。閾値Ｓ３ｔｈに対して相対的に大きくなった状態は、閾値Ｓ３ｔｈ以上になった状態であってもよいし、閾値Ｓ３ｔｈより大きくなった状態であってもよい。そして、イベントタイミング推定部３００５は、その範囲でインパクトに対応する類似度が最大値を取るタイミング（図中の実線の枠参照）をインパクトのタイミングであると推定する。これにより、閾値Ｓ３ｔｈ及び期間Ｔ３が適宜設定されることによって、アドレスのタイミングを超えて類似度が低下した後に再び類似度が上昇するタイミングを起点にして、インパクトのタイミングを適切に推定することができる。そのため、インパクトのタイミングの推定精度を向上させることができる。
【0107】
また、例えば、図１１に示すように、フィニッシュに対応する類似度は、フィニッシュのタイミング（図中の実線の枠参照）よりも後の期間（図中の破線の枠参照）でも相対的に高い状態を維持する可能性がある。ゴルフのスイング動作において、ユーザは、フィニッシュのタイミングの後も、同じ姿勢状態を維持する場合があるからである。そのため、動画像の最初のフレームから最後のフレームまでの全範囲を対象として、フィニッシュに対応する類似度が最大値を取るタイミングが探索されると、フィニッシュよりも後のタイミングがフィニッシュのタイミングと誤って推定される可能性がある。
【0108】
これに対して、本例では、イベントタイミング推定部３００５は、フィニッシュに対応する類似度が所定の閾値Ｓ４ｔｈに対して相対的に大きくなった時刻ｔ５以降の所定の期間Ｔ４の範囲で、フィニッシュに対応する類似度が最大値を取るタイミングを探索する。そして、イベントタイミング推定部３００５は、その範囲でフィニッシュに対応する類似度が最大値を取るタイミングをフィニッシュのタイミングであると推定する。これにより、閾値Ｓ４ｔｈ及び期間Ｔ４が適宜設定されることによって、スイング動作が停止した直後のタイミングをフィニッシュのタイミングとして適切に推定することができる。そのため、フィニッシュのタイミングの推定精度を向上させることができる。
【0109】
また、イベントタイミング推定部３００５は、ゴルフのスイング動作における時系列でのゴルフクラブのヘッドの速度に着目して、所定のイベントのタイミングを推定してもよい。
【0110】
例えば、ゴルフクラブのヘッドの速度は、アドレス、テイクバック、及びバックスイングのタイミングでは、相対的に小さく、トップのタイミングで略ゼロになる。また、ゴルフクラブのヘッドの速度は、トップからハーフウェイダウン及びインパクトにかけて加速し、トップのタイミングの直後に最大値を取る。そして、ゴルフクラブのヘッドの速度は、フォローからフィニッシュのタイミングにかけて大きく減少する。そのため、ゴルフクラブのヘッドの速度が最小となるタイミングを疑似的にトップのタイミングとすることができる。よって、イベントタイミング推定部３００５は、ゴルフクラブの動作開始後のヘッドの速度が最小となるタイミングより前の範囲で、アドレスやテイクバックやバックスイングに対応する類似度が最大となるタイミングを探索してよい。同様に、イベントタイミング推定部３００５は、ゴルフクラブの動作開始後のヘッドの速度が最小となるタイミングより後の範囲で、ハーフウェイダウンやインパクトやフォローやフィニッシュに対応する類似度が最大となるタイミングを探索してよい。これにより、トップの前後の所定のイベントの推定精度を向上させることができると共に、探索範囲を限定し、所定のイベントの推定に関する処理の時間を短縮することができる。
【0111】
また、ゴルフクラブのヘッドの速度が最大となるタイミングを疑似的にインパクトのタイミングとすることもできる。そのため、イベントタイミング推定部３００５は、ゴルフクラブのヘッドの速度が最大となるタイミングより前の範囲で、アドレスやテイクバックやバックスイングやトップやハーフウェイダウンに対応する類似度が最大となるタイミングを探索してもよい。同様に、イベントタイミング推定部３００５は、ゴルフクラブのヘッドの速度が最大となるタイミングより後の範囲で、フォローやフィニッシュに対応する類似度が最大となるタイミングを探索してもよい。これにより、インパクトの前後の所定のイベントの推定精度を向上させることができると共に、探索範囲を限定し、所定のイベントの推定に関する処理の時間を短縮することができる。
【0112】
また、上述の如く、複数の種類の動作データが用いられる場合、イベントタイミング推定部３００５は、複数の種類の動作データの間で相対的な重みづけが設定されることにより取得された、動作データと基準動作データとの類似度に基づき、所定のイベントのタイミングを推定してもよい。
【0113】
例えば、所定のイベントのタイミングの推定のために利用される動作データには、その種類によって、重要度の大小（高低）が存在する場合がある。例えば、複数の種類の動作データのうちの重要度の大きい（高い）種類の動作データは、対象の所定のイベントのタイミングにおいて、ユーザによって取りうる値の幅が相対的に小さくなる傾向がある、即ち、ユーザ間で相対的に近い値を取る傾向にある種類の動作データである。つまり、複数の種類の動作データのうちの重要度の大きい種類の動作データは、対象の所定のイベントのタイミングにおいて、ユーザによって似通った動きをする傾向にある身体部位やゴルフクラブの部位等の動作を表すデータである。一方、複数の種類の動作データのうちの重要度の小さい（低い）種類の動作データは、対象の所定のイベントのタイミングにおいて、ユーザによって取りうる値の幅が相対的に大きくなる傾向がある、即ち、ユーザ間で相対的に乖離した値を取る傾向にある種類の動作データである。つまり、複数の種類の動作データのうちの重要度の小さい（低い）種類の動作データは、対象の所定のイベントのタイミングにおいて、ユーザによって異なる動きをする傾向にある身体部位やゴルフクラブの部位等の動作を表すデータである。
【0114】
例えば、所定のイベントとしてのトップのタイミングにおいて、ゴルフクラブのヘッドは略停止する。そのため、トップのタイミングが推定される場合、ゴルフクラブのヘッドの速度データは、重要度が大きい（高い）動作データとして規定されてよい。一方、図１２（図１２Ａ，１２Ｂ）に示すように、所定のイベントとしてのトップのタイミングにおいて、ゴルフクラブのヘッドの位置は、ユーザによって、大きく異なる場合がある（図中の丸枠参照）。そのため、トップのタイミングが推定される場合、ゴルフクラブのヘッドの位置データは、重要度が小さい（低い）動作データとして規定されてよい。
【0115】
例えば、図１３に示すように、比較例では、重要度の大きい２種類の動作データ、及び重要度の小さい２種類の動作データで構成される、４種類の動作データの間に重みづけが設定されず、動作データの値がそのまま利用される。重要度の大きい２種類の動作データは、膝の位置データ、及びゴルフクラブのヘッドの速度データであり、重要度の小さい２種類の動作データは、膝の速度データ、及びゴルフクラブのヘッドの位置データである。
【0116】
図１３Ａ，１３Ｂに示すように、ユーザＡのゴルフのスイング動作における所定のイベントのタイミングでの動作データは、重要度の大きい２種類の動作データ、及び重要度の小さい２種類の動作データの双方が基準動作データに対して比較的近い値を表している。そのため、比較例に係る類似度取得部は、ユーザＡのゴルフのスイング動作における所定のイベントのタイミングでの動作データと基準動作データとの類似度が相対的に大きいと評価している。その結果、比較例に係るイベントタイミング推定部は、ユーザＡのゴルフのスイング動作を含む動画像上において、所定のイベントのタイミングを適切に推定することができる。
【0117】
一方、図１３Ａ，１３Ｃに示すように、ユーザＢのゴルフのスイング動作における所定のイベントのタイミングでの動作データは、重要度の大きい２種類の動作データが基準動作データに対して比較的近い値を表しているが、重要度の小さい２種類の動作データが基準動作データに対して比較的乖離した値を表している。そのため、比較例に係る類似度取得部は、ユーザＢのゴルフのスイング動作における所定のイベントのタイミングでの動作データと基準動作データとの類似度が相対的に小さいと評価してしまっている。その結果、比較例に係るイベントタイミング推定部は、ユーザＢのゴルフのスイング動作を含む動画像上において、所定のイベントのタイミングを適切に推定することができない場合が生じうる。
【0118】
これに対して、例えば、図１４に示すように、類似度取得部３００４は、４種類の動作データの間の相対的な重みづけを設定して、動作データと基準動作データとの類似度を演算（取得）する。本例では、類似度取得部３００４は、４種類の動作データのうちの重要度が小さい２種類の動作データの重みづけを小さくする。具体的には、図１４Ｃに示すように、類似度取得部３００４は、重要度が小さい２種類の動作データに対して１より小さい所定の正数を乗じることにより、重要度の大きい２種類の動作データをそのまま利用する前提で、重要度の小さい２種類の動作データの重みづけを小さくする。また、図１４Ａに示すように、重要度が小さい２種類の基準動作データについても、同様に、類似度取得部３００４は、同じ正数を乗じることにより、重要度の大きい２種類の基準動作データをそのまま利用する前提で、重要度の小さい２種類の基準動作データの重みづけを小さくする。
【0119】
これにより、図１４Ａ，１４Ｃに示すように、ユーザＢのゴルフのスイング動作における所定のイベントのタイミングでの動作データのうちの重要度の小さい２種類の動作データと基準動作データとの差異が比較的小さくなる。そのため、類似度取得部３００４は、ユーザＢのゴルフのスイング動作における所定のイベントのタイミングでの動作データと基準動作データとの類似度が相対的に大きいと評価することができる。その結果、イベントタイミング推定部３００５は、ユーザＢのゴルフのスイング動作を含む動画像上において、所定のイベントのタイミングを適切に推定することができる。
【0120】
このように、複数の種類の動作データが用いられる場合、類似度取得部３００４は、複数の種類の動作データの相対的な重要度の大小に応じて、複数の種類の動作データの間の重みづけを設定して、動作データと基準動作データとの間の類似度を取得してよい。これにより、イベントタイミング推定部３００５は、類似度取得部３００４により取得される類似度に基づき、所定のイベントのタイミングをより適切に推定することができる。
【0121】
また、複数の種類の動作データが用いられる場合、類似度取得部３００４は、複数の種類の動作データごとのスケールの違いに応じて、複数の種類の動作データの間の重みづけを設定してもよい。スケールとは、ゴルフのスイング動作における動作データの値の変化の幅である。
【0122】
例えば、ゴルフのスイング動作におけるゴルフクラブのヘッドの位置データ及び速度データが用いられることにより、所定のイベントのタイミングが推定される場合を考える。
【0123】
ゴルフのスイング動作におけるゴルフクラブのヘッドの位置は、その相対的な変化の幅が最大でも数メートル程度である。一方、ゴルフのスイング動作におけるゴルフクラブのヘッドの速度は、０ｍ／ｓから約５０ｍ／ｓまでの範囲で変化する。そのため、ゴルフクラブのヘッドの位置データ及び速度データがそのまま動作データとして用いられる場合、類似度は、スケールが小さい、ヘッドの位置データよりも、スケールが大きい、ヘッドの速度データの影響を大きく受けてしまう可能性がある。その結果、その類似度が用いられることで、所定のイベントのタイミングが適切に推定されない場合が生じうる。
【0124】
これに対して、類似度取得部３００４は、相対的にスケールが大きい、ゴルフクラブのヘッドの速度の重みづけを小さく設定して、動作データと基準動作データとの間の類似度を取得してよい。例えば、類似度取得部３００４は、ゴルフクラブのヘッドの位置データをそのまま利用する前提で、ゴルフクラブの速度データに１より小さい所定の正数を乗じることにより、ゴルフクラブの速度データの重みづけを小さく設定する。これにより、類似度取得部３００４は、動作データと基準動作データとの類似度に対する、スケールが相対的に大きい、ヘッドの速度データの影響を抑制することができる。その結果、イベントタイミング推定部３００５は、類似度取得部３００４により取得される類似度を用いて、所定のイベントのタイミングを適切に推定することができる。
【0125】
このように、複数の種類の動作データが用いられる場合、類似度取得部３００４は、複数の種類の動作データの相対的なスケールの大小に応じて、複数の種類の動作データの間の重みづけを設定して、動作データと基準動作データとの間の類似度を取得してよい。これにより、イベントタイミング推定部３００５は、類似度取得部３００４により取得される類似度に基づき、所定のイベントのタイミングをより適切に推定することができる。
【0126】
イベントタイミング推定部３００５の推定結果のデータは、イベントタイミングデータ記憶部３００５Ａに格納される。
【0127】
スイング診断部３００６は、イベントタイミング推定部３００５の推定結果のデータをイベントタイミングデータ記憶部３００５Ａから読み出し、動画像上でのユーザのスイング動作における所定のイベントの発生時に着目してスイング診断を行う。例えば、スイング診断部３００６は、所定のイベントの発生時に対応するフレームの画像やその前後の所定範囲のフレーム画像に基づき、ゴルフのスイング動作に関する診断指標を算出する。ゴルフのスイング動作に関する診断指標には、ヘッドスピード、アタック角、タメ、フェース角、身体重心位置、前傾角度等が含まれる。ヘッドスピードは、ゴルフクラブのヘッドの速度を表す。アタック角は、ゴルフボールとのインパクト時の水平面を基準とするゴルフボールに対するクラブ（ヘッド）の入射角度を表す。タメは、ダウンスイング時における腕の動作とクラブのヘッドの動作とのタイムラグを表す。フェース角は、ゴルフボールとのインパクト時における水平方向でのフェース面の向きを表す。身体重心位置とは、身体の各部位の質量中心の重心位置を表す。前傾角度とは、アドレス時の上半身の前傾角度である。そして、スイング診断部３００６は、算出した診断指標に基づき、ユーザによるゴルフのスイング動作に関する診断を行う。例えば、スイング診断部３００６は、診断基準の値、即ち、診断指標の基準値と、算出した診断指標の値とを比較することにより、ユーザのスイング動作の診断基準に対する適合度に関する診断を行う。
【0128】
スイング診断部３００６は、スイング診断の処理が完了すると、通信インタフェース３０６を通じて、スイング診断の結果のデータを含む返信データをユーザ端末２００に送信する。返信データには、例えば、診断指標のデータや診断指標に基づくアドバイスのデータ等が含まれる。また、返信データには、所定のイベントのタイミングにおけるユーザの複数の身体部位の関節位置のデータやゴルフクラブのヘッド位置のデータ等が含まれてもよい。
【0129】
このように、本例では、情報処理装置３００は、ユーザによるゴルフのスイング動作を含む動画像のフレームごとの動作データと、ゴルフのスイング動作における所定のイベントの発生時のユーザの動作を表す基準動作データとの類似度に基づき、動画像における所定のイベントのタイミングを推定する。これにより、情報処理装置３００は、動画像に対応する時間軸での相対的な類似度の大小（高低）によって、ゴルフのスイング動作における所定のイベントのタイミングを推定することができる。そのため、所定のイベントに対応する、被写体の人の動作に関する条件や画像上の特定の領域の画素値の変化に関する条件等の絶対条件の不成立によって、所定のイベントのタイミングを推定できないような事態を抑制することができる。よって、情報処理装置３００は、ユーザによるゴルフのスイング動作を含む動画像上での所定のイベントのタイミングをより適切に推定することができる。
【0130】
また、本例では、情報処理装置３００は、ユーザの身体部位の動作を表す動作データだけでなく、ゴルフクラブの所定の部位（例えば、ヘッド）の動作を表す動作データを用いて、動画像における所定のイベントのタイミングを推定する。
【0131】
例えば、図１５に示すように、ユーザによるゴルフのスイング動作を含む動画像において、インパクトのタイミングの１フレーム前の画像（図１５Ａ）と、インパクトのタイミングの画像（図１５Ｂ）とでは、ユーザの身体部位の位置にほとんど変化がない。そのため、仮に、ユーザの身体部位の動作を表す動作データだけが用いられると、インパクトのタイミングではなく、インパクトの前後のタイミングが、所定のイベントとしてのインパクトのタイミングとして誤って推定されてしまう可能性がある。その結果、情報処理装置３００は、例えば、アタック角やフェース角等のインパクトのタイミングに対応する診断指標を適切に算出することができず、スイング診断を適切に行うことができない可能性がある。
【0132】
これに対して、情報処理装置３００は、例えば、ゴルフクラブのヘッドの位置データを併せて用いることで、インパクトのタイミングをより適切に推定することができる。インパクトのタイミングでのゴルフクラブのヘッドの位置は、ゴルフボールの位置やアドレス時のヘッドの位置から推定されうるからである。その結果、情報処理装置３００は、スイング診断をより適切に行うことができる。
【0133】
また、図１６（図１６Ａ，１６Ｂ）に示すように、ゴルフのスイング動作において、トップのタイミングでのユーザの身体部位の位置、特に、下半身の部位（膝）の位置がユーザによって大きく異なる場合がある（図中の丸枠参照）。そのため、仮に、ユーザの身体部位の動作を表す動作データだけが用いられると、トップのタイミングではなく、例えば、トップの前後のタイミングが、所定のイベントとしてのトップのタイミングとして誤って推定されてしまう可能性がある。その結果、情報処理装置３００は、トップのタイミングに対応する診断指標を適切に算出することができず、スイング診断を適切に行うことができない可能性がある。
【0134】
これに対して、情報処理装置３００は、例えば、ゴルフクラブのヘッドの速度データを併せて用いることで、トップのタイミングをより適切に推定することができる。トップのタイミングでのゴルフクラブのヘッドの速度は、ユーザに依らず略ゼロになるからである。その結果、情報処理装置３００は、スイング診断をより適切に行うことができる。
【0135】
［スイング診断システムの動作の第１例］
次に、図１７を参照して、スイング診断システム１の動作の第１例について説明する。具体的には、図４の機能構成を前提とするスイング診断システム１の動作の一例について説明する。
次に、図１７を参照して、スイング診断システム１の動作の第１例について説明する。具体的には、図４の機能構成を前提とするスイング診断システム１の動作の一例について説明する。
【0136】
図１７は、スイング診断システム１の動作の第１例を示すシーケンス図である。
【0137】
図１７に示すように、ユーザ端末２００は、入力装置２０７を用いたユーザからの所定の入力に応じて、スイング診断アプリを起動させる（ステップＳ１０２）。
【0138】
ステップＳ１０２の処理の完了後、動画像データ取得部２００２は、入力装置２０７を用いた所定のアプリ画面上でのユーザからの所定の入力に応じて、ユーザによるゴルフのスイング動作の様子を表す動画像データをカメラ１００から取得する（ステップＳ１０４）。
【0139】
ステップＳ１０４の処理の完了後、動画像データ送信部２００３は、通信インタフェース２０６を通じて、動画像データを情報処理装置３００に送信する（ステップＳ１０６）。
【0140】
動画像データ取得部３００１は、ステップＳ１０６の処理でユーザ端末２００から送信（アップロード）された動画像データを取得する（ステップＳ１０７）。
【0141】
ステップＳ１０７の処理の完了後、特徴点抽出部３００２は、動画像の各フレームについて、被写体のユーザのスイング動作に関する複数の特徴点を抽出する（ステップＳ１０８）。
【0142】
ステップＳ１０８の処理の完了後、動作データ取得部３００３は、動画像の各フレームについて、複数の特徴点に基づき、ユーザによるゴルフのスイング動作に関する動作データを取得する（ステップＳ１１０）。
【0143】
ステップＳ１１０の処理の完了後、類似度取得部３００４は、所定のイベントごとに、動画像の各フレームの動作データと基準動作データとの類似度を算出する（ステップＳ１１２）。
【0144】
ステップＳ１１２の処理の完了後、イベントタイミング推定部３００５は、所定のイベントごとに、各フレームの類似度に基づき、所定のイベントのタイミングを推定する（ステップＳ１１４）。
【0145】
ステップＳ１１４の処理の完了後、スイング診断部３００６は、ステップＳ１１４の処理による所定のイベントのタイミングの推定結果に基づき、動画像データのスイング動作に関するスイング診断を行う（ステップＳ１１６）。
【0146】
ステップＳ１１６の処理の完了後、スイング診断部３００６は、スイング診断の結果のデータを含む返信データをユーザ端末２００に送信する（ステップＳ１１８）。
【0147】
診断結果データ取得部２００４は、ステップＳ１１８の処理で情報処理装置３００から送信された、スイング診断の結果のデータを含む返信データを取得する（ステップＳ１１９）。
【0148】
ステップＳ１１９の処理の完了後、アプリ画面表示処理部２００１は、スイング診断の結果を表示装置２０８に表示させる（ステップＳ１２０）。
【0149】
このように、スイング診断システム１は、ユーザによるゴルフのスイング動作の様子を表す動画像データを取得し、動画像データからスイング動作における所定のイベントのタイミングを推定し、その推定結果に基づき、スイング診断を行うことができる。
【0150】
［スイング診断システムの機能構成の第２例］
次に、図１８を参照して、スイング診断システム１の機能構成の第２例について説明する。
次に、図１８を参照して、スイング診断システム１の機能構成の第２例について説明する。
【0151】
以下、上述の第１例と同じ或いは対応する構成には同一の符号を付し、上述の第１例と異なる部分を中心に説明すると共に、上述の第１例と同じ或いは対応する内容の説明を省略或いは簡略化する場合がある。
【0152】
図１８は、スイング診断システム１の機能構成の第２例を示す機能ブロック図である。
【0153】
図１８に示すように、ユーザ端末２００は、上述の第１例と同様、アプリ画面表示処理部２００１と、動画像データ取得部２００２と、動画像データ送信部２００３と、診断結果データ取得部２００４とを含む。また、ユーザ端末２００は、上述の第１例と異なり、推定結果データ取得部２００５と、イベントタイミング編集部２００６と、編集結果データ送信部２００７とを含む。これらの機能は、例えば、補助記憶装置２０２にインストールされるスイング診断アプリをメモリ装置２０３にロードしＣＰＵ２０４で実行することにより実現される。
【0154】
推定結果データ取得部２００５は、情報処理装置３００から送信される、動画像データでのユーザによるゴルフのスイング動作における所定のイベントのタイミングの推定結果のデータを取得する。
【0155】
推定結果データ取得部２００５により取得される推定結果のデータは、アプリ画面表示処理部２００１によって、表示装置２０８のアプリ画面に表示される。
【0156】
推定結果のデータは、例えば、所定のイベントのタイミングに対応するチャプタが指定された動画像データである。これにより、ユーザは、動画像上で自身のゴルフのスイング動作における所定のイベントのタイミングを容易に確認することができる。
【0157】
イベントタイミング編集部２００６は、入力装置２０７を用いたアプリ画面上でのユーザからの所定の入力に応じて、情報処理装置３００で推定された所定のイベントのタイミングを編集する。これにより、例えば、所定のイベントのタイミングの推定結果に誤りがある場合に、ユーザは、入力装置２０７を用いて、所定のイベントのタイミングを編集することができる。
【0158】
編集対象の所定のイベントは、情報処理装置３００での推定対象の所定のイベントの全部であってもよいし、一部であってもよい。例えば、編集対象の所定のイベントは、アドレス、トップ、及びインパクトの少なくとも１つである。アドレス、テイクバック、バックスイング、トップ、ハーフウェイダウン、インパクト、フォロー、及びフィニッシュのうち、アドレス、トップ、及びインパクトは、定義が明確であり、動画像からユーザが容易に認識することが可能だからである。
【0159】
編集結果データ送信部２００７は、イベントタイミング編集部２００６による編集結果のデータを、通信インタフェース２０６を通じて情報処理装置３００に送信する。これにより、所定のイベントのタイミングの編集結果を情報処理装置３００でのスイング診断に反映させることができる。編集結果のデータには、編集が実施されなかった場合の編集が実施されなかった旨を表すデータが含まれる。これにより、情報処理装置３００に対して、編集がされなかった旨を通知することができる。
【0160】
図１８に示すように、情報処理装置３００は、上述の第１例と同様、動画像データ取得部３００１と、特徴点抽出部３００２と、動作データ取得部３００３と、類似度取得部３００４と、イベントタイミング推定部３００５と、スイング診断部３００６とを含む。また、情報処理装置３００は、上述の第１例と異なり、推定結果データ送信部３００７と、編集結果データ取得部３００８と、イベントタイミング修正部３００９とを含む。これらの機能は、例えば、補助記憶装置３０２にインストールされるプログラムをメモリ装置３０３にロードしＣＰＵ３０４で実行することにより実現される。また、情報処理装置３００は、上述の第１例と同様、動画像データ記憶部３００１Ａと、特徴点データ記憶部３００２Ａと、動作データ記憶部３００３Ａと、類似度データ記憶部３００４Ａと、基準動作データ記憶部３００４Ｘと、イベントタイミングデータ記憶部３００５Ａとを含む。また、情報処理装置３００は、上述の第１例と異なり、編集結果データ記憶部３００８Ａを含む。これらの機能は、例えば、補助記憶装置３０２やメモリ装置３０３に規定される記憶領域により実現される。
【0161】
推定結果データ送信部３００７は、イベントタイミング推定部３００５による推定結果に相当するデータをイベントタイミングデータ記憶部３００５Ａから読み出し、通信インタフェース２０６を通じて、ユーザ端末２００に送信する。
【0162】
例えば、推定結果データ送信部３００７は、動画像データ記憶部３００１Ａから読み出した動画像データに対して、ゴルフのスイング動作における所定のイベントのタイミングに対応するフレームにチャプタを指定した動画像データを生成する。そして、推定結果データ送信部３００７は、ゴルフのスイング動作における所定のイベントのタイミングに対応するチャプタ付きの動画像データを推定結果のデータとしてユーザ端末２００に送信する。
【0163】
編集結果データ取得部３００８は、ユーザ端末２００から送信される所定のイベントのタイミングの編集結果のデータを取得する。編集結果データ取得部３００８により取得される編集結果のデータは、編集結果データ記憶部３００８Ａに格納される。
【0164】
イベントタイミング修正部３００９は、編集結果データ記憶部３００８Ａの編集結果のデータに基づき、イベントタイミングデータ記憶部３００５Ａに格納される所定のイベントのタイミングのデータを修正する。
【0165】
例えば、イベントタイミング修正部３００９は、イベントタイミングデータ記憶部３００５Ａに格納される、全ての所定のイベントのうちの編集結果のデータで編集されている対象の所定のイベントのタイミングのデータを編集結果のデータの内容に修正する。そして、イベントタイミング修正部３００９は、イベントタイミングデータ記憶部３００５Ａに格納される、全ての所定のイベントのうちの編集結果のデータで未編集の所定のイベントのタイミングを再度推定してよい。例えば、トップのタイミングが編集された場合、イベントタイミング修正部３００９は、修正後のトップのタイミングを基準として、それより前のアドレスやテイクバックやバックスイングのタイミングを推定する。同様に、イベントタイミング修正部３００９は、修正後のトップのタイミングを基準として、それより後のハーフウェイダウンやインパクトやフォローやフィニッシュのタイミングを推定する。推定方法は、上述と同様であってよい。そして、イベントタイミング修正部３００９は、推定結果に基づき、イベントタイミングデータ記憶部３００５Ａに格納される、全ての所定のイベントのうちの編集結果のデータで未編集の所定のイベントのタイミングのデータを修正する。
【0166】
尚、編集結果のデータが、編集がされなかった旨を表している場合、イベントタイミング修正部３００９は、イベントタイミングデータ記憶部３００５Ａに格納されるデータの修正を行わない。
【0167】
スイング診断部３００６は、イベントタイミング修正部３００９によりイベントタイミングデータ記憶部３００５Ａのデータが修正された場合、イベントタイミングデータ記憶部３００５Ａの修正後のデータに基づき、スイング診断を行う。
【0168】
［スイング診断システムの動作の第２例］
次に、図１９を参照して、スイング診断システム１の動作の第２例について説明する。具体的には、図１８の機能構成を前提とするスイング診断システム１の動作の一例について説明する。
次に、図１９を参照して、スイング診断システム１の動作の第２例について説明する。具体的には、図１８の機能構成を前提とするスイング診断システム１の動作の一例について説明する。
【0169】
図１９は、スイング診断システム１の動作の第２例を示すシーケンス図である。
【0170】
図１９に示すように、ステップＳ２０２，Ｓ２０４，Ｓ２０６，Ｓ２０７，Ｓ２０８，Ｓ２１０，Ｓ２１２，Ｓ２１４は、図１７のステップＳ１０２，Ｓ１０４，Ｓ１０６，Ｓ１０７，Ｓ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１４の処理と同じである。そのため、説明を省略する。
【0171】
ステップＳ２１４の処理の完了後、推定結果データ送信部３００７は、イベントタイミング推定部３００５の推定結果のデータを、通信インタフェース３０６を通じてユーザ端末に送信する（ステップＳ２１６）。
【0172】
具体的には、推定結果データは、上述の如く、イベントタイミング推定部３００５により推定された、所定のイベントのタイミングに対応するフレームに対してチャプタが指定された動画像のデータであってよい。
【0173】
推定結果データ取得部２００５は、ステップＳ２１６の処理で情報処理装置３００から送信された推定結果のデータを取得する（ステップＳ２１７）。
【0174】
ステップＳ２１７の処理の完了後、アプリ画面表示処理部２００１は、推定結果データ取得部２００５により取得された推定結果のデータを表示装置２０８に表示させる。
【0175】
具体的には、アプリ画面表示処理部２００１は、所定のイベントに対応するフレームに対してチャプタが指定された動画像を表示装置２０８に表示させてよい。これにより、ユーザは、動画像において、入力装置２０７を用いてチャプタを指定する入力を行うことで、所定のイベントのタイミングに対応するフレームにおけるゴルフのスイング動作の様子を確認し、編集の要否を判断することができる。
【0176】
ステップＳ２１８の処理の完了後、イベントタイミング編集部２００６は、入力装置２０７を用いたアプリ画面でのユーザからの入力に応じて、動画像上のゴルフのスイング動作における所定のイベントのタイミングを編集する（ステップＳ２２０）。
【0177】
ステップＳ２２０の処理の完了後、編集結果データ送信部２００７は、ステップＳ２２０の処理による編集結果のデータを、通信インタフェース２０６を通じて情報処理装置３００に送信する（ステップＳ２２２）。
【0178】
編集結果データ取得部３００８は、ステップＳ２２２の処理でユーザ端末２００から送信された編集結果のデータを取得する（ステップＳ２２３）。
【0179】
ステップＳ２２３の処理の完了後、イベントタイミング修正部３００９は、編集結果のデータに基づき、イベントタイミングデータ記憶部３００５Ａに格納される所定のイベントのタイミングのデータを修正する（ステップＳ２２４）。
【0180】
ステップＳ２２４の処理の完了後、スイング診断部３００６は、イベントタイミングデータ記憶部３００５Ａに格納される、ステップＳ２２４の処理により修正済みの所定のイベントのタイミングのデータに基づき、スイング診断を行う（ステップＳ２２６）。
【0181】
ステップＳ２２８～Ｓ２３０は、図１７のステップＳ１１８～Ｓ１２０の処理と同じであるため、説明を省略する。
【0182】
このように、本例では、スイング診断システム１は、ユーザによるゴルフのスイング動作の様子を表す動画像データを取得し、その動画像上でのスイング動作における所定のイベントのタイミングをユーザに指定させることができる。
【0183】
［他の実施形態］
次に、他の実施形態について説明する。
次に、他の実施形態について説明する。
【0184】
上述の実施形態には、適宜、変形や変更が加えられてもよい。
【0185】
例えば、上述の実施形態では、ユーザ端末２００及び情報処理装置３００の機能は、１つの情報処理装置によって実現されてもよいし、３以上の情報処理装置により分散して実現されてもよい。
【0186】
また、上述の実施形態（スイング診断システム１の機能構成の第２例）やその変形・変更の例では、所定のイベントのうちの一部について、最初からユーザに指定させるようにしてもよい。所定のイベントのうちの一部には、例えば、アドレス、トップ、及びインパクトの少なくとも１つのタイミングが含まれる。
【0187】
また、上述の実施形態やその変形・変更の例でのゴルフの動作における所定のイベントのタイミングの推定方法は、動画像上のゴルフの動作とは異なる他の動作における所定のイベントを推定する場合に適用されてもよい。他の動作とは、例えば、テニスのスイング動作である。
【0188】
［作用］
次に、本実施形態に係る情報処理方法、プログラム、及び情報処理装置の作用について説明する。
次に、本実施形態に係る情報処理方法、プログラム、及び情報処理装置の作用について説明する。
【0189】
本実施形態では、情報処理方法は、情報処理装置が実行し、抽出ステップと、取得ステップと、推定ステップと、を含む。情報処理装置は、例えば、上述の情報処理装置３００である。抽出ステップは、例えば、上述のステップＳ１０８，Ｓ２０８である。取得ステップは、例えば、Ｓ１１０，Ｓ２１０である。推定ステップは、例えば、上述のステップＳ１１４，Ｓ２１４である。具体的には、抽出ステップでは、情報処理装置が、動画像に含まれる複数の画像ごとに、被写体の人の所定の動作に関する複数の特徴点であって、被写体の人の身体部位を表す特徴点、及び人が保持する所定の道具の特徴点を含む複数の特徴点を抽出する。所定の動作は、例えば、上述のゴルフのスイング動作であり、所定の道具は、例えば、ゴルフクラブである。また、取得ステップでは、情報処理装置が、抽出ステップで抽出される複数の特徴点に基づき、複数の画像ごとの被写体の人及びゴルフクラブの動作を表すデータであって、被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する。そして、推定ステップでは、情報処理装置が、複数の画像ごとの取得ステップで取得されるデータと、所定の動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータとの類似度に基づき、動画像における所定のイベントのタイミングを推定する。
【0190】
また、本実施形態では、プログラムは、情報処理装置に、抽出ステップと、取得ステップと、推定ステップとを実行させてもよい。
【0191】
また、本実施形態では、情報処理装置は、抽出部と、取得部と、記憶部と、推定部と、を備えてもよい。抽出部は、例えば、上述の特徴点抽出部３００２である。取得部は、例えば、上述の動作データ取得部３００３である。記憶部は、例えば、上述の基準動作データ記憶部３００４Ｘである。推定部は、例えば、上述のイベントタイミング推定部３００５である。具体的には、抽出部は、動画像に含まれる複数の画像ごとに、被写体の人の所定の動作に関する複数の特徴点であって、被写体の人の身体部位を表す特徴点、及び人が保持する所定の道具の特徴点を含む複数の特徴点を抽出する。また、取得部は、抽出部により抽出される複数の特徴点に基づき、複数の画像ごとの被写体の人及びゴルフクラブの動作を表すデータであって、被写体の人の身体部位とゴルフクラブとの位置及び速度の少なくとも一方に関するデータを含むデータを取得する。また、記憶部には、所定の動作における所定のイベントの発生時の人及びゴルフクラブの動作を表す基準のデータが記憶される。そして、推定部は、複数の画像ごとの取得部により取得されるデータと、基準のデータとの類似度に基づき、動画像における所定のイベントのタイミングを推定する。
【0192】
これにより、情報処理装置は、動画像上の時間軸において、複数の画像ごとの取得部により取得されるデータと、基準のデータとの類似度が最も高いタイミングを所定のイベントのタイミングと推定することができる。そのため、情報処理装置は、例えば、所定のイベントに対応する画像上の被写体の人の動作を表すデータと基準のデータとの差異が相対的に大きい場合であっても、動画像上の時間軸での類似度が最も高いことを以て、所定のイベントのタイミングと推定することができる。その結果、情報処理装置は、例えば、被写体の人の動作に関する条件や画像上の特定の領域の画素値の変化に関する条件等の絶対条件の成否で、所定のイベントのタイミングを推定する場合のように、条件が成立せずに所定のイベントのタイミングを推定できないような事態を回避できる。よって、情報処理装置は、所定の動作を行う人が映っている動画像から所定の動作に関する所定のイベントの発生のタイミングをより適切に推定することができる。また、情報処理装置は、明確な定義がない所定のイベント（例えば、ゴルフのスイング動作のハーフウェイダウン）のように、タイミングを推定する条件の規定が難しい場合でも、所定のタイミングに相当する基準データを準備することでそのタイミングを適切に推定できる。
【0193】
また、本実施形態では、所定の動作は、ゴルフのスイング動作であってもよい。そして、複数の特徴点には、ゴルフボールの特徴点を含んでもよい。
【0194】
これにより、情報処理装置は、ゴルフのスイング動作における所定のイベントのタイミングをより適切に推定することができる。
【0195】
また、本実施形態では、取得ステップで取得されるデータには、被写体の人の複数の身体部位の動作を表すデータが含まれてもよい。
【0196】
これにより、情報処理装置は、複数の身体部位について、動画像上の被写体の人の動作を表すデータと、基準データとの間の類似度を評価することができる。そのため、情報処理装置は、所定の動作における所定のイベントのタイミングをより適切に推定することができる。
【0197】
また、本実施形態では、所定の動作は、ゴルフのスイング動作であってもよい。そして、所定のイベントは、アドレス、テイクバック、バックスイング、トップ、ハーフウェイダウン、インパクト、フォロー、及びフィニッシュのうちの少なくとも１つを含んでもよい。
【0198】
これにより、情報処理装置は、ゴルフのスイング動作における典型的な所定のイベントのタイミングを推定することができる。
【0199】
また、本実施形態では、基準のデータは、所定の動作における所定のイベントの発生時の複数の人の平均の動作を表すデータであってもよい。
【0200】
これにより、所定の動作における所定のイベントの発生時の人の動作のばらつきの中央に近づくように基準のデータが調整されうる。そのため、情報処理装置は、所定の動作における所定のイベントのタイミングをより適切に推定することができる。
【0201】
また、本実施形態では、推定ステップでは、動画像における所定のタイミングより前又は後の範囲で、所定のイベントのタイミングを推定してもよい。
【0202】
これにより、情報処理装置は、動画像上の時間軸で、所定のイベントのタイミングと相関関係のある所定のタイミングを利用することによって、所定のイベントのタイミングをより適切に推定することができる。
【0203】
また、本実施形態では、所定のイベントは、第１のイベント及び第２のイベントを含み、
推定ステップは、第１のイベントのタイミングを推定した後に、動画像における所定のタイミングとしての第１のイベントのタイミングより前又は後の範囲で第２のイベントのタイミングを推定してもよい。
推定ステップは、第１のイベントのタイミングを推定した後に、動画像における所定のタイミングとしての第１のイベントのタイミングより前又は後の範囲で第２のイベントのタイミングを推定してもよい。
【0204】
これにより、情報処理装置は、第１のイベント及び第２のイベントの予め規定される前後関係に合わせて、推定済みの第１のイベントより前のタイミング、或いは、後のタイミングで第２のイベントを推定することができる。そのため、情報処理装置は、第２のイベントのタイミングをより適切に推定することができる。
【0205】
また、本実施形態では、所定の動作は、ゴルフのスイング動作であってもよい。そして、所定のタイミングは、ゴルフクラブの速度の最大又は最小のタイミングであってもよい。
【0206】
これにより、情報処理装置は、動画像上の時間軸でのゴルフクラブの速度の変化と所定のイベントのタイミングとの既知の関係を用いて、所定のイベントのタイミングを推定することができる。そのため、情報処理装置は、所定のイベントのタイミングをより適切に推定することができる。
【0207】
また、本実施形態では、所定の動作は、ゴルフのスイング動作であってもよい。そして、所定のタイミングは、類似度が最小値を取るタイミングであってもよい。
【0208】
これにより、情報処理装置は、動画像上の時間軸での類似度の変化に関する既知の傾向に合わせて、所定のイベントのタイミングを推定することができる。そのため、情報処理装置は、所定のイベントのタイミングをより適切に推定することができる。
【0209】
また、本実施形態では、推定ステップでは、類似度が所定の閾値に対して相対的に小さい状態の期間の前又は後に隣接する所定期間内で所定のイベントのタイミングを推定してもよい。所定の閾値は、例えば、上述の閾値Ｓ１ｔｈ～Ｓ４ｔｈである。所定期間は、例えば、上述の期間Ｔ１～Ｔ４である。
【0210】
これにより、情報処理装置は、例えば、所定の動作の開始前に所定のイベントに対応する似通った人の動作状態が動画像上で出現し、類似度が相対的に大きくなるような場合でも、所定の動作が開始され類似度が低下した時点を基準として所定のタイミングを推定することができる。そのため、情報処理装置は、所定のイベントのタイミングをより適切に推定することができる。
【0211】
また、本実施形態では、所定のタイミングは、ユーザにより指定されるタイミングであってもよい。
【0212】
これにより、情報処理装置は、例えば、動画像を確認したユーザにより指定される、所定のイベントのタイミングと相関を有する所定のタイミングを用いて、所定のイベントのタイミングをより適切に推定することができる。
【0213】
また、本実施形態では、取得ステップでは、被写体の人の身長又は身体部位の長さで正規化したデータを取得してもよい。そして、基準のデータは、取得ステップと同じ方法で正規化されたデータであってもよい。
【0214】
これにより、情報処理装置は、取得ステップで取得される被写体の人の動作を表すデータに対する、被写体の人の身体的な大きさの影響を抑制することができる。そのため、情報処理装置は、所定のイベントのタイミングをより適切に推定することができる。
【0215】
また、本実施形態では、取得ステップでは、被写体の人の身長に相当する画像上の距離、被写体の人の所定の身体部位の長さに相当する画像上の距離、又は所定の動作に使用される道具の長さに相当する画像上の距離によって正規化されたデータであってもよい。そして、基準のデータは、取得ステップと同じ方法で正規化されたデータであってもよい。
【0216】
これにより、情報処理装置は、取得ステップで取得される被写体の人の動作を表すデータに対する、被写体の人の身体的な大きさや画像の中での被写体の人の大きさの影響を抑制することができる。そのため、情報処理装置は、所定のイベントのタイミングをより適切に推定することができる。
【0217】
また、本実施形態では、取得ステップでは、複数の種類のデータを取得してもよい。そして、推定ステップでは、複数の種類のデータの間での相対的な重みづけを考慮して、複数の種類のデータと、複数の種類のデータに対応する複数の種類の基準のデータとの類似度に基づき、動画像における所定のイベントのタイミングを推定してもよい。
【0218】
これにより、情報処理装置は、例えば、複数の種類のデータの間での重要度の大小やスケールの大小に応じて、複数の種類のデータの間での重みづけを設定して、複数の種類のデータと、複数の種類の基準データとの類似度を取得することができる。そのため、情報処理装置は、重要度の小さいデータやスケールの大きいデータの影響を抑制することができ、その結果、動画像における所定のイベントのタイミングをより適切に推定することができる。
【0219】
また、本実施形態では、所定のイベントは、複数あってよい。そして、複数の種類のデータの間での重みづけのパターンは、複数の所定のイベントごとに異なっていてもよい。
【0220】
これにより、例えば、複数の所定のイベントごとに、複数の種類のデータの中での重要度の大小が変化しうるところ、情報処理装置は、複数の所定のイベントごとに、対象のイベントの重要度の大小に応じて、重みづけのパターンを異ならせることができる。そのため、情報処理装置は、複数の所定のイベントのそれぞれのタイミングをより適切に推定することができる。また、情報処理装置は、複数の所定のイベントについて、複数の種類、且つ、全てが同じ種類のデータを用いることができる。そのため、情報処理装置は、例えば、同じ種類のデータを利用する前提の下で、重みづけのパラメータのみを変更することにより、動画像における複数の所定のイベントのそれぞれのタイミングを推定することができる。よって、情報処理装置の処理の複雑化を抑制し、動画像における所定のイベントのタイミングを推定するためのソフトウェア（プログラム）の複数の所定のイベントの間での共通化を図ることができる。
【0221】
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0222】
１ スイング診断システム
１００ カメラ
２００ ユーザ端末
３００ 情報処理装置
２００１ アプリ画面表示処理部
２００２ 動画像データ取得部
２００３ 動画像データ送信部
２００４ 診断結果データ取得部
２００５ 推定結果データ取得部
２００６ イベントタイミング編集部
２００７ 編集結果データ送信部
３００１ 動画像データ取得部
３００１Ａ 動画像データ記憶部
３００２ 特徴点抽出部
３００２Ａ 特徴点データ記憶部
３００３ 動作データ取得部
３００３Ａ 動作データ記憶部
３００４ 類似度取得部
３００４Ａ 類似度データ記憶部
３００４Ｘ 基準動作データ記憶部
３００５ イベントタイミング推定部
３００５Ａ イベントタイミングデータ記憶部
３００６ スイング診断部
３００７ 推定結果データ送信部
３００８ 編集結果データ取得部
３００８Ａ 編集結果データ記憶部
３００９ イベントタイミング修正部
１００ カメラ
２００ ユーザ端末
３００ 情報処理装置
２００１ アプリ画面表示処理部
２００２ 動画像データ取得部
２００３ 動画像データ送信部
２００４ 診断結果データ取得部
２００５ 推定結果データ取得部
２００６ イベントタイミング編集部
２００７ 編集結果データ送信部
３００１ 動画像データ取得部
３００１Ａ 動画像データ記憶部
３００２ 特徴点抽出部
３００２Ａ 特徴点データ記憶部
３００３ 動作データ取得部
３００３Ａ 動作データ記憶部
３００４ 類似度取得部
３００４Ａ 類似度データ記憶部
３００４Ｘ 基準動作データ記憶部
３００５ イベントタイミング推定部
３００５Ａ イベントタイミングデータ記憶部
３００６ スイング診断部
３００７ 推定結果データ送信部
３００８ 編集結果データ取得部
３００８Ａ 編集結果データ記憶部
３００９ イベントタイミング修正部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】