特許 7328377 ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-07

(45)【発行日】2023-08-16

(54)【発明の名称】ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム

(51)【国際特許分類】

   A63B 69/36 20060101AFI20230808BHJP

   A63B 71/06 20060101ALI20230808BHJP

   G06T 7/20 20170101ALI20230808BHJP

【ＦＩ】

A63B69/36 541W

A63B71/06 U

G06T7/20 300Z

【請求項の数】 9

(21)【出願番号】P 2022003593

(22)【出願日】2022-01-13

(62)【分割の表示】P 2020219616の分割

【原出願日】2020-12-28

(65)【公開番号】P2022104634

(43)【公開日】2022-07-08

【審査請求日】2022-01-13

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】渡辺 哲

(72)【発明者】

【氏名】岩屋 竜志

(72)【発明者】

【氏名】桑原 理宏

(72)【発明者】

【氏名】梅村 拓未

(72)【発明者】

【氏名】嶋田 洋輔

【審査官】佐々木 祐

(56)【参考文献】

【文献】特開２０１７－１７４０９４（ＪＰ，Ａ）

【文献】特開２０１６－１２６５０９（ＪＰ，Ａ）

【文献】特開２０１０－０８２４３０（ＪＰ，Ａ）

【文献】特許第６７６３５５９（ＪＰ，Ｂ１）

【文献】特開２０１７－０２３５０６（ＪＰ，Ａ）

【文献】特開２０１２－１１０５９４（ＪＰ，Ａ）

【文献】特開２０１７－１８９４９０（ＪＰ，Ａ）

【文献】特開２０１３－１３８７４２（ＪＰ，Ａ）

【文献】特開２０１６－１０４２０４（ＪＰ，Ａ）

【文献】特開２０１６－１１６６１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ６９／００ － ６９／４０

Ａ６３Ｂ ７１／００ － ７１／１６

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

ゴルフのスイングをしているプレイヤをボールの目標方向後方から見た様子が写る撮影動画像を取得する撮影動画像取得手段と、
前記撮影動画像に基づいて特定される、前記撮影動画像の二次元画像座標系で表現された、アドレス時における前記プレイヤの肩又は首筋の位置とスイングされる前のボールの位置とを結ぶ線と、前記撮影動画像の二次元画像座標系で表現された所与の線と、のなす角度である、第１の基準角度を特定する基準角度特定手段と、
前記撮影動画像に基づいて、前記撮影動画像の二次元画像座標系で表現された、前記撮影動画像に写るクラブヘッドの振り下ろし方向に沿った線と、前記撮影動画像の二次元画像座標系で表現された前記所与の線と、のなす角度である振り下ろし角度を特定する振り下ろし角度特定手段と、
前記第１の基準角度を表す線、及び、前記第１の基準角度と前記振り下ろし角度との比較結果に基づいて特定される前記スイングにおけるスイング軌道の種類を示す情報が前記撮影動画像に重畳された解析動画像を生成する解析動画像生成手段と、
を含むことを特徴とするゴルフスイング解析システム。

【請求項2】

前記撮影動画像に基づいて、前記撮影動画像に写るボールの弾道を特定するボール弾道特定手段、をさらに含む、
ことを特徴とする請求項１に記載のゴルフスイング解析システム。

【請求項3】

前記基準角度特定手段は、前記弾道に基づいて特定される、スイングされる前のボールの位置に基づいて、前記第１の基準角度を特定する、
ことを特徴とする請求項２に記載のゴルフスイング解析システム。

【請求項4】

前記基準角度特定手段は、アドレス時におけるシャフトの位置に基づいて、第２の基準角度を特定し、
前記解析動画像生成手段は、前記第１の基準角度を表す線を上辺とし、前記第２の基準角度を表す線を下辺とする画像が前記撮影動画像に重畳された前記解析動画像を生成する、
ことを特徴とする請求項１から３のいずれか一項に記載のゴルフスイング解析システム。

【請求項5】

前記基準角度特定手段は、前記プレイヤの腰の位置と、スイングされる前のボールの位置とに基づいて、第２の基準角度を特定し、
前記解析動画像生成手段は、前記第１の基準角度を表す線を上辺とし、前記第２の基準角度を表す線を下辺とする画像が前記撮影動画像に重畳された前記解析動画像を生成し、
前記第１の基準角度を表す線と前記第２の基準角度を表す線とは、前記ボールの位置を通る、
ことを特徴とする請求項１から３のいずれか一項に記載のゴルフスイング解析システム。

【請求項6】

前記撮影動画像に基づいて、前記撮影動画像に写るクラブヘッドの軌道を特定するクラブヘッド軌道特定手段、をさらに含み、
前記解析動画像生成手段は、前記クラブヘッドの軌道に応じた帯状の画像が前記撮影動画像に重畳された前記解析動画像を生成する、
ことを特徴とする請求項１から５のいずれか一項に記載のゴルフスイング解析システム。

【請求項7】

前記解析動画像生成手段は、前記ボールの弾道に応じた帯状の画像が前記撮影動画像に重畳された前記解析動画像を生成する、
ことを特徴とする請求項２又は３に記載のゴルフスイング解析システム。

【請求項8】

撮影動画像取得手段が、ゴルフのスイングをしているプレイヤをボールの目標方向後方から見た様子が写る撮影動画像を取得するステップと、
基準角度特定手段が、前記撮影動画像に基づいて特定される、前記撮影動画像の二次元画像座標系で表現された、アドレス時における前記プレイヤの肩又は首筋の位置とスイングされる前のボールの位置とを結ぶ線と、前記撮影動画像の二次元画像座標系で表現された所与の線と、のなす角度である、第１の基準角度を特定するステップと、
振り下ろし角度特定手段が、前記撮影動画像に基づいて、前記撮影動画像の二次元画像座標系で表現された、前記撮影動画像に写るクラブヘッドの振り下ろし方向に沿った線と、前記撮影動画像の二次元画像座標系で表現された前記所与の線と、のなす角度である振り下ろし角度を特定するステップと、
解析動画像生成手段が、前記第１の基準角度を表す線、及び、前記第１の基準角度と前記振り下ろし角度との比較結果に基づいて特定される前記スイングにおけるスイング軌道の種類を示す情報が前記撮影動画像に重畳された解析動画像を生成するステップと、
を含むことを特徴とするゴルフスイング解析方法。

【請求項9】

ゴルフのスイングをしているプレイヤをボールの目標方向後方から見た様子が写る撮影動画像を取得する手順、
前記撮影動画像に基づいて特定される、前記撮影動画像の二次元画像座標系で表現された、アドレス時における前記プレイヤの肩又は首筋の位置とスイングされる前のボールの位置とを結ぶ線と、前記撮影動画像の二次元画像座標系で表現された所与の線と、のなす角度である、第１の基準角度を特定する手順、
前記撮影動画像に基づいて、前記撮影動画像の二次元画像座標系で表現された、前記撮影動画像に写るクラブヘッドの振り下ろし方向に沿った線と、前記撮影動画像の二次元画像座標系で表現された前記所与の線と、のなす角度である振り下ろし角度を特定する手順、
前記第１の基準角度を表す線、及び、前記第１の基準角度と前記振り下ろし角度との比較結果に基づいて特定される前記スイングにおけるスイング軌道の種類を示す情報が前記撮影動画像に重畳された解析動画像を生成する手順、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、ゴルフのスイングを行ったプレイヤの両肩の傾き、手首の位置、スタンスの中心位置、スタンスの幅、スイングプレーン角度等の要素で生成されたヒストグラムを表示する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１８６１６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術を用いても、適正なスイングプレーン角度の範囲などといったゴルフに関する知識を持たない一般的なプレイヤは、正しくスイングできたのか否かを把握することができない。

【0005】

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、正しくスイングできたのか否かをプレイヤが容易に把握できるゴルフスイング解析システム、ゴルフスイング解析方法及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本発明に係るゴルフスイング解析システムは、ゴルフのスイングをしているプレイヤをボールの目標方向後方から見た様子が写る撮影動画像を取得する撮影動画像取得手段と、前記撮影動画像に基づいて特定される、アドレス時における前記プレイヤの所定の体の部位の位置とスイングされる前のボールの位置とに基づいて、第１の基準角度を特定する基準角度特定手段と、前記第１の基準角度を表す線が前記撮影動画像に重畳された解析動画像を生成する解析動画像生成手段と、を含む。

【0007】

本発明の一態様では、前記撮影動画像に基づいて、前記撮影動画像に写るボールの弾道を特定するボール弾道特定手段、をさらに含む。

【0008】

この態様では、前記基準角度特定手段は、前記弾道に基づいて特定される、スイングされる前のボールの位置に基づいて、前記第１の基準角度を特定してもよい。

【0009】

また、本発明の一態様では、前記所定の体の部位は、肩である。

【0010】

また、本発明の一態様では、前記基準角度特定手段は、アドレス時におけるシャフトの位置に基づいて、第２の基準角度を特定し、前記解析動画像生成手段は、前記第１の基準角度を表す線を上辺とし、前記第２の基準角度を表す線を下辺とする画像が前記撮影動画像に重畳された前記解析動画像を生成する。

【0011】

この態様では、前記第１の基準角度を表す線と前記第２の基準角度を表す線とは、前記ボールの位置を通ってもよい。

【0012】

また、本発明の一態様では、前記撮影動画像に基づいて、前記撮影動画像に写るクラブヘッドの軌道を特定するクラブヘッド軌道特定手段、をさらに含み、前記解析動画像生成手段は、前記クラブヘッドの軌道に応じた帯状の画像が前記撮影動画像に重畳された前記解析動画像を生成する。

【0013】

また、前記解析動画像生成手段は、前記ボールの弾道に応じた帯状の画像が前記撮影動画像に重畳された前記解析動画像を生成してもよい。

【0014】

また、本発明に係るゴルフスイング解析方法は、ゴルフのスイングをしているプレイヤをボールの目標方向後方から見た様子が写る撮影動画像を取得するステップと、前記撮影動画像に基づいて特定される、アドレス時における前記プレイヤの所定の体の部位の位置とスイングされる前のボールの位置とに基づいて、第１の基準角度を特定するステップと、前記第１の基準角度を表す線が前記撮影動画像に重畳された解析動画像を生成するステップと、を含む。

【0015】

また、本発明に係るプログラムは、ゴルフのスイングをしているプレイヤをボールの目標方向後方から見た様子が写る撮影動画像を取得する手順、前記撮影動画像に基づいて特定される、アドレス時における前記プレイヤの所定の体の部位の位置とスイングされる前のボールの位置とに基づいて、第１の基準角度を特定する手順、前記第１の基準角度を表す線が前記撮影動画像に重畳された解析動画像を生成する手順、をコンピュータに実行させる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係るユーザ端末の構成の一例を示す図である。

【図2】解析動画像に含まれるフレーム画像の一例を示す図である。

【図3】本発明の一実施形態に係るユーザ端末の機能の一例を示す機能ブロック図である。

【図4】プレイヤ領域の一例を示す図である。

【図5】比較結果画像の一例を示す図である。

【図6】起点領域の一例を示す図である。

【図7】候補ボール位置の一例を示す図である。

【図8】弾道リスト候補の一例を示す図である。

【図9】候補ボール位置の一例を示す図である。

【図10】弾道リスト候補の一例を示す図である。

【図11】候補ボール位置の一例を示す図である。

【図12】弾道リスト候補の一例を示す図である。

【図13】トップ位置フレーム画像の一例を示す図である。

【図14】インパクトフレーム画像の一例を示す図である。

【図15】左右角度絶対値と曲がり角度絶対値の一例について説明する説明図である。

【図16】ヘッド検出領域の一例を示す図である。

【図17】クラブパス角度の一例を示す図である。

【図18】打ち出し角度の一例を示す図である。

【図19】基準角度の一例を示す図である。

【図20】振り下ろし角度の一例を示す図である。

【図21】インパクト画像のバリエーションの一例を示す図である。

【図22】本発明の一実施形態に係るユーザ端末で行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態について図面に基づき詳細に説明する。

【0018】

図１は、本発明の一実施形態に係るユーザ端末１０の構成の一例を示す図である。

【0019】

本実施形態に係るユーザ端末１０は、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）などのコンピュータである。図１に示すように、本実施形態に係るユーザ端末１０は、プロセッサ２０、記憶部２２、通信部２４、タッチパネル２６、カメラ部２８、センサ部３０を含む。

【0020】

プロセッサ２０は、例えば、ユーザ端末１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子や、ソリッドステートドライブ（ＳＳＤ）などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。通信部２４は、例えば、有線通信又は無線通信用の通信インタフェースであり、インターネット等のコンピュータネットワークを介して、サーバ等のコンピュータとの間でデータを授受する。

【0021】

タッチパネル２６は、例えば、プロセッサ２０から入力される指示に従って情報を表示出力したり、ユーザが行った操作の内容をプロセッサ２０に出力したりする。

【0022】

カメラ部２８は、例えば、動画像の撮影が可能なデジタルビデオカメラなどの撮影デバイスである。

【0023】

センサ部３０は、例えば、ＧＰＳモジュール、加速度センサ、モーションセンサなどのセンシングデバイスである。なお、本実施形態では、センサ部３０がユーザ端末１０に含まれる場合を説明するが、センサ部３０は、ユーザ端末１０の外部にあってもよい。

【0024】

本実施形態では例えば、ユーザ端末１０を操作するユーザ（以下、操作ユーザと呼ぶ。）が、ゴルフ場やゴルフ練習場で、ユーザ端末１０のカメラ部２８を用いて、ゴルフのスイングをしているプレイヤを撮影する。そして、当該スイングをしているプレイヤが写る動画像が生成される。

【0025】

なお、本実施形態では、スイングの撮影に先立って、カメラ部２８の位置に対するプレイヤの位置が所定の許容範囲内の位置となり、撮影方向に対するプレイヤの向きが所定の許容範囲内の向きとなるよう、ユーザ端末１０の位置及び傾きの調整が行われる。そして、本実施形態では、ユーザ端末１０の調整が行われた後で、操作ユーザが所定の操作を行うと、カメラ部２８によるプレイヤの撮影が行われ、当該スイングをしているプレイヤが写る動画像が生成される。本実施形態では、所定のフレームレート（例えば６０ｆｐｓ）の動画像が生成されることとする。

【0026】

そして、本実施形態では、このようにして生成された動画像に対して、手ブレ補正処理を実行することで、すべてのフレーム画像においてプレイヤが概ね同じ位置に写るように各フレーム画像が補正される。以下、当該手ブレ補正処理が実行された動画像を、撮影動画像と呼ぶこととする。本実施形態では、生成される撮影動画像に含まれるフレーム画像の縦横画素数はすべて同じであることとする。

【0027】

以下、フレーム番号がｎ（ｎ＝１，２，３，・・・）であるフレーム画像を、フレーム画像（ｎ）と表現することとする。また、フレーム画像（ｎ）に対応するフレームを第ｎフレームと表現することとする。

【0028】

そして、本実施形態では、撮影動画像に対してスイング解析処理が行われる。そして、当該スイング解析処理の結果を示す画像が撮影動画像に対して重畳された解析動画像が生成される。そして生成された解析動画像がユーザ端末１０の記憶部２２に記憶される。

【0029】

そして、例えば上述のプレイヤや操作ユーザなどといったユーザ端末１０のユーザは、適宜、所定の操作を行うことで、記憶部２２に記憶された解析動画像を再生させることができるようになっている。

【0030】

図２は、再生される解析動画像に含まれる、フィニッシュ時のフレーム画像の一例を示す図である。図２に示すフレーム画像には、プレイヤ４０を撮影した撮影動画像に含まれるフレーム画像に、クラブヘッドの軌道を表すクラブヘッド軌道エフェクト画像４２、及び、ボールの軌道を表すボール軌道エフェクト画像４４が重畳されている。

【0031】

また、図２に示すフレーム画像の右上には、解析結果情報４６が配置されている。図２の例では、解析結果情報４６として、ボールスピード、飛距離、及び、アウトサイドイン、インサイドイン、インサイドアウトなどといったスイング軌道の種類を示す文字列が配置されている。

【0032】

また、図２に示すフレーム画像の左下には、クラブヘッドの軌道、インパクトの際のクラブのフェースの向き、及び、ボールの曲がり方向が表現された、インパクト画像４８が配置されている。

【0033】

図２に示すインパクト画像４８には、ヘッド移動方向画像５０、フェース向き画像５２、及び、ボール方向画像５４が含まれている。ヘッド移動方向画像５０は、例えば、インパクトの際のクラブヘッドの移動方向を示す画像であり、図２の例では、矢印が並ぶ方向がインパクトの際のクラブヘッドの移動方向に相当する。フェース向き画像５２は、例えば、インパクトの際のクラブのフェースの向きを示す画像であり、図２の例では、フェース向き画像５２は、線上の画像であり、フェース向き画像５２の延伸方向がインパクトの際のクラブのフェースの向きに相当する。ボール方向画像５４は、例えば、ボールの飛び出し方向及び曲がり方向を示す画像である。本実施形態に係るボール方向画像５４では、線上のフェース向き画像５２の延伸方向に対して垂直な方向がボールの飛び出し方向として示されている。

【0034】

また、図２に示すフレーム画像には、ダウンスイングの際にクラブヘッドの軌道が通ることが望ましいとされているＶゾーンを示すＶゾーン画像５６が含まれている。

【0035】

以上のようにして、本実施形態によれば、ユーザ端末１０のユーザは、プレイヤが行ったゴルフスイングの解析結果を確認できることとなる。

【0036】

以下、上述のスイング解析処理を中心に、本実施形態に係るユーザ端末１０の機能、及び、本実施形態に係るユーザ端末１０で実行される処理についてさらに説明する。

【0037】

図３は、本実施形態に係るユーザ端末１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るユーザ端末１０で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。

【0038】

本実施形態に係るユーザ端末１０は、ゴルフのスイングを解析するスイング解析システムとしての機能を有する。そして、図３に示すように、本実施形態に係るユーザ端末１０には、機能的には例えば、撮影動画像取得部７０、プレイヤ領域特定部７２、比較結果画像生成部７４、起点領域特定部７６、ボール弾道特定部７８、飛距離算出部８０、クラブヘッド軌道特定部８２、打ち出し方向特定部８４、スイング軌道種類特定部８６、曲がり方向判定部８８、解析動画像生成部９０、解析動画像記憶部９２、表示制御部９４、が含まれる。

【0039】

撮影動画像取得部７０、プレイヤ領域特定部７２、比較結果画像生成部７４、起点領域特定部７６、ボール弾道特定部７８、飛距離算出部８０、クラブヘッド軌道特定部８２、打ち出し方向特定部８４、スイング軌道種類特定部８６、曲がり方向判定部８８、解析動画像生成部９０は、プロセッサ２０を主として実装される。解析動画像記憶部９２は、記憶部２２を主として実装される。表示制御部９４は、プロセッサ２０及びタッチパネル２６を主として実装される。

【0040】

以上の機能は、コンピュータであるユーザ端末１０にインストールされた、以上の機能に対応する指令を含むプログラムをユーザ端末１０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してユーザ端末１０に供給されてもよい。

【0041】

撮影動画像取得部７０は、本実施形態では例えば、ゴルフのスイングをしているプレイヤ４０が写る撮影動画像を取得する。ここで上述のように、手振れ補正処理が実行された後の撮影動画像が取得されてもよい。

【0042】

また、図２に示すように、撮影動画像は、プレイヤ４０を一方向から撮影した動画像であってもよい。また、撮影動画像は、プレイヤ４０をボールの目標方向後方から見た様子が写る動画像であってもよい。

【0043】

上述のように、本実施形態では、所定のフレームレート（例えば、６０ｆｐｓ）で撮影された撮影動画像が取得されることとする。

【0044】

プレイヤ領域特定部７２は、本実施形態では例えば、撮影動画像に含まれるフレーム画像内において、プレイヤ４０が写る領域である、図４に例示されているプレイヤ領域９６を特定する。

【0045】

ここで例えば、本実施形態に係るユーザ端末１０に、ＯｐｅｎＰｏｓｅ等の学習済の機械学習モデルがインストールされていてもよい。そして、プレイヤ領域特定部７２は、当該学習済の機械学習モデルを用いることで、フレーム画像内における、プレイヤ４０の骨格（ボーン）を表すスケルトンモデル９８のノードやリンクの位置を特定してもよい。図４に示されているスケルトンモデル９８に含まれる複数のノードの位置は、それぞれ、例えば、肩や腰などといったプレイヤ４０の体の部位の位置に対応付けられる。

【0046】

プレイヤ領域特定部７２は、スケルトンモデル９８に基づいて位置、形状、及び、大きさが特定される矩形領域をプレイヤ領域９６として特定してもよい。例えば、スケルトンモデル９８に外接する矩形領域を、中心の位置を変えずに所定の倍率で拡大した領域が、プレイヤ領域９６として特定されてもよい。

【0047】

ここで、代表となる１つのフレーム画像に基づいてプレイヤ領域９６が特定されてもよい。また、複数のフレーム画像に基づいてプレイヤ領域９６が特定されてもよい。この場合、複数のフレーム画像について特定される矩形領域の共通領域や平均的な領域などといった、複数のフレーム画像について特定される矩形領域を代表する領域が、プレイヤ領域９６として特定されてもよい。

【0048】

また、プレイヤ以外の人物が撮影動画像に写りこんでいる場合などにおいて、プレイヤ領域９６の候補が複数特定されることがある。この場合は、領域のサイズ、フレーム画像の中心からの距離、領域の高さと幅の比率、等の、所与の条件に基づいて、いずれか１つの候補がプレイヤ領域９６として特定されてもよい。

【0049】

比較結果画像生成部７４は、本実施形態では例えば、撮影動画像に基づいて、画像差分法などを用いることで、図５に例示されている比較結果画像を生成する。

【0050】

本実施形態では、撮影動画像に含まれる複数のフレーム画像のそれぞれについて、当該フレーム画像に対応付けられる比較結果画像が生成される。例えば、フレーム画像（ｎ）については、対応する比較結果画像として比較結果画像（ｎ）が生成される。

【0051】

比較結果画像生成部７４は、例えば、連続する所定数のフレーム画像（例えば、２０フレーム）のフレーム画像を平滑化することで、比較画像を生成してもよい。例えば、撮影動画像に含まれるフレーム画像（ｎ－２０）からフレーム画像（ｎ－１）までの２０のフレーム画像を平滑化することで、比較画像（ｎ）が生成されてもよい。例えば、各画素について、フレーム画像（ｎ－２０）からフレーム画像（ｎ－１）までのフレーム画像における当該画素に対応する画素の画素値の平均値が、当該画素の画素値に設定された、比較画像（ｎ）が生成されてもよい。

【0052】

そして、比較結果画像生成部７４は、互いに対応付けられる各画素について、上述の所定数のフレーム画像の次のフレーム画像であるフレーム画像（ｎ）での画素値と上述の比較対象画像（ｎ）での画素値との差を算出する。そして、比較結果画像生成部７４は、各画素についてフレーム画像（ｎ）と比較対象画像（ｎ）の画素値の差が所定値以上であるか否かを示す、比較結果画像（ｎ）を生成する。図５に示す比較結果画像では、画素値の差が所定値以上である画素は白で表現され、所定値未満である画素は黒で表現されている。以下、画素値の差が所定値以上である画素、すなわち、図５に示す比較結果画像において白で表現されている画素を、変化画素と呼ぶこととする。

【0053】

なお、本実施形態では、上述のように２０個のフレーム画像に基づいて比較画像が生成される場合は、フレーム画像（２１）以降のフレーム画像について、当該フレーム画像に対応付けられる比較結果画像が生成される。

【0054】

起点領域特定部７６は、本実施形態では例えば、図６に例示されている、後述するボール弾道特定部７８によるボールの弾道の特定で用いられる起点領域１００を特定する。

【0055】

本実施形態に係る起点領域１００は、例えば、プレイヤ領域９６に基づいて一意に特定される矩形領域である。ここで例えば、起点領域１００の左辺の位置はフレーム画像の左辺の位置と同じ位置であり、起点領域１００の右辺の位置はフレーム画像の右辺の位置と同じ位置であってもよい。また、起点領域１００の上辺の位置は、プレイヤ領域９６の上辺からプレイヤ領域９６の上下方向の長さの３０％だけ下にある位置であってもよい。また、起点領域１００の下辺の位置は、プレイヤ領域９６の下辺の位置と同じ位置あるいはプレイヤ４０の足元を通る位置であってもよい。なお、この方法は起点領域１００の特定方法の一例にすぎず、他の方法により起点領域１００が特定されてもよい。

【0056】

ボール弾道特定部７８は、本実施形態では例えば、撮影動画像に基づいて、当該撮影動画像に写るボールの弾道を特定する。

【0057】

本実施形態では、ボールの弾道は、撮影動画像に含まれる複数のフレーム画像についての、当該フレーム画像内においてボールが写る位置を互いに関連付けたリストとして特定される。以下、当該リストを弾道リストと呼ぶこととする。

【0058】

以下、ボール弾道特定部７８によるボールの弾道の特定処理の一例について、図７～図１２を参照しながら説明する。

【0059】

上述のように、フレーム画像（２１）以降のフレーム画像について、当該フレーム画像に対応付けられる比較結果画像が生成されるとする。この場合、比較結果画像（２１）以降の比較結果画像について、所定の画素数の範囲であり、所定の領域内にある、変化画素の画素塊が少なくとも１つ特定される。そして、これらの画素塊について、代表点（例えば中心）の位置が候補ボール位置として特定される。

【0060】

ここでは例えば、比較結果画像（ｎ－１）までについては、候補ボール位置が特定されず、比較結果画像（ｎ）において、図７に示す３つの候補ボール位置（Ｐ（ｎ，ａ）、Ｐ（ｎ，ｂ）、及び、Ｐ（ｎ，ｃ））が特定されたとする。

【0061】

すると、弾道リストの候補（以下、弾道リスト候補と呼ぶ。）の最初の要素となる候補ボール位置の絞り込みが行われる。例えば、起点領域１００の外である候補ボール位置は、候補ボール位置から除外される。このようにして、Ｐ（ｎ，ａ）は最初の要素となる候補ボール位置から除外され、Ｐ（ｎ，ｂ）、及び、Ｐ（ｎ，ｃ）が最初の要素となる候補ボール位置として絞り込まれる。

【0062】

この場合、図８に示すように、それぞれ要素が１つである、Ｐ（ｎ，ｂ）、及び、Ｐ（ｎ，ｃ）が弾道リスト候補として特定される。

【0063】

そして、比較結果画像（ｎ＋１）において、図９に示す３つの候補ボール位置（Ｐ（ｎ＋１，ａ）、Ｐ（ｎ＋１，ｂ）、及び、Ｐ（ｎ＋１，ｃ））が特定されたとする。

【0064】

なお、図９には、これらの候補ボール位置の他に、候補ボール位置から除外されていないＰ（ｎ，ｂ）、及び、Ｐ（ｎ，ｃ）が示されている。

【0065】

この場合、起点領域１００の外であるＰ（ｎ＋１，ａ）が、最初の要素となる候補ボール位置から除外される。一方で、Ｐ（ｎ＋１，ｂ）、及び、Ｐ（ｎ＋１，ｃ）が最初の要素となる候補ボール位置として絞り込まれる。

【0066】

また、弾道リスト候補が既に存在する状況では、既に存在する弾道リスト候補に関連付けられる候補ボール位置の特定も行われる。

【0067】

例えば、Ｐ（ｎ＋１，ａ）、Ｐ（ｎ＋１，ｂ）、及び、Ｐ（ｎ＋１，ｃ）のうちから、Ｐ（ｎ，ｂ）に関連付けられる候補ボール位置が特定される。例えば、Ｐ（ｎ，ｂ）からの長さが所定長よりも長い、Ｐ（ｎ，ｂ）からの長さが所定長よりも短い、Ｐ（ｎ，ｂ）よりも位置が下である、などの所定の条件を満足するものについては、Ｐ（ｎ，ｂ）に関連付けられる候補ボール位置から除外される。例えば、Ｐ（ｎ＋１，ｃ）は、Ｐ（ｎ，ｂ）よりも位置が下であるため、候補ボール位置から除外される。そして、Ｐ（ｎ＋１，ａ）、及び、Ｐ（ｎ＋１，ｂ）がＰ（ｎ，ｂ）に関連付けられる候補ボール位置として絞り込まれる。

【0068】

同様にして、Ｐ（ｎ＋１，ａ）、Ｐ（ｎ＋１，ｂ）、及び、Ｐ（ｎ＋１，ｃ）のうちから、Ｐ（ｎ，ｃ）に関連付けられる候補ボール位置が特定される。ここでは例えば、Ｐ（ｎ＋１，ｃ）は、Ｐ（ｎ，ｃ）よりも位置が下であるため、候補ボール位置から除外される。そして、Ｐ（ｎ＋１，ａ）、及び、Ｐ（ｎ＋１，ｂ）がＰ（ｎ，ｃ）に関連付けられる候補ボール位置として絞り込まれる。

【0069】

そして、図１０に示すように、弾道リスト候補が追加される。上述の例では、Ｐ（ｎ＋１，ｂ）、Ｐ（ｎ＋１，ｃ）、Ｐ（ｎ，ｂ）－Ｐ（ｎ＋１，ａ）、Ｐ（ｎ，ｂ）－Ｐ（ｎ＋１，ｂ）、Ｐ（ｎ，ｃ）－Ｐ（ｎ＋１，ａ）、Ｐ（ｎ，ｃ）－Ｐ（ｎ＋１，ｂ）が弾道リスト候補に追加される。図１０には、互いに関連付けられた複数の候補ボール位置を含む弾道候補リストも示されている。例えば、要素Ｐ（ｎ，ｂ）、及び、要素Ｐ（ｎ＋１，ａ）を含む弾道リスト候補が、Ｐ（ｎ，ｂ）－Ｐ（ｎ＋１，ａ）として、図１０に示されている。なお、図８に示されているＰ（ｎ，ｂ）、及び、Ｐ（ｎ，ｃ）についても上書きされずに弾道リスト候補に残される。

【0070】

そして、比較結果画像（ｎ＋２）において、図１１に示す２つの候補ボール位置（Ｐ（ｎ＋２，ａ）、及び、Ｐ（ｎ＋２，ｂ））が特定されたとする。

【0071】

なお、図１１には、これらの候補ボール位置の他に、除外されていない候補ボール位置も示されている。このうちから、起点領域１００の外であるＰ（ｎ＋２，ａ）は最初の要素となる候補ボール位置から除外される。一方で、Ｐ（ｎ＋２，ｂ）が起点の候補ボール位置として絞り込まれる。

【0072】

また、上述のようにして、要素が１つである弾道リスト候補に関連付けられる候補ボール位置の特定が行われる。例えば、Ｐ（ｎ＋２，ｂ）は、Ｐ（ｎ，ｃ）からの長さが所定長よりも短いため、Ｐ（ｎ，ｃ）に関連付けられる候補ボール位置から除外される。また、Ｐ（ｎ＋２，ａ）は、Ｐ（ｎ＋１，ｃ）からの長さが所定長よりも長いため、Ｐ（ｎ＋１，ｃ）に関連付けられる候補ボール位置から除外される。

【0073】

また、ここからは要素が複数である弾道リスト候補に関連付けられる候補ボール位置の特定も行われる。この場合、弾道リスト候補の最後の要素である候補ボール位置からの長さが所定長よりも長い、弾道リスト候補の最後の要素である候補ボール位置からの長さが所定長よりも短い、弾道リスト候補の最後の要素である候補ボール位置よりも位置が下である、などの所定の条件を満足するものについては、弾道リスト候補に関連付けられる候補ボール位置から除外されてもよい。

【0074】

また、これらの条件に加え、例えば、弾道の角度が急変する（所定の角度以上に曲がる）、弾道の速度が急変する（所定の長さ以上短く、あるいは、長くなる）、弾道の方向が変わる（右に向かう弾道が左に向かう、あるいは、左に向かう弾道が右に向かう）などといった、複数の要素を含む弾道リスト候補に関する所定の条件を満足するものについても、弾道リスト候補に関連付けられる候補ボール位置から除外されてもよい。

【0075】

図１１の例では、Ｐ（ｎ＋２，ａ）は、Ｐ（ｎ，ｂ）とＰ（ｎ＋１，ｂ）とを結ぶ弾道に対して、弾道の角度が急変しているため、Ｐ（ｎ，ｂ）－Ｐ（ｎ＋１，ｂ）に関連付けられる候補ボール位置から除外される。また、Ｐ（ｎ＋２，ａ）は、Ｐ（ｎ，ｃ）とＰ（ｎ＋１，ａ）とを結ぶ弾道に対して、弾道の速度が急に遅くなっているため、Ｐ（ｎ，ｃ）－Ｐ（ｎ＋１，ａ）に関連付けられる候補ボール位置から除外される。

【0076】

例えばこのようにして、図１２に示すように、５つの弾道リスト候補が追加される。ここで、Ｐ（ｎ，ｂ）－Ｐ（ｎ＋２，ａ）、Ｐ（ｎ，ｃ）－Ｐ（ｎ＋２，ａ）のように、弾道リスト候補に含まれる、互いに関連付けられた２つの要素のそれぞれに対応するフレームが連続していなくてもよい。ただし、例えば、弾道リスト候補の最後の要素に対応するフレームから所定フレーム数（例えば、４フレーム）以上離れている候補ボール位置については、当該弾道リスト候補に関連付けられる候補ボール位置から除外されるようにしてもよい。

【0077】

以上のようにして、本実施形態では、弾道リスト候補が複数特定されることとなる。そして、これらの弾道リスト候補のうちから、弾道リスト候補に含まれる要素（候補ボール位置）の数が最も多いものが弾道リストとして特定される。以下、特定された弾道リストに含まれる要素である候補ボール位置を、弾道ボール位置と呼ぶこととする。

【0078】

ここで、例えば、他の基準に従って弾道リストが特定されてもよい。例えば、最も直線に近い弾道を表す弾道リスト候補が弾道リストとして特定されてもよい。

【0079】

なお、以上のようにして、通常、インパクト直後の概ね５０フレーム程度について弾道ボール位置が特定されるが、着弾点までのすべてのフレームについての弾道ボール位置は特定されない。

【0080】

そして、ボール弾道特定部７８は、以上のようにして特定された各フレームにおける弾道ボール位置に基づいて、例えば直線推定を行うことで、撮影動画像の画像二次元座標系で表現された、ボールの弾道の軌跡を特定する。

【0081】

そして、特定された軌跡を下方向に延伸して外挿することで、フレーム画像内における上下方向の位置が所定の位置にあるタイミングに相当するフレーム番号を、インパクトのタイミングに相当するフレーム番号として特定する。本実施形態では、例えば、１０３．１９５のように、整数よりも細かい単位でフレーム番号が特定される。以下、このようにして特定されるフレーム番号に対応するフレームをインパクトフレームと呼ぶこととする。

【0082】

そして、ボール弾道特定部７８は、ショットされる前におけるボールの位置（以下、初期位置と呼ぶ。）を特定する。例えば、ボール弾道特定部７８は、インパクトフレームの直前及び直後のフレームにおけるフレーム画像を特定する。例えば、インパクトフレームのフレーム番号が１０３．１９５である場合は、フレーム番号が１０３であるフレームがインパクトフレームの直前のフレームに相当し、フレーム番号が１０４であるフレームがインパクトフレームの直後のフレームに相当する。そしてこの場合、フレーム画像（１０３）がインパクトフレームの直前のフレームにおけるフレーム画像として特定される。また、フレーム画像（１０４）がインパクトフレームの直後のフレームにおけるフレーム画像として特定される。

【0083】

そして、ボール弾道特定部７８は、これら２つのフレーム画像を比較することで、インパクト直前のフレーム画像に存在してインパクト直後のフレーム画像に存在しない物体を検出する。そして、ボール弾道特定部７８は、検出された物体の位置を、初期位置として特定する。

【0084】

なお、このようにして初期位置の特定ができなかった場合は、ボール弾道特定部７８は、アドレス時のフレーム（例えば、第５フレーム）のフレーム画像からシャフトを検出してもよい。そして、ボール弾道特定部７８は、検出されたシャフトを延伸した線と、プレイヤ領域９６の下辺からプレイヤ領域９６の上下方向の長さの１０％だけ上の位置にある左右方向に延伸する線との交点の位置を、初期位置として特定してもよい。

【0085】

比較結果画像に基づいて弾道ボール位置を特定する場合は、置かれた状態で動いていないボールの位置である初期位置は、変化画素とならないため、検出ができない。また、ショット前においてはボールがクラブヘッドで隠れている可能性が高い。このような状況でも、本実施形態では、以上のようにして、初期位置が特定できるようになっている。

【0086】

飛距離算出部８０は、本実施形態では例えば、プレイヤ４０が行ったショットのヘッドスピードや、ボールスピードや、飛距離を算出する。

【0087】

飛距離算出部８０は、例えば、まず、撮影動画像に含まれるフレーム画像のうちから、クラブヘッドが最も左に写るトップ位置フレーム画像と、クラブヘッドが最も右に写るインパクトフレーム画像と、を抽出する。図１３は、トップ位置フレーム画像の一例を示す図である。図１４は、インパクトフレーム画像の一例を示す図である。

【0088】

そして、飛距離算出部８０は、フレーム画像の二次元画像座標系で表現された、トップ位置フレーム画像におけるクラブヘッドの座標値（ｘ，ｙ）と、インパクトフレーム画像におけるヘッドの座標値（ｘ’，ｙ’）と、を特定する。そして、飛距離算出部８０は、座標値（ｘ，ｙ）と座標値（ｘ’，ｙ’）とに基づいて、画像内ヘッド移動距離Ｄ１を算出する。ここでＤ１は、例えば、（ｘ’－ｘ）の二乗と（ｙ’－ｙ）の二乗との和の平方根である。なお、フレーム画像においては、右方向がｘ軸正方向であり、下方向がｙ軸正方向であることとする。

【0089】

そして、飛距離算出部８０は、上述のインパクトフレームのフレーム番号とトップ位置フレーム画像のフレーム番号との差に撮影時間間隔（例えば、１／６０秒）を乗じた値を、ヘッド移動時間Ｔ１（秒）として算出する。

【0090】

そして、飛距離算出部８０は、値Ｄ１を値Ｔ１で割った値を、ヘッドスピードＳ（メートル毎秒）として算出する。

【0091】

そして、飛距離算出部８０は、ヘッドスピードＳに所定の仮ミート率１．２５を乗じた値を、仮ボール初速度Ｖ（メートル毎秒）として算出する。

【0092】

そして、飛距離算出部８０は、仮ボール初速度Ｖに所定の係数４×０．８×１．０９３６を乗じた値を、仮総飛距離Ｄ２（ヤード）として算出する。

【0093】

そして、飛距離算出部８０は、各フレーム画像について、フレーム画像の二次元画像座標系で表現された、当該フレーム画像内における弾道ボール位置の座標値に基づいて、当該フレームにおけるカメラ座標系における上下角度、及び、左右角度を特定する。ここで、フレーム画像（ｎ）についての弾道ボール位置の座標値を（ｘ１（ｎ），ｙ１（ｎ））と表現し、フレーム画像（ｎ）に対応するフレームにおけるカメラ座標系における上下角度をａ１（ｎ）と表現し、左右角度をａ２（ｎ）と表現することとする。ここでカメラ座標系における上下角度とは、所定の方向を基準とした、カメラ部２８からボールを見た際の上下方向の角度を指し、左右角度とは、所定の方向を基準とした、カメラ部２８からボールを見た際の左右方向の角度を指す。

【0094】

本実施形態では上述のように、ユーザ端末１０の位置や傾きの調整が行われているので、ボール位置の二次元座標値と、上下角度及び左右角度とは、１対１で対応付け可能となっている。そのため、本実施形態では例えば、飛距離算出部８０が予め保持している変換式や変換テーブルを示すデータを参照することで、ボール位置の二次元座標値に基づいて、上下角度及び左右角度が一意に特定可能となっている。

【0095】

また、飛距離算出部８０は、同様にして、ボールの初期位置の座標値（ｘ０，ｙ０）に基づいて、カメラ部２８から初期位置にあるボールを見た際の上下角度ａ１’及び左右角度ａ２’を特定する。

【0096】

そして、飛距離算出部８０は、算出された仮総飛距離Ｄ２に基づいて、当該仮総飛距離Ｄ２に対応付けられる、三次元空間内におけるボールの弾道の軌跡を表す放物線を特定する。なお、本実施形態では、仮総飛距離Ｄ２と放物線との形状とは予め対応付けられていることとする。そして、飛距離算出部８０は、上下角度、及び、左右角度に対応する、当該放物線に沿った三次元空間内におけるボールの位置の三次元座標値を算出する。ここで、例えば、フレーム画像（ｎ）に対応するフレームについては、上述の放物線、上下角度ａ１（ｎ）、左右角度ａ２（ｎ）に基づいて、三次元座標値（ｘ２（ｎ），ｙ２（ｎ），ｚ２（ｎ））が算出されることとする。

【0097】

本実施形態では例えば、各フレームについて、ボールの初期位置についての上下角度ａ１’、左右角度ａ２’に対応する三次元座標値を原点とした、ボールの位置の三次元座標値が算出される。

【0098】

ここでも、ユーザ端末１０の位置や傾きの調整が行われていることから、放物線、上下角度、左右角度の組合せと、ボールの位置の三次元座標値とは、１対１で対応付け可能となっている。そのため、本実施形態では例えば、飛距離算出部８０が予め保持している変換式や変換テーブルを示すデータを参照することで、放物線、上下角度、及び、左右角度に基づいて、ボールの位置の三次元座標値が一意に特定可能となっている。

【0099】

そして、飛距離算出部８０は、上述のようにして算出されたボールの位置の三次元座標値のうちの２つを入力として左右角度と仰角とを未知数とする二元方程式を解くことで、当該入力に対応する左右角度と仰角を算出する。

【0100】

飛距離算出部８０は、入力される一対の三次元座標値を様々なパターンで選択して、それぞれのパターンについて、左右角度の値と仰角の値の組合せを算出する。そして、飛距離算出部８０は、様々なパターンについて算出された仰角の値の平均値を、ボールの飛行軌跡全体についての仰角ａ３として決定する。

【0101】

そして、飛距離算出部８０は、各フレームについて、ボールの位置の三次元座標値に基づいて、算出された仰角ａ３を固定値とした際における、左右角度を算出する。

【0102】

そして、飛距離算出部８０は、図１５に示すように、回帰分析によって、左右角度の初期値と最終値（ボールが着弾した際の左右角度）を算出する。ここでは例えば、インパクトにおける左右角度が、左右角度の初期値として算出される。そして、上述の放物線に基づいて特定される着弾点の位置における左右角度が、左右角度の最終値として算出される。

【0103】

そして、飛距離算出部８０は、１．３３．×（１－０．０１×仰角偏差）×ｃｏｓ（左右角度絶対値＋曲がり角度絶対値）との数式によって、ミート率を算出する。

【0104】

ここで、仰角偏差とは、算出された仰角ａ３と値１４との差の絶対値を指す。また、左右角度絶対値とは、左右角度の初期値として算出された値の絶対値を指す。また、曲がり角度絶対値とは、左右角度の最終値として算出された値から左右角度の初期値として算出された値を引いた値の絶対値を指す。

【0105】

そして、飛距離算出部８０は、このようにして算出されたミート率に算出されたヘッドスピードＳを乗じることで、ボール初速度を算出する。

【0106】

そして、算出されたボール初速度に４×０．８×１．０９３６を乗じることで、飛距離（ヤード）を算出する。

【0107】

なお、飛距離等の算出方法は上述の方法には限定されない。

【0108】

クラブヘッド軌道特定部８２は、本実施形態では例えば、撮影動画像に基づいて、当該撮影動画像に写るクラブヘッドの軌道を特定する。

【0109】

クラブヘッド軌道特定部８２は、例えば、まず、図１６に示すヘッド検出領域１０２を特定する。ここで、ヘッド検出領域１０２の位置、形状、大きさは、例えば、予め定められた規則に従って、プレイヤ領域９６の位置、形状、大きさに基づいて一意に特定される。図１６の例では、プレイヤ領域９６と中心の位置が同じで、左右方向の長さが３倍で、上下方向の長さが２倍である領域が、ヘッド検出領域１０２として示されている。

【0110】

そして、クラブヘッド軌道特定部８２は、撮影動画像に含まれる複数のフレーム画像についての当該フレーム画像のヘッド検出領域１０２内においてクラブヘッドが写る位置を特定する。ここで例えば、インパクトフレームまでのフレーム画像について、フレーム画像内においてクラブヘッドが写る領域を特定してもよい。ここでクラブヘッドが写る領域の特定において、上述の比較結果画像が用いられてもよい。例えば、ヘッド検出領域１０２内の、所定の画素数の範囲である変化画素の画素塊に対応する領域が、クラブヘッドが写る領域として特定されてもよい。そして、クラブヘッド軌道特定部８２は、特定された各領域について、当該領域内の代表点（例えば中心）の位置をクラブヘッドが写る位置（以下、クラブヘッド位置と呼ぶ。）として特定してもよい。

【0111】

そして、クラブヘッド軌道特定部８２は、特定された複数のクラブヘッド位置に基づいて、クラブヘッドの軌道を特定してもよい。例えば、クラブヘッド軌道特定部８２は、３次ベジェ曲線計算を利用して、各フレームについて特定されたクラブヘッド位置を補間することで、図１７に例示されている、フレーム間が補間された滑らかな線状のクラブヘッドの移動軌跡Ｌ１を、クラブヘッドの軌道として特定してもよい。

【0112】

また、クラブヘッド軌道特定部８２は、撮影動画像に基づいて、インパクトの際のクラブヘッドの移動方向を特定してもよい。例えば、クラブヘッド軌道特定部８２は、上述のようにして特定されたクラブヘッドの移動軌跡Ｌ１上の、インパクトフレームの直前のフレームにおけるクラブヘッドの位置を特定してもよい。また、クラブヘッド軌道特定部８２は、上述のようにして特定されたクラブヘッドの移動軌跡Ｌ１上の、インパクトフレームの直後のフレームにおけるクラブヘッドの位置を特定してもよい。

【0113】

そして、クラブヘッド軌道特定部８２は、図１７に例示されている、インパクトフレームの直前のフレームにおけるクラブヘッドの位置とインパクトフレームの直後のフレームにおけるクラブヘッドの位置とを結ぶ線Ｌ２を特定してもよい。

【0114】

そして、クラブヘッド軌道特定部８２は、撮影動画像の二次元画像座標系で表現された、所定の基準方向に対する、インパクトの際のクラブヘッドの移動方向の角度を特定してもよい。クラブヘッド軌道特定部８２は、例えば、図１７に示すように、フレーム画像において上下方向に延伸する線Ｌ３とクラブヘッドの移動方向に沿った上述の線Ｌ２とのなす角度をインパクトの際のクラブヘッドの移動方向の角度ａ４として特定してもよい。以下、このようにして特定されるインパクトの際のクラブヘッドの移動方向の角度を、クラブパス角度と呼ぶこととする。なお、本実施形態では、クラブパス角度は、反時計回り方向を正方向とする。すなわち、図１７に示されているクラブパス角度ａ４の値は負となる。

【0115】

打ち出し方向特定部８４は、本実施形態では例えば、撮影動画像に基づいて、当該撮影動画像に写るボールの打ち出し方向を特定する。

【0116】

打ち出し方向特定部８４は、例えば、撮影動画像に含まれる複数のフレーム画像についての当該フレーム画像内においてボールが写る位置に基づいて、打ち出し方向を特定する。ここで例えば、打ち出し方向特定部８４は、ボール弾道特定部７８によって特定されるボールの弾道に基づいて、打ち出し方向を特定してもよい。例えば、ボール弾道特定部７８によって特定された、インパクトフレーム直後の所定数フレーム（例えば５フレーム）における、フレーム画像内における弾道ボール位置に基づいて打ち出し方向が特定されてもよい。例えば、図１８に例示されている、インパクトフレーム直後の所定数フレームにおけるフレーム画像内における弾道ボール位置に沿った近似直線Ｌ４の方向が打ち出し方向として特定されてもよい。

【0117】

また、打ち出し方向特定部８４は、撮影動画像の二次元画像座標系で表現された、所定の基準方向に対する、打ち出し方向の角度を特定してもよい。例えば、図１８に示すように、フレーム画像において上下方向に延伸する線Ｌ３と打ち出し方向に沿った線Ｌ４とのなす角度を打ち出し角度ａ５として特定してもよい。なお、本実施形態では、打ち出し角度は、反時計回り方向を正方向とする。すなわち、図１８に示されている打ち出し角度ａ５の値は正となる。

【0118】

そして、打ち出し方向特定部８４は、特定された打ち出し方向に基づいて、インパクトの際のクラブのフェースの向きを特定する。

【0119】

例えば、打ち出し角度ａ５の絶対値が所定値未満である場合は、フェースの向きはスクエアであると特定されてもよい。また、打ち出し角度ａ５の絶対値が所定値以上であり、打ち出し角度ａ５の値が正である場合は、フェースの向きは閉じている（クローズドである）と特定されてもよい。また、打ち出し角度ａ５の絶対値が所定値以上であり、打ち出し角度ａ５の値が負である場合は、フェースの向きは開いている（オープンである）と特定されてもよい。

【0120】

スイング軌道種類特定部８６は、本実施形態では例えば、プレイヤ４０が行ったスイング軌道の種類を特定する。ここでは例えば、スイング軌道種類特定部８６は、プレイヤ４０が行ったスイングにおけるスイング軌道が、インサイドアウト、インサイドイン、又は、アウトサイドイン、のいずれであるかを特定する。

【0121】

スイング軌道種類特定部８６は、例えば、上述のクラブパス角度ａ４に基づいて、スイング軌道の種類を特定してもよい。

【0122】

例えば、クラブパス角度ａ４の絶対値が所定値未満である場合は、スイング軌道の種類がインサイドインと特定されてもよい。また、クラブパス角度ａ４の絶対値が所定値以上であり、クラブパス角度ａ４の値が正である場合は、スイング軌道の種類がアウトサイドインと特定されてもよい。また、クラブパス角度ａ４の絶対値が所定値以上であり、クラブパス角度ａ４の値が負である場合は、スイング軌道の種類がインサイドアウトと特定されてもよい。

【0123】

スイング軌道種類特定部８６によるスイング軌道の種類の特定方法は、上述の方法に限定されない。

【0124】

例えば、スイング軌道種類特定部８６が、撮影動画像に基づいて、アドレス時のフレーム画像に写るプレイヤ４０の所定の体の部位の位置を特定してもよい。ここで例えば、スイング軌道種類特定部８６が、所定のフレーム番号のフレーム画像（例えば、フレーム画像（５））に写るプレイヤ４０の所定の体の部位の位置を特定してもよい。ここで例えば、プレイヤ領域特定部７２によって特定されたスケルトンモデル９８に示されているプレイヤ４０の肩の位置が特定されてもよい。

【0125】

そして、スイング軌道種類特定部８６が、図１９に示すように、特定される肩の位置Ｑ１とボール弾道特定部７８によって特定される初期位置Ｑ２とを結ぶ線Ｌ５を特定してもよい。

【0126】

また、スイング軌道種類特定部８６が、図１９に示すように、フレーム画像に写るシャフトに沿った線Ｌ６を特定してもよい。

【0127】

ここで、スイング軌道種類特定部８６が、図１９に示されているアドレス時シャフト検知領域１０４、及び、振り上げ時シャフト検知領域１０６を特定してもよい。ここで例えば、アドレス時シャフト検知領域１０４は、例えば、プレイヤ領域９６に基づいて位置及び大きさが一意に特定される、プレイヤ領域９６の右下に位置する領域であってもよい。また、振り上げ時シャフト検知領域１０６は、例えば、プレイヤ領域９６に基づいて位置及び大きさが一意に特定される、プレイヤ領域９６の左上に位置する領域であってもよい。

【0128】

そして、スイング軌道種類特定部８６が、振り上げ時シャフト検知領域１０６内においてシャフトが検出されるフレーム画像を振り上げ時のフレーム画像として特定してもよい。そして、スイング軌道種類特定部８６が、アドレス時シャフト検知領域１０４内の、互いに対応付けられる各画素について、アドレス時のフレーム画像における画素値と振り上げ時のフレーム画像における画素値との差を表すシャフト検知画像を生成してもよい。なおここで、上述のようにして特定される振り上げ時のフレーム画像の代わりに、上述のトップ位置フレーム画像が用いられてもよい。

【0129】

そして、スイング軌道種類特定部８６が、生成されたシャフト検知画像に対して、ハフ変換等の直線検出手法を適用することで、シャフトに沿った線Ｌ６を特定してもよい。

【0130】

そして、スイング軌道種類特定部８６が、撮影動画像に基づいて特定される、アドレス時におけるプレイヤ４０の所定の体の部位の位置又はアドレス時におけるシャフトの位置の少なくとも一方に基づいて、少なくとも１つの基準角度を特定してもよい。

【0131】

ここで、スイング軌道種類特定部８６は、例えば、所定の体の部位の位置に基づいて、第１の基準角度を特定してもよい。また、スイング軌道種類特定部８６は、所定の体の部位の位置とスイングされる前のボールの位置とに基づいて、第１の基準角度を特定してもよい。

【0132】

例えば、スイング軌道種類特定部８６は、図１９に示すように、フレーム画像において左右方向に延伸する線Ｌ７と、肩の位置Ｑ１と初期位置Ｑ２とを結ぶ線Ｌ５と、のなす角度を第１の基準角度ａ６として特定してもよい。

【0133】

また、スイング軌道種類特定部８６は、例えば、アドレス時におけるシャフトの位置に基づいて、第２の基準角度を特定してもよい。

【0134】

例えば、スイング軌道種類特定部８６は、図１９に示すように、フレーム画像において左右方向に延伸する線Ｌ７と、シャフトに沿った線Ｌ６と、のなす角度を第２の基準角度ａ７として特定してもよい。

【0135】

このように、撮影動画像の二次元画像座標系で表現された基準角度が特定されてもよい。

【0136】

また、スイング軌道種類特定部８６は、撮影動画像に基づいて、撮影動画像に写るクラブヘッドの振り下ろし角度を特定してもよい。例えば、スイング軌道種類特定部８６は、例えば、インパクト前の所定数のフレームのフレーム画像に基づいて、振り下ろし角度を特定してもよい。

【0137】

ここで例えば、インパクトフレームの直後のフレームのフレーム番号をｍとする。ここで、第（ｍ－５）フレームから第（ｍ－２）フレームまでの４個のフレームについての、上述のようにして特定されたクラブヘッドの移動軌跡Ｌ１上のクラブヘッドの位置が特定されてもよい。そして、第（ｍ－５）フレームから第（ｍ－４）フレームにおけるクラブヘッドの移動方向、第（ｍ－４）フレームから第（ｍ－３）フレームにおけるクラブヘッドの移動方向、及び、第（ｍ－３）フレームから第（ｍ－２）フレームにおけるクラブヘッドの移動方向、を平均した移動方向を表す線が、図２０に例示されている振り下ろし方向に沿った線Ｌ８として特定されてもよい。

【0138】

あるいは、第（ｍ－５）フレームから第（ｍ－２）フレームまでの４個のフレームについてのクラブヘッドの位置に沿った近似直線が、図２０に例示されている振り下ろし方向に沿った線Ｌ８として特定されてもよい。なお、線Ｌ８の特定に用いられるフレームは、第（ｍ－５）フレームから第（ｍ－２）フレームまでの４個のフレームには限定されない。

【0139】

そして、スイング軌道種類特定部８６は、図２０に示すように、フレーム画像において左右方向に延伸する線Ｌ７と上述の振り下ろし方向に沿った線Ｌ８とのなす角度を振り下ろし角度ａ８として特定してもよい。

【0140】

このように、撮影動画像の二次元画像座標系で表現された振り下ろし角度が特定されてもよい。

【0141】

そして、スイング軌道種類特定部８６は、上述の基準角度と、上述の振り下ろし角度と、を比較してもよい。そして、スイング軌道種類特定部８６は、上述の基準角度と、上述の振り下ろし角度と、の比較結果に基づいて、スイングにおけるスイング軌道の種類を特定してもよい。例えば、スイング軌道種類特定部８６は、第１の基準角度と、第２の基準角度と、振り下ろし角度と、に基づいて、スイングにおけるスイング軌道がインサイドアウト、インサイドイン、又は、アウトサイドインのいずれであるかを特定してもよい。

【0142】

例えば、振り下ろし角度ａ８の値が第１の基準角度ａ６の値よりも大きい場合は、スイング軌道の種類がアウトサイドインと特定されてもよい。この場合は、いわゆるＶゾーンの外側（上側）からクラブが振り下ろされた状況に相当する。

【0143】

また、振り下ろし角度ａ８の値が第２の基準角度ａ７の値以上第１の基準角度ａ６の値以下である場合は、スイング軌道の種類がインサイドインと特定されてもよい。この場合は、いわゆるスイング軌道がＶゾーンの範囲内におさまっている状況に相当する。

【0144】

また、振り下ろし角度ａ８の値が第２の基準角度ａ７の値よりも小さい場合は、スイング軌道の種類がインサイドアウトと特定されてもよい。この場合は、いわゆるＶゾーンの内側（下側）からクラブが振り下ろされた状況に相当する。

【0145】

曲がり方向判定部８８は、本実施形態では例えば、上述のようにして特定されるクラブヘッドの軌道と、上述のようにして特定される打ち出し方向と、に基づいて、打ち出されたボールの曲がり方向を判定する。曲がり方向判定部８８は、クラブヘッドの移動方向と、打ち出し方向と、に基づいて、曲がり方向を判定してもよい。

【0146】

曲がり方向判定部８８は、例えば、符号付きのクラブパス角度ａ４と符号付きの打ち出し角度ａ５との差に基づいて、ボールの曲がり方向を判定する。例えば、符号付きのクラブパス角度ａ４の値と符号付きの打ち出し角度ａ５の値との差が所定値未満である場合は、ボールは曲がっていない（まっすぐ飛んだ）と判定される。また、例えば、符号付きのクラブパス角度ａ４の値と符号付きの打ち出し角度ａ５の値との差が所定値以上であり、符号付きのクラブパス角度ａ４の値よりも符号付きの打ち出し角度ａ５の値の方が大きい場合は、ボールは左に曲がると判定される。また、符号付きのクラブパス角度ａ４の値と符号付きの打ち出し角度ａ５の値との差が所定値以上であり、符号付きのクラブパス角度ａ４の値よりも符号付きの打ち出し角度ａ５の値の方が小さい場合は、ボールは右に曲がると判定される。

【0147】

また、曲がり方向判定部８８は、クラブヘッドの軌道と、打ち出し方向と、に基づいて、打ち出されたボールの曲がり方向及び曲がりの大きさを判定してもよい。例えば、符号付きのクラブパス角度ａ４の値と符号付きの打ち出し角度ａ５の値との差の絶対値が、曲がりの大きさを示す曲がり値として特定されてもよい。また、例えば、符号付きのクラブパス角度ａ４の値と符号付きの打ち出し角度ａ５の値との差の絶対値の大きさに基づいて、例えば、「大」、「中」、「小」などといった、曲がりの大きさを数段階（例えば、３段階）で評価する曲がり評価値が決定されてもよい。

【0148】

解析動画像生成部９０は、本実施形態では例えば、スイング解析処理の結果を示す画像が撮影動画像に対して重畳された解析動画像を生成する。

【0149】

解析動画像生成部９０は、クラブヘッドの軌道、打ち出し方向に基づいて特定されるインパクトの際のクラブのフェースの向き、及び、ボールの曲がり方向が表現された画像が、撮影動画像に重畳された解析動画像を生成してもよい。例えば、図２に示すインパクト画像４８が撮影動画像に含まれるフレーム画像に重畳された解析動画像が生成されてもよい。ここで、スイング軌道種類特定部８６によって特定されるスイング軌道の種類が、クラブヘッドの軌道としてインパクト画像４８に表現されてもよい。

【0150】

図２１は、インパクト画像４８のバリエーションの一例を示す図である。図２１には、スイング軌道の種類とフェースの向きの種類との組合せに応じた、９種類のインパクト画像４８が示されている。

【0151】

なお、図２１に示すインパクト画像４８には、スイング軌道やフェースの向きやボールの曲がり方向の種類が反映されている。なお、インパクト画像４８には、スイング軌道やフェースの向きやボールの曲がり方向の種類だけでなく大きさも反映されていてもよい。

【0152】

例えば、ヘッド移動方向画像５０が示すヘッドの移動方向（矢印が並ぶ方向）と上下方向とのなす角度の大きさが、上述のクラブパス角度ａ４の大きさに応じたものとなっていてもよい。ここで、ヘッド移動方向画像５０が示すヘッドの移動方向と上下方向とのなす角度の大きさは、上述のクラブパス角度ａ４の大きさと同じである必要はない。例えば、ヘッド移動方向画像５０が示すヘッドの移動方向と上下方向とのなす角度が、予め定められた変換規則に従ってクラブパス角度ａ４に基づいて決定される角度であってもよい。

【0153】

また、例えば、ヘッド移動方向画像５０が示すヘッドの移動方向と上下方向とのなす角度が、数段階の角度の大きさのうちから、上述のクラブパス角度ａ４の大きさに基づいて決定される大きさであってもよい。

【0154】

また、例えば、図２に示されている、線状のフェース向き画像５２の延伸方向と左右方向とのなす角度の大きさが、上述の打ち出し角度ａ５に応じたものとなっていてもよい。ここで、フェース向き画像５２の延伸方向と左右方向とのなす角度は、上述の打ち出し角度ａ５の大きさと同じである必要はない。例えば、フェース向き画像５２の延伸方向と左右方向とのなす角度が、予め定められた変換規則に従って打ち出し角度ａ５に基づいて決定される角度であってもよい。

【0155】

また、例えば、線状のフェース向き画像５２の延伸方向と左右方向とのなす角度が、数段階の角度の大きさのうちから、上述の打ち出し角度ａ５の大きさに基づいて決定される大きさであってもよい。

【0156】

また、ボール方向画像５４の曲がりの大きさが、クラブパス角度ａ４の値と打ち出し角度ａ５の値との差の絶対値の大きさに応じたものとなっていてもよい。例えば、クラブパス角度ａ４の値と打ち出し角度ａ５の値との差の絶対値が大きいほど、ボール方向画像５４の曲がりが大きく表現されてもよい。また、例えば、ボール方向画像５４の曲がりの大きさが、上述の曲がり評価値に応じたものとなっていてもよい。

【0157】

また、解析動画像生成部９０は、上述の基準角度を表す線が撮影動画像に重畳された解析動画像を生成してもよい。例えば、解析動画像生成部９０は、上述の第１の基準角度を表す線と上述の第２の基準角度を表す線とが撮影動画像に重畳された解析動画像を生成してもよい。例えば、図２に示すＶゾーン画像５６が撮影動画像に含まれるフレーム画像に重畳された解析動画像が生成されてもよい。図２に示すように、Ｖゾーン画像５６は、三角形の画像であり、上辺が図１９に示されている線Ｌ５に相当し、下辺が図１９に示されている線Ｌ６に相当する。ここで例えば、Ｖゾーン画像５６の上辺及び下辺が上述の初期位置を通るよう、Ｖゾーン画像５６がフレーム画像内に配置されてもよい。

【0158】

また、図２に示すように、解析動画像には、上述のようにして特定されるクラブヘッドの軌道に応じた帯状のクラブヘッド軌道エフェクト画像４２が重畳されていてもよい。また、解析動画像には、上述のようにして特定されるボールの軌道に応じた帯状のボール軌道エフェクト画像４４が重畳されていてもよい。

【0159】

また、図２に示すように、解析動画像には、上述のスイング解析処理による解析結果を示す解析結果情報４６が配置されてもよい。例えば、解析結果情報４６には、飛距離算出部８０により算出される値（ボール初速度や飛距離等）を示す情報や、スイング軌道種類特定部８６によって特定されるスイング軌道の種類を示す情報が含まれていてもよい。

【0160】

そして、解析動画像生成部９０は、本実施形態では例えば、生成される解析動画像を解析動画像記憶部９２に記憶させる。

【0161】

解析動画像記憶部９２は、本実施形態では例えば、解析動画像生成部９０が生成する解析動画像を記憶する。

【0162】

表示制御部９４は、本実施形態では例えば、ユーザ端末１０のユーザからの要求に応じて、解析動画像記憶部９２に記憶されている解析動画像をタッチパネル２６に表示させる。このように、表示制御部９４が、上述の基準角度と、上述の振り下ろし角度と、の比較結果をユーザに通知してもよい。例えば、表示制御部９４が、上述の基準角度と上述の振り下ろし角度との比較結果に基づいて特定されるスイング軌道の種類をユーザに通知してもよい。

【0163】

ここで、本実施形態に係るユーザ端末１０で行われる処理の流れの一例を、図２２に例示するフロー図を参照しながら説明する。

【0164】

まず、撮影動画像取得部７０が、撮影動画像を取得する（Ｓ１０１）。

【0165】

そして、プレイヤ領域特定部７２が、プレイヤ領域９６を特定する（Ｓ１０２）。

【0166】

そして、比較結果画像生成部７４が、Ｓ１０１に示す処理で取得された撮影動画像に基づいて、複数の比較結果画像を生成する（Ｓ１０３）。

【0167】

そして、起点領域特定部７６が、Ｓ１０２に示す処理で特定されたプレイヤ領域９６に基づいて、起点領域１００を特定する（Ｓ１０４）。

【0168】

そして、ボール弾道特定部７８が、Ｓ１０３に示す処理で生成された比較結果画像に基づいて、ボールの弾道を特定する（Ｓ１０５）。

【0169】

そして、飛距離算出部８０が、Ｓ１０１に示す処理で取得された撮影動画像に写るスイングでのショットの飛距離等を算出する（Ｓ１０６）。

【0170】

そして、クラブヘッド軌道特定部８２が、Ｓ１０１に示す処理で取得された撮影動画像に基づいて、クラブヘッドの軌道を特定する（Ｓ１０７）。

【0171】

そして、打ち出し方向特定部８４が、Ｓ１０５に示す処理で特定されたボールの弾道に基づいて、ボールの打ち出し方向を特定する（Ｓ１０８）。

【0172】

そして、スイング軌道種類特定部８６が、Ｓ１０７に示す処理で特定されたクラブヘッドの軌道と、Ｓ１０８に示す処理で特定されたボールの打ち出し方向と、に基づいて、Ｓ１０１に示す処理で取得された撮影動画像に写るスイングにおけるスイング軌道の種類を特定する（Ｓ１０９）。

【0173】

そして、曲がり方向判定部８８が、Ｓ１０７に示す処理で特定されたクラブヘッドの軌道と、Ｓ１０８に示す処理で特定されたボールの打ち出し方向と、に基づいて、当該ショットでのボールの曲がり方向を判定する（Ｓ１１０）。

【0174】

そして、解析動画像生成部９０が、Ｓ１０１に示す処理で取得された撮影動画像と、Ｓ１０５～Ｓ１１０に示す処理の結果と、に基づいて、解析動画像を生成する（Ｓ１１１）。

【0175】

そして、解析動画像生成部９０が、Ｓ１１１に示す処理で生成された解析動画像を解析動画像記憶部９２に記憶させて（Ｓ１１２）、本処理例に示す処理は終了される。

【0176】

なお、上述のように、Ｓ１０９に示す処理で、スイング軌道種類特定部８６が、振り下ろし角度及び基準角度を特定してもよい。そして、スイング軌道種類特定部８６が、特定された振り下ろし角度及び基準角度に基づいて、Ｓ１０１に示す処理で取得された撮影動画像に写るスイングにおけるスイング軌道の種類を特定してもよい。

【0177】

本実施形態では、ゴルフのスイングをしているプレイヤを撮影するだけで、フェースの向きを直接計測することなく、ボールの曲がり方向を的確に判定することができる。このようにして、本実施形態によれば、一般的なプレイヤがゴルフ場やゴルフ練習場などでスマートフォン等を用いて手軽にゴルフスイングの解析を行うことができることとなる。

【0178】

また、本実施形態では、ゴルフのスイングをしているプレイヤを撮影するだけで、上述の基準角度と上述の振り下ろし角度との比較が行われる。そのため、本実施形態によれば、適正なスイングプレーン角度の範囲などといったゴルフに関する知識を持たない一般的なプレイヤであっても、基準角度と振り下ろし角度との比較結果を知ることで、正しくスイングできたのか否かを容易に把握できることとなる。

【0179】

また、本実施形態では、上述のように、上述の基準角度と、上述の振り下ろし角度と、に基づいて、当該スイングにおけるスイング軌道の種類が的確に特定される。そのため、本実施形態によれば、一般的なプレイヤであっても、自らのスイング軌道の種類を知ることで、正しいスイング軌道でスイングできたのか否かを容易に把握できることとなる。

【0180】

なお、本発明は上述の実施形態に限定されるものではない。

【0181】

例えば、上述の第１の基準角度が、肩の位置に基づいて特定される必要はなく、例えば、プレイヤ４０の首筋の位置に基づいて特定されてもよい。

【0182】

また例えば、上述の第１の基準角度が、ボールの初期位置に基づいて特定される必要はなく、例えば、ユーザによって指定される位置やアドレス時のクラブヘッドの位置に基づいて特定されてもよい。

【0183】

また例えば、上述の第２の基準角度が、シャフトの位置に基づいて特定される必要はなく、例えば、プレイヤ４０の腰の位置に基づいて特定されてもよい。例えば、上述の第２の基準角度が、プレイヤ４０の腰の位置とボールの初期位置とを結ぶ線や、プレイヤ４０の腰の位置とアドレス時のクラブヘッドの位置とを結ぶ線に基づいて特定されてもよい。

【0184】

また、基準角度は２つ特定される必要なく、１つの基準角度に基づいて、スイング軌道の種類は特定されてもよい。例えば、１つの基準角度に基づいて、アウトサイドインであるか否かが特定されてもよい。また、例えば、１つの基準角度に基づいて、インサイドアウトであるか否かが特定されてもよい。

【0185】

また、図３に示されている処理の全部又は一部が、ユーザ端末１０と通信可能なサーバで実装されていてもよい。

【0186】

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

【符号の説明】

【0187】

１０ ユーザ端末、２０ プロセッサ、２２ 記憶部、２４ 通信部、２６ タッチパネル、２８ カメラ部、３０ センサ部、４０ プレイヤ、４２ クラブヘッド軌道エフェクト画像、４４ ボール軌道エフェクト画像、４６ 解析結果情報、４８ インパクト画像、５０ ヘッド移動方向画像、５２ フェース向き画像、５４ ボール方向画像、５６ Ｖゾーン画像、７０ 撮影動画像取得部、７２ プレイヤ領域特定部、７４ 比較結果画像生成部、７６ 起点領域特定部、７８ ボール弾道特定部、８０ 飛距離算出部、８２ クラブヘッド軌道特定部、８４ 打ち出し方向特定部、８６ スイング軌道種類特定部、８８ 曲がり方向判定部、９０ 解析動画像生成部、９２ 解析動画像記憶部、９４ 表示制御部、９６ プレイヤ領域、９８ スケルトンモデル、１００ 起点領域、１０２ ヘッド検出領域、１０４ アドレス時シャフト検知領域、１０６ 振り上げ時シャフト検知領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】