特開 2024-97526 表示制御装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097526

(43)【公開日】2024-07-19

(54)【発明の名称】表示制御装置およびプログラム

(51)【国際特許分類】

   A63B 69/36 20060101AFI20240711BHJP

   G06T 7/70 20170101ALI20240711BHJP

【ＦＩ】

A63B69/36 541W

G06T7/70 A

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023001027

(22)【出願日】2023-01-06

(11)【特許番号】

(45)【特許公報発行日】2023-05-26

(71)【出願人】

【識別番号】513005349

【氏名又は名称】有限会社ＡＭＰＬＵＳ

(74)【代理人】

【識別番号】100128451

【弁理士】

【氏名又は名称】安田 隆一

(72)【発明者】

【氏名】倉地 伸尚

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA08

5L096CA04

5L096DA04

5L096FA69

5L096HA08

(57)【要約】

【課題】正確かつ安定したクラブヘッドの移動軌跡に関する情報を表示させることができる表示制御装置および方法並びプログラムを提供する。
【解決手段】ゴルフクラブのスイングを撮影した複数の撮影画像を取得する撮影画像取得部２１と、各撮影画像に含まれるゴルフクラブのネックの位置を検出する特定位置検出部２２と、複数の撮影画像からそれぞれ検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成する軌跡情報生成部２３と、ネックの位置の軌跡情報を表示させる表示制御部２４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ゴルフクラブのスイングを撮影した複数の撮影画像を取得する撮影画像取得部と、
前記各撮影画像に含まれる前記ゴルフクラブのネックの位置を検出する特定位置検出部と、
前記複数の撮影画像からそれぞれ検出された前記ネックの位置に基づいて、前記ネックの位置の軌跡情報を生成する軌跡情報生成部と、
前記ネックの位置の軌跡情報を表示させる表示制御部とを備えた表示制御装置。

【請求項2】

前記特定位置検出部が、ゴルフクラブを予め撮影した複数の撮影画像と前記各撮影画像に含まれる前記ゴルフクラブのネックの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記撮影画像取得部によって取得された各撮影画像を入力することによって前記各撮影画像のネックの位置を検出する請求項１記載の表示制御装置。

【請求項3】

前記特定位置検出部が、前記各撮影画像に含まれる前記ゴルフクラブのグリップの位置を検出する請求項１または２記載の表示制御装置。

【請求項4】

前記表示制御部が、前記特定位置検出部によって検出されたネックの位置とグリップの位置を結ぶ直線を表示させる請求項３記載の表示制御装置。

【請求項5】

ゴルフクラブのスイングを撮影した複数の撮影画像を取得し、
前記各撮影画像に含まれる前記ゴルフクラブのネックの位置を検出し、
前記複数の撮影画像からそれぞれ検出された前記ネックの位置に基づいて、前記ネックの位置の軌跡情報を生成し、
前記ネックの位置の軌跡情報を表示させる表示制御方法。

【請求項6】

ゴルフクラブのスイングを撮影した複数の撮影画像を取得するステップと、
前記各撮影画像に含まれる前記ゴルフクラブのネックの位置を検出するステップと、
前記複数の撮影画像からそれぞれ検出された前記ネックの位置に基づいて、前記ネックの位置の軌跡情報を生成するステップと、
前記ネックの位置の軌跡情報を表示させるステップとをコンピュータに実行させる表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ゴルフクラブのスイングに関する情報を表示させる表示制御装置および方法並びにプログラムに関するものである。

【背景技術】

【0002】

従来、ゴルファーのスイングを撮影して、その撮影情報を提供する装置が種々提案されている。スイングの撮影情報をゴルファーに提供することによって、ゴルフの上達を促したり、そのゴルファーに適したゴルフクラブの選択を促したりすることができる。

【0003】

たとえば特許文献１には、ゴルファーのスイングを撮影することによって、スイングの良否判定を行うことが提案されている。また、特許文献２～特許文献４には、ゴルフクラブのヘッドの軌跡を表示させることが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６５４４５５１号公報

【特許文献2】特開２０１５－０７７３５１号公報

【特許文献3】特開２０１５－１９８７６１号公報

【特許文献4】特開２０１７－１４４１３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ゴルフクラブのスイングを解析する上でクラブヘッドの移動軌跡を知ることは非常に重要である。

【0006】

特許文献１には、上述したようにゴルフクラブのスイングの良否を判定することが記載されているが、クラブヘッドの移動軌跡を表示することについては記載されていない。

【0007】

また、特許文献２～３には、ゴルフクラブのグリップ近傍に設けられたセンサの検出信号に基づいてクラブヘッドの移動軌跡を算出し、これを表示することが記載されている。

【0008】

しかしながら、特許文献２～３に記載の方法では、センサがグリップ近傍に設けられているため、クラブヘッドの位置の算出精度に問題がある。すなわち、クラブヘッドの移動軌跡が、グリップ近傍の動きの影響を受けるため、必ずしもクラブヘッドの移動軌跡を精度よく算出できているとは限らない。

【0009】

また、たとえばクラブヘッドの画像を認識することによって、クラブヘッドの重心位置などを算出して移動軌跡を求めることが考えられる。

【0010】

しかしながら、たとえば所定の一方向からゴルフクラブのスイングを撮影した場合、撮影画像に含まれるクラブヘッドの画像は、スイングとともにその形状が刻々と変化し、クラブヘッドの重心位置を算出することができない画像なども含まれる。したがって、このような画像からクラブヘッドの位置を正確に算出することは困難であり、安定性にも欠ける。

【0011】

本発明は、上記の問題に鑑み、正確かつ安定したクラブヘッドの移動軌跡に関する情報を表示させることができる表示制御装置および方法並びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の表示制御装置は、ゴルフクラブのスイングを撮影した複数の撮影画像を取得する撮影画像取得部と、各撮影画像に含まれるゴルフクラブのネックの位置を検出する特定位置検出部と、複数の撮影画像からそれぞれ検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成する軌跡情報生成部と、ネックの位置の軌跡情報を表示させる表示制御部とを備える。

【発明の効果】

【0013】

本発明の表示制御装置によれば、ゴルフクラブのスイングを撮影した複数の撮影画像からゴルフクラブのネックの位置を検出し、その検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成し、そのネックの位置の軌跡情報を表示させるようにしたので、正確かつ安定したクラブヘッドの移動軌跡に関する情報を表示させることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の表示制御装置の一実施形態を用いたゴルフインパクト解析システムの概略構成を示す図

【図2】ゴルフクラブのスイングを撮影した各撮影画像にゴルフクラブのネックの位置を示す図

【図3】ゴルフクラブのネックの位置の軌跡情報の表示例を示す図

【図4】ゴルフクラブのネックの位置の軌跡情報をアニメーション表示した例を示す図

【図5】ゴルフクラブのスイングを撮影した各撮影画像にゴルフクラブのネックの位置とグリップの位置を示す図

【発明を実施するための形態】

【0015】

以下、本発明の表示制御装置の一実施形態を用いたゴルフスイング解析システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態のゴルフスイング解析システム１の概略構成図である。

【0016】

本実施形態のゴルフスイング解析システム１は、図１に示すように、撮影装置１０と、表示制御装置２０と、表示装置３０とを備えている。撮影装置１０と表示制御装置２０との間および表示制御装置２０と表示装置３０との間は、有線または無線によって通信可能に接続されており、種々の信号のやり取りが可能に構成されている。

【0017】

撮影装置１０は、ゴルファーのゴルフクラブのスイングを撮影する。撮影装置１０は、たとえばゴルフクラブをスイングするゴルファーの正面に設置され、ゴルファーおよびゴルフクラブの全体が撮影範囲となるように設置される。ただし、撮影装置１０の位置は、これに限らず、ゴルフクラブの全体が撮影範囲となる位置であれば如何なる位置でもよい。

【0018】

撮影装置１０は、所定のフレームレートでゴルファーおよびゴルフクラブを撮影する。撮影装置１０によって所定のフレームレートで撮影された撮影画像は、表示制御装置２０に出力される。

【0019】

表示制御装置２０は、撮影画像取得部２１と、特定位置検出部２２と、軌跡情報生成部２３と、表示制御部２４とを備えている。

【0020】

撮影画像取得部２１は、撮影装置１０から出力された複数の撮影画像を取得する。

【0021】

特定位置検出部２２は、撮影画像取得部２１によって取得された各撮影画像に含まれるゴルフクラブのネックの位置を検出する。具体的には、本実施形態の特定位置検出部２２は、ゴルフクラブを予め撮影した複数の撮影画像と各撮影画像に含まれるゴルフクラブのネックの位置情報との関係を機械学習して得られた学習済みモデルを有する。

【0022】

そして、特定位置検出部２２は、上記学習済みモデルに対して、撮影画像取得部２１によって取得された各撮影画像を入力することによって、各撮影画像のネックの位置を検出する。学習済モデルとしては、たとえば畳み込みニューラルネットワーク(Convolutional Neural Network)を用いて生成されるが、これに限らず、その他の公知な機械学習モデルを用いて機械学習するようにしてもよい。

【0023】

また、本実施形態では、特定位置検出部２２が、学習済みモデルを有するようにしたが、これに限らず、たとえば表示制御装置２０とは異なる外部サーバ装置に予め記憶された学習済みモデルを使用するようにしてもよい。

【0024】

図２Ａ～図２Ｆは、ゴルファーＰによるゴルフクラブＧＣのスイングの開始から撮影された６枚の撮影画像を、上記学習済みモデルに入力し、学習済みモデルから出力されたネックの位置を各撮影画像上に示した図である。図２Ａ～図２Ｆでは、ゴルフクラブＧＣのネックの位置Ｎが、丸印で示されている。なお、本実施形態の説明では、説明を簡略化するために、図２Ａ～図２Ｆの６枚の撮影画像しか示していないが、実際には、スイングの開始から終了までの撮影時間に対して撮影装置１０のフレームレートを乗算した枚数の撮影画像が取得され、その各撮影画像におけるネックの位置が検出される。

【0025】

軌跡情報生成部２３は、複数の撮影画像からそれぞれ検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成する。具体的には、軌跡情報生成部２３は、各撮影画像からそれぞれ検出されたネックの位置を、撮影画像の撮影順に繋いで軌跡情報を生成する。各ネックの位置の繋ぎ方については、たとえば予め設定された補間関数に基づいて接続するようにすればよい。

【0026】

表示制御部２４は、軌跡情報生成部２３によって生成されたネックの位置の軌跡情報を表示装置３０に表示させる。図３は、ネックの位置の軌跡情報Ｔの一例を示す図である。なお、図３に示す軌跡情報Ｔのうちの、軌跡情報Ｔ１は、ゴルフクラブを振り上げる際の軌跡情報であり、軌跡情報Ｔ２は、ゴルフクラブを振り下ろす際の軌跡情報である。

【0027】

また、表示装置３０にネックの位置の軌跡情報を表示させる場合には、たとえば図３に示すように所定の撮影画像にネックの位置の軌跡情報Ｔを重ねて表示するようにしてもよいし、複数の撮影画像を動画として表示させるとともに、各撮影画像の撮影時点までの軌跡情報を順次切り替えて表示させることによって、スイング開始からスイング終了までの軌跡情報をスイング中のゴルフクラブの動きに応じて順次延伸しながらアニメーション表示するようにしてもよい。図４Ａ～図４Ｆは、上述したアニメーション表示する場合における撮影画像毎に順次切り替えて表示される軌跡情報Ｔの一例を示す図である。

【0028】

表示制御装置２０は、コンピュータなどから構成され、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの半導体メモリ、ハードディスクなどのストレージ、並びに通信Ｉ／Ｆなどのハードウェアを備える。

【0029】

表示制御装置２０の半導体メモリまたはストレージには、本発明の表示制御プログラムの一実施形態がインストールされている。この表示制御プログラムがＣＰＵによって実行されることによって、上述した撮影画像取得部２１、特定位置検出部２２、軌跡情報生成部２３および表示制御部２４が機能する。

【0030】

本実施形態においては、ＣＰＵによって表示制御プログラムを実行することによって表示制御装置２０の上述した各部を機能させるようにしたが、表示制御プログラムが実行する一部の機能または全部の機能をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、その他の電気回路などのハードウェアから構成するようにしてもよい。

【0031】

表示装置３０は、液晶ディスプレイなどのディスプレイを有し、撮影画像や上述したゴルフクラブのネックの位置の軌跡情報を表示する。また、表示制御装置２０と表示装置３０とをタブレット端末によって実現するようにしてもよい。さらに撮影装置１０、表示制御装置２０および表示装置３０をカメラ機能付きのタブレット端末によって実現するようにしてもよい。

【0032】

上記実施形態のゴルフスイング解析システム１によれば、ゴルフクラブのスイングを撮影した複数の撮影画像からゴルフクラブのネックの位置を検出し、その検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成し、そのネックの位置の軌跡情報を表示する。

【0033】

ゴルフクラブのネックの位置は、クラブヘッドの位置に非常に近いので、ネックの位置の軌跡情報は、クラブヘッドの軌跡情報と非常に類似したものとなる。また、クラブヘッドのネックの位置は、クラブヘッドの画像のように刻々と変化するものではないので、クラブヘッドと比較すると撮影画像からの検出精度も高い。

【0034】

したがって、上記実施形態のゴルフスイング解析システム１によれば、正確かつ安定したクラブヘッドの移動軌跡に関する情報を表示させることができる。

【0035】

また、上記実施形態のゴルフスイング解析システム１では、特定位置検出部２２によってゴルフクラブのネックの位置を検出するようにしたが、さらに、特定位置検出部２２が、ゴルフクラブのグリップの位置を検出するようにしてもよい。この場合、特定位置検出部２２は、ゴルフクラブを予め撮影した複数の撮影画像と各撮影画像に含まれるゴルフクラブのグリップの位置情報との関係を機械学習して得られた学習済みモデルを有する。

【0036】

そして、特定位置検出部２２は、上記学習済みモデルに対して、撮影画像取得部２１によって取得された各撮影画像を入力することによって、各撮影画像のネックの位置を検出する。学習済モデルとしては、たとえば畳み込みニューラルネットワーク(Convolutional Neural Network)を用いて生成されるが、これに限らず、その他の公知な機械学習モデルを用いて機械学習するようにしてもよい。

【0037】

なお、ゴルフクラブのネックの位置を検出する際に用いる学習済みモデルとグリップの位置を検出する際に用いる学習済みモデルは、別々に準備するようにしてもよいし、ネックの位置情報とグリップの位置情報とを同時に機械学習することによって、共通の学習済みモデルを準備するようにしてもよい。

【0038】

図５Ａ～図５Ｆは、ゴルファーＰによるゴルフクラブＧＣのスイングの開始から撮影された６枚の撮影画像を、学習済みモデルに入力し、学習済みモデルから出力されたネックの位置とグリップの位置を各撮影画像上に示した図である。図５Ａ～図５Ｆでは、ゴルフクラブＧＣのネックの位置Ｎとグリップの位置Ｇが、丸印で示されている。なお、本実施形態の説明では、説明を簡略化するために、図５Ａ～図５Ｆの６枚の撮影画像しか示していないが、実際には、スイングの開始から終了までの撮影時間に対して撮影装置１０のフレームレートを乗算した枚数の撮影画像が取得され、その各撮影画像におけるネックの位置が検出される。

【0039】

そして、表示制御部２４は、各撮影画像におけるネックの位置とグリップの位置とを結ぶ直線を生成し、その直線を表示装置３０に表示させるようにしてもよい。

【0040】

表示装置３０にネックの位置とグリップの位置を結ぶ直線を表示させる場合には、たとえば所定の撮影画像に上記直線を重ねて表示するようにしてもよいし、複数の撮影画像を動画として表示させるとともに、各撮影画像の撮影時点における上記直線を順次切り替えて表示させることによって、スイング中のゴルフクラブの動きに応じて上記直線をアニメーション表示するようにしてもよい。また、各撮影画像の撮影時点における上記直線を順次追加表示させることによって、スイング中のゴルフクラブの動きに応じて上記直線をアニメーション表示するようにしてもよい。

【0041】

上述したようにネックの位置とグリップの位置を結ぶ直線を表示させることによって、たとえばスイングがハンドファーストになっているか否かなどを確認することができる。

【0042】

また、たとえばクラブヘッドがゴルフボールにインパクトするとき（たとえば図５Ｄのとき）のネックの位置とグリップの位置を結ぶ直線を取得し、その直線とグリップの位置ＧＰから真下に引いた直線とを比較することによって、ハンドファーストになっているか否かを判定することによって、スイングの良否を判定するスイング判定部をさらに設けるようにしてもよい。

【0043】

本発明の表示制御装置に関し、さらに以下の付記を開示する。
（付記）

【0044】

本発明の表示制御装置において、特定位置検出部は、ゴルフクラブを予め撮影した複数の撮影画像と各撮影画像に含まれるゴルフクラブのネックの位置情報との関係を機械学習して得られた学習済みモデルに対して、撮影画像取得部によって取得された各撮影画像を入力することによって各撮影画像のネックの位置を検出することができる。

【0045】

本発明の表示制御装置において、特定位置検出部は、各撮影画像に含まれるゴルフクラブのグリップの位置を検出することができる。

【0046】

本発明の表示制御装置において、表示制御部は、特定位置検出部によって検出されたネックの位置とグリップの位置を結ぶ直線を表示させることができる。

【0047】

本発明の表示制御方法は、ゴルフクラブのスイングを撮影した複数の撮影画像を取得し、各撮影画像に含まれるゴルフクラブのネックの位置を検出し、複数の撮影画像からそれぞれ検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成し、ネックの位置の軌跡情報を表示させる。

【0048】

本発明の表示制御プログラムは、ゴルフクラブのスイングを撮影した複数の撮影画像を取得するステップと、各撮影画像に含まれるゴルフクラブのネックの位置を検出するステップと、複数の撮影画像からそれぞれ検出されたネックの位置に基づいて、ネックの位置の軌跡情報を生成するステップと、ネックの位置の軌跡情報を表示させるステップとをコンピュータに実行させる。

【符号の説明】

【0049】

１ ゴルフスイング解析システム
１０ 撮影装置
２０ 表示制御装置
２１ 撮影画像取得部
２２ 特定位置検出部
２３ 軌跡情報生成部
２４ 表示制御部
３０ 表示装置
Ｇ グリップの位置
ＧＣ ゴルフクラブ
Ｎ ネックの位置
Ｐ ゴルファー
Ｔ 軌跡情報

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2023-04-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ゴルフクラブのスイングを撮影した複数の撮影画像を取得する撮影画像取得部と、
前記各撮影画像に含まれる前記ゴルフクラブのネックの位置を検出する特定位置検出部と、
前記複数の撮影画像からそれぞれ検出された前記ネックの位置を、前記複数の撮影画像の撮影順に繋ぐことによって、前記ネックの位置の軌跡情報を生成する軌跡情報生成部と、
前記ネックの位置の軌跡情報を表示させる表示制御部とを備えた表示制御装置。

【請求項2】

前記特定位置検出部が、ゴルフクラブを予め撮影した複数の撮影画像と前記各撮影画像に含まれる前記ゴルフクラブのネックの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記撮影画像取得部によって取得された各撮影画像を入力することによって前記各撮影画像のネックの位置を検出する請求項１記載の表示制御装置。

【請求項3】

前記特定位置検出部が、前記各撮影画像に含まれる前記ゴルフクラブのグリップの位置を検出する請求項１または２記載の表示制御装置。

【請求項4】

前記表示制御部が、前記特定位置検出部によって検出されたネックの位置とグリップの位置を結ぶ直線を表示させる請求項３記載の表示制御装置。

【請求項5】

前記表示制御部が、前記複数の撮影画像を動画として撮影させるとともに、前記各撮影画像の撮影時点までの前記ネックの位置の軌跡情報を表示させる請求項１記載の表示制御装置。

【請求項6】

ゴルフクラブのスイングを撮影した複数の撮影画像を取得するステップと、
前記各撮影画像に含まれる前記ゴルフクラブのネックの位置を検出するステップと、
前記複数の撮影画像からそれぞれ検出された前記ネックの位置を、前記複数の撮影画像の撮影順に繋ぐことによって、前記ネックの位置の軌跡情報を生成するステップと、
前記ネックの位置の軌跡情報を表示させるステップとをコンピュータに実行させる表示制御プログラム。