特開 2023-166176 表示制御装置および方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166176

(43)【公開日】2023-11-21

(54)【発明の名称】表示制御装置および方法並びにプログラム

(51)【国際特許分類】

   A63B 69/36 20060101AFI20231114BHJP

   A63B 69/00 20060101ALI20231114BHJP

   H04N 7/18 20060101ALI20231114BHJP

【ＦＩ】

A63B69/36 541W

A63B69/00 A

H04N7/18 R

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022077045

(22)【出願日】2022-05-09

(11)【特許番号】

(45)【特許公報発行日】2022-10-05

(71)【出願人】

【識別番号】513005349

【氏名又は名称】有限会社ＡＭＰＬＵＳ

(74)【代理人】

【識別番号】100128451

【弁理士】

【氏名又は名称】安田 隆一

(72)【発明者】

【氏名】倉地 伸尚

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054FA00

5C054FC12

5C054FE01

5C054FE05

5C054FE11

5C054HA16

(57)【要約】

【課題】より簡易にゴルフクラブのスイングに関する情報を確認することができる表示制御装置および方法並びにプログラムを提供する。
【解決手段】ゴルフクラブ４１のクラブヘッド４１ａを撮影した撮影画像を取得する撮影画像取得部２１と、ゴルフクラブ４１のクラブヘッド４１ａを撮影した複数の撮影画像と各撮影画像に含まれるクラブヘッド４１ａのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、撮影画像取得部２１によって取得された撮影画像を入力することによって、撮影画像に含まれるクラブヘッド４１ａのトゥおよびヒールの位置情報を検出する特定位置検出部２２と、特定位置検出部２２によって検出されたクラブヘッド４１ａのトゥおよびヒールの位置情報に基づく情報を表示させる制御部２３とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ゴルフクラブのクラブヘッドを撮影した撮影画像を取得する撮影画像取得部と、
ゴルフクラブのクラブヘッドを撮影した複数の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記撮影画像取得部によって取得された撮影画像を入力することによって、前記撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出する特定位置検出部と、
前記特定位置検出部によって検出された前記クラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させる制御部とを備えた表示制御装置。

【請求項2】

前記学習済みモデルが、前記複数の撮影画像と前記各撮影画像に含まれる前記ゴルフクラブのネックの位置情報との関係をさらに機械学習して得られたものであり、
前記特定位置検出部が、前記ゴルフクラブのネックの位置情報をさらに検出し、
前記制御部が、前記ゴルフクラブのネックの位置情報に基づく情報を表示させる請求項１記載の表示制御装置。

【請求項3】

前記学習済みモデルが、前記複数の撮影画像と前記各撮影画像に含まれる前記ゴルフクラブのネックおよび前記ゴルフクラブのシャフトの画像端の位置情報との関係をさらに機械学習して得られたものであり、
前記特定位置検出部が、前記ゴルフクラブのネックおよびシャフトの画像端の位置情報をさらに検出し、
前記制御部が、前記ゴルフクラブのネックおよびシャフトの画像端の位置情報に基づく情報を表示させる請求項１記載の表示制御装置。

【請求項4】

前記制御部が、前記クラブヘッドのトゥおよびヒールの位置情報に基づいて、前記クラブヘッドのフェイス面を表す線分を生成して表示させる請求項１記載の表示制御装置。

【請求項5】

前記制御部が、前記ゴルフクラブのネックおよびシャフトの画像端の位置情報を結ぶ直線に基づいて、前記シャフトを表す線分を生成して表示させる請求項３記載の表示制御装置。

【請求項6】

前記制御部が、前記クラブヘッドのトゥおよびヒールの位置情報に基づいて、前記クラブヘッドの移動軌跡の情報を生成して表示させる請求項１記載の表示制御装置。

【請求項7】

前記学習済みモデルが、明度が異なる複数の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られたものである請求項１記載の表示制御装置。

【請求項8】

ゴルフクラブのクラブヘッドを撮影した撮影画像を取得し、
ゴルフクラブのクラブヘッドを撮影した複数の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記取得された撮影画像を入力することによって、前記撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出し、
該検出した前記クラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させる表示制御方法。

【請求項9】

ゴルフクラブのクラブヘッドを撮影した撮影画像を取得するステップと、
ゴルフクラブのクラブヘッドを撮影した複数の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記取得された撮影画像を入力することによって、前記撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出するステップと、
該検出した前記クラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させるステップとをコンピュータに実行させる表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ゴルフクラブのスイング中のクラブヘッドを撮影した撮影画像に基づいて、スイングに関する情報を表示させる表示制御装置および方法並びにプログラムに関するものである。

【背景技術】

【0002】

従来、ゴルファーのスイングを撮影して、その撮影情報を提供する装置が種々提案されている。スイングの撮影情報をゴルファーに提供することによって、ゴルフの上達を促したり、そのゴルファーに適したゴルフクラブの選択を促すことができる。

【0003】

上述した装置として、たとえば特許文献１には、ゴルフクラブをスイングしたときのゴルフクラブとゴルフボールとを上から撮影し、その撮影されたクラブヘッドとゴルフボールの画像を、実物大で床面に投影表示させることが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－６１７２９号公報

【特許文献2】特許第６９０４６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、ゴルファーのスイングで重要な要素として、クラブヘッドのフェイス面の動きやスイング中におけるクラブヘッドの移動軌跡などがある。スイング中のクラブヘッドのフェイス面の動きや移動軌跡を認識することによって、ゴルファーのスイングの特徴を把握することができ、また、その特徴に合わせたゴルフクラブを選択することができる。

【0006】

しかしながら、たとえば特許文献１のように移動中のクラブヘッドを上方から撮影しただけでは、その撮影画像からクラブヘッドの位置やフェイス面を高精度に検出することは難しい。

【0007】

また、特許文献２では、クラブヘッドに対してクラブヘッド計測用のマークを貼付し、そのマークを検出することによって、クラブヘッドのフェイス面などを高精度に検出する方法が提案されている。

【0008】

しかしながら、特許文献２に記載の方法でも、クラブヘッドに対してクラブヘッド計測用のマークを貼付する必要がある。したがって、たとえば種々のゴルフクラブについてクラブヘッドのフェイス面の動きなどを検出する場合には、それぞれのゴルフクラブに対してクラブヘッド計測用のマークを貼付する必要があり手間である。

【0009】

本発明は、上記の問題に鑑み、より簡易にゴルフクラブのスイングに関する情報を確認することができる表示制御装置および方法並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の表示制御装置は、ゴルフクラブのクラブヘッドを撮影した撮影画像を取得する撮影画像取得部と、ゴルフクラブのクラブヘッドを撮影した複数の撮影画像と各撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、撮影画像取得部によって取得された撮影画像を入力することによって、撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出する特定位置検出部と、特定位置検出部によって検出されたクラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させる制御部とを備える。

【0011】

本発明の表示制御方法は、ゴルフクラブのクラブヘッドを撮影した撮影画像を取得し、ゴルフクラブのクラブヘッドを撮影した複数の撮影画像と各撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、上記取得された撮影画像を入力することによって、その撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出し、その検出したクラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させる。

【0012】

本発明の表示制御プログラムは、ゴルフクラブのクラブヘッドを撮影した撮影画像を取得するステップと、ゴルフクラブのクラブヘッドを撮影した複数の撮影画像と各撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、上記取得された撮影画像を入力することによって、その撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出するステップと、その検出したクラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させるステップとをコンピュータに実行させる。

【発明の効果】

【0013】

本発明の表示制御装置および方法並びにプログラムによれば、学習済みモデルに対して撮影画像を入力することによって、その撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報を検出し、その検出したクラブヘッドのトゥおよびヒールの位置情報に基づく情報を表示させるようにしたので、より簡易にゴルフクラブのスイングに関する情報を確認することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の表示制御装置の一実施形態を用いたゴルフインパクト解析システムの概略構成を示す図

【図2】クラブヘッドのトゥおよびヒール、ゴルフクラブのネック並びにシャフトの画像端の位置情報が検出された撮影画像の一例を示す図

【図3】１回のゴルフクラブのスイングによって生成されたフェイス面の線分の群と軌道画像の投影表示例を示す図

【図4】２回のゴルフクラブのスイングによって生成されたフェイス面の線分の群および軌道画像の投影表示例を示す図

【図5】図１に示すゴルフインパクト解析システムの処理の流れを説明するためのフローチャート

【発明を実施するための形態】

【0015】

以下、本発明の表示制御装置の一実施形態を用いたゴルフインパクト解析システムについて、図面を参照しながら詳細に説明する。本実施形態のゴルフインパクト解析システムは、撮影画像に基づいてクラブヘッドの特定の位置を検出し、その特定の位置に基づく情報を表示する方法に特徴を有するものであるが、まずは、ゴルフインパクト解析システム全体について説明する。図１は、本実施形態のゴルフインパクト解析システム１の概略構成図である。

【0016】

本実施形態のゴルフインパクト解析システム１は、図１に示すように、撮影装置１０と、制御装置２０と、投影装置３０とを備えている。撮影装置１０と制御装置２０との間および制御装置２０と投影装置３０との間は、有線または無線によって通信可能に接続されており、種々の信号のやり取りが可能に構成されている。

【0017】

撮影装置１０は、ゴルファー４０がゴルフクラブ４１をスイングした際のそのゴルフクラブ４１のクラブヘッド４１ａを上方から撮影する。撮影装置１０は、ゴルフクラブ４１をスイングするゴルファー４０よりも上方に設置され、クラブヘッド４１ａが床面の近傍を通過する範囲を撮影可能なように、上記範囲の真上に設置される。具体的には、撮影装置１０は、たとえば床面上に予め設定されたゴルフボール４２の設置位置Ｐを中心近傍に含む所定の撮影範囲Ｒの真上に設置される。撮影装置１０は、たとえばスタンドなどの支持部材に設置してもよいし、天井に設置するようにしてもよい。

【0018】

撮影装置１０は、照明部１１と、カメラ部１２とを備えている。本実施形態の照明部１１は、赤外光源を有し、その赤外光源から発せられた赤外光を上記撮影範囲Ｒに照射する。また、カメラ部１２は、ＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサやＣＣＤ（Charge-coupled devices）イメージセンサなどの撮像素子と、その撮像素子の前面に配置されたＩＲフィルタを有する。ＩＲフィルタは、可視光を吸収し、赤外光を透過する光学フィルタである。

【0019】

撮影装置１０は、制御装置２０の後述する制御部２３から出力された制御信号に基づいて、照明部１１から赤外光を出射し、カメラ部１２によって上記撮影範囲Ｒの撮影を行う。具体的には、撮影装置１０は、所定のフレームレートで照明部１１から赤外光を出射するとともに、上記撮影範囲Ｒを通過するクラブヘッド４１ａを撮影する。撮影装置１０によって所定のフレームレートで撮影された撮影画像は、制御装置２０に出力される。

【0020】

制御装置２０は、コンピュータなどから構成され、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）などの半導体メモリ、ハードディスクなどのストレージ、並びに通信Ｉ／Ｆなどのハードウェアを備える。本実施形態においては、制御装置２０が、本発明の表示制御装置に相当する。

【0021】

制御装置２０は、撮影画像取得部２１と、特定位置検出部２２と、制御部２３と、表示部２４と、入力部２５とを備えている。

【0022】

制御装置２０の半導体メモリまたはハードディスクには、ゴルフインパクト解析プログラムがインストールされている。そして、このプログラムがＣＰＵによって実行されることによって、上述した撮影画像取得部２１、特定位置検出部２２および制御部２３が機能する。なお、本実施形態においては、上述した各部の機能を全てゴルフインパクト解析プログラムによって実行するようにしたが、これに限らず、一部または全部の機能をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアから構成するようにしてもよい。

【0023】

以下、制御装置２０の各部について詳細に説明する。

【0024】

撮影画像取得部２１は、ゴルフクラブ４１のスイング中において、撮影装置１０によってクラブヘッド４１ａを時系列に撮影した複数の撮影画像を取得する。

【0025】

特定位置検出部２２は、撮影画像取得部２１によって取得された各撮影画像に含まれるクラブヘッド４１ａのトゥおよびヒール、ゴルフクラブ４１のネック並びにシャフト４１ｂの画像端の位置情報を検出する。

【0026】

図２は、特定位置検出部２２によって、クラブヘッド４１ａのトゥおよびヒール、ゴルフクラブ４１のネック並びにシャフト４１ｂの画像端の位置情報が検出された撮影画像の一例を示す図である。点Ｐ１がトゥの位置であり、点Ｐ２がヒールの位置であり、点Ｐ３がネックの位置であり、点Ｐ４がシャフト４１ｂの画像端の位置である。

【0027】

シャフト４１ｂの画像端とは、図２に示すように、撮影画像に含まれるシャフトを表す画像におけるクラブヘッド４１ａ側とは逆の端であり、すなわちシャフトを表す画像と撮影画像の端（辺）とが交差する点である。以降、シャフト４１ｂの画像端のことを「エッジ」と呼ぶ。

【0028】

特定位置検出部２２は、具体的には、クラブヘッド４１ａを撮影した複数の任意の撮影画像とその各撮影画像に含まれるクラブヘッド４１ａのトゥおよびヒール、ゴルフクラブ４１のネック並びにシャフト４１ｂのエッジの位置情報との関係を予め機械学習して得られた学習済みモデルを有する。

【0029】

そして、特定位置検出部２２は、その学習済みモデルに対して、撮影画像取得部２１によって取得された撮影画像を入力することによって、その入力した撮影画像に含まれるトゥ、ヒール、ネックおよびエッジの位置情報を検出する。学習済みモデルとしては、たとえば畳み込みニューラルネットワーク(Convolutional Neural Network)を用いて生成されるが、これに限らず、その他の公知な機械学習モデルを用いて機械学習するようにしてもよい。

【0030】

学習済みモデルは、たとえばトゥ、ヒール、ネックおよびエッジの位置にアノテーションを付した撮影画像を機械学習させることによって生成される。機械学習は、セマンティック・セグメンテーションの機械学習や、ヒートマップを考慮したキー・ポイント機械学習の技術に基づいて行われる。

【0031】

また、学習済みモデルは、明度が異なる複数の撮影画像と各撮影画像に含まれるトゥ、ヒール、ネックおよびエッジの位置情報との関係を機械学習して得られたものとすることが好ましい。すなわち、学習済みモデルを機械学習させる際に用いる複数の撮影画像としては、明度が異なる撮影画像とすることが好ましい。これにより、たとえば学習済みモデルに入力される撮影画像の照明環境が異なり、明度が異なる場合でも、トゥ、ヒール、ネックおよびエッジの位置情報を同等の精度で検出することができる。なお、学習済みモデルに対して、検出対象の撮影画像を入力する際には、特定位置検出部２２は、撮影画像に対してグレースケールの平均化（平坦化）処理を施すことがより好ましい。

【0032】

また、本実施形態では、特定位置検出部２２が、学習済みモデルを有するようにしたが、これに限らず、たとえば制御装置２０とは異なる外部サーバ装置に予め記憶された学習済みモデルを使用するようにしてもよい。

【0033】

次に、制御部２３は、ゴルフインパクト解析システム１全体を制御するものである。具体的には、制御部２３は、通信Ｉ／Ｆを介して撮影装置１０と通信し、撮影装置１０に対して撮影開始タイミングや撮影のフレームレートなどを指示する制御信号を出力する。また、制御部２３は、通信Ｉ／Ｆを介して投影装置３０と通信し、種々の情報を投影装置３０によって床面に表示させる。

【0034】

特に、本実施形態の制御部２３は、特定位置検出部２２によって検出されたクラブヘッド４１ａのトゥおよびヒール、ゴルフクラブ４１のネック並びにシャフト４１ｂのエッジの位置情報に基づいて、種々の情報を投影装置３０によって床面に表示させる。

【0035】

具体的には、制御部２３は、図２に示すように、撮影画像上にトゥ、ヒール、ネックおよびエッジの位置を点で示して表示させる。また、制御部２３は、ゴルフクラブ４１のスイング中に時系列に撮影された撮影画像を表示部２４に順次表示させ、その順次表示される各撮影画像上に、トゥ、ヒール、ネックおよびエッジの位置を点で表示させる。これにより、ゴルフクラブ４１のスイング中におけるトゥ、ヒール、ネックおよびエッジの位置の動きを認識することができ、スイングの良し悪しを確認したり、ゴルフクラブ４１の適否を確認したりすることができる。

【0036】

また、制御部２３は、トゥ、ヒール、ネックおよびエッジの位置を点で表示させるだけでなく、これらの位置情報に基づいて、ゴルフクラブ４１のスイングに関する種々の情報を投影装置３０によって床面に表示させることができる。

【0037】

具体的には、制御部２３は、撮影画像におけるトゥの位置とヒールの位置を直線で結ぶことによって、クラブヘッド４１ａのフェイス面を表す線分を生成して表示させることができる。なお、本明細書全体通してフェイス面という言葉を使用しているが、このフェイス面は、クラブヘッド４１ａにおいてゴルフボールがインパクトする面のことを意味するが、フェース面という言葉で表されることもある。すなわち本明細書で使用されているフェイス面とフェース面は同じ意味である。なお、本実施形態では、ドライバーの場合は、クラウン部とフェイス面の境界線をフェイス面を表す線分とし、アイアンの場合は、フェイス面の最下部にあたるリーディング・エッジ部をフェイス面を表す線分としている。

【0038】

また、制御部２３は、ゴルフクラブ４１のスイング中に時系列に撮影された各撮影画像から、上述したクラブヘッド４１ａのフェイス面を表す線分をそれぞれ生成し、フェイス面を表す線分の群を表示させることができる。

【0039】

また、制御部２３は、上述した各撮影画像のフェイス面を表す線分の中心位置を算出し、その算出した複数の中心位置を結んで曲線近似することによって、クラブヘッド４１ａの軌道画像を生成して表示させることができる。

【0040】

図３は、１回のゴルフクラブ４１のスイングによって生成されたフェイス面の線分ＦＧの群と、クラブヘッド４１ａの軌道画像ＴＧの投影表示例を示す図である。投影装置３０は、床面に対して、たとえば図３に示すようにフェイス面の線分ＦＧの群と軌道画像ＴＧとを投影表示する。なお、図３に示すＣＧは、クラブヘッドを表す３次元オブジェクト画像である。

【0041】

３次元オブジェクト画像ＣＧとは、撮影装置１０によって撮影された撮影画像とは異なり、クラブヘッドを模式的に３次元画像として表した画像である。このクラブヘッドを表す３次元オブジェクト画像ＣＧも制御部２３によって生成される。そして、制御部２３が、その３次元オブジェクト画像ＣＧを投影装置３０に出力し、投影装置３０によって床面に投影表示される。

【0042】

図３においては、軌道画像ＴＧ上の所定の位置のクラブヘッドの３次元オブジェクト画像ＣＧを示しているが、投影装置３０が、制御部２３による制御により、軌道画像ＴＧの線に沿って３次元オブジェクト画像ＣＧを移動させてアニメーション表示するようにしてもよい。

【0043】

また、図３においては、１回のスイングによるフェイス面の線分ＦＧの群と軌道画像ＴＧを投影表示した例であるが、２回以上のスイングよるフェイス面の線分の群と軌道画像とを重ねて投影表示するようにしてもよい。図４は、１回目のスイングによるフェイス面の線分ＦＧ１の群および軌道画像ＴＧ１の組と、２回目のスイングによるフェイス面の線分ＦＧ２の群と軌道画像ＴＧ２の組を投影表示した例である。１回目のスイングによるフェイス面の線分ＦＧ１の群および軌道画像ＴＧ１の組と、２回目のスイングによるフェイス面の線分ＦＧ２の群と軌道画像ＴＧ２の組とは、異なる色で投影表示することが好ましい。

【0044】

また、制御部２３は、ネックとエッジの位置情報に基づいて、ゴルフクラブ４１のシャフト４１ｂに関する情報を投影装置３０によって床面に表示させることができる。具体的には、制御部２３は、たとえばネックおよびエッジの位置情報を結ぶ直線に基づいて、シャフト４１ｂを表す線分を生成して表示させる。制御部２３は、ゴルフクラブ４１のスイング中に時系列に撮影された撮影画像を、投影装置３０によって床面に順次表示させることができ、その順次表示される各撮影画像上にシャフト４１ｂを表す線分を表示させることができる。これにより、ゴルフクラブ４１のスイング中におけるシャフト４１ｂの動きを認識することができ、スイングの解析やゴルフクラブの選択に役立てることができる。

【0045】

また、制御部２３は、上述した各撮影画像のフェイス面を表す線分の中心位置を算出し、フレーム間の中心位置の距離とフレームレートとに基づいて、クラブヘッド４１ａの速度を算出するようにしてよい。そして、制御部２３は、その算出したクラブヘッド４１ａの速度を投影装置３０によって床面に表示させるようにしてもよい。

【0046】

また、制御部２３は、トゥ、ヒール、ネックおよびエッジの位置情報や、クラブヘッド４１ａのフェイス面の線分の群および軌道画像並びにシャフト４１ｂを表す線分などを表示部２４にも表示させる。

【0047】

表示部２４は、たとえば液晶ディスプレイなどの表示デバイスを備える。また、入力部２５は、たとえばマウスやキーボードなどの入力デバイスを備える。また、制御装置２０をタブレット端末から構成し、表示部２４および入力部２５をタッチパネルから構成するようにしてもよい。

【0048】

次に、図１に戻り、投影装置３０は、プロジェクタから構成され、上述したように制御装置２０の制御部２３による制御によって、床面に対して、トゥ、ヒール、ネックおよびエッジの点が付された撮影画像や、フェイス面の線分の群および軌道画像を投影表示する。投影装置３０は、ゴルフクラブ４１をスイングするゴルファーよりも上方又は、短焦点・近接レンズなどを用いて下方に設置され、撮影装置１０に隣接させて設置される。また、投影装置３０は、撮影画像、フェイスの線分の群および軌道画像を床面上に対して、十分な明るさかつ明瞭に表示可能な投射距離と輝度を有する。

【0049】

投影装置３０は、床面上のゴルフボール４２の設置位置Ｐを中心近傍に含む所定の投影範囲に、トゥ、ヒール、ネックおよびエッジの点が付された撮影画像、フェイス面の線分の群および軌道画像を投影表示可能なように設置される。投影装置３０は、たとえば撮影装置１０とともにスタンドなどの支持部材に設置してもよいし、天井に設置するようにしてもよい。

【0050】

なお、上記実施形態においては、クラブヘッド４１ａを撮影装置１０によって真上から撮影するようにしたが、これに限らず、たとえば撮影装置１０として、ステレオカメラを設け、クラブヘッド４１ａをステレオ撮影するようにしてもよい。

【0051】

そして、特定位置検出部２２が、ステレオ撮影によって取得された各撮影画像からトゥ、ヒール、ネックおよびエッジの位置情報を検出することによって、トゥ、ヒール、ネックおよびエッジの３次元空間上の位置を検出するようにしてもよい。これにより、ゴルフクラブ４１の動きをより詳細に解析することができる。制御部２３は、たとえばトゥ、ヒール、ネックおよびエッジの３次元空間上の位置を直線によって結んで３次元の線分画像を生成し、これを表示部２４に３次元表示させる。

【0052】

次に、ゴルフインパクト解析システム１の処理の流れについて、図５に示すフローチャートを参照しながら説明する。

【0053】

まず、ゴルフインパクト解析システム１の各装置が起動される（Ｓ１０）。次いで、図１に示すように撮影範囲Ｒの近傍にゴルファーが立ち、撮影範囲Ｒ内におけるゴルフボールの設置位置Ｐにゴルフボール４２を設置する。

【0054】

そして、ユーザによって制御装置２０において撮影開始指示が設定入力され、撮影装置１０による撮影が開始される（Ｓ１２）。

【0055】

撮影装置１０による撮影が開始された後、ゴルファーがゴルフクラブ４１をスイングし、ゴルフボール４２を打つ（Ｓ１４）。

【0056】

ゴルファーがゴルフクラブ４１をスイングする間、撮影装置１０によって撮影範囲Ｒ内の撮影画像が所定のフレームレートで撮影され（Ｓ１６）、時系列に撮影された撮影画像が、制御装置２０に順次出力される。撮影装置１０は、撮影開始から予め設定された時間だけ経過した時点で撮影を終了する（Ｓ１８）。

【0057】

撮影装置１０から出力された撮影画像は制御装置２０に入力され、撮影画像取得部２１によって取得される（Ｓ２０）。特定位置検出部２２が、撮影画像取得部２１によって取得された各撮影画像を上述した学習済みモデルに入力し、各撮影画像上におけるトゥ、ヒール、ネックおよびエッジの位置情報を検出する（Ｓ２２）。

【0058】

そして、制御部２３は、時系列に撮影された複数の撮影画像を投影装置３０によって床面に表示させるととともに、その各撮影画像上に、トゥ、ヒール、ネックおよびエッジの位置に点を重ねて表示させる（Ｓ２４）。これにより、スイング中におけるトゥ、ヒール、ネックおよびエッジの位置の移動状態を認識することができ、より簡易にゴルフクラブのスイングに関する情報を確認することができる。

【0059】

また、上記実施形態においては、トゥ、ヒール、ネックおよびエッジの４つの点を表示させるようにしたが、これらに限らず、たとえばトゥおよびヒールの２つの点、またはトゥ、ヒールおよびネックの３つの点を表示させるようにしてもよい。

【0060】

また、上記実施形態においては、クラブヘッド４１ａを真上から撮影した例を説明しているが、少なくともトゥおよびヒール、好ましくはトゥ、ヒール、ネック、より好ましくはトゥ、ヒール、ネックおよびエッジが撮影できれば、撮影角度は、これに限らない。たとえば、クラブヘッド４１ａを、斜め横方向などから撮影した撮影画像を学習させ、その方向から撮影した撮影画像を認識させるための機械学習を実行し、学習済みモデルを生成するようにしてもよい。

【0061】

本発明に関し、さらに以下の付記を開示する。
（付記）

【0062】

本発明の表示制御装置において、学習済みモデルは、複数の撮影画像と各撮影画像に含まれるゴルフクラブのネックの位置情報との関係をさらに機械学習して得られたものとすることができ、特定位置検出部は、ゴルフクラブのネックの位置情報をさらに検出することができ、制御部は、ゴルフクラブのネックの位置情報に基づく情報を表示させることができる。

【0063】

また、本発明の表示制御装置において、学習済みモデルは、複数の撮影画像と各撮影画像に含まれるゴルフクラブのネックおよびゴルフクラブのシャフトの画像端の位置情報との関係をさらに機械学習して得られたものとすることができ、特定位置検出部は、ゴルフクラブのネックおよびシャフトの画像端の位置情報をさらに検出することができ、制御部は、ゴルフクラブのネックおよびシャフトの画像端の位置情報に基づく情報を表示させることができる。

【0064】

また、本発明の表示制御装置において、制御部は、クラブヘッドのトゥおよびヒールの位置情報に基づいて、クラブヘッドのフェイス面を表す線分を生成して表示させることができる。

【0065】

また、本発明の表示制御装置において、制御部は、ゴルフクラブのネックおよびシャフトの画像端の位置情報を結ぶ直線に基づいて、シャフトを表す線分を生成して表示させることができる。

【0066】

また、本発明の表示制御装置において、制御部は、クラブヘッドのトゥおよびヒールの位置情報に基づいて、クラブヘッドの移動軌跡の情報を生成して表示させることができる。

【0067】

また、本発明の表示制御装置において、学習済みモデルは、明度が異なる複数の撮影画像と各撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られたものとすることができる。

【符号の説明】

【0068】

１ ゴルフインパクト解析システム
１０ 撮影装置
１１ 照明部
１２ カメラ部
２０ 制御装置
２１ 撮影画像取得部
２２ 特定位置検出部
２３ 制御部
２４ 表示部
２５ 入力部
３０ 投影装置
４０ ゴルファー
４１ ゴルフクラブ
４１ａ クラブヘッド
４１ｂ シャフト
４２ ゴルフボール
ＣＧ クラブヘッドの３次元オブジェクト画像
Ｐ 設置位置
Ｐ１ トゥを示す点
Ｐ２ ヒールを示す点
Ｐ３ ネックを示す点
Ｐ４ エッジを示す点
Ｒ 撮影範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2022-08-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ゴルフクラブのスイング中におけるクラブヘッドを上方から時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、
ゴルフクラブのクラブヘッドを上方から撮影した複数の任意の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置との関係を機械学習して得られた学習済みモデルに対して、前記撮影画像取得部によって取得された複数の撮影画像を入力することによって、前記複数の撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置をそれぞれ検出する特定位置検出部と、
前記特定位置検出部によって検出された前記クラブヘッドのトゥおよびヒールの位置を、前記複数の撮影画像上に点で表示させるとともに、前記点が重ねられた前記複数の撮影画像を順次表示させる制御部とを備えた表示制御装置。

【請求項2】

前記学習済みモデルが、前記複数の任意の撮影画像と前記各撮影画像に含まれる前記ゴルフクラブのネックの位置情報との関係をさらに機械学習して得られたものであり、
前記特定位置検出部が、前記ゴルフクラブのネックの位置をさらに検出し、
前記制御部が、前記ゴルフクラブのネックの位置を前記複数の撮影画像上に点で表示させる請求項１記載の表示制御装置。

【請求項3】

前記学習済みモデルが、前記複数の任意の撮影画像と前記各撮影画像に含まれる前記ゴルフクラブのネックおよび前記ゴルフクラブのシャフトの画像端の位置との関係をさらに機械学習して得られたものであり、
前記特定位置検出部が、前記ゴルフクラブのネックおよびシャフトの画像端の位置をさらに検出し、
前記制御部が、前記ゴルフクラブのネックおよびシャフトの画像端の位置を前記複数の撮影画像上に点で表示させる請求項１記載の表示制御装置。

【請求項4】

前記制御部が、前記クラブヘッドのトゥおよびヒールの位置に基づいて、前記クラブヘッドのフェイス面を表す線分を生成して表示させる請求項１記載の表示制御装置。

【請求項5】

前記制御部が、前記ゴルフクラブのネックおよびシャフトの画像端の位置を結ぶ直線に基づいて、前記シャフトを表す線分を生成して表示させる請求項３記載の表示制御装置。

【請求項6】

前記制御部が、前記クラブヘッドのトゥおよびヒールの位置に基づいて、前記クラブヘッドの移動軌跡の情報を生成して表示させる請求項１記載の表示制御装置。

【請求項7】

前記学習済みモデルが、明度が異なる複数の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置との関係を機械学習して得られたものである請求項１記載の表示制御装置。

【請求項8】

ゴルフクラブのスイング中におけるクラブヘッドを上方から時系列に撮影した複数の撮影画像を取得し、
ゴルフクラブのクラブヘッドを上方から撮影した複数の任意の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記取得された複数の撮影画像を入力することによって、前記複数の撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置をそれぞれ検出し、
該検出した前記クラブヘッドのトゥおよびヒールの位置を、前記複数の撮影画像上に点で表示させるとともに、前記点が重ねられた前記複数の撮影画像を順次表示させる表示制御方法。

【請求項9】

ゴルフクラブのスイング中におけるクラブヘッドを上方から時系列に撮影した複数の撮影画像を取得するステップと、
ゴルフクラブのクラブヘッドを上方から撮影した複数の任意の撮影画像と前記各撮影画像に含まれる前記クラブヘッドのトゥおよびヒールの位置情報との関係を機械学習して得られた学習済みモデルに対して、前記取得された複数の撮影画像を入力することによって、前記複数の撮影画像に含まれるクラブヘッドのトゥおよびヒールの位置を検出するステップと、
該検出した前記クラブヘッドのトゥおよびヒールの位置を、前記複数の撮影画像上に点で表示させるとともに、前記点が重ねられた前記複数の撮影画像を順次表示させるステップとをコンピュータに実行させる表示制御プログラム。