特開 2025-155110 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025155110

(43)【公開日】2025-10-14

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   A63B 71/06 20060101AFI20251006BHJP

【ＦＩ】

A63B71/06 U

A63B71/06 M

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024058538

(22)【出願日】2024-04-01

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】▲桑▼田 正博

(72)【発明者】

【氏名】中込 浩一

(72)【発明者】

【氏名】島田 敬輔

(57)【要約】

【課題】ゴルフスイング支援の利便性や実用性を向上させる情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】目標方向受付部２２１は、ユーザによるゴルフスイング前のボール位置の飛球方向を、目標方向とするために受け付ける。画像データ処理部２２３は、画像データ取得部２２２により撮像機器としての頭部装置１００から取得された画像データに対応する撮像画像における目標方向の位置を特定する。支援情報生成部２２４は、ユーザのゴルフスイングを支援する情報として、ユーザのつま先とクラブフェースの位置関係情報などを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザによるゴルフスイング前のボール位置の飛球方向を受け付ける受付手段と、
前記受付手段により受け付けた前記ボール位置の飛球方向に対応して、前記ユーザが携帯する撮像機器からの画像における目標方向の位置を特定する特定手段と、
前記特定手段により特定した目標方向の位置に基づいて、前記ユーザのつま先とクラブフェースの位置関係情報を生成する生成手段と、を備える、
情報処理装置。

【請求項2】

前記生成手段により生成された位置関係情報に対応する制御指令を、前記ユーザが装着する投影機器に供給して、位置支援画像を地面に照射させる供給手段を備える、
請求項１に記載の情報処理装置。

【請求項3】

前記特定手段は、前記撮像機器を前記投影機器と組み合わせた端末装置から、前記ユーザの視線方向を撮像する第１撮像部による第１画像と、前記第１撮像部と特定位置関係にある第２撮像部による第２画像とを取得し、当該第２画像における目標方向の位置を特定する、
請求項２に記載の情報処理装置。

【請求項4】

前記特定手段は、
前記第２画像における目標方向の位置を特定した後に、前記第１画像内において、前記特定位置関係により目標方向を推定した第１直線を、前記ボール位置の中心を通るように重畳させ、
前記第１画像内において、前記ユーザの一方のつま先を基準に、前記第１直線と平行又は第１角度を有する第２直線により前記ユーザのつま先の正しい位置を推定し、
前記第１画像内において、前記クラブフェースの中心位置にて、前記第１直線及び前記第２直線と垂直又は第２角度を有する第３直線により前記クラブフェースの正しい向きを推定し、
前記生成手段は、前記特定手段の推定により特定された前記ユーザのつま先と前記クラブフェースの位置関係情報を生成する、
請求項３に記載の情報処理装置。

【請求項5】

予め蓄積された飛球情報を用いて、前記ユーザの入力操作により設定された目標位置と、前記ユーザのゴルフスイング後のボール位置との差分を統計量として算出することで、前記ユーザのつま先と前記クラブフェースの位置関係情報を調整する第１調整手段を備える、
請求項１に記載の情報処理装置。

【請求項6】

前記ユーザのゴルフスイング中における複数のフェーズに対応して連続的に取得された画像を用いて、前記ユーザの頭部位置を推定する第１推定手段と、
前記第１推定手段による推定結果と前記差分の関係性を算出し、算出結果を提示する第１提示手段と、
前記第１推定手段による推定結果と前記差分の関係性に基づいて、前記ユーザのつま先と前記クラブフェースの位置関係情報を調整する第２調整手段と、を備える、
請求項５に記載の情報処理装置。

【請求項7】

前記ユーザのゴルフスイング中における複数のフェーズに対応して連続的に取得された画像を用いて、ゴルフクラブにおけるヘッドの軌跡を推定する第２推定手段と、
前記第２推定手段による推定結果と前記差分の関係性を算出し、算出結果を提示する第２提示手段と、
前記第２推定手段による推定結果と前記差分の関係性に基づいて、前記ユーザのつま先と前記クラブフェースの位置関係情報を調整する第３調整手段と、を備える、
請求項５に記載の情報処理装置。

【請求項8】

情報処理装置による情報処理方法であって、
ユーザによるゴルフスイング前のボール位置の飛球方向を受け付ける受付ステップと、
前記受付ステップにて受け付けた前記ボール位置の飛球方向に対応して、前記ユーザが携帯する撮像機器からの画像における目標方向の位置を特定する特定ステップと、
前記特定ステップにて特定した目標方向の位置に基づいて、前記ユーザのつま先とクラブフェースの位置関係情報を生成する生成ステップと、を備える、
情報処理方法。

【請求項9】

コンピュータを、
ユーザによるゴルフスイング前のボール位置の飛球方向を受け付ける受付手段、
前記受付手段により受け付けた前記ボール位置の飛球方向に対応して、前記ユーザが携帯する撮像機器からの画像における目標方向の位置を特定する特定手段、
前記特定手段により特定した目標方向の位置に基づいて、前記ユーザのつま先とクラブフェースの位置関係情報を生成する生成手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

ゴルフスイングを支援するシステムが知られている。例えば、特許文献１は、デジタルビデオカメラなどの撮影デバイスを用いて、ゴルフのスイングをしているプレイヤを撮影し、クラブヘッドの振り下ろし角度を基準角度と比較することにより、正しいスイングの把握を可能にするゴルフスイング解析システムを開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第７０１１０３０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術は、スイングの撮影に先立って、ユーザ端末の位置及び傾きを調整する必要がある。そのため、実際にゴルフグラウンドを持ち歩いて回るユーザにとって、利便性や実用性に乏しかった。

【0005】

この発明は、上記実状に鑑みてなされたものであり、ゴルフスイング支援の利便性や実用性を向上させる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る情報処理装置は、ユーザによるゴルフスイング前のボール位置の飛球方向を受け付ける受付手段と、前記受付手段により受け付けた前記ボール位置の飛球方向に対応して、前記ユーザが携帯する撮像機器からの画像における目標方向の位置を特定する特定手段と、前記特定手段により特定した目標方向の位置に基づいて、前記ユーザのつま先とクラブフェースの位置関係情報を生成する生成手段と、を備える。

【発明の効果】

【0007】

本発明によれば、ゴルフスイング支援の利便性や実用性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る頭部装置及び外部装置の構成例を示す図である。

【図2】実施形態に係る頭部装置の装着例を示す図である。

【図3】実施形態に係る頭部装置における投影部の動作例を示す図である。

【図4】実施形態に係る支援情報投影処理の一例を示すフローチャートである。

【図5】実施形態に係る目標方向受付画面について、（Ａ）表示開始例、（Ｂ）目標方向設定例を、それぞれ示す図である。

【図6】実施形態に係るアドレス時画像の一例を示す図である。

【図7】実施形態に係る適正位置の投影例を示す図である。

【図8】変形例に係る目標位置と飛球位置の差分が設定された一例を示す図である。

【図9】変形例に係るゴルフスイングにおける複数のフェーズを示す図である。

【図10】変形例に係るグラフ表示例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図１に示すように、本発明の実施形態として、頭部装置１００と、外部装置２００と、を備えたゴルフスイングの支援システムが構成される。頭部装置１００は、ユーザであるプレイヤの頭部に装着することにより、ユーザが携帯する撮像機器、及び、ユーザが装着する投影機器、これらを組み合わせた端末装置の一例として機能する。例えば、頭部装置１００は、ゴルフスイングを行うプレイヤの側頭部に装着されるように、耳掛け方式、メガネ方式、帽子装着方式、ヘッドセット方式、ヘッドバンド方式、帽子一体方式、その他に任意の装着方式を採用可能であればよい。図１に示す頭部装置１００は、制御部１１１と、記憶部１１２と、通信部１１３と、撮像部１１４と、投影部１１５とを備える。これら各部は、バスラインＢＬ１を介して接続される。

【0010】

制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）といったプロセッサを含んで構成可能である。プロセッサは、ＣＰＵに代えて、あるいは、ＣＰＵに加えて、ＭＰＵ（Micro-Processing Unit）、ＭＣＵ（Micro-Controller Unit）、これらの一方又は両方を含んで構成されてもよい。制御部１１１は、頭部装置１００において各種プログラムを実行して、ソフトウェアによる情報処理がハードウェアを用いて具体的に実現可能とする。記憶部１１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ、その他に任意の記憶機器を含んで構成可能である。記憶部１１２は、頭部装置１００において制御部１１１のプロセッサにより実行される各種プログラムや、各種処理に使用されるデータなどが格納される。

【0011】

通信部１１３は、無線周波数信号を送受信可能な通信用ＩＣ（Integrated Circuit）などを用いて構成可能である。通信部１１３は、アンテナ、増幅回路、チューナ、ＣＯＤＥＣ（Coder and Decoder）などを含んで構成可能であればよい。例えば、通信部１１３は、近距離無線通信機器、移動体通信ネットワーク、無線ＬＡＮ（Local Area Network）、その他の無線通信が可能な任意の装置やシステムと、電気通信ネットワークや伝送媒体を介して通信可能であり、所定の通信規約に従って無線信号を送受信可能であればよい。

【0012】

撮像部１１４は、頭部装置１００を装着したユーザであるプレイヤの視線方向と、ゴルフスイングによる理想的な飛球方向となる目標方向とを撮像可能な１又は複数のカメラを用いて構成される。一例として、撮像部１１４は、ユーザの視線方向を撮像可能な第１カメラ１１４Ａと、これに直交する方向を撮像可能な第２カメラ１１４Ｂとを含んで構成可能である。この場合に、第１カメラ１１４Ａは、ユーザがゴルフスイングのアドレスを決めたときに、ボール位置を含めたユーザの足元周辺を撮像できる第１画角を有する。第２カメラ１１４Ｂは、頭部装置１００を装着したユーザが右打ちである場合にユーザの左側方、すなわち、打ち出す方向を撮像可能とし、頭部装置１００を装着したユーザが左打ちである場合にユーザの右側方、すなわち、打ち出す方向を撮像可能とする。これにより、第２カメラ１１４Ｂは、ユーザがゴルフスイングのアドレスを決めたときに、ボールが打ち出される目標方向を含めたゴルフコースの前方周辺を撮像できる第２画角を有する。

【0013】

投影部１１５は、レーザーを用いたポインターあるいはプロジェクター、その他に任意の光線や画像を投影可能な光学機器を含んで構成可能であればよい。例えば、ラインレーザーによるレーザーポインターを用いて構成された投影部１１５は、頭部装置１００の本体に対して所定方向に回転可能とするアクチュエータを含む。この場合、頭部装置１００の本体において、第１カメラ１１４Ａの焦点からレンズに向かう方向をＸ軸とし、第２カメラ１１４Ｂのレンズから焦点に向かう方向をＺ軸とし、これらに垂直な方向をＹ軸としたときに、Ｙ軸周り及びＺ軸周りにレーザーポインターの出力器が回転可能となるように取り付けられている。

【0014】

外部装置２００は、頭部装置１００と同一のユーザが携帯可能であり、頭部装置１００よりも処理性能が高い情報処理装置であることが望ましい。例えば、外部装置２００は、スマートフォン、タブレット端末、ウェアラブル端末、その他に任意の情報処理装置であればよい。図１に示す外部装置２００は、制御部２１１と、記憶部２１２と、通信部２１３と、入力部２１４と、出力部２１５と、を備える。これら各部は、バスラインＢＬ２を介して接続される。

【0015】

制御部２１１は、制御部１１１と同様のプロセッサを含んで構成可能である。なお、制御部２１１のプロセッサは、制御部１１１のプロセッサよりも処理性能が高いものであることが望ましい。制御部２１１のプロセッサは、ＣＰＵに加えて、ＧＰＵ（Graphics Processing Unit）、ＶＤＰ（Video Display Processor）、その他に任意のＤＳＰ（Digital Signal Processor）のいずれかを含んで構成されることにより、画像処理を高速に実行可能としてもよい。制御部２１１は、外部装置２００において各種プログラムを実行して、ソフトウェアによる情報処理がハードウェアを用いて具体的に実現可能とする。記憶部２１２は、記憶部１１２と同様の記憶機器を含んで構成可能である。記憶部２１２は、外部装置２００において制御部２１１のプロセッサにより実行される各種プログラムや、各種処理に使用されるデータなどが格納される。

【0016】

通信部２１３は、通信部１１３と同様の通信用ＩＣなどを用いて構成可能である。通信部２１３は、頭部装置１００の通信部１１３と無線通信又は有線通信を行い、画像データや制御データなどを伝送可能であればよい。また、通信部２１３は、ＧＰＳ（Global Positioning System）信号取得機能を有している。通信部２１３は、ＧＰＳ衛星から発せられた電波であるＧＰＳ信号を受信して、外部装置２００の現在位置を示す位置情報を生成可能である。なお、通信部２１３は、ＧＰＳ信号として、単一のＧＰＳ技術に対応した電波を受信可能であってもよいし、複数のＧＮＳＳ（Global Navigation Satellite System）技術に対応した電波を受信可能であってもよい。

【0017】

入力部２１４は、外部装置２００のユーザによる入力操作となる動作を検出して、検出結果に対応した入力情報を制御部２１１に供給する入力ユニットなどを用いて構成可能である。例えば、入力部２１４は、タッチパネルを含んで構成され、ユーザによる各種のタッチ操作となる動作を検出可能であればよい。また、入力部２１４は、ユーザによる押下操作を検出可能な押ボタンを用いたものであってもよい。入力部２１４は、カメラを用いて外部装置２００の周辺を撮像して生成された画像データを、制御部２１１に入力可能であってもよく、記憶部２１２に記憶可能であってもよい。

【0018】

出力部２１５は、各種の情報を出力する出力ユニットなどを用いて構成可能である。例えば、出力部２１５は、液晶ディスプレイであるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイといった表示ユニットを用いて、情報を表示により出力可能であればよい。

【0019】

次に、外部装置２００が備える制御部２１１の機能的構成について説明する。制御部２１１は、記憶部２１２のＲＯＭに記憶された制御プログラムを読み出してＲＡＭをワークエリアとして用いることにより、目標方向受付部２２１、画像データ取得部２２２、画像データ処理部２２３、支援情報生成部２２４、制御指令供給部２２５として機能する。

【0020】

目標方向受付部２２１は、ユーザによるゴルフスイング前のボール位置の飛球方向を、目標方向とするために受け付ける。この場合、入力部２１４のカメラにより、あるいは、頭部装置１００が備える撮像部１１４の第１カメラ１１４Ａ又は第２カメラ１１４Ｂにより、目標方向とするための飛球方向を含めたボールの飛球予定領域を撮像し、取得された画像データを用いて、目標方向の受け付けを可能にする。画像データから目標方向を定める場合に、特徴点を用いた画像マッチングを行う。より具体的に、特徴点の選択では、方向だけでなく、飛球予定方向の中心点やその周囲の特徴点をもとに、画像マッチングを行い、方向を定めればよい。目標方向受付部２２１は、受付手段の一例となる。

【0021】

画像データ取得部２２２は、通信部２１３を制御することにより、撮像機器としての頭部装置１００から撮像画像を示す画像データを取得する。頭部装置１００からの撮像画像は、撮像部１１４の第１カメラ１１４Ａにより撮像された第１画像、撮像部１１４の第２カメラ１１４Ｂにより撮像された第２画像、これらの一方又は両方を含んでいればよい。すなわち、処理内容に対応して、取得する画像データを選択可能であればよい。画像データ取得部２２２は、頭部装置１００から取得した画像データに対応する第１画像や第２画像を、画像データ処理部２２３に供給する。

【0022】

画像データ処理部２２３は、画像データ取得部２２２により取得された画像データを用いて、テンプレートによるパターンマッチング、エッジ検出又はハフ変換による形状検出、ＳＩＦＴ（Scale-Invariant Feature Transform）といったシフトインバリアントなアルゴリズムによる画像マッチングや物体認識、これらの一部又は全部を含んだ任意の画像認識処理を実行する。その他にも、画像データ処理部２２３は、各種の画像データを用いて、画像の解析、編集、加工、生成など、任意の画像処理を実行可能であればよい。

【0023】

例えば、画像データ処理部２２３は、頭部装置１００から取得された画像データに対応する撮像画像のうち、第１カメラ１１４Ａにより撮像された第１画像におけるボール位置、クラブフェース位置、ユーザのつま先位置など、ゴルフスイング前のアドレス決定に対応した複数種類の位置を特定する。また、画像データ処理部２２３は、頭部装置１００から取得された画像データに対応する撮像画像のうち、第２カメラ１１４Ｂにより撮像された第２画像における目標方向の位置など、ゴルフスイング前に受け付けたボール位置の飛球方向に対応した位置を特定する。画像データ処理部２２３は、特定手段の一例となる。

【0024】

支援情報生成部２２４は、ユーザのゴルフスイングを支援する情報として、ユーザのつま先とクラブフェースの位置関係情報などを生成する。この場合に、画像データ処理部２２３の画像認識処理により特定した第２画像における目標方向の位置に基づいて、位置関係情報を生成する。記憶部２１２には、画像データ処理部２２３の画像認識処理により特定した第２画像における目標方向の位置に対応して、位置関係情報を生成するための素材データが記憶されている。支援情報生成部２２４は、目標方向の位置に対応した素材データを組み合わせたり、加工したりすることにより、投影イメージを含めた位置関係情報を生成する。支援情報生成部２２４は、生成手段の一例となる。

【0025】

制御指令供給部２２５は、支援情報生成部２２４により生成された情報に基づいて、各種動作の制御指令を頭部装置１００に対して供給する。例えば、支援情報生成部２２４により生成された位置関係情報に対応して、ユーザのつま先とクラブフェースの適正位置を投影するための制御指令が、通信部２１３を用いた通信により頭部装置１００へと供給される。この制御指令は、投影イメージを示す画像データが含まれてもよい。頭部装置１００の制御部１１１は、外部装置２００から供給された制御指令に対応して、投影部１１５のレーザーポインターなどを制御することにより、適正位置を示す投影イメージが含まれる位置支援画像を、ユーザのつま先位置やボール位置及びゴルフクラブ位置の周辺を含めた地面に照射させる。

【0026】

図２に示す頭部装置１００の装着例において、撮像部１１４の第１カメラ１１４Ａは、プレイヤであるユーザがゴルフスイング前のアドレスを決めたときに、ユーザの視線方向に対応した第１画角を有し、ユーザの足元周辺を撮像可能になる。このとき、撮像部１１４の第２カメラ１１４Ｂは、第１カメラ１１４Ａに対して直交する方向に配置されて第２画角を有することにより、ゴルフスイング後の飛球予定領域となるゴルフコースの前方周辺を撮像可能になる。また、投影部１１５は、ユーザの足元周辺を含めたグランド面に投影イメージを照射することで、プレイヤであるユーザのつま先とクラブフェースの適正位置、ボールの目標方向など、ゴルフスイングの支援情報に対応した投影動作を行う。

【0027】

図３に示す頭部装置１００における投影部１１５の動作例において、例えば、投影部１１５のレーザーポインターは、アクチュエータにより回転可能に駆動される。この場合に、投影部１１５のレーザーポインターは、矢印Ａ０１が示すＹ軸周りの第１回転範囲と、矢印Ａ０２が示すＺ軸周りの第２回転範囲にて、回転可能であればよい。なお、頭部装置１００の本体において、長辺方向をＸ軸とし、短辺方向をＹ軸とし、ボールが打ち出される目標方向をＺ軸としている。

【0028】

次に、図４を参照して、本発明の実施形態に係る支援情報投影処理を説明する。支援情報投影処理は、頭部装置１００と外部装置２００が通信可能な状況にて開始され、まず、ユーザのゴルフスイングにより打ち出すボールの目標方向を受け付ける（ステップＳ１０１）。この目標方向は、ユーザによるゴルフスイング前のボール位置の飛球方向により定められる。ユーザは、ゴルフスイングの動作に入る前に、図５に示すような目標方向受付画面において、ボール位置の目標方向とするための飛球方向を設定する。目標方向受付画面は、撮像により取得された画像データを用いて、目標方向とするための飛球方向を受付可能にする。この場合、撮像により画像データを取得する例として、頭部装置１００が備える撮像部１１４の第１カメラ１１４Ａを用いる第１取得例、頭部装置１００が備える撮像部１１４の第２カメラ１１４Ｂを用いる第２取得例、外部装置２００が備える入力部２１４のカメラを用いる第３取得例、これらの一部又は全部が含まれてもよい。

【0029】

第１取得例において、ユーザはゴルフコースの前方側に正対することで、ユーザの視線方向に対応した第１カメラ１１４Ａの撮像による画像データを、通信部１１３から外部装置２００へと伝送する。第２取得例において、ユーザはゴルフスイングを行うアドレス位置でボール側に正対することで、ユーザの左側方に対応した第２カメラ１１４Ｂの撮像による画像データを、通信部１１３から外部装置２００へと伝送する。これらの第１取得例及び第２取得例において、外部装置２００では、通信部２１３の通信により取得した画像データが制御部２１１に供給される。第３取得例において、ユーザは外部装置２００を把持するなどして、入力部２１４のカメラをゴルフコースの前方側に向ける。このとき、入力部２１４のカメラの撮像による画像データは、制御部２１１に入力される。

【0030】

これらの画像データは、制御部２１１の画像データ取得部２２２により取得される。また、制御部２１１の画像データ処理部２２３は、画像データ取得部２２２により取得された画像データを用いて画像処理を実行することで、出力部２１５の表示ユニットに、撮像結果となる目標領域画像を含めた目標方向受付画面を表示させる。このとき、図５（Ａ）に示すゴルフコースの画像表示Ｂ０１とともに、目標方向を設定するためのアイコン表示Ｃ０１と、目標方向の設定を完了するための決定ボタン表示Ｃ０２と、を付加する。図５（Ｂ）に示すように、ユーザは、外部装置２００の入力部２１４において、タッチパネルなどに対する指Ｄ０１を用いた入力操作を行い、アイコン表示Ｃ０１のスライド操作などにより位置を変更可能であればよい。

【0031】

アイコン表示Ｃ０１により目標方向を示しているときに、決定ボタン表示Ｃ０２のタップ操作などに対応して、目標方向の設定が完了する。決定ボタン表示Ｃ０２を用いる場合の他に、頭部装置１００に設けられた押下ボタンに対する押下操作が検出された場合や、頭部装置１００を装着したユーザの頷く動作が撮像部１１４の撮像結果から検出された場合に、目標方向の設定が完了してもよい。ユーザの頷く動作が検出された場合の他に、目標方向設定完了動作として予め設定された動作が検出された場合に、目標方向の設定が完了してもよい。制御部２１１の目標方向受付部２２１は、目標方向の設定が完了した場合に、ゴルフコースの画像表示Ｂ０１及びアイコン表示Ｃ０１を含めた画像データを、受付データとして画像データ処理部２２３に供給する。このようにして、ユーザによるゴルフスイング前のボール位置の飛球方向を、目標方向とするために受け付ける。

【0032】

図４のステップＳ１０１によりボール位置における目標方向を受け付けた後に、アドレス動作判定を行う（ステップＳ１０２）。アドレス動作判定は、ユーザがゴルフスイングを行う場合にアドレスを決める動作が行われたか否かの判定である。この場合に、外部装置２００の制御部２１１は、画像データ取得部２２２により、頭部装置１００が備える撮像部１１４の第１カメラ１１４Ａから撮像画像を示す画像データを取得する。画像データ処理部２２３は、画像データ取得部２２２により取得した画像データを用いて、アドレス動作が行われたか否かを判定する。例えば、画像データ処理部２２３は、ユーザの足のつま先と、ボールと、クラブフェースとが静止して、１秒といった予め設定された静止判定時間が経過した場合に、アドレス動作が行われたと判定する。あるいは、画像データ処理部２２３は、クラブフェースで地面を２回叩く動作が検出された場合に、アドレス動作が行われたと判定する。その他に、予め設定された任意のアドレス判定動作が検出された場合に、アドレス動作が行われたと判定してもよい。

【0033】

ステップＳ１０２に続いて、アドレス時の画像データを取得する（ステップＳ１０３）。このとき、外部装置２００の制御部２１１は、画像データ取得部２２２により、頭部装置１００が備える撮像部１１４の第１カメラ１１４Ａ及び第２カメラ１１４Ｂから撮像画像を示す画像データを取得する。画像データ処理部２２３は、画像データ取得部２２２により取得した画像データを用いて、支援条件が成立したか否かを判定する。支援条件は、第１画像に対応した第１支援条件と、第２画像に対応した第２支援条件と、を含む。第１支援条件は、第１カメラ１１４Ａによる第１画像の撮像範囲内において、ユーザの足のつま先、ボール、クラブフェース、これらを検出できた場合に成立する。これらを画像認識により検出する方法は、物体認識による自動検出であってもよい。あるいは、つま先、ボール、クラブフェース、それぞれに対応して用意されたシールを貼付して、画像内におけるシールの色や模様が充足したことを検出してもよい。

【0034】

第２支援条件は、第２カメラ１１４Ｂによる第２画像の撮像範囲内に、ステップＳ１０１で受け付けた目標方向が含まれている場合に成立する。これを画像認識により検出する方法は、ステップＳ１０３にて取得した画像データを、ステップＳ１０１において取得された画像データと比較照合して、同一又は類似のエッジを検出してもよい。例えば図６に示すアドレス時画像Ｇ０１は、ユーザのゴルフスイング前のアドレス動作に対応して、所定の傾きを含む。画像データ処理部２２３は、第２画像の傾き調整を含めた画像マッチングにより、第２画像の撮像範囲内に含まれた目標位置を検出すればよい。また、ステップＳ１０１にて、第１取得例の第１カメラ１１４Ａ、又は、第３取得例の外部装置２００の入力部２１４におけるカメラを用いて、ボールの目標方向を受け付けた場合、アイコン表示Ｃ０１の周辺で画像を切り抜き、第２画像の傾き調整を含めた画像マッチングにより、目標位置を検出して設定すればよい。

【0035】

ステップＳ１０３における支援条件の成立に対応して、適正位置の推定を行う（ステップＳ１０４）。外部装置２００の制御部２１１において、画像データ処理部２２３は、ステップＳ１０３において画像データ取得部２２２により取得した画像データに基づいて、適正位置の推定を行う。この推定結果を用いて、支援情報生成部２２４によりゴルフスイングの支援情報となる位置関係情報を生成する。この場合、第１カメラ１１４Ａによる第１画像及び第２カメラ１１４Ｂによる第２画像のマッチングを行う。例えば、画像データ処理部２２３は、ステップＳ１０３により取得した画像データのうち、第２カメラ１１４Ｂからの画像データを用いて、第２画像における目標方向となる飛球方向の位置を特定する。第１カメラ１１４Ａは、第２カメラ１１４Ｂに対して直交する方向に配置されているという特定位置関係にある。この特定位置関係により、第１カメラ１１４Ａにより撮像された第１画像内において、目標方向に対応した直線Ｌ１０を推定して引くことができる。このとき、直線Ｌ１０は、第１画像内においてボールの中心位置を通るように重畳される。これにより、第１画像における目標方向の位置を特定する。

【0036】

本実施形態において、目標方向に対してクラブフェースが垂直となることで、適正位置になるとする。この場合、第１カメラ１１４Ａにより撮像された第１画像内において、ステップＳ１０３でも検出されたユーザの足のつま先に対して、右打ちの場合に左足のつま先を基準に、直線Ｌ１０と平行な直線Ｌ１１を引く。左打ちの場合に右足のつま先を基準に、直線Ｌ１０と平行な直線Ｌ１１を引く。これにより、ユーザのつま先の正しい位置を推定する。そして、第１カメラ１１４Ａにより撮像された第１画像内において、ステップＳ１０３でも検出されたクラブフェースの中心位置から、直線Ｌ１０，Ｌ１１に対して垂直な直線Ｌ１２を引く。こうして、クラブフェースの正しい向きを推定する。支援情報生成部２２４は、これらの推定により特定されたユーザのつま先とクラブフェースの位置関係情報を生成することができる。

【0037】

ステップＳ１０４による推定の後に、適正位置の投影を行う（ステップＳ１０５）。外部装置２００の制御部２１１において、制御指令供給部２２５は、ステップＳ１０４において支援情報生成部２２４により生成された位置関係情報に対応して、ユーザのつま先とクラブフェースの適正位置を投影するための制御指令を作成する。作成された制御指令は、通信部２１３を用いた通信により頭部装置１００へと供給される。頭部装置１００の制御部１１１は、制御指令に対応した投影部１１５の制御により、ゴルフスイングのアドレス時に、ユーザのつま先とボールの位置、クラブフェースの向き、これらの適正位置を示す投影イメージが含まれる位置関係情報を、地面に照射させて可視化する。位置支援情報は、ステップＳ１０４により生成された後、直ちに作成された制御指令に対応して照射されればよい。

【0038】

図７に示す適正位置の投影例は、ユーザの左足のつま先位置Ｐ０１、ユーザの右足のつま先位置Ｐ０２、ボール位置Ｐ１０、クラブフェース位置Ｐ１１を含んでいる。これらに対し、目標方向に対応した直線Ｌ１０は、ボール位置Ｐ１０にてボールの中心を通るように投影される。直線Ｌ１０と平行な直線Ｌ１１は、ユーザの左足のつま先位置Ｐ０１を通るように投影される。直線Ｌ１０及び直線Ｌ１１に対して垂直な直線Ｌ１２は、クラブフェース位置Ｐ１１にてクラブフェースの中心を通るように投影される。直線Ｌ１２は、目標方向に対応した直線Ｌ１０と垂直になることから、クラブフェースと直線Ｌ１２が平行、すなわち、クラブフェースと目標方向が垂直となることで、適正位置となる。

【0039】

ゴルフスイングのアドレスについて適正位置を可視化する方式としては、アライメントスティックを地面に設置したりゴルフクラブやユーザの身体に装着したりするもの、あるいは、カメラ撮影等によるゴルフショット後のスイング解析を行うものなどが知られている。これらの方式は、設置と回収の作業が必要になり、ゴルフグラウンドにおけるプレイ中には実施することが困難である。また、ゴルフショット後のスイング解析は、ゴルフスイングのアドレス時に適正位置を提示することができない。これに対し、本発明の頭部装置１００及び外部装置２００によれば、設置と回収の作業が不要になり、ゴルフグラウンドにおけるプレイ中でもアドレス時に適正位置を手軽に提示することができる。

【0040】

図４に示された支援情報投影処理のステップＳ１０４では、第１画像内において直線Ｌ１０により目標方向を推定する場合に、予め蓄積された飛球情報を用いて、ユーザの入力操作により設定された目標位置と、ユーザによるゴルフスイング後のボール位置である飛球位置との差分を統計量として算出することで、支援情報生成部２２４によりユーザのつま先とクラブフェースの位置関係情報を調整する第１調整手段が構成されてもよい。目標位置と飛球位置の差分を算出して記録する差分統計処理は、例えば外部装置２００の記憶部２１２に予め記憶された画像データを読み出して、対応するゴルフ場マップの画像を出力部２１５の表示ユニットにより表示し、打球目標位置の座標を取得する。また、外部装置２００の制御部２１１は、通信部２１３により受信したＧＰＳ信号を用いて、目標設定時の位置情報を取得する。打球目標位置を設定したユーザは、その位置にてゴルフスイングを行い、ボールのショットを実施する。このショット後に、飛球位置まで移動する。飛球位置まで移動すると、通信部２１３により受信したＧＰＳ信号を用いて、実打飛球後の位置情報を取得する。この場合に、目標設定時の位置情報と打球目標位置の設定内容に基づいて、飛距離、方向性などの差分を算出し、算出結果を飛球情報として記憶部２１２に記憶させる。

【0041】

図８に一例を示すゴルフ場マップＭ０１において、打球目標位置Ｓ０１までの距離に対応した線分Ｔ０１が設定され、ユーザによるゴルフスイング後のボール位置を示す実打飛球位置Ｓ０２までの距離に対応した線分Ｔ０２が取得される。そして、線分Ｔ０１及び線分Ｔ０２の方向性における差分Ｅ０を取得することができる。なお、距離の算出には高低差も加味する。風向や風速などを測定可能であれば反映させてもよい。打球目標位置Ｓ０１に対応した線分Ｔ０１が木々や池などの障害物を含む方向に設定された場合、画像データ処理部２２３は、目標方向に対する迂回打球ルートを、出力部２１５の表示ユニットなどにより提示してもよい。また、支援情報生成部２２４は、迂回打球ルートに基づいて、ユーザのつま先とクラブフェースの位置関係情報を調整してもよい。

【0042】

頭部装置１００が備える撮像部１１４により、ユーザのゴルフスイング中における画像を連続で取得して、頭部位置の推定を行うようにしてもよい。このような頭部位置を推定する位置推定処理は、頭部装置１００と外部装置２００が通信可能な状態において、図４のステップＳ１０２と同様の判定に対応して実行が開始され、頭部装置１００が備える撮像部１１４の第１カメラ１１４Ａを用いて、ゴルフスイングのアドレス時における画像データを取得する。このとき、初期位置として、例えば、第１カメラ１１４Ａにより取得された第１画像内において、ボールの位置、大きさなどを記録する。ボールの位置は、左右上下の変位検知用として記録される。ボールの大きさは、深度検知用として記録される。

【0043】

図９に示すように、位置推定処理により頭部位置の推定を行うために、ユーザのゴルフスイングにおける複数のフェーズＸ０１～Ｘ１０に対応した画像を連続して取得する。このうち、第１フェーズＸ０１は、アドレス動作が行われた段階である。第２フェーズＸ０２は、バックスイングが開始されてゴルフクラブのシャフトが水平になった段階である。第３フェーズＸ０３は、バックスイングが進行して右腕が水平になった段階である。第４フェーズＸ０４は、バックスイングがトップの位置に到達して完了した段階である。第５フェーズＸ０５は、ダウンスイングが開始されて右腕が水平になった段階である。第６フェーズＸ０６は、ダウンスイングが進行してゴルフクラブのシャフトが水平になった段階である。第７フェーズＸ０７は、クラブフェースがボールに当たるインパクトの段階である。第８フェーズＸ０８は、フォロースルーが開始されてゴルフクラブのシャフトが水平になった段階である。第９フェーズＸ０９は、フォロースルーが進行して左腕が水平になった段階である。第１０フェーズＸ１０は、ゴルフスイングの全体が完了したフィニッシュの段階である。

【0044】

このような複数のフェーズＸ０１～Ｘ１０に対応して取得した画像を用いて、初期位置におけるボールの位置、大きさのズレを算出し、それぞれの段階で頭部位置の移動量を推定する。この推定結果と、飛球情報を組み合わせることにより、ユーザの頭部位置と飛球方向の関係性を算出してもよい。飛球方向は、ユーザの入力操作により設定された目標位置と、ユーザのゴルフスイング後のボール位置との差分であってもよい。例えば、第７フェーズＸ０７のインパクトにおける頭部角度Ｈ０に対して、目標方向と飛球方向のズレに対応する差分Ｅ０の関係性を算出し、グラフ化して図示してもよい。図１０に示すグラフ表示例Ｙ０１は、頭部位置の移動量の推定結果と飛球情報の組合せにより、頭部角度Ｈ０と、差分Ｅ０との算出結果を提示する。

【0045】

その他の段階についても同様に関係性を特定して、頭部角度Ｈ０の変化が開始したタイミングと差分Ｅ０や飛距離との関係性を算出し、グラフ化して図示してもよい。ユーザの頭部位置と飛球方向あるいは差分Ｅ０の関係性に基づいて、ユーザのつま先とクラブフェースの位置関係情報を調整してもよい。外部装置２００の制御部２１１において、画像データ取得部２２２は、ユーザのゴルフスイング中における複数のフェーズに対応した画像を、連続して取得する画像取得手段の一例となればよい。画像データ処理部２２３は、画像データ取得部２２２により連続的に取得された画像を用いて、ユーザの頭部位置を推定する第１推定手段の一例となればよい。支援情報生成部２２４は、画像データ処理部２２３により推定されたユーザの頭部位置と飛球方向あるいは差分Ｅ０の関係性を算出し、算出結果を出力部２１５の表示ユニットなどにより提示する第１提示手段の一例となればよい。また、支援情報生成部２２４は、画像データ処理部２２３により推定されたユーザの頭部位置と飛球方向あるいは差分Ｅ０の関係性に基づいて、ユーザのつま先とクラブフェースの位置関係情報を調整する第２調整手段の一例となればよい。

【0046】

頭部装置１００が備える撮像部１１４により、ユーザのゴルフスイング中における画像を連続で取得して、ゴルフクラブの軌跡であるクラブ軌跡の推定を行うようにしてもよい。このようなクラブ軌跡を推定する軌跡推定処理は、位置推定処理と同様に実行が開始され、頭部装置１００が備える撮像部１１４の第１カメラ１１４Ａを用いて、アドレス時の画像データを取得する。このとき、ゴルフクラブの初期位置として、クラブフェースを物体認識やハフ変換により検出する。この検出結果は、位置推定処理の初期位置とともに記録される。次に、位置推定処理と同様に、複数のフェーズＸ０１～Ｘ１０に対応した画像を連続して取得する。この画像を用いて、頭部位置の変化量を推定し、外部パラメータを用いて、頭部位置の移動による画像の位置変化を補償する。この場合に、第７フェーズＸ０７のインパクト時を基準として、位置合わせを行う。その後に、各画像のフレーム間差分等により、ゴルフクラブにおけるヘッドの軌跡を推定する。この推定結果と、飛球情報を組み合わせることにより、クラブ軌跡と飛球方向の関係性を算出してもよい。例えば、クラブ軌跡の推定結果に対して、目標方向と飛球方向のズレに対応する差分Ｅ０の関係性を算出し、グラフ化して図示してもよい。クラブ軌跡と飛球方向あるいは差分Ｅ０の関係性に基づいて、ユーザのつま先とクラブフェースの位置関係情報を調整してもよい。第７フェーズＸ０７のインパクト時を含めた前後の連続画像によりクラブ軌跡を推定して、ボールのインパクト位置、スピード、左右角度、また、クラブフェースの角度、スピードなどを推定可能にしてもよい。例えば、クラブヘッドの形状を検出するための検出用方形領域の中心を算出して補間することにより、第７フェーズＸ０７であるインパクト時の付近におけるクラブ軌跡を推定する。検出用方形領域において、エッジ検出、ハフ変換などにより、クラブヘッドのトップラインとなるクラブフェースの上方における輪郭線、リーディングエッジとなるクラブフェースの下方における輪郭線などを検出して、クラブフェースの角度を推定してもよい。

【0047】

外部装置２００の制御部２１１において、画像データ処理部２２３は、画像データ取得部２２２により連続的に取得されたユーザのゴルフスイング中における複数のフェーズに対応した画像を用いて、ゴルフクラブにおけるヘッドの軌跡を含めたクラブ軌跡を推定する第２推定手段の一例となればよい。支援情報生成部２２４は、画像データ処理部２２３により推定されたクラブ軌跡と飛球方向あるいは差分Ｅ０の関係性を算出し、算出結果を出力部２１５の表示ユニットなどにより提示する第２提示手段の一例となればよい。また、支援情報生成部２２４は、画像データ処理部２２３により推定されたクラブ軌跡と飛球方向あるいは差分Ｅ０の関係性に基づいて、ユーザのつま先とクラブフェースの位置関係情報を調整する第３調整手段の一例となればよい。

【0048】

本発明は、頭部装置１００をユーザが装着し、外部装置２００の位置設定なども不要であるので、使用状況が限定されることなく、目標に対して正しいアドレス姿勢を可視化し、インパクト時のクラブやボールの軌道を提示することができる。また、打球目標位置と実打飛球位置の差分を示す飛球情報を用いて適切なアドレス位置を提示し、ゴルフスイング中における頭部位置やクラブ軌跡の推定結果などから飛球方向との関係性を算出する。これにより、個人差が生じやすいゴルフスイングの傾向や改善点を認識しやすくして、ユーザのゴルフスイングを適切に支援することができる。

【0049】

頭部装置１００が備える撮像部１１４は、第１カメラ１１４Ａ及び第２カメラ１１４Ｂを含んで構成されるものに限定されず、例えば魚眼レンズを用いたパノラマ撮影が可能なカメラといった、広い画角を有する１のカメラにより構成されてもよい。第１カメラ１１４Ａと第２カメラ１１４Ｂの位置関係は、直交する方向に限定されず、特定位置関係として予め設定された任意の位置関係であればよい。

【0050】

図４に示された支援情報投影処理のステップＳ１０４にて適正位置を推定する場合に、ゴルフクラブの種類、目標位置までの距離、ボールのライ、アドレス位置の傾斜、風向、風速、打球の球筋（スライス、フェード、ドロー、フック）、これらの一部又は全部など、任意の条件を設定可能とし、各条件に対応して推定結果を調整してもよい。図７に示された適正位置の投影例において、直線Ｌ１１は直線Ｌ１０と平行でなくてもよく、直線Ｌ１２は直線Ｌ１０，Ｌ１１と垂直でなくてもよく、各条件に対応して調整された推定結果が投影されてもよい。第２直線の一例となる直線Ｌ１１は、第１直線の一例となる直線Ｌ１０と平行又は０°以外の第１角度を有するように設定されてもよい。第３直線の一例となる直線Ｌ１２は、第１直線の一例となる直線Ｌ１０及び第２直線の一例となる直線Ｌ１１と垂直又は９０°以外の第２角度を有するように設定されてもよい。

【0051】

画像データを用いた形状や位置の認識、方向や位置その他の関係性の推定や決定は、一部又は全部が機械学習による学習済みモデルを用いて実行可能であってもよい。学習済みモデルは、任意の機械学習モデルを用いた機械学習により得られたものでよい。学習済みモデルは、例えば、ユーザの入力操作により受け付けた目標方向、ゴルフクラブの種類、飛距離、飛球位置、撮像画像、これらの一部又は全部を含めた任意のゴルフスイングに関する情報の機械学習により生成される。このような学習済みモデルに対して、ユーザの入力操作により受け付けた目標方向や撮像画像を含めた入力情報を供給することによって、ユーザのつま先とクラブフェースの位置関係情報を生成可能とすればよい。

【0052】

上記実施形態では、画像データの処理などに高い処理性能が必要になるため、頭部装置１００の他に外部装置２００を用いている。これに対し、十分な処理性能が得られる場合であれば、外部装置２００の機能は、頭部装置１００に統合されてもよい。このように、頭部装置１００及び外部装置２００の機能は、単一の情報処理装置として実現されてもよいし、相互に通信可能に接続された複数の情報処理装置として実現されてもよい。画像データや素材データ、算出結果データ、推定結果データは、外部装置２００の記憶部２１２に全部が記憶されてもよいし、一部又は全部が電気通信ネットワークを介して外部の記憶機器に記憶され、通信部２１３を用いた通信処理により取得可能であってもよい。

【0053】

頭部装置１００及び外部装置２００は、制御部１１１、２１１が記憶部１１２、２１２に記憶された制御プログラムを実行するものに限定されず、例えば、一部又は全部の制御プログラムにより実現された機能的な構成を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路を用いたハードウェアにより実現してもよい。

【0054】

頭部装置１００及び外部装置２００を構成する情報処理装置の少なくとも一部は、プロセッサを用いたコンピュータとして、クラウド上に設けられた処理ユニットで実現してもよい。例えば、外部装置２００の制御部２１１において、画像データ処理部２２３による画像処理の一部又は全部は、制御部２１１が記憶部２１２に記憶された制御プログラムを実行することにより実現されるものに限定されず、プログラムそのものとして実現されてもよく、そのプログラムが記録された記録媒体として実現してもよい。

【0055】

上記実施形態は例示であり、本発明はこれらに限定されるものではなく、特許請求の範囲に記載した発明の趣旨を逸脱しない範囲でさまざまな実施形態が可能である。実施形態や変形例で記載した構成要素は自由に組み合わせることが可能である。また、特許請求の範囲に記載した発明と均等な発明も本発明に含まれる。加えて、特許請求の範囲に記載した発明の構成要素は、上記実施形態に記載した構成要素と同一名称であるとしても、上記実施形態に記載した構成要素そのものに限定されず、適宜、変形あるいは応用が可能である。

【符号の説明】

【0056】

１００…頭部装置、１１１，２１１…制御部、１１２，２１２…記憶部、１１３，２１３…通信部、１１４…撮像部、１１４Ａ…第１カメラ、１１４Ｂ…第２カメラ、１１５…投影部、２００…外部装置、２１４…入力部、２１５…出力部、２２１…目標方向受付部、２２２…画像データ取得部、２２３…画像データ処理部、２２４…支援情報生成部、２２５…制御指令供給部、Ｐ０１，Ｐ０２…つま先位置、Ｐ１０…ボール位置、Ｐ１１…クラブフェース位置、Ｌ１０～Ｌ１２…直線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】