特開 2024-52309 画像処理装置、画像処理方法、画像処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024052309

(43)【公開日】2024-04-11

(54)【発明の名称】画像処理装置、画像処理方法、画像処理システムおよびプログラム

(51)【国際特許分類】

   A63B 69/36 20060101AFI20240404BHJP

   G06T 7/00 20170101ALI20240404BHJP

【ＦＩ】

A63B69/36 541W

G06T7/00 660B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022158946

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】592014104

【氏名又は名称】ブリヂストンスポーツ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186015

【弁理士】

【氏名又は名称】小松 靖之

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】柄谷 美緒

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096FA12

5L096FA64

5L096FA67

5L096FA69

(57)【要約】

【課題】被験者のスイング動作における被験者の身体の回転角度をより簡便に推定する。
【解決手段】
画像処理装置１０は、クラブ２のスイング動作を行う被験者１を撮影した動画像における、被験者１の身体の複数の代表点の位置を特定する位置特定部１３１と、位置特定部１３１により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、被験者１の身体の鉛直軸周りの回転角度を推定する角度推定部１３２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

クラブのスイング動作を行う被験者を撮影した動画像から、前記被験者の身体の鉛直軸周りの回転角度を推定する画像処理装置であって、
前記動画像における、前記被験者の身体の複数の代表点の位置を特定する位置特定部と、
前記位置特定部により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、前記被験者の身体の鉛直軸周りの回転角度を推定する角度推定部と、を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記動画像は、前記被験者を正面から撮像した動画像、または、前記被験者を飛球線方向から撮像した動画像である、画像処理装置。

【請求項3】

請求項１に記載の画像処理装置において、
前記位置特定部は、前記複数の代表点の位置として、前記被験者の身体において左右で対となる代表点の位置を特定する、画像処理装置。

【請求項4】

請求項１に記載の画像処理装置において、
前記位置特定部は、前記複数の代表点の位置として、前記被験者の上半身において左右で対となる代表点の位置、または、前記被験者の下半身において左右で対となる代表点の位置を特定する、画像処理装置。

【請求項5】

請求項１に記載の画像処理装置において、
前記位置特定部は、前記複数の代表点の位置として、前記被験者の上半身において左右で対となる代表点の位置、および、前記被験者の下半身において左右で対となる代表点の位置を特定し、
前記角度推定部は、前記被験者の上半身において左右で対となる代表点から定義したベクトルまたは代表点を繋ぐ線分の長さに基づき、前記被験者の上半身の回転角度を推定し、前記被験者の下半身において左右で対となる代表点から定義したベクトルまたは代表点を繋ぐ線分の長さに基づき、前記被験者の下半身の回転角度を推定し、前記推定した、前記被験者の上半身の回転角度と前記被験者の下半身の回転角度との差である捻転差を算出する、画像処理装置。

【請求項6】

請求項１に記載の画像処理装置において、
前記角度推定部は、前記スイング動作の期間における前記線分の基準長と、前記スイング動作の各時点における前記代表点から定義したベクトルまたは線分の長さの比に基づき、前記各時点における前記回転角度を推定する、画像処理装置。

【請求項7】

請求項１に記載の画像処理装置において、
前記角度推定部は、前記スイング動作の第１の期間における前記線分の基準長と、前記第１の期間内の各時点における前記代表点から定義したベクトルまたは線分の長さの比に基づき、前記各時点における前記回転角度を推定し、前記スイング動作の、前記第１の期間に続く第２の期間における前記線分の基準長と、前記第２の期間内の各時点における前記代表点から定義したベクトルまたは線分の長さの比に基づき、前記各時点における前記回転角度を推定する、画像処理装置。

【請求項8】

クラブのスイング動作を行う被験者を撮影した動画像から、前記被験者の身体の鉛直軸周りの回転角度を推定する画像処理装置により画像処理方法であって、
前記動画像における、前記被験者の身体の複数の代表点の位置を特定することと、
前記位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、前記被験者の身体の鉛直軸周りの回転角度を推定することと、を含む画像処理方法。

【請求項9】

クラブのスイング動作を行う被験者を撮像する端末と、前記端末により撮像された動画像から、前記被験者の身体の鉛直軸周りの回転角度を推定する画像処理装置とを備える画像処理システムであって、
前記画像処理装置は、
前記動画像における、前記被験者の身体の複数の代表点の位置を特定する位置特定部と、
前記位置特定部により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、前記被験者の身体の鉛直軸周りの回転角度を推定する角度推定部と、を備える画像処理システム。

【請求項10】

コンピュータを、請求項１に記載の画像処理装置として動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、画像処理システムおよびプログラムに関する。

【背景技術】

【0002】

ゴルフのスイングは、ボールを打撃するためにゴルファーの身体とクラブとを回転させて行う運動である。被験者（ゴルファー）によるスイング動作を評価する様々な手法が検討されている。

【0003】

被験者によるスイング動作を評価する手法の１つとして、光学式モーションキャプチャを用いる手法がある。この手法では、被験者の身体の複数の代表点にマーカを取り付けた状態で被験者のスイング動作を撮像し、撮像画像からマーカの位置、すなわち、被験者の身体の代表点の位置を特定して、スイング動作が評価される。

【0004】

また、特許文献１には、スイング動作を行う被験者を複数の撮像装置で異なる角度から撮像し、複数の撮像装置それぞれにより撮像された画像を用いて、被験者のスイング動作を評価する手法が記載されている。

【0005】

また、特許文献２には、スイング動作中の腰の動きを評価する手法の1つとして、被験者の身体に慣性センサを取り付けた状態でスイング動作を行うことで、被験者のスイング動作を評価する手法が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第４２９０４６２号

【特許文献2】特許第７０６９６６２号

【発明の概要】

【発明が解決しようとする課題】

【0007】

光学式モーションキャプチャを用いる手法では、計測前の事前のキャリブレーション、および、被験者の身体の代表点へのマーカの貼り付けなどの手間がかかる。また、この手法では、利用可能な場所がモーションキャプチャシステムを利用可能な場所に限定されてしまう。

【0008】

また、特許文献１に記載の手法では、計測前の事前のキャリブレーション、および、コントロールポイントを被験者と同時に写しこむなどの手間がかかる。また、この手法では、利用可能な場所が複数の撮像装置での撮像が可能な場所に限定されてしまう。

【0009】

また、特許文献２に記載の手法では、被験者の身体における計測対象の箇所に応じてセンサを取り付ける必要がある。

【0010】

このように、従来の手法には様々な制約があり、被験者のスイング動作における被験者の身体の回転角度をより簡便に推定可能な手法が求められていた。

【0011】

上記のような問題点に鑑みてなされた本開示の目的は、被験者のスイング動作における被験者の身体の回転角度をより簡便に推定することができる、画像処理装置、画像処理方法、画像処理システムおよびプログラムを提供することにある。

【課題を解決するための手段】

【0012】

（１） 本開示の一態様としての画像処理装置は、クラブのスイング動作を行う被験者を撮影した動画像から、前記被験者の身体の鉛直軸周りの回転角度を推定する画像処理装置であって、前記動画像における、前記被験者の身体の複数の代表点の位置を特定する位置特定部と、前記位置特定部により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、前記被験者の身体の鉛直軸周りの回転角度を推定する角度推定部と、を備える。
このような構成によれば、１台の撮像装置により撮像した動画像から、被験者の身体へのマーカあるいはセンサなどの取り付けおよび事前のキャリブレーションなどを行うことなく、スイング動作における被験者の身体の回転角度をより簡便に推定することができる。

【0013】

（２） （１）の画像処理装置において、前記動画像は、前記被験者を正面から撮像した動画像、または、前記被験者を飛球線方向から撮像した動画像である。
このような構成によれば、被験者を正面あるいは飛球線方向から見た、被験者の身体の回転角度を推定することができる。

【0014】

（３） （１）または（２）の画像処理装置において、前記位置特定部は、前記複数の代表点の位置として、前記被験者の身体において左右で対となる代表点の位置を特定する。
このような構成によれば、左右で対となる代表点に対応する被験者１の身体の部位の回転角度を推定することができる。

【0015】

（４） （１）から（３）のいずれかの画像処理装置において、前記位置特定部は、前記複数の代表点の位置として、前記被験者の上半身において左右で対となる代表点の位置、または、前記被験者の下半身において左右で対となる代表点の位置を特定する。
このような構成によれば、被験者の上半身または下半身において、左右で対となる代表点に対応する部位の回転角度を推定することができる。

【0016】

（５） （１）から（３）のいずれかの画像処理装置において、前記位置特定部は、前記複数の代表点の位置として、前記被験者の上半身において左右で対となる代表点の位置、および、前記被験者の下半身において左右で対となる代表点の位置を特定し、前記角度推定部は、前記被験者の上半身において左右で対となる代表点から定義したベクトルまたは代表点を繋ぐ線分の長さに基づき、前記被験者の上半身の回転角度を推定し、前記被験者の下半身において左右で対となる代表点から定義したベクトルまたは代表点を繋ぐ線分の長さに基づき、前記被験者の下半身の回転角度を推定し、前記推定した、前記被験者の上半身の回転角度と前記被験者の下半身の回転角度との差である捻転差を算出する。
このような構成によれば、被験者の上半身の回転角度と、被験者の下半身の回転角度との差である捻転差を算出することができる。

【0017】

（６） （１）から（５）のいずれかの画像処理装置において、前記角度推定部は、前記スイング動作の期間における前記代表点を繋いだ前記線分の基準長と、前記スイング動作の各時点における前記代表点から定義したベクトルまたは線分の長さの比に基づき、前記各時点における前記回転角度を推定する。
このような構成によれば、二次元的な画像から被験者の身体の回転角度を推定することができる。

【0018】

（７） （１）から（５）のいずれかの画像処理装置において、前記角度推定部は、前記スイング動作の第１の期間における前記線分の基準長と、前記第１の期間内の各時点における前記代表点から定義したベクトルまたは線分の長さの比に基づき、前記各時点における前記回転角度を推定し、前記スイング動作の、前記第１の期間に続く第２の期間における前記線分の基準長と、前記第２の期間内の各時点における前記代表点から定義したベクトルまたは線分の長さの比に基づき、前記各時点における前記回転角度を推定する。
このような構成によれば、回転角度の推定精度の向上を図ることができる。

【0019】

（８） 本開示の一態様としての画像処理方法は、クラブのスイング動作を行う被験者を撮影した動画像から、前記被験者の身体の鉛直軸周りの回転角度を推定する画像処理装置により画像処理方法であって、前記動画像における、前記被験者の身体の複数の代表点の位置を特定することと、前記位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、前記被験者の身体の鉛直軸周りの回転角度を推定することと、を含む。
このような構成によれば、１台の撮像装置により撮像した動画像から、被験者の身体へのマーカあるいはセンサなどの取り付けおよび事前のキャリブレーションなどを行うことなく、スイング動作における被験者の身体の回転角度をより簡便に推定することができる。

【0020】

（９） 本開示の一態様としての画像処理システムは、クラブのスイング動作を行う被験者を撮像する端末と、前記端末により撮像された動画像から、前記被験者の身体の鉛直軸周りの回転角度を推定する画像処理装置とを備える画像処理システムであって、前記画像処理装置は、前記動画像における、前記被験者の身体の複数の代表点の位置を特定する位置特定部と、前記位置特定部により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、前記被験者の身体の鉛直軸周りの回転角度を推定する角度推定部と、を備える。
このような構成によれば、１台の端末により撮像した動画像から、被験者の身体へのマーカあるいはセンサなどの取り付けおよび事前のキャリブレーションなどを行うことなく、スイング動作における被験者の身体の回転角度をより簡便に推定することができる。

【0021】

（１０） 本開示の一態様としてのプログラムは、コンピュータを（１）から（７）のいずれかの画像処理装置として動作させる。

【発明の効果】

【0022】

本開示に係る画像処理装置、画像処理方法、画像処理システムおよびプログラムによれば、被験者のスイング動作における被験者の身体の回転をより簡便に推定することができる。

【図面の簡単な説明】

【0023】

【図1】本開示の一実施形態に係る画像処理装置の構成例を示す図である。

【図2A】スイング動作を行う被験者を正面から撮像した状態を模式的に示す図である。

【図2B】スイング動作を行う被験者を飛球線方向から撮像した状態を模式的に示す図である。

【図3A】図１に示す位置特定部が特定する被験者の身体の代表点について説明するための図である。

【図3B】図１に示す位置特定部が特定するクラブの代表点について説明するための図である。

【図4】図１に示す位置特定部が特定する被験者の身体の代表点の一例を示す図である。

【図5】被験者のスイング動作による身体の回転を示す図である。

【図6】図１に示す角度推定部が推定する回転角度θについて説明するための図である。

【図7】アークコサインを用いた回転角度θの推定について説明するための図である。

【図8】一連のスイング動作における被験者の身体の回転の一例を示す図である。

【図9】図１に示す画像処理装置の動作の一例を示すフローチャートである。

【図10】本開示の一実施形態に係る画像処理システムの構成例を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施の形態について図面を参照して説明する。

【0025】

図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、図２Ａに示すような、クラブ２のスイング動作を行う被験者１を撮像装置により正面（飛球線方向と直交する方向）から撮影した動画像、あるいは、図２Ｂに示すような、クラブ２のスイング動作を行う被験者１を撮像装置により飛球線方向後方から撮影した動画像から、被験者１の身体の鉛直軸周りの回転角度θを推定するものである。

【0026】

図１に示すように、本実施形態に係る画像処理装置１０は、通信部１１と、記憶部１２と、制御部１３とを備える。

【0027】

通信部１１は、１つ以上の通信モジュールを含んで構成される。通信部１１は、例えば４Ｇ（4th Generation）、５Ｇ（5th Generation）などの移動体通信規格に対応する通信モジュールを含んでよい。通信部１１は、例えば、無線ＬＡＮ規格（一例としてＩＥＥＥ８０２．１１）に対応する通信モジュールを含んでよい。また、通信部１１は、例えば有線ＬＡＮ規格に対応する通信モジュールを含んでよい。

【0028】

記憶部１２は、１つ以上のメモリである。メモリは、例えば、半導体メモリ、磁気メモリ、または光メモリなどであるが、これらに限られず任意のメモリとすることができる。記憶部１２は、例えば、画像処理装置１０に内蔵されるが、任意のインターフェースを介して画像処理装置１０に外部からアクセスされる構成も可能である。

【0029】

記憶部１２は、制御部１３が実行する各種の処理において使用される各種のデータを記憶する。また、記憶部１２は、制御部１３が実行する各種の処理の結果および中間データを記憶してよい。

【0030】

制御部１３は、１つ以上のプロセッサである。プロセッサは、例えば、汎用のプロセッサ、または特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部１３は、画像処理装置１０の全体の動作を制御する。

【0031】

画像処理装置１０は、以下のようなソフトウェア構成を有してよい。画像処理装置１０の動作の制御に用いられる、本開示に係る１つ以上のプログラムが記憶部１２に記憶される。記憶部１２に記憶されたプログラムは、制御部１３のプロセッサによって読み込まれると、制御部１３を位置特定部１３１および角度推定部１３２として機能させる。

【0032】

位置特定部１３１は、クラブ２のスイング動作を行う被験者１を撮像した動画像が入力される。上述したように、動画像は、図２Ａに示すような、スイング動作を行う被験者１を正面から撮像した動画像、あるいは、図２Ｂに示すような、スイング動作を行う被験者１を飛球線方向後方から撮像した動画像である。このような動画像を用いることより、被験者１を正面あるいは側面（飛球線方向）から見た、被験者１の身体の鉛直軸周りの回転角度θを推定することができる。なお、動画像は、撮像装置と地面とが平行な状態で撮像されることが好ましい。また、動画像は、被験者１の全身が画角内に収まり、かつ、被験者１が画角の中心付近に存在する状態で撮像されることが好ましい。こうすることで、ひずみの少ない被験者１の像を得ることができ、推定精度の向上を図ることができる。

【0033】

位置特定部１３１は、入力された動画像における、被験者１の身体の複数の代表点の位置を特定する。ここで、特定される代表点の位置は、画像上の２次元の位置である。

【0034】

図３Ａは、位置特定部１３１が特定する、被験者１の身体の代表点の一例を示す図である。

【0035】

図３Ａに示すように、位置特定部１３１は、代表点の位置として、例えば、被験者１の頭頂部、左右耳珠点、左右肩、胸骨上縁（または両肩中点）、左右肘、左右手首、左右手、左右肋骨下端、左右肋骨下端中点、左右股関節（大転子）、左右膝関節、左右足関節、左右つま先あるいは左右踵の位置を特定する。特に、位置特定部１３１は、代表点の位置として、被験者１の身体において左右で対となる代表点（例えば、左右肩、左右股関節など）の位置を特定する。左右で対となる代表点の位置を特定することで、対となる代表点に対応する部位の回転角度θを推定することができる。

【0036】

位置特定部１３１は、被験者１の代表点の位置として、被験者１の上半身において左右で対となる代表点の位置、または、被験者１の下半身において左右で対となる代表点の位置を特定してよい。こうすることで、被験者１の上半身または下半身において左右で対となる代表点に対応する部位の回転角度θを推定することができる。

【0037】

また、位置特定部１３１は、被験者１の代表点の位置として、被験者１の上半身において左右で対となる代表点の位置、および、被験者１の下半身において左右で対となる代表点の位置を特定してよい。こうすることで、被験者１の上半身おいて左右で対となる代表点に対応する部位（例えば、左右肩）の回転角度θと、被験者１の下半身おいて左右で対となる代表点に対応する部位（例えば、左右股関節）の回転角度θとの差（捻転差）を求めることができる。

【0038】

また、位置特定部１３１は、クラブ２の代表点の位置を特定してもよい。例えば、位置特定部１３１は、図３Ｂに示すように、クラブ２の代表点の位置として、グリップエンド、グリップとシャフトとの接続点、シャフトとヘッドとの接続点およびヘッドの中心の位置を特定してもよい。

【0039】

位置特定部１３１は、例えば、入力された動画像を構成する画像に対する画像認識により、上述した代表点の位置を特定する。また、被験者１を撮像した動画像を構成する画像に対して、デジタイザなどを用いて代表点の位置が入力され、位置特定部１３１がその入力結果を取得してもよい。以下では、位置特定部１３１は、図４に示すように、被験者１の身体の代表点として、被験者１の左右肩および左右股関節の位置を特定するものとする。

【0040】

図１を再び参照すると、角度推定部１３２は、位置特定部１３１により特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、被験者１の身体の鉛直軸周りの回転角度θを推定する。本実施形態においては、位置特定部１３１は、図４に示すように、被験者１の上半身において左右で対となる代表点（左右肩）の位置、および、被験者１の下半身において左右で対となる代表点（左右股関節）の位置を特定する。この場合、角度推定部１３２は、被験者１の上半身において左右で対となる代表点から定義したベクトルまたは代表点を繋ぐ線分の長さに基づき、被験者１の上半身（左右肩）の回転角度θを推定してよい。また、角度推定部１３２は、被験者１の下半身において左右で対となる代表点から定義したベクトルまたは代表点を繋ぐ線分の長さに基づき、被験者１の下半身（左右股関節）の回転角度θを推定してよい。また、角度推定部１３２は、推定した被験者１の上半身の回転角度θと下半身の回転角度θとの差である捻転差を算出してよい。

【0041】

なお、位置特定部１３１による代表点の位置の特定の後、角度推定部１３２による回転角度θの推定の前に、実空間での代表点間の距離を求める実長換算が行われてもよい。また、実長換算は、角度推定部１３２による回転角度θの推定の後に行われてもよい。実長換算は、スイング動作を行う被験者１を撮像した画像における１ピクセルの実空間での長さに基づき、行うことができる。

【0042】

次に、角度推定部１３２による回転角度θの推定について説明する。以下では、図５に示すように、真上方向（Ｚ軸方向）から見た被験者１を破線丸印で示し、破線丸印内の点線は被験者１の身体の左右で対となる代表点（図５の例では、左右股関節（hipR, hipL））同士を結ぶ線分を示し、破線丸印内の実線は、被験者１のスイング動作の分析方向正面（Ｘ軸方向）から見た場合の、代表点から定義したベクトルまたは代表点同士を結ぶ線分を示すものとする。

【0043】

角度推定部１３２は、図６に示すように、Ｘ軸およびＺ軸と直交するＹ軸と、被験者１の身体の左右で対となる代表点（例えば、左右股関節（hipR, hipL））同士を結ぶ線分とが平行な場合を回転角度θ＝０とし、スイング動作中の各時点ｔにおける回転角度θ（ｔ）を推定する。鉛直上方向（Ｚ軸方向）の軸周りに右ねじの方向を正方向とすると、図６に示すように、－１８０°≦θ（ｔ）≦１８０°となる。

【0044】

角度推定部１３２は、時刻ｔにおける回転角度θ（ｔ）を以下の式（１）を用いて推定する。
Ｐ（ｔ）＝ａｒｃｃｏｓ（Ａ）×１８０／π［ｄｅｇ］（０≦｜Ａ｜≦１） 式（１）

【0045】

式（１）において、ａｒｃｃｏｓ（アークコサイン）はコサインの逆関数である。しかし、一般に、ｙ＝ａｒｃｃｏｓ（ｘ）を考えると、－１≦ｘ≦１の時、０≦ｙ≦π［ｒａｄ］であって、前記θ（ｔ）の定義域における０°未満の角度推定は単純に式（１）を適用するだけでは難しい。そこで、スイング動作中の各時点ｔに応じた場合分けをすることによって、θ（ｔ）＜０°の場合の推定も行えるように、概念の適用範囲を拡張することを考える。θ（ｔ）を推定する計算式の場合分けの詳細は後述する。また、図２Ａに示すように、被験者１を正面から見た場合、Ａは、時刻ｔにおける、左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分／左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分のｎｏｒｍの最大値である。具体例を挙げると、図５に示すθ＝０°状態の時、左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分の大きさと方向から、Aは１である、というように考えればよい。

【0046】

また、図２Ｂに示すように、被験者１を飛球線方向から見た場合、Ａは、時刻ｔにおける、左右で対となる右側の代表点から左側の代表点へ向かうベクトルの前後方向(Ｘ軸方向）成分／左右で対となる右側の代表点から左側の代表点へ向かうベクトルの前後方向(Ｘ軸方向）成分のｎｏｒｍの最大値である。すなわち、角度推定部１３２は、スイング動作の期間における左右で対となる代表点同士を結ぶ線分の基準長（最大値）と、スイング動作の各時点ｔにおける代表点から定義したベクトルまたは線分の長さの比に基づき、各時点ｔにおける回転角度θ（ｔ）を推定する。こうすることで、二次元的な画像から被験者１の身体の回転角度θを推定することができる。なお、基準長としては、スイング動作中の所定の期間における左右で対となる代表点同士を結ぶ線分の平均値を用いてもよい。

【0047】

ここで、式（１）に示すように、被験者１の身体の姿勢（回転角度θ）の推定にアークコサインを適用することができる理由について、図７を参照して説明する。

【0048】

図７は、スイング動作を正面および後方から見た時のスイングの様子を示したものである。図７の一番左の絵に示すように、スイング動作を行う被験者１を正面から見た場合、被験者１は、アドレス時に飛球線方向に対して平行にスタンスをとることが多い。この場合、被験者１の左右で対となる代表点（例えば、左右肩および左右股関節など）同士を結んだ線分は、地面に平行で、かつ、飛球線方向にも平行となる。また、撮像装置の光軸と被験者１の身体とが正対した際に、被験者１の左右で対となる代表点同士を結んだ線分は最も長くなる。そして、被験者１の身体の回転に伴い、被験者１の左右で対となる代表点同士を結んだ線分の正面からみえる長さは短くなり、左右で対となる代表点同士の左右方向の位置関係も変化する。また、ゴルフのスイングは、スイング中は立ち位置がほぼ変化しない、その場での全身回転運動である。

【0049】

そのため、スイング動作の期間における左右で対となる代表点同士を結ぶ線分の基準長と、スイング動作の各時点ｔにおける代表点から定義したベクトルまたは線分の長さから、各時点ｔにおける回転角度θ（ｔ）を推定することができる。

【0050】

図８は、被験者１によるスイング動作における、被験者１の左右股関節（hipR, hipL）の回転角度θの変化の一例を示す図である。図８においては、スイング動作を行う被験者１を正面から見た場合の、回転角度θの変化の一例を示している。

【0051】

アドレス時、被験者１の身体は撮像装置による撮像方向（すなわち、Ｘ軸方向）と正対しているため、回転角度θ＝０°となる。被験者１がバックスイングを開始すると、回転角度θは減少していく（θ＜０°）。被験者１がバックスイングをさらに進めると、被験者１の正面から見て、左股関節と右股関節とが重なり、θ＝－９０°となる。トップの位置では、回転角度θはさらに小さくなる（θ＜－９０°）。なお、捻転の少ない被験者においてはθ≦－９０°とならない場合もある。

【0052】

被験者１がトップの位置からダウンスイングを開始すると、回転角度θは大きくなり、インパクト付近で回転角度θ＝０°となる。インパクト後、被験者１がフォロースルーすると、回転角度θはさらに大きくなる（θ＞０）。フォロースルーのある時点で被験者１の正面から見て、左股関節と右股関節とが重なって回転角度θ＝９０°となり、フォロースルーの終了時には、回転角度θはさらに大きくなる（θ＞９０°）。なお、捻転の少ない被験者においてはθ≧９０°とならない場合もある。

【0053】

以下では、図８を参照して説明した一連のスイング動作における、角度推定部１３２による回転角度θの推定（算出）について、詳細に説明する。まず、被験者１を正面から撮像した場合の、回転角度θの算出について説明する。以下では、スイング動作における、左右で対となる代表点同士を結ぶ線分の長さが最大となる時点をｔ１とし、テイクバック以降のインパクト付近で、Ｐ（ｔ）＝ａｒｃｃｏｓ（Ａ）×１８０／πが最小となる時点をｔ２とする。また、Ａは、スイング動作の各時点ｔにおける、左右で対となる代表点における右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分／左右で対となる代表点における右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分のｎｏｒｍの最大値である。Ａの範囲は、－１以上、１以下である。

【0054】

角度推定部１３２は、以下の式により回転角度θを算出する。
ｔ２＜ｔ
θ＝ａｒｃｃｏｓ（Ａ）×１８０／π［ｄｅｇ］＝Ｐ（ｔ）
ｔ＜ｔ１
θ＝ａｒｃｃｏｓ（Ａ）×１８０／π［ｄｅｇ］＝Ｐ（ｔ）
ｔ１≦ｔ≦ｔ２
θ＝（－１）×ａｒｃｃｏｓ（Ａ）×１８０／π［ｄｅｇ］＝－Ｐ（ｔ）

【0055】

また、角度推定部１３２は、ｔ１＝ｔ２の場合、以下の式により回転角度θを算出する。
ｔ１＜ｔ
θ＝（－１）×ａｒｃｃｏｓ（Ａ）×１８０／π［ｄｅｇ］＝－Ｐ（ｔ）
ｔ≦ｔ１
θ＝ａｒｃｃｏｓ（Ａ）×１８０／π［ｄｅｇ］＝Ｐ（ｔ）

【0056】

次に、被験者１を飛球線方向から撮像した場合の、回転角度θの算出について説明する。以下では、スイング動作における、左右で対となる代表点同士を結ぶ線分の長さが最大となる時点をｔ１とし、テイクバック以降のインパクト付近で、Ｐ（ｔ）＝ａｒｃｃｏｓ（Ａ）×１８０／πが最大となる時点をｔ３とする。また、Ａは、スイング動作の各時点ｔにおける、左右で対となる代表点における右側の代表点から左側の代表点へ向かうベクトルの前後方向(Ｘ軸方向）成分／左右で対となる代表点における右側の代表点から左側の代表点へ向かうベクトルの前後方向(Ｘ軸方向）成分のｎｏｒｍの最大値である。Ａの範囲は、－１以上、１以下である。

【0057】

角度推定部１３２は、以下の式により回転角度θを算出する。
ｔ３＜ｔ
θ＝（（－１）×ａｒｃｃｏｓ（Ａ）×１８０／π）＋Ｐ（ｔ３）＋１８０
＝－Ｐ（ｔ）＋Ｐ（ｔ３）＋１８０［ｄｅｇ］
ｔ≦ｔ３
θ＝（ａｒｃｃｏｓ（Ａ）×１８０／π）－９０＝Ｐ（ｔ）－９０［ｄｅｇ］

【0058】

また、角度推定部１３２は、ｔ１＝ｔ３の場合、以下の式により回転角度θを算出する。
ｔ１＜ｔ
θ＝（（－１）×ａｒｃｃｏｓ（Ａ）×１８０／π］＋Ｐ（ｔ３）＋１８０
＝－Ｐ（ｔ）＋Ｐ（ｔ３）＋１８０［ｄｅｇ］
ｔ≦ｔ１
θ＝（ａｒｃｃｏｓ（Ａ）×１８０／π）－９０
＝Ｐ（ｔ）－９０［ｄｅｇ］

【0059】

なお、角度推定部１３２は、スイング動作の期間における左右で対となる代表点同士を結ぶ線分の基準長（最大値）と、スイング動作の各時点ｔにおける線分の長さを用いてもよい。被験者１を正面から撮像した場合、Ａ＝スイング動作の各時点ｔにおける、左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分の絶対値／左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）成分のｎｏｒｍの最大値を用いてもよい。この場合、Ａは０以上、１以下となる。また、角度推定部１３２は、被験者１を飛球線方向から撮像した場合、Ａ＝スイング動作の各時点ｔにおける、左右で対となる右側の代表点から左側の代表点へ向かうベクトルの前後方向(Ｘ軸方向）成分の絶対値／左右で対となる右側の代表点から左側の代表点へ向かうベクトルの前後方向(Ｘ軸方向）成分のｎｏｒｍの最大値を用いてもよい。この場合、Ａの範囲は、０以上、１以下である。

【0060】

左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向(Ｙ軸方向）あるいは前後方向（Ｘ軸方向）成分の絶対値を用いる場合、角度推定部１３２は、回転角度θの推定（算出）に用いる計算式を、左右で対となる代表点のＹ軸方向およびＸ軸方向における位置関係と、ｔ１～ｔ３を含む位置関係が変化するタイミングに応じた場合分けにより切り替えることで、回転角度θを推定することができる。

【0061】

また、角度推定部１３２は、Ａの分母である、左右で対となる右側の代表点から左側の代表点へ向かうベクトルの左右方向（Ｙ軸方向）または前後方向(Ｘ軸方向）成分のｎｏｒｍの最大値を、スイング動作における期間に応じて変更してもよい。例えば、角度推定部１３２は、アドレスからインパクトまでの期間と、インパクトからフィッシュまでの期間とで、上述した最大値を変更してもよい。

【0062】

すなわち、角度推定部１３２は、スイング動作の第１の期間（例えば、アドレスからインパクトまでの期間）における、左右で対となる代表点同士を結ぶ線分の基準長（最大値）と、第１の期間内の各時点ｔにおける代表点から定義したベクトルまたは線分の長さの比に基づき、各時点ｔにおける回転角度θ（ｔ）を推定してよい。また、角度推定部１３２は、スイング動作の、第１の期間に続く第２の期間（例えば、インパクトからフィニッシュまでの期間）おける、左右で対となる代表点同士を結ぶ線分の基準長（最大値）と、第２の期間内の各時点ｔにおける線分の長さの比に基づき、各時点ｔにおける回転角度θ（ｔ）を推定してよい。こうすることで、回転角度θの推定精度の向上を図ることができる。

【0063】

図９は、本実施形態に係る画像処理装置１０の動作の一例を示すフローチャートであり、本実施形態に係る画像処理装置１０による画像処理方法について説明するための図である。

【0064】

位置特定部１３１は、クラブ２のスイング動作を行う被験者１を撮影した動画像における、被験者１の身体の複数の代表点の位置を特定する（ステップＳ１１）。特に、位置特定部１３１は、被験者の身体において左右で対となる代表点の位置を特定する。また、位置特定部１３１は、被験者１の上半身において左右で対となる代表点の位置、および／または、被験者１の下半身において左右で対となる代表点の位置を特定する。

【0065】

角度推定部１３２は、位置特定部１３１により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、被験者１の身体の鉛直軸周りの回転角度θを推定する（ステップＳ１２）。具体的には、角度推定部１３２は、上述した式（１）に基づき、回転角度θを推定する。すなわち、角度推定部１３２は、スイング動作の期間における、左右で対となる代表点同士を結ぶ線分の基準長（例えば、最大値）と、スイング動作の各時点ｔにおける代表点から定義したベクトルまたは線分の長さの比（＝Ａ）に基づき、各時点における回転角度θを推定する。

【0066】

図１０は、本実施形態に係る画像処理装置１０が適用される画像処理システム１００の構成の一例を示す図である。

【0067】

図１０に示すように、画像処理システム１００は、画像処理装置１０と、端末２０とを備える。

【0068】

画像処理装置１０と端末２０とは、移動体通信網あるいは無線／有線ＬＡＮなどのネットワークを介して通信可能である。画像処理装置１０は、例えば、ネットワーク上に設けられたサーバ装置である。

【0069】

端末２０は、被験者１あるいはインストラクターなどが使用するユーザ端末であり、例えば、スマートフォン、タブレット端末などである。端末２０は、撮像機能を備える撮像装置として動作し、スイング動作を行う被験者１を撮像する。そして、端末２０は、撮像した動画像を画像処理装置１０に送信する。なお、画像処理装置１０で処理対象とする画像は、被験者１によるスイング動作における所定の期間（例えば、アドレスからフィニッシュまでの期間）の動画像であることが好ましい。端末２０は、例えば、撮像した動画像から、被験者１などにより指定された期間（例えば、アドレスからフィニッシュまでの期間）の動画像を抜き出して、画像処理装置１０に送信してよい。こうすることで、撮像した動画像全体を送信する場合と比べて、伝送容量の削減および送信時間の短縮などを測ることができる。

【0070】

画像処理装置１０は、端末２０から送信された動画像から、上述したように、被験者１の身体の回転角度θを推定し、被験者１によるスイング動作の結果を端末２０に送信する。評価結果としては、例えば、画像処理装置１０により推定された回転角度θ（例えば、被験者１の左右肩の回転角度θおよび／または被験者１の左右股関節の回転角度θ）が、端末２０に送信されてよい。また、評価結果としては、被験者１の左右肩の回転角度θと被験者１の左右股関節の回転角度θとの差（捻転差）が、端末２０に送信されてよい。

【0071】

なお、本実施形態においては、画像処理装置１０が、位置特定部１３１および角度推定部１３２を備える例を用いて説明したが、本開示はこれに限られるものではない。位置特定部１３１および角度推定部１３２の一部または全部が、端末２０に設けられてもよい。したがって、端末２０が本開示に係る画像処理装置１０として動作してもよい。

【0072】

このように本実施形態に係る画像処理装置１０は、位置特定部１３１と、角度推定部１３２とを備える。位置特定部１３１は、クラブ２のスイング動作を行う被験者１を撮影した動画像における、被験者１の身体の複数の代表点の位置を特定する。角度推定部１３２は、位置特定部１３１により位置が特定された代表点から定義したベクトルまたは代表点同士を結ぶ線分の長さに基づき、被験者１の身体の鉛直軸周りの回転角度θを推定する。

【0073】

このような構成によれば、１台の撮像装置により撮像した動画像から、スイング動作における被験者１の身体の回転角度θを推定することができる。また、被験者１の身体にマーカあるいはセンサなどを取り付ける必要がなく、事前のキャリブレーションなども必要ない。したがって、本開示によれば、被験者１のスイング動作における被験者１の身体の回転角度θをより簡便に推定することができる。

【0074】

実施形態では特に触れていないが、コンピュータを、画像処理装置１０として動作させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0075】

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0076】

１ 被験者
２ クラブ
１０ 画像処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 端末
１００ 画像処理システム
１３１ 位置特定部
１３２ 角度推定部

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】