特開 2024-49242 画像処理装置、画像処理方法、画像処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049242

(43)【公開日】2024-04-09

(54)【発明の名称】画像処理装置、画像処理方法、画像処理システムおよびプログラム

(51)【国際特許分類】

   A63B 69/36 20060101AFI20240402BHJP

   G06T 7/20 20170101ALI20240402BHJP

【ＦＩ】

A63B69/36 541W

G06T7/20 300Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022155587

(22)【出願日】2022-09-28

(71)【出願人】

【識別番号】592014104

【氏名又は名称】ブリヂストンスポーツ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186015

【弁理士】

【氏名又は名称】小松 靖之

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】高木 啓雄

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096FA13

5L096FA64

5L096FA67

5L096HA02

(57)【要約】

【課題】クラブのスイング動作を行う被験者を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図る。
【解決手段】
画像処理装置１０は、動画像における、基準となる２点の位置および被験者１の身体的特徴点の位置を特定する位置特定部１３１と、基準となる２点を繋ぐ線分の画像平面に対する角度を取得する角度取得部１３２と、動画像における基準となる２点間の距離と、取得された角度と、実空間における基準となる２点間の距離と、に基づき、動画像における長さと実空間における長さとの比を示す換算比を算出する換算比算出部１３３と、算出された換算比と、特定された、基準となる２点の位置および被験者１の身体的特徴点の位置の少なくとも一方とに基づき、実空間の画像平面における、基準となる２点および被験者の身体的特徴点の少なくとも一方の位置座標を算出する座標算出部１３４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

クラブのスイング動作を行う被験者を単一の画像取得装置で撮影した動画像から、実空間での前記動画像の画像平面における位置座標を算出する画像処理装置であって、
前記動画像における、基準となる２点の位置および前記被験者の身体的特徴点の位置を特定する位置特定部と、
前記基準となる２点を繋ぐ線分の前記画像平面に対する角度を取得する角度取得部と、
前記動画像における前記基準となる２点間の距離と、前記角度取得部により取得された角度と、前記実空間における前記基準となる２点間の距離と、に基づき、前記動画像における長さと前記実空間における長さとの比を示す換算比を算出する換算比算出部と、
前記換算比算出部により算出された換算比と、前記位置特定部により特定された、前記基準となる２点の位置および前記被験者の身体的特徴点の位置の少なくとも一方とに基づき、前記実空間の前記画像平面における、前記基準となる２点および前記被験者の身体的特徴点の少なくとも一方の位置座標を算出する座標算出部と、を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記動画像は、前記被験者を正面から撮像した動画、または、前記被験者を飛球線方向から撮像した動画である、画像処理装置。

【請求項3】

請求項１に記載の画像処理装置において、
前記基準となる２点は、前記クラブのグリップエンドおよびヘッドの中心の位置である、または、前記被験者の両手首の中心および前記クラブのヘッドの中心である、画像処理装置。

【請求項4】

請求項１に記載の画像処理装置において、
前記角度取得部は、外部からの入力により、前記角度を取得する、画像処理装置。

【請求項5】

請求項１に記載の画像処理装置において、
前記角度取得部は、前記スイング動作を行う被験者を前記動画像とは別の方向から撮像した画像から前記角度を計測する、画像処理装置。

【請求項6】

請求項１に記載の画像処理装置において、
前記角度取得部は、前記実空間における、前記被験者の身長または前記被験者の身体の一部の長さに基づき前記角度を推定する、画像処理装置。

【請求項7】

請求項１に記載の画像処理装置において、
前記動画像は、前記スイング動作における所定の期間の動画である、画像処理装置。

【請求項8】

クラブのスイング動作を行う被験者を単一の画像取得装置で撮影した動画像から、実空間での前記動画像の画像平面における位置座標を算出する画像処理装置による画像処理方法であって、
前記動画像における、基準となる２点の位置および前記被験者の身体的特徴点の位置を特定することと、
前記基準となる２点を繋ぐ線分の前記画像平面に対する角度を取得することと、
前記動画像における前記基準となる２点間の距離と、前記取得された角度と、前記実空間における前記基準となる２点間の距離と、に基づき、前記動画像における長さと前記実空間における長さとの比を示す換算比を算出することと、
前記算出された換算比と、前記特定された、前記基準となる２点の位置および前記被験者の身体的特徴点の位置の少なくとも一方とに基づき、前記実空間の前記画像平面における、前記基準となる２点および前記被験者の身体的特徴点の少なくとも一方の位置座標を算出することと、を含む画像処理方法。

【請求項9】

クラブのスイング動作を行う被験者を撮像する単一の画像取得装置と、前記単一の画像取得装置により撮像された動画像から、実空間での前記動画像の画像平面における位置座標を算出する画像処理装置とを備える画像処理システムであって、
前記画像処理装置は、
前記動画像における、基準となる２点の位置および前記被験者の身体的特徴点の位置を特定する位置特定部と、
前記基準となる２点を繋ぐ線分の前記画像平面に対する角度を取得する角度取得部と、
前記動画像における前記基準となる２点間の距離と、前記角度取得部により取得された角度と、前記実空間における前記基準となる２点間の距離と、に基づき、前記動画像における長さと前記実空間における長さとの比を示す換算比を算出する換算比算出部と、
前記換算比算出部により算出された換算比と、前記位置特定部により特定された、前記基準となる２点の位置および前記被験者の身体的特徴点の位置の少なくとも一方とに基づき、前記実空間の前記画像平面における、前記基準となる２点および前記被験者の身体的特徴点の少なくとも一方の位置座標を算出する座標算出部と、を備える画像処理システム。

【請求項10】

コンピュータを、請求項１に記載の画像処理装置として動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、画像処理システムおよびプログラムに関する。

【背景技術】

【0002】

従来、被験者（ゴルファー）によるクラブのスイング動作の際に種々の計測を行い、計測結果に基づいて、スイングを評価するシステムが、ゴルフのレッスンなどにおいて用いられている。スイングを評価するために計測される項目の１つとして、被験者の身体的特徴点およびクラブの所定の基準点の位置座標がある。これらの位置座標を求めるために、対象物を撮像した画像における、既知の基準物の長さに基づき、対象物の長さを算出する手法を利用することが考えられる。

【0003】

例えば、特許文献１には、被験者と、サイズが既知の基準物とを撮像した画像における、基準物のサイズに基づき、被験者の身体部位の寸法を算出する技術が記載されている。また、特許文献２には、複数のマーカが、各マーカ間の距離が既知な態様で対象物に取り付けられ、その対象物を撮像した画像におけるマーカ間の距離を基準として、対象物の長さを算出する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第１０２５８８５０号明細書

【特許文献2】国際公開第２０１４／１５７３４０号

【発明の概要】

【発明が解決しようとする課題】

【0005】

スイング動作を行う被験者の身体的特徴点などの位置を求める場合に、特許文献１，２に記載の技術を用いて、画像における基準物（例えば、ゴルフクラブ）の長さに基づき、被験者の身体的特徴点などの位置を推定することが考えられる。ここで、図７Ａに示すような、被験者１によるクラブ２のスイング動作を正面から撮影した画像から、被験者１の身体的特徴点の位置を、クラブ２の長さを基準として推定する場合を考える。この場合、図７Ｂに示すように、スイング動作を行う被験者を飛球線方向から見ると、クラブ２が画像平面に対して平行ではないため、画像に写るクラブ２の長さは画像平面上に投影された長さとなる。そのため、単純に画像におけるクラブ２の長さを基準として被験者の身体的特徴点などの位置を推定しても正しい値を得ることができない。

【0006】

上記のような問題点に鑑みてなされた本開示の目的は、クラブのスイング動作を行う被験者を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図ることができる、画像処理装置、画像処理方法、画像処理システムおよびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

（１） 本開示の一態様としての画像処理装置は、クラブのスイング動作を行う被験者を単一の画像取得装置で撮影した動画像から、実空間での前記動画像の画像平面における位置座標を算出する画像処理装置であって、前記動画像における、基準となる２点の位置および前記被験者の身体的特徴点の位置を特定する位置特定部と、前記基準となる２点を繋ぐ線分の前記画像平面に対する角度を取得する角度取得部と、前記動画像における前記基準となる２点間の距離と、前記角度取得部により取得された角度と、前記実空間における前記基準となる２点間の距離と、に基づき、前記動画像における長さと前記実空間における長さとの比を示す換算比を算出する換算比算出部と、前記換算比算出部により算出された換算比と、前記位置特定部により特定された、前記基準となる２点の位置および前記被験者の身体的特徴点の位置の少なくとも一方とに基づき、前記実空間の前記画像平面における、前記基準となる２点および前記被験者の身体的特徴点の少なくとも一方の位置座標を算出する座標算出部と、を備える。
このような構成によれば、基準となる２点を繋ぐ線分の画像平面に対する角度を考慮した換算比を用いて、画像平面における位置座標を算出することができるので、クラブのスイング動作を行う被験者を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図ることができる。

【0008】

（２） （１）の画像処理装置において、前記動画像は、前記被験者を正面から撮像した動画、または、前記被験者を飛球線方向から撮像した動画であることが好ましい。
このような構成によれば、被験者を正面あるいは飛球線方向から見た、身体的特徴点などの位置座標を算出することができる。

【0009】

（３） （１）または（２）の画像処理装置において、前記基準となる２点は、前記クラブのグリップエンドおよびヘッドの中心の位置である、または、前記被験者の両手首の中心および前記クラブのヘッドの中心である。
このような構成によれば、基準物などを別途設置することなく、基準となる２点を設定することができる。

【0010】

（４） （１）から（３）のいずれかの画像処理装置において、前記角度取得部は、外部からの入力により、前記角度を取得する。
このような構成によれば、より簡易に、基準となる２点を繋ぐ線分の画像平面に対する角度を取得することができる。

【0011】

（５） （１）から（３）のいずれかの画像処理装置において、前記角度取得部は、前記スイング動作を行う被験者を前記動画像とは別の方向から撮像した画像から前記角度を計測する。
このような構成によれば、スイング動作を行う被験者を動画像とは別の方向から撮像した画像から角度を計測することで、より正確な角度を取得することができる。

【0012】

（６） （１）から（３）のいずれかの画像処理装置において、前記角度取得部は、前記実空間における、前記被験者の身長または前記被験者の身体の一部の長さに基づき前記角度を推定する。
このような構成によれば、被験者の身長または被験者の身体の一部の長さに基づき角度を推定することで、より正確な角度を取得することができる。

【0013】

（７） （１）から（６）のいずれかの画像処理装置において、前記動画像は、前記スイング動作における所定の期間の動画である。
このような構成によれば、位置座標の算出が不要な期間を処理対象から除外し、処理負荷の軽減を図ることができる。

【0014】

（８） 本開示の一態様としての画像処理方法は、クラブのスイング動作を行う被験者を単一の画像取得装置で撮影した動画像から、実空間での前記動画像の画像平面における位置座標を算出する画像処理装置による画像処理方法であって、前記動画像における、基準となる２点の位置および前記被験者の身体的特徴点の位置を特定することと、前記基準となる２点を繋ぐ線分の前記画像平面に対する角度を取得することと、前記動画像における前記基準となる２点間の距離と、前記取得された角度と、前記実空間における前記基準となる２点間の距離と、に基づき、前記動画像における長さと前記実空間における長さとの比を示す換算比を算出することと、前記算出された換算比と、前記特定された、前記基準となる２点の位置および前記被験者の身体的特徴点の位置の少なくとも一方とに基づき、前記実空間の前記画像平面における、前記基準となる２点および前記被験者の身体的特徴点の少なくとも一方の位置座標を算出することと、を含む。
このような構成によれば、基準となる２点を繋ぐ線分の画像平面に対する角度を考慮した換算比を用いて、画像平面における位置座標を算出することができるので、クラブのスイング動作を行う被験者を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図ることができる。

【0015】

（９） 本開示の一態様としての画像処理システムは、クラブのスイング動作を行う被験者を撮像する単一の画像取得装置と、前記単一の画像取得装置により撮像された動画像から、実空間での前記動画像の画像平面における位置座標を算出する画像処理装置とを備える画像処理システムであって、前記画像処理装置は、前記動画像における、基準となる２点の位置および前記被験者の身体的特徴点の位置を特定する位置特定部と、前記基準となる２点を繋ぐ線分の前記画像平面に対する角度を取得する角度取得部と、前記動画像における前記基準となる２点間の距離と、前記角度取得部により取得された角度と、前記実空間における前記基準となる２点間の距離と、に基づき、前記動画像における長さと前記実空間における長さとの比を示す換算比を算出する換算比算出部と、前記換算比算出部により算出された換算比と、前記位置特定部により特定された、前記基準となる２点の位置および前記被験者の身体的特徴点の位置の少なくとも一方とに基づき、前記実空間の前記画像平面における、前記基準となる２点および前記被験者の身体的特徴点の少なくとも一方の位置座標を算出する座標算出部と、を備える。
このような構成によれば、基準となる２点を繋ぐ線分の画像平面に対する角度を考慮した換算比を用いて、画像平面における位置座標を算出することができるので、クラブのスイング動作を行う被験者を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図ることができる。

【0016】

（１０） 本開示の一態様としてのプログラムは、コンピュータを（１）から（７）のいずれかの画像処理装置として動作させる。

【発明の効果】

【0017】

本開示に係る画像処理装置、画像処理方法、画像処理システムおよびプログラムによれば、クラブのスイング動作を行う被験者を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図ることができる。

【図面の簡単な説明】

【0018】

【図1】本開示の一実施形態に係る画像処理装置の構成例を示す図である。

【図2A】スイング動作を行う被験者を飛球線方向から撮像した画像を模式的に示す図である。

【図2B】スイング動作を行う被験者を正面から撮像した画像を模式的に示す図である。

【図3】図１に示す角度取得部による角度の算出について説明するための図である。

【図4A】図１に示す換算比算出部による換算比の算出について説明するための図である。

【図4B】図１に示す換算比算出部による換算比の算出について説明するための図である。

【図5】図１に示す画像処理装置の動作の一例を示すフローチャートである。

【図6】本開示の一実施形態に係る画像処理システムの構成例を示す図である。

【図7A】スイング動作を行う被験者を撮像した画像におけるクラブの傾きについて説明するための図である。

【図7B】スイング動作を行う被験者を撮像した画像におけるクラブの傾きについて説明するための図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態について図面を参照して説明する。

【0020】

図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、図７Ａに示すような、クラブ２のスイング動作を行う被験者１を撮影した動画像から、実空間での動画像の画像平面における位置座標を算出するものである。

【0021】

図１に示すように、本実施形態に係る画像処理装置１０は、通信部１１と、記憶部１２と、制御部１３とを備える。

【0022】

通信部１１は、１つ以上の通信モジュールを含んで構成される。通信部１１は、例えば４Ｇ（4th Generation）、５Ｇ（5th Generation）などの移動体通信規格に対応する通信モジュールを含んでよい。通信部１１は、例えば、無線ＬＡＮ規格（一例としてＩＥＥＥ８０２．１１）に対応する通信モジュールを含んでよい。また、通信部１１は、例えば有線ＬＡＮ規格に対応する通信モジュールを含んでよい。

【0023】

記憶部１２は、１つ以上のメモリである。メモリは、例えば、半導体メモリ、磁気メモリ、または光メモリなどであるが、これらに限られず任意のメモリとすることができる。記憶部１２は、例えば、画像処理装置１０に内蔵されるが、任意のインターフェースを介して画像処理装置１０に外部からアクセスされる構成も可能である。

【0024】

記憶部１２は、制御部１３が実行する各種の処理において使用される各種のデータを記憶する。また、記憶部１２は、制御部１３が実行する各種の処理の結果および中間データを記憶してよい。

【0025】

制御部１３は、１つ以上のプロセッサである。プロセッサは、例えば、汎用のプロセッサ、または特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部１３は、画像処理装置１０の全体の動作を制御する。

【0026】

画像処理装置１０は、以下のようなソフトウェア構成を有してよい。画像処理装置１０の動作の制御に用いられる、本開示に係る１つ以上のプログラムが記憶部１２に記憶される。記憶部１２に記憶されたプログラムは、制御部１３のプロセッサによって読み込まれると、制御部１３を位置特定部１３１、角度取得部１３２、換算比算出部１３３および座標算出部１３４として機能させる。

【0027】

位置特定部１３１は、クラブ２のスイング動作を行う被験者１を単一の撮像装置（画像取得装置）で撮影した動画像が入力される。動画像は、例えば、クラブ２のスイング動作を行う被験者１を正面から撮影した動画、あるいは、クラブ２のスイング動作を行う被験者１を飛球線方向から撮像した動画である。このような動画像を用いることより、被験者１を正面あるいは側面（飛球線方向）から見た、身体的特徴点などの位置座標を算出することができる。

【0028】

動画像は、撮像装置から被験者１またはゴルフボールまでの距離が予め定められた距離である状態で撮像される。あるいは、撮像装置による撮像が行われた際の、撮像装置から被験者１またはゴルフボールまでの距離が計測され、画像処理装置１０に入力される。したがって、撮像装置による動画像の撮像が行われた際の、撮像装置から被験者１またはゴルフボールまでの距離は既知である。

【0029】

また、例えば、動画像は、撮像装置から地面までの高さが予め定められた高さである状態で撮像される。あるいは、撮像装置による撮像が行われた際の、撮像装置の地面からの高さ計測され、画像処理装置１０に入力される。したがって、撮像装置による動画像の撮像が行われる際の、撮像装置の地面からの高さは既知である。

【0030】

位置特定部１３１は、入力された動画像における、基準となる２点の位置および被験者１の身体的特徴点の位置を特定する。

【0031】

位置特定部１３１は、基準となる２点の位置として、例えば、クラブ２のグリップエンドの位置と、クラブ２のヘッドの中心の位置とを特定する、また、位置特定部１３１は、基準となる２点の位置として、例えば、被験者１の両手首の中心の位置と、クラブ２のヘッドの中心の位置とを特定する。クラブ２のグリップエンド、ヘッドの中心および被験者１の両手首の中心などを基準となる２点とすることで、基準物などを別途設置することなく、基準となる２点を設定することができる。ただし、クラブ２のグリップエンドは、被験者１の手などに隠れて、位置の特定が困難な場合がある。そのため、基準となる点の位置として、クラブ２のグリップエンドの位置の代わりに、被験者１の両手首の中心の位置を特定することで、基準となる点をより正確に特定することができる。

【0032】

以下では、基準となる２点間の距離は既知であるとする。基準となる２点間の距離は、予め定められた一定値が設定されてもよいし、被験者１あるいはインストラクターなどにより入力されてもよい。基準となる２点がクラブ２のグリップエンドおよびヘッドの中心である場合、基準となる２点間の距離としては、例えば、一般的なクラブ２の長さ（例えば、４５．２５インチ）が設定されてもよい。また、基準となる２点がクラブ２のグリップエンドおよびヘッドの中心である場合、基準となる２点間の距離としては、被験者１などが入力した値、あるいは、複数の候補（例えば、４５．００，４５．２５，４５．５０インチ）の中から選択された値が設定されてもよい。

【0033】

また、基準となる２点がクラブ２のグリップエンドおよび被験者１の両手首の中心である場合、基準となる２点間の距離としては、例えば、クラブ２のグリップエンドから被験者１の両手首の中心までの一般的な長さ（例えば、４５インチ）が設定されてもよい。また、基準となる２点がクラブ２のグリップエンドおよび被験者１の両手首の中心である場合、基準となる２点間の距離としては、被験者１のグリップ位置に応じた複数の候補（例えば、短め（４４インチ）、普通（４５インチ）、長め（４６インチ））の中から選択された値が設定されてもよい。

【0034】

位置特定部１３１は、動画像からクラブ２のヘッドおよびグリップエンド、あるいは、被験者１の手首を検出可能な任意の物体検出技術を用いて、上述したような基準となる２点の位置を特定する。なお、このような物体検出技術は、本開示と直接関係しないため、詳細な説明は省略する。

【0035】

また、位置特定部１３１は、被験者１の身体的特徴点として、例えば、被験者１の関節（肩、肘、手首、股関節、膝および足首など）の位置を特定する。また、位置特定部１３１は、被験者１の身体的特徴点として、例えば、被験者１の関節以外（耳、鼻、目、頭部およびつま先など）の位置を特定する。位置特定部１３１は、ゴルフボールの位置を特定してもよい。

【0036】

位置特定部１３１は、例えば、任意の姿勢推定技術を用いて、上述したような被験者１の身体的特徴点の位置を特定する。なお、このような姿勢推定技術は、本開示と直接関係しないため、詳細な説明は省略する。

【0037】

角度取得部１３２は、位置特定部１３１により特定された基準となる２点を繋ぐ線分の、実空間での動画像の画像平面に対する角度θを取得する。

【0038】

角度取得部１３２は、例えば、外部からの入力（例えば、被験者１あるいはインストラクターなどによる入力）により、角度θを取得する。こうすることで、より簡易に角度θを取得することができる。

【0039】

また、角度取得部１３２は、位置特定部１３１に入力された動画像とは別の方向からスイング動作を行う被験者１を撮像した画像から角度θを計測する。

【0040】

例えば、位置特定部１３１に入力された画像がスイング動作を行う被験者１を正面から撮影した画像の場合、角度取得部１３２は、図２Ａに示すように、スイング動作を行う被験者１を飛球線方向後方から撮像した画像（アドレス時の画像）から角度θを計測する。

【0041】

また、例えば、位置特定部１３１に入力された画像がスイング動作を行う被験者１を飛球線方向から撮影した画像の場合、角度取得部１３２は、図２Ｂに示すように、スイング動作を行う被験者１を正面から撮像した画像（アドレス時の画像）から角度θを計測する。

【0042】

位置特定部１３１に入力された動画像とは別の方向からスイング動作を行う被験者１を撮像した画像から角度θを計測することで、より正確な角度θを取得することができる。また、今回のスイングとは別のスイングの画像から角度θを取得しておいてもよい。

【0043】

また、角度取得部１３２は、被験者１などにより入力された、実空間における、被験者１の身長または被験者１の身体の一部の長さに基づき角度θを推定してもよい。一般に、アドレス時のクラブ２の角度θは被験者１の身長に比例する傾向があることが知られている。そこで、角度取得部１３２は、予め求められた身長と角度θとの関係を示す回帰式に、被験者１の身長を入力して、角度θを推定してよい。

【0044】

また、角度取得部１３２は、被験者１の身体の一部の長さ、例えば、手首から足首までの長さに基づき角度θを推定してもよい。この場合、図３に示すように、アドレス時の被験者１を飛球線方向後方から撮像した画像における被験者１の身長ＶＨが実空間における被験者１の身長ＲＨとほぼ等しいと仮定する（ＶＨ≒ＲＨ）。次に、角度取得部１３２は、画像における被験者１の身長ＶＨと、画像における被験者１の手首から足首までの長さＶＨｃと、入力された被験者１の実際の身長ＲＨとに基づき、実空間における被験者１の手首から足首までの長さＲＨｃを算出する。そして、角度取得部１３２は、図３に示すように、実空間における被験者１の手首から足首までの長さＲＨｃと、クラブ２の長さとに基づき角度θを推定する。なお、角度取得部１３２は、予め求められた、手首から足首までの長さと角度θとの関係を示す回帰式に、被験者１の手首から足首までの長さＲＨｃを入力して角度θを推定してもよい。

【0045】

被験者１の身長または被験者１の身体の一部の長さに基づき角度θを推定することで、より正確な角度θを取得することができる。

【0046】

図１を再び参照すると、換算比算出部１３３は、入力された動画像における基準となる２点間の距離と、角度取得部１３２により取得された角度θと、実空間における基準となる２点間の距離とに基づき換算比Ｐを算出する。ここで、換算比Ｐとは、動画像における長さと実空間における長さとの比を示す値である。

【0047】

図４Ａは、クラブ２のスイング動作を行う被験者１を撮像装置により被験者１の正面から撮影した状態を、飛球線方向から見た模式図である。図４Ａにおいては、基準となる２点は、クラブ２のグリップエンドおよびシャフトの中心であるとする。また、図４Ａにおいては、撮像装置から被験者１までの距離が既知であるとする。

【0048】

図４Ａにおいて、ＶＬｃは動画像における基準となる２点間の距離（単位はピクセル）を示し、ＲＬｃ１は実空間におけるクラブ２の長さを示し、ＲＬｃ２は実空間における画像平面に投影した場合のクラブ２の長さを示し、Ｌｄは撮像装置から被験者１までの距離を示し、ＲＨｃａは地面からの撮像装置の高さを示す。上述したように、実空間におけるクラブ２の長さＲＬｃ１は被験者１などにより入力され既知である。また、撮像時の撮像装置から被験者１までの距離Ｌｄおよび地面からの撮像装置の高さＲＨｃａは既知の状態で撮像が行われている。

【0049】

換算比算出部１３３は、以下の式（１）に基づき、換算比Ｐを算出する。

【0050】

【数1】

【0051】

図４Ｂは、クラブ２のスイング動作を行う被験者１を撮像装置により被験者１の正面から撮影した状態を、飛球線方向から見た模式図である。図４Ｂにおいては、基準となる２点は、クラブ２のグリップエンドおよびシャフトの中心であるとする。また、図４Ｂにおいては、撮像装置からボールまでの距離が既知であるとする。

【0052】

図４Ｂにおいて、ＶＬｃは動画像における基準となる２点間の距離（単位はピクセル）を示し、ＲＬｃ１は実空間におけるクラブ２の長さを示し、ＲＬｃ２は実空間における画像平面に投影した場合のクラブ２の長さを示し、Ｌｄは撮像装置からボールまでの距離を示し、ＲＨｃａは地面からの撮像装置の高さを示す。上述したように、実空間におけるクラブ２の長さＲＬｃ１は被験者１などにより入力され既知である。また、撮像時の撮像装置からボールまでの距離Ｌｄおよび地面からの撮像装置の高さＲＨｃａは既知の状態で撮像が行われている。

【0053】

換算比算出部１３３は、以下の式（２）に基づき、換算比Ｐを算出する。

【0054】

【数2】

【0055】

図１を再び参照すると、座標算出部１３４は、換算比算出部１３３により算出された換算比Ｐと、位置特定部１３１により特定された、基準となる２点の位置および被験者１の身体的特徴点の位置の少なくとも一方とに基づき、実空間の画像平面における、基準となる２点および被験者１の身体的特徴点の少なくとも一方の位置座標を算出する。

【0056】

座標算出部１３４は、位置座標の算出結果を、スイング動作を評価する評価装置（不図示）に出力する。評価装置は、画像処理装置１０内に設けられてもよいし、画像処理装置１０の外部に設けられてもよい。

【0057】

座標算出部１３４により算出された位置座標を用いたスイング動作の評価項目としては、例えば、被験者１の肩、肘、手首、股関節、膝および足首などの関節の二次元平面での時系列的な位置がある。スイング動作の別の評価項目としては、アドレス時とインパクト時との間で被験者１の頭の移動量がある。スイング動作のさらに別の評価項目としては、インパクト時のクラブ２のヘッドのスピード（ヘッドスピード）がある。スイング動作のさらに別の評価項目としては、トップ時、ハーフウェイダウン時およびインパクト時の被験者１の身体の重心位置および重心位置の移動量がある。スイング動作のさらに別の評価項目としては、アドレス時の被験者１の身体に対するボールの位置がある。この場合、入力された動画像からボールの位置も検出すればよい。スイング動作のさらに別の評価項目としては、被験者１の左右の足にかかる時系列的な床反力がある。これらの評価項目の具体的な評価手法は本開示とは直接関係しないため、詳細な説明は省略する。

【0058】

図５は、本実施形態に係る画像処理装置１０の動作の一例を示すフローチャートであり、本実施形態に係る画像処理装置１０による画像処理方法について説明するための図である。

【0059】

位置特定部１３１は、クラブ２のスイング動作を行う被験者１を単一の撮像装置（画像取得装置）で撮影した動画像における、基準となる２点の位置および被験者１の身体的特徴点の位置を特定する（ステップＳ１１）。上述したように、位置特定部１３１は、任意の物体検出技術および姿勢推定技術を用いて、基準となる２点の位置および被験者１の身体的特徴点の位置を特定する。

【0060】

角度取得部１３２は、位置特定部１３１により特定された基準となる２点を繋ぐ線分の画像平面に対する角度θを取得する（ステップＳ１２）。上述したように、角度取得部１３２は、例えば、外部から入力により角度θを取得する。また、角度取得部１３２は、例えば、入力された動画像とは別の方向からスイング動作を行う被験者１を撮像した画像から角度θを取得（推定）する。また、角度取得部１３２は、例えば、実空間における、被験者１の身長または被験者１の身体の一部の長さに基づき角度θを取得（推定）する。

【0061】

換算比算出部１３３は、動画像における基準となる２点間の距離と、角度取得部１３２により取得された角度θと、実空間における基準となる２点間の距離とに基づき、換算比Ｐを算出する（ステップＳ１３）。上述したように、換算比算出部１３３は、図４Ａを参照して説明した式（１）あるいは図４Ｂを参照して説明した式（２）などに基づき、換算比Ｐを算出する。

【0062】

座標算出部１３４は、換算比算出部１３３により算出された換算比Ｐと、位置特定部１３１により特定された、基準となる２点の位置および被験者１の身体的特徴点の位置の少なくとも一方とに基づき、実空間の画像平面における、基準となる２点および被験者１の身体的特徴点の少なくとも一方の位置座標を算出する（ステップＳ１４）。

【0063】

制御部１３は、上述したステップＳ１１からステップＳ１４の処理を、入力された動画像を構成する複数の画像に対して時系列的に行う。こうすることで、基準となる２点および被験者１の身体的特徴点の少なくとも一方の位置座標を時系列的に算出することができる。

【0064】

なお、処理負荷の増加の抑制および処理エラーの発生の低減を図るためには、制御部１３において処理対象とする動画像には、被験者１がスイング動作を行う期間以外の期間の画像が含まれていないことが望ましい。すなわち、処理対象とする動画像は、被験者１によるスイング動作における所定の期間（例えば、アドレスからトップおよびインパクトを経て、フィニッシュまでの期間）の動画像であることが好ましい。したがって、制御部１３は、入力された動画像から被験者１によるスイング動作における所定の期間の動画像を抜き出して処理対象としてもよい。こうすることで、処理負荷の増加の抑制および処理エラーの発生の低減を図ることができる。なお、スイング動作を撮影した動画像における、例えば、アドレスからフィニッシュまでの期間の動画像の抜き出しは、任意の画像認識技術を用いて行うことができる。

【0065】

図６は、本実施形態に係る画像処理装置１０が適用される画像処理システム１００の構成の一例を示す図である。

【0066】

図６に示すように、画像処理システム１００は、画像処理装置１０と、画像取得装置としての端末２０とを備える。

【0067】

画像処理装置１０と端末２０とは、移動体通信網あるいは無線／有線ＬＡＮなどのネットワークを介して通信可能である。画像処理装置１０は、例えば、ネットワーク上に設けられたサーバ装置である。

【0068】

端末２０は、被験者１あるいはインストラクターなどが使用するユーザ端末であり、例えば、スマートフォン、タブレット端末などである。端末２０は、撮像機能を備える撮像装置として動作し、スイング動作を行う被験者１を撮像する。そして、端末２０は、撮像した動画像を画像処理装置１０に送信する。なお、上述したように、画像処理装置１０で処理対象とする画像は、被験者１によるスイング動作における所定の期間（例えば、アドレスからフィニッシュまでの期間）の動画像であることが好ましい。端末２０は、例えば、撮像した動画像から、被験者１などにより指定された期間（例えば、アドレスからフィニッシュまでの期間）の動画像を抜き出して、画像処理装置１０に送信してよい。こうすることで、撮像した動画像全体を送信する場合と比べて、伝送容量の削減および送信時間の短縮などを測ることができる。

【0069】

画像処理装置１０は、単一の端末２０により撮像された動画像から、上述したように、基準となる２点および被験者１の身体的特徴点の少なくとも一方の位置座標を算出する。画像処理装置１０により算出された位置座標に基づき、不図示の評価装置により被験者１のスイング動作が評価され、評価結果が端末２０に送信される。

【0070】

評価結果としては、例えば、上述した各種の評価項目の結果が送信される。また、評価結果としては、例えば、上述した各種の評価結果に基づく、被験者１へのアドバイスが送信されてもよい。また、評価結果としては、上述した各種の評価結果に基づく、被験者１に推奨するボール、クラブなどの情報が送信されてもよい。また、評価結果としては、被験者１のスイング動作を撮影した動画像に、被験者１の身体的特徴点およびクラブ２のヘッドの軌跡などを重畳した重畳画像が送信されてもよい。

【0071】

なお、本実施形態においては、画像処理装置１０が、位置特定部１３１、角度取得部１３２、換算比算出部１３３および座標算出部１３４を備える例を用いて説明したが、本開示はこれに限られるものではない。位置特定部１３１、角度取得部１３２、換算比算出部１３３および座標算出部１３４の一部または全部が、端末２０に設けられてもよい。したがって、端末２０が本開示に係る画像処理装置１０として動作してもよい。

【0072】

このように本実施形態に係る画像処理装置１０は、位置特定部１３１と、角度取得部１３２と、換算比算出部１３３と、座標算出部１３４とを備える。位置特定部１３１は、動画像における、基準となる２点の位置および被験者１の身体的特徴点の位置を特定する。角度取得部１３２は、基準となる２点を繋ぐ線分の画像平面に対する角度θを取得する。換算比算出部１３３は、動画像における基準となる２点間の距離と、角度取得部１３２により取得された角度θと、実空間における基準となる２点間の距離と、に基づき、換算比Ｐを算出する。座標算出部１３４は、換算比算出部１３３により算出された換算比Ｐと、位置特定部により特定された、基準となる２点の位置および被験者１の身体的特徴点の位置の少なくとも一方とに基づき、実空間の画像平面における、基準となる２点および被験者１の身体的特徴点の少なくとも一方の位置座標を算出する。

【0073】

このような構成によれば、基準となる２点を繋ぐ線分の画像平面に対する角度θを考慮した換算比Ｐを用いて、画像平面における位置座標を算出することができるので、スイング動作を行う被験者１を撮影した動画像からの、実空間での動画像の画像平面における位置座標の算出の精度向上を図ることができる。

【0074】

実施形態では特に触れていないが、コンピュータを、画像処理装置１０として動作させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0075】

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0076】

１ 被験者
２ クラブ
１０ 画像処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 端末
１００ 画像処理システム
１３１ 位置特定部
１３２ 角度取得部
１３３ 換算比算出部
１３４ 座標算出部

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】