(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-02
(45)【発行日】2022-06-10
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20220603BHJP
A63B 69/36 20060101ALI20220603BHJP
H04N 7/18 20060101ALI20220603BHJP
【FI】
G06T7/60 180B
A63B69/36 541W
H04N7/18 U
(21)【出願番号】P 2019239187
(22)【出願日】2019-12-27
【審査請求日】2020-08-28
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100122275
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】岩屋 竜志
(72)【発明者】
【氏名】渡辺 哲
(72)【発明者】
【氏名】梅村 拓未
(72)【発明者】
【氏名】土屋 敬悟
【審査官】合田 幸裕
(56)【参考文献】
【文献】国際公開第2018/105290(WO,A1)
【文献】特開2010-042086(JP,A)
【文献】特開2013-236659(JP,A)
【文献】特開2010-155074(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/60
A63B 69/36
H04N 7/18
IEEE Xplore
JSTPlus(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
ゴルフのショットを
、ゴルフボールの打ち出し方向に実質的に平行な方向から撮像した一連のN個の静止画像データを含む動画像データを取得する手段と、
前記取得した動画像データに含まれる静止画像データのそれぞれからゴルフボールの画像部分を検出するボール検出手段と、
前記検出したゴルフボールの画像部分の位置の情報を用いて飛距離を推定する飛距離推定手段と、
を含
み、
前記飛距離推定手段は、複数の前記静止画像データから検出されたゴルフボールの画像部分の位置に基づいて、前記静止画像データの平面における打ち出し角度を推定し、当該推定された打ち出し角度に基づいて飛距離を推定する、画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
さらに、前記取得した動画像データに含まれる静止画像データのそれぞれからゴルフクラブのヘッドの画像部分の検出を試行するヘッド検出手段を含み、
前記飛距離推定手段が、前記検出したゴルフボールの画像部分の位置の情報とゴルフクラブのヘッドの画像部分の位置の情報とを用いて飛距離を推定する画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記飛距離推定手段は、
複数の静止画像データから検出された前記ヘッド検出手段が検出した画像部分の位置に基づいてインパクト時のヘッドの速度を推定し、
複数の静止画像データから検出されたゴルフボールの画像部分の位置に基づいてミート率を推定し、
当該推定されたヘッドの速度とミート率とに基づいて飛距離を推定する画像処理装置。
【請求項4】
請求項3に記載の画像処理装置であって、
前記飛距離推定手段は、
前記ミート率を推定する際に、
前記推定したヘッドの速度と、予め定めた仮ミート率とを用いて仮飛距離を求め、当該仮飛距離と、複数の静止画像データから検出されたゴルフボールの画像部分の位置の情報とに基づき、ミート率を推定する画像処理装置。
【請求項5】
コンピュータを用い、
取得手段が、ゴルフのショットを
、ゴルフボールの打ち出し方向に実質的に平行な方向から撮像した一連のN個の静止画像データを含む動画像データを取得
し、
ボール検出手段が、前記取得した動画像データに含まれる静止画像データのそれぞれからゴルフボールの画像部分を検出
し、
飛距離推定手段が、前記検出したゴルフボールの画像部分の位置の情報を用いて飛距離を推定する
画像処理方法であって、
前記飛距離推定手段は、複数の前記静止画像データから検出されたゴルフボールの画像部分の位置に基づいて、前記静止画像データの平面における打ち出し角度を推定し、当該推定された打ち出し角度に基づいて飛距離を推定する画像処理方法。
【請求項6】
コンピュータを、
ゴルフのショットを
、ゴルフボールの打ち出し方向に実質的に平行な方向から撮像した一連のN個の静止画像データを含む動画像データを取得する手段と、
前記取得した動画像データに含まれる静止画像データのそれぞれからゴルフボールの画像部分を検出するボール検出手段と、
前記検出したゴルフボールの画像部分の位置の情報を用いて飛距離を推定する飛距離推定手段と、
として機能させ
、
前記飛距離推定手段として機能させる際に、コンピュータに、複数の前記静止画像データから検出されたゴルフボールの画像部分の位置に基づいて、前記静止画像データの平面における打ち出し角度を推定させ、当該推定された打ち出し角度に基づいて飛距離を推定させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ゴルフのプレイ中に、スマートフォン等の携帯端末でショットの動画を撮像してフォームを確認するなどといったことが広く行われている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、こうした動画からは、フォームを確認することはできても、ボールの軌道などを表示することは行われていないのが現状である。
【0005】
本発明は上記実情に鑑みて為されたもので、簡便な操作でショットに関する情報を得ることができ、プレーヤーのショットの診断を行うことのできる画像処理装置、画像処理方法、及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【0006】
上記従来例の問題点を解決する本発明の一態様は、画像処理装置であって、ゴルフのショットを撮像した一連のN個の静止画像データを含む動画像データを取得する手段と、前記取得した動画像データに含まれる静止画像データのそれぞれからゴルフボールの画像部分を検出するボール検出手段と、前記検出したゴルフボールの画像部分の位置の情報を用いて飛距離を推定する飛距離推定手段と、を含むものである。
【発明の効果】
【0007】
本発明によると、簡便な操作でショットに関する情報を得ることができ、プレーヤーのショットの診断を行うことができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。
【
図2】本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。
【
図3】本発明の実施の形態の一態様に係る画像処理装置の動作例を表す説明図である。
【
図4】本発明の実施の形態の一態様に係る画像処理装置の画像前処理部の例を表す機能ブロック図である。
【
図5】本発明の実施の形態の一態様に係る画像処理装置の動作例を表すフローチャート図である。
【
図6】本発明の実施の形態のもう一つの態様に係る画像処理装置の画像前処理部の例を表す機能ブロック図である。
【
図7】本発明の実施の形態のもう一つの態様に係る画像処理装置の動作例を表すフローチャート図である。
【
図8】本発明の実施の形態のもう一つの態様に係る画像処理装置の動作例を表す説明図である。
【
図9】本発明の実施の形態の一態様に係る画像処理装置の表示情報生成部の例を表す機能ブロック図である。
【
図10】本発明の実施の形態に係る画像処理装置の一態様における、仰角の推定方法の例を表す説明図である。
【
図11】本発明の実施の形態に係る画像処理装置の一態様における、飛距離の算出方法の例を表す説明図である。
【
図12】本発明の実施の形態に係る画像処理装置の一態様における、飛距離の算出方法の例を表すもう一つの説明図である。
【
図13】本発明の実施の形態に係る画像処理装置の一態様における、飛距離の算出方法の例を表すさらにもう一つの説明図である。
【
図14】本発明の実施の形態の別の態様に係る画像処理装置の表示情報生成部の例を表す機能ブロック図である。
【
図15】本発明の実施の形態の別の態様に係る画像処理装置でのミート率の推定方法の例を表す説明図である。
【発明を実施するための形態】
【0009】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置10の一例は、
図1に例示するように、制御部11と、記憶部12と、操作部13と、表示部14と、撮像部15と、通信部16とを備えたスマートフォンなどの携帯端末である。
【0010】
ここで制御部11は、CPU等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態のある例では、この制御部11は、撮像部15を制御して動画像データを撮像させる。また制御部11は、撮像されたゴルフのショットなど、ボールを使ったスポーツプレイ中の、プレーヤーのショットの動画像データの入力を、撮像部15から受け入れる。さらに、制御部11は、当該入力された動画像データからボールの位置を検出し、当該検出したボールの位置の情報を所定の処理に供する。制御部11の詳しい動作の内容については、後に述べる。
【0011】
記憶部12は、メモリデバイス等であり、制御部11によって実行されるプログラムを保持する。また記憶部12は、制御部11のワークメモリとしても動作する。
【0012】
操作部13は、例えばタッチパネルやボタン等であり、ユーザの操作に基づき当該操作の内容を制御部11に出力する。表示部14は、タッチパネルに重ね合わせて配されたディスプレイ等を含む。表示部14は、制御部11から入力される指示に従って画像を表示する。
【0013】
撮像部15は、カメラであり、制御部11から入力される指示に従って画像データを撮像する。本実施の形態の一例では、撮像部15は、所定のタイミングごとに連続して複数フレーム分の静止画像データを撮像し、当該複数フレーム分の静止画像データを含むデータを、動画像データとして出力する。
【0014】
通信部16は、携帯電話通信網やネットワーク等の通信回線との間で情報を送受するインタフェース等である。通信部は16、制御部11から入力される指示に従って通信回線を介してデータを送出し、通信回線を通じて受信したデータを制御部11に出力する。
【0015】
次に、制御部11の動作例について説明する。本実施の形態の一例に係る制御部11は、記憶部12に格納されたプログラムを実行することで、
図2に例示するように、撮像制御部21と、画像前処理部22と、検出前処理部23と、検出処理部24と、表示情報生成部25と、表示制御部26とを機能的に含む構成を実現する。
【0016】
[実施形態の第1の態様]
撮像制御部21は、ユーザの指示を受信すると、撮像部15を制御し動画像データを撮像させる。なお、以下の説明では、スポーツとしてゴルフを例とする。また、ユーザは、ゴルフのプレーヤーの後方に画像処理装置10を置き、ショットの時点を含む前後の複数フレーム分の静止画像データを撮像させることとする。ここでプレーヤーの後方とは、プレーヤーの位置に対し、ボールを飛ばそうとする方向とは反対側をいう。そのため、撮像される画像データは例えば
図3(a)に例示するように、プレーヤーが右利きの場合、フレーム内の中心よりやや左側にプレーヤーが位置する。また、フレームの中心の下辺近傍に当初ボールが位置し、ショットの後は、ボールがフレーム上方へ移動して撮像される状態となるものである。なお、ショット後も、ボールがフレームから出ないよう、画角等が調整されているものとする。
【0017】
画像前処理部22は、撮像部15によって撮像された動画像データの処理を実行する。
【0018】
本発明の実施の形態に係る画像処理装置10の第1の態様では、画像前処理部22が、
図4に例示するように、補正部31と、変換部32とを含む。
【0019】
補正部31は、動画像データに含まれる複数フレーム分の静止画像データのそれぞれに対して、いわゆる手振れ補正処理を行う。この処理は、広く知られた方法を採用して行うことができるので、ここでの詳しい説明は省略する。
【0020】
変換部32は、複数フレーム分の静止画像データのそれぞれを、グレースケールの画像データに変換し、平滑化処理を行う。ここでは複数フレーム分の静止画像データのそれぞれに対して所定サイズのブロックごとにブロック内の画素値の平均を求めて、ブロック内の画素のすべてを当該平均の値として設定した平滑化画像を生成する処理を行えばよい。なお、所定サイズは、例えば、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズであってもよい。平滑化の処理では、ゴルフボールが撮像された画素を失うものでなければ、他の広く知られた種々の方法を採用できる。
【0021】
本実施の形態のこの態様では、この変換部32が出力する、変換後の複数フレーム分の静止画像データを処理対象データとして出力する(
図3(b))。
【0022】
検出前処理部23は、画像前処理部22が出力した処理対象データ、例えば、変換後の複数フレーム分の静止画像データについて、次の処理を行う。なお、ここでは処理対象データには、N個もしくはNフレームの静止画像データが含まれるものとする。
【0023】
検出前処理部23は、i番目のフレームの静止画像データと、i+1番目のフレームの静止画像データとの差分画像データを生成する。ここでiはN-2以下の自然数とする。なお、以下の説明では撮像された時刻が早い順に、静止画像データのフレームに1,2,…Nまでの番号を付して説明する。この差分画像データは、処理対象データに含まれる静止画像データと同じサイズの画像データである。
【0024】
検出前処理部23は、i番目の差分画像データの各画素を順次、注目画素として選択し、当該注目画素に対応するi番目のフレームの静止画像データ内の画素とi+1番目のフレームの静止画像データ内の画素とが、互いに同じ画素値である、もしくは画素値の差が予め定めたしきい値を下回るときは「0」、そうでなければ「1」とする。
【0025】
検出前処理部23は、上記処理を繰り返して、第1番目と第2番目のフレームの静止画像データ間の差分画像データ、第2番目と第3番目のフレームの静止画像データ間の差分画像データ…、第N-1番目と第N番目のフレームの静止画像データ間の差分画像データの、N-1フレーム分の差分画像データを生成する(
図3(c))。
【0026】
なお、
図3(c)の例では、差分画像データを、その画素値が「0」である画素、言い換えると差のない画素を黒色、画素値が「1」である画素、言い換えると、差のある画素、すなわち有意画素を白色とした二値化画像データとして表している。
【0027】
また検出前処理部23は、生成した各差分画像データに対してモルフォロジー変換処理、具体的には、差のある画素が白色である場合はオープニング処理、差のある画素が黒色である場合はクロージング処理を適用して、所定の画素数未満の有意画素の塊をノイズとして除去してもよい。なお、予定の画素数は、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズとする。
【0028】
検出処理部24は、検出前処理部23が処理した差分画像データの各々から、ボールが撮像されている位置の検出処理を実行する。
図5に検出処理部24の処理の一例を示す。検出処理部24は、k=1,2,…N-2として各kの値について、以下に説明する処理S2からS6の繰り返し処理を開始する(S1)。また、検出処理部24は、k番目の差分画像データと、k+1番目の差分画像データとのそれぞれについて、ボールが撮像されると想定される検出対象領域を設定する(S2)。なお、本実施形態では、k番目の差分画像をk番目のフレームとk+1番目のフレームとの差分画像データとし、k+1番目の差分画像データをk+1番目のフレームとk+2番目のフレームとの差分画像データとする。
【0029】
具体的には、検出処理部24は、連続する有意画素の塊のうち、予め定めた画素数より大きい画素数の画素を含む有意画素の塊をプレーヤーが撮像されている範囲として検出する。そして検出処理部24は、プレーヤーがフレームの中心より左側に存在するときにはプレーヤーとして検出した画素塊の外接矩形の右側辺よりも右側の範囲を検出対象領域と識別する。
図3(c)では、この検出対象領域を符号Rで示している。また、プレーヤーがフレームの中心より右側に存在する場合、検出処理部24は、プレーヤーとして検出した画素塊の外接矩形の左側辺よりも左側の範囲を検出対象領域と識別する。
【0030】
なお、一つ前の、処理S2からS6までの繰り返し処理においてk番目の差分画像データについて領域Rを特定していれば、この処理S2ではk+1番目の差分画像データについてのみ処理してもよい。
【0031】
検出処理部24は、k番目及びk+1番目の差分画像データから、それぞれ処理S2で定めた領域R内にある有意画素の塊を抽出する。そして検出処理部24は、当該抽出した有意画素の塊のうち、予め定めた画素数の範囲の有意画素を含む有意画素の塊を、仮のボール候補として検出する(S3)。
【0032】
検出処理部24は、k番目の差分画像データで仮のボール候補とした有意画素の塊のそれぞれについて、当該有意画素の塊の位置の情報を抽出する(S4)。また、検出処理部24は、当該取り出した位置の情報で特定されるk+1番目の差分画像データ内の位置に、仮のボール候補となるk番目で抽出した有意画素の塊に対応する有意画素の塊があるか否かを判断する(S5)。以下、この仮のボール候補となるk番目で抽出した有意画素の塊に対応する有意画素の塊を、対応有意画素塊という。
【0033】
この処理S5で対応有意画素塊があると判断されると(S5:Yes)、検出処理部24は、当該有意画素塊の位置、言い換えるとその有意画素塊の外接矩形を特定する座標情報を、k番目の差分画像データにおけるボール候補の位置とする(S6)。なお、処理S4で対応有意画素塊がないと判断されると(S5:No)、検出処理部24はk番目の差分画像データにボール候補がないものとして処理を続ける。
【0034】
検出処理部24は、処理S2からS6の処理を、k=1,2,…N-2について繰り返し実行する。そして検出処理部24は、k=1,2,…N-2番目の差分画像データのそれぞれからボール候補となる有意画素の塊を検出する。
【0035】
検出処理部24は、k=1,2,…N-2番目のフレームの静止画像データについて、次の処理を繰り返す(S7)。この繰り返し処理において検出処理部24は、k番目の差分画像データで新たにボール候補となったボール候補を、k番目のフレームの静止画像データにおけるゴルフボールの位置として、フレームを特定する情報、すなわちkの値に関連付けて当該ゴルフボールの位置を記憶部12に格納する(S8)。なお、検出処理部24は、k番目の差分画像データで新たにボール候補がなければ、k番目のフレームの静止画像データについては、ゴルフボールは検出できなかったものとして、位置の情報がない旨の情報を、記憶部12に格納する。
【0036】
これにより検出処理部24は、ゴルフボールと推定される有意画素の塊が検出されたフレームの静止画像データについて、そのゴルフボールの位置を表す情報を生成する。なお、ゴルフボールの位置を表す情報は、ゴルフボールとして検出された有意画素の塊の外接矩形を特定する座標情報の組でよい。
【0037】
表示情報生成部25は、撮像制御部21が取得したi番目のフレームの静止画像データの少なくとも一部について、i-1番目以前のフレームの静止画像データで検出したゴルフボールの位置、言い換えると対応する画素塊の外接矩形の中心と、i番目のフレームの静止画像データで検出したゴルフボールの位置を結んだ線分を、i番目のフレームの静止画像データに係る表示情報として生成する。なお、ここではi=2,3,…N-1とする。
【0038】
また、表示情報生成部25は、i番目のフレームの静止画像データでゴルフボールが検出できなかった場合は、i-1番目以前のフレームの静止画像データで検出したゴルフボールの位置から外挿してi番目のフレームの静止画像データでのゴルフボールの位置を推定してもよい。この場合、表示情報生成部25は、i-1番目以前のフレームの静止画像データで検出したゴルフボールの位置と当該推定した位置とを結んだ線分を、i番目のフレームの静止画像データに係る表示情報として生成する。
【0039】
あるいは、i番目のフレームの静止画像データでゴルフボールが検出できなかった場合、表示情報生成部25は、i-1番目以前のフレームの静止画像データと、i+1番目以降のフレームの静止画像データとのそれぞれで検出したゴルフボールの位置から内挿してi番目のフレームの静止画像データでのゴルフボールの位置を推定してもよい。
【0040】
表示制御部26は、ユーザの再生指示に応じて、撮像制御部21が取得した各フレームの静止画像データを順次表示する。また、表示制御部26は、再生中もしくは表示中のフレームの静止画像データに係る表示情報が生成された場合、当該表示情報を、静止画像データに重ね合わせて表示する。これにより、
図3(d)に例示するように、ゴルフのショットの画像に、ゴルフボールの飛翔の軌跡を表す図形もしくは線分Aが重ね合わせて表示されることとなる。
【0041】
[第1の態様における検出処理の変形例]
またこの検出処理部24の処理S6の処理において、k番目の差分画像データでボール候補となっている有意画素の塊が複数ある場合、検出処理部24は、次の処理をさらに行ってボール候補を絞り込んでもよい。ここではk>2とする。
【0042】
すなわち検出処理部24は、各ゴルフボールから一つずつ検出された場合、k-2番目とk-1番目との静止画像データのそれぞれのゴルフボールの位置を表す点、例えばゴルフボールとして検出された画素塊の中心点を、各静止画像データにおいて検出したゴルフボールの位置を表す複数の点とする。検出処理部24は、これらのゴルフボールの位置を表すとされた点を結んだ延長線の情報を取得する。そして検出処理部24は、k番目の差分画像データ内で、当該情報で特定される延長線上に存在するボール候補の有意画素の塊をk番目の静止画像データのゴルフボールの位置とする。
【0043】
なお、上記に記載以外でもk番目の静止画像データ以外であって、2以上の静止画像データにおいて検出したゴルフボールの位置を表す点を結ぶ線分または当該線分の延長線上を特定する情報を得てもよい。この場合も、k番目の差分画像データ内で、当該情報で特定される延長線上に存在するボール候補の有意画素の塊をk番目の静止画像データのゴルフボールの位置とする。
【0044】
[実施形態の第2の態様]
次に、本発明の実施の形態に係る画像処理装置10の第2の態様について説明する。この第2の態様では、制御部11が機能的に
図2に例示した構成を実現することは第1の態様と同様であるが、各部の動作において相違がある。
【0045】
撮像制御部21は、第1の態様と同様、ユーザの指示を受けて、撮像部15を制御し動画像データを撮像させる。ユーザは、ボールの飛ぶ方向の反対側であるゴルフのプレーヤーの後方に画像処理装置10を置き、ショットの時点を含む前後の複数フレーム分の静止画像データを撮像させることとする。撮像される画像データは例えば
図3(a)に例示したように、プレーヤーが右利きの場合、フレーム内の中心よりやや左側にプレーヤーが位置することとなる。また、この画像データでは、フレームの中心の下辺近傍に当初ボールが位置し、ショットの後は、ボールがフレーム上方へ移動して撮像される。なお、ショット後も、ボールがフレームから出ないよう、画角等が調整されているものとする。
【0046】
この第2の態様では、画像前処理部22は、
図6に例示するように、補正部41と、プレーヤー領域特定部42と、変換部43とを含む。補正部41は、動画像データに含まれる複数フレーム分の静止画像データのそれぞれに対して、いわゆる手振れ補正処理を行う。この処理は、広く知られた方法を採用して行うことができるので、ここでの詳しい説明は省略する。
【0047】
プレーヤー領域特定部42は、各フレームの静止画像データからプレーヤーが撮像されている領域を特定する。この処理は、例えばディープラーニングを用いた、segnet;https://arxiv.org/pdf/1511.00561.pdf等のセグメンテーションネットワーク、YOLO;https://arxiv.org/abs/1506.02640等のオブジェクト検出ネットワークを用いて行うこととしてもよい。また、この他にも画像データから所定の特徴を有する対象を抽出できる方法であればいかなる方法を採用してもよい。
【0048】
プレーヤー領域特定部42は、各フレームの静止画像データにおいてプレーヤーが撮像されている領域を特定する。なお、プレーヤーが撮像されている領域は、プレーヤーとして認識される画素群に外接する矩形状の領域であってもよい。
【0049】
変換部43は、複数フレーム分の静止画像データのそれぞれに対して所定サイズのブロックごとにブロック内の画素値の平均を求めて、ブロック内の画素のすべてを当該平均の値として設定した平滑化画像を生成する処理を行う。変換部43の平滑化の処理は、ゴルフボールが撮像された画素を失うものでなければ、他の広く知られた種々の方法を採用できる。なお、所定のサイズは、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズであってもよい。
【0050】
検出前処理部23は、画像前処理部22の変換部43が出力した処理対象データ、例えば、平滑化処理後の複数フレーム分の静止画像データについて、次の処理を行う。なお、ここでは処理対象データには、N個もしくはNフレーム分の平滑化画像の静止画像データが含まれるものとする。
【0051】
検出前処理部23は、i番目のフレームの静止画像データに対応する平滑化画像を取得する。なお、iはN-2以下の自然数とし、以下では、i番目のフレームの静止画像データに対応する平滑化画像を、i番目の平滑化画像と呼ぶ。以下の説明では撮像された時刻が早い順に、静止画像データのフレームに1,2,…Nまでの番号を付して説明する。
【0052】
検出前処理部23は、N-2個の平滑化画像のうち、pは予め定めた2以上の整数として、i>pとした場合、i-p番目からi番目までのp+1個のフレームの静止画像データの平均を算出し平均画像データを生成する。
【0053】
そして平均画像とi+1番目のフレームの静止画像データに対応する平滑化画像、つまりi+1番目の平滑化画像との差分画像データを生成する。差分画像データは、撮像された静止画像データと同じサイズの画像データであって、その各画素を次の処理を実行し特定したものである。
【0054】
すなわち検出前処理部23は、平均画像の各画素を順次選択する。以下では、選択した画素を、説明のため「注目画素」と呼ぶ。そして検出前処理部23は、当該注目画素に対応する平均画像の画素とi+1番目の平滑化画像の画素とが、互いに同じ画素値、あるいは画素値の差が予め定めたしきい値を下回る場合は「0」、そうでなければ「1」とする。ここでは例えば差分画像データを、その画素値が「0」である画素、言い換えれば、差のない画素を黒色、画素値が「1」である画素、言い換えれば、差のある画素、すなわち有意画素を白色とした二値化画像データとして表す。
【0055】
検出前処理部23は、この処理を繰り返して、第1番目から第p-1番目までの平均画像と第p番目の平滑化画像との間における差分画像データ、すなわちp番目の差分画像データと、第2番目から第p番目までの平均画像と第p+1番目の平滑化画像との間の差分画像データ、すなわちp+1番目の差分画像データ、…、第N-p番目から第N-1番目までの平均画像と第N番目の平滑化画像との間の各差分画像データを取得する。
【0056】
なお、検出前処理部23は、平均画像の代わりに、k番目の平滑化画像においてゴルフボールが撮像される際の画素数より大きいサイズの画素塊であって、周辺画素と色の異なる画素塊を検出して、当該画素塊を周辺画素の色で埋める処理、すなわちノイズ除去処理を実行して、実質的に背景となる画像を取得もよい。この場合、検出前処理部23は、当該実質的に背景となる画像と、k+1番目の平滑化画像との差分画像データを取得することとなる。
【0057】
検出前処理部23は、取得した各差分画像データに対してモルフォロジー変換処理、具体的には、差のある画素が白色である場合、オープニング処理または差のある画素が黒色である場合、クロージング処理の処理を適用する。また、検出処理前処理部23は、所定の画素数未満の有意画素の塊をノイズとして除去してもよい。なお、所定の画素数は、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズとしてもよい。
【0058】
検出処理部24は、検出前処理部23が取得差分画像データの各々から、ボールが撮像されている位置の検出処理を実行する。本実施の形態のこの態様では、検出処理部24は、第1の態様の
図5に例示した処理に代えて、
図7に示す処理を実行する。
【0059】
図7に示す処理を実行する際、検出処理部24は、プレーヤー領域特定部42で特定した領域が差分画像データの中心より左側に存在するときには当該領域よりも右側の範囲を検出対象領域と識別する。また、プレーヤー領域特定部42で特定した領域が差分画像データの中心より右側に存在するときには当該領域よりも左側の範囲を検出対象領域と識別する。
【0060】
検出処理部24は、各差分画像データから、上記検出対象領域内にある有意画素の塊を抽出する。そして検出処理部24は、各差分画像データにおいて当該抽出した有意画素の塊のうち、予め定めた画素数の範囲の数だけの有意画素を含む有意画素の塊を、ボール候補として検出する(S11)。
【0061】
検出処理部24は、各差分画像データから検出した各ボール候補の位置、例えば、ボール候補となった有意画素塊に外接する矩形を特定する座標情報を、検出した差分画像データに対応するフレームの静止画像データを特定する情報に関連付けて、k番目の静止画像データにおいてゴルフボールが撮像されていると推定される位置の候補、言い換えるとボール位置候補として記録する(S12)。なお、検出処理部24は、k番目の差分画像データであれば、数値kをそのまま用いて処理を実行してもよい。
【0062】
これにより、k番目の差分画像データを特定する情報に関連付けて記録したボール候補の位置は、k番目の静止画像データにおいてゴルフボールが撮像されていると推定される位置の候補を表すものとなる。以下では説明のため、k番目の静止画像データにおいてゴルフボールが撮像されていると推定される位置の候補を、Bk_1,Bk_2…とする。ここで推定される位置の候補を、以下では、ボール位置候補と呼ぶ。
【0063】
検出処理部24は、k-1番目の静止画像データにおけるボール位置候補と、k番目の静止画像データにおけるボール位置候補と、k+1番目の静止画像データにおけるボール位置候補とのそれぞれから1つずつボール位置候補を取り出して得られる可能な順列を列挙する(S13)。ここでkは2以上、N-1以下の自然数、つまりk=2,3…N-1とする。つまり、この処理S13ではボール位置候補の順列列挙が行われる。なお、上記の説明では、3つ静止画像データを用いる例を挙げるが、3以上であればいくつの静止画像データを用いてもよい。
【0064】
例えば、
図8では、k-1番目の静止画像データにおけるボール位置候補がBk-1_1,Bk-1_2,Bk-1_3の3つあり、k番目の静止画像データにおけるボール位置候補がBk_1,Bk_2の2つあり、k+1番目の静止画像データにおけるボール位置候補がBk+1_1,Bk+1_2,Bk+1_3の3つある場合を示す。なお、
図8では、k番目の静止画像データにはBk-1_1,Bk-1_2,Bk-1_3のボール位置候補を破線で示しており、k+1番目の静止画像データには、Bk-1_1,Bk-1_2,Bk-1_3のボール位置候補と、Bk_1,Bk_2のボール位置候補とを破線で示している。
【0065】
この場合、それぞれから一つずつ取り出す可能な時系列順の順列は、
Bk-1_1→Bk_1→Bk+1_1
Bk-1_1→Bk_1→Bk+1_2
Bk-1_1→Bk_1→Bk+1_3
Bk-1_1→Bk_2→Bk+1_1
Bk-1_1→Bk_2→Bk+1_2
Bk-1_1→Bk_2→Bk+1_3
Bk-1_2→Bk_1→Bk+1_1
…
Bk-1_3→Bk_2→Bk+1_2
Bk-1_3→Bk_2→Bk+1_3
の18通りある。検出処理部24は、処理S13で、この順列を列挙する。この順列は、それぞれが、ボールの移動軌跡候補となる。
【0066】
なお、処理S13では必ずしもすべての可能な順列を列挙する必要はなく、例えば順列に隣接して含まれるボール位置候補の差が予め定めたしきい値より大きい順列は、列挙から排除してもよい。なお、ボール位置候補の差は、例えば、X軸またはY軸のいずれかの方向の差などであってもよい。
【0067】
検出処理部24は、各移動軌跡候補のうち、予め定めた条件に最もよく適合する移動軌跡候補を選択する(S14)。つまり、この処理S14では、条件に適合する移動軌跡候補を選択することが行われる。
【0068】
ここで条件は、例えば移動軌跡候補に含まれるボール位置候補が表す位置に係る条件である。以下の例では静止画像データの縦方向をY軸、横方向をX軸とする。ここで、Y軸は、鉛直下方を正の方向とし、X軸は右方を正の方向とする。このとき、具体的な条件は、例えば:
(1)時系列順に隣接する3つのボール位置候補Bi-1_a→Bi_b→Bi+1_cにおいて、Bi+1_bより後の時間のボール位置候補のY座標が、Bi_bより前の時間のボール位置候補のY座標より小さいとき、Bi_bのY座標の値からBi-1_aのY座標の値を引いた値ΔYiよりも、Bi+1_cのY座標の値からBi_bのY座標の値を引いた値ΔYi+1の値が小さい
(2)時系列順に隣接する3つのボール位置候補Bi-1_a→Bi_b→Bi+1_cにおいて、Bi+1_b、つまり、より後の時間のボール位置候補のY座標が、Bi_b、つまり、より前の時間のボール位置候補のY座標より大きいとき、Bi_bのY座標の値からBi-1_aのY座標の値を引いた値ΔYiよりも、Bi+1_cのY座標の値からBi_bのY座標の値を引いた値ΔYi+1の値が大きい
(3)時系列順に隣接する3つのボール位置候補Bi-1_a→Bi_b→Bi+1_cにおいて、Bi_bより後の時間のボール位置候補のX座標の値からBi-1_aのX座標の値を引いた値ΔXiと、Bi+1_cのX座標の値からBi_bのX座標の値を引いた値ΔXi+1の値とが正または負である同じ符号であって、X軸方向の変化量の差の絶対値である|ΔXi+1-ΔXi|ができるだけ小さい。
との条件とする。言い換えれば、(1)は減速している場合を示し、(2)は加速している場合を示す。
【0069】
図8の例では、検出処理部24の処理により、例えば
・Bk-1_1→Bk_1→Bk+1_1では、上記条件(1)の条件を満足しており、また(3)X軸方向の変化量の差の絶対値が比較的小さいので、移動軌跡として適切であると判断される。
・Bk-1_1→Bk_1→Bk+1_2では、上昇中であるのに、ΔYk+1がΔYkより大きい、つまり加速しているため、(1)の条件を満足せず、またX軸方向の変化量の符号が変わっているので、(3)の条件も満足しない。従って移動軌跡として適切でないと判断される。
・Bk-1_1→Bk_1→Bk+1_3も、Bk-1_1→Bk_1→Bk+1_2の例と同じく(3)の条件を満足しない。
…
・Bk-1_2→Bk_1→Bk+1_1は、(1)、(3)の条件を満足するが、X軸方向の変化量の差の絶対値が、Bk-1_1→Bk_1→Bk+1_1のものより大きいので、移動軌跡として適切でないと判断される。
…
上記のように各移動軌跡候補が移動軌跡として適切か否かが判断される。
【0070】
図8の例では、以上の例のように、Bk-1_1→Bk_1→Bk+1_1が最も適切な移動軌跡として判断されることとなる。
【0071】
検出処理部24は、最も適切な移動軌跡に含まれるボール位置候補の位置を特定する情報を、対応するフレームの静止画像データにおける、ゴルフボールの位置、言い換えると、ゴルフボールが撮像されている位置を表す情報として出力する。
【0072】
表示情報生成部25は、撮像制御部21が取得したi番目のフレームの静止画像データの少なくとも一部についてのゴルフボールの位置と、i-1番目以前のフレームの静止画像データで検出したゴルフボールの位置とを結んだ線分を、i番目のフレームの静止画像データに係る表示情報として生成する。ここではi=2,3,…N-1とする。なお、ゴルフボールの位置は、それぞれ対応する画素塊の外接矩形の中心であってもよい。
【0073】
また、表示情報生成部25は、i番目のフレームの静止画像データでゴルフボールが検出できなかった場合は、i-1番目以前のフレームの静止画像データで検出したゴルフボールの位置から外挿してi番目のフレームの静止画像データでのゴルフボールの位置を推定してもよい。この場合、表示情報生成部25は、i-1番目以前のフレームの静止画像データで検出したゴルフボールの位置と当該推定した位置とを結んだ線分を、i番目のフレームの静止画像データに係る表示情報として生成する。
【0074】
あるいは、i番目のフレームの静止画像データでゴルフボールが検出できなかった場合、表示情報生成部25は、i-1番目以前のフレームの静止画像データと、i+1番目以降のフレームの静止画像データとのそれぞれで検出したゴルフボールの位置から内挿してi番目のフレームの静止画像データでのゴルフボールの位置を推定してもよい。
【0075】
表示制御部26は、ユーザの再生指示に応じて、撮像制御部21が取得した各フレームの静止画像データを順次表示するとともに、再生中もしくは表示中のフレームの静止画像データに係る表示情報が生成されていたときには、当該表示情報を、静止画像データに重ね合わせて表示する。これにより、
図3(d)に例示したものと同様に、ゴルフのショットの画像に、ゴルフボールの飛翔の軌跡を表す図形もしくは線分が重ね合わせて表示されることとなる。
【0076】
[表示情報に関する例]
前述の実施形態の画像処理装置10は、撮像して得られた動画像データの各フレームにおいてゴルフボールが撮像されている位置を推定し、当該推定した位置を結ぶ線分を描画して、ゴルフボールの飛翔軌跡を表示するものであった。しかし、本実施の形態の画像処理装置10は、これだけに限らず、ゴルフのショットに関する種々の情報を推定して表示するようにしてもよい。
【0077】
[ヘッドスピードの推定]
本実施の形態のある態様では、画像処理装置10の制御部11は、表示情報生成部25の処理においてプレーヤーのゴルフクラブのヘッドが撮像されている範囲を、各静止画像データ中から検出する。このゴルフクラブのヘッド部分の検出は、YOLO;https://arxiv.org/abs/1506.02640等の一般的なオブジェクト検出ネットワークを利用する方法など、広く知られている方法を採用できるので、ここでの詳しい説明は省略する。また以下の例では前述の通り静止画像データの縦方向をY軸、横方向をX軸とする。
【0078】
表示情報生成部25は、プレーヤーの撮像されている領域の検出の結果を用いて、画素数と実際の長さ、特に本実施形態ではメートル単位との比率を算出する。既に述べた第1の態様では、差分画像データ中にある有意画素の塊のうち、予め定めた画素数より大きい画素数の画素を含む有意画素塊をプレーヤーが撮像されている範囲として検出する。そのため、表示情報生成部25は、この有意画素の塊に外接する矩形の高さであって、画素単位をプレーヤーの身長の画素数とする。
【0079】
また第2の態様では、プレーヤー領域特定部42が特定した領域の高さを画素単位で表した値を、プレーヤーの身長の画素数とする。そして表示情報生成部25は、予め定めたプレーヤーの身長を、このプレーヤーの身長の画素数で除して比率rを求める。なお、プレーヤーの身長は、大人の身長の平均値でもよいし、ユーザにプレーヤーの身長の情報の入力を要求してもよい。
【0080】
表示情報生成部25は、各フレームから検出したゴルフクラブのヘッドの位置のうち、Y軸の値が最小となったときのフレームと、Y軸の値が最大となったときのフレームとの間のフレームの数を抽出する。例えばゴルフクラブのヘッドの位置のうち、Y軸の値が最小となったときのフレームがi番目のフレームであり、Y軸の値が最大となったときのフレームがj番目のフレームであれば、表示情報生成部25は、これらの間のフレーム数として(j-i)を抽出する。そして表示情報生成部25は、フレーム間の撮像間隔を、ここで求めたフレームの数に乗じて、ゴルフクラブが最も高い位置から最も低い位置まで振り降ろされる間の時間tを、秒の単位で求める。なお、検出されたゴルフクラブのヘッドの位置は、ヘッドが撮影されている部分に外接する矩形の中心の位置であってもよい。フレーム間の撮像間隔は、例えばフレーム速度が1/30秒であれば、1/30となる。
【0081】
また、表示情報生成部25は、i番目のフレームのゴルフクラブのヘッドの位置における座標情報(xi,yi)と、j番目のフレームのゴルフクラブのヘッドの位置における座標情報(xj,yj)との静止画像データ上での画素単位でユークリッド距離Dを算出する。さらに、表示情報生成部25は、距離Dに予め算出した比rを乗じ、上記求めた時間tで除してヘッドスピードsを算出する。式は以下のとおりである。:
s=D・r/t
【0082】
画像処理装置10は、上記の手法に基づき算出したヘッドスピードの情報を、ゴルフボールの移動軌跡とともに表示してもよい。
【0083】
[初期位置の推定]
表示情報生成部25は、プレーヤーの撮像されている領域の検出結果を用い、当該領域の下辺を延長した線分と、ゴルフボールの飛翔の軌跡を表す直線であって、静止画像データのY軸正の方向に延長した線分との交差する位置を、ゴルフボールの初期位置として推定してもよい。
【0084】
表示制御部26は、ユーザの再生指示に応じて、撮像制御部21が取得した各フレームの静止画像データを順次表示する際、静止画像データの初期位置にゴルフのショットが行われたことを表す図形を重ね合わせて配し、インパクトがあったことを強調して表示してもよい。なお、表示制御部26が表示する図形は、丸形であっても、四角であっても、その他多角形であってもよい。
【0085】
表示情報生成部25は、この初期位置の情報を、次の処理において利用してもよい。
【0086】
[飛距離の推定(第1の方法)]
本実施の形態のある態様では、表示情報生成部25は、
図9に例示するようにヘッドスピード推定部51と、初期位置推定部52と、仮飛距離演算部53と、仰角推定部54と、ミート率推定部55と、飛距離推定部56とを含んで構成される。
【0087】
ヘッドスピード推定部51は、既に述べたように、i番目のフレームのゴルフクラブのヘッドの位置における座標情報(xi,yi)と、j番目のフレームのゴルフクラブのヘッドの位置における座標情報(xj,yj)との静止画像データ上での画素単位でユークリッド距離Dを算出する。さらに、表示情報生成部25は、距離Dに予め算出した比rを乗じ、上記求めた時間tで除してヘッドスピードs=D・r/tを推定する。初期位置推定部52は、上述の方法で初期位置を推定する。なお、本実施の形態のここでの例では、初期位置推定部52は、さらにゴルフボールを検出したフレームの撮像時刻と、当該検出位置との情報を用いて、位置に応じた時刻の外挿を行い、先に推定した初期位置にボールがあった最後の時点であって、インパクトの時点の時刻t0を、フレーム単位で推定する。
【0088】
本実施の形態では、ミート率を仮に定めて仮の飛距離である仮飛距離を求める。この仮飛距離の値は、後に、ミート率を推定する処理に用いられる。このために、仮飛距離演算部53は、仮のミート率を1.25として、ヘッドスピード推定部51が推定したヘッドスピードsを用い、ボールスピードbs=1.25×sを算出する。なお、ミート率は、ボール初速をヘッドスピードで除した比率を意味する。そして仮飛距離演算部53は、ボールスピードbsを4倍した値を仮の飛距離とする。
【0089】
[仰角の推定]
仰角推定部54は、
図10に例示する処理により、ボールの打ち出し時の仰角を推定する。仰角推定部54は、
図11に例示するように、プレーヤーの撮像されている領域Fの検出結果を用いて、当該領域Fの高さHを算出する。そして仰角推定部54は、当該領域Fの下辺から、当該領域Fの高さHに対して所定比率(
図11では0.9とする)の位置にあるX軸に平行な仮想的な線分λを設定する(S21)。以下の処理では、この線分λが、撮像部15の高さにある、地面に平行な線分と仮定する。
【0090】
仰角推定部54は、ゴルフボールを検出した位置Bを通過し、X軸に平行な仮想線分λ′を設定する(S22)。ここで、位置Bは、どの時点のものでもよいが、
図11では最初にゴルフボールを検出した位置としている。そして仰角推定部54は、ここまでに設定した仮想線分λとλ′との間の距離hを算出する(S23)。なお、仮想線分λとλ′との間の距離hは、λのY座標の値と、λ′のY座標の値との差の絶対値であって、単位は画素である。
【0091】
仰角推定部54は、既に述べた、プレーヤーの身長に関する情報とプレーヤーの撮像されている領域Fの高さHとの比に基づいて画素に対する長さの比rを算出する(S24)。また、仰角推定部54は、上記距離hにこの比rを乗じてメートル単位での長さの情報h′=r×hを算出する(S25)。
【0092】
図12に、撮像する場合、特に打ち出されたゴルフボールの進行方向が右となる状態を示す。撮像部15の位置Cとゴルフボールの位置Bとを結ぶ線分CBとすると、この長さh′は、撮像部15の位置Cとプレーヤーの正中線との交差する点Pと、当該正中線と線分CBとの交点Qとの間の長さPQに相当することとなる。
【0093】
ここでゴルフボールの初期位置Eが上記正中線と地面との交点であるとし、線分CBを延長した線分と、地面との交点をLとする。また線分ELの長さをd2とし、線分EBの長さをd1とする。求める仰角をαと置き、線分CLと地面とのなす角をβとすると、
図12に例示するように、地面を平面と仮定したときには、平行線に関する定理から角LCPもまたβとなる。従って三角形CPQと、三角形LEQとは相似形となっている。
【0094】
さらに正弦定理より、
【数1】
が成立するので、これをαについて整理して、
【数2】
を得る。
【0095】
一方、撮像部15の画角の情報から、プレーヤーの身長が画素数Hで撮像される場合の被写体までの距離Dは推定できるので、上記相似の関係から、D/h=d2/0.9H-hが成り立ち、
【数3】
と書くことができる。
【0096】
またd1は推定したボールの初速に、ゴルフボールが初期位置Eから点Bまで移動するのに要した時間を乗じて求めることができる。この時間は、先に求めたt0を用いて、点Bにあったときのフレームがk番目のフレームであれば(k-t0)にフレーム間の時間fps(例えば1/30秒であれば1/30)を乗じて、
(k-t0)・fps
と求めることができるため、
【数4】
となる。
【0097】
【0098】
仰角推定部54は、(2),(3),(4)式により、既知の値となっているD,H,h′,r(画素に対する現実の長さ(メートル)の比),k,t0,fps,bsからd1,d2,及びβを求める(S26)。そして(1)式に、当該求めた値を代入して仰角の推定値αを求める(S27)。
【0099】
なお、身長に対するカメラの高さの比率を0.9以外とする場合は、(2)式における定数0.9もそれに合わせて変更する。
【0100】
[ミート率の推定(第1の方法)]
ミート率推定部55は、次のようにしてミート率を推定する。なお、以下の説明でも
図12を参照する。また
図12において、撮像部15の位置Cから鉛直下方に下ろした線と地面との交点をOとする。既に述べたように、この線分COの長さは0.9H(身長に対するカメラの高さの比率を0.9とする場合。異なる値とするときには、その値とする)である。
【0101】
ミート率推定部55は、仮飛距離演算部53が求めた仮の飛距離m′=4・bsを用い、この飛距離の位置で、ゴルフボールが地面上の点B′にあるとして、撮像部15の位置Cからこの点B′を見るときの角度β′として、
【数6】
を求める。なお、ここでは地面は平面と仮定する。そしてミート率推定部55は、この位置B′に対応する静止画像データ上での画素のY座標の値を、プレーヤーの撮像されている領域Fの上辺から
【数7】
だけ下がった、つまりこの値だけY軸正の方向に移動した位置yとする。以下、この位置yを通り、X軸に平行な仮想的な線分をλ″とする。
【0102】
またミート率推定部55は、ゴルフボールの位置B′のX座標の値を、次のように求める。以下の説明では
図13を参照する。
図13において
図11と同じ点には、同じ符号を付している。
図13において線分EBとY軸とのなす角を打ち出し角度φとする。また各フレームの静止画像データから検出したゴルフボールの位置のうち、その座標のY軸の値が最小となる位置Gと、点Bとを結ぶ線分を考えるとき、線分BGとX軸とのなす角をθとする。
【0103】
ミート率推定部55は、点Gを通り、X軸とのなす角がθであるようなもう一つの仮想的な線分を設定し、この線分と上述のλ″との交点をB′とする。そしてミート率推定部55は、角BEB′を曲がり角度ψとして、この曲がり角度ψと、上述の打ち出し角度φとの和の余弦に、先に求めた仰角αの所定の関数を乗じてミート率Mを演算する。ここでは、
【数8】
とする。なお、ここで角度αは、円周を360度とする角度単位であるディグリーで表すものとし、|z|は、zの絶対値を表すものとする。また定数である1.33や、0.01は経験的に定められている。
【0104】
飛距離推定部56は、ミート率推定部55が求めたミート率Mと、先に求めたヘッドスピードsを用いてボールの初速をM・sとして、飛距離eを、
e=4・M・s
と推定する。
【0105】
表示制御部26は、ユーザの再生指示に応じて、撮像制御部21が取得した各フレームの静止画像データを順次表示する際、ここで得られた飛距離の値eやミート率を併せて表示してもよい。
【0106】
[飛距離の推定(第2の方法)]
本実施の形態のもう一つの態様では、飛距離の推定を次のようにして行う。この態様では、表示情報生成部25は、
図14に例示するようにヘッドスピード推定部61と、ミート率推定部62と、飛距離推定部63とを含んで構成される。ここでヘッドスピード推定部61は、既に述べた方法によりヘッドスピードsを推定する。
【0107】
[ミート率の推定(第2の方法)]
またミート率推定部62は、
図15に例示するように、プレーヤーの撮像されている領域Fの左端から、この領域の幅の所定数倍、例えば5倍の幅を有する領域Uを確定し、X軸方向に当該領域Uを所定の横分割数に分ける。またミート率推定部62は、例えばプレーヤーの撮像されている領域Fの下辺から、当該領域Fの高さの例えば0.8倍の高さの位置にX軸に平行な第1の判定ラインDL1を設定する。さらにミート率推定部62は、領域Fの下辺から、当該領域Fの高さの例えば1.2倍の高さの位置にX軸に平行な第2の判定ラインDL2を設定…のように複数の判定ラインを設定し、領域UをY軸方向にも複数に分割する。
【0108】
そしてミート率推定部62は、領域Uを分割して得られる小領域ごとに、予めミート率を設定しておく。
図15の例では、3×3の9個に分割された小領域ごとに、第1行の左から右へ順に、1.15,1.2,1.15と設定している。また第2行についても同様に、1.35,1.42,1.35と設定し、第3行についても、1.1,1.2,1.1と設定する。
【0109】
ミート率推定部62は、各フレームの静止画像データのうち、ゴルフボールの位置を最後に検出したフレームにおける、当該ゴルフボールの位置が、上記小領域のどこに属するかを判断する。そして、ミート率推定部62は、当該判断の結果、最後に検出したゴルフボールの位置が属する小領域に関連して、予め設定されているミート率の値を、ミート率の推定値M′として出力する。
【0110】
飛距離推定部63は、ミート率推定部62が求めたミート率M′と、先に求めたヘッドスピードsを用いて(従ってボールの初速をM′・sとして)、飛距離e′を、
e′=4・M′・s
と推定する。
【0111】
そしてこの例では、表示制御部26は、ユーザの再生指示に応じて、撮像制御部21が取得した各フレームの静止画像データを順次表示する際、ここで得られた飛距離の値e′やミート率を併せて表示する。
【0112】
[実施形態の効果]
本発明の実施の形態によると、ゴルフのショット時の動画像を、プレーヤーの後ろ側から画像処理装置10の撮像部15で撮像すれば、当該撮像された動画像データに含まれる一連の静止画像データのフレームからゴルフボールの位置を検出し、動画像データの再生時にゴルフボールの移動軌跡を表す線分を重ね合わせて表示できる。
【0113】
このようにユーザは簡便な操作で、ゴルフボールの飛翔軌跡を合成した動画像を視聴でき、ゴルフのショット画像の娯楽性を向上できる。
【0114】
また本実施の形態のある態様では、上述のように、ショットの初期位置を合成して表示でき、ゴルフのショット画像の娯楽性をさらに向上できる。
【0115】
さらに本実施の形態のいくつかの態様では、インパクト時のヘッドスピードを推定し、またミート率を推定して飛距離を推定でき、この推定したミート率や飛距離の情報等を併せて表示するので、ユーザは簡便な操作で、おおまかな飛距離の情報など、ショットに関する情報を得ることができ、プレーヤーのショットの診断を簡便に行うことができる。
【0116】
また、当該推定したミート率や飛距離に基づき、これらが所定のしきい値を超えたときに、「ナイスショット!」などといった文字の画像など、演出用の画像を合わせて表示することとすると、さらにゴルフのショット画像の娯楽性を向上でき、また、プレーヤーのショットの診断を簡便に行うことができる。
【0117】
[ゴルフ以外のスポーツへの適用]
本実施の形態の画像処理装置10は、ゴルフ以外のスポーツにおいても利用できる。例えば野球やバッティングセンターなどでの打撃であれば、バッターの後方側、いわゆるバックネット裏から撮像した画像を用いることで、画像処理装置10は、ボールを検出し始めてからバッターが打撃を行うまでの時間と、バッターからマウンドまでの距離dである約18mの情報とを用いて、投球速度を推定する。
【0118】
すなわち、ボールが検出されるのは、ピッチャーの手からボールが離れた時点であるので、バッターが打撃を行うまでの時間Tで、上記距離dを除することで投球速度を判定できる。
【0119】
また野球では、バットのスイング速度と、バットがボールを打ち出すときのインパクト位置が、上記の投球速度に加えて打球速度に影響する。そこで画像処理装置10は、既に述べたゴルフクラブを検出した方法と同様の方法でバットの位置を検出し、そのスイングの速度と、打撃前のボールの最後の検出位置とバットを検出した領域が画像データ中で占める範囲とに基づいてインパクト位置を推定する。
【0120】
そして画像処理装置10は、ボールの反発係数を定数として、以上で求めた投球速度とバットのスイング速度とインパクト位置とに基づいて打球速度を推定する。さらに画像処理装置10は、バットの領域の検出結果から、打撃後のフレームを特定し、当該打撃後のフレームから、打撃後のボールの位置を検出して、打球の角度を推定する。この推定方法は、既に述べたゴルフボールの打ち上げ角度の推定方法と同様の方法を採用できる。
【0121】
そして画像処理装置10は、以上の打撃速度と打球の角度とに基づいて打球の飛距離を推定して表示する。
【0122】
さらに他のボールを用いたスポーツにおいても本実施の形態の画像処理装置10を利用して、プレーヤーが投げた、打ち出した、蹴り出した、つまりプレーヤーがショットしたボールの軌跡を推定して、その情報を、プレーヤーとボールとを撮像した画像に重畳して表示するなどの処理に供することができる。
【符号の説明】
【0123】
10 画像処理装置、11 制御部、12 記憶部、13 操作部、14 表示部、15 撮像部、16 通信部、21 撮像制御部、22 画像前処理部、23 検出前処理部、24 検出処理部、25 表示情報生成部、26 表示制御部、31,41 補正部、32,43 変換部、42 プレーヤー領域特定部、51,61 ヘッドスピード推定部、52 初期位置推定部、53 仮飛距離演算部、54 仰角推定部、55,62 ミート率推定部、56,63 飛距離推定部。