特許 6575609 運動するボールに対するセンシング装置及びセンシング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6575609

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】運動するボールに対するセンシング装置及びセンシング方法

(51)【国際特許分類】

   A63B 69/36 20060101AFI20190909BHJP

   G06T 7/246 20170101ALI20190909BHJP

【ＦＩ】

   A63B69/36 541W

   G06T7/246

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2017-559876(P2017-559876)

(86)(22)【出願日】2016年6月10日

(65)【公表番号】特表2018-525043(P2018-525043A)

(43)【公表日】2018年9月6日

(86)【国際出願番号】KR2016006189

(87)【国際公開番号】WO2016200208

(87)【国際公開日】20161215

【審査請求日】2018年1月9日

(31)【優先権主張番号】10-2015-0083296

(32)【優先日】2015年6月12日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】315019182

【氏名又は名称】ゴルフゾン カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ジュ、サン ヒョン

(72)【発明者】

【氏名】キム、セ ファン

【審査官】 砂川 充

(56)【参考文献】

【文献】 国際公開第２０１４／１０９５４５（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／１０９５４６（ＷＯ，Ａ１）

【文献】 特開２００９−２４７６４２（ＪＰ，Ａ）

【文献】 特表２０１３−５３５７１５（ＪＰ，Ａ）

【文献】 特開２００５−２９１８２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｂ ６９／００−６９／４０

Ｇ０６Ｔ ７／００− ７／９０

(57)【特許請求の範囲】

【請求項1】

運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
運動するボールに対する連続的なイメージを取得するイメージ取得部と、
上記イメージ取得部によって連続的に取得された第１イメージ及び第２イメージに対して、上記第１イメージから上記ボールの部分が抽出して生成された第１ボールイメージ及び上記第２イメージから上記ボールの部分が抽出して生成された第２ボールイメージをそれぞれ用意し、上記第１ボールイメージ及び第２ボールイメージのそれぞれから、上記ボールのディンプル、上記ボールに形成されたロゴ、上記ボールに形成された特定のマーク、上記ボール上の傷、および、上記ボール上の異物のうちの少なくとも一つによって現れる映像エッジ情報を検出し、上記第１ボールイメージから検出された上記映像エッジ情報を用いて第１特徴情報を生成し、上記第２ボールイメージから検出された上記映像エッジ情報を用いて第２特徴情報を生成するイメージ処理部と、
上記第１特徴情報に該当するピクセルのそれぞれの座標を３次元座標情報に変換し、上記３次元座標情報に対して任意のスピン情報を適用し、上記任意のスピン情報が適用されたピクセルを２次元座標情報に変換することにより、任意回転特徴情報を生成し、上記任意回転特徴情報のピクセルのそれぞれのエッジ強度値と上記第２特徴情報のピクセルのそれぞれのエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を利用して、上記任意のスピン情報が最終スピン情報として適合するかを判断し、最終スピン情報を決定するスピン算出部と、
を含む、運動するボールに対するセンシング装置。

【請求項2】

上記イメージ処理部は、
上記抽出された第１ボールイメージ及び第２ボールイメージに対してイメージ前処理を行うイメージ前処理部と、
上記第１ボールイメージ及び第２ボールイメージに対して大きさ及び明るさの正規化を行って、上記第１ボールイメージから第１基準イメージを生成し、上記第２ボールイメージから第２基準イメージを生成するイメージ正規化部と、
上記第１基準イメージから映像エッジ情報を検出し、それから上記第１特徴情報を生成し、上記第２基準イメージから映像エッジ情報を検出し、それから上記第２特徴情報を生成する特徴情報生成部と
を含む、請求項１に記載の運動するボールに対するセンシング装置。

【請求項3】

検出された上記映像エッジ情報を構成するピクセルの個々はエッジ強度値を持ち、
上記イメージ処理部は、検出された上記映像エッジ情報を構成するピクセルのエッジ強度値があらかじめ設定された上位の範囲に該当するピクセルを抽出することで、上記第１特徴情報及び上記第２特徴情報をそれぞれ生成し、上記第１特徴情報及び上記第２特徴情報を構成するピクセルのそれぞれは、座標値及びエッジ強度値についての情報を含む、請求項１又は２に記載の運動するボールに対するセンシング装置。

【請求項4】

上記スピン算出部は、
上記連続的に取得されたそれぞれのイメージから、上記イメージ取得部が上記ボールに対して相対的に同一の位置及び方向から見たように、上記イメージ取得部の位置及び方向についての情報を補正するための位置補正情報を算出するように構成され、
上記第１特徴情報に該当するピクセルのそれぞれの座標を３次元座標情報に変換し、その変換された３次元座標情報に上記算出された位置補正情報を適用し、上記位置補正情報が適用された３次元座標情報に対して任意のスピン情報を適用し、上記任意のスピン情報が適用されたピクセルをそれぞれ２次元座標に変換することにより上記任意回転特徴情報を生成するように構成され、
上記第２特徴情報に該当するピクセルのそれぞれの座標を３次元座標情報に変換し、その変換された３次元座標情報に上記算出された位置補正情報を適用して２次元座標に変換することで、ターゲット特徴情報を生成するように構成され、
上記任意回転特徴情報のエッジ強度値と上記ターゲット特徴情報のエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を用いて上記任意のスピン情報が最終スピン情報として適合するか否かを判断して最終スピン情報を決定するように構成される、請求項１から３のいずれか一項に記載の運動するボールに対するセンシング装置。

【請求項5】

運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
運動するボールに対する連続的なイメージを取得するイメージ取得部と、
上記イメージ取得部によって連続的に取得された第１イメージ及び第２イメージのそれぞれに対してイメージ処理によって上記運動するボールのスピン情報算出のための特徴情報をそれぞれ生成するイメージ処理部と、
上記第１イメージに対する特徴情報に対して任意のスピンを適用した結果及び上記第２イメージに対する特徴情報と、あらかじめ設定された関数とを用いて、上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断することによって最終スピン情報を決定するスピン算出部と、
を含み、
上記イメージ処理部は、
上記第１イメージから抽出された第１ボールイメージに対して映像エッジ情報を検出し、それから第１特徴情報を生成し、上記第２イメージから抽出された第２ボールイメージに対して映像エッジ情報を検出し、それから第２特徴情報を生成するように構成される特徴情報生成部を含み、
上記第１特徴情報及び上記第２特徴情報は、あらかじめ設定されたエッジ検出条件によって検出されたピクセルのそれぞれの座標値及びエッジ強度値を含む、
運動するボールに対するセンシング装置。

【請求項6】

運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
運動するボールに対する連続的なイメージを取得するイメージ取得部と、
上記イメージ取得部によって連続的に取得された第１イメージ及び第２イメージのそれぞれに対してイメージ処理によって上記運動するボールのスピン情報算出のための特徴情報をそれぞれ生成するイメージ処理部と、
上記第１イメージに対する特徴情報に対して任意のスピンを適用した結果及び上記第２イメージに対する特徴情報と、あらかじめ設定された関数とを用いて、上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断することによって最終スピン情報を決定するスピン算出部と、
を含み、
上記イメージ処理部は、
上記第１イメージから抽出された第１ボールイメージに対して映像エッジ情報を検出し、それから第１特徴情報を生成し、上記第２イメージから抽出された第２ボールイメージに対して映像エッジ情報を検出し、それから第２特徴情報を生成するように構成される特徴情報生成部を含み、
上記第１特徴情報及び上記第２特徴情報は、あらかじめ設定されたエッジ検出条件によって検出されたピクセルの中から、あらかじめ設定されたエッジ強度値の範囲に該当するピクセルを抽出し、それらの抽出されたピクセルのそれぞれの座標値及びエッジ強度値を含む、
運動するボールに対するセンシング装置。

【請求項7】

運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
運動するボールに対する連続的なイメージを取得するイメージ取得部と、
上記イメージ取得部によって連続的に取得された第１イメージ及び第２イメージのそれぞれに対してイメージ処理によって上記運動するボールのスピン情報算出のための特徴情報をそれぞれ生成するイメージ処理部と、
上記第１イメージに対する特徴情報に対して任意のスピンを適用した結果及び上記第２イメージに対する特徴情報と、あらかじめ設定された関数とを用いて、上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断することによって最終スピン情報を決定するスピン算出部と、
を含み、
上記イメージ処理部は、
上記第１イメージから抽出された第１ボールイメージに対して映像エッジ情報を検出し、それから第１特徴情報を生成し、上記第２イメージから抽出された第２ボールイメージに対して映像エッジ情報を検出し、それから第２特徴情報を生成するように構成される特徴情報生成部を含み、
上記スピン算出部は、
上記第１特徴情報に該当するピクセルのそれぞれの座標を３次元座標情報に変換し、その変換された３次元座標情報に対して任意のスピン情報を適用し、上記任意のスピン情報が適用されたピクセルを２次元座標情報に変換することによって任意回転特徴情報を生成する任意スピン適用部と、
上記任意回転特徴情報のエッジ強度値と上記第２特徴情報から抽出されたターゲット特徴情報のエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を用いて上記任意のスピン情報が最終スピン情報として適合するか否かを判断して最終スピン情報を決定するスピン決定部と、
を含む、
運動するボールに対するセンシング装置。

【請求項8】

運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
運動するボールに対する連続的なイメージを取得するステップと、
上記連続的に取得された第１イメージ及び第２イメージに対して、上記第１イメージからボールイメージを抽出して第１ボールイメージを生成し、上記第２イメージからボールイメージを抽出して第２ボールイメージを生成するステップと、
上記第１ボールイメージ及び上記第２ボールイメージのそれぞれから、上記ボールのディンプル、上記ボールに形成されたロゴ、上記ボールに形成された特定のマーク、上記ボール上の傷、および、上記ボール上の異物のうちの少なくとも一つによって現れる映像エッジ情報を検出するステップと、
上記第１ボールイメージから検出された上記映像エッジ情報を用いて第１特徴情報を生成し、上記第２ボールイメージから検出された上記映像エッジ情報を用いて第２特徴情報を生成するステップと、
上記第１特徴情報に該当するピクセルのそれぞれの座標を３次元座標情報に変換し、 上記３次元座標情報に対して任意のスピン情報を適用し、上記任意のスピン情報が適用されたピクセルを２次元座標情報に変換することにより、任意回転特徴情報を生成するステップと、
上記任意回転特徴情報のピクセルのそれぞれのエッジ強度値と上記第２特徴情報のピクセルのそれぞれのエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を利用して、上記任意のスピン情報が最終スピン情報として適合するかを判断し、最終スピン情報を決定するステップと、
を含む、運動するボールに対するセンシング方法。

【請求項9】

上記第１ボールイメージから検出された上記映像エッジ情報を用いて第１特徴情報を生成し、上記第２ボールイメージから検出された上記映像エッジ情報を用いて第２特徴情報を生成するステップは、
上記第１ボールイメージから検出された上記映像エッジ情報を構成するピクセルのエッジ強度値があらかじめ設定された上位の範囲に該当するピクセルを抽出して上記第１特徴情報を生成するステップと、
上記第２ボールイメージから検出された上記映像エッジ情報を構成するピクセルのエッジ強度値があらかじめ設定された上位の範囲に該当するピクセルを抽出して上記第２特徴情報を生成するステップと、を含む、請求項８に記載の運動するボールに対するセンシング方法。

【請求項10】

上記第１ボールイメージを生成し、上記第２ボールイメージを生成するステップは、
上記第１ボールイメージ及び上記第２ボールイメージに対してあらかじめ設定された条件によって大きさ及び明るさの正規化を行うステップと、
上記第１ボールイメージから上記正規化によって第１基準イメージを生成し、上記第２ボールイメージから上記正規化によって第２基準イメージを生成するステップと
を含み、
上記第１特徴情報を生成し、上記第２特徴情報を生成するステップは、
上記第１基準イメージから上記映像エッジ情報を検出し、それから上記第１特徴情報を生成するステップと、
上記第２基準イメージから上記映像エッジ情報を検出し、それから上記第２特徴情報を生成するステップと、
を含む、請求項８に記載の運動するボールに対するセンシング方法。

【請求項11】

上記第１特徴情報を用いて、運動するボールに対するイメージを取得するカメラの位置及び方向に対する位置補正情報及び３次元空間上の任意のスピン情報を適用して任意回転特徴情報を生成するステップと、
上記第２特徴情報を用いて上記位置補正情報を適用してターゲット特徴情報を生成するステップと、
上記任意回転特徴情報のエッジ強度値と上記ターゲット特徴情報のエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を用いて上記任意のスピン情報が最終スピン情報として適合するか否かを判断して最終スピン情報を決定するステップと、
をさらに含む、請求項１０に記載の運動するボールに対するセンシング方法。

【請求項12】

上記任意回転特徴情報を生成するステップは、
上記第１特徴情報によるピクセルのそれぞれの座標を３次元座標に変換するステップと、
上記３次元座標に変換されたピクセルに対して上記位置補正情報を適用するステップと、
上記位置補正情報が適用された各ピクセル座標情報に対して任意のスピン情報を適用するステップと、
上記任意のスピン情報が適用されたピクセルを２次元座標情報に変換することによって任意回転特徴情報を生成するステップと、を含む、請求項１１に記載の運動するボールに対するセンシング方法。

【請求項13】

上記最終スピン情報を決定するステップは、
互いに異なる任意のスピン情報に対してあらかじめ設定された回数だけ上記任意回転特徴情報を生成するステップを繰り返し行って類似度情報をそれぞれ算出するステップと、
上記繰り返し行って算出されたそれぞれの類似度情報のうちの最大値を有する場合の任意のスピン情報を最終スピン情報として決定するステップと、を含む、請求項１１に記載の運動するボールに対するセンシング方法。

【請求項14】

上記最終スピン情報を決定するステップは、
最終スピン情報として決定するための上記類似度情報の基準値をあらかじめ設定するステップをさらに含み、
上記算出された類似度情報が上記あらかじめ設定された基準値以上であるか又はそれより大きい値が算出されるまで上記任意のスピン情報を繰り返し適用して、上記あらかじめ設定された基準値以上であるか又はそれより大きい類似度情報が算出される場合の任意のスピン情報を最終スピン情報として決定するステップを含む、請求項１１に記載の運動するボールに対するセンシング方法。

【請求項15】

運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
運動するボールに対する連続的なイメージを取得するステップと、
上記連続的に取得された第１イメージ及び第２イメージのそれぞれに対してイメージ処理によって上記運動するボールのスピン情報算出のための特徴情報をそれぞれ生成するステップと、
上記第１イメージに対する特徴情報に対して任意のスピンを適用した結果及び上記第２イメージに対する特徴情報と、あらかじめ設定された関数とを用いて、上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断することによって最終スピン情報を決定するステップと、
を備え、
上記ボールのスピン情報算出のための特徴情報をそれぞれ生成するステップは、
上記第１イメージから抽出された第１ボールイメージ及び上記第２イメージから抽出された第２ボールイメージに対してあらかじめ設定された条件によって大きさ及び明るさの正規化を行うステップと、
上記第１ボールイメージから上記正規化によって第１基準イメージを生成し、上記第２ボールイメージから上記正規化によって第２基準イメージを生成するステップと、
上記第１基準イメージから映像エッジ情報を検出し、それから第１特徴情報を生成するステップと、
上記第２基準イメージから映像エッジ情報を検出し、それから第２特徴情報を生成するステップと、
を含み、
上記第１特徴情報を用いて、運動するボールに対するイメージを取得するカメラの位置及び方向に対する位置補正情報及び３次元空間上の任意のスピン情報を適用して任意回転特徴情報を生成するステップと、
上記第２特徴情報を用いて上記位置補正情報を適用してターゲット特徴情報を生成するステップと、
上記任意回転特徴情報のエッジ強度値と上記ターゲット特徴情報のエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を用いて上記任意のスピン情報が最終スピン情報として適合するか否かを判断して最終スピン情報を決定するステップと、
をさらに備える、運動するボールに対するセンシング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運動するボールに対するイメージを取得し、これを所定の処理をして分析することによってボールのスピンを算出するための、運動するボールに対するセンシング装置及びセンシング方法に関する。

【背景技術】

【0002】

ボールを使用するスポーツ競技、特に、ゴルフでは、ゴルファーによって打撃されて運動するボールの物理的特性を正確にセンシングし、そのセンシングされた値を用いて打球分析をしたり、これを映像として具現して、いわゆるスクリーンゴルフのようなシミュレーションゴルフ分野に適用する試みが常になされてきた。

【0003】

特に、打撃によって飛んで行くボールのスピン（Ｓｐｉｎ）は、３次元空間上の軸を中心に非常に高速で回転するため、これを測定することは非常に難しく、しかも正確な測定のためには非常に高価の装備が必要であるが、その代表にはレーダーセンサー（Ｒａｄａｒ Ｓｅｎｓｏｒ）を用いる方式がある。

【0004】

しかし、このような高価のセンシング装置は、ユーザがゴルフスイングによって打撃したボールをセンシングしてボールの軌跡を算出し、それから仮想のゴルフコースにおけるゴルフシミュレーションがなされるようにするいわゆるスクリーンゴルフやゴルフ練習場での打球分析などに汎用されるセンシング装置としては不適であり、比較的安価で低能性のシステムでも迅速で正確にボールのスピンをセンシングできる技術の開発が必要な実情である。

【0005】

そこで、従来、米国登録特許第５４７１３８３号公報（Ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ ｔｏ ｍｅａｓｕｒｅ ａｎｄ ｄｉｓｐｌａｙ ｆｌｉｇｈｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｍｏｖｉｎｇ ｓｐｏｒｔｓ ｏｂｊｅｃｔ）などの先行技術文献では、ポータブルな形態で作られて、打撃されたボールのスピンを算出できるＬａｕｎｃｈ Ｍｏｎｉｔｏｒに関する技術を開示したが、この米国登録特許第５４７１３８３号は、ボールに人為的に特定の蛍光マーカーを表示し、撮影されたイメージからその蛍光マーカー部分を認識し、その認識された蛍光マーカー部分の変化を分析する方式でボールのスピンを算出する方式に関して開示している。

【0006】

しかし、ボールのスピンを認識するためにはボールに人為的な特定マーカーを表示しねばならないということは、ユーザが常にその特定マーカーが表示されたボールだけを持ってゴルフショットの練習をしなければならないことであるから、ユーザにとって非常に大きい不便が感じられるだけでなく、繰り返されるゴルフショットによってボールに表示された特定マーカーがき損されたり打ち消される場合にはスピン算出が不可能になるという問題点があった。

【0007】

一方、日本国特開２００４−１８４２３６号公報（球体の回転特性と飛行特性の測定方法）では、ゴルフボールに元々表示されていたブランド表示などのような、人為的に表示した不特定な特徴部を用いてスピンを算出する方式に関して開示しているが、上記日本国特開２００４−１８４２３６号は、２次元で撮影されたイメージのそれぞれを全て３次元空間上における仮想球体に変換し、その３次元空間上でそれぞれの仮想球体の回転情報を計算する方式でスピンを算出する方法に関して開示している。

【0008】

運動するボールに対するスピンを正確に計算するという側面では、上記日本国特開２００４−１８４２３６号公報に開示された技術が好ましいだろう。しかし、ボールのスピンを正確に計算するが、その計算速度が遅すぎると、スピンを算出できるセンシング装置が利用され得る範囲が極めて制限され、仮想ゴルフシミュレーション装置などのようにユーザがゴルフボールを打撃すると略同時にスピンが算出され、これに対するボール軌跡の映像シミュレーションがなされる場合には絶対に利用できないという問題点があった。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、運動するボールに対して連続して取得されるイメージを分析し、その分析された結果に基づいて上記ボールの運動によるスピン情報を算出することに関するものであり、ボールに特定マーカーなどを表示しなくても運動するボールのスピンを迅速で正確に算出できる、運動するボールに対するセンシング装置及びセンシング方法を提供しようとする。

【課題を解決するための手段】

【0010】

本発明の一実施例に係るセンシング装置は、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する運動するボールに対するセンシング装置であって、運動するボールに対する連続的なイメージを取得するイメージ取得部と、上記イメージ取得部によって連続的に取得された第１イメージ及び第２イメージのそれぞれに対してイメージ処理によって上記運動するボールのスピン情報算出のための特徴情報をそれぞれ生成するイメージ処理部と、上記第１イメージに対する特徴情報に対して任意のスピンを適用した結果及び上記第２イメージに対する特徴情報を用いてあらかじめ設定された事項によって上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断することによって最終スピン情報を決定するスピン算出部とを含む。

【0011】

また、好ましくは、上記イメージ処理部は、上記第１イメージから抽出された第１ボールイメージに対して映像エッジ情報を検出し、それから第１特徴情報を生成し、上記第２イメージから抽出された第２ボールイメージに対して映像エッジ情報を検出し、それから第２特徴情報を生成するように構成される特徴情報生成部を含む。

【0012】

また、好ましくは、上記センシング装置は、上記第１イメージからボールイメージを抽出して第１ボールイメージを生成し、上記第２イメージからボールイメージを抽出して第２ボールイメージを生成し、上記抽出された第１ボールイメージ及び第２ボールイメージに対してあらかじめ設定された事項によってイメージ前処理を行うイメージ前処理部と、上記第１ボールイメージ及び第２ボールイメージに対して大きさ及び明るさの正規化を行って、上記第１ボールイメージから第１基準イメージを生成し、上記第２ボールイメージから第２基準イメージを生成するイメージ正規化部と、上記第１基準イメージから映像エッジ情報を検出し、それから第１特徴情報を生成し、上記第２基準イメージから映像エッジ情報を検出し、それから第２特徴情報を生成する特徴情報生成部を含む。

【0013】

また、好ましくは、上記映像エッジ情報から生成される上記第１特徴情報及び上記第２特徴情報は、上記ボールのディンプルに対する映像エッジ情報、上記ボールに形成されたロゴおよび特定マークに対する映像エッジ情報、並びに、上記ボール上の傷および異物に対する映像エッジ情報のうち少なくとも一つを含む。

【0014】

また、好ましくは、上記第１特徴情報及び上記第２特徴情報は、あらかじめ設定されたエッジ検出条件によって検出されたピクセルのそれぞれの座標値及びエッジ強度値を含む。

【0015】

また、好ましくは、上記第１特徴情報及び上記第２特徴情報は、あらかじめ設定されたエッジ検出条件によって検出されたピクセルの中から、あらかじめ設定されたエッジ強度値の範囲に該当するピクセルを抽出し、それらの抽出されたピクセルのそれぞれの座標値及びエッジ強度値を含む。

【0016】

また、好ましくは、上記スピン算出部は、上記第１特徴情報に該当するピクセルのそれぞれの座標を３次元座標情報に変換し、その変換された３次元座標情報に対して任意のスピン情報を適用し、上記任意のスピン情報が適用されたピクセルを２次元座標情報に変換することによって任意回転特徴情報を生成する任意スピン適用部と、上記任意回転特徴情報のエッジ強度値と上記第２特徴情報から抽出されたターゲット特徴情報のエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を用いて上記任意のスピン情報が最終スピン情報として適合するか否かを判断して最終スピン情報を決定するスピン決定部とを含む。

【0017】

一方、本発明の一実施例に係るセンシング方法は、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する運動するボールに対するセンシング方法であって、運動するボールに対する連続的なイメージを取得するステップと、上記連続的に取得された第１イメージ及び第２イメージのそれぞれに対してイメージ処理によって上記運動するボールのスピン情報算出のための特徴情報をそれぞれ生成するステップと、上記第１イメージに対する特徴情報に対して任意のスピンを適用した結果及び上記第２イメージに対する特徴情報を用いてあらかじめ設定された事項によって上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断することによって最終スピン情報を決定するステップとを含む。

【0018】

また、好ましくは、上記ボールのスピン情報算出のための特徴情報をそれぞれ生成するステップは、上記第１イメージから抽出された第１ボールイメージに対して映像エッジ情報を検出し、それから第１特徴情報を生成するステップと、上記第２イメージから抽出された第２ボールイメージに対して映像エッジ情報を検出し、それから第２特徴情報を生成するステップとを含む。

【0019】

また、好ましくは、上記ボールのスピン情報算出のための特徴情報をそれぞれ生成するステップは、上記第１イメージから抽出された第１ボールイメージ及び上記第２イメージから抽出された第２ボールイメージに対してあらかじめ設定された条件によって大きさ及び明るさの正規化を行うステップと、上記第１ボールイメージから上記正規化によって第１基準イメージを生成し、上記第２ボールイメージから上記正規化によって第２基準イメージを生成するステップと、上記第１基準イメージから映像エッジ情報を検出し、それから第１特徴情報を生成するステップと、上記第２基準イメージから映像エッジ情報を検出し、それから第２特徴情報を生成するステップとを含む。

【0020】

また、好ましくは、上記センシング方法は、上記第１特徴情報を用いて、運動するボールに対するイメージを取得するカメラの位置及び方向に対する位置補正情報及び３次元空間上の任意のスピン情報を適用して任意回転特徴情報を生成するステップと、上記第２特徴情報を用いて上記位置補正情報を適用してターゲット特徴情報を生成するステップと、上記任意回転特徴情報のエッジ強度値と上記ターゲット特徴情報のエッジ強度値とを比較して類似度情報を算出し、上記算出された類似度情報を用いて上記任意のスピン情報が最終スピン情報として適合するか否かを判断して最終スピン情報を決定するステップとをさらに含む。

【0021】

また、好ましくは、上記任意回転特徴情報を生成するステップは、上記第１特徴情報によるピクセルのそれぞれの座標を３次元座標に変換するステップと、上記３次元座標に変換されたピクセルに対して上記位置補正情報を適用するステップと、上記位置補正情報が適用された各ピクセル座標情報に対して任意のスピン情報を適用するステップと、上記任意のスピン情報が適用されたピクセルを２次元座標情報に変換することによって任意回転特徴情報を生成するステップとを含む。

【0022】

また、好ましくは、上記最終スピン情報を決定するステップは、互いに異なる任意のスピン情報に対してあらかじめ設定された回数だけ上記任意回転特徴情報を生成するステップを繰り返し行って類似度情報をそれぞれ算出するステップと、上記繰り返し行って算出されたそれぞれの類似度情報のうちの最大値を有する場合の任意のスピン情報を最終スピン情報として決定するステップとを含む。

【0023】

また、好ましくは、上記最終スピン情報を決定するステップは、最終スピン情報として決定するための上記類似度情報の基準値をあらかじめ設定するステップをさらに含み、上記算出された類似度情報が上記あらかじめ設定された基準値以上であるか又はそれより大きい値が算出されるまで反復的に上記任意のスピン情報を適用して、上記あらかじめ設定された基準値以上であるか又はそれより大きい類似度情報が算出される場合の任意のスピン情報を最終スピン情報として決定するステップとを含む。

【発明の効果】

【0024】

本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、運動するボールに対して連続して取得されるイメージを分析し、その分析された結果に基づいて上記ボールの運動によるスピン情報を算出するためのものであり、ボールに特定マーカーなどを表示しなくても運動するボールのスピン算出が可能であり、ボール上に存在するロゴやブランド表示などだけでなく、ディンプル、傷などの、イメージ上で特徴的に現れる部分が存在しさえすれば、それを用いて簡単、迅速且つ正確に運動するボールのスピンを算出することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施例に係る運動するボールに対するセンシング装置の構成を簡略に示すブロック図である。

【図2】図１に示した構成を用いてイメージ取得からボールのスピン算出までの各構成要素別機能を説明するための図である。

【図3】本発明に係るイメージ取得部であり、ステレオ構成された２台のカメラと運動するボールに対して示す図である。

【図4】本発明の一実施例に係る運動するボールに対するセンシング方法に関して説明するためのフローチャートである。

【図5】（ａ）〜（ｃ）は本発明の一実施例に係るセンシング装置のカメラによってその画角内の運動するボールに対するイメージを所定の時間間隔で取得したイメージに対してボール部分だけをそれぞれ抽出した状態のイメージを示す図である。

【図6】図５に示したようなボール部分の抽出において好適な抽出方法を説明するための図である。

【図7】（ａ）〜（ｃ）は図５の（ａ）〜（ｃ）にそれぞれ対応するボールイメージに対する大きさ及び明るさの正規化がなされたイメージを示す図である。

【図8】（ａ）は、ソースイメージから抽出されたボールイメージの一例を示し、（ｂ）は、（ａ）に示したボールイメージに対してイメージ正規化がされた基準イメージの一例を示し、（ｃ）は、（ｂ）に示した基準イメージに対してあらかじめ設定された基準によってエッジ（Ｅｄｇｅ）が検出された状態を示し、（ｄ）は、（ｃ）に示したような検出されたエッジ情報からあらかじめ設定された条件によって抽出されて生成された特徴情報を示す図である。

【図9】（ａ）は、第１ボールイメージから第１基準イメージを生成してその第１基準イメージからエッジが検出された状態を示し、（ｂ）は、上記（ａ）に示したように検出されたエッジ情報からあらかじめ設定された上位範囲に該当するピクセルを検出して生成された第１特徴情報を示し、（ｃ）は、第２ボールイメージから第２基準イメージを生成し、その第２基準イメージからエッジが検出された状態を示し、（ｄ）は、上記（ｃ）に示した検出されたエッジ情報からあらかじめ設定された上位範囲に該当するピクセルを検出して生成された第２特徴情報を示す図である。

【図10】運動するボールのスピン算出を説明するための図である。

【図11】ボールのスピン算出のためにカメラの位置及び方向に対する補正がなされる原理に関して説明するための図である。

【図12】ボールのスピン算出のためにカメラの位置及び方向に対する補正がなされる原理に関して説明するための図である。

【発明を実施するための形態】

【0026】

本発明に係る運動するボールに対するセンシング装置及びセンシング方法に関する具体的な内容を図面を参照して説明する。

【0027】

本発明は、基本的に、ユーザがゴルフクラブでゴルフボール（以下、"ボール"という。）を打撃することを所定のカメラで撮影し、その撮影されたイメージを分析することによって、打撃されたボールのスピンを算出することに関し、上記カメラは、複数個のカメラからステレオ方式で構成されるステレオカメラ、又は３Ｄカメラでボールに対する２次元イメージ上の座標を３次元座標に変換したり、その逆の変換を可能にする構成であることが好ましい。

【0028】

そして、本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、ユーザのゴルフスイングによるボールの打球分析や仮想現実ベースのシミュレーションを用いた仮想ゴルフなどの様々な分野に適用することができる。
まず、図１及び図２を参照して本発明の一実施例に係る運動するボールに対するセンシング装置について説明する。

【0029】

図１及び図２に示すように、本発明の一実施例に係る運動するボールに対するセンシング装置は、イメージ取得部１００、イメージ処理部２００、及びスピン算出部３００を含んで構成されている。

【0030】

上記イメージ取得部１００はカメラ装置であり、上述したように、ステレオ方式のカメラ装置又は３Ｄカメラ装置とすることができる。図１では、第１カメラ１１０及び第２カメラ１２０によってステレオ方式のカメラ装置としてイメージ取得部１００を具現した場合を示している。

【0031】

上記イメージ処理部２００は、上記イメージ取得部１００によって取得されるイメージに対して所定のイメージ処理を行う構成要素であり、イメージ前処理部２１０、イメージ正規化部２２０、及び特徴情報生成部２３０を含んで構成されている。

【0032】

上記イメージ前処理部２１０は、上記イメージ取得部１００によって連続して取得されたイメージのそれぞれからボール部分に対するイメージであるボールイメージをそれぞれ抽出し、その抽出されたそれぞれのボールイメージに対する特徴的な部分を抽出して生成するための前処理（Ｐｒｅ−Ｐｒｏｃｅｓｓｉｎｇ）を行う。

【0033】

一方、運動するボールに対して取得された映像において、ボールは、その位置、照明による照度、カメラレンズの特性、外部光、ボールの色、ボールの材質などによって様々な明るさを表す。

【0034】

本発明に係る映像処理方法によって運動するボールのスピンを算出するためには、同じ条件で連続する２つのイメージ上のボールイメージのそれぞれを互いに比較しなければならず、上記したようなボールの位置、照度などの影響を均一にする必要があり、そのために、上記イメージ正規化部２２０は、上記のイメージ前処理部２１０によって前処理されたボールイメージの大きさ及び明るさを均一にするイメージ正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）を行う。
上記イメージ前処理部２１０によるイメージ前処理、及び上記イメージ正規化部２２０によるイメージ正規化に関するより具体的な事項は後述する。

【0035】

一方、上記特徴情報生成部２３０は、上述したように、上記イメージ前処理部２１０によるイメージ前処理及び上記イメージ正規化部２２０によるイメージ正規化が完了したボールイメージ（以下、"基準イメージ"という。）からエッジ（Ｅｄｇｅ）情報を抽出して"特徴情報"を生成するように構成されるが、これに関するより具体的な事項は後述する。

【0036】

一方、上記スピン算出部３００は、任意の連続する２つのボールイメージのそれぞれから生成した"特徴情報"を用いて、運動するボールがいずれのスピン軸によってどれくらい回転したか、すなわち、運動するボールのスピンによるスピン軸及びスピン量に関する情報を見つける構成要素である。
上記スピン算出部３００は、図１に示すように、位置補正部３１０、任意スピン適用部３２０、及びスピン決定部３３０を含んで構成されている。

【0037】

上記位置補正部３１０は、ボールのスピン算出のために連続する２つのイメージ上のボールが互いに同じ相対座標系において同じ角度でボールを眺めた状態でスピン算出がなされるようにして正確なスピン算出を可能にさせるためのものであり、これに関する具体的な事項は後述する。

【0038】

一方、本発明は、基本的に、連続して撮影された運動するボールに対するイメージを、２個のイメージずつ分析するが、連続して取得されたイメージのうち、先に取得されたイメージを第１イメージとし、後に取得されたイメージを第２イメージとするとき、上記第１イメージが取得される当時のボール状態から上記第２イメージが取得される当時のボール状態になる際のスピンを算出する。

【0039】

上記第１イメージ上のボールに対して所定のイメージ処理によって第１特徴情報を抽出し、上記第２イメージ上のボールに対して所定のイメージ処理によって第２特徴情報を抽出して、上記第１特徴情報に対して任意のスピンを適用し、その任意のスピン情報を適用した結果と上記第２特徴情報を用いて上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断するための関数値を算出する。

【0040】

上記任意のスピン情報をあらかじめ設定された回数だけ反復適用してそれぞれ算出された関数値のうちの最大値を有する時の任意のスピン情報を最終スピン情報として決定したり、上記関数値に対する適切な基準値をあらかじめ設定しておき、上記任意のスピン情報を適用して算出された関数値が上記基準値以上である場合、又は上記基準値より大きい場合に、当該任意スピン情報を最終スピン情報として決定する方式で運動するボールに対するスピンを算出する。

【0041】

上記任意スピン適用部３２０は、上述したように、第１イメージ上のボールが第２イメージ上のボールにスピンによって位置変化するようにするスピン軸及びスピン量を見つけるために、任意のスピン軸及びスピン量情報を抽出してこれを適用するためのものであるが、このように任意スピン適用部３２０によって適用された任意のスピン軸及びスピン量情報が、見つけようとするスピン軸及びスピン量情報に近接するか否かを上記スピン決定部３３０が判断することによって、最終的なスピン情報を算出することができる。

【0042】

すなわち、上記任意スピン適用部３２０は、最終的なスピン情報算出がなされるまでは毎度新しい任意のスピン軸及びスピン量情報を抽出して適用し、その適用された結果を上記スピン決定部３３０がチェックして、最適の任意スピン情報を最終スピン情報として決定する。これに関する具体的な事項は後述する。

【0043】

図３に示すように、地面Ｇに対するｉ、ｊ、ｋ座標系を基準に第１カメラ１１０及び第２カメラ１２０のそれぞれが取得したボールに対するイメージから、ボール１０の運動に従うそれぞれのイメージ取得された位置での位置情報が分かる。

【0044】

すなわち、第１カメラ１１０及び第２カメラ１２０は、ステレオ方式（Ｓｔｅｒｅｏｓｃｏｐｉｃ）の構成を有するイメージ取得装置であるので、両カメラが同じ被写体に対して取得したイメージから被写体の３次元座標情報を抽出することができ、図３ではボール１０が第１位置から第２位置に運動することによって第１位置の座標情報（ｘ，ｙ，ｚ）及び第２位置の座標情報（ｘ'，ｙ'，ｚ'）をそれぞれ抽出することができる。

【0045】

この時、第１カメラ１１０及び第２カメラ１２０は固定している。したがって、上記第１カメラ１１０及び第２カメラ１２０の位置座標が分かり、これは常に固定されている。

【0046】

一方、本発明の一実施例に係る映像処理方法に関して、図４のフローチャートを参照して説明する。図４のフローチャートによる映像処理方法の説明のために、図５〜図１２を参照して説明する。
まず、イメージ取得部によって、運動するボールに対する連続したイメージが取得される（Ｓ１０）。

【0047】

ここで、図３に示したように、いずれか一つのカメラによって、運動するボールに対して連続的に取得されたイメージのうちの一部を、図５の（ａ）〜（ｃ）から確認できる。

【0048】

すなわち、図５の（ａ）〜（ｃ）は、固定のカメラによってその画角内の運動するボールに対するイメージを所定の時間間隔で取得したイメージに対して差分映像などによって背景部分などを除去し、ボール部分２１，２２，２３だけ残っている状態のイメージを示している。

【0049】

図５の（ａ）、（ｂ）及び（ｃ）から、ボールが左側対角線方向に飛んで行く状態であることが分かり、ボールがカメラに接近する時には、図５の（ａ）のようにボール２１が大きく見えるが、カメラから少しずつ遠ざかるにつれて図５の（ｂ）及び（ｃ）のようにボール２２，２３がますます小さく見えることが分かる。

【0050】

ここで、図５の（ａ）、（ｂ）及び（ｃ）に示したイメージ、すなわち、最初に取得されたイメージから、背景部分及び各種ノイズ部分を差分映像などを用いて除去し、動く部分であるボール部分だけが残った状態のイメージを、ソースイメージと呼ぶ。

【0051】

上記のような任意のスピン情報を適用し、その適用された任意のスピン情報が実のスピン情報であるか否か判断する方式でボールのスピンを算出するためには、まず、図５に示したようなソースイメージのそれぞれから、ボール部分２１，２２，２３に対するイメージ、すなわち、ボールイメージだけを効果的に抽出する必要がある。

【0052】

図５の（ａ）〜（ｃ）では、それぞれのソースイメージからボール部分だけを抽出する過程を示しているが、まず、ソースイメージからボール部分２１，２２，２３を探し、図６に示すように、ボール部分２１の中心点（Ｃ）が、抽出するイメージ２１１の中心点になり、ボール部分２１の外郭線が、抽出するイメージ２１１の外郭線と実質的に接するようにして、正確に抽出されるようにすることが好ましい。

【0053】

すなわち、本発明の一実施例に係る映像処理方法によれば、上記Ｓ１０段階で連続して取得された２つのイメージのそれぞれからソースイメージを抽出することができ、それらから、それぞれ第１ボールイメージ及び第２ボールイメージを抽出することができる（Ｓ１２）。

【0054】

ここで、先に取得されたイメージのソースイメージから抽出されたボールイメージを第１ボールイメージとし、後に取得されたイメージのソースイメージから抽出されたボールイメージを第２ボールイメージとする。

【0055】

このような方法で各ソースイメージからボール部分２１，２２，２３だけを抽出したイメージ、すなわち、ボールイメージ２１１，２１２，２１３は、それぞれのソースイメージ上におけるボールの大きさに対応する大きさであるので、互いに異なる大きさを有し、各ソースイメージ上で現れたボール部分２１，２２，２３は、カメラとの距離によって照明の影響が異なるため、明るさも各ボールイメージごとに異なる。
正確な特徴情報を抽出するためには、それぞれのボールイメージ２１１，２１２，２１３の大きさを同一にし、明るさを正規化することが必要である。

【0056】

ここで、本発明の一実施例に係る映像処理方法によれば、上記Ｓ１２段階で抽出された第１ボールイメージ及び第２ボールイメージのそれぞれに対してイメージ前処理（Ｐｒｅ−Ｐｒｏｃｅｓｓｉｎｇ）及びイメージ正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）を行って、上記第１ボールイメージから第１基準イメージを生成し、上記第２ボールイメージから第２基準イメージを生成することができる（Ｓ１４）。

【0057】

これについて説明すると、図７の（ａ）は、図５の（ａ）に示したボールイメージ２１１に対応し、図７の（ｂ）は、図５の（ｂ）に示したボールイメージ２１２に対応し、そして図７の（ｃ）は図５の（ｃ）に対応し、それぞれ同じ大きさ及び明るさに正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）された状態のボールイメージを示している。

【0058】

すなわち、図５の（ａ）〜（ｃ）に示したそれぞれのボールイメージ２１１，２１２，２１３に対して、あらかじめ設定された大きさに合わせて拡大又は縮小したり、上記ボールイメージ２１１，２１２，２１３のいずれか一つを基準に、それに合わせて他のボールイメージを拡大又は縮小することによって、ボールイメージの大きさを互いに同一にさせることができる。

【0059】

そして、それぞれのボールイメージにおいて特にボールの中心部分に現れるホットピクセル（ｈｏｔ ｐｉｘｅｌｓ）を除去し、それぞれのボールイメージに対してボール部分をなす全ピクセルの平均値を用いて正規化処理をすることによって、各ボールイメージの全体的な明るさを互いに同一にさせることができる。

【0060】

上述したように、図５の（ａ）〜（ｃ）にそれぞれ示したボールイメージ２１１，２１２，２１３を、図７の（ａ）〜（ｃ）にそれぞれ示したボールイメージにイメージ処理したように、ボールイメージに対する正規化が完了した後には、それぞれの正規化されたボールイメージ（以下、上記のような大きさ及び明るさに対する正規化がなされたボールイメージを"基準イメージ"という。）に対して、図８の（ｄ）に示すように、特徴情報生成部によって特徴情報が生成される。

【0061】

すなわち、本発明の一実施例に係る映像処理方法によれば、上記Ｓ１４段階で抽出された第１基準イメージ及び第２基準イメージからそれぞれ、第１特徴情報及び第２特徴情報を生成することができる（Ｓ１６）。上記特徴情報は、映像エッジ（Ｅｄｇｅ）情報を検出することによって生成することができる。

【0062】

これについて説明すると、図８の（ａ）は、ソースイメージから抽出されたボールイメージの一例を示し、図８の（ｂ）は、（ａ）に示したボールイメージに対してイメージ正規化がされた基準イメージの一例を示し、図８の（ｃ）は、（ｂ）に示した基準イメージに対してあらかじめ設定された基準によってエッジ（Ｅｄｇｅ）が検出された状態を示し、図８の（ｄ）は、上記（ｃ）に示したような検出されたエッジ情報からあらかじめ設定された条件によって抽出されて生成された特徴情報を示す。

【0063】

図８の（ｃ）で、サークル内の最も明るい色で表された部分が映像エッジに該当する部分であり、図８の（ｄ）で、サークル内の最も濃い色で表された部分が、上記エッジ情報から抽出された特徴情報に該当する部分である。

【0064】

上記エッジ情報は、上記運動するボールがゴルフボールである場合、ディンプルに対する映像エッジ情報であってもよく、上記ディンプルにゴルフボールの傷などが全て現れた映像エッジ情報であってもよく、上記ディンプルにゴルフボールのロゴや特定マークなどが全て現れた映像エッジ情報であってもよい。
図８の（ｃ）は、ボール上のディンプルとロゴに対して検出されたエッジ情報を示している。

【0065】

ここで、エッジ（Ｅｄｇｅ）とは、一定領域内で急に明るさが変化する地点のことを指し、エッジ検出のための所定の条件をあらかじめ設定して、図８の（ｃ）のように基準イメージからエッジを検出することができる。
上記エッジ情報は、検出されたピクセルの座標情報と当該ピクセルの明るさで表現されるエッジ強度（Ｅｄｇｅ Ｉｎｔｅｎｓｉｔｙ）値を有する。

【0066】

ここで、本発明は、上記エッジ強度値を用いて、図８の（ｄ）に示すような特徴情報を生成するが、エッジとして検出された全てのピクセルの座標情報及びエッジ強度値を特徴情報として用いることもできるが、スピン算出のための計算量を合理的に減少させるために、上記検出されたエッジに該当するピクセルのうちの一部ピクセルだけを抽出し、それらの抽出されたピクセルの座標情報及びエッジ強度値を特徴情報として生成することが好ましい。

【0067】

図８の（ｄ）では、検出されたエッジ情報から抽出された特徴情報を視覚的に表現するために、便宜上、特徴情報に該当する部分をサークル内で最も濃い色で表示した。

【0068】

上記特徴情報として生成するピクセルは、エッジ強度値、すなわち、エッジをなすピクセルの明るさ値によって選ぶことができるが、例えば、上記検出されたエッジ情報においてエッジ強度値があらかじめ設定された上位範囲に該当するピクセルを選定して特徴情報として用いてもよく、エッジ強度値に対する所定の範囲をあらかじめ定義しておき、その定義された範囲に該当するエッジ強度値を有するピクセルを抽出して上記特徴情報として用いてもよい。上記のエッジ強度値に対する範囲は、多い試験と経験などによって適宜設定することができる。

【0069】

上述したように特徴情報が生成されると、その生成された特徴情報は、上記エッジ強度値によって抽出されたピクセルのそれぞれの座標情報と当該ピクセルのエッジ強度値に関する情報を含む。

【0070】

本発明は、運動するボールに対して連続して取得される複数のイメージのうち、連続する２つのイメージからそれぞれ第１ボールイメージ及び第２ボールイメージを抽出し、第１ボールイメージと第２ボールイメージに対してそれぞれイメージ前処理（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）及び正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）を経て第１基準イメージ及び第２基準イメージをそれぞれ生成し、上記第１基準イメージからエッジを検出して第１特徴情報を生成し、上記第２基準イメージからエッジを検出して第２特徴情報を生成し、上記第１特徴情報と第２特徴情報を用いて相互間の類似度（Ｓｉｍｉｌａｒｉｔｙ）を算出することによって、最終的なスピン情報を決定する。

【0071】

ここで、上記類似度の算出は、あらかじめ定義された関数による値であってもよく、これは、前述した「第１特徴情報に対して任意のスピンを適用し、その任意のスピン情報を適用した結果と第２特徴情報を用いて上記任意のスピン情報を最終スピン情報として決定することが適合するか否かを判断するための関数値」の一例に該当する。
図９の（ａ）では、上記のような第１ボールイメージから第１基準イメージを生成し、その第１基準イメージからエッジが検出された状態に関して示している。

【0072】

そして、図９の（ｃ）では、上記のような第２ボールイメージから第２基準イメージを生成し、その第２基準イメージからエッジが検出された状態に関して示している。

【0073】

図９の（ｂ）は、図９の（ａ）に示したように、検出されたエッジ情報からあらかじめ設定された上位範囲に該当するピクセルを検出して生成された第１特徴情報を示しており（図９の（ｂ）に示したサークル内の最も濃い色で表示した部分）、図９の（ｄ）は、上記図９の（ｃ）に示したように、検出されたエッジ情報からあらかじめ設定された上位範囲に該当するピクセルを検出して生成された第２特徴情報を示している（図９の（ｄ）に示したサークル内の最も濃い色で表示した部分）。
本発明は、図９の（ｂ）に示したような第１特徴情報と図９の（ｄ）に示したような第２特徴情報を用いて、運動するボールのスピン情報を算出する。
上述したように、第１特徴情報及び第２特徴情報が得られると、これを用いてスピン算出部による運動するボールのスピン情報を算出する過程が行われる。

【0074】

すなわち、図４のフローチャートを参照すると、上記第１特徴情報及び第２特徴情報のピクセルの位置情報をそれぞれ３次元位置情報に変換し（Ｓ２２）、その変換された３次元位置情報に関する位置補正情報を適用する（Ｓ２４）。

【0075】

そして、任意のスピン軸及びスピン量を抽出して上記第１特徴情報から変換された３次元位置情報に適用し（Ｓ２６）、任意のスピン軸及びスピン量が適用された３次元位置情報を２次元位置情報に変換して"任意回転特徴情報"を生成し（Ｓ２８）、上記第２特徴情報から変換された３次元位置情報を２次元位置情報に変換して"ターゲット特徴情報"を生成する（Ｓ３２）。
以下、上記の"任意回転特徴情報"及び"ターゲット特徴情報"をそれぞれ生成する過程に関して説明する。

【0076】

ここで、ボールのスピンは、図１０に示すように、ｉ軸、ｊ軸及びｋ軸座標系による３次元空間上のスピン軸に対する座標情報、及び上記スピン軸を中心に回転した角度、すなわち、スピン量に関する情報を算出することによって求めることができる。

【0077】

図１０に示すように、３次元空間上における回転運動は、ピッチ、ヨー、ロール（ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）成分をそれぞれ含むことができ（例えば、スピン軸がｋ軸と一致する場合には、ボールはサイドスピン（Ｓｉｄｅ Ｓｐｉｎ）だけを有し、スピン軸がｉ軸と一致する場合には、ボールはバックスピン（Ｂａｃｋ Ｓｐｉｎ）又はフォワードスピン（Ｆｏｒｗａｒｄ Ｓｐｉｎ）だけを有する。）、ｉ軸方向の回転成分をθ、ｊ軸方向の回転成分をλ、そしてｋ軸方向の回転成分をρとすれば、求めようとするスピンのベクトル（ω）は、下記の式１のように表すことができる。

【数1】

【0078】

上記スピンベクトル（ω）から、下記の式２のようにスピン軸情報と式３のようにスピン量情報をそれぞれ算出することができる。ここで、αはスピン量情報を表す。

【数2】

【数3】

【0079】

したがって、運動するボールのスピンに対するヨー回転成分であるθ、ロール回転成分であるλ、そしてピッチ回転成分であるρ値を見つけることによって、スピン軸及びスピン量情報を求めることができる。

【0080】

このようなスピン軸及びスピン量情報を見つけることは、図９の（ｂ）及び（ｄ）にそれぞれ示したような第１特徴情報及び第２特徴情報を用いて行うことができる。
そのためには、まず、上記第１特徴情報及び第２特徴情報をなす各ピクセルの位置情報に対する補正が必要である。

【0081】

すなわち、カメラによって取得されたイメージ上のボールの位置は、カメラが眺める方向によってスピン軸及びスピン量が異なって観察されるため、正確に基準を設け、その基準に合わせて絶対的なスピン軸及びスピン量を算出できるようにする必要があり、そのためには、連続して取得されるそれぞれのイメージごとにボールに対して相対的にカメラが同じ位置及び方向からボールを眺めたようにカメラの位置及び方向情報を補正することによって、ボールの正確なスピン情報を算出することができる。
図１１及び図１２は、上記の位置補正に対する原理を説明するための図である。

【0082】

本発明に係るセンシング装置及びセンシング方法は、連続する２つのイメージを用いて、特徴情報をなす各ピクセルの位置変化からスピン情報を算出するためのものであり、正確なスピン情報算出のためには分析するそれぞれの連続する１対のイメージがそれぞれ同じ位置及び方向からボールを眺めた状態でなければならない。

【0083】

すなわち、連続して取得されるイメージのそれぞれに対して（常に、通り過ぎるボールを固定カメラが眺めて撮影したものである。）カメラがボールと共に動きながら常にボールに対して相対的に同じ位置及び方向から眺めたようにそれぞれのイメージを補正する必要がある。

【0084】

このようなカメラの位置及び方向の基準を定立するための一例として、図１１に示すように、ボール１０がｄ方向に沿って運動する時、ボールが進行する方向のベクトル成分Ｂ_ｊに対して垂直である平面ｐに含まれながら地面Ｇと平行なベクトル成分であるＢ_ｉ方向からボール１０を眺める方向を基準とすることができる。

【0085】

すなわち、図１２に示すように、ボールがｄ方向に沿って進行しながらカメラ１１０によって撮影されるそれぞれの位置ごとにボール１０が進行する方向ベクトルＢ_ｊに対して垂直をなしながら地面Ｇに平行な方向ベクトルＢ_ｉ方向からカメラがボールを眺めたかのようになるように、カメラ１１０の位置及び方向を補正するための位置補正情報を生成し、これをスピン算出に適用する必要がある。

【0086】

このような位置補正は、既に知っている固定されたカメラの座標情報とボールの中心座標情報を用いてカメラがボールを眺める角度を補正することによってなすことができ、実際にイメージをそのように補正することではなく、上述した第１特徴情報及び第２特徴情報のそれぞれをなすピクセルのそれぞれの位置座標に、その補正される部分に関する情報を適用することによって解決することができる。

【0087】

一方、上記の第１特徴情報をなすピクセルのそれぞれの位置情報を３次元位置情報に変換し、上記のような位置補正情報を適用した後、これに任意のスピン軸及びスピン量情報を適用し、これを再び２次元位置情報に変換する。以下、これを"任意回転特徴情報"という。

【0088】

上記の第２特徴情報をなすピクセルのそれぞれの位置情報を３次元位置情報に変換し、上記のような位置補正情報を適用した後、これを２次元位置情報に変換する。以下、これを"ターゲット特徴情報"という。

【0089】

上述したように、"任意回転特徴情報"と"ターゲット特徴情報"がそれぞれ生成されると、上記任意回転特徴情報とターゲット特徴情報とを比較してそれらの類似する程度、すなわち、類似度をあらかじめ設定された関数によって値として算出することができる（図４のフローチャート上のＳ３４段階を参照）。

【0090】

そして、その算出された類似度値に対して最大値を選択したり、あらかじめ設定された基準値を超える値を選択し、その選択された値による任意回転特徴情報に適用された任意のスピン軸及びスピン量情報を最終的なスピン軸及びスピン量情報として決定することができる（図４のフローチャート上のＳ３６段階を参照）。

【0091】

ここで、上記の任意回転特徴情報とターゲット特徴情報との類似度は、任意回転特徴情報の各ピクセルが有するエッジ強度値、及びターゲット特徴情報の各ピクセルが有するエッジ強度値によって算出することができる。

【0092】

すなわち、上記の類似度は、任意回転特徴情報とターゲット特徴情報に対して互いに対応するピクセルのエッジ強度値を比較してどれだけの類似性があるかをあらかじめ設定した関数によって値として算出することができる。

【0093】

その算出された類似度の値が最大値であるか否かを判断するためには、任意のスピン軸及びスピン量を繰り返し適用する必要があり、その適用回数などは、あらかじめ設定することができる。

【0094】

または、多い試験と経験に基づいて類似度に対する適切な基準値を設定しておき、任意回転特徴情報とターゲット特徴情報とを比較して算出した類似度値がその基準値を超える場合に、その任意回転特徴情報に適用されたスピン軸及びスピン量を最終的なスピン軸及びスピン量として決定することも可能である。

【0095】

一方、図４のＳ２６段階で任意のスピン軸を適用する際、図１０に示したように、ピッチ回転成分、ヨー回転成分及びロール回転成分を全て考慮することは、任意のスピン軸及びスピン量の抽出に非常に多い場合の数を考慮することを意味するので、これに対する制限範囲を非常に合理的に設定することが可能であり、任意のスピン量を適用する際にも、このような合理的な制限範囲設定が可能であり、このように制限された範囲内で主に任意のスピン軸及びスピン量情報を抽出することによって場合の数を大幅に減らして計算量を相当に減少させ、迅速なスピン算出を可能にすることができる。

【0096】

すなわち、ボールの運動特性及びカメラのフレーム速度を考慮して任意のスピン軸及びスピン量の抽出に対する制限条件を設定することができ、迅速なスピン算出が可能になる。

【0097】

ゴルフボールに対してゴルフクラブで打撃をする場合、図９に示すようなスピンの３つの回転成分のうち、主にピッチ（ｐｉｔｃｈ）回転成分及びヨー（ｙａｗ）回転成分が強く現れ、相対的にロール（ｒｏｌｌ）回転成分はないか、ほとんど無視できる程度である。

【0098】

すなわち、ゴルフボールを打撃すると、だいてい左右サイドスピン及び前後スピンが発現され、ボールの進行方向を基準にローリング（ｒｏｌｌｉｎｇ）する回転成分はないか、ほとんど無視できる程度である。

【0099】

したがって、任意のスピン軸として選択できる場合は、ロール（ｒｏｌｌ）回転成分を無視し、ピッチ（ｐｉｔｃｈ）回転成分及びヨー（ｙａｗ）回転成分だけを考慮して選択できるため、任意のスピン軸に対する場合の数を相当減少させることができる。

【0100】

一方、ゴルフボールをゴルフクラブで打つ場合、あるフレームに取られたイメージ上のボール状態から、その次のフレームに取られたイメージ上のボール状態への回転の程度には限界がある。

【0101】

すなわち、人の打撃によって回転可能な最大スピン限界が存在し、イメージを取得するカメラのフレーム速度にも限界があるため、これらによって任意のスピン量に対する場合の数を大幅に限定することができる。

【0102】

したがって、上述したように、任意のスピン軸及びスピン量に対する制限範囲をあらかじめ設定することによって計算量を減少させ、迅速なスピン算出が可能になる。

【0103】

一方、以上では連続して取得されたイメージのうち２つのイメージに対してのみスピン情報を算出する過程を説明したが、カメラによって秒当たり数十フレームから多くは秒当たり数千フレームを取得でき、これらの取得された多数の連続的なイメージの全てに対して上記のようなスピン算出過程が進行されてもよく、それらの一部に対してのみ進行されてもよい。

【0104】

すなわち、連続する２つのイメージのうち、先に取得されたイメージ及び後に取得されたイメージを１対のイメージとし、複数の対に対してそれぞれ上記のようなスピン算出過程を経て算出された複数個のスピン情報はやや異なることがあるが、これらをあらかじめ設定された関数（例えば、平均値を取るか、最も類似度の高かったスピン情報のいくつかに対してのみ平均を算出した値を取るなど）によって取り集めて最終的なスピン情報を算出することもでき、上記算出された複数個のスピン情報のうち、最高類似度のスピン情報を最終的なスピン情報として選択することもできる。

【実施例】

【0105】

発明を実施するための形態の欄で具体的に記載している。

【産業上の利用可能性】

【0106】

本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、ゴルフスイングによる打球分析などがなされるゴルフ練習に関連した産業分野、及び仮想現実ベースのゴルフシミュレーションがなされるようにしてユーザにとって仮想のゴルフ競技が楽しめるいわゆるスクリーンゴルフ産業分野などに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】