特表 2022-553469 ゴルフボールオンフロア式検出方法、システム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-23

(54)【発明の名称】ゴルフボールオンフロア式検出方法、システム及び記憶媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221216BHJP

   G06T 7/246 20170101ALI20221216BHJP

【ＦＩ】

G06T7/70 Z

G06T7/246

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021556386

(86)(22)【出願日】2020-11-25

(85)【翻訳文提出日】2021-09-16

(86)【国際出願番号】 CN2020131288

(87)【国際公開番号】W WO2022062153

(87)【国際公開日】2022-03-31

(31)【優先権主張番号】202010999663.4

(32)【優先日】2020-09-22

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521432085

【氏名又は名称】深▲セン▼市衡泰信科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＧＲＥＥＮＪＯＹ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２６０４－２６０６， Ｂｌｏｃｋ １１Ａ， Ｓｈｅｎｚｈｅｎ Ｂａｙ Ｅｃｏ－Ｔｅｃｈｎｏｌｏｇｙ Ｐａｒｋ， Ｎｏ．１６ Ｋｅｊｉ Ｓｏｕｔｈ Ｒｏａｄ，Ｙｕｅｈａｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， ＧｕａｎｇＤｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】王継軍

(72)【発明者】

【氏名】王清華

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096DA02

5L096EA26

5L096EA43

5L096FA06

5L096FA22

5L096FA62

5L096FA66

5L096FA67

5L096FA69

5L096GA51

(57)【要約】

本発明は、ゴルフボールオンフロア式検出方法、システム及び記憶媒体を開示し、前記方法は、ウェブカメラの歪み補正ステップと、ウェブカメラのキャリブレーションステップと、ショットのトリガー：ウェブカメラによって収集されたピクチャー中のゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、当該位置での画素変化値が閾値を超えると、ショットをトリガーするステップと、ゴルフボールの位置決め：ファジーエントロピーに基づく動的分割方式を用いて、ショットがトリガーされた後にウェブカメラによって収集されたピクチャーを処理し、処理後のピクチャーに対して位置決めを行って、ゴルフボールの座標データを取得するステップと、パラメータ計算ステップと、ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得するステップと、を含む。本発明は、位置決め処理プロセスにおけるゴルフシステムの位置決め精度を向上させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

側面にウェブカメラが配置されたゴルフシステムによる、マークが設けられているゴルフボールの検出に適用されるゴルフボールオンフロア式検出方法であって、
ウェブカメラの歪み補正：極座標変換を用いてウェブカメラの歪んだ画像座標系を補正するステップＳ１０と、
ウェブカメラのキャリブレーション：補正後の画像座標系をワールド座標系に変換するステップＳ２０と、
ショットのトリガー：ウェブカメラによって収集されたピクチャー中のゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、当該位置での画素変化値が閾値を超えると、ショットをトリガーするステップＳ３０と、
ゴルフボールの位置決め：ファジーエントロピーに基づく動的分割方式を用いて、ショットがトリガーされた後にウェブカメラによって収集されたピクチャーを処理し、処理後のピクチャーに対して位置決めを行って、ゴルフボールの座標データを取得するステップＳ４０と、
パラメータ計算：位置決めによって得られたゴルフボールの座標データをワールド座標系に代入してゴルフボールの移動パラメータを計算するステップＳ５０と、
ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得するステップＳ６０と、を含む、
ことを特徴とするゴルフボールオンフロア式検出方法。

【請求項2】

極座標変換を用いて前記ウェブカメラの歪んだ画像座標系を補正するには、下記補正式を用い、

式中、

ｐｈｉは方位角で、ｘ、ｙは画像座標系の座標で、ＤＳＴ及びｄｓｔはそれぞれ出力平面及び画像平面極座標系における半径の長さで、ｒはウェブカメラレンズの物理半径の長さで、Ｌはズーム率である、
ことを特徴とする請求項１に記載の方法。

【請求項3】

下記変換式を用いて前記補正後の画像座標系をワールド座標系に変換し、

【請求項4】

ファジーエントロピーに基づく動的分割方式を用いて、ショットがトリガーされた後にウェブカメラによって収集されたピクチャーを処理し、処理後のピクチャーに対して位置決めを行って、ゴルフボールの座標データを取得する前記ステップは、具体的には、
ショットがトリガーされた後のピクチャーを取得し、当該ピクチャーにシミュレーション背景輝度を除去する方式を用いて干渉背景を除去するステップＳ４０１と、
干渉背景が除去されたピクチャーに対して、ファジーエントロピーに基づく動的分割を行い、鮮明な２値化ターゲット輪郭を得るステップＳ４０２と、
前記２値化ターゲット輪郭に対して、面積、アスペクト比、輝度スクリーニングを行った後、ゴルフボールではないターゲットを取り除き、ゴルフボールであるターゲットを残してゴルフボールのターゲットピクチャーを得るステップＳ４０３と、
スクリーニング後のゴルフボールのターゲットピクチャーにおけるボール輪郭を最小二乗法でフィッティング補正して、完全なゴルフボール輪郭のピクチャーを得るステップＳ４０４と、
前記完全なゴルフボール輪郭のピクチャーにしたがって、ゴルフボールのボール中心座標を取得するステップＳ４０５と、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記ファジーエントロピーに基づく動的分割の分割値を下記式で計算し、

式中、ｕはメンバーシップ、ｍは階調値に基づく特性値、ｖは画素値、ｅｎｔｒｏｐｙはファジーエントロピーであり、
上記式に合致する画素範囲内の各画素をそれぞれ上記式に代入してその前景と背景のファジーエントロピーを求め、最小値を選択して最適分割値とする、
ことを特徴とする請求項１に記載の方法。

【請求項6】

位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得する前記ステップは、具体的には、
ウェブカメラからの赤外平行光を基にボール表面の光照射分布をシミュレートして光照射分布シミュレーション図を取得し、後続で位置決めによって得られたピクチャーにおけるボール表面の光照射分布を当該光照射分布シミュレーション図に追加して光照射分布を調整し、光照射分布調整図を取得するステップＳ６０１と、
輝度変化による影響を除去するために、位置決めによって得られた原図と当該光照射分布調整図とを差分して熱エネルギーマップを取得し、前記熱エネルギーマップ上でｘ、ｙ軸方向の勾配を求め、さらに重畳して部分的な変化が最も顕著なマーク図を取得するステップＳ６０２と、
ベクトル特異値分解方法を用いて前記マーク図からマークの角度特徴を抽出し、事前に作成した角度サンプル特徴ライブラリを対照して、角度サンプル特徴ライブラリ内で当該角度特徴にマッチングする３次元座標情報を取得するステップＳ６０３と、
連続する２つのフレームのピクチャーにおけるマークで取得した３次元座標情報でゴルフボールの回転速度を計算するステップＳ６０４と、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項7】

メモリと、プロセッサと、前記メモリに記憶され、かつ、前記プロセッサにより実行されるように構成されたコンピュータプログラムと、を含み、前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～請求項６のいずれか１項に記載の方法が実施される、
ことを特徴とするゴルフシミュレーションシステム。

【請求項8】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムが実行されると、請求項１～請求項６のいずれか１項に記載の方法が実施される、
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ゴルフシミュレーション技術の分野に関し、特に、ゴルフボールオンフロア式検出方法、システム及び記憶媒体に関する。

【背景技術】

【0002】

ゴルフシステムは、ショットエリア、センサ、計算ユニット及び表示画面を含む。ゴルフシステムは、室内ゴルフ又は室外ゴルフスポーツに使用できる。

【0003】

ユーザがショットエリアでゴルフボールを打つと、センサがゴルフボールの打ち情報及び移動情報を収集し、計算ユニットがこれらの情報に基づいてゴルフボールの移動軌跡をシミュレートして表示画面に表示する。センサは、画像センサ又は光センサなどであり得る。画像センサを使用する場合、ゴルフボールの移動変化情報を得てその移動軌跡をシミュレートするために、画像情報を分析処理する必要がある。

【0004】

しかしながら、現在のゴルフシステムは、画像センサによって収集されたピクチャーを処理する際に、ピクチャーに対して環境適応性処理を施しておらず、こうすると、ゴルフボールの位置決めプロセスにおける位置決め精度に影響を与える。

【0005】

したがって、既存技術に対するさらなる開発を必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記の従来技術の欠点に鑑み、ゴルフボールオンフロア式検出方法、システム及び記憶媒体を提供することを目的とし、ゴルフシステムの位置決め処理プロセスにおける位置決め精度を向上させることを意図している。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明は、以下の技術的解決手段を採用する。

【0008】

第１態様では、本発明は、側面にウェブカメラが配置されたゴルフシステムによる、マークが設けられているゴルフボールの検出に適用されるゴルフボールオンフロア式検出方法を提案し、前記方法は、
ウェブカメラの歪み補正：極座標変換を用いてウェブカメラの歪んだ画像座標系を補正するステップＳ１０と、
ウェブカメラのキャリブレーション：補正後の画像座標系をワールド座標系に変換するステップＳ２０と、
ショットのトリガー：ウェブカメラによって収集されたピクチャー中のゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、当該位置での画素変化値が閾値を超えると、ショットをトリガーするステップＳ３０と、
ゴルフボールの位置決め：ファジーエントロピーに基づく動的分割方式を用いて、ショットがトリガーされた後にウェブカメラによって収集されたピクチャーを処理し、処理後のピクチャーに対して位置決めを行って、ゴルフボールの座標データを取得するステップＳ４０と、
パラメータ計算：位置決めによって得られたゴルフボールの座標データをワールド座標系に代入してゴルフボールの移動パラメータを計算するステップＳ５０と、
ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得するステップＳ６０と、を含む。

【0009】

第２態様では、本発明は、ゴルフシミュレーションシステムを提案し、前記システムは、メモリと、プロセッサと、前記メモリに記憶され、かつ、前記プロセッサによって実行されるように構成されたコンピュータプログラムと、を含み、前記コンピュータプログラムが前記プロセッサによって実行されると、前述の方法が実施される。

【0010】

第３態様では、本発明は、コンピュータ可読記憶媒体を提案し、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムが実行されると、前述の方法が実施される。

【発明の効果】

【0011】

本発明のゴルフボールオンフロア式検出方法は、ウェブカメラの歪み補正を用いて、位置決め時に用いられるファジーエントロピーに基づく動的分割と結合することにより、ピクチャー処理を環境光の変化に適応させ、位置決め精度を向上させるとともに、ショット判断をトリガーすることにより、ゴルフボールの打出位置の座標を得た後、位置のモニタリングを行わずに、ゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングすることに変え、こうすると、座標の位置決めから画素のモニタリングに変更することで、ゴルフシステムの反応速度を向上させることができる。

【図面の簡単な説明】

【0012】

本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例または従来技術の説明に必要な図面について簡単に説明するが、以下の説明における図面は、本発明の一部の実施例にすぎず、当業者であれば、創造的な働きなしにこれらの図面に示された構造に基づいて他の図面を取得できることは明らかである。

【図1】本発明に係るゴルフボールオンフロア式検出方法の第１実施例の概略フローチャートである。

【図2】本発明に係る画像座標系とワールド座標系との変換プロセスの概略図である。

【図3】本発明に係るゴルフボールの移動パラメータ計算の概略図である。

【図4】本発明に係るゴルフボールの位置決めの第１実施例の概略フローチャートである。

【図5】本発明に係る位置決め中のシミュレーション背景輝度の概略図である。

【図6】本発明に係る位置決め中のシミュレーション背景輝度除去及び干渉背景除去を行うプロセスの概略図である。

【図7】本発明に係る位置決め中の原図に対してファジーエントロピーに基づく動的分割を行ってターゲット輪郭を取得するプロセスの概略図である。

【図8】本発明に係る位置決め際のターゲット輪郭に対する面積、アスペクト比、輝度のスクリーニングを行うプロセスの概略図である。

【図9】本発明に係る位置決め際のターゲットスクリーニング後のピクチャーをフィッティング・補正するプロセスの概略図である。

【図10】本発明に係るゴルフボールの回転速度の検出の第１実施例の概略フローチャートである。

【図11】本発明に係るゴルフボールの回転速度の検出における光照射分布のシミュレーション及び調整の概略図である。

【図12】本発明に係るゴルフボールの回転速度の検出においてｍａｒｋ図を取得するプロセスの概略図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確で、完全に説明するが、説明された実施例は、本発明の一部の実施例にすぎず、全ての実施例ではないことは明らかである。本発明における実施例に基づいて、当業者が創造的な働きなしに得た他の実施例は、いずれの本発明の保護範囲に属すべきである。

【0014】

本発明は、側面にウェブカメラが配置されたゴルフシステムによる、マーク（ｍａｒｋ）が設けられているゴルフボールの移動状態の検出に適用されるゴルフボールオンフロア式検出方法を提案する。

【0015】

側面にカメラが配置されたゴルフシステムは、オンフロア式ウェブカメラのゴルフシステムであり、それによって収集されたピクチャーは、ゴルフボールの側面の視野角である。オンフロア式ウェブカメラのゴルフシステムは、解像度の低い中低性能のゴルフシステムにおけるゴルフボールの移動状態の検出に適用される。

【0016】

オンフロア式ウェブカメラがより多くのデータを捕捉できるように、このタイプのゴルフシステムのレンズには、一般に、広角カメラが用いられるが、広角カメラには魚眼レンズの歪みが存在するため、補正する必要がある。また、側面の視野角でゴルフボールを撮影する時、人体とゴルフボールとが重なり、大きな干渉がある。このため、本発明の側面にカメラが配置されたゴルフシステムは、以下の方法に適用されて、ゴルフボールの移動を検出してシステムの反応速度を向上させる。

【0017】

図１に示すように、本発明に係るゴルフボールオンフロア式検出方法のフローであり、ステップＳ１０～Ｓ６０を含む。

【0018】

Ｓ１０、ウェブカメラの歪み補正：極座標変換を用いてウェブカメラの歪んだ画像座標系を補正する。

【0019】

広角カメラを用いたため、魚眼レンズの歪みが存在し、経験によれば、当該歪みにより撮像する異なる位置座標をワールド座標に変換するときの精度が異なり、これはロングクラブの球速が実際よりも遅いこととして直接表され、補正する必要がある。レンズ仕様は固定であるため、これに所定幾何変換を使用して歪み座標を迅速に補正して透視原理に戻す。

【0020】

好ましくは、本発明の実施例は、極座標変換を用いてウェブカメラの歪んだ画像座標系を補正するには、下記補正式を用い、

ただし、

ｐｈｉは方位角で、ｘ、ｙは画像座標系の座標で、ＤＳＴ及びｄｓｔはそれぞれ出力平面及び画像平面極座標系における半径の長さで、ｒはウェブカメラレンズの物理半径の長さで、Ｌはズーム率である。

【0021】

こうすると、上記の補正式の極座標系を用いて補正後の座標系を求めることができ、それにより画像の歪み問題を解決し、画像の精度を向上させる。

【0022】

Ｓ２０、ウェブカメラのキャリブレーション：補正後の画像座標系をワールド座標系に変換する。

【0023】

画像処理の過程において、空間物体の表面のある点の３次元幾何学的位置と、画像中のそれに対応する点との相互関係を決定するために、カメラ撮像の幾何学的モデルを確立しなければならず、ほとんどの条件では、これらのパラメータは、実験と計算を通じて得なければならなく、このパラメータを求めるプロセスをカメラのキャリブレーション（又はウェブカメラのキャリブレーション）と呼ぶ。カメラのキャリブレーションは、リアル画像の数学的な意味を計算可能で操作可能なデジタル化に変換する実装プロセスである。

【0024】

ウェブカメラのキャリブレーションは、後続の計算精度に影響を与えることができ、アルゴリズムでエラーが徐々に蓄積されて大きくなることを回避する。それは、オブジェクトを効果的に計算する鍵である。

【0025】

本発明は、キャリブレーションプロセスにおいて、高低差がなく均一に分布した、数が固定で固定位置にあるキャリブレーションブロックを用いて、キャリブレーションブロックの分布は実験に基づいて最も効率的に設計され、設置後にキャリブレーションブロックには高さの情報が含まれるため、キャリブレーションを１回するだけでよい。

【0026】

本発明のウェブカメラとして、単眼ウェブカメラ又は双眼ウェブカメラを用いることができ、双眼ウェブカメラを用いた場合、各ウェブカメラに対して個別にキャリブレーションを行う。

【0027】

図２に示すように、本発明の補正後の画像座標系をワールド座標系に変換するプロセスは、先に、画像座標系を画像平面座標系に変換し、続いて画像平面座標系をカメラ座標系に変換してから、カメラ座標系をワールド座標系に変換するプロセスである。

【0028】

好ましくは、本発明は、下記変換式を用いて補正後の画像座標系をワールド座標系に変換し、

【0029】

本発明のウェブカメラが双眼ウェブカメラである場合、双眼ウェブカメラのそれぞれをキャリブレーションしてマッピング行列

を取得し、双眼ウェブカメラの座標及び行列を連立方程式に代入してワールド座標を求める。

【0030】

Ｓ３０、ショットのトリガー：ウェブカメラによって収集されたピクチャー中のゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、当該位置での画素変化値が閾値を超えると、ショットをトリガーする。

【0031】

ショット判断をトリガーすることにより、打出前の各フレームピクチャーに対して位置決め処理を行うことを回避して、システムのピクチャー処理量を減らせ、システムの反応処理速度を向上させることができる。

【0032】

ショット前に、ウェブカメラで先にピクチャーを収集し、予備位置決めを行ってピクチャーからゴルフボールの打出位置の座標を取得する。本発明は、ゴルフボールの打出位置の座標を取得した後、ボールを打出する前にゴルフボールの座標位置の変化に対してさらなるモニタリングの代わりに、ゴルフボールの打出位置での画素変化値に対するリアルタイムモニタリングし、これは、ゴルフボールの座標位置の変化のモニタリングは、図全体に対してグロバール測位を行う必要があるが、画素のモニタリングはゴルフボールの打出位置のピクチャーを処理するだけでよく、ピクチャーの処理面積及び内容が減少したからである。こうすると、座標の位置決めの代わりに画素のモニタリングを使用することで、ゴルフシステムの反応速度を向上させることができる。

【0033】

Ｓ４０、ゴルフボールの位置決め：ファジーエントロピーに基づく動的分割方式を用いて、ショットがトリガーされた後にウェブカメラによって収集されたピクチャーを処理し、処理後のピクチャーに対して位置決めを行って、ゴルフボールの座標データを取得する。

【0034】

側面にウェブカメラが配置されたゴルフシステムは、人体とゴルフボールとが重なり、干渉が大きく、ピクチャー処理時に、ターゲットの変化と干渉物の変化などの環境変化に適応する必要があり、変化には、輝度、形状変化などがある。

【0035】

本発明は、ファジーエントロピーに基づく動的分割方式を用いてピクチャーを処理するため、前景及び背景の環境変化によく適応して、必要なターゲットを正確に分離することができ、位置決め精度を向上させる。

【0036】

Ｓ５０、パラメータ計算：位置決めによって得られたゴルフボールの座標データをワールド座標系に代入してゴルフボールの移動パラメータを計算する。

【0037】

図３に示すように、ステップＳ２０の位置決めによって得られた座標をワールド座標に変換すると、球速、サイドフライ角、打出角などのパラメータを含む移動パラメータを計算することができ、θはサイドフライ角で、γは打出角で、Ｖは空間球速である。

【0038】

Ｓ６０、ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得する。

【0039】

本発明は、ゴルフボールにマーク（ｍａｒｋ）が予め設けられ、こうすると、ピクチャーにおけるマーク（ｍａｒｋ）の角度変化に基づいて回転速度を計算することができる。

【0040】

前景の輝度分布が不均一でかつ１フレームごとの輝度変化が大きいので、解像度が低いピクチャーからゴルフボール上のｍａｒｋを抽出することは、相当に困難であり、階調値の分割に適さない。本発明の勾配に基づく動的分割法は、解像度が低いピクチャーからゴルフボール上のｍａｒｋを正確に抽出することができ、後続の回転検出を保証する。

【0041】

パラメータ計算ステップＳ５０を利用して位置決めによって得られた座標をワールド座標に変換すると、球速、サイドフライ角、打出角などのパラメータを計算することができ、続いて、ステップＳ６０と結合して、ゴルフボールの回転速度を取得すると、ショット後のゴルフボールの完全な移動軌跡と、軌跡でのゴルフボールの回転状態とをシミュレーション計算することができる。本発明の検出とシミュレーションは、一般に別々に行われ、シミュレーションは、一般にクライアントによって行われる。

【0042】

具体的には、図４に示すように、本発明に係る、ファジーエントロピーに基づく動的分割方式を用いて、ショットがトリガーされた後にウェブカメラによって収集されたピクチャーを処理し、処理後のピクチャーに対して位置決めを行い、ゴルフボールの座標データを求めることは、具体的には、ステップＳ４０１～Ｓ４０５を含む。

【0043】

Ｓ４０１、ショットがトリガーされた後のピクチャーを取得し、当該ピクチャーにシミュレーション背景輝度を除去する方式を用いて干渉背景を除去する。

【0044】

図５に示すように、ピクチャーの環境の背景輝度をシミュレートし、続いて原図から前記シミュレーション背景輝度を除去する。図６に示すように、左側は、原図であり、それには明らかに人間の両足である干渉背景があり、続いてこの図からシミュレーション背景輝度を除去することにより、右側の図が得られ、右側の図は干渉背景が既に除去されたものである。

【0045】

Ｓ４０２、干渉背景が除去されたピクチャーに対して、ファジーエントロピーに基づく動的分割を行い、鮮明な２値化ターゲット輪郭を得る。

【0046】

ショット後のボールとウェブカメラとの距離の変化により、ボール表面の輝度は大きく（［４０～１２０］程度）変化し、輝度が動的に変化する場合、ファジーエントロピーに基づく動的分割を用いることにより、ショット後にボールとウェブカメラとの距離が変化することによるピクチャー環境の変化によく適応して、ピクチャー内のターゲットを正確に分割することができる。

【0047】

好ましくは、本発明のファジーエントロピーに基づく動的分割の分割値を下記式で計算し、

ただし、ｕはメンバーシップで、ｍは階調値に基づく特性値で、ｖは画素値で、ｅｎｔｒｏｐｙはファジーエントロピーであり、
上記式に合致する画素範囲内の各画素をそれぞれ上記式に代入してその前景と背景のファジーエントロピーを求め、最小値を選択して最適分割値とする。最後にターゲット輪郭が鮮明な２値化ピクチャーを得る。

【0048】

図７に示すように、本発明は、ショット後にウェブカメラによって収集された原図に対してファジーエントロピーに基づく動的分割処理を行って図７の右側のピクチャーを取得し、この時にオブジェクトの中央及びエッジの各部分がいずれもハイライト表示されるため、ターゲットの鮮明な輪郭を得た。

【0049】

Ｓ４０３、当該２値化ターゲット輪郭に対して、面積、アスペクト比、輝度スクリーニングを行った後、ゴルフボールではないターゲットを取り除き、ゴルフボールであるターゲットを残してゴルフボールのターゲットピクチャーを得る。

【0050】

当該ステップは、ピクチャーにおけるゴルフボールではない異物、例えば、ピクチャーにおけるクラブヘッド及びその他の反射光などの形状を除去するために用いられる。ゴルフボールは、特定の面積、アスペクト比、輝度などの特徴を有するため、これらの特徴に応じてスクリーニングすることができる。

【0051】

図８に示すように、左側は、ファジーエントロピーに基づく動的分割を行って得られた２値化ターゲット輪郭のピクチャーであり、当該ピクチャーには、ゴルフボールの形状ではない異物が存在し、続いて面積、アスペクト比、輝度のスクリーニングを順番に行った後、図８の右側のピクチャーが得られ、この時のピクチャーは異物が既に除去されたものである。

【0052】

Ｓ４０４では、スクリーニング後のゴルフボールのターゲットピクチャーにおけるボール輪郭を最小二乗法でフィッティング補正して、完全なゴルフボール輪郭のピクチャーを得る。

【0053】

陰影などの要素の影響により、ゴルフボールのターゲットピクチャーにおけるゴルフボール輪郭は、図９の左側に示すように、完全な円形にならず、こうすると、ピクチャーにおいてゴルフボールの中心を位置決めすることができない。このため、ターゲットピクチャーにおけるボール輪郭を補正する必要がある。本発明の実施例は、最小二乗法を用いてフィッティング補正することで、ゴルフボールの完全な円形輪郭を取得し、図９の右側に示すように、フィッティング補正された完全なボール輪郭ピクチャーである。

【0054】

Ｓ４０５、前記完全なゴルフボール輪郭のピクチャーにしたがって、ゴルフボールのボール中心座標を取得する。

【0055】

完全なゴルフボール輪郭のピクチャーでは、ボールの中心を正確に位置決めすることができ、続いて画素点座標によりゴルフボールのボール中心座標を取得する。

【0056】

具体的には、図１０に示すように、本発明は、位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得し、具体的には、ステップＳ６０１～Ｓ６０４を含む。

【0057】

Ｓ６０１、ウェブカメラからの赤外平行光を基にボール表面の光照射分布をシミュレートして光照射分布シミュレーション図を取得し、後続で位置決めによって得られたピクチャーにおけるボール表面の光照射分布を当該光照射分布シミュレーション図に追加して光照射分布を調整し、光照射分布調整図を取得する。

【0058】

図１２の左側の図に示すように、本発明は、ゴルフボール上にマーク（ｍａｒｋ）が予め設けられており、こうすると、ピクチャー中のマーク（ｍａｒｋ）に基づいてマーク図を取得できる。

【0059】

図１１の左側に示すように、先に、ボール表面の光照射の分布をシミュレートし、当該シミュレーション分布は、適用範囲は広いが、その分布効果が悪いため、後続で位置決めによって得られたボール表面光照射分布を追加してから調整して、右側の光照射分布調整図を取得し、当該環境での最適光照射分布効果を達成することができる。

【0060】

Ｓ６０２、輝度変化による影響を除去するために、位置決めによって得られた原図と当該光照射分布調整図とを差分して熱エネルギーマップを取得し、前記熱エネルギーマップ上でｘ、ｙ軸方向の勾配を求め、さらに重畳して部分的な変化が最も顕著なマーク図を取得する。

【0061】

前景の輝度分布が不均一であるとともに、１フレームピクチャーごとの輝度変化が大きく、得られたピクチャーの解像度が低く、このとき、階調値分割を用いると、ゴルフボール上のマーク（ｍａｒｋ）を明瞭かつ正確に得ることが難しい。本発明は、勾配に基づく動的分割法を用い、
図１２に示すように、先に、左側の原図と光照射分布調整図とを差分した後、中間の熱エネルギーマップを取得し、輝度変化による影響は当該熱エネルギーマップによって除去される。続いて、当該熱エネルギーマップ上でｘ、ｙ軸方向における勾配を求めて重畳すると、右側の部分的な変化が最も顕著なマーク図を取得する。

【0062】

Ｓ６０３、ベクトル特異値分解方法を用いて前記マーク図からマークの角度特徴を抽出し、事前に作成した角度サンプル特徴ライブラリを対照して、角度サンプル特徴ライブラリ内で当該角度特徴にマッチングする３次元座標情報を取得する。

【0063】

特異値分解（ＳＶＤ）を用いて、マーク図からマーク（ｍａｒｋ）の角度特徴を抽出する。角度サンプル特徴ライブラリには、ゴルフボール上のマーク（ｍａｒｋ）の様々な角度、及び様々な角度に対応する３次元座標情報が格納されている。ゴルフボール上のマーク（ｍａｒｋ）のピクチャーにおける角度特徴を抽出した後、角度サンプル特徴ライブラリにマッチングさせて、対応する３次元座標情報を取得する。

【0064】

本発明の実施例の特異値分解（ＳＶＤ）方法によるマークの角度特徴の抽出は、ゴルフボール上のマーク（ｍａｒｋ）が固定された状況で行われる。他の実施例では、ゴルフボール上のマーク（ｍａｒｋ）が固定されていない場合には、マーク（ｍａｒｋ）の重心を見つけ出してターゲット点とする方法を用いて、ターゲット点のボール表面に対応する３次元座標に基づいて回転速度を計算することができる

【0065】

Ｓ６０４、連続する２つのフレームのピクチャーにおけるマークで取得した３次元座標情報でゴルフボールの回転速度を計算する。

【0066】

ゴルフボールの回転速度を取得した後、位置決めによって得られた座標情報と結合して、軌跡の各点でのゴルフボールの回転状態をシミュレートすることができ、システムシミュレーションのリアル感を向上させる。

【0067】

本発明の実施例にて提案されるゴルフボールオンフロア式検出方法は、ウェブカメラの歪み補正を用いて、位置決めする際に用いられる、ファジーエントロピーに基づく動的分割と結合することにより、ピクチャー処理を環境光の変化に適応させ、位置決め精度を向上させるとともに、ショット判断をトリガーすることにより、ゴルフボールの打出位置の座標を求めた後、さらなる位置のモニタリングを行わず、代わりにゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、こうすると、座標の位置決めの代わりに画素のモニタリングを使用することにより、ゴルフシステムの反応速度を向上させることができる。また、回転速度の検出中に、勾配に基づく動的分割法を用いてゴルフボール上のマークを抽出することにより、解像度の低いピクチャーからゴルフボール上のマーク（ｍａｒｋ）を正確に抽出して、ゴルフボールの角度特徴を正確に取得して回転速度を計算することができる。

【0068】

本発明は、ゴルフシミュレーションシステムをさらに提供し、前記システムは、メモリと、プロセッサと、前記メモリに記憶されており、かつ、前記プロセッサによって実行されるように構成されたコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されると、上記の方法が実施される。

【0069】

例示的に、前記コンピュータプログラムは、１つ以上のモジュール／ユニットに分割されてもよく、前記１つ以上のモジュール／ユニットは、前記メモリに格納されて、前記プロセッサによって実行されて本発明を完了する。前記１つ以上のモジュール／ユニットは、特定の機能を実現できる一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、前記非同期メッセージ処理端末装置における前記コンピュータプログラムの実行プロセスを記述するために用いられる。

【0070】

前記主制御モジュールは、プロセッサと、メモリとを含むが、これらに限定されない。当業者であれば、上記部材は、システムに基づく例示にすぎず、主制御モジュールを限定するものではなく、上記よりも多い又は少ない部材を含んでも、一部の部材を組み合わせても、又は異なる部材を含んでもよく、例えば、主制御モジュールは、さらに、入出力装置、ネットワークアクセス装置、バスなどを含み得ることを理解できる。

【0071】

いわゆるプロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、当該プロセッサは、いずれのレギューラプロセッサなどであってもよく、前記プロセッサは、前記装置の制御センタであり、様々なインターフェース及び回線で主制御モジュール全体の各部分を接続する。

【0072】

前記メモリは、前記コンピュータプログラム及び／又はモジュールを格納するために用いられ、前記プロセッサは、前記メモリ内に格納されているコンピュータプログラム及び／又はモジュールを稼働又は実行すること、及びメモリ内に格納されているデータを呼び出すことにより、前記装置の様々な機能を実現する。前記メモリは、主に、プログラム格納領域及びデータ格納領域を含み得、ここで、プログラム格納領域は、オペレーティングシステムと、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを格納することができ、データ格納領域は、使用に応じて作成されたデータ（例えばオーディオデータ、電話帳など）などを格納することができる。さらに、メモリは、速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えばハードディスク、内部ストレージ、プラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の不揮発性固体メモリデバイスを含んでもよい。

【0073】

本発明は、コンピュータ可読記憶媒体をさらに提案し、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムが実行されると、上記の方法が実施される。

【0074】

本発明のゴルフボールオンフロア式検出方法が集積されたモジュール／ユニットは、ソフトウェア機能ユニットの形態で実装されるとともに、独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に格納されてもよい。本発明のコンピュータ可読記憶媒体の具体的な実施形態は、上記のゴルフボールオンフロア式検出方法に用いられる各実施例と基本的に同じであるため、ここでは詳細な説明を省略する。

【0075】

なお、上述した実施例は例示的なものにすぎず、ここで、分離されている部品として説明した前記ユニットは、物理的に分離されたものであってもなくてもよいし、ユニットとして表示された部材は、物理的なユニットであってもなくてもよく、すなわち、同一の場所に位置しても、複数のネットワークユニットに分散されていてもよい。実際の必要性に応じて、モジュールの一部又は全部を選択して本実施例の技術的解決手段を達成することができる。また、本発明にて提供される実施例の図面において、モジュール間の接続関係は、モジュール間に通信接続が存在することを示し、具体的には、１本以上の通信バス又は信号線として実装され得る。当業者は、創造的な働きなしに理解し、実施することができる。

【0076】

上記は、本発明に挙げられた例を明確に説明するためのものにすぎず、本発明の特許請求の範囲を制限するものではなく、ここで、全ての実施形態を一一列挙することができず、本発明の構想の下で、本発明の技術的解決手段の内容を利用して行われた等価の構造変換、又は他の関連技術分野における直接的／間接的適用は、いずれも本発明の特許請求の保護範囲内に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】