特許 7608686 平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法

(51)【国際特許分類】

   A63B 69/36 20060101AFI20241224BHJP

【ＦＩ】

A63B69/36 541V

【請求項の数】 11

(21)【出願番号】P 2023521284

(86)(22)【出願日】2021-10-05

(65)【公表番号】

(43)【公表日】2023-10-25

(86)【国際出願番号】 KR2021013602

(87)【国際公開番号】W WO2022075691

(87)【国際公開日】2022-04-14

【審査請求日】2023-04-26

(31)【優先権主張番号】10-2020-0129422

(32)【優先日】2020-10-07

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】315019182

【氏名又は名称】ゴルフゾン カンパニー リミテッド

【住所又は居所原語表記】７３５， ＹＥＯＮＧＤＯＮＧ－ＤＡＥＲＯ， ＧＡＮＧＮＡＭ－ＧＵ， ＳＥＯＵＬ， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】チャン、ソー ホ

(72)【発明者】

【氏名】パク、ヨン クワン

(72)【発明者】

【氏名】キム、ジェ ホン

(72)【発明者】

【氏名】コ、テ スク

【審査官】田中 洋行

(56)【参考文献】

【文献】韓国公開特許第１０－２０１２－００１００１６（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０１２－００８４４８１（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０１７－００２０９８２（ＫＲ，Ａ）

【文献】特表２０１４－５３４６５９（ＪＰ，Ａ）

【文献】特開２０１３－２３６６６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００１３３１２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｂ ６９／００－６９／４０

(57)【特許請求の範囲】

【請求項1】

平面上を運動する球体に対するセンシング装置として、
任意の位置から単一視角に前記球体の運動平面を含む画角で映像を取得する単一カメラと、
前記単一カメラの取得映像から前記球体の運動平面を基準面として前記基準面と前記単一カメラとの位置関係を設定し、前記取得映像上の球体に該当するオブジェクトを検出し、前記基準面と前記単一カメラとの位置関係と前記オブジェクトに対する情報を利用して前記球体の基準面上での平面位置座標を算出し、前記算出された平面位置座標の変化から前記球体の移動に関する情報を算出するセンシング処理部と、
を含み、
前記センシング処理部は、
前記映像で検出されるオブジェクトの上段境界を検出し、前記上段境界上の上端点を検出し、前記オブジェクトの大きさと形状にマッチングされる検出図形を生成して前記生成された検出図形の大きさを利用して前記上端点に対応する前記オブジェクトの下端点を検出し、
前記上端点または前記下端点を利用して前記球体の中心点が前記基準面に垂直方向投影された点の位置座標を前記球体の平面位置座標として算出する、
平面移動球体の運動センシング装置。

【請求項2】

前記単一カメラは、
専用照明なしで前記基準面と前記単一カメラとの位置関係設定時、映像パラメータの調節を通じて周辺照明による映像を取得できる、請求項１に記載の平面移動球体の運動センシング装置。

【請求項3】

前記センシング処理部は、
前記球体の運動平面上に予め設定されて表示された特徴部を前記映像を通じて認識し、その認識された情報に基づいて前記基準面と前記単一カメラとの位置関係を設定する、請求項１または２に記載の平面移動球体の運動センシング装置。

【請求項4】

平面上を運動する球体に対するセンシング装置として、
任意の位置から単一視角に前記球体の運動平面を含む画角で映像を取得する単一カメラと、
前記単一カメラの取得映像から前記球体の運動平面を基準面として前記基準面と前記単一カメラとの位置関係を設定し、前記取得映像上の球体に該当するオブジェクトを検出し、前記基準面と前記単一カメラとの位置関係と前記オブジェクトに対する情報を利用して前記球体の基準面上での平面位置座標を算出し、前記算出された平面位置座標の変化から前記球体の移動に関する情報を算出するセンシング処理部と、
を含み、
前記センシング処理部は、
前記映像で検出されるオブジェクトの上段境界の曲線を検出し、前記上段境界の曲線の曲率を持つ円を算出して前記円上の少なくとも一つの点を特徴点として検出し、前記特徴点を利用して前記球体の中心点が前記基準面に垂直方向投影された点の位置座標を前記球体の平面位置座標として算出する、平面移動球体の運動センシング装置。

【請求項5】

前記センシング処理部は、
前記オブジェクトの輪郭の上端点と下端点を検出し、前記基準面と前記単一カメラとの位置関係に関する設定情報を利用して前記上端点または下端点を前記単一カメラの視線方向に前記基準面に投影した点の誤差を補正することによって前記球体の平面位置座標を算出する、請求項１から４のいずれか一項に記載の平面移動球体の運動センシング装置。

【請求項6】

パッティングマット上を運動するゴルフボールに対するセンシング装置で、
任意の位置で単一視角に前記パッティングマットを含む画角で映像を取得する単一カメラと、
前記単一カメラの取得映像から前記パッティングマット上の予め設定されて表示された特徴部を認識して前記パッティングマットを基準面として前記単一カメラとの位置関係を設定し、前記取得映像上の前記ゴルフボールに該当するオブジェクトの輪郭上の特徴点を検出し、前記特徴点を利用して前記ゴルフボールの中心点が前記基準面に垂直方向投影された点の位置座標を前記ゴルフボールの平面位置座標として算出し、前記算出された平面位置座標の変化から前記パッティングマット上でのゴルフボール移動特性に関する情報を算出するセンシング処理部と、
を含み、
前記センシング処理部は、
前記映像で検出されるオブジェクトの上段境界を検出し、前記上段境界上の上端点を検出し、前記オブジェクトの大きさと形状にマッチングされる検出図形を生成して前記生成された検出図形の大きさを利用して前記上端点に対応する前記オブジェクトの下端点を検出し、
前記上端点または前記下端点を利用して前記ゴルフボールの中心点が前記基準面に垂直方向投影された点の位置座標を前記ゴルフボールの平面位置座標として算出する、
パッティングマット上を運動するゴルフボールに対するセンシング装置。

【請求項7】

平面移動球体の運動センシング方法として、
単一カメラによって任意の位置から単一視角に球体の運動平面を含む画角で映像を取得する段階と、
前記単一カメラの取得映像から前記球体の運動平面を基準面として前記基準面と前記単一カメラとの位置関係を設定する段階と、
前記取得映像上の前記球体に該当するオブジェクトの上段境界を検出し、前記上段境界上の上端点を検出し、前記オブジェクトの大きさと形状にマッチングされる検出図形を生成して前記生成された検出図形の大きさを利用して前記上端点に対応する前記オブジェクトの下端点を検出する段階と、
前記基準面と前記単一カメラとの位置関係を利用して前記上端点または下端点から前記球体の中心点が前記基準面に垂直方向に投影された点の位置座標を前記基準面上での球体の平面位置座標として算出する段階と、
を含む、平面移動球体の運動センシング方法。

【請求項8】

前記単一カメラとの位置関係を設定する段階は、
前記映像を取得する段階で取得された映像から前記球体の運動平面上に予め設定されて表示された特徴部を通じて、前記球体の運動平面を基準面として認識する段階と、
前記基準面の認識に基づいて前記単一カメラの位置情報を設定する段階を含む、請求項７に記載の平面移動球体の運動センシング方法。

【請求項9】

前記球体の平面位置座標として算出する段階は、
前記映像上で検出された前記オブジェクトの上段境界を基準に前記オブジェクトの輪郭を検出する段階と、
前記オブジェクトの輪郭の上端点または下端点を前記単一カメラの視線方向に前記基準面上に投影された点と角度情報を検出する段階と、
前記基準面と前記単一カメラとの位置関係に関する設定情報と、前記球体の大きさ情報と、前記検出された角度情報を利用して前記上端点または前記下端点を通過する前記単一カメラの視線方向が前記基準面と出会う点の誤差を補正することによって前記球体の平面位置座標を算出する段階を含む、請求項７または８に記載の平面移動球体の運動センシング方法。

【請求項10】

パッティングマット上を運動するゴルフボールに対するセンシング方法として、
単一カメラによって任意の位置から単一視角に前記パッティングマットを含む画角で映像を取得する段階と、
前記単一カメラの取得映像から前記パッティングマットを基準面として前記基準面と前記単一カメラとの位置関係を設定する段階と、
前記単一カメラが取得する映像から前記ゴルフボールに該当するオブジェクトを検出してゴルフボールに対する打撃準備をする段階と、
前記単一カメラが取得する映像からゴルフボールの打撃を感知する段階と、
前記打撃が感知された場合、前記設定された基準面と前記単一カメラの位置関係を利用して前記オブジェクトの輪郭上の点から前記ゴルフボールの中心点が前記基準面に垂直方向に投影された点の位置座標を前記ゴルフボールの平面位置座標として算出する段階と、
前記単一カメラが取得する映像のフレームごとに前記ゴルフボールの平面位置座標を算出し、その変化から前記ゴルフボールの移動特性に関する情報を算出する段階と、
を含み、
前記ゴルフボールの平面位置座標として算出する段階は、
前記映像で検出されるオブジェクトの上段境界を検出する段階と、
前記上段境界上の上端点を検出する段階と、
前記オブジェクトの大きさと形状にマッチングされる検出図形を生成し、前記生成された検出図形の大きさを利用して前記上端点に対応する前記オブジェクトの下端点を検出する段階と、
前記上端点または下端点を利用して前記ゴルフボールの中心点が前記基準面に垂直方向に投影された点の位置座標を前記ゴルフボールの平面位置座標として算出する段階を含む、
パッティングマット上を運動するゴルフボールに対するセンシング方法。

【請求項11】

パッティングマット上を運動するゴルフボールに対するセンシング方法として、
単一カメラによって任意の位置から単一視角に前記パッティングマットを含む画角で映像を取得する段階と、
前記単一カメラの取得映像から前記パッティングマットを基準面として前記基準面と前記単一カメラとの位置関係を設定する段階と、
前記単一カメラが取得する映像から前記ゴルフボールに該当するオブジェクトを検出してゴルフボールに対する打撃準備をする段階と、
前記単一カメラが取得する映像からゴルフボールの打撃を感知する段階と、
前記打撃が感知された場合、前記設定された基準面と前記単一カメラの位置関係を利用して前記オブジェクトの輪郭上の点から前記ゴルフボールの中心点が前記基準面に垂直方向に投影された点の位置座標を前記ゴルフボールの平面位置座標として算出する段階と、
前記単一カメラが取得する映像のフレームごとに前記ゴルフボールの平面位置座標を算出し、その変化から前記ゴルフボールの移動特性に関する情報を算出する段階と、
を含み、
前記ゴルフボールの平面位置座標として算出する段階は、
前記映像で検出されるオブジェクトの上段境界の曲線を検出する段階と、
前記上段境界の曲線の曲率を持つ円を算出し、前記円上の少なくとも一つの点を特徴点として検出する段階と、
前記特徴点を利用して前記ゴルフボールの中心点が前記基準面に垂直方向に投影された点の位置座標を前記ゴルフボールの平面位置座標として算出する段階を含む、パッティングマット上を運動するゴルフボールに対するセンシング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は平面上を移動するスポーツ用ボール、例えばゴルフボール、ボウリングボールなどの球形物体の映像を取得して分析することで、その球体の移動に関する情報を算出するセンシング装置及びそのセンシング方法に関する技術である。

【背景技術】

【0002】

一般的に物体に対する三次元空間上での座標情報を獲得するための装置として、二台のカメラを利用したステレオスコープ（Stereoscopic）方式のカメラ装置が利用されている。

【0003】

すなわち、一つのカメラが撮影した対象物体に対する二次元映像と、同じ対象物体に対して他のカメラが撮影した二次元映像からそれぞれ該当対象物体の二次元座標情報を抽出し、その各々抽出された二次元座標情報を予め定義された相関関数に適用して該当対象物体の三次元座標情報を算出することだ。

【0004】

このようなステレオスコープ方式のカメラ装置は対象物体の三次元空間上での位置情報の算出に広く利用されるが、最も代表的な例としていわゆるスクリーンゴルフシステムに利用される。

【0005】

すなわち、スクリーンゴルフシステムで天井カメラと側面カメラがステレオスコピック方式で連動され、使用者がゴルフスイングによって打撃したゴルフボールが移動することによる三次元空間上での位置変化情報を算出できる。

【0006】

このように、通常スポーツ用球体の検出及び運動状態の算出は複数のカメラを活用する方式だが、複数のカメラそれぞれが撮影したイメージを演算装置に伝送して三次元空間上での位置情報を算出し、このように取得された実空間上の座標に基づいて物体の運動状態を計算する。

【0007】

これと関連して韓国登録特許公報第１０－１９０２２８３号、韓国登録特許公報第１０－１８２６８３７号、韓国登録特許公報第１０－１７２３４３２号などの先行技術文献で前述したようなステレオスコピック方式のカメラセンシング装置を利用した仮想ゴルフシミュレーションシステムに関する技術を開示している。

【0008】

しかし、前述したようなステレオスコピックカメラセンシング装置を利用したスポーツ用物体の動きセンシング方式は、二台のカメラそれぞれの位置が固定されていなければならず、三次元空間上での物体の動きをセンシングするためには専用照明が備えられていなければならないため、特定場所で専門的な技術者によって正確に設置されてこそ使用が可能だという制限があり、空間的制約なしに手軽に使用できない問題点があった。

【0009】

また、ステレオスコープ方式で連結された複数のカメラが必要なので、各カメラが伝送する映像データを処理する処理装置が非常に高い処理能力を備えなければならない問題点があった。

【先行技術文献】

【特許文献】

【0010】

【文献】韓国登録特許公報第１０－１９０２２８３号

【文献】韓国登録特許公報第１０－１８２６８３７号

【文献】韓国登録特許公報第１０－１７２３４３２号

【文献】韓国公開特許公報第１０－２０１９－００１４４９０号

【文献】韓国登録特許公報第１０－１１４１０４８号

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明は平面上を移動するスポーツ用球体を目的物体としてセンシングするにあたって、低価格型の単一カメラを利用して、専用照明なしでもスポーツ用球体を検出できるだけでなく、空間認識が可能なのでカメラの設置位置が固定されていなければならない制約から抜け出し、簡単な構成で場所に大きくこだわらず使用できる平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法を提供するためのものだ。

【課題を解決するための手段】

【0012】

本発明の一実施例による平面移動構体の運動センシング装置は、平面上を運動する球体に対するセンシング装置として、任意の位置から単一視角に前記球体の運動平面を含む画角で映像を取得する単一カメラと、前記単一カメラの取得映像から前記球体の運動平面を基準面として前記基準面と前記単一カメラとの位置関係を設定し、前記取得映像上の球体に該当するオブジェクトを検出し、前記基準面と前記シングルカメラとの位置関係と前記オブジェクトに対する情報を利用して前記球体の基準面上での平面位置座標を算出し、前記算出された平面位置座標の変化から前記球体の移動に関する情報を算出するセンシング処理部を含む。

【0013】

本発明の一実施例によるパッティングマット上を運動するゴルフボールに対するセンシング装置は、パッティングマット上を運動するゴルフボールに対するセンシング装置で、任意の位置で単一視角に前記パッティングマットを含む画角で映像を取得する単一カメラと、前記単一カメラの取得映像から前記パッティングマット上の予め設定されて表示された特徴部を認識して前記パッティングマットを基準面として前記単一カメラとの位置関係を設定し、前記取得映像上の前記ゴルフボールに該当するオブジェクトの輪郭上の特徴点を検出し、前記特徴点を利用して前記ゴルフボールの中心点が前記基準面に垂直方向投影された点の位置座標を前記ゴルフボールの平面位置座標として算出し、前記算出された平面位置座標の変化から前記パッティングマット上でのゴルフボール移動特性に関する情報を算出するセンシング処理部を含む。

【0014】

本発明の一実施例による平面移動構体の運動センシング方法は、平面移動構体の運動センシング方法として、単一カメラによって任意の位置から単一視角に前記球体の運動平面を含む画角で映像を取得する段階と、前記単一カメラの取得映像から前記球体の運動平面を基準面として前記基準面と前記単一カメラとの位置関係を設定する段階と、前記取得映像上の前記球体に該当するオブジェクトの輪郭上の特徴点を検出する段階と、前記基準面と前記単一カメラとの位置関係を利用して前記特徴点から前記球体の中心点が前記基準面に垂直方向に投影された点の位置座標を前記基準面上での球体の平面位置座標として算出する段階を含む。

【0015】

本発明の一実施例によるパッティングマット上を運動するゴルフボールに対するセンシング方法は、パッティングマット上を運動するゴルフボールに対するセンシング方法として、単一カメラによって任意の位置から単一視角に前記パッティングマットを含む画角で映像を取得する段階と、前記単一カメラの取得映像から前記パッティングマットを基準面として前記基準面と前記単一カメラとの位置関係を設定する段階と、前記単一カメラが取得する映像から前記ゴルフボールに該当するオブジェクトを検出してゴルフボールに対する打撃準備をする段階と、前記単一カメラが取得する映像からゴルフボールの打撃を感知する段階と、前記打撃が感知された場合、前記設定された基準面と前記単一カメラの位置関係を利用して前記オブジェクトの輪郭上の点から前記ゴルフボールの中心点が前記基準面に垂直方向に投影された点の位置座標を前記ゴルフボールの平面位置座標として算出する段階と、前記単一カメラが取得する映像のフレームごとに前記ゴルフボールの平面位置座標を算出し、その変化から前記ゴルフボールの移動特性に関する情報を算出する段階を含む。

【発明の効果】

【0016】

本発明による平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法は、平面上を移動するスポーツ用球体を目的物体としてセンシングするにあたって、低価格型の単一カメラを利用して専用照明なしにもスポーツ用球体を検出できるだけでなく、空間認識が可能なのでカメラの設置位置が固定されていなければならない制約から抜け出し、簡単な構成で場所に大きくこだわらず使用でき、平面を移動する球体の正確な位置及び運動に関する情報を算出できる効果がある。

【図面の簡単な説明】

【0017】

【図1】本発明による平面移動球体の運動センシング装置の具体的な一例として、パッティングマットを移動するゴルフボールの運動センシング装置に関して示した図面。

【図2】図１に示すような単一カメラとパッティングマットの位置関係で単一カメラが取得する映像を示した図面。

【図3】本発明の一実施例による平面移動球体の運動センシング方法について説明するためのフローチャート。

【図4】本発明の一実施例によるセンシング装置の単一カメラによって取得された映像から球体に該当する物体を検出し、その輪郭を検出する方法の一例を示した図面。

【図5】本発明の一実施例によるセンシング装置の単一カメラによって取得された映像上で球体の上端点及び下端点を検出する方法の一例を示した図面。

【図6】本発明の一実施例によるセンシング装置により映像で特徴部を認識し、平面上で移動する球体に対応するオブジェクトを検出し、そのオブジェクトの特徴点を検出したことを示した図面。

【図7】図６に示すオブジェクト上の特徴点に基づいて、球体の中心点を基準面に垂直方向に投影した点の位置座標を算出することに関して示した図面。

【図8】本発明の一実施例によるパッティングマットを移動するゴルフボールの運動センシング方法について説明するためのフローチャート。

【図9】図８のフローチャートによる方法を説明するためのもので、単一カメラによって取得された映像の二進化映像の一例について示した図面。

【発明を実施するための形態】

【0018】

本発明による平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法に関する具体的な内容を図面を参照して説明する。

【0019】

本発明は平面を移動する球体ならゴルフボールであれボウリングボールであれ、どんなものでもカメラを利用して映像を得て、これを分析してその球体の移動情報を算出することができ、具体的な例としてパッティングマット上で使用者がパターでパッティングしたゴルフボールがパッティングマット上を移動するのをカメラを利用して感知し運動情報を算出できる。

【0020】

ここで前述したカメラは単一視角で球体の運動平面を含む画角で映像を取得する「単一カメラ」として具現できる。

【0021】

従来のカメラセンサー基盤のスクリーンゴルフシステムやゴルフ練習またはパッティング練習システムではゴルフボールの動きを感知するカメラが予め設定された位置に固定されていなければならず、ゴルフボールの三次元運動を感知するために複数のカメラがステレオスコピック方式で構成されなければならない大きな制約条件があったが、本発明はそのような制約条件から抜け出し、単一視角のカメラ、すなわち単一カメラが任意の位置でゴルフボールの動きを感知できるのが特徴だ。

【0022】

図１は、本発明による平面移動球体の運動センシング装置の具体的な一例として、パッティングマットを移動するゴルフボールの運動センシング装置に関して示したものである。

【0023】

本発明の一実施例による平面移動構体の運動センシング装置は、図１に示すように単一カメラ２００とセンシング処理部２２０を含む。

【0024】

単一カメラ２００は任意の位置から単一視角に球体の運動平面、例えばパッティングマット１００を含む画角に予め設定されたフレームレートで映像を取得する。 例えば、図１に示すような位置でステレオスコピック方式ではなく、単一視角でゴルフボール１０がパター２０によって打撃されて平面移動をするパッティングマット１００を含む画角で映像を取得する。

【0025】

センシング処理部は単一カメラが取得する映像を伝達されて映像処理を行い、その映像処理されたものを分析して球体の平面上位置に関する情報を算出する構成要素である。

【0026】

一つカメラで予め設定された固定位置ではなく任意の位置から眺める画角の映像を取得する場合、その取得された映像上の遠近感のために空間上の球体の三次元位置情報を算出することは非常に難しく、三次元位置情報を算出するとしてもその正確度がかなり落ちるしかない。

【0027】

本発明は単一カメラを利用して球体が移動する平面を基準面に設定し、球体の中心点を基準面上に垂直方向投影させた点の位置座標、すなわち球体の平面上の位置座標を計算して基準面上での球体の運動情報を算出することができる。

【0028】

センシング処理部は単一カメラの取得映像から球体の運動平面に対する「基準面」を認識し、その基準面と単一カメラ間の位置関係を設定し、その位置関係を利用して単一カメラによって取得される映像上の球体に該当するオブジェクトから「基準面」上の球体の平面位置座標を算出することができる。

【0029】

例えば、図１に示すようにセンシング処理部２２０は、単一カメラ２００の取得映像からパッティングマット１００上の予め用意されて表示された特徴部１１１、１１２、１１３、１１４を認識し、ゴルフボールの運動平面に対する基準面とその基準面に対する単一カメラの位置情報、すなわち三次元位置情報を設定することができる。センシング処理部は取得映像上のゴルフボールに該当するオブジェクトを検出してゴルフボール１０の中心点が基準面に垂直方向投影された点の位置、すなわちゴルフボールの平面位置の座標を算出するように構成できる。

【0030】

図１に示すように、単一カメラ２００が取得した映像上で特徴部１１１～１１４を認識し、その特徴部を分析してx－y－zの座標系の原点を基準として基準面と単一カメラのx、y、z座標の情報を算出することによって基準面と単一カメラの位置関係を設定することができる。

【0031】

図２は図１に示すような単一カメラとパッティングマットの位置関係で単一カメラが取得する映像を示したもので、図２の（ａ）はゴルフボールが打撃される前の状態を示し、図２の（ｂ）はゴルフボールが打撃された後に移動する状態を示す。

【0032】

図２の（ａ）と（ｂ）は単一カメラ取得映像の一例を示したもので、i１００はパッティングマットの映像を示し、i１１１からi１１４はそれぞれ特徴部の映像を表し、i１０は停止状態のゴルフボールの映像を表し、ir１０は移動している状態のゴルフボールの映像を表す。

【0033】

図１に示すように、単一カメラ２００は上部の一側の位置から斜めに下に見下ろす画角で、球体の運動平面であるパッティングマット１００に対する映像を取得することができるが、図２の（ａ）と（ｂ）に示すように、単一カメラからの距離によってパッティングマットの単一カメラと近い部分は大きく現れ、遠い部分ほど小さく現れ、球体と単一カメラとの距離によって映像で球体の大きさが異なる。

【0034】

単一カメラが取得する映像は二次元映像として映像の内容を分析しては、図２の（ａ）と（ｂ）に示したように距離による大きさの差のため、球体が平面上のどの位置の座標にあるのか正確に把握することが非常に難しい。

【0035】

しかし、本発明は前述したように「特徴部」を利用して基準面と単一カメラの位置関係を設定し、これを利用して映像を分析することで球体の平面位置座標を正確に算出することができる。

【0036】

このため、本発明の一実施例によるセンシング装置は、図１に示すような平面上に予め準備しておいた特徴部を図２に示すような映像を通じて認識することができる。

【0037】

前述した「特徴部」は、図１に示すように平面に予め用意しておいたマーカー１１１～１１４のような形であることもあり、運動平面自体の形態、例えば図１に示すような四角形のパッティングマット自体の形態でもありうる。

【0038】

本発明の一実施例によるセンシング装置は、特徴部の形状と大きさに対する情報を予め設定し、映像を通じて認識される特徴部がどのように形状変化したのか、その大きさがどのように変化したかなどを予め設定された特徴部情報を参照して分析することで基準面と単一カメラの位置に対する情報を設定された座標系上で把握することができる。

【0039】

例えば、図１に示すように、パッティングマット１００の角部分にそれぞれ特徴部１１１、１１２、１１３、１１４を予め設け、その特徴部１１１、１１２、１１３、１１４の形状や大きさなどに関する情報を予め設定しておくと、センシング処理部２２０は図２の（ａ）と（ｂ）に示すように単一カメラ２００が取得する映像を通じて特徴部に該当する部分i１１１、i１１２、i１１３、i１１４の形状や大きさの変化を予め設定した情報と比較して分析することができ、そこからx－y－z座標系上で基準面を基準に単一カメラが位置する座標を算出して設定情報に保存することができる。

【0040】

また、例えば、図１に示したようなパッティングマット１００の四角形状そのものを特徴部として予め設定しておくことができ、図２に示したような映像でパッティングマットに該当する部分（i１００）の形状と大きさの変化を分析することで基準面と単一カメラの位置関係を計算して設定情報に保存することができる。

【0041】

特徴部は人為的に付与したマーカーのような形であることもあり、運動平面の形態を特定できるならば、その運動平面の形態そのものを特徴部として設定することもでき、人為的に付与したマーカー形態である場合にも映像でその形状と大きさの変化を簡単に分析できるものであれば可能なため、どんな形状のマーカーでも前述したような特徴部として使用できる。

【0042】

センシング処理部は運動平面に表示された予め定義された特徴部を単一カメラの映像を通じて認識し、単一カメラと運動平面との位置関係を算出して前述したように基準面を設定した後、球体がその基準面上のどこに位置するかを算出することができるが、基準面上の球体の位置を算出する具体的な方法については後述する。

【0043】

一方、図３のフローチャートを参照して、本発明の一実施例による平面移動球体の運動センシング方法について説明する。

【0044】

図３に示したフローチャートは、図１と図２を通じて説明したことがあるセンシング装置の構成に基づいた球体の運動センシング方法を示したものだ。

【0045】

まず、単一カメラは任意の位置でその画角内の球体の運動平面に対する映像を取得する（Ｓ１１０）。

【0046】

単一カメラは専用照明がなくても明るさ（brightness）、明暗（contrast）、ガンマ（gamma）などの映像パラメータの調節を通じて周辺照明で映像を取得できるように構成できる。

【0047】

センシング処理部は取得された映像上の予め設定された特徴部を認識し（Ｓ１２０）、それから球体の運動平面に対する基準面と単一カメラの位置関係を設定する（Ｓ１３０）。

【0048】

センシング処理部は単一カメラが取得する映像から球体を認識し（Ｓ１４０）、球体の運動が始まったか否かを判断する（Ｓ１５０）。

【0049】

もし、球体の運動が始まったら、センシング処理部は単一カメラによって取得された映像を分析してその球体に対応する映像上のオブジェクトを検出する（Ｓ１６０）。

【0050】

そして、センシング処理部は前述したように検出されたオブジェクトの輪郭上で特徴点を検出することができる（Ｓ１７０）。

【0051】

センシング処理部は単一カメラが取得する映像から検出されるオブジェクトを利用してそのオブジェクトの輪郭上の点、すなわち特徴点を検出し、その特徴点を利用して球体の中心点が基準面に垂直方向投影された点の位置座標を球体の平面位置座標として算出する（Ｓ１８０）。

【0052】

単一カメラが取得する多数の映像フレームそれぞれに前述したように算出された球体の平面位置座標を連結すれば球体の運動軌跡を算出することができ、時間に対する球体の平面位置座標の変化を通じて球体の速度を算出することができる。

【0053】

このように本発明のセンシング装置は、球体の運動情報を算出することができる（Ｓ１９０）。

【0054】

前述したような映像上のオブジェクトの特徴点を利用した球体の平面位置座標の算出に関する具体的な内容、すなわち前述したＳ１６０段階からＳ１８０段階を通じた映像上のオブジェクトの検出から基準面に投影された座標情報の算出に至るまでの過程に対する具体的な内容を図４から図６を参照して説明する。

【0055】

図４と図５は、本発明の一実施例によるセンシング装置の単一カメラが取得する映像から球体に該当するオブジェクトを検出し、それから球体の平面位置座標算出のための特徴点を算出することを説明するための図面であり、図６及び図７は、本発明の一実施例によるセンシング装置によって検出されたオブジェクトの特徴点である上段点と下段点に基づいて球体の中心点を基準面に垂直方向に投影した点の位置座標を算出することを説明する図面である。

【0056】

まず、図４を参照して単一カメラの取得映像からオブジェクトを検出し、その輪郭を検出する方法の一例を説明する。

【0057】

図４の（ａ）は、図１に示すような構成で単一カメラによって取得された映像の一部を拡大して示したものである。

【0058】

センシング処理部は図４の（ａ）のような映像から運動平面上に備えられる予め設定された特徴部（i１１４など）を認識し、これを利用して基準面と単一カメラの位置関係を計算してその計算された情報を設定情報に保存することができる。

【0059】

単一カメラが取得する映像上で球体に該当する部分のピクセルは、周辺のピクセルとはかなり区分される明るさ値を持っていることが分かった。

【0060】

ところが、映像上で周辺と区分されるピクセルのグループは具体だけでなく、例えばパッティングの場合パターに該当する部分もやはり周辺と区別される明るさ値を持つピクセルのグループとして現れることができ、使用者の足の部分なども同じだ。

【0061】

このように類似した特性を持つピクセルのグループであるオブジェクトが映像上に多数存在する場合、どのオブジェクトが球体に該当するオブジェクトなのかを検出しなければならない。

【0062】

球体の特性に合わせて映像上のピクセルに対する明るさ値（brightness）、丸い程度（roundness）、縦横比率（aspect ratio）などの条件をそれぞれ予め設定し、映像上に現れた様々なオブジェクトに対してそれぞれ前述した予め設定された条件に基づいてどのオブジェクトが球体に該当するオブジェクトかを検出することができる。図４に示すように、球体に該当するオブジェクトをＯＢで表示する。

【0063】

ところで、図４の（ａ）の映像に見られるように、オブジェクトＯＢはその輪郭が明確でなく完全な球体の形状でもないため、球体の平面位置座標を算出するためにはオブジェクトＯＢの正確な輪郭を検出することが必要である。

【0064】

図４の（ｂ）はオブジェクトＯＢを拡大して示したものだが、運動平面が底面側に位置するため、自然照明であれ、室内照明であれ、専用照明であれ、どんな照明下でも撮影された映像上のオブジェクトはほとんど上段境界部分がかなり正確に現れる。

【0065】

特に、球体の場合、図４の（ａ）と（ｂ）に示すように、オブジェクトＯＢの上端部分がかなり正確に映像上に現れるため、オブジェクトの上端境界Ｔｂの曲線部分を簡単に特定することができる。

【0066】

ところが、運動平面が床に位置するため、自然照明であれ人工照明であれ、その照明の下では球体の下端部に影が生じる。図４の（ｂ）の映像で見るように、オブジェクトＯＢの下部Ｓが影の影響でオブジェクトのピクセル明るさが部分的に暗くなり、オブジェクトＯＢ下段部分の境界がかなり曖昧で映像に見える明るいピクセル部分が実際の球体の輪郭と異なることが分かる。

【0067】

オブジェクトＯＢの下端境界を正確に検出するためにオブジェクトＯＢの上端境界Ｔｂの曲線を利用することができ、図４の（ｃ）はオブジェクトＯＢの上端境界Ｔｂの曲線を利用してその上端境界の曲率を持つ円ｆｃを形成することによってオブジェクトの輪郭を検出した結果を示している。

【0068】

まず、図４の（ｂ）に示すように、映像上のオブジェクトＯＢの上段境界Ｔｂの曲線はオブジェクトＯＢのピクセルの明るさ値を利用して検出することができるが、例えばオブジェクトのピクセル明るさ値のしきい値を予め設定しておいて、そのしきい値の境界に該当するピクセルを特定することで上段境界Ｔｂの曲線を検出することができる。

【0069】

前述したようにオブジェクトの上段境界Ｔｂの曲線を検出した後、図４の（ｃ）に示すように上段境界Ｔｂの曲線の曲率を持つ円ｆｃを算出することでオブジェクトＯＢの輪郭を特定することができる。

【0070】

図４の（ｃ）に示すように、上段境界Ｔｂの曲線の曲率を利用した円ｆｃを利用してオブジェクトＯＢの輪郭を検出することで、照明によってシェイディングされオブジェクトの下段部分のピクセルが消失することで不明になった下段部分の境界を明確に特定できる。

【0071】

前述したようにオブジェクトの輪郭からオブジェクトの上端境界Ｔｂの上端点ＴＰを検出し、その上端点ＴＰと対称であるオブジェクトの下端点ＢＰを検出することができる。

【0072】

先にオブジェクトの輪郭上の特徴点を利用して球体の平面位置座標を算出できると説明したことがあるが、前述した上段点ＴＰと下段点ＢＰがその特徴点として機能できる。

【0073】

前述したように、映像上で球体に該当するオブジェクトＯＢを検出した後、そのオブジェクトＯＢの上段境界Ｔｂを検出してその上端境界の曲線の曲率を利用して円を構成することでオブジェクトの輪郭を特定でき、それから特徴点である上段点ＴＰと下段点ＢＰを検出することができる。

【0074】

ところが、映像上で検出されるオブジェクトＯＢの形状が輪郭特定をしやすい円形の場合だけでなく、輪郭特定が難しい形状の場合もある。

【0075】

前述したようなオブジェクトの上段境界が望ましい曲線の形態を示さない場合、その曲率に基づいて構成した円が過度に大きく現れることもあり、小さく現れることもありうる。

【0076】

したがって、本発明は前述したようなオブジェクトの上端境界の曲線の曲率によって作られる円を利用するcircle fitting方式でオブジェクト輪郭上の特徴点（上段点と下段点）を検出する方法と共に、図４の（ｄ）に示したように検出図形ＤＲを利用して特徴点を検出する方法を並行して使用できる。

【0077】

図４の（ｄ）に示すように、オブジェクトＯＢの上段境界Ｔｂを検出し、上段境界Ｔｂ上の上端点ＴＰを検出し、予め定められた種類の図形、例えば長方形の検出図形ＤＲをオブジェクトＯＢの大きさと形状にマッチングするように生成してマッチングされた検出図形ＤＲの大きさｄを利用して上段点ＴＰを検出することができ、上段点から前述したサイズｄほど対称的な位置の下端点ＢＰを検出することもできる。

【0078】

前述した検出図形ＤＲは図形の種類が予め定められたものであるだけで、その形状と大きさはオブジェクトＯＢに合わせて回転または変形されて生成でき、図４の（ｄ）に示したように回転された形態の長方形で現れることができる。

【0079】

ここで、検出図形ＤＲがオブジェクトＯＢにマッチングされるということは、検出図形ＤＲの辺の長さを変形したり回転したりするなどの方法で検出図形ＤＲがオブジェクトＯＢを最も適切に含むようになった時を意味する。

【0080】

例えば、オブジェクトＯＢを含むように検出図形ＤＲを生成した時、検出図形ＤＲ内部の明るさ値の平均が最も大きい場合を前述した「検出図形ＤＲがオブジェクトＯＢにマッチング」された場合と判断できる。

【0081】

前述したようにマッチングされた検出図形ＤＲは、一方の辺の長さと他方の辺の長さが異なって現れることがあり、球体の移動方向に垂直な辺の長さをオブジェクトの直径ｄで決定することができ、オブジェクト上段境界の上端点ＴＰに対して前述した直径ｄだけ対応する位置の点を下端点ＢＰで検出できる。図４の（ｄ）は前述のような方式でオブジェクトの特徴点である上段点ＴＰと下段点ＢＰを検出したことの一例を示している。

【0082】

単一カメラが取得した映像上のオブジェクトを検出すると、円形の形だけで現れるのではなく、図５の（ａ）に示すように映像上の検出されたオブジェクトＯＢがかなりブラーリング（blurring）されて広がっている状態で現れる場合がある。

【0083】

このような場合に図５の（ｂ）に示したようにオブジェクトＯＢの上段境界Ｔｂを検出すれば、その曲率がかなり大きく現れるため、曲率によってcircle fittingする方法では正確なオブジェクトの輪郭を検出できない。

【0084】

したがって、このような場合に前述したような検出図形ＤＲを利用してオブジェクトの特徴点を検出する方式がより望ましい結果を出すことができる。

【0085】

図５の（ｂ）に示すように、オブジェクトＯＢの上段境界Ｔｂを検出し、例えば長方形の検出図形ＤＲをオブジェクトＯＢの大きさと形状にマッチングされるように生成することができる。

【0086】

この時、検出図形ＤＲは図形の種類が予め決まっているだけで、その大きさと回転した姿勢などはオブジェクトの状態に合わせて変形できるのが特徴だ。

【0087】

前述したマッチングされた検出図形ＤＲは長辺と短辺を持つ長方形図形だが、オブジェクトの広がり方向、すなわちゴルフボール移動方向に垂直な方向の大きさをオブジェクト輪郭の直径で判定することができる。

【0088】

これにより、図５の（ｂ）に示したオブジェクトＯＢにマッチングされた検出図形ＤＲの短辺のサイズｄがオブジェクトの直径である。

【0089】

したがって、図５の（ｃ）に示すように、オブジェクトの上端境界Ｔｂから上端点ＴＰを検出し、その上端点ＴＰからサイズｄだけの対称な位置の点を下端点ＢＰで検出することができる。

【0090】

図４の（ｂ）と（ｃ）に示すオブジェクト上段境界の曲率を利用したcircle fitting方法は、オブジェクトの輪郭を検出し、それから特徴点である上段点と下段点を検出する方法であり、図４の（ｄ）、図５の（ｂ）と（ｃ）に示す方法はオブジェクトの輪郭を検出する代わりに検出図形を利用してオブジェクトのサイズを算出し、これを利用して上段点と下段点の位置を検出する方法であるが、本発明の一実施例によるセンシング装置は、前述したような二つの方法を並行して使用することで、オブジェクトの特徴点を正確に検出することができる。

【0091】

前述したようにオブジェクトの上端点ＴＰと下端点ＢＰを検出し、これを利用して球体の中心点が基準面に垂直方向投影された点の座標、すなわち球体の平面位置座標を得ることができる。

【0092】

図６は、図２の（ｄ）に示すような単一カメラが眺める時刻の映像から特徴部i１１１～i１１４を認識し、平面上で移動する構体に対応するオブジェクトＯＢを検出し、そのオブジェクトの特徴点である上段点ＴＰと下段点ＢＰを検出したことを示している。

【0093】

前述したように検出された上段点ＴＰと下段点ＢＰを通過する線の方向が単一カメラの視線方向であり、下段点ＢＰは単一カメラの視線方向で単一カメラの位置に近い点の位置であり、上段点ＴＰは単一カメラの視線方向から単一カメラの位置から遠い点の位置だ。

【0094】

前述した基準面と単一カメラの位置関係に関する設定情報と、前述したオブジェクトの上段点と下段点の位置情報を利用すれば「球体の平面位置座標」、すなわち球体の中心点が基準面に垂直方向投影された点の位置座標を算出することができる。

【0095】

ここで、前述の「球体の中心点」は、図６に示すような単一カメラの取得映像上のオブジェクトの輪郭の中心点と全く異なり、オブジェクトの輪郭の中心点の座標からは前述した「球体の平面位置座標」を算出することができない。

【0096】

図６に示すような単一カメラの取得映像上で、オブジェクトの輪郭の中心点をＡとするとき、そのＡ点は実際の球体の中心点ではなく、実際の球体の中心点と大きな差がある異なる位置の点である。

【0097】

また、図６に示すようなオブジェクトＯＢの上段点ＴＰと下段点ＢＰは実際の球体上の点ではなく、単一カメラの位置から眺める視線方向の線がパッティングマットの基準面と出会う点の位置であるため、図６に示すようなオブジェクトの上端点ＴＰと下端点ＢＰは実空間上での球体上の上端の点と下段の点とは全く異なるものである。

【0098】

同様に、図６に示すオブジェクトＯＢの輪郭の中心点Ａは実際の平面上の構体の中心点ではないため、これを利用しては構体の平面位置座標を算出することができず、オブジェクトの上端点ＴＰと下端点ＢＰを用いて幾何学的計算により球体の平面位置座標を算出することができる。

【0099】

これについては、図７を参照して説明する。

【0100】

図７は、図６に示すようなオブジェクトの特徴点である上段点と下段点に基づいて、球体の中心点を基準面に垂直方向に投影した点の位置座標を算出することを示す。

【0101】

図７の（ａ）は実空間のx－y座標平面でオブジェクトの上段点ＴＰと下段点ＢＰを連結する単一カメラの視線方向に沿って切った断面を示し、図７の（ｂ）は実空間のx－y座標平面を示す。

【0102】

前述したように、単一カメラが映像を取得し、その取得された映像上の特徴部に該当する部分を認識することで、基準面と単一カメラの位置関係に関する設定情報を保存することができる。

【0103】

すなわち、本発明の一実施例によるセンシング装置のセンシング処理部は単一カメラの取得映像から特徴部を認識し、図７の（ａ）に示したように球体の運動平面に対する基準面ｓＰＬを認識して基準面ｓＰＬと単一カメラの位置Ｐ２００との幾何学的関係を設定することができる。

【0104】

前述したような基準面と単一カメラとの位置関係の設定によって、図７の（ａ）に示すように基準面ｓＰＬに対する単一カメラ位置Ｐ２００の高さＨを設定することができ、図７の（ｂ）に示すように単一カメラ位置Ｐ２００のｘ、ｙ座標情報も設定することができ、単一カメラ位置Ｐ２００に対して設定された高さ及び位置情報を利用して図７の（ａ）で示したように単一カメラ位置Ｐ２００から基準面ｓＰＬへの視線方向の角度情報も算出することができる。

【0105】

図６に示すオブジェクトＯＢの上段点ＴＰと下段点ＢＰは、図７の（ａ）と（ｂ）に示すように、実際の座標系で球体ＣＢの上段と下段を単一カメラの視線方向の線がそれぞれ通過して基準面ｓＰＬと出会う点（ＴＰ、ＢＰ）である。

【0106】

本発明のセンシング装置が算出しようとする「球体の平面位置座標」は、図７の（ａ）に示すように球体ＣＢの中心点Ｃが基準面ｓＰＬに垂直方向投影された点Ｐｃのx、y座標である。

【0107】

ところが、球体ＣＢの中心点Ｃの位置は分からないので、前述したような基準面ｓＰＬ上の上段点ＴＰと下段点ＢＰの位置の幾何学的関係を利用してＰｃ点の座標を算出することができる。

【0108】

図７の（ａ）に示すように、基準面ｓＰＬ上の下端点ＢＰは球体の中心点Ｃが基準面ｓＰＬで垂直方向投影された点Ｐｃと差があるが、その差を誤差Ｅ１とすることにする。

【0109】

同様に、図７の（ａ）に示すように、基準面ｓＰＬ上の上端点ＴＰは球体の中心点Ｃが基準面ｓＰＬに垂直方向に投影された点Ｐｃと差があるが、その差を誤差Ｅ２とすることとする。

【0110】

また、図７の（ａ）に示すように、基準面ｓＰＬと単一カメラ位置Ｐ２００との位置関係の設定情報を利用して原点Ｏから下段点ＢＰまでの距離Ｌ１と、原点Ｏから上段点ＴＰまでの距離Ｌ２を算出することができ、単一カメラ位置Ｐ２００の高さＨと距離Ｌ１から下段点ＢＰで基準面ｓＰＬと単一カメラの視線方向が成す角度ａを算出することができ、単一カメラ位置Ｐ２００の高さＨと距離Ｌ２から上段点ＴＰで基準面ｓＰＬと単一カメラの視線方向が成す角度ｂを算出することができる。

【0111】

図７の（ａ）に示すように、実際の球体の半径ｒはセンシング装置に予め設定されて知っている値であるため、基準面ｓＰＬ上の上段点ＴＰの位置及び角度と、基準面上の下段点ＢＰの位置及び角度と、実際の球体の半径ｒによる円を利用すると幾何学的計算により球体の中心点Ｃが基準面ｓＰＬに垂直方向に投影された点Ｐｃの位置座標を算出することができる。

【0112】

図７の（ａ）で、球体の中心Ｃが基準面ｓＰＬに垂直方向に投影された点Ｐｃと下端点ＢＰとの誤差であるＥ１は幾何学的演算によって算出でき、また点Ｐｃと上端点ＴＰとの誤差であるＥ２も幾何学的演算によって算出できる。すなわち、図７の（ａ）に示すように、球体の中心点Ｃと、下段点ＢＰと、点Ｐｃによる三角形に対してａ角度情報と球体の半径ｒを適用して三角関数によって誤差Ｅ１を算出することができる。

【0113】

また、図７の（ａ）に示したように、単一カメラ位置Ｐ２００と上段点ＴＰを連結した線と球体の中心点Ｃに垂直な線が出会う点ＶＰと、上段点ＴＰと、点Ｐｃによる三角形に対してｂ角度情報と球体の半径ｒを適用して三角関数によって誤差Ｅ２を算出することができる。

【0114】

図７の（ｂ）に示すように、基準面ｓＰＬのx－y座標平面上でＢＰ点の座標とＴＰ点の座標をすでに知っているため、そこから誤差Ｅ１または誤差Ｅ２だけ補正された位置である点Ｐｃのx、y座標情報を算出することができる。

【0115】

したがって、前述したようにオブジェクトの特徴点である上段点ＴＰと下段点ＢＰを検出すれば、これを利用して図７の（ａ）に示したような幾何学的演算により下段点からの誤差Ｅ１と上段点からの誤差Ｅ２を算出することができ、その誤差によって球体の中心点が基準面に垂直方向に投影された点の座標、すなわち球体の平面位置座標である点Ｐｃのx－y平面（基準面）上での座標を算出することができる。

【0116】

このような方法で単一カメラの取得映像のうち、分析対象であるすべてのフレームの映像から球体の平面位置座標をそれぞれ算出すれば、球体の平面移動による運動に関する情報を算出することができる。

【0117】

一方、図８のフローチャートを参照して本発明の一実施例によるパッティングマットを移動するゴルフボールの運動センシング方法について説明する。

【0118】

図３に示したフローチャートが球体の平面運動に関して単一カメラの取得映像を利用して球体の平面位置座標を算出するプロセスを表したものだったとすれば、図８に示したフローチャートは球体がゴルフボールである場合にそのゴルフボールが運動平面であるパッティングマット上を移動することによるゴルフボールの運動センシング方法に関するプロセスを示したものだ。

【0119】

したがって、図４から図７を通じて説明した映像上のオブジェクトの検出と、オブジェクトの輪郭検出と、球体の中心点が基準面に垂直方向に投影された点の座標を算出する方法は、図８を通じて説明するパッティングマット上でのゴルフボールの平面位置座標を算出する方法にも同様に適用できる。

【0120】

図８に示したフローチャートでは、図３に示したフローチャートによるセンシング方法よりも、より具体的でゴルフパッティングに特化したプロセスについて示す。

【0121】

図８に示すように、まず任意の位置で単一カメラによる映像が取得され（Ｓ２１０）、センシング処理部はその取得された映像からパッティングマット上の特徴部を認識して基準面と単一カメラの位置関係を設定する（Ｓ２２０）。

【0122】

図９の（ａ）は単一カメラによって取得された映像に対する二値化映像を示したものだが、パッティングマットの特徴部に該当するi１１１、i１１２、i１１３、i１１４を認識することで基準面と単一カメラの位置を認識して設定できる。

【0123】

前述したように基準面と単一カメラの位置を設定する過程で周辺照明によるオブジェクトの検出が効果的に行われるよう明るさ、明暗、ガンマなどの映像パラメータが自動調節できる。

【0124】

一方、図８に示すように、センシング処理部は基準面を設定した後、単一カメラの映像上にゴルフボール認識のための関心領域を設定する（Ｓ２３２）。

【0125】

図９の（ａ）では、ゴルフボールに該当するオブジェクトＯＢを含むように予め設定された大きさと形状の関心領域ＲＯＩを設定した場合について示している。図９の（ａ）に示すように、関心領域ＲＯＩ内にオブジェクトＯＢ、すなわちゴルフボールに該当すると判断されたオブジェクトＯＢが存在すると判断された場合（Ｓ２３４）打撃準備が完了したと判断し、「ボールレディ」状態となる（Ｓ２３６）。

【0126】

ボールレディ判定のための関心領域ＲＯＩは狭すぎるように設定すると、初期にゴルフボールを置く位置が限定されるため、使用者がパッティングマット上の任意の位置にゴルフボールを置いてパッティングができるように関心領域ＲＯＩは、図９の（ａ）に示すように、できるだけ広い領域を持つように設定して、使用者が希望する位置にゴルフボールを置いてパッティングできるようにすることが望ましい。

【0127】

ボールレディ状態になると、センシング処理部はゴルフボールが打撃されたかどうかを感知するためのトリガー感知領域ＴＲを設定する（Ｓ２３６）。トリガー感知領域ＴＲは、図９の（ｂ）に示すように、オブジェクトＯＢ内部に含まれる所定領域に設定することができる。

【0128】

図９の（ｂ）に示すように、オブジェクトＯＢ内部にトリガー感知領域ＴＲを設定し、そのトリガー感知領域ＴＲ内部の明るさ変化が予め設定された基準値を超えるか否かを判断する（Ｓ２４２）。

【0129】

図９の（ｂ）に示すように、オブジェクトＯＢ内部にトリガー感知領域ＴＲを設定し、そのトリガー感知領域ＴＲ内部の明るさを感知する過程で、ゴルフボールが微細に動く場合にはトリガー感知領域ＴＲ内部の明るさ変化が大きくないためトリガー判定のための次の段階に移らないが、もしゴルフボールが打撃されてゴルフボールが動くようになるとトリガー感知領域ＴＲ内部の明るさは大きく変化する。

【0130】

このようにトリガー感知領域ＴＲ内部の明るさが大きく変化して予め設定された基準値を超えると、一次的にゴルフボールが動いたと判断して第１トリガー信号を発生させることができる。

【0131】

例えば、トリガー感知領域ＴＲが生成される時、内部の明るさ値が１００といい、第１トリガー信号発生のための明るさ値変化の基準値を３０とする時、ゴルフボールが動きによって図９の（ｂ）に示したような状態でオブジェクトが移動し、それによってトリガー感知領域ＴＲ内部の明るさが１００から６０に落ちた場合、明るさ値が４０分変化し、これは基準値である３０を超過することから第１トリガー信号が発生する。

【0132】

一方、前述したように第１トリガー信号が発生すれば、センシング処理部は多数フレームの映像からそれぞれオブジェクトを検出してそのオブジェクトの移動量を算出し、その算出されたオブジェクトの移動量が予め設定された基準値を超過するか否かを判断する（Ｓ２４４）。

【0133】

実際にパッティングマットの上でゴルフボールが初期位置から動く場合は、使用者がゴルフボールを打撃する場合以外にも誤ってパターや足でゴルフボールをタッチするなどの場合がありうるので、ゴルフボールの移動量に対する基準値を予め設定して一定程度以上にゴルフボールが動いた場合にのみゴルフボールが打撃されたと判断できる。

【0134】

前述したような第１トリガー信号発生後にはオブジェクトを検出してどの程度移動したかを算出し、予め設定された基準値を超えるほどオブジェクトが移動したと判断する場合、センシング処理部はボールトリガーを発生させる（Ｓ２４６）。

【0135】

すなわち、センシング処理部はボールレディ（Ｓ２３６）後、トリガー感知領域内部の明るさ変化を感知して第１トリガーを発生させ、もう一度オブジェクトの移動量を感知してボールトリガーを発生させる、第１トリガーとボールトリガーの二重トリガー方式でゴルフボールの打撃有無を感知する。

【0136】

前述したようにボールトリガーが発生すれば、センシング処理部はボールトリガー時点前後の単一カメラの取得映像を読み込んで分析し、分析対象映像のフレームごとにゴルフボールに対応するオブジェクトを検出する（Ｓ２５０）。これは、図４で説明した球体に該当するオブジェクトの検出方法と同じ方法を使用することができる。

【0137】

前述したようにオブジェクトを検出した後、各検出されたオブジェクトの輪郭上の特徴点を検出するが、その特徴点の検出には前述したように二つの方法が利用できる。図４及び図５を通じて説明したように、オブジェクトの上段境界の曲線の曲率を利用したcircle fitting方式でオブジェクトの輪郭を計算し、その輪郭から上段点と下段点を検出することができ、検出図形を利用してオブジェクトの大きさ情報を算出し、これを利用して上段点と下段点を検出することができる。このようにオブジェクトの輪郭上の特徴点を算出した後、これを利用してゴルフボールの中心点が基準面に垂直方向に投影された点の位置座標をゴルフボールの平面位置座標として算出する（Ｓ２６０）。

【0138】

前述したゴルフボールの平面位置座標を算出する方法は、図７を通じて説明したように、オブジェクトの上端点と下端点から誤差Ｅ１またはＥ２を算出することで算出できる。

【0139】

分析対象となる映像フレームごとに前述したように算出されたゴルフボールの平面位置座標を算出すれば、その位置座標の変化を計算でき、そのゴルフボールの平面位置座標の変化からゴルフボールの移動特性に関する情報を算出することができる（Ｓ２７０）。

【0140】

ゴルフボールの移動特性に関する情報を算出した後、センシング処理部はクライアント（３００、図１参照）、例えばパッティングシミュレーション装置のシミュレーター、ゴルフ情報提供装置のコンピュータで前述したゴルフボールの移動特性情報を伝達して使用者に提供するようにすることができる。

【0141】

一方、前述したようにゴルフボールの移動特性に関する情報を算出した後、センシング処理部はもう一度特徴部を検査して基準面が初めて設定した状態でずれたか否かを検査することができる（Ｓ２８０）。もし基準面がずれていたら、Ｓ２２０段階に戻って基準面を再び設定し、基準面に変化がなければ既存設定された基準面を基にゴルフボールの移動に対するセンシングをする。

【0142】

以上のように本発明による平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法は、平面上を移動するスポーツ用球体を目的物体としてセンシングするにあたって、低価格型の単一カメラを利用して専用照明なしにもスポーツ用球体を検出できるだけでなく、空間認識が可能なのでカメラの設置位置が固定されていなければならない制約から抜け出し、簡単な構成で場所に大きくこだわらず使用でき、平面を移動する球体の正確な位置及び運動に関する情報を算出できる長所がある。

【産業上の利用可能性】

【0143】

本発明による平面移動球体の運動センシング装置及び方法と、パッティングマットを移動するゴルフボールの運動センシング装置及び方法は、平面を移動するスポーツ用球体に対するセンシングに基づく技術分野と、ゴルフスイングによるゴルフボールの動きに対する分析を基盤とするゴルフ分析に関する分野と、仮想ゴルフシミュレーションシステムに関する分野などで利用可能である。

【図1】

【図2(a)】

【図2(b)】

【図3】

【図4(a)】

【図4(b)】

【図4(c)】

【図4(d)】

【図5(a)】

【図5(b)】

【図5(c)】

【図6】

【図7(a)】

【図7(b)】

【図8】

【図9(a)】

【図9(b)】