特表 2024-525894 移動するボールのセンシングのため映像分析方法及びこれを利用したセンシング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-12

(54)【発明の名称】移動するボールのセンシングのため映像分析方法及びこれを利用したセンシング装置

(51)【国際特許分類】

   A63B 69/36 20060101AFI20240705BHJP

【ＦＩ】

A63B69/36 541W

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024503504

(86)(22)【出願日】2022-07-08

(85)【翻訳文提出日】2024-01-29

(86)【国際出願番号】 KR2022009932

(87)【国際公開番号】W WO2023003237

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】10-2021-0096145

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】315019182

【氏名又は名称】ゴルフゾン カンパニー リミテッド

【住所又は居所原語表記】７３５， ＹＥＯＮＧＤＯＮＧ－ＤＡＥＲＯ， ＧＡＮＧＮＡＭ－ＧＵ， ＳＥＯＵＬ， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】チャン、ソー ホ

(72)【発明者】

【氏名】リー、ミェオン ジン

(72)【発明者】

【氏名】コ、タエ スク

(57)【要約】

本発明は、ボールを利用するスポーツで移動するボールのセンシングのための映像の分析において、映像全体を分析せずに一部の領域である分析対象領域を設定してその設定された分析対象領域内でボールを検出し、その検出された情報に基づいてボールの移動に対する物理量を算出し、現在分析している映像上で検出されたボールの位置を基準に、次の分析する映像上にボールが現れる位置を含むように分析対象領域を設定する方式であり、取得された映像ごとに直前に設定された分析対象領域を現在の映像に適用して映像分析を進めることで映像処理の速度を大きく向上させるための、移動するボールのセンシングのための映像分析方法及びこれを利用したセンシング装置を提供する。

【特許請求の範囲】

【請求項1】

ボールが移動する空間に向かうカメラの画角で映像が取得される段階と、
前記取得した映像からボールの位置を検出する段階と、
前記検出されたボールの位置を基準に、次の映像上にボールが現れる位置を含むように分析対象領域を設定する段階と、
前記分析対象領域の設定に利用された映像の次の映像上で前記設定された分析対象領域内でボールの位置を検出する段階と、
を含む、ボールのセンシングのための映像分析方法。

【請求項2】

前記設定された分析対象領域内で検出されたボールの位置を基準に、次の映像上にボールが現れる位置を含むように新しい分析対象領域を設定する段階と、前記新しい分析対象領域の設定に利用された映像の次の映像上で前記新しい分析対象領域内でボールの位置を検出する段階をさらに含み、
現在の映像の分析対象領域内で検出されたボールの位置を基準に次の映像の分析対象領域を新たに設定する方式で、取得される映像ごとに以前に設定された分析対象領域内でのみボールのセンシングのための映像分析が進行されるようにする、請求項１に記載の映像分析方法。

【請求項3】

前記次の映像上にボールが現れる位置を含むように分析対象領域を設定する段階は、
前記検出されたボールの位置で、ボールが移動できる限界物理量としてあらかじめ設定された情報を利用してボールが移動可能な範囲の三次元領域を算出する段階と、
前記ボールが移動可能な範囲の三次元領域が前記カメラが眺める面に投影された部分を含む領域を前記分析対象領域として設定する段階を含む、請求項１に記載の映像分析方法。

【請求項4】

互いに連動したステレオスコープ方式の複数のカメラそれぞれによって映像が取得され、
前記次の映像上にボールが現れる位置を含むように分析対象領域を設定する段階は、
前記検出されたボールの位置で、ボールが移動できる限界物理量として予め設定された情報を利用してボールが移動可能な範囲の三次元領域を算出する段階と、
前記複数のカメラそれぞれが眺める面に前記ボールが移動可能な範囲の三次元領域がそれぞれ投影された部分を含むそれぞれの領域を前記複数のカメラのそれぞれによって取得された映像の分析対象領域として設定する段階を含む、請求項1に記載の映像分析方法。

【請求項5】

取得される映像ごとに移動するボールと前記カメラとの相対的な位置関係の変化に関する情報を反映して、前記ボールが移動可能な範囲の三次元領域を算出し、前記算出された三次元領域から前記分析対象領域を算出して設定する、請求項３または４に記載の映像分析方法。

【請求項6】

移動するボールと前記カメラとの相対的な位置関係の変化を予め計算し、どんな位置でも現在のボール位置と次の映像でのボール位置が全て含まれるようにする大きさの一定の三次元領域を予め設定し、取得される映像ごとにボールの位置を基準に前記一定の三次元領域から前記分析対象領域を算出して設定する、請求項３または４に記載の映像分析方法。

【請求項7】

前記ボールが移動できる限界物理量をボールを打撃するゴルフクラブの種類別に予め設定し、
前記ボールが移動可能な範囲の三次元領域を算出する段階は、
使用者がボールを打撃するゴルフクラブの種類を識別し、その識別されたゴルフクラブの種類による限界物理量を適用して前記ボールが移動可能な範囲の三次元領域を算出する、請求項３または４に記載の映像分析方法。

【請求項8】

打撃されて移動するボールに対する映像分析を通じてボールをセンシングするセンシング装置で、
ボールが移動する空間に向かう画角で映像を取得するカメラ装置と、
前記取得した映像からボールの位置を検出し、前記検出されたボールの位置を基準に次の映像上にボールが現れる位置を含むように分析対象領域を設定し、前記分析対象領域の設定に利用された映像の次の映像上で前記設定された分析対象領域内でボールの位置を検出する方式で、前記取得された映像ごとに設定された分析対象領域内でのみ前記ボールのセンシング用映像分析を行うセンシング処理装置と、
を含むセンシング装置。

【請求項9】

前記センシング処理装置は、
前記検出されたボールの位置で、ボールが移動できる限界物理量として予め設定された情報を利用してボールが移動可能な範囲の三次元領域を算出し、前記カメラ装置が眺める面に前記ボールが移動可能な範囲の三次元領域が投影された部分を含む領域を前記分析対象領域として設定するように構成される、請求項８に記載のセンシング装置。

【請求項10】

前記センシング処理装置は、
取得される映像ごとに移動するボールと前記カメラ装置との相対的な位置関係の変化に関する情報を反映して、前記ボールが移動可能な範囲の三次元領域が算出されるようにすることで、ボールの位置ごとに前記分析対象領域が新たに算出されて設定されるようにする、請求項９に記載のセンシング装置。

【請求項11】

前記センシング処理装置は、
移動するボールと前記カメラ装置との相対的な位置関係の変化を予め計算して前記カメラ装置の前記画角内のどの位置でも使用可能な大きさの領域を前記分析対象領域として予め設定し、分析の対象となる映像に対して一括的に前記予め設定した分析対象領域が適用されるようにする、請求項９に記載のセンシング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はボールを利用するスポーツ分野でプレーヤーによって打撃されて移動するボールをカメラを利用してセンシングするセンシング装置及びこれに利用されるカメラ映像の分析方法に関するものである。

【背景技術】

【0002】

最近、ゴルフや野球のようにフィールドで直接楽しむことが非常に制限的なスポーツに対する仮想シミュレーションシステムが登場し、広く大衆化されている。

【0003】

さらに、テニスとスカッシュとバドミントンのようにネットを挟んで両側のプレーヤーが互いにボールをやりとりする形式のネットスポーツに対する仮想スポーツシミュレーションシステムも登場し、使用者が多様なスポーツを大衆的文化空間で手軽に楽しめるようにする傾向が形成されている。

【0004】

このような仮想スポーツシミュレーションは、基本的にプレーヤーがボールを打撃しながらゲームが進行されるが、プレーヤーが打撃したボールに対する映像上でのシミュレーションのためには移動するボールを効果的にセンシングできるセンシング装置が必要だ。

【0005】

過去には赤外線センサーやレーザーセンサーのような光センシング方式を利用する場合が多かったが、このような光センシング方式は光を照射して受光する多数の光センサーが備えられる構造物をプレーヤーのプレー空間上に設置しなければならないため、プレーヤーのプレーを制限して現実感のあるプレーを具現するのに限界があり、プレー過程でセンサーの構造物が破損する場合が頻繁に発生する問題があり、何よりもセンシングの正確性が非常に低い問題点があった。

【0006】

このような光センシング方式の限界と問題点のため、最近は移動するボールに対するカメラ映像を取得し、その取得された映像の分析を通じて運動するボールのセンシング情報を算出するイメージセンシング方式のセンシング装置が広く利用されている。

【0007】

このようなイメージセンシング方式は映像を分析してセンシング情報を得るため、非常に正確なセンシング情報を得ることができる長所があるが、１秒当たり数十～数百フレームの映像一つ一つを映像処理しなければならないので、非常に高いデータ処理能力を持つカメラ装置とデータ処理装置を備えなければならないという問題点があった。

【0008】

これと関連した従来の技術として、韓国公開特許公報第１０－２０１８－００５４２７９号、韓国公開特許公報第１０－２０１９－００８５１５２号、米国登録特許公報ＵＳ７，４９７，７８０、米国登録特許公報ＵＳ７，３２４，６６３などの先行技術文献が公開されている。

【0009】

前述した先行技術は共通してカメラによって撮影されたボールが含まれた映像でボールが存在する周辺領域を関心領域（Rｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に指定し、その関心領域を中心に映像を分析する方法について開示している。

【0010】

しかし、前述したような先行技術は、関心領域を設定するためにボールが移動する位置を予測し、その予測位置を基準に周辺の所定領域を指定するが、ボールが移動する位置の予測のためにそれまでのボールの移動に対する物理量を計算し、その計算された物理量を利用してボールが移動する位置を予測するためのもう一つの複雑な演算をしなければならないなど、関心領域の設定のために複雑な過程が経なければならないという問題点があった。

【0011】

ところが、そのような複雑な過程を経て関心領域を設定しても、ボールが移動位置に対する予測のための演算が十分でなかったり、予測が間違っている場合、関心領域上でボールを検出できなくなる問題点も発生することになる。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】韓国公開特許公報第１０－２０１８－００５４２７９号

【特許文献2】韓国公開特許公報第１０－２０１９－００８５１５２号、

【特許文献3】米国登録特許公報第７４９７７８０号

【特許文献4】米国登録特許公報第７３２４６６３号

【発明の概要】

【発明が解決しようとする課題】

【0013】

本発明は、ボールを利用するスポーツで移動するボールのセンシングのための映像の分析において、映像全体を分析せずに一部の領域である分析対象領域を設定してその設定された分析対象領域内でボールを検出し、その検出された情報に基づいてボールの移動に対する物理量を算出し、現在分析している映像上で検出されたボールの位置を基準に、次の分析する映像上にボールが現れる位置を含むように分析対象領域を設定する方式であり、取得された映像ごとに直前に設定された分析対象領域を現在の映像に適用して映像分析を進めることで映像処理の速度を大きく向上させるための、移動するボールのセンシングのための映像分析方法及びこれを利用したセンシング装置を提供する。

【課題を解決するための手段】

【0014】

本発明の一実施例による移動するボールの ボールのセンシングのための映像分析方法 は、 ボールが移動する空間に向かうカメラの画角で映像が取得される段階と、前記取得した映像からボールの位置を検出する段階と、前記検出されたボールの位置を基準に、次の映像上にボールが現れる位置を含むように分析対象領域を設定する段階と、前記分析対象領域の設定に利用された映像の次の映像上で前記設定された分析対象領域内でボールの位置を検出する段階と、を含む。

【0015】

また、好ましくは、前記設定された分析対象領域内で検出されたボールの位置を基準に、次の映像上にボールが現れる位置を含むように新しい分析対象領域を設定する段階と、前記新しい分析対象領域の設定に利用された映像の次の映像上で前記新しい分析対象領域内でボールの位置を検出する段階をさらに含み、現在の映像の分析対象領域内で検出されたボールの位置を基準に次の映像の分析対象領域を新たに設定する方式で、取得される映像ごとに以前に設定された分析対象領域内でのみボールのセンシングのための映像分析が進行されるようにする。

【0016】

また、好ましくは、前記の次の映像上にボールが現れる位置を含むように分析対象領域を設定する段階は、前記検出されたボールの位置で、ボールが移動できる限界物理量としてあらかじめ設定された情報を利用してボールが移動可能な範囲の三次元領域を算出する段階と、前記ボールが移動可能な範囲の三次元領域が前記カメラが眺める面に投影された部分を含む領域を前記分析対象領域として設定する段階を含む。

【0017】

また、好ましくは、互いに連動したステレオスコープ方式の複数のカメラそれぞれによって映像が取得され、前記次の映像上にボールが現れる位置を含むように分析対象領域を設定する段階は、前記検出されたボールの位置で、ボールが移動できる限界物理量として予め設定された情報を利用してボールが移動可能な範囲の三次元領域を算出する段階と、前記複数のカメラそれぞれが眺める面に前記ボールが移動可能な範囲の三次元領域がそれぞれ投影された部分を含むそれぞれの領域を前記各カメラ映像の分析対象領域として設定する段階を含む。

【0018】

また、好ましくは、取得される映像ごとに移動するボールと前記カメラとの相対的な位置関係の変化に関する情報を反映して、前記ボールが移動可能な範囲の三次元領域を算出し、前記算出された三次元領域から前記分析対象領域を算出して設定する。

【0019】

また、好ましくは、移動するボールと前記カメラとの相対的な位置関係の変化を予め計算し、どんな位置でも現在のボール位置と次の映像でのボール位置が全て含まれるようにする大きさの一定の三次元領域を予め設定し、取得される映像ごとにボールの位置を基準に前記一定の三次元領域から前記分析対象領域を算出して設定する。

【0020】

また、好ましくは、前記ボールが移動できる限界物理量をボールを打撃するゴルフクラブの種類別に予め設定し、前記ボールが移動可能な範囲の三次元領域を算出する段階は、使用者がボールを打撃するゴルフクラブの種類を識別し、その識別されたゴルフクラブの種類による限界物理量を適用して前記ボールが移動可能な範囲の三次元領域を算出する。

【0021】

一方、本発明の一実施例によるセンシング装置は、打撃されて移動するボールに対する映像分析を通じてボールをセンシングするセンシング装置で、ボールが移動する空間に向かう画角で映像を取得するカメラ装置と、前記取得した映像からボールの位置を検出し、前記検出されたボールの位置を基準に次の映像上にボールが現れる位置を含むように分析対象領域を設定し、前記分析対象領域の設定に利用された映像の次の映像上で前記設定された分析対象領域内でボールの位置を検出する方式で、前記取得された映像ごとに設定された分析対象領域内でのみ前記ボールのセンシング用映像分析を行うセンシング処理装置と、を含む。

【0022】

また、好ましくは、前記センシング処理装置は、前記検出されたボールの位置で、ボールが移動できる限界物理量として予め設定された情報を利用してボールが移動可能な範囲の三次元領域を算出し、前記カメラ装置が眺める面に前記ボールが移動可能な範囲の三次元領域が投影された部分を含む領域を前記分析対象領域として設定するように構成される。

【0023】

また、好ましくは、前記センシング処理装置は、取得される映像ごとに移動するボールと前記カメラとの相対的な位置関係の変化に関する情報を反映して、前記ボールが移動可能な範囲の三次元領域が算出されるようにすることで、ボールの位置ごとに前記分析対象領域が新たに算出されて設定されるようにする。

【0024】

また、好ましくは、前記センシング処理装置は、移動するボールと前記カメラとの相対的な位置関係の変化を予め計算して前記カメラ画角内のどの位置でも使用可能な大きさの領域を前記分析対象領域として予め設定し、分析の対象となる映像に対して一括的に前記予め設定した分析対象領域が適用されるようにする。

【発明の効果】

【0025】

本発明による移動するボールのセンシングのための映像分析方法及びこれを利用したセンシング装置は、ボールを利用するスポーツで移動するボールのセンシングのための映像の分析において映像全体を分析せずに一部領域である分析対象領域を設定してその設定された分析対象領域内でボールを検出し、ボールの移動に対する物理量を算出し、現在分析している映像上で検出されたボールの位置を基準に、次に分析する映像上にボールが現れる位置を含むように分析対象領域を設定する方式で、取得される映像ごとに直前に設定された分析対象領域を現在の映像に適用して映像分析を進めることで映像処理の速度を大きく向上させることができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施例による移動するボールのセンシング装置の構成を示したブロック図。

【図2】本発明の一実施例によるセンシング装置のセンシング方法を示したフローチャート。

【図3】図２に示したフローチャートで、本発明の一実施例による映像分析方法をより具体的に示したフローチャート。

【図4】本発明の一実施例による移動するボールのセンシングのための映像分析方法によってボール位置を基準にボールが移動できる限界物理量を利用してボールが移動可能な範囲の3次元領域を導き出したもの、そしてこれを各カメラが眺める面に投影して分析対象領域を算出することについて示した図面。

【図5】本発明の一実施例による映像分析方法で、分析対象領域を利用してボールを検出する過程の例を示した図面。

【図6】図５と共に本発明の一実施例による映像分析方法で分析対象領域を利用してボールを検出する過程の例を示した図面。

【図7】ボールが移動する際のボールとカメラとの距離関係の変化を示した図面。

【発明を実施するための形態】

【0027】

本発明による移動するボールのセンシングのための映像分析方法及びこれを利用したセンシング装置に関する具体的な内容を図面を参照して詳細に説明する。

【0028】

まず、図１を参照して本発明の一実施例による移動するボールのセンシング装置に関する構成について説明する。図１は、本発明の一実施例による移動するボールのセンシング装置の構成を示したブロック図である。

【0029】

本発明によるセンシング装置とこれに利用される映像分析方法は、シングルカメラであれ、複数のカメラを互いに連動してステレオスコピック方式で構成したカメラ装置であれ、カメラによってボールが移動することを撮影した映像を分析して実際の空間上でのボールの位置座標情報を算出し、それに基づいてボールの移動に関する様々な物理量、例えばボールの速度と、ボールの方向角と、ボールのスピンなどの情報を算出できるようにし、ボールを利用したスポーツ、例えばゴルフ、野球、スカッシュ、ボウリングなどに全て適用できる。

【0030】

本明細書では前述したようなボールを利用した様々なスポーツの中でゴルフ分野で利用されるセンシング装置を一例として説明するが、これに適用される技術の内容は他のスポーツにも同様に適用可能であることはもちろんだ。

【0031】

図１はいわゆるスクリーンゴルフで使用者が打席でゴルフマットＧＭにボールＧＢを乗せてゴルフクラブＧＣでボールＧＢを打撃する時、これをセンシングするセンシング装置の構成をブロック図で表したものである。

【0032】

図１に示すように、本発明の一実施例によるボールのセンシングのためのセンシング装置は、使用者がゴルフクラブＧＣにボールＧＢを打撃することによって移動するボールに対して撮影を行い、その撮影された映像を分析することによって、空間上で移動するボールの三次元座標情報と、その三次元座標情報に基づいてボールの初期速度、方向角、高さ角などの運動特性に関する情報を算出する装置であることができる。

【0033】

前術のセンシング装置は、使用者のゴルフスイングによるボールの打球分析や仮想現実基盤のシミュレーションを利用した仮想ゴルフなど多様な分野に適用できる。

【0034】

このような本発明の一実施例によるセンシング装置は、図１に示すようにカメラ装置１００及びセンシング処理部２００を含んで構成されることができる。

【0035】

前述のカメラ装置１００は、移動するゴルフボールを眺める画角に連続してイメージを取得するように構成されるが、移動するゴルフボールに対する三次元空間上での位置情報を算出するためには、前述のカメラ装置１００が異なる視野角で同一の対象に対してそれぞれ映像を取得する複数のカメラ、例えば図1に示すように第１カメラ１１０と第２カメラ１２０が互いに同期化されてステレオスコープ方式で構成されることが望ましい。

【0036】

前述したようにセンシング装置のカメラ装置を複数のカメラ１１０、１２０が互いに同期化されたステレオスコープ方式で構成することで、同じオブジェクト（ボール）に対して第１カメラ１１０を通じて取得した映像と第２カメラ１２０を通じて取得した映像それぞれから抽出した該当ゴルフボールの二次元情報を三次元情報に変換することができる。

【0037】

センシング処理部２００は、図１に示すように、複数のカメラ１１０、１２０それぞれから映像を収集する映像受信部２１０と、映像受信部２１０が収集した映像に対して必要な映像処理を行って映像からボールを検出する映像処理部２２０と、各映像から検出されたボールの二次元位置情報から三次元位置情報を算出するなど、センシングのための各種演算を担当する演算部２３０とを含むことができる。

【0038】

前述したように、本発明の一実施例によるセンシング装置のセンシング処理部２００は、各カメラ１１０、１２０を通じて収集されたそれぞれの映像から運動するボールを検出し、当該ボールの位置情報を算出してクライアント３００に伝送し、クライアント３００が送信されたボールの位置情報を利用して新しい情報を算出したり、分析情報を算出するなどのクライアント３００固有の機能を遂行できるようにする。

【0039】

例えば、クライアント３００をスクリーンゴルフシステムに利用されるシミュレーターとして具現する場合、センシング処理部２００からゴルフボールとゴルフクラブの位置情報を伝送され、これを利用して仮想のゴルフコース上で仮想のゴルフボールが飛行する軌跡のシミュレーション映像を具現することができる。

【0040】

また、前術のクライアント３００をゴルフスイング分析装置として具現する場合、センシング処理部２００からゴルフボールとゴルフクラブの位置情報を伝送され、これを利用して使用者のゴルフスイングに対する分析情報、スイングの問題点診断及びこれを解決するためのレッスン情報などを提供するように具現することができる。

【0041】

前述した映像処理部２２０はカメラ１１０、１２０によって連続して取得される映像それぞれに対する基準イメージの次演算イメージを抽出するために映像処理を行うように構成され、演算部２３０は映像処理部によって処理された映像から運動するボールの位置情報を算出するように構成されることができる。

【0042】

取得された映像から運動するボールを抽出する方法として、前述したような次演算イメージを利用する方法の他にも、ボールに対するテンプレートイメージを予め準備しておき、それぞれの取得された映像上でボールに対するテンプレートイメージとの類似度を通じてゴルフボールに該当する部分を抽出する方法が利用されることもありうる。

【0043】

一方、前述したように、本発明の一実施例によるセンシング装置のカメラ装置１００は、ボールが移動する空間に向かう画角で映像を取得するように構成されており、センシング処理部２００は、取得した映像からボールの位置を検出し、検出されたボールの位置に基づいて、次の映像上にボールが現れる位置を含むように分析対象領域を設定し、その分析対象領域の設定に利用された映像の次の映像上で前述した設定された分析対象領域の内でボールの位置を検出する方式で、取得される映像ごとに設定された分析対象領域の内でのみボールのセンシングのための映像分析を進めるように構成できる。

【0044】

前述したようにセンシング処理部２００がカメラ装置によって取得される映像を分析するにあたって、取得された映像全体を分析せずに全体映像の一部領域に該当する分析対象領域だけを分析してボールの位置情報を算出するため、データ処理速度が大きく向上することができる。

【0045】

一方、図２及び図３を参照して、本発明の一実施例による移動するボールのセンシングのための映像分析方法について説明する。

【0046】

図２は本発明の一実施例によるセンシング装置のセンシング方法を示したフローチャートであり、図３は図２に示したフローチャートで本発明の一実施例による映像分析方法をより具体的に示したフローチャートである。

【0047】

図２に示すように、センシング装置が動作するにつれてカメラ装置がボールが移動する空間に向かう画角で映像を取得する（Ｓ１００）。

【0048】

センシング処理部は取得された映像上の特定領域を分析して（Ｓ１１０）、ボールの位置を検出することができる（Ｓ１２０）。

【0049】

例えば、ゴルフの場合、ゴルフボールは常にゴルフマットのような決まった位置で打撃が行われるため、ゴルフマットの位置情報を予め設定しておけば、そのゴルフマットを含む映像を入手した時、その映像上でゴルフマットの位置を特定することができ、その特定されたゴルフマットの位置を含む領域を調査することによって初期のボール位置を簡単に検出することができる。野球のような他のスポーツも同様の方法でボールの初期位置を簡単に検出することができる。

【0050】

一方、ボールの位置を検出することによってセンシング装置はボールに対するセンシング準備状態にあるようになり（Ｓ１３０）、ボールが置かれた位置を持続的に取得される映像を通じて感知することでボールが打撃されて移動するか否かをセンシングすることができる。

【0051】

ボールに対する感知結果、ボール移動が発生すれば（Ｓ１４０）、即ちボールが打撃されて動き始めれば、センシング処理部は前述したボール移動発生時点を特定でき、その時点を基準にそれ以前に取得された映像とその後に取得された映像を分析対象の映像として収集することができる（Ｓ１５０）。

【0052】

例えば、ボール移動発生時点以前と以後の映像からゴルフクラブがどのように動くかを分析でき、ボール移動発生時点とその後の映像からボールがどのように動くかを分析することができる。

【0053】

一方、センシング処理部は前述したように収集された各映像に対して分析対象領域を設定し、各映像の分析対象領域内でボール位置を検出し、その検出されたボールの位置座標情報を算出することができる（Ｓ２００）。

【0054】

センシング処理部は前述したように算出されたボールの位置座標情報を利用して移動するボールに対する各種物理量を算出することができ（Ｓ３１０）、これをクライアントに伝達してクライアントがその固有の機能を具現するようにすることができる（Ｓ３２０）。

【0055】

ここで、本発明の一実施例によるセンシング装置は、前述のＳ２００段階で収集された映像それぞれに対して映像全体を分析せずに、その一部領域である分析対象領域を分析することによって、速い映像処理が可能になるようにすることができるが、これに対する具体的な過程は図３に示している。

【0056】

図３に示すように、センシング処理部は、先にＳ１２０段階で検出されたボールの位置でボールの限界物理量、即ちボールが移動できる限界に関する情報を利用して「ボールが移動可能な範囲の三次元領域」を算出することができる（Ｓ２１０）。

【0057】

前述したように算出された「ボールが移動可能な範囲の三次元領域」は、各カメラが眺める面に投影(projection)され、各カメラでは前述の投影部分を含む二次元領域を次の映像（即ち、現在分析している映像の分析後、次に分析する映像）の分析対象領域として設定することができる（Ｓ２２０）。

【0058】

センシング処理部は、前述した過程で分析された映像の次の映像を入手し、その映像上の先に設定された分析対象領域内でボールがあるか探索することができる（Ｓ２３０）。即ち、映像全体を探索するのではなく、先に設定された分析対象領域内でのみボールを探索するため、データの処理速度がかなり向上することができる。

【0059】

分析対象領域内でボールを検出する場合（Ｓ２４０）、センシング処理部はその検出されたボールの位置座標情報を算出することができる（Ｓ２５０）。即ち、各カメラがそれぞれの映像でそれぞれの分析対象領域を分析した結果、検出されたボールの位置座標(二次元座標)を利用して実際の空間(三次元空間)上での位置座標情報に変換して算出することができる。

【0060】

このような方式でセンシングが終了（Ｓ２６０）するまでＳ２１０段階～Ｓ２５０段階の過程を繰り返しながら、以前の映像の分析時にボール位置を基準に算出して設定した分析対象領域を現在の映像分析時に適用して現在の映像で以前に設定された分析対象領域だけを分析してボールの位置座標情報を算出できるようにすることでデータの処理速度を大きく向上させることができる。

【0061】

もし、分析対象領域内でボールを探索したがボールが検出されなかった場合には（Ｓ２４０）、「ボールが移動可能な範囲の三次元領域」の範囲を調整して（Ｓ２７０）再び算出し、これを基盤に再び分析対象領域を算出して設定することができる。

【0062】

このように、本発明はボール移動に関する映像を分析するにあたって、以前の映像の分析時、ボール位置を基準にボールが移動できる限界物理量を利用して導出した「ボールが移動可能な範囲の三次元領域」を二次元領域に投影し、これに基づいて設定された分析対象領域を現在の分析映像に適用して現在の分析映像で以前に設定された分析対象領域だけを分析すれば良いようにすることで処理速度を向上させるようにしたものである。

【0063】

前述したような「分析対象領域」の算出及び設定についてのより具体的な内容を図４から図７を参照して説明する。

【0064】

図４は本発明の一実施例による移動するボールのセンシングのための映像分析方法によってボール位置を基準にボールが移動できる限界物理量を利用してボールが移動可能な範囲の三次元領域を導き出したもの、そしてこれを各カメラが眺める面に投影して分析対象領域を算出することについて示した図面である。

【0065】

図４に示すように、現在の映像で分析されたボールＧＢの位置Ｐo、即ち三次元空間上での位置を基準にボールが移動できる限界物理量を利用してボールが移動可能な範囲の三次元領域ＲＤを導き出すことができる。

【0066】

前述した「ボールが移動可能な範囲の三次元領域ＲＤ」は現在の映像上のボール位置から次の映像上のボール位置を全て含む範囲の三次元領域に算出された領域だ。

【0067】

このような三次元領域はボールの限界物理量を利用して算出できるが、例えば人間が出せるスポーツ用ボールの最大速度とカメラの撮影速度を利用して前述した限界物理量を算出できる。

【0068】

例えば、ゴルフの場合、ギネスブックに記録された人間が出せる最大ボールの速度が９７ｍ／s だが、これを１００ｍ／s とし、カメラの撮影速度が1秒に５００枚を撮影するイメージセンサーという場合、カメラ映像1フレームの間でボールが移動可能な距離は０．２ｍになる。直前の映像上のボール位置を基準に半径０．２ｍの球体の中に次の映像上のボールが存在するしかない。

【0069】

前述したようなボール位置を基準にした球体はセンシング装置が利用されるスポーツの特性を反映して効果的に制限されることができる。

【0070】

例えば、ゴルフの場合、ボールが飛ぶ方向が一定であるため、球体の後ろ半球部分は除外することができ、ゴルフの場合、ショットによってボールが所定の発射角を持って上に上昇するため、球体の赤道の下側は考慮する必要がないため、これも除外することができる(もちろん、ティーショットのようにティー（Ｔee）上でボールが少し下に向かって進行できる場合には、前述した球体の赤道下に所定角度範囲に該当する部分までは含めることができる)。

【0071】

このような方式で前述したようなボール位置を基準とした球体は、明確に次の映像上でのボールが存在せざるを得ない領域に制限することで、前述の「ボールが移動可能な範囲の三次元領域ＲＤ」として導出でき、図４に示すＲＤが指す部分が、まさに前述の「ボールが移動可能な範囲の三次元領域」の一例である。 図４に示したボールが移動可能な範囲の三次元領域ＲＤは、ボールの位置Ｐoを基準に球体のおよそ１／４に当たる三次元領域として算出された例を示す。

【0072】

このように空間上で「ボールが移動可能な範囲の三次元領域ＲＤ」が算出されれば、その三次元領域ＲＤを各カメラ１１０、１２０が眺める面（Ａ１、Ａ２）上にそれぞれ投影(projection)して二次元の投影部分（ｐｒ１、ｐｒ２）をそれぞれ算出することができる。

【0073】

前述した二次元の投影部分（ｐｒ１、ｐｒ２）を含む二次元領域を、図４に示すように各カメラに対する分析対象領域（Ｒa１、Ｒa２）として設定することができ、次の映像を分析する時、前述の分析対象領域（Ｒa１、Ｒa２）を適用してその領域内で探索すればボールを検出することができる。

【0074】

前述したような方式で分析対象領域を利用してボールを検出する過程の例を図５及び図６を参照して説明する。

【0075】

図５の(a)から(d)は、本発明の一実施例によるセンシング装置のセンシング処理部が分析する映像として、ｆｒ１～ｆｒ４を含む映像を入手し、これらの映像をそれぞれ分析する過程を示した図面であり、図６は図５に示した分析過程で分析対象領域の設定のためのボールが移動可能な三次元領域の算出について説明するためである。図５の(a)から(d)は複数のカメラのうち一つのカメラによって取得された映像を示したものである。

【0076】

図５の(a)はセンシング処理部によって処理される映像で、ボールがゴルフマットに置かれた状態でカメラによって取得された映像（ｆｒ１）であるが、初期には映像にボールを探すために特定の関心領域を探索することができる。

【0077】

即ち、ゴルフにおいてボールは常にゴルフマットの上から出発するため、ゴルフマットの位置座標を予め保存しておいて映像が取得されれば映像上で予め保存しておいたゴルフマットの位置を基礎とした関心領域内でボールを探索することによってボールを検出することができる。

【0078】

図５の(a)を見ると、ゴルフマットに該当する部分ｇｍはその位置情報を予め知っている部分なので、これを基礎として所定大きさの関心領域Ｒｍを設定しておいて、その関心領域Ｒｍでボールｂ１を探すことができる。

【0079】

このように見つけた映像上のボールｂ１は三次元空間での座標情報で算出でき、図６に示すように三次元空間上に存在する。 即ち、図５の(a)で見つけた映像上のボールｂ１は、図６に示すように、三次元空間上のボールＢ１に対応する。

【0080】

図６に示した三次元空間で、前述したようなボールが移動できる限界物理量を適用してＢ１ボールの位置を基準とするボールが移動可能な範囲の三次元領域ＲＤ１を算出することができ、その三次元領域ＲＤ１を各カメラ１１０、１２０が眺める面に投影して図５の(a)に示したような分析対象領域R1を算出することができる。

【0081】

図５の(a)に示したＲ１領域は、Ｂ１ボールの位置を基準とするボールが移動可能な範囲の三次元領域ＲＤ１の投影された部分に基づいて算出されたものであり、次の映像の分析対象領域として設定できる。

【0082】

図５の(b)は前述のｆｒ１映像の次の映像ｆｒ２を示したものであるが、先に設定された分析対象領域R1を適用して、センシング処理部はｆｒ２映像を分析する時、分析対象領域Ｒ１領域内部を探索することによってボールｂ２を検出することができ、その分析対象領域Ｒ１以外の残りの領域は映像処理またはデータ処理をしない領域ＮＲである。

【0083】

ここで、ｐｂ１は前の映像ｆｒ１で検出されたボールの位置であるが、ｆｒ１映像で分析対象領域Ｒ１を算出すれば、基準となったボールの位置ｐｂ１と次の映像で検出されるボールの位置が分析対象領域内に全て存在することになる。

【0084】

センシング処理部は、図５の(b)に示したように、ｆｒ２映像上の分析対象領域Ｒ１内部を探索してボールｂ２を検出することができ、その検出されたボールｂ２の位置座標は図６に示した三次元空間上のＢ２ボールの位置に対応する。

【0085】

図６に示すように、Ｂ２ボールの位置が前のボールが移動可能な範囲の三次元領域ＲＤ１の範囲内部にあり、同様の方式でＢ２ボールの位置を基準にボールが移動可能な範囲の三次元領域ＲＤ２を算出することができる。

【0086】

前述したボールが移動可能な範囲の三次元領域ＲＤ２を各カメラ１１０、１２０が眺める面に投影して、図５の(b)に示したような分析対象領域Ｒ２を算出することができる。

【0087】

図５の(b)に示したＲ２領域は、Ｂ２ボールの位置を基準とするボールが移動可能な範囲の三次元領域ＲＤ２の投影された部分に基づいて算出されたものであり、次の映像の分析対象領域として設定できる。

【0088】

図５の(c)は前述のｆｒ２映像の次の映像ｆｒ３を示したものであるが、先に設定された分析対象領域Ｒ２を適用してセンシング処理部はｆｒ３映像を分析する時、分析対象領域Ｒ２領域内部を探索することによってボールｂ３を検出することができ、その分析対象領域Ｒ２以外の残りの領域は映像処理またはデータ処理をしない領域ＮＲである。

【0089】

ここで、ｐｂ２は前の映像ｆｒ２で検出されたボールの位置だが、ｆｒ２映像で分析対象領域Ｒ２を算出すれば、基準となったボールの位置ｐｂ２と次の映像で検出されるボールの位置が分析対象領域内に全て存在することになる。

【0090】

センシング処理部は、図５の(c)に示したように、ｆｒ３映像上の分析対象領域Ｒ２内部を探索してボールｂ３を検出することができ、その検出されたボールｂ３の位置座標は、図６に示した三次元空間上のＢ３ボールの位置に対応する。

【0091】

図６に示すように、Ｂ３ボール位置が前のボールが移動可能な範囲の三次元領域ＲＤ２の範囲内部にあり、同様の方式でＢ３ボール位置を基準にボールが移動可能な範囲の三次元領域ＲＤ３を算出することができる。

【0092】

前述したボールが移動可能な範囲の三次元領域ＲＤ３を各カメラ１１０、１２０が眺める面に投影して、図５の(c)に示したような分析対象領域Ｒ３を算出することができる。

【0093】

図５の(c)に示したＲ３領域は、Ｂ３ボールの位置を基準とするボールが移動可能な範囲の三次元領域ＲＤ３の投影された部分に基づいて算出されたものであり、次の映像の分析対象領域として設定できる。

【0094】

図５の(d)は前述のｆｒ３映像の次の映像ｆｒ４を示したものであるが、先に設定された分析対象領域Ｒ３を適用してセンシング処理部はｆｒ４映像を分析する時、分析対象領域Ｒ３領域内部を探索することによってボールｂ４を検出することができ、その分析対象領域Ｒ３以外の残りの領域は映像処理またはデータ処理をしない領域ＮＲである。

【0095】

ここで、ｐｂ３は前の映像ｆｒ３で検出されたボールの位置であるが、ｆｒ３映像で分析対象領域Ｒ３を算出すれば、基準となったボールの位置ｐｂ３と次の映像で検出されるボールの位置が分析対象領域内に全て存在することになる。

【0096】

センシング処理部は、図５の(d)に示したように、ｆｒ４映像上の分析対象領域Ｒ３内部を探索してボールｂ４を検出することができ、その検出されたボールｂ４の位置座標もやはり三次元空間上でのボール位置座標で算出できる。

【0097】

このような方式で映像上で以前の映像で設定された分析対象領域を利用してｂ２、ｂ３、ｂ４などのボール位置を各カメラの映像から検出し、これを利用して三次元空間上でのボールの位置座標情報を早く算出することができる。

【0098】

ここで、前述したような分析対象領域は、毎映像ごとに新しい条件で新たに算出され設定されることもでき（流動的適用）、分析されるすべての映像に対して一定の大きさの分析対象領域を適用することもできる（一括適用）。

【0099】

前述した「流動的適用」の場合、実際の空間上のボールが移動する時、ボールとカメラ間の距離関係を反映して毎映像ごとに新たに分析対象領域を設定して適用することができる。

【0100】

図７はボールが移動する時、カメラ１１０との距離関係を説明するための図面であるが、図７に示したようにボールがＢ１位置からＢ８位置に移動する時、ボールを感知するカメラ１１０との距離が引き続き変化することになる。

【0101】

図７に示すように、Ｂ１位置からＢ８位置それぞれでのカメラ１１０との距離はそれぞれｄ１からｄ８になるが、そのｄ１からｄ８それぞれの距離は互いに変わることが分かる。

【0102】

カメラとボールの間の距離が近づくほどカメラ取得映像上にボールの大きさがますます大きく現れ、フレームとフレームの間でボールとボールの間の距離はますます遠くなり、カメラとボールの間の距離が遠くなるほどカメラ取得映像上にボールの大きさがますます小さくなり、フレームとフレームの間でボールとボールとの距離はますます近くなる。

【0103】

したがって、毎映像ごとに同じ「ボール移動の限界物理量」を適用してもボール移動時のカメラとボール間の距離関係を考慮すれば、毎映像ごとに分析対象領域の大きさは変わるしかない。

【0104】

これにより、本発明の一実施例によるセンシング装置のセンシング処理部は、取得される映像ごとに移動するボールとカメラとの相対的な位置関係の変化に関する情報を反映してボールが移動可能な範囲の三次元領域を算出し、その算出された三次元領域から分析対象領域を算出して設定することで、映像ごとに異なる大きさの分析対象領域を適用することができる。

【0105】

一方、前述した「一括適用」の場合、実際の空間上のボールが移動する時、ボールとカメラ間の距離変化を予め計算しておき、それによってボールがどの位置にあっても一括的に適用できる一定の大きさの分析対象領域を予め定義しておき、これを毎映像ごとに一括的に適用する。

【0106】

この時、毎映像ごとに検出されるボールの位置を一括適用分析対象領域上に相対的に同じ位置に置き、分析対象領域を毎映像ごとに適用することで、図５に示したように分析対象領域内で常にボールが検出されるようにすることができる。

【0107】

即ち、本発明の一実施例によるセンシング装置のセンシング処理部は、移動するボールとカメラとの相対的な位置関係の変化を予め計算し、どの位置においても現在のボール位置と次の映像でのボール位置の両方を含むように（三次元領域に現在の「ボール」と次の映像での「ボール」を含むものではなく、現在の「ボール位置」と次の映像での「ボール位置」がすべて含まれる大きさまたは形状を持つ三次元領域という意味）する大きさの一定の三次元領域を予め設定し、取得される映像ごとにボール位置を基準に前述したような一定の予め次元領域から分析対象領域を算出して設定することができる。

【0108】

一方、前述したように分析対象領域は以前の映像のボール位置を基準にしたボールが移動可能な範囲の三次元領域から算出され、これはボールが移動できる限界物理量に基づいて算出されるが、この時の限界物理量はスポーツの種類ごとに異なることがある。

【0109】

例えば、ゴルフにおいてゴルフクラブに打撃されたゴルフボールの最大速度と野球における野球ボールの最大速度は異なり、テニスにおけるボールの最大速度も異なる。

【0110】

すなわち、スポーツごとに人間が具現できるボールの最大速度が異なるため、前述したボールの限界物理量もスポーツの種類ごとに定義されて使用できる。

【0111】

また、ゴルフにおいてもゴルフクラブの種類別に出せるボールの最大速度が異なるため、ゴルフクラブ別に前述したようなボールの限界物理量を異なるように定義してボールが移動可能な範囲の三次元領域と分析対象領域を算出することができる。

【0112】

即ち、ボールが移動できる限界物理量をボールを打撃するゴルフクラブの種類別に予め設定することができ、センシング装置が使用者がボールを打撃するゴルフクラブの種類を識別してその識別されたゴルフクラブの種類による限界物理量を適用して前述したようなボールが移動可能な範囲の三次元領域を算出し、それによって分析対象領域を算出することによってゴルフクラブ別に分析対象領域の基礎となる限界物理量を異なるように適用することができる。

【0113】

また、ゴルフクラブの種類別に打撃されたボールの発射角範囲が異なるため、ゴルフクラブの種類別に発射角範囲を異なるように選定し、前述したゴルフクラブによる限界物理量の定義に反映して三次元領域と分析対象領域を算出することができる。

【0114】

ゴルフクラブ別ボールの発射角に関するデータは、一般的に知られているゴルフクラブ別発射角に基づいて任意に設定することも可能であり、仮想ゴルフシミュレーション装置やゴルフ練習装置またはゴルフ分析装置などを通じて使用者のショットデータの累積された記録データから、ゴルフクラブ別最大発射角範囲を選定したり、ゴルフクラブ別平均発射角範囲を算出して前述した限界物理量算定に利用することもできる。

【0115】

以上説明したように、本発明による「移動するボールのセンシングのための映像分析方法及びこれを利用したセンシング装置」は、ボールを利用するスポーツで移動するボールのセンシングのための映像の分析において映像全体を分析せずに一部領域である分析対象領域を設定してその設定された分析対象領域内でボールを検出し、ボールの移動に対する物理量を算出し、現在分析している映像上で検出されたボールの位置を基準に、次に分析する映像上にボールが現れる位置を含むように分析対象領域を設定する方式で、取得される映像ごとに直前に設定された分析対象領域を現在の映像に適用して映像分析を進めることで映像処理の速度を大きく向上させることができる。

【産業上の利用可能性】

【0116】

本発明による移動するボールのセンシングのための映像分析方法及びこれを利用したセンシング装置は、ゴルフのようにボールを利用して行う球技スポーツと関連した産業分野及び仮想のゴルフシミュレーションを基盤にゴルフプレイを楽しめる、いわゆるスクリーンゴルフのように使用者が仮想の環境で球技スポーツを練習したり楽しめるようにする仮想シミュレーションシステムなどの産業分野に利用できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】