(58)【調査した分野】(Int.Cl.,DB名)
前記第1撮影ユニットは、ゴルフスイングする使用者の側面を撮影する第1カメラと前記ゴルフスイングする使用者の正面を撮影する第2カメラの少なくとも一つを含んでなり、前記第2撮影ユニットは、目標地点を含む領域を撮影する第3カメラと前記第3カメラとは違う視角で前記目標地点を含む領域を撮影する第4カメラの少なくとも一つを含んでなる、請求項1に記載のゴルフ映像情報自動生成システム。
【発明を実施するための形態】
【0031】
本発明によるゴルフ映像情報自動生成システム及びゴルフ映像情報自動生成方法について図面に基づいてより具体的に説明する。
【0032】
まず、
図1及び
図2を参照して本発明の一実施例によるゴルフ映像情報自動生成システムについて説明する。
【0033】
図1及び
図2に示したように、本発明の一実施例によるゴルフ映像情報自動生成システムは、ゴルフ場の一ホールの一側に設置される第1撮影ユニット100、該当ホールの反対側に設置される第2撮影ユニット200、及び前記第1撮影ユニット100及び第2撮影ユニット200と連結され、有線又は無線で通信して各撮影ユニットから撮影された映像を受けて映像分析を行う又はその受けた映像から適切な映像を抽出して編集することによって、使用者に提供するゴルフ映像情報を自動で生成する映像情報処理装置500を含んでなることができる。
【0034】
前記第1撮影ユニット100及び第2撮影ユニット200はそれぞれ一つのカメラのみを含むこともでき、二つ以上のカメラを含むこともできる。一つの撮影ユニット100又は200が二つ以上のカメラを含む場合には、各カメラが互いに異なる位置で同じ領域を撮影するように構成されることが好ましい。
【0035】
本発明によるゴルフ映像情報自動生成システム及び方法は、使用者がゴルフショットするときから該当ゴルフショットによるボールが目標地点の近くに到逹して停止するときまでの一連の過程についての映像を全部含むように映像編集を自動で行うから、使用者が一度のゴルフショットでスタート地点から目標地点にボールを送る場合にその活用度が高いと言える。
【0036】
ここで、前述した目標地点はグリーン上のホールカップとなることもでき、グリーンの周辺のフェアウェイ上の任意の地点となることもできる。
【0037】
本発明によるゴルフ映像情報自動生成システムは、使用者がゴルフショットするときから該当ゴルフショットによるボールが目標地点の近くに到逹して停止するときまでの一連の過程についての映像を自動で生成するから、Par3ホールのようにティーボックスでゴルフショットによってボールを直ちにグリーン上に到達させることができる場合に特に適用し易いだけでなくホールインワンなどが可能であるので好ましい。
【0038】
図1ではPar3ホールのティーボックスTB領域に前記第1撮影ユニット100が設置され、グリーンGの辺りに前記第2撮影ユニット200が設置される場合を例として示している。
【0039】
そして、
図1では第1撮影ユニット100が第1カメラ110及び第2カメラ120を含み、第2撮影ユニット200が第3カメラ210及び第4カメラ220を含む場合を示している。
【0040】
前記第1撮影ユニット100の第1カメラ110はゴルフスイングする使用者の側面を見る画角で映像を撮影するように設置され、第2カメラ120はゴルフスイングする使用者の正面を見る画角で映像を撮影するように設置されることが好ましい。
【0041】
前記第2撮影ユニット200は単一カメラを含むようにしても良いが、
図1に示したように、第3カメラ210と第4カメラ220などの2台以上のカメラが設置される場合、各カメラがグリーンGを含む領域を互いに異なる視角で見る画角で映像を撮影するように設置されることが好ましい。
【0042】
図1で、HCはグリーンG上のホールカップを指示し、FLはホールカップhcに差し込まれた旗竿を指示する。
【0043】
一方、使用者に提供されるゴルフ映像情報の映像コンテンツをより多様な視角でよりドラマチックな高級映像として生成するためにホールの中間地点の辺りに、
図1に示したように、第3撮影ユニット310、320を設置することも可能である。
【0044】
また、例えば、
図1に示したホールがPar4ホール又はPar5ホールの場合には、ティーボックスTBでゴルフショットしたものが直ちにグリーンGに到逹することができず、その中間地点程度に着地することが一般的である。この時、
図1に示したように、第3撮影ユニット310、320が前記第2撮影ユニット210、220と類似した機能をすることができる。
【0045】
すなわち、本発明によるゴルフ映像情報自動生成システムがPar4ホール又はPart5ホールに設置される場合、前記目標地点がグリーン上のホールカップではなくて、例えばフェアウェイ上の目標領域EV上の一地点となり得る。
【0046】
したがって、使用者がティーボックスTBでゴルフショットしたものがフェアウェイ上の目標領域EVにいくら近く着地するかを前記第3撮影ユニットの第5カメラ310又は第6カメラ320が撮影した映像から確認することができ(後述する映像内ボールの位置の算出及びトラッキングによって前記目標領域内に着地したか又は中心にいくら近くに着地したかなどの判別及び決定が可能である)、映像情報処理装置500は前記第3撮影ユニットの撮影映像を分析してこれを判別することができ、その結果を使用者に知らせる又はサーバーに伝送して、前記サーバーがその結果を記録しておくことができるようにすることが可能である。
【0047】
また、前述したように、前記第3撮影ユニットの映像を分析し、ゴルフラウンドする使用者のそれぞれがティーボックスでゴルフショットしたものに対し、フェアウェイに前もって準備しておいた目標領域EVの中心に最も近くに着地した順に順位を決定し、順位によって決定しておいた景品を前記第3撮影ユニットの映像分析結果によって、決定された順位によって支給するようにすることができる。
【0048】
また、
図1に示したように、目標領域EVを敢えて決定しておいていなくても、通常ゴルフ場でPar4ホール又はPar5ホールで行われるロンゲストゲーム(Longest Game;ゴルフラウンド中の使用者のうちティーショットしたボールがフェアウェイ上で最も遠い飛距離を記録する場合の使用者が優勝するゲーム)の勝者を前記第3撮影ユニットの撮影映像の分析によって(映像内ボールの位置情報を把握することによって)正確に判別することができる。
【0049】
前記目標領域内にボールが着地したかに対する判別によってイベントが当選されたか又はロンゲストゲームの勝者であるかなどを前記第3撮影ユニットの撮影映像の分析によって判別又は決定することができ、その当選者又は勝者にはゴルフ場業者が前もって準備しておいた景品を支給する、又は前記第1撮影ユニット及び第3撮影ユニットのそれぞれの撮影映像を用いて映像情報処理装置が映像編集によって自動で生成したゴルフ映像情報を提供することができる(当選者又は勝者であるかを前記映像情報処理装置が判別又は決定するとともに前記自動で生成したゴルフ映像情報を自動で該当使用者のモバイル端末機に伝送するなどの処理が可能である)。
【0050】
ここで、本願の請求項11〜13に記載されているティーボックス撮影ユニット及びフェアウェイ撮影ユニットは、前記第1撮影ユニット及び第3撮影ユニットとそれぞれ同一である。
【0051】
一方、前述したような各撮影ユニットのカメラは、映像情報処理装置500と連結されて互いに通信し、各カメラが取得する映像が前記映像情報処理装置500に伝送されて収集され、前記映像情報処理装置500は各カメラから収集したそれぞれの映像から適切な映像を抽出し、その抽出された映像を互いに結合する又は特定カメラの映像内に他のカメラの映像をサブ映像として挿入するなどの映像編集を行って最終的にゴルフ映像情報を自動で生成するように構成される。
【0052】
前記映像情報処理装置500は、前述したように、ゴルフ映像情報を自動で生成するために各撮影ユニットの各カメラから収集したそれぞれの映像から適切な映像を抽出する。この際、どの区間の映像を抽出することが適切であるかについて前もってプログラムされている情報処理部によって適切な映像を抽出し編集して前記ゴルフ映像情報を生成する。
【0053】
すなわち、前記映像情報処理装置500はそれぞれのカメラから収集した映像を分析して適切な映像の抽出区間を決定し、その決定されたものによって適切な映像を抽出する。この事項については後述する。
【0054】
一方、
図2に示したように、映像情報処理装置500は、大別して、格納部510と情報処理部520を含み、前記情報処理部520は、映像管理部521、トリガー処理部522、ボールトラッキング処理部523、ホールカップ位置感知部524及び映像編集部525を含むように構成されることができる。
【0055】
ここで、前記映像管理部521、トリガー処理部522、ボールトラッキング処理部523、ホールカップ位置感知部524及び映像編集部525などはそれぞれハードウェア又はソフトウェアで具現されることができ、前記情報処理部520が行う各機能を区分して示したものであり得る。
【0056】
前記格納部510は各撮影ユニット100、200などの各カメラから収集される映像が格納される部分であり、前記映像管理部521は各撮影ユニット100、200などの各カメラからそれぞれ撮影された映像を収集し、各カメラ別に区分して前記格納部510に格納して管理する。
【0057】
前記トリガー処理部522は前記格納部510に格納された前記第1撮影ユニット100の第1カメラ110又は第2カメラ120の映像に対する映像処理によってボールが打撃によって動くことを感知し、該当映像内でボールが打撃によって動くことを感知すれば、トリガー信号を発生する。
【0058】
前記トリガー処理部522によって'ボールが打撃によって動くことを感知'する方式は、多くのフレームの映像に対して互いに異なる二つのフレーム映像の差映像でボールを検出するアルゴリズムによって各該当映像内でボールを検出することによってボールを感知することが可能になる。これについてのより具体的な説明は後述する。
【0059】
一方、本発明の他の一実施例によるゴルフ映像情報自動生成システムの映像情報処理装置500は、前述したように、映像分析によってトリガー信号を発生するトリガー処理部の代わりに、外部で発生するトリガー信号を受信し、これをトリガー信号として活用することができる。
【0060】
すなわち、ゴルフラウンド過程で用いられるゴルフ端末機(MT:通常キャディーが持って通いながらゴルフスコアを入力して管理する端末機でもあり得、各ゴルファーが持って通うゴルフ補助端末機又はスマートフォンのようなモバイル端末機でもあり得る)を用いて一使用者がゴルフショットするときにインパクト時点に合わせて他の使用者が前記ゴルフ端末機(MT)を操作してショット信号を前記映像情報処理装置500に伝送すれば、前記映像情報処理装置500はそのショット信号を受信し、これを前記トリガー信号として用いることができる。これについての具体的な事項も後述する。
【0061】
一方、前記ボールトラッキング処理部523は目標地点、すなわちグリーンの辺りに設置された第2撮影ユニット200に含まれるカメラ210又は220の撮影映像に対する映像処理による分析で映像内でボールを検出してボールの位置情報を生成することによってボールをトラッキングする機能を有する部分である。
【0062】
前記ボールトラッキング処理部523は、ボールがグリーン上に着地するなど、目標地点の辺りでボールを持続的にトラッキングすることで、ボールの動きが止まった時点を決定する。
【0063】
そして、前記ボールトラッキング処理部523は、前述したように、映像分析によってボールの位置を持続的にトラッキングしてグリーン上のホールカップの位置とボールの位置を用いてホールインワンであるかを判断することもでき、ボールとホールカップ間の距離を算出することもできる。
【0064】
一方、前記ホールカップ位置感知部524は、グリーンの辺りに設置された第2撮影ユニット200に含まれるカメラ210又は220の撮影映像に対する映像処理による分析でグリーン上のホールカップ位置を実時間で感知し、ホールカップ位置が変更された場合、その変更されたホールカップ位置情報をアップデートする機能をする。
【0065】
通常ゴルフ場の各ホールではグリーン上のホールカップの位置が頻繁に変更される。よって、本発明の一実施例によるゴルフ映像情報自動生成システムはグリーン上のホールカップ位置を固定した位置情報として持っているものではなく、システムが動作する都度又は予め設定された周期でホールカップ位置を新しく把握してアップデートする。
【0066】
前記ホールカップ位置感知部524は、グリーンの辺りでグリーンを含む領域を撮影するカメラから収集した映像に対する予め設定された映像処理によってグリーン上のホールカップ位置を直接把握して認識することもでき、ホールカップに差し込まれた旗竿を認識し、その旗竿の下端部位置をホールカップ位置として認識することもできる。
【0067】
前記ホールカップ位置感知部524によってグリーン上のホールカップ位置情報が最新情報として維持されることにより、前記ボールトラッキング処理部523によってホールインワンであるか又はニアピンであるかを判断し、ホールカップとボール間の距離算出などを正確に行うことができる。
【0068】
一方、前記映像編集部525は前記映像管理部521によって管理されている各カメラ別映像から最終的に作られるゴルフ映像情報の生成に必要な映像をそれぞれ抽出し、その抽出された映像を互いに結合する又は特定抽出映像をサブ映像として他の抽出映像に挿入するなどの映像編集を行う部分である。
【0069】
前記映像編集部525は各カメラ別映像に対する映像の抽出区間を決定し、その決定された抽出区間によって各カメラ別映像から必要な映像を抽出し、前記トリガー処理部522によって又は外部のゴルフ端末機によって発生するトリガー信号の時点、第1カメラの映像でボールがそれ以上検出されない時点、打撃されて移動するボールがグリーン上で止まった時点などの情報を用いて前記映像の抽出区間を決定する。これについての具体的な事項も後述する。
【0070】
ここで、前記"時点"は時間情報でもあり得、映像のフレーム情報でもあり得る。例えば、'トリガー信号の発生時点'と言えば、トリガー処理部によってトリガー信号が発生したときの時間を意味することもでき、トリガー信号が発生するときの該当映像フレームを意味することもでき、両者を共に意味することもできる。
【0071】
前記'ボールがそれ以上検出されない時点'も同様に映像分析によってボールが検出されないときの時間情報又はボールが検出されないときの該当映像フレームを意味することができ、前記'ボールがグリーン上で止まった時点'もボールトラッキング過程でボールの動きがないときの時間情報又は該当映像フレーム情報を意味することができる。
【0072】
そして、前記"抽出区間"は時間区間でもあり得、フレーム区間でもあり得る。例えば、トリガー時点からボールがそれ以上検出されない時点までの区間であると言えば、トリガーが発生したときの時間とボールがそれ以上検出されないときの時間の間の時間区間に対応する映像フレームを抽出するという意味でもあり得、トリガーが発生したときの該当映像フレームとボールがそれ以上検出されないときの該当映像フレームの間のフレーム区間に相当する映像フレームを抽出するという意味でもあり得る。
【0073】
一方、
図3を参照して本発明の一実施例によるゴルフ映像情報自動生成システムに用いられるゴルフ映像情報自動生成方法について説明する。
【0074】
図3に示したフローチャートでは、ティーボックスでホールインワンが可能なPar3ホールのようなホールにおいてティーボックスTB(
図1参照)に第1カメラ110(
図1参照)と第2カメラ120(
図1参照)が設置され、グリーンGの辺りに第3カメラ210(
図1参照)が設置されている場合に映像情報処理装置500(
図1参照)によって行われるゴルフ映像情報自動生成方法について示している。
【0075】
ここで、前記第1カメラはゴルフスイング姿勢を取る使用者の側面を見る画角で映像を撮影し(ボールの進行方向において後方から映像を撮影)、前記第2カメラはゴルフスイング姿勢を取る使用者の正面を見る画角で映像を撮影する(ボールの進行方向において側方から映像を撮影)。
【0076】
システムが動作し始めれば、ティーボックスの辺りに設置された第1カメラ及び第2カメラがそれぞれ映像撮影を始め(S10)、映像管理部521(
図2参照)は前記第1カメラ及び第2カメラのそれぞれから撮影された映像を収集して格納部510(
図2参照)に格納する(S12)。
【0077】
使用者がティーボックスでゴルフショットしてボールを打撃すれば、トリガー処理部522(
図2参照)によってトリガー信号が発生する又は外部のゴルフ端末機などからトリガー信号を受信する(S20)。
【0078】
前述したように、トリガー信号が発生すれば、グリーンの辺りに設置された第3カメラは映像撮影を始め(S22)、映像管理部は第3カメラからも撮影映像を収集して格納部に格納する。
【0079】
そして、前述したように、トリガー信号が発生すると、映像編集部525(
図2参照)はトリガー時点を決定する(S24)。
【0080】
一方、トリガー処理部は格納部に格納された第1カメラの撮影映像に対して差映像及びボール検出方法などを適用して映像内で動いているボールを検出する(S30)。
【0081】
前記第1カメラの撮影映像はティーボックスの後方からボールの進行方向に見る画角で撮影される映像であるので、ボールがいくらか遠く飛べば映像内でそれ以上ボールを検出することができなくなる(S40)。この時、映像編集部は、前記第1カメラの撮影映像でボールがそれ以上検出されない時点、つまり第1カメラ映像でボールがなくなった時点を決定する(S42)。
【0082】
もしくは、前記映像編集部は、前記トリガー時点から予め設定された時間が経過すれば(S40)、その予め設定された時間が経過した時点をボールがなくなった時点として決定する(S42)。
【0083】
前述したように、第1カメラの映像でボールがなくなったと判断される場合、映像管理部は第1カメラ撮影映像の収集を終了する(S44)(第1カメラも撮影を終了する)。
【0084】
そして、映像情報処理装置のボールトラッキング処理部523(
図2参照)は、グリーン領域を撮影している第3カメラの撮影映像に対して差映像及びボール検出方法などを適用してボールを検出することによってボールの位置をトラッキングする(S50)。
【0085】
ボールトラッキング処理部によってボールトラッキングが進んでからボールがそれ以上動かない場合、例えばボールがグリーン上で転がってから停止した場合(S60)、前記映像編集部はボールがグリーン上で停止した時点を決定する(S64)。
【0086】
そして、前述したように、第3カメラの映像でボールが停止したと判断した場合、映像管理部は第3カメラ撮影映像の収集を終了する(S62)(第3カメラも撮影を終了する)。
【0087】
この時、ボールトラッキング処理部はホールカップの位置を前もって知っているとともに映像分析によってボールの位置情報も知っているので、ホールカップの位置とボールの位置情報を用いてホールインワンであるかを判断することができる(S70)。
【0088】
仮に、ホールインワンが発生した場合、映像編集部は最終的に生成されるゴルフ映像情報に前もって用意しておいたホールインワン祝いのコンテンツを挿入するようにする(S72)。
【0089】
仮に、ホールインワンではない場合、ボールトラッキング処理部はホールカップとボール間の距離を算出し(S80)、映像編集部は最終的に生成されるゴルフ映像情報に前記算出されたホールカップとボール間の距離情報を表示する(S82)。
【0090】
一方、映像編集部は、前記S24段階で決定したトリガー時点、S42段階で決定した第1カメラ映像でボールがなくなった時点、及びS64段階で決定したボールがグリーン上で停止した時点を用いて、前記決定された各時点を基準に前記格納部に格納された各カメラ映像からそれぞれ映像を抽出し、その抽出された映像に対して予め設定された事項による編集を行い、必要な場合、前記S72段階のホールインワン祝いのコンテンツ又は前記S82段階の距離情報表示などを挿入することによって最終的にゴルフ映像情報を生成する(S100)。
【0091】
図3に示したフローチャートによるゴルフ映像情報の自動生成に関連した具体的な例を
図4〜
図8を参照して説明する。
【0092】
図4は前記第1カメラによって撮影された映像101の一例を示すもので、該当映像で映像処理をする方法を説明するための図である。
【0093】
第1カメラによって撮影された映像によって前記トリガー時点の決定及びボールがなくなった時点の決定を行う必要があり、これは第1カメラによって撮影された映像に対する所定の映像処理による分析によってなされる。
【0094】
映像処理による分析を容易に行うために、
図4に示したように、ティーボックスにいつも用意されているティーマーカー1及び2を用いて該当映像内でティーマーカー1及び2を認識し、その認識されたティーマーカー1及び2を含む関心領域ROIを設定し、第1カメラの撮影映像の毎フレームごとに前記関心領域ROIに対応する部分を抽出することによって映像処理に前記抽出された関心領域ROI部分を用いることができる。
【0095】
最初に、前述したように関心領域ROIが設定されれば、ゴルフショットが進むうちには第1カメラの全てのフレームの映像から前記設定された関心領域ROIのみを抽出して分析することによってトリガー又はボールの消滅などを易しく判断することができる。
【0096】
一方、
図5の(a)〜(f)は前記第1カメラによって撮影されたn番目フレームからn+5番目フレームの映像を時系列的に示したもので、それぞれの映像内でボールを検出したものについて示している(ここで、nは任意の自然数)。
【0097】
図5の(a)はn番目フレーム映像を、(b)はn+1番目フレーム映像を、(c)はn+2番目フレーム映像を、(d)はn+3番目フレーム映像を、(e)はn+4番目フレーム映像を、そして(f)はn+5番目フレーム映像をそれぞれ示し、各フレーム映像内でb1、b2、b3、b4、b5及びb6が指示するように動くボールを検出することができる。
【0098】
このようなボール検出は差映像及びボール検出方法によって行うことができる。例えば、n番目フレーム映像とn+1番目フレーム映像の差映像とこれに対する正規化などの所定のイメージ前処理を受ければ、映像内で動きがある部分のみ残ることになり、その中にはボールも含まれる。
【0099】
ボールの大きさ、縦横比、直進性などについての事項を前もって設定しておき、その予め設定された事項によって、差映像によって生成された映像から不要な部分を除去する方式でボールを検出することができる。
【0100】
例えば、差映像から、動く部分である使用者の頭部や胴体、脚部など、そしてゴルフクラブ部及びボール部が検出される。使用者の頭部や胴体、脚部などは予め設定されたボールの大きさ情報や縦横比情報によって容易に除去することができ、ゴルフクラブ部の場合にも曲線軌道に沿って動くしかないから直進性について予め設定された事項によって容易に除去することができるので、このような方式で不要な部分が全部除去されることによって、ボールを容易に検出することができる。
【0101】
前述したようなボール検出方法によって、
図5の(a)〜(f)にそれぞれ示した各フレーム映像上で検出されたボールを表示したものがb1〜b6である。
【0102】
本発明によるシステムの映像情報処理装置のトリガー処理部が前記ボール検出方法によって最初にボールを検出するときの時点が直ちにトリガー時点となるものである。
【0103】
図5の(a)に示した第1カメラ映像のn番目フレーム映像でボールb1が検出されることによってn番目フレームをトリガー時点と決定する又はn番目フレーム映像でボールを検出した時間をトリガー時点と決定することができる。
【0104】
仮に、トリガー処理部の代わりに外部のトリガー信号を受信することによってトリガー時点を決定する場合には、他の使用者又はキャディーがゴルフ端末機を操作してトリガー信号を発生した時点(該当時間又は該当時間でのフレーム)がトリガー時点となる。
【0105】
トリガー処理部の映像処理によるトリガー信号発生時点と外部からトリガー信号を受信することによって決定されるトリガー時点は違うことがあり、必ずしも使用者のゴルフスイングによってゴルフクラブのヘッドがボールにインパクトされるときをトリガー時点と決定する必要はない。適切な時点をトリガー時点としてその時点前後の予め設定された区間だけの映像を抽出して編集するため、インパクト時点がトリガー時点とならなくても適切なゴルフ映像情報の生成が可能であるからである。
【0106】
一方、
図6の(a)〜(f)は前記第1カメラによって撮影されたm番目フレームからm+5番目フレームの映像を時系列的に示したもので、それぞれの映像内でボールを検出したものについて示している(ここで、mは任意の自然数、mはnより大きい)。
【0107】
図6の(a)はm番目フレーム映像を、(b)はm+1番目フレーム映像を、(c)はm+2番目フレーム映像を、(d)はm+3番目フレーム映像を、(e)はm+4番目フレーム映像を、そして(f)はm+5番目フレーム映像をそれぞれ示し、各フレーム映像内でB1、B2、B3、B4及びB5が指示するように動くボールを検出することができる(
図6で、m+5番目フレーム映像ではボールが検出されなかった)。
【0108】
ここで、ボールを検出する方式は先に
図5で説明したようである。
【0109】
このように、トリガー信号発生以後にもトリガー処理部は第1カメラの映像をフレームごとに分析してボールを検出するが、m+5番目フレーム映像でボールが検出されなかったので、すなわち映像内でボールがなくなったと判断することができるので、該当フレームをボールがなくなった時点又は映像でボールが検出されなかったときの時間をボールがなくなった時点と決定することができる。
【0110】
一方、
図7は前記第3カメラによって撮影された映像201の一例を示すもので、該当映像でホールカップとボール間の距離表示など、グリーン上で使用者に提供可能なゴルフ情報が表示された例を示している。
【0111】
図7に例示された第3カメラの映像によって、本発明の映像情報処理装置のボールトラッキング処理部は該当映像内でボールbaを検出(ボール検出方法は前述したようである)して毎フレーム映像ごとにボールの位置情報を算出することによってボールの位置を追跡する。
【0112】
毎フレームごとにボールbaの位置情報を算出することができるので、最終的に生成されるゴルフ映像情報に、
図7に示したように、ボールの軌跡trを表示することも可能である。
【0113】
また、本発明の映像情報処理装置のホールカップ位置感知部524(
図2参照)は映像201内でグリーンg上のホールカップhcを直接捜す又はホールカップに差し込まれた旗竿flを捜してホールカップ位置を算出することができる。
【0114】
ホールカップhc又は旗竿flはグリーンGと明らかに区別される色相を有するので、第3カメラの映像をHSV映像に変換し、その変換映像に対するカラー分析によってホールカップ又は旗竿を捜すことができる。
【0115】
旗竿を捜す場合、映像内で旗竿のカラー分布によって、旗竿が立てられているか又は横になっているかを判断することができ、旗竿が横になっている場合にはホールカップ位置を感知しなく、旗竿が立てられている場合にその旗竿の下端部をホールカップ位置と特定することができる。
【0116】
前記ボールトラッキング処理部は映像内ボール検出方法によってボールの位置情報を知っているとともにホールカップ位置感知部によって把握されたホールカップの位置も知っているので、ホールカップの位置情報とボールの位置情報を用いてボールbaがホールカップhcにホールインされるかを判断することができるのはもちろんのこと、ボールbaが停止した場合にホールカップhcとボールba間の距離も計算することができる。
【0117】
本発明の映像情報処理装置の映像編集部は、前述したようにボールがホールカップにホールインされる場合、すなわちホールインワンの場合、前もって用意したホールインワン祝いのコンテンツをゴルフ映像情報に挿入して表示することができ、
図7に示したように、ボールbaとホールカップhc間の距離が算出された場合、その算出された距離情報をゴルフ映像情報に表示することができる。
【0118】
また、
図7に示したように、把握されたホールカップ位置を中心に同心円Raのような仮想オブジェクトを表示することで、ボールbaがホールカップhcにどの位近接したかを視角的に表示するコンテンツの挿入も可能である。
【0119】
一方、
図8では映像編集部によってそれぞれのカメラ映像から必要な映像を抽出して編集することによってゴルフ映像情報を生成する一例を示している。
【0120】
図8で、IM−1は第1カメラの撮影映像であって、映像管理部によって収集されて格納部に格納された映像を示し、IM−2は第2カメラの撮影映像であって、映像管理部によって収集されて格納部に格納された映像を示し、IM−3は第3カメラの撮影映像であって、映像管理部によって収集されて格納部に格納された映像を示し、IM−Gはそれぞれの映像から抽出された映像が編集された映像を示す。
【0121】
それぞれの映像IM−1、IM−2、IM−3からゴルフ映像情報を生成するために必要な映像を抽出するためには、トリガー時点(
図3のS24段階参照)、ボールがなくなった時点(
図3のS42段階参照)及びボールが停止した時点(
図3のS64段階参照)がそれぞれ決定されることが好ましい。ここで、トリガー時点はT1、ボールがなくなった時点はT2、そしてボールが停止した時点はT3と言う。
【0122】
前記それぞれの時点のうち、トリガー時点T1は必ず決定される必要があり、ボールがなくなった時点T2及びボールが停止した時点T3は必ずしも決定される必要がなく、前記トリガー時点からの時間区間又はフレーム区間を前もって設定してトリガー時点後に予め設定された時間又はフレーム区間に対応する映像を抽出する方式でそれぞれの映像IM−1、IM−2、IM−3からゴルフ映像情報を生成するために必要な映像を抽出することが可能である。
【0123】
しかし、ゴルファーごとに飛距離も違い、打撃されたボールが岩にぶつかってグリーン上にさらに飛び上がるなどのさまざまな突発変数のため、固定された映像抽出区間ではボールの適切な映像を生成しにくいということを考慮すれば、映像分析によってそれぞれの時点を決定し、その決定された時点によって映像抽出区間を決定することがボールの適切な映像を生成するのにもっと有利であり得る。以下では、それぞれの決定された時点によって映像抽出区間が決定される場合について説明する。
【0124】
図8に示したように、第1カメラの映像の分析によってトリガー時点T1とボールがなくなった時点T2が決定されれば、第1カメラの映像IM−1からトリガー時点T1以前の予め設定された区間S1−1に対応する映像とトリガー時点T1からボールがなくなった時点T2までの区間S1−2に対応する映像を抽出することができる。
【0125】
もちろん、ボールがなくなった時点T2を別に判断しない場合には、トリガー時点T1から予め設定された区間を前記S1−2区間として抽出することができる。ボールがなくなった時点T2が決定された場合にも前記S1−2区間をT1〜T2の区間にする必要はなく、T1からT2時点より少し前の時点又は少し後の時点までの区間をS1−2区間と決定して抽出することができる。
【0126】
IM−1映像で、S1−1区間及びS1−2区間に対応して抽出される映像をE1という。
【0127】
一方、第2カメラの映像から抽出される映像は編集されるゴルフ映像をどのコンテンツで構成するかによって多様に決定されることができる。第2カメラの映像は使用者を正面から見る画角で撮影した映像なので、第1カメラの映像又は第3カメラの映像にサブ映像として挿入することで、ゴルフボールが打撃されて飛ぶ状況で使用者の表情を一緒に映像に含ませるための目的で抽出するものであり得る。
【0128】
したがって、
図8で、第2カメラの映像IM−2に対してトリガー時点T1から予め設定された区間S2に対応する映像を抽出することができ、第2カメラの映像IM−2からS2区間の抽出された映像をE2と言う。
【0129】
一方、
図8に示したように、第3カメラの映像に対する分析によってボールが停止した時点T3が決定されれば、第3カメラの映像IM−3からボールがなくなった時点T2からボールが停止した時点T3までの区間S3を抽出することができる。
【0130】
もちろん、ボールが停止した時点T3を別に判断しない場合には、トリガー時点T1から予め設定された区間又はボールがなくなった時点T2から予め設定された区間を前記S3区間として抽出することができる。
【0131】
第3カメラの映像IM−3からS3区間の抽出された映像をE3という。
【0132】
前述したように、第1カメラ映像IM−1、第2カメラ映像IM−2及び第3カメラ映像IM−3からそれぞれE1、E2及びE3の映像が抽出されれば、これを用いて編集映像IM−Gを作ることができる。
【0133】
すなわち、
図8に示したように、E1映像とE3映像を結合し、その結合された映像にE2映像をサブ映像として挿入する方式で映像編集を行うことができる。
【0134】
サブ映像の場合、オリジナル映像から特定部分、例えば使用者の上体部又は顔部のみ抽出して用いることもでき、使用者の拡大映像を用いることもできる。
【0135】
本発明の一実施例によるゴルフ映像情報自動生成システムは、前記E1、E2及びE3映像を編集した映像に、
図7で説明したようなボールの軌跡trの表示、グリーン上の同心円Raの表示、ホールカップとボール間の距離の表示、ホールインワンなどに対する祝いコンテンツの表示などを挿入する又は'Nice Shot!'、'Nearest Winner!'などコメントの表示などを挿入することによって最終的なゴルフ映像情報を自動で生成することができる。
【0136】
最終的にゴルフ映像情報の生成が完了すれば、映像情報処理装置500(
図1参照)はゴルフ場の運営サーバー又は別個のサーバーに前記生成の完了したゴルフ映像情報を伝送してサーバーで格納管理するようにすることができ、使用者はPC又はモバイル端末機を用いてサーバーに接続して該当ゴルフ映像情報をダウンロードすることによって自らの記念的なゴルフショットについてのゴルフ映像情報を受けることができる。
【0137】
一方、
図3〜
図8ではティーボックスに第1カメラ及び第2カメラが設置され、グリーン地域に第3カメラが設置され、それぞれから映像を収集してゴルフ映像情報を生成する場合について説明している。本発明によるゴルフ映像情報自動生成システム及び方法はこの場合に限定されず、2台のカメラを用いる場合はもちろんのこと、4台以上のカメラを用いる場合まで多様に具現可能である。
【0138】
例えば、ティーボックスに第1カメラが設置され、グリーン地域に第3カメラのみ設置された場合には、
図8で第2カメラの映像IM−2及びそれから抽出された映像E2に関する部分を除き、E1映像とE3映像を用いてゴルフ映像情報を生成することができる。
【0139】
また、例えば、ティーボックスに第1カメラ及び第2カメラが設置され、グリーン地域に第3カメラ及び第4カメラが設置された場合には(
図1参照)、
図8で第4カメラの映像からT1、T2及びT3の少なくとも一つの時点を基準に映像抽出区間を決定し、その決定された区間によって映像を抽出して、編集される映像上にサブ映像として挿入する又はE3映像に結合する方式で編集することができる(第4カメラの映像は第3カメラとは違う視角でグリーン領域を撮影しているので、第3カメラの映像と第4カメラの映像のそれぞれ適切な区間で映像を抽出して互いに結合することができ、第4カメラの映像がホールカップの辺りを拡大して撮影する映像となるようにしてE3映像上にサブ映像として挿入して処理することもできる)。
【0140】
また、例えば、ティーボックスとグリーンの間に第3撮影ユニット(第5カメラ及び第6カメラ、
図1参照)が設置された場合には、適切な区間で第3撮影ユニットの映像から映像を抽出して、
図8でE1映像とE3映像の間に適切に結合させる又は挿入する方式で映像編集を行うことができる。
【0141】
一方、
図9〜
図13を参照して本発明のさらに他の一実施例によるゴルフ映像情報自動生成システム及びこれに用いられるゴルフ映像情報自動生成方法について説明する。
【0142】
本発明のさらに他の一実施例によるゴルフ映像情報自動生成システムは、ゴルフ場の特定ホールの一側に設置される第1撮影ユニットと他側に設置される第2撮影ユニット、及び前記第1撮影ユニット及び第2撮影ユニットと連結される映像情報処理装置を含んでなる。本実施例においても、前記映像情報処理装置の構成及び機能は実質的に同様に適用することができる。
【0143】
ここで、前記第1撮影ユニットは
図1に示した第1カメラによって具現されることもでき、第2カメラによって具現されることもでき、必ずしもティーボックスに設置されなければならないものではなく、ティーボックスと多少離れた距離に設置されることもできる。
【0144】
前記第2撮影ユニットは
図1に示した第3カメラによって具現されることもでき、第4カメラによって具現されることもでき、必ずグリーン周辺に設置されなければならないものではなく、グリーンと多少離れた距離に設置されることもできる。
【0145】
以下、第1撮影ユニットとは使用者がゴルフショットする周辺に設置されるカメラ装置を意味し、第2撮影ユニットとは目標地点(例えば、グリーン上のホールカップ)の周辺に設置されるカメラ装置を意味すると定義する。
【0146】
図9は本発明の他の一実施例によるゴルフ映像情報自動生成システムに用いられるゴルフ映像情報自動生成方法について説明するためのフローチャートである。
【0147】
図9に示したフローチャートによるゴルフ映像情報自動生成方法が適用される本発明によるゴルフ映像情報自動生成システムの第2撮影ユニットはパンチルトズーム(Pan−Tilt−Zoom)の可能なPTZカメラ装置によって具現される。
【0148】
前記PTZカメラのパン機能はカメラを左右に回転する機能であり、チルト機能はカメラを上下に回転させる機能であり、ズーム機能は映像を拡大又は縮小する機能である。
【0149】
システムが動作し始めれば、第1撮影ユニットが使用者のゴルフショットについての映像撮影を始め、第2撮影ユニットも映像撮影を始める(S210)。この時、第2撮影ユニットは使用者がゴルフショットする位置(例えば、ティーボックス)から多少離れた距離(例えば、グリーンの周辺)に設置された状態で使用者がゴルフショットする位置を見て、予め設定された第1倍率でズームイン(Zoom−In)された状態で撮影を始める(以下、前記第2撮影ユニットの使用者がゴルフショットする位置を見て、予め設定された第1倍率でズームイン(Zoom−In)した状態を'基本状態'と言う)。
【0150】
映像管理部521(
図2参照)は前記第1撮影ユニット及び第2撮影ユニットのそれぞれから撮影された映像を収集して格納部510(
図2参照)に格納する(S220)。
【0151】
使用者がティーボックスでゴルフショットしてボールを打撃すれば、トリガー処理部522(
図2参照)によってトリガー信号が発生する又は外部のゴルフ端末機などからトリガー信号を受信する(S230)。このようにトリガー信号が発生すれば、映像編集部525(
図2参照)はトリガー時点を決定する(S232)。
【0152】
また、前述したようにトリガー信号が発生すれば、第2撮影ユニットは基本状態で撮影してから、予め設定された第2倍率で段々ズームアウト(Zoom−Out)しながら撮影した映像を映像情報処理装置に伝送する(S310)。
【0153】
前述したように第2撮影ユニットが段々ズームアウトして、前記予め設定された第2倍率(基本倍率でもあり得、それより高い倍率でもあり得る)に到逹すれば、ズームアウトを完了する(S320)。
【0154】
ズームアウトが完了した後、前記第2撮影ユニットはパンチルティングを行って、すなわち上下に回転する、左右に回転する、又は上下左右に回転して目標地点を含む所定領域を撮影するようにする。すなわち、第2撮影ユニットは、その見る撮影範囲内にホールカップを含むグリーンが含まれる該当ビューとなるように前記第2撮影ユニットのパンチルティングが駆動される。
【0155】
ここで、前記第2撮影ユニットは、初めから予め設定された上下及び/又は左右の角度で回転することによって前記パンチルティングを行うこともでき、映像情報処理装置が前記第2撮影ユニットから伝送される映像を分析してホールカップ位置を認識し、前記第2撮影ユニットに回転すべき上下及び/又は左右の角度情報を伝達することによって前記パンチルティングを行うこともでき、第2撮影ユニットそのものに映像分析ユニットを含み、自らの映像分析によってホールカップ位置を認識し、そのホールカップ位置を基準に回転角度情報を計算し、それによって前記パンチルティングを行うこともできる。
【0156】
前述したように第2撮影ユニットのパンチルティングを行った後、前記第2撮影ユニットはグリーンの映像を撮影し、映像情報処理装置にその撮影された映像を伝送する(S340)。
【0157】
一方、前記第1撮影ユニットがティーボックスの後方からボールの進行方向に見る画角で撮影する映像の場合、打撃によってボールが多少遠く飛べば映像内でそれ以上ボールを検出することができなくなる。この時、映像編集部は、前記第1撮影ユニットの撮影映像でボールがそれ以上検出されない時点、すなわち第1撮影ユニット映像でボールがなくなった時点を決定することができる。
【0158】
追後に、映像編集部は、ゴルフ映像情報を生成するとき、前記ボールがなくなった時点を基準に前記第1撮影ユニットの映像から抽出する映像の抽出区間を決定することができ、あるいは前述したような'ボールがなくなった時点'を決定せずに前記トリガー時点から予め設定された時間が経過すれば、その経過した時間までの映像を前記第1撮影ユニットの映像から抽出することもできる。
図9では後者を示している。
【0159】
すなわち、映像情報処理装置は、前記トリガー信号が発生した後に予め設定された時間が経過したかを判断し(S400)、その予め設定された時間が経過すれば、前記第1撮影ユニットの撮影映像の収集を終了する(S410)(第1撮影ユニットも撮影を終了する)。
【0160】
そして、映像情報処理装置のボールトラッキング処理部523(
図2参照)はグリーン領域を撮影している第2撮影ユニットの撮影映像に対して差映像及びボール検出方法などを適用してボールを検出することによってボールの位置をトラッキングする(S420)。
【0161】
ボールトラッキング処理部によってボールトラッキングが進んでからボールがそれ以上動かない場合、例えばボールがグリーン上で転がってから停止した場合(S500)、前記映像編集部はボールがグリーン上で停止した時点を決定する(S502)。
【0162】
そして、前述したように第2撮影ユニットの映像でボールが停止したと判断した場合、映像管理部は第2撮影ユニット撮影映像の収集を終了する(S350)(第2撮影ユニットも撮影を終了する)。この時、前記第2撮影ユニットはズームイン及びパンチルティングによって前記基本状態に復帰する(S360)。
【0163】
ボールトラッキング処理部はホールカップの位置を既に知っている映像分析によってボールの位置情報も知っているので、ホールカップの位置とボールの位置情報を用いてホールインワンであるかを判断することができる(S520)。
【0164】
仮に、ホールインワンが発生した場合、映像編集部は最終的に生成されるゴルフ映像情報に前もって用意しておいたホールインワン祝いのコンテンツを挿入するようにする(S521)。
【0165】
仮に、ホールインワンではない場合、ボールトラッキング処理部はホールカップとボール間の距離を算出し(S540)、映像編集部は最終的に生成されるゴルフ映像情報に前記算出されたホールカップとボール間の距離情報を表示する(S550)。
【0166】
一方、映像編集部は、前記S232段階で決定したトリガー時点と、S502段階で決定したボールのグリーン上で停止した時点などを用いて、前記決定された各時点を基準に前記格納部に格納された各撮影ユニット映像からそれぞれ映像を抽出し、その抽出された映像に対して予め設定された事項による編集を行い、必要な場合、前記S521段階のホールインワン祝いのコンテンツ又は前記S550段階の距離情報表示などを挿入することによって最終的にゴルフ映像情報を生成する(S600)。
【0167】
図9に示したフローチャートによるゴルフ映像情報の自動生成に関連した具体的な例を
図10〜
図13を参照して説明する。
【0168】
図10は
図9に示したフローチャートによるゴルフ映像情報自動生成方法によってそれぞれの撮影ユニット映像から必要な映像を抽出して編集することによってゴルフ映像情報を生成する一例を示した図である。
【0169】
図10で、IM−Aは第1撮影ユニットの撮影映像を示すもので、映像管理部によって収集されて格納部に格納された映像を示し、IM−Bは第2撮影ユニットの撮影映像を示すもので、映像管理部によって収集されて格納部に格納された映像を示し、IM−Gはそれぞれの映像から抽出された映像が編集された映像を示す。
【0170】
それぞれの映像IM−A、IM−Bからゴルフ映像情報を生成するために必要な映像を抽出するためには、トリガー時点(
図9のS232段階参照)及びボールが停止した時点(
図9のS502段階参照)がそれぞれ決定されることが好ましく、
図9で説明したボールがなくなった時点も場合によって決定されることができる。
【0171】
ここで、トリガー時点はT1、ボールがなくなった時点又はトリガー時点から予め設定された区間の時点はT2、そしてボールの停止した時点はT3であり、T1、T2及びT3についての事項は
図8で説明したようである。
【0172】
図10に示したように、第1撮影ユニットの映像IM−Aからトリガー時点T1以前の予め設定された区間R1−1に対応する映像とトリガー時点T1からT2時点までの区間R1−2に対応する映像が抽出されることができる。
【0173】
IM−A映像で、R1−1区間及びR1−2区間に対応して抽出される映像をER1という。
一方、
図10に示したように、第2撮影ユニットの映像に対する分析によってボールが停止した時点T3が決定されれば、第2撮影ユニットの映像IM−Bからトリガー時点T1からボールが停止した時点T3までの区間R2を抽出することができる。
【0174】
もちろん、ボールが停止した時点T3を別に判断しない場合には、トリガー時点T1から予め設定された区間を前記R2区間として抽出することができる。
【0175】
ここで、
図9に基づいて説明したように、第2撮影ユニットの映像IM−Bは基本状態でティーボックス領域に対するズームイン映像を示し(Sa)、トリガー時点T1から(又はその以前又は以後の予め設定された時点でもあり得る)ズームアウト映像を示し(Sb)、ズームアウトが完了すれば、パンチルティングによって変化したビュー(ホールカップを含むグリーン領域)を示し(Sc)、その後には同じビューを維持する又は該当ビューをもっと拡大するなどの映像を示す(Sd)。
【0176】
図9のS420及びその後の段階のボールトラッキングについての事項は前記Sd映像を用いて分析することによって処理することができる。
【0177】
第2撮影ユニットの映像IM−BからR2区間の抽出された映像をER2と言う。好ましくは、前記ER2映像は前記ズームイン映像(Sa)、ズームアウト映像(Sb)、パンチルティングによって変化したビュー(Sc)及びその後の該当ビューを維持する又は拡大した映像(Sd)を全て含むことにより、最終的に編集が完了した映像で使用者のゴルフショットによるゴルフ映像情報がもっとドラマチックに現れることができる。
【0178】
前述したように、第1撮影ユニット映像IM−A及び第2撮影ユニット映像IM−BからそれぞれER1及びER2の映像が抽出されれば、これを用いて編集映像IM−Gを作ることができる。
【0179】
前記編集映像IM−Gに所定のコンテンツなどを挿入する又は表示することは
図8で説明したものと同一であるので、これについての具体的な説明は省略する。
【0180】
最終的に、ゴルフ映像情報の生成が完了すれば、映像情報処理装置はゴルフ場の運営サーバー又は別個のサーバーに前記生成の完了したゴルフ映像情報を伝送してサーバーで格納管理するようにすることができ、使用者はPC又はモバイル端末機を用いてサーバーに接続して該当ゴルフ映像情報をダウンロードすることによって自らの記念的なゴルフショットについてのゴルフ映像情報を受けることができる。
【0181】
一方、
図11では
図10で説明したER1映像及びER2映像の編集映像の一例を時系列的に示している。
【0182】
図11の(a)及び(b)は第1撮影ユニットから抽出されたER1映像の例を示すもので、映像内のティーボックス領域で使用者がゴルフショットしている場面を示している。
【0183】
図11の(c)は第2撮影ユニットから抽出されたER2映像の例を示すもので、ティーボックスTB領域をズームイン映像で撮影している状態を示している。
【0184】
図11の(d)は映像内のティーボックスTB領域がズームアウトによって遠くなっている状態を示し、
図11の(e)は第2撮影ユニットがパンチルティング(すなわち、上下及び/又は左右に回転)によってカメラビューを変更している状態を示し、
図11の(f)はパンチルティングによってカメラビューの変更が完了した状態を示している(
図11の(f)の映像から分かるように、第2撮影ユニットはホールカップhc/旗竿flの位置を含むグリーンG領域が含まれるビューを有するようにパンチルティングすることが好ましい)。
【0185】
図11の(f)以後の映像ではグリーン上にボールが登場し(使用者が打撃したボールがグリーンに到逹する前に第2撮影ユニットがズームアウトによってパンチルティングされてグリーンを見ていることが好ましい)、
図12の(a)及び(b)は第2撮影ユニットがパンチルティングされてビューが変更して状態のままの映像を撮影しているものを示し、
図12の(a)に示した状態でボールがグリーンに到逹し、
図12の(b)に示したようにグリーンG上にボールbaが登場し、その移動を止めるまでの映像がゴルフ映像情報に含まれる場合である。
【0186】
一方、
図11の(f)以後の映像から
図13の(a)〜(d)の映像にも連結されることができる。
図13の(a)〜(d)では第2撮影ユニットがパンチルティングされた後に予め設定された倍率で拡大された映像が現れる場合を示している。すなわち、
図13の(a)はパンチルティングによって第2撮影ユニットのビューが変更した場合を示し、
図13の(b)、(c)及び(d)はホールカップhcの位置を基準に予め設定された倍率で拡大された状態でボールbaが登場して止まるまでの映像を示す。
【0187】
図13の(b)〜(d)の拡大された映像は第2撮影ユニットがズームインして撮影した映像でもあり得、映像情報処理装置が第2撮影ユニットから受けた映像に対して予め設定された倍率で拡大編集した映像でもあり得る。
【0188】
以上説明したように、本発明によるゴルフ映像情報自動生成システム及びゴルフ映像情報自動生成方法はゴルフ場の特定ホールでそれぞれの領域を撮影する映像を収集し、これを分析することによって、編集のための適切な映像抽出の基準となる時点を決定することができ、それから抽出した映像を編集することによって、ゴルフラウンドしている使用者に対してゴルフショットからそのゴルフショットされたボールの目標地点を含む領域上での動きまで一連の過程を見せる映像情報、すなわちゴルフ映像情報を自動で生成して使用者に提供することができ、そのようなゴルフ映像情報をよほどドラマチックに構成して自動で生成することができるので、ゴルフを楽しむ使用者には非常に貴い記念品となることができる特長がある。
[項目1]
ゴルフ場における使用者のゴルフショットによるゴルフ映像情報を自動で生成するシステムであって、
撮影領域内で使用者のゴルフショットに対する映像を取得する第1撮影ユニットと、
目標地点を含む領域を撮影する第2撮影ユニットと、
上記第1撮影ユニット及び第2撮影ユニットからそれぞれ撮影された映像を収集し、上記第1撮影ユニット及び第2撮影ユニットのそれぞれから収集された映像の抽出区間を決定し、上記決定された映像の抽出区間によって抽出された各映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する映像情報処理装置と、
を含む、ゴルフ映像情報自動生成システム。
[項目2]
上記第1撮影ユニットは、ゴルフスイングする使用者の側面を撮影する第1カメラと上記ゴルフスイングする使用者の正面を撮影する第2カメラの少なくとも一つを含んでなり、上記第2撮影ユニットは、目標地点を含む領域を撮影する第3カメラと上記第3カメラとは違う視角で上記目標地点を含む領域を撮影する第4カメラの少なくとも一つを含んでなることを特徴とする、項目1に記載のゴルフ映像情報自動生成システム。
[項目3]
上記映像情報処理装置は、
上記第1撮影ユニット及び第2撮影ユニットの各カメラからそれぞれ撮影された映像を格納する格納部と、
上記第1撮影ユニット及び第2撮影ユニットの各カメラからそれぞれ撮影された映像を収集し、各カメラ別に区分して上記格納部に格納して管理する映像管理部と、上記ゴルフ映像情報の生成のための映像抽出区間を上記各カメラ別映像に対してそれぞれ決定し、上記決定された映像の抽出区間によって上記格納部に格納された各カメラ別映像のそれぞれから抽出された映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する映像編集部とを含む情報処理部を含み、
上記情報処理部は上記自動で生成されたゴルフ映像情報をサーバー又は上記使用者の個人端末機に伝送するように構成されることを特徴とする、項目2に記載のゴルフ映像情報自動生成システム。
[項目4]
上記情報処理部は、上記第1撮影ユニットの映像に対する映像処理によってボールが打撃によって動くことを感知し、該当映像内でボールが打撃によって動くことを感知するとトリガー信号を発生するトリガー処理部をさらに含み、上記映像編集部は、上記トリガー処理部によってトリガー信号が発生する時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各カメラ別映像に対してそれぞれ決定するように構成されることを特徴とする、項目3に記載のゴルフ映像情報自動生成システム。
[項目5]
上記情報処理部は上記使用者のゴルフスイングによってボールが打撃されるときに外部から伝送されるトリガー信号を受信し、上記映像編集部は上記外部からのトリガー信号受信時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各カメラ別映像に対してそれぞれ決定するように構成されることを特徴とする、項目3に記載のゴルフ映像情報自動生成システム。
[項目6]
上記情報処理部は、上記第1撮影ユニットの映像に対する映像処理によってボールが打撃によって動くことを感知し、該当映像内でボールが打撃によって動くことを感知するとトリガー信号を発生するトリガー処理部と、上記第2撮影ユニットの映像に対する映像処理によってボールを検出し、ボールの動きが止まった時点を決定するボールトラッキング処理部とをさらに含み、上記映像編集部は上記トリガー処理部によってトリガー信号が発生する時点及び上記ボールトラッキング処理部によって決定されるボールの動きが止まった時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各カメラ別映像に対してそれぞれ決定するように構成されることを特徴とする、項目3に記載のゴルフ映像情報自動生成システム。
[項目7]
ゴルフ場における使用者のゴルフショットによるゴルフ映像情報を自動で生成するシステムであって、
ティーボックスに設置され、撮影領域内で使用者のゴルフショットに対する映像を取得し、上記ゴルフショットする使用者の側面を撮影する第1撮影ユニットと、
グリーンを含む領域を撮影する第2撮影ユニットと、
上記第1撮影ユニット及び第2撮影ユニットからそれぞれ撮影された映像を収集し、上記第1撮影ユニット及び第2撮影ユニットのそれぞれから収集された映像の抽出区間を決定し、上記決定された映像の抽出区間によって抽出された各映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する映像情報処理装置と、
を含む、ゴルフ映像情報自動生成システム。
[項目8]
上記映像情報処理装置は、
上記第1撮影ユニット及び第2撮影ユニットからそれぞれ撮影された映像を格納する格納部と、
上記第1撮影ユニット及び第2撮影ユニットからそれぞれ撮影された映像を収集し、各撮影ユニット別に区分して上記格納部に格納して管理する映像管理部と、上記ゴルフ映像情報の生成のための映像抽出区間を上記各撮影ユニット別映像に対してそれぞれ決定し、上記決定された映像の抽出区間によって上記格納部に格納された各撮影ユニット別映像のそれぞれから抽出された映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する映像編集部とを含む情報処理部を含み、
上記情報処理部は上記自動で生成されたゴルフ映像情報をサーバー又は上記使用者の個人端末機に伝送するように構成されることを特徴とする、項目7に記載のゴルフ映像情報自動生成システム。
[項目9]
上記情報処理部は、上記第2撮影ユニットの映像に対する映像処理によってボールを検出し、ボールの動きが止まった時点を決定するボールトラッキング処理部をさらに含み、上記映像編集部は映像の分析又は外部信号入力によってトリガー信号が発生する時点及び上記ボールトラッキング処理部によって決定されるボールの動きが止まった時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各撮影ユニット別映像に対してそれぞれ決定するように構成されることを特徴とする、項目8に記載のゴルフ映像情報自動生成システム。
[項目10]
上記情報処理部は、上記第2撮影ユニットの映像から上記グリーン上のホールカップ又は上記ホールカップの旗竿を認識して上記グリーン上のホールカップの位置を実時間で感知するホールカップ位置感知部と、上記第2撮影ユニットの映像に対する映像処理によってボールの位置をトラッキングするボールトラッキング処理部とをさらに含み、上記ボールトラッキング処理部は、上記ホールカップ位置感知部によって感知されたホールカップの位置と上記トラッキングされたボールの位置を用いてホールインワンであるかの判断及び上記ボールと上記ホールカップ間の距離の算出の少なくとも一つを行うように構成され、上記映像編集部は、上記ボールトラッキング処理部によってホールインワンと判断された場合、上記生成されるゴルフ映像情報にホールインワン祝いのためのコンテンツを挿入し、上記ボールトラッキング処理部によって上記ボールと上記ホールカップ間の距離が算出された場合、上記生成されるゴルフ映像情報に上記算出されたボールとホールカップ間の距離を表示するようにすることを特徴とする、項目8に記載のゴルフ映像情報自動生成システム。
[項目11]
ゴルフ場における使用者のゴルフショットによるゴルフ映像情報を自動で生成するシステムであって、
ティーボックスに設置され、撮影領域内で使用者のゴルフショットに対する映像を取得するティーボックス撮影ユニットと、
フェアウェイ上の一領域を撮影するように設置されるフェアウェイ撮影ユニットと、
上記ティーボックス撮影ユニット及びフェアウェイ撮影ユニットからそれぞれ撮影された映像を収集し、上記ティーボックス撮影ユニット及びフェアウェイ撮影ユニットのそれぞれから収集された映像の抽出区間を決定し、上記決定された映像の抽出区間によって抽出された各映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する映像情報処理装置と、
を含む、ゴルフ映像情報自動生成システム。
[項目12]
上記フェアウェイ撮影ユニットは上記フェアウェイ上に前もって設定しておいた目標領域を撮影するように構成され、上記映像情報処理装置は上記フェアウェイ撮影ユニットから収集した映像を分析して該当映像でボールの位置を算出することによってゴルフラウンドする使用者のそれぞれが行ったゴルフショットによってボールが上記目標領域内に着地したかを判断するように構成され、その判断結果を上記使用者に知らせる又はサーバーに伝送して記録するようにすることを特徴とする、項目11に記載のゴルフ映像情報自動生成システム。
[項目13]
上記映像情報処理装置は、上記フェアウェイ撮影ユニットから収集した映像を分析して該当映像でボールの位置を算出することにより、ゴルフラウンドする使用者のうち最も長い飛距離を記録した使用者を判別する又は上記飛距離に基づいて上記使用者に対して順位を決定するように構成され、上記判別又は決定された結果を上記使用者に知らせる又はサーバーに伝送して記録するようにすることを特徴とする、項目11に記載のゴルフ映像情報自動生成システム。
[項目14]
ゴルフ場における使用者のゴルフショットによるゴルフ映像情報を自動で生成するシステムであって、
ゴルフ場の特定ホールの一側に設置され、撮影領域内で使用者のゴルフショットに対する映像を取得する第1撮影ユニットと、
上記特定ホールの他側に設置され、パンチルトズーム駆動が可能であり、予め設定された事項によってズームイン、ズームアウト、及び上下及び左右の少なくとも一方への回転によるビュー変更の少なくとも一つを行って、上記使用者がゴルフショットすることによる映像を撮影するように構成される第2撮影ユニットと、
上記第1撮影ユニット及び第2撮影ユニットからそれぞれ撮影された映像を収集し、上記第1撮影ユニット及び第2撮影ユニットから収集されたそれぞれの映像から抽出された各映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する映像情報処理装置と、
を含む、ゴルフ映像情報自動生成システム。
[項目15]
上記第2撮影ユニットは、予め設定された第1倍率でズームインされて上記使用者のゴルフショットに対する映像を取得してから上記映像情報処理装置のトリガー信号又は外部から入力されるトリガー信号によって予め設定された第2倍率でズームアウトされ、目標地点を含む領域が撮影領域内に含まれるように上下及び左右ので少なくとも一方に回転して映像を撮影するように構成され、上記映像情報処理装置は、上記第1撮影ユニットから収集した映像で上記トリガー信号を基準に予め設定された区間に対して抽出した映像と上記第2撮影ユニットから収集した映像から上記トリガー信号を基準に上記ズームイン映像、上記ズームアウト映像及び上下及び左右の少なくとも一方に回転して撮影した上記目標地点を含む領域の映像を含むように抽出した映像とを結合することによって上記ゴルフ映像情報を自動で生成するように構成されることを特徴とする、項目14に記載のゴルフ映像情報自動生成システム。
[項目16]
ゴルフ場における使用者のゴルフショットによるゴルフ映像情報を自動で生成するシステムのゴルフ映像情報自動生成方法であって、
少なくとも一つのカメラを含む第1撮影ユニットによってその撮影領域内で使用者がゴルフショットすることに対して撮影される映像を収集して格納部に格納する段階と、
少なくとも一つのカメラを含む第2撮影ユニットによって目標地点を含む領域に対して撮影される映像を収集して上記格納部に格納する段階と、
上記第1撮影ユニット及び第2撮影ユニットのそれぞれから収集された映像の抽出区間を決定する段階と、
上記格納部に格納された各映像から上記決定された映像の抽出区間によって抽出した各映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する段階と、
を含む、ゴルフ映像情報自動生成方法。
[項目17]
上記映像の抽出区間を決定する段階は、
上記第1撮影ユニットの映像に対する映像処理によってボールが打撃によって動くことを感知することによってトリガー信号が発生する時点又は上記使用者のゴルフスイングによってボールが打撃されるときに外部からのトリガー信号受信時点を決定する段階と、上記決定されたトリガー信号の発生時点又は受信時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各撮影ユニットのカメラ別映像に対してそれぞれ決定する段階とを含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目18]
上記映像の抽出区間を決定する段階は、
上記第1撮影ユニットの映像に対する映像処理によってボールが打撃によって動くことを感知することによってトリガー信号が発生する時点又は上記使用者のゴルフスイングによってボールが打撃されるときに外部からのトリガー信号受信時点を決定する段階と、上記第2撮影ユニットの映像に対する映像処理によってボールを検出してボールの動きが止まった時点を決定する段階と、上記トリガー信号の発生時点又は受信時点及び上記ボールの動きが止まった時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各撮影ユニットのカメラ別映像に対してそれぞれ決定する段階とを含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目19]
上記第2撮影ユニットの映像に対する映像処理によってボールの位置をトラッキングする段階と、上記目標地点の位置と上記トラッキングされたボールの位置を用いて上記ボールと目標地点間の距離を算出する段階とをさらに含み、
上記ゴルフ映像情報を自動で生成する段階は、上記算出されたボールと目標地点間の距離情報を上記生成されるゴルフ映像情報に表示する段階を含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目20]
上記第1撮影ユニットは、ティーボックスに設置され、ゴルフショットする使用者の側面を撮影するカメラを含むように構成され、
上記映像の抽出区間を決定する段階は、
上記第1撮影ユニットの映像で上記ティーボックスに設置された少なくとも一つのティーマーカーを認識し、上記認識された少なくとも一つのティーマーカーを基準に予め設定された大きさの関心領域を設定する段階と、複数のフレームの映像から上記設定された関心領域に対応する映像を抽出し、差映像分析によって打撃されたボールが動くことを感知することによってトリガー信号を発生させる段階と、上記トリガー信号が発生した時点を基準に上記ゴルフ映像情報の生成のための映像抽出区間を上記各撮影ユニットのカメラ別映像に対してそれぞれ決定する段階とを含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目21]
上記第2撮影ユニットはグリーンを含む領域を撮影するカメラを含むように構成され、
上記第2撮影ユニットの映像に対する映像処理によってボールの位置をトラッキングする段階と、上記グリーン上のホールカップの位置と上記トラッキングされたボールの位置を用いてホールインワンであるかを判断する又は上記ボールと上記ホールカップ間の距離を算出する段階とをさらに含み、
上記ゴルフ映像情報を自動で生成する段階は、
上記ボール位置のトラッキング結果、ホールインワンであると判断された場合、上記生成されるゴルフ映像情報にホールインワン祝いのためのコンテンツを挿入し、上記ボール位置のトラッキング結果、ホールインワンではない場合、上記生成されるゴルフ映像情報に上記算出されたボールとホールカップ間の距離を表示する段階をさらに含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目22]
上記第2撮影ユニットはグリーンを含む領域を撮影するカメラを含むように構成され、
ゴルフラウンドする各使用者のゴルフショットに対してそれぞれ上記第2撮影ユニットの映像に対する映像処理によってボールの位置をトラッキングする段階と、上記グリーン上のホールカップの位置と上記トラッキングされたボールの位置を用いて上記ゴルフラウンドする各使用者のゴルフショットに対して上記ホールカップにボールが最も近接した場合を判断する段階とをさらに含み、
上記ゴルフ映像情報を自動で生成する段階は、
上記ホールカップにボールが最も近接した場合であると判断された使用者のゴルフショットについてのゴルフ映像情報にニアリスト祝いのためのコンテンツを挿入する段階をさらに含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目23]
上記第2撮影ユニットはグリーンを含む領域を撮影するカメラを含むように構成され、
上記第2撮影ユニットの映像から上記グリーン上のホールカップ又は上記ホールカップの旗竿を認識して上記グリーン上のホールカップの位置を実時間で感知する段階と、上記第2撮影ユニットの映像に対する映像処理によってボールの位置をトラッキングする段階と、上記実時間感知によって決定される上記ホールカップの位置と上記トラッキングされたボールの位置を用いてホールインワンであるかの判断及び上記ボールと上記ホールカップ間の距離の算出の少なくとも一つを行う段階をさらに含み、
上記ゴルフ映像情報を自動で生成する段階は、
上記ホールインワンであるかの判断又は上記ボールとホールカップ間の距離算出の結果を上記ゴルフ映像情報に表示する段階をさらに含むことを特徴とする、項目16に記載のゴルフ映像情報自動生成方法。
[項目24]
ゴルフ場における使用者のゴルフショットによるゴルフ映像情報を自動で生成するシステムのゴルフ映像情報自動生成方法であって、
ゴルフ場の特定ホールの一側に設置された第1撮影ユニットによって撮影される使用者のゴルフショットに対する映像を収集して格納部に格納する第1撮影ユニット映像収集及び格納段階と、
上記特定ホールの他側に設置され、パンチルトズーム駆動の可能な第2撮影ユニットによってズームイン、ズームアウト、及び上下及び左右の少なくとも一方への回転によるビュー変更の少なくとも一つを行って上記使用者がゴルフショットすることによって撮影される映像を収集して上記格納部に格納する第2撮影ユニット映像収集及び格納段階と、
上記第1撮影ユニットから抽出された第1抽出映像及び第2撮影ユニットから抽出された第2抽出映像を予め設定された事項によって編集することによって上記ゴルフ映像情報を自動で生成する段階と、
を含む、ゴルフ映像情報自動生成方法。
[項目25]
上記第2撮影ユニット映像収集及び格納段階は、
上記第2撮影ユニットによって予め設定された第1倍率でズームインされた基本状態で上記使用者のゴルフショットに対する映像を取得する段階と、映像情報処理装置のトリガー信号又は外部から入力されるトリガー信号によって上記第2撮影ユニットが上記基本状態で予め設定された第2倍率でズームアウトされながら映像を取得する段階と、上記第2撮影ユニットが上下及び左右の少なくとも一方に回転駆動され、上記目標地点の位置情報を認識して上記目標地点を含む領域に対する映像を取得する段階と、上記それぞれの取得される映像を上記映像情報処理装置によって収集して上記格納部に格納する段階とを含むことを特徴とする、項目24に記載のゴルフ映像情報自動生成方法。
[項目26]
上記ゴルフ映像情報を自動で生成する段階は、
上記第1撮影ユニットから収集した映像から上記トリガー信号を基準に予め設定された区間に対する映像を抽出する段階と、上記第2撮影ユニットから収集した映像から上記トリガー信号を基準に上記ズームイン映像、上記ズームアウト映像及び上下及び左右の少なくとも一方に回転して撮影した上記目標地点を含む領域の映像を含むように映像を抽出する段階と、上記各抽出された映像を結合することによって又は上記各抽出された映像を結合し、その結合された映像に予め設定されたコンテンツを挿入する又は上記各抽出された映像に対して予め設定された映像処理をすることによって上記ゴルフ映像情報を自動で生成する段階とを含むことを特徴とする、項目25に記載のゴルフ映像情報自動生成方法。
[項目27]
上記ゴルフ映像情報を自動で生成する段階は、
上記第1撮影ユニットから収集した映像から上記トリガー信号を基準に予め設定された区間に対する映像を抽出する段階と、上記第2撮影ユニットから収集した映像から上記トリガー信号を基準に上記ズームイン映像、上記ズームアウト映像、上記上下及び左右の少なくとも一方に回転して撮影した上記目標地点を含む領域の映像及び上記目標地点を含む領域の映像に対して上記目標地点の位置によって決定される倍率でズームインした映像を含むように映像を抽出する段階と、上記各抽出された映像を結合することによって又は上記各抽出された映像を結合し、その結合された映像に予め設定されたコンテンツを挿入する又は上記各抽出された映像に対して予め設定された映像処理をすることによって上記ゴルフ映像情報を自動で生成する段階とを含むことを特徴とする、項目25に記載のゴルフ映像情報自動生成方法。