特許 6374763 映像合成装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6374763

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】映像合成装置及びそのプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180806BHJP

【ＦＩ】

   H04N5/232 290

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2014-227987(P2014-227987)

(22)【出願日】2014年11月10日

(65)【公開番号】特開2016-92717(P2016-92717A)

(43)【公開日】2016年5月23日

【審査請求日】2017年10月4日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(73)【特許権者】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】加藤 大一郎

(72)【発明者】

【氏名】三ツ峰 秀樹

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特表２００８−５４５１９４（ＪＰ，Ａ）

【文献】 特開２００２−１２３８２９（ＪＰ，Ａ）

【文献】 特開２００７−２９０５７５（ＪＰ，Ａ）

【文献】 特開２００９−０９０６８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

遠ざかる物体が撮影された撮影映像に、前記物体を拡大して合成する映像合成装置であって、
前記撮影映像を構成するフレーム画像から検出された物体又は前記フレーム画像で指定された物体の位置変化から、前記撮影映像における前記物体の２次元軌道を算出する２次元軌道算出手段と、
前記撮影映像の時刻が経過する程、前記物体が大きくなるように前記物体のサイズを算出する物体サイズ算出手段と、
前記２次元軌道算出手段で算出された２次元軌道が表す位置、及び、前記物体サイズ算出手段が算出したサイズで前記物体を前記撮影映像に合成する映像合成手段と、
を備えることを特徴とする映像合成装置。

【請求項2】

前記２次元軌道算出手段は、前記フレーム画像より検出された物体の位置変化から前記２次元軌道を算出し、
前記フレーム画像に含まれる物体を物体検出処理により検出する物体検出手段、をさらに備えることを特徴とする請求項１に記載の映像合成装置。

【請求項3】

前記物体の方向及び速度を計測した計測データが入力され、入力された前記計測データに３次元軌道解析処理を施すことで、前記物体の３次元軌道モデルを生成する軌道モデル生成手段と、
前記物体の３次元軌道モデルを２次元座標系に投影し、投影された前記３次元軌道モデルが表す物体の位置から所定範囲を検出範囲として設定する検出範囲設定手段と、をさらに備え、
前記物体検出手段は、前記検出範囲設定手段が設定した検出範囲内で、前記フレーム画像に含まれる物体を検出することを特徴とする請求項２に記載の映像合成装置。

【請求項4】

前記２次元軌道算出手段は、前記フレーム画像で指定された物体の位置変化から前記２次元軌道を算出し、
前記フレーム画像に含まれる物体が指定される物体指定手段、をさらに備えることを特徴とする請求項１に記載の映像合成装置。

【請求項5】

コンピュータを、請求項１から請求項４の何れか一項に記載の映像合成装置として機能させるための映像合成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、遠ざかる物体が撮影された撮影映像にその物体を拡大して合成する映像合成装置及びそのプログラムに関する。

【背景技術】

【0002】

従来から、ゴルフ等のスポーツ中継では、高速で遠ざかるゴルフボール等の物体をハイスピードカメラで撮影し、撮影した映像をゆっくりと再生するスローモーション再生が行われている（例えば、非特許文献１参照）。このスローモーション再生では、ボールの動きが遅くなるので、視聴者がゴルフボールを見失うことが少なくなる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】超高速度撮像デバイスの研究・開発の動向、大竹浩、技研公開２０１３、高フレームレート撮像技術特集号、日本放送協会、P8-14

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、このスローモーション再生では、ゴルフボールの動きが遅くなるのでスピード感が得られず、スポーツ中継の臨場感が失われてしまう。そこで、スポーツ中継において、再生速度を低下させずに、ゴルフボールのような遠ざかる物体を見易くしたいという強い要望がある。

【0005】

本願発明は、再生速度を低下させずに、遠ざかる物体が見易い合成映像を生成できる映像合成装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

前記した課題に鑑みて、本願発明に係る映像合成装置は、遠ざかる物体が撮影された撮影映像に、物体を拡大して合成する映像合成装置であって、２次元軌道算出手段と、物体サイズ算出手段と、映像合成手段とを備える構成とした。

【0007】

かかる構成によれば、映像合成装置は、２次元軌道算出手段によって、撮影映像を構成するフレーム画像から検出された物体又は前記フレーム画像で指定された物体の位置変化から、撮影映像における物体の２次元軌道を算出する。
この撮影映像では、遠ざかる物体が撮影されているため、時刻が経過する程、物体が小さくなる。そこで、映像合成装置は、物体サイズ算出手段によって、撮影映像の時刻が経過する程、物体が大きくなるように物体のサイズを算出する。
さらに、映像合成装置は、映像合成手段によって、２次元軌道算出手段で算出された２次元軌道が表す位置、及び、物体サイズ算出手段が算出したサイズで物体を合成する。つまり、映像合成装置は、物体が遠ざかる程、その物体を拡大して合成する。

【発明の効果】

【0008】

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る映像合成装置は、物体が遠ざかる程、その物体が拡大して合成されるので、再生速度を低下させずに、遠ざかる物体が見易い合成映像を生成できる。これによって、映像合成装置は、合成映像の臨場感を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本願発明の第１実施形態に係る映像合成システムの概略図である。

【図2】図１の映像合成装置の構成を示すブロック図である。

【図3】本願発明の第１実施形態において、フレーム画像の選択を説明する説明図である。

【図4】本願発明の第１実施形態において、ゴルフボールの指定を説明する説明図である。

【図5】本願発明の第１実施形態において、２次元軌道の算出を説明する説明図である。

【図6】本願発明の第１実施形態において、飛距離の推定を説明する説明図である。

【図7】本願発明の第１実施形態において、ゴルフボールの合成を説明する説明図である。

【図8】図２の映像合成装置の動作を示すフローチャートである。

【図9】本願発明の第２実施形態に係る映像合成装置の構成を示すブロック図である。

【図10】本願発明の第２実施形態において、ゴルフボールの検出を説明する説明図である。

【図11】図９の映像合成装置の動作を示すフローチャートである。

【図12】本願発明の第３実施形態に係る映像合成システムの概略図である。

【図13】図１２の映像合成装置の構成を示すブロック図である。

【図14】本願発明の第３実施形態において、検出範囲の設定を説明する説明図である。

【図15】図１３の映像合成装置の動作を示すフローチャートである。

【図16】本願発明の変形例を説明する説明図である。

【発明を実施するための形態】

【0010】

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0011】

（第１実施形態）
［映像合成システムの概略］
図１を参照し、本願発明の第１実施形態に係る映像合成システム１の概略について説明する。
図１のように、映像合成システム１は、例えば、ゴルフ映像（撮影映像）を撮影し、このゴルフ映像に含まれるゴルフボール（物体）９０を拡大して合成するものであり、撮影カメラ１０と、映像合成装置２０とを備える。

【0012】

撮影カメラ１０は、ゴルフ映像を撮影する一般的な放送用ビデオカメラである。また、撮影カメラ１０は、ケーブル３０を介して、映像合成装置２０に接続されている。そして、撮影カメラ１０は、撮影したゴルフ映像を映像合成装置２０に出力する。

【0013】

例えば、撮影カメラ１０は、ゴルフ選手９１の右側（図１左側）に配置され、ティーショットを行うゴルフ選手９１を撮影する。ここで、ゴルフボール９０は、撮影カメラ１０と反対方向、つまり、ゴルフ選手９１の左側（図１右側）に飛んでいく。従って、撮影カメラ１０は、手前側から奥側にゴルフボール９０が遠ざかっていくゴルフ映像を撮影することになる。

【0014】

映像合成装置２０は、撮影カメラ１０から入力されたゴルフ映像のゴルフボール９０を拡大して合成するものである。ここで、映像合成装置２０は、撮影カメラ１０から入力されたゴルフ映像を、画像ファイル化して扱ってもよい。

【0015】

［映像合成装置の構成］
図２を参照し、映像合成装置２０の構成について説明する（適宜図１参照）。
図２のように、映像合成装置２０は、物体指定手段２１と、２次元軌道算出手段２２と、物体サイズ算出手段２３と、映像合成手段２４とを備える。
なお、合成映像とは、拡大したゴルフボール９０が合成されたゴルフ映像のことである。

【0016】

物体指定手段２１は、撮影カメラ１０からのゴルフ映像を構成するフレーム画像に含まれるゴルフボール９０が、外部（例えば、映像合成装置２の操作者）から指定されるものである。この物体指定手段２１は、例えば、ゴルフボール９０の指定対象となるフレーム画像を選択させた後、選択されたフレーム画像内でゴルフボール９０の領域を操作者に指定させる。

【0017】

＜フレーム画像の選択及びゴルフボールの指定＞
以下、図３，図４を参照し、フレーム画像の選択及びゴルフボール９０の指定について具体的に説明する（適宜図１，図２参照）。
まず、物体指定手段２１は、図３のように、ゴルフ映像を構成する各フレーム画像を時刻（タイムコード）ｔ，ｔ+１，ｔ+２，…の順番で、図示を省略したディスプレイに表示する。すると、映像合成装置２０の操作者は、タッチペン、キーボード、マウス等の操作手段（不図示）を用いて、表示されたフレーム画像のうち、ゴルフボール９０の指定対象となるフレーム画像を選択する。このとき、操作者は、全フレーム画像を選択してもよく、１枚おきにフレーム画像を選択してもよく、任意のフレーム画像を選択してもよい。図３の例では、操作者が、２枚おきにフレーム画像を選択している。

【0018】

なお、ゴルフ映像を構成するフレーム画像のうち、選択されたフレーム画像を「選択フレーム画像」と呼び、時刻順にｎ番目の選択フレーム画像を「選択フレーム画像ｎ」と呼ぶ。
また、ゴルフ映像を構成するフレーム画像のうち、選択フレーム画像として選択されていないフレーム画像を「未選択フレーム画像」と呼ぶ。
また、図３では、選択フレーム画像を太枠で図示した。

【0019】

ここで、最初及び最後のフレーム画像が、後記する２次元軌道やゴルフボール９０のサイズを算出する際に必要となる。そこで、物体指定手段２１は、ゴルフボール９０を打ったとき（つまり、ゴルフボール９０をインパクトした瞬間）のフレーム画像を、最初のフレーム画像として操作者に選択させる。さらに、物体指定手段２１は、ゴルフボール９０が着地したときのフレーム画像を、最後のフレーム画像として操作者に選択させる。

【0020】

次に、物体指定手段２１は、図４のように、選択フレーム画像ｎ，ｎ+１，ｎ+２，…を時刻順にディスプレイに表示する。すると、操作者は、操作手段（例えば、タッチペン９２）を用いて、選択フレーム画像ｎ，ｎ+１，ｎ+２，…のそれぞれに含まれるゴルフボール９０の領域を指定する。このとき、物体指定手段２１は、選択フレーム画像毎に指定されたゴルフボール９０の領域における重心位置又は中心位置を、ゴルフボール９０の位置として算出する。さらに、物体指定手段２１は、最初の選択フレーム画像で指定されたゴルフボール９０の領域の大きさ（例えば、直径）を、ゴルフボール９０の初期サイズとして算出する。

【0021】

その後、物体指定手段２１は、選択フレーム画像内でのゴルフボール９０の位置と、ゴルフボール９０の初期サイズとを２次元軌道算出手段２２に出力する。

【0022】

図２に戻り、映像合成装置２０の構成について説明を続ける。
２次元軌道算出手段２２は、物体指定手段２１より入力されたゴルフボール９０の位置変化から、ゴルフ映像におけるゴルフボール９０の２次元軌道を算出するものである。

【0023】

＜２次元軌道の算出＞
図５を参照し、２次元軌道９３の算出を説明する（適宜図２参照）。
以下、選択フレーム画像ｎにおいて、ゴルフボール９０の位置をＰ_ｎ（ｘ_ｎ，ｙ_ｎ）とする。このｘ_ｎ，ｙ_ｎは、選択フレーム画像ｎでのゴルフボール９０のｘ座標、ｙ座標を表す。また、選択フレーム画像ｎの時刻をＴ_ｎとする。
なお、ゴルフボール９０がティーアップされた初期位置、つまり、最初の選択フレーム画像に含まれるゴルフボール９０の位置Ｐ_１（０，０）を２次元軌道９３の原点とする。

【0024】

ゴルフボール９０の速度ベクトルＶ_ｎは、選択フレーム画像ｎ，ｎ＋１での間において、ゴルフボール９０の位置変化量（Ｐ_ｎ＋１−Ｐ_ｎ）を経過時間（Ｔ_ｎ＋１−Ｔ_ｎ）で除算することで求められる。つまり、ゴルフボール９０の速度ベクトルＶ_ｎは、下記式（１）で求めることができる。
Ｖ_ｎ＝（Ｐ_ｎ＋１−Ｐ_ｎ）／（Ｔ_ｎ＋１−Ｔ_ｎ） …式（１）

【0025】

図５の例では、選択フレーム画像が５枚であることとする。この場合、２次元軌道算出手段２２は、式（１）を用いて、ゴルフボール９０の速度ベクトルＶ_１，…，Ｖ_４を算出する。そして、２次元軌道算出手段２２は、選択フレーム画像の時刻Ｔ_１，…，Ｔ_５の順に速度ベクトルＶ_１，…，Ｖ_４を連結することで、ゴルフボール９０の２次元軌道９３を算出する。
その後、２次元軌道算出手段２２は、算出した２次元軌道９３と、物体指定手段２１から入力されたゴルフボール９０の初期サイズとを物体サイズ算出手段２３に出力する。

【0026】

ここで、ゴルフ映像が映像同期信号（例えば、５９．９４Ｈｚ）を基準に撮影され、各フレーム画像にタイムコードが付加されているため、未選択フレーム画像の時刻は容易に把握できる。そして、未選択フレーム画像の時刻と速度ベクトルＶ_ｎとが求まっているので、未選択フレーム画像内でのゴルフボール９０の位置を算出できる。すなわち、ゴルフボール９０の２次元軌道９３は、ゴルフボール９０の位置（各フレーム画像内での座標）を表していると言える。

【0027】

図２に戻り、映像合成装置２０の構成について説明を続ける。
ゴルフ映像では、ゴルフボール９０が遠ざかるため、時刻が経過する程、ゴルフボール９０が小さくなる。そこで、物体サイズ算出手段２３は、ゴルフ映像の経過時刻に応じて、ゴルフボール９０が大きくなるようにゴルフボール９０のサイズを算出するものである。

【0028】

具体的には、物体サイズ算出手段２３は、ゴルフ映像の経過時刻からゴルフボール９０の飛翔時間を推定し、この飛翔時間からゴルフボール９０の飛距離を推定し、この飛距離からゴルフボール９０を拡大するサイズを算出する。

【0029】

＜飛距離の推定＞
図６を参照し、物体サイズ算出手段２３による飛距離推定について具体的に説明する。
まず、物体サイズ算出手段２３は、ゴルフ映像の経過時刻（最初及び最後の選択フレーム画像の時間差）を、ゴルフボール９０を打ってからゴルフボール９０が着地するまでの飛翔時間として算出する。

【0030】

また、物体サイズ算出手段２３は、飛翔時間を飛距離に変換する飛翔時間−飛距離規則を予め設定しておく。この飛翔時間−飛距離規則は、例えば、飛翔時間が０秒を超えて１秒以下であれば飛距離が１００メートル、飛翔時間が１秒を超えて２秒以下であれば飛距離が２００メートル、といったように設定される。そして、物体サイズ算出手段２３は、この飛翔時間−飛距離規則を参照し、ゴルフボール９０の飛翔時間からゴルフボール９０の飛距離を推定する。

【0031】

ここで、ゴルフボール９０を打った直後、ゴルフボール９０が左右に大きく外れた場合、ゴルフボール９０の飛距離が短くなると考えられる。そこで、物体サイズ算出手段２３は、ゴルフボール９０の飛距離の推定結果に、ゴルフボール９０の飛翔方向を反映させてもよい。

【0032】

例えば、飛翔方向を反映させる場合、物体サイズ算出手段２３は、図６のように、フレーム画像内でゴルフコースの地面を表す基準軸Ａ_Ｘを予め設定する。そして、物体サイズ算出手段２３は、ゴルフボール９０を打った直後の速度ベクトルＶ_１の方向（飛翔方向）と、基準軸Ａ_Ｘとのなす角θを算出する。さらに、物体サイズ算出手段２３は、算出したなす角θのｓｉｎ値を飛距離の推定結果に乗じる。

【0033】

続いて、物体サイズ算出手段２３は、ゴルフボール９０の飛距離をサイズ拡大率に変換する飛距離−サイズ拡大率を予め設定しておく。この飛距離−サイズ拡大率は、例えば、飛距離が１００メートル以上１５０メートル未満であればサイズ拡大率が１２５％、飛距離が１５０メートル以上２００メートル未満であればサイズ拡大率が１５０％、といったように設定される。

【0034】

続いて、物体サイズ算出手段２３は、フレーム画像毎にサイズ拡大率を算出する。まず、物体サイズ算出手段２３は、予め設定された初期値（例えば、１００％）を、最初の選択フレーム画像におけるサイズ拡大率として算出する。次に、物体サイズ算出手段２３は、前記した飛距離−サイズ拡大率を参照し、ゴルフボール９０の飛距離の推定結果から、最後の選択フレーム画像におけるサイズ拡大率を算出する。さらに、物体サイズ算出手段２３は、最初及び最後以外のフレーム画像におけるサイズ拡大率を、最初と最後との選択フレーム画像におけるサイズ拡大率から補間（例えば、線形補間）する。

【0035】

続いて、物体サイズ算出手段２３は、フレーム画像毎にゴルフボール９０のサイズを算出する。例えば、物体サイズ算出手段２３は、ゴルフボール９０の初期サイズと、フレーム画像毎に算出したサイズ拡大率とを乗じることで、フレーム画像毎にゴルフボール９０のサイズを算出する。

【0036】

その後、物体サイズ算出手段２３は、フレーム画像毎に算出したゴルフボール９０のサイズと、２次元軌道算出手段２２から入力された２次元軌道とを映像合成手段２４に出力する。

【0037】

図２に戻り、映像合成装置２０の構成について説明を続ける。
映像合成手段２４は、物体サイズ算出手段２３から入力された２次元軌道が表すゴルフボール９０の位置とゴルフボール９０のサイズとで、ゴルフボール９０を各フレーム画像に合成するものである。

【0038】

前記したように、ゴルフボール９０の２次元軌道は、各フレーム画像内でのゴルフボール９０の位置を表している。従って、映像合成手段２４は、ゴルフボール９０の２次元軌道からゴルフボール９０の位置を求められる。そして、映像合成手段２４は、求めたゴルフボール９０の位置に、物体サイズ算出手段２３が算出したサイズでゴルフボール９０を合成する。このようにして、映像合成手段２４は、図７のように、ゴルフボール９０が拡大された合成映像を生成する。

【0039】

［映像合成装置の動作］
図８を参照し、映像合成装置２０の動作について説明する（適宜図２参照）。
映像合成装置２０は、物体指定手段２１によって、ゴルフ映像に含まれるゴルフボール９０を手動で指定する。
具体的には、物体指定手段２１は、ゴルフ映像を構成する全フレーム画像のうち、ゴルフボール９０の指定対象となる選択フレーム画像を選択させる。そして、物体指定手段２１は、選択フレーム画像に含まれるゴルフボール９０を指定させ、指定されたゴルフボール９０の領域における重心位置又は中心位置をゴルフボール９０の位置として算出する。物体指定手段２１は、最初の選択フレーム画像から検出されたゴルフボール９０の領域の大きさを、ゴルフボール９０の初期サイズとして算出する（ステップＳ１）。

【0040】

映像合成装置２０は、２次元軌道算出手段２２によって、ステップＳ１で算出したゴルフボール９０の位置変化から、ゴルフ映像におけるゴルフボール９０の２次元軌道を算出する。
具体的には、２次元軌道算出手段２２は、前記した式（１）を用いてゴルフボール９０の速度ベクトルを算出し、算出したゴルフボール９０の速度ベクトルを選択フレーム画像の時刻順に連結することで、ゴルフボール９０の２次元軌道を算出する（ステップＳ２）。

【0041】

映像合成装置２０は、物体サイズ算出手段２３によって、ゴルフ映像の経過時刻に応じて、ゴルフボール９０が大きくなるようにゴルフボール９０のサイズを算出する。
具体的には、物体サイズ算出手段２３は、最初及び最後の選択フレーム画像の時間差をゴルフボール９０の飛翔時間として算出する。次に、物体サイズ算出手段２３は、飛翔時間−飛距離規則を参照し、算出したゴルフボール９０の飛翔時間から、ゴルフボール９０の飛距離を推定する。続いて、物体サイズ算出手段２３は、飛距離−サイズ拡大率を参照し、ゴルフボール９０の飛距離から、最後の選択フレーム画像におけるサイズ拡大率を算出する。続いて、物体サイズ算出手段２３は、最初及び最後の選択フレーム画像におけるサイズ拡大率から、各フレーム画像におけるサイズ拡大率を算出する。続いて、物体サイズ算出手段２３は、ゴルフボール９０の初期サイズとサイズ拡大率とを乗じることで、フレーム画像毎にゴルフボール９０のサイズを算出する（ステップＳ３）。

【0042】

映像合成装置２０は、映像合成手段２４によって、ステップＳ２で算出した２次元軌道が表すゴルフボール９０の位置、及び、ステップＳ３で算出したゴルフボール９０のサイズで、ゴルフボール９０を各フレーム画像に合成する（ステップＳ４）。

【0043】

以上のように、本願発明の第１実施形態に係る映像合成装置２０は、ゴルフボール９０が遠ざかる程、そのゴルフボール９０が拡大してゴルフ映像に合成されるので、再生速度を低下させずに、遠ざかるゴルフボール９０が見易い合成映像を生成できる。これによって、映像合成装置２０は、合成映像の臨場感を向上させることができる。

【0044】

（第２実施形態）
図９を参照し、本願発明の第２実施形態に係る映像合成装置２０Ｂの構成について、第１実施形態と異なる点を説明する。
映像合成装置２０Ｂは、ゴルフ映像に含まれるゴルフボール９０を検出する点が、第１実施形態と異なる。

【0045】

図９のように、映像合成装置２０Ｂは、２次元軌道算出手段２２Ｂと、物体サイズ算出手段２３と、映像合成手段２４と、物体検出手段２５とを備える。
なお、物体サイズ算出手段２３及び映像合成手段２４は、第１実施形態と同様のため、説明を省略する。

【0046】

物体検出手段２５は、撮影カメラ１０から入力されたゴルフ映像のフレーム画像に含まれるゴルフボール９０を検出するものである。
具体的には、物体検出手段２５は、ゴルフボール９０の検出対象となるフレーム画像を、選択フレーム画像として予め設定する。例えば、物体検出手段２５は、全フレーム画像又は１枚おきのフレーム画像を、選択フレーム画像として予め設定する。また、物体検出手段２５では、最初及び最後のフレーム画像も、選択フレーム画像として予め設定する。

【0047】

次に、物体検出手段２５は、図１０のように、選択フレーム画像のそれぞれに任意の物体検出処理を施して、ゴルフボール９０の領域を検出する。第２実施形態では、物体検出手段２５は、選択フレーム画像の画面全体に対し、物体検出処理を施す。例えば、物体検出処理として、パターンマッチング、色領域抽出処理、ＳＩＦＴ（Scale Invariant Feature Transform）といった特徴量検出処理をあげることができる。

【0048】

続いて、物体検出手段２５は、検出されたゴルフボール９０の領域の重心位置又は中心位置を、ゴルフボール９０の位置として算出する。そして、物体検出手段２５は、最初の選択フレーム画像から検出されたゴルフボール９０の領域の大きさ（例えば、直径）を、ゴルフボール９０の初期サイズとして算出する。

【0049】

その後、物体検出手段２５は、選択フレーム画像内でのゴルフボール９０の位置と、ゴルフボール９０の初期サイズとを２次元軌道算出手段２２Ｂに出力する。

【0050】

２次元軌道算出手段２２Ｂは、物体検出手段２５より入力されたゴルフボール９０の位置変化から、ゴルフ映像におけるゴルフボール９０の２次元軌道を算出するものである。
なお、２次元軌道算出手段２２Ｂは、第１実施形態と同様の手法で２次元軌道を算出するため、これ以上の説明を省略する。

【0051】

［映像合成装置の動作］
図１１を参照し、映像合成装置２０Ｂの動作について説明する（適宜図９参照）。
なお、ステップＳ２〜Ｓ４の処理は、第１実施形態と同様のため、説明を省略する。

【0052】

映像合成装置２０Ｂは、物体検出手段２５によって、ゴルフ映像のフレーム画像に含まれるゴルフボール９０を検出する。
具体的には、物体検出手段２５は、ゴルフ映像を構成する全フレーム画像のうち、ゴルフボール９０の検出対象となる選択フレーム画像を設定する。そして、物体検出手段２５は、選択フレーム画像に含まれるゴルフボール９０の領域を検出し、検出したゴルフボール９０の領域の重心位置又は中心位置をゴルフボール９０の位置として算出する。さらに、物体検出手段２５は、最初の選択フレーム画像から検出されたゴルフボール９０の領域の大きさをゴルフボール９０の初期サイズとして算出する（ステップＳ５）。

【0053】

以上のように、本願発明の第２実施形態に係る映像合成装置２０Ｂは、第１実施形態と同様の理由により、合成映像の臨場感を向上させることができる。さらに、映像合成装置２０Ｂは、ゴルフ映像に含まれるゴルフボール９０を手動で指定する必要がないので、合成映像を生成する手間を低減することができる。

【0054】

（第３実施形態）
［映像合成システムの概略］
図１２を参照し、本願発明の第３実施形態に係る映像合成システム１Ｃの概略について、第２実施形態と異なる点を説明する。
第２実施形態では、ゴルフ映像の画面全体をゴルフボール９０の検出範囲としたが、ゴルフボール９０が小さいといった理由でゴルフボール９０を検出できない場合がある。このため、第３実施形態では、ゴルフボール９０の３次元軌道を推定し、その推定結果からゴルフボール９０の検出範囲を絞り込む点が第２実施形態と異なる。

【0055】

図１２のように、映像合成システム１Ｃは、撮影カメラ１０Ｃと、映像合成装置２０Ｃと、レーザ計測器４０とを備える。また、映像合成システム１Ｃでは、ケーブル３０を介して、撮影カメラ１０Ｃ及びレーザ計測器４０のそれぞれと、映像合成装置２０Ｃとが接続されている。

【0056】

撮影カメラ１０Ｃは、例えば、ゴルフ選手９１の右前側に配置される。これ以外、撮影カメラ１０Ｃは、第１実施形態と同様のため、説明を省略する。

【0057】

レーザ計測器４０は、ゴルフボール９０の方向及び速度を計測し、その計測結果を計測データとして映像合成装置２０Ｃに出力するものである。この計測データは、ゴルフボール９０の３次元軌道を推定する際に必要となる。

【0058】

例えば、レーザ計測器４０は、ゴルフ選手９１の正面側（図１下側）に配置され、ゴルフボール９０を打ったタイミングで、ゴルフボール９０の方向及び速度を計測する。このとき、ゴルフボール９０を打ったタイミングは、図示を省略したハイスピードカメラでの画像処理（例えば、ゴルフボール９０に対する動きベクトル検出処理）や、レーダ計測器により検出してもよい。そして、レーザ計測器４０は、ケーブル３０を介して、計測した方向及び速度を計測データとして、映像合成装置２０Ｃに出力する。

【0059】

［映像合成装置の構成］
図１３を参照し、映像合成装置２０Ｃの構成について説明する（適宜図１２参照）。
図１３のように、映像合成装置２０Ｃは、２次元軌道算出手段２２Ｂと、物体サイズ算出手段２３と、映像合成手段２４と、物体検出手段２５Ｃと、軌道モデル生成手段２６と、検出範囲設定手段２７とを備える。
なお、２次元軌道算出手段２２Ｂ、物体サイズ算出手段２３及び映像合成手段２４は、第２実施形態と同様のため、説明を省略する。

【0060】

軌道モデル生成手段２６は、レーザ計測器４０から入力された計測データに３次元軌道解析処理を施すことで、３次元軌道モデルを生成するものである。
なお、３次元軌道モデルは、ゴルフボール９０が実空間（ゴルフコース）で飛んだ軌道を表すモデルである。

【0061】

例えば、軌道モデル生成手段２６は、３次元軌道解析処理として、下記の参考文献１に記載の手法を用いることができる。この参考文献１に記載の手法は、ゴルフボール９０の回転軸が傾いていることにより揚力の分力が生じ、この分力がゴルフボール９０の曲がりの空気力学的な原因であるとして、３次元飛翔軌道方程式を定式化したものである。
参考文献１：「ゴルフボールの空気力測定と３次元飛翔軌道解析」、日本流体力学学会誌、第２３巻、第３号、P203-211、2004

【0062】

この参考文献１に記載の手法では、ゴルフボール９０を打ったときの速度、仰角、横ぶれ角、回転速度、回転軸の傾きを初期条件として設定する必要がある。この初期条件のうち、ゴルフボール９０を打ったときの速度は、計測データに含まれる速度とする。また、ゴルフボール９０を打ったときの仰角及び横ぶれ角は、計測データに含まれる方向の垂直方向成分及び水平方向成分から求めることができる。また、ゴルフボール９０を打ったときの回転速度及び回転軸は、任意の値で予め設定しておく。

【0063】

このようにして、軌道モデル生成手段２６は、計測データから、ある程度の精度を有する３次元軌道解析結果を得ることができる。そして、軌道モデル生成手段２６は、生成した３次元軌道モデルを検出範囲設定手段２７に出力する。

【0064】

検出範囲設定手段２７は、軌道モデル生成手段２６から入力された３次元軌道モデルを２次元座標系に投影し、投影された３次元軌道モデルが表すゴルフボール９０の位置から所定範囲を検出範囲として設定するものである。

【0065】

例えば、検出範囲設定手段２７は、平行投影、透視投影等の投影法を用いて、３次元軌道モデルをフレーム画像の２次元座標系に投影する。つまり、検出範囲設定手段２７は、実空間でゴルフボール９０の軌道を表す３次元軌道モデルを、フレーム画像内でゴルフボール９０の軌道を表す２次元軌道モデルに変換する。

【0066】

次に、検出範囲設定手段２７は、２次元軌道モデルの始点を基準点として設定する。そして、検出範囲設定手段２７は、基準点を中心として、縦横に所定の画素数を有する矩形領域を、検出範囲として設定する。さらに、検出範囲設定手段２７は、基準点が２次元軌道モデルの終点に達するまで、基準点の移動と、検出範囲の設定とを繰り返す。

【0067】

その後、検出範囲設定手段２７は、各基準点で設定した検出範囲を物体検出手段２５Ｃに出力する。
なお、検出範囲は、矩形領域に限定されず、円形領域、楕円形領域等の様々形状の領域に設定できる。

【0068】

物体検出手段２５Ｃは、検出範囲設定手段２７から入力された検出範囲内で、ゴルフ映像のフレーム画像に含まれるゴルフボール９０を検出するものである。
図１４のように、物体検出手段２５Ｃは、ハッチングで図示したフレーム画像の検出範囲９４に物体検出処理を施して、ゴルフボール９０の領域を検出する。他の点、物体検出手段２５Ｃは、第２実施形態と同様のため、これ以上の説明を省略する。

【0069】

［映像合成装置の動作］
図１５を参照し、映像合成装置２０Ｃの動作について説明する（適宜図１３参照）。
なお、ステップＳ２〜Ｓ４の処理は、第１実施形態と同様のため、説明を省略する。

【0070】

映像合成装置２０Ｃは、軌道モデル生成手段２６によって、レーザ計測器４０から入力された計測データに３次元軌道解析処理を施すことで、ゴルフボール９０の３次元軌道モデルを生成する。
具体的には、軌道モデル生成手段２６は、前記した参考文献１に記載の３次元飛翔軌道解析を用いて、３次元軌道モデルを生成する（ステップＳ６）。

【0071】

映像合成装置２０Ｃは、検出範囲設定手段２７によって、ステップＳ６で生成した３次元軌道モデルを２次元座標系に投影し、投影された３次元軌道モデルが表すゴルフボール９０の位置から所定範囲を検出範囲として設定する。
具体的には、検出範囲設定手段２７は、平行投影、透視投影等の投影法を用いて、３次元軌道モデルを２次元軌道モデルに変換する。そして、検出範囲設定手段２７は、２次元軌道モデルの始点を基準点として設定し、この基準点を中心とした矩形領域を検出範囲として設定する。さらに、検出範囲設定手段２７は、基準点が２次元軌道モデルの終点に達するまで、基準点の移動と、検出範囲の設定とを繰り返す（ステップＳ７）。

【0072】

映像合成装置２０Ｃは、物体検出手段２５Ｃによって、ステップＳ７で設定した検出範囲内で、各選択フレーム画像に含まれるゴルフボール９０の領域を検出する（ステップＳ８）。

【0073】

以上のように、本願発明の第３実施形態に係る映像合成装置２０Ｃは、第２実施形態と同様の理由により、合成映像の臨場感を向上させることができる。さらに、映像合成装置２０Ｃは、ゴルフボール９０の検出範囲を絞り込むため、ゴルフボール９０が検出できない事態を低減でき、高品質な合成映像を生成することができる。

【0074】

以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した各実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0075】

（変形例１）
図１２に戻り、変形例１に係る映像合成装置２０Ｃについて説明する。
前記した第３実施形態では、ゴルフ映像から、ゴルフボール９０の実際の高度を求めることができない。また、撮影カメラ１０Ｃの位置とレーザ計測器４０の位置とが異なっている。そこで、映像合成装置２０Ｃでは、撮影カメラ１０Ｃとレーザ計測器４０との方位角φに基づいてキャリブレーションを実施することで、３次元軌道モデルを補正してもよい。

【0076】

図１３のように、軌道モデル生成手段２６は、第３実施形態と同様、３次元軌道モデルを生成する。また、２次元軌道算出手段２２Ｂは、第３実施形態と同様、ゴルフボール９０の２次元軌道を算出する。そして、２次元軌道算出手段２２Ｂは、この２次元軌道を用いて、後記するようにゴルフボール９０の仮想高度を算出し、算出した仮想高度を軌道モデル生成手段２６に出力する（図１３の破線参照）。

【0077】

次に、軌道モデル生成手段２６は、２次元軌道算出手段２２Ｂから入力された仮想高度と、ゴルフボール９０の推定高度との誤差が最小となるように最小二乗法でマッチングを行い、３次元軌道モデルを修正する（キャリブレーション）。そして、軌道モデル生成手段２６は、修正した３次元軌道モデルを検出範囲設定手段２７に出力する。

【0078】

なお、ゴルフボール９０の推定高度とは、軌道モデル生成手段２６で生成された３次元軌道モデルが示すゴルフボール９０の高度のことである。
以後、映像合成装置２０Ｃは、第３実施形態と同様、検出範囲の設定と、ゴルフボール９０の検出と、２次元軌道の算出とを行う。

【0079】

＜仮想高度の算出＞
以下、図１６を参照し、２次元軌道算出手段２２Ｂによる仮想高度の算出を具体的に説明する（適宜図１３参照）。
まず、２次元軌道算出手段２２Ｂは、ゴルフ映像に進行軸Ｐ_Ｘを設定する。図１６のように、進行軸Ｐ_Ｘは、ゴルフ映像に含まれる地面上でゴルフボール９０が進行する方向を表したものである。例えば、操作者は、ゴルフ映像のうち代表的な構図のフレーム画像について、タッチペン等の操作手段を用いて、ゴルフボール９０の進行軸Ｐ_Ｘを設定する。ここで、進行軸Ｐ_Ｘの開始位置は、ゴルフボール９０が飛ぶ前の位置、つまり、ティーアップされたゴルフボール９０の位置とすればよい。

【0080】

前記したように、ゴルフボール９０の２次元軌道９３は、ゴルフボール９０の位置（各フレーム画像内での座標）を表している。従って、２次元軌道算出手段２２Ｂは、算出した２次元軌道９３を用いて、フレーム画像毎にゴルフボール９０の仮想高度を算出する。２次元軌道算出手段２２Ｂは、２次元軌道９３と進行軸Ｐ_Ｘとの距離（ピクセル数）ｈ_２〜ｈ_５を算出する。図１６の例では、２次元軌道算出手段２２Ｂは、２次元軌道９３に含まれる速度ベクトルＶ_１〜Ｖ_５の先頭位置（つまり、選択フレーム画像から検出されたゴルフボール９０の位置）と進行軸Ｐ_Ｘとの距離を算出している。

【0081】

続いて、２次元軌道算出手段２２Ｂは、算出した距離をゴルフボール９０の仮想高度に変換する距離−仮想高度変換規則を予め設定する。この距離−仮想高度変換規則は、例えば、距離が１０ピクセルであればゴルフボール９０の仮想高度が３メートル、距離が２０ピクセルであればゴルフボール９０の仮想高度が５メートル、といったように設定される。

【0082】

そして、２次元軌道算出手段２２Ｂは、前記した距離−仮想高度変換規則を参照し、算出した距離から、選択フレーム画像におけるゴルフボール９０の仮想高度を算出する。さらに、２次元軌道算出手段２２Ｂは、未選択フレーム画像におけるゴルフボール９０の仮想高度を、選択フレーム画像におけるゴルフボール９０の仮想高度から補間（例えば、線形補間）する。その後、２次元軌道算出手段２２Ｂは、フレーム画像毎に算出したゴルフボール９０の仮想高度を、軌道モデル生成手段２６に出力する。

【0083】

以上のように、変形例１に係る映像合成装置２０Ｃは、３次元軌道モデルをゴルフボール９０の仮想高度に合わせて修正するため、より正確な検出範囲を設定できる。これによって、映像合成装置２０Ｃは、ゴルフボール９０の検出精度をより向上させることができる。

【0084】

（その他実施形態）
前記した実施形態では、ゴルフ映像を例に説明したが、本願発明が対象とする撮影映像は、これに限定されない。例えば、本願発明は、テニス、卓球、射撃等のスポーツ映像に適用することができる。また、本願発明の対象となる撮影映像は、何らかの物体が遠ざかる映像であれば、スポーツ映像でなくともよい。例えば、本願発明は、高速飛行する動物や高速移動する乗り物が被写体となる科学環境番組に用いると、これら物体（動物や乗り物）が見易くなるので好ましい。

【0085】

前記した実施形態では、映像合成装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、本願発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、映像合成装置として協調動作させる映像合成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0086】

１，１Ｃ 映像合成システム
１０，１０Ｃ 撮影カメラ
２０，２０Ｂ，２０Ｃ 映像合成装置
２１ 物体指定手段
２２，２２Ｂ ２次元軌道算出手段
２３ 物体サイズ算出手段
２４ 映像合成手段
２５，２５Ｃ 物体検出手段
２６ 軌道モデル生成手段
２７ 検出範囲設定手段
９０ ゴルフボール（物体）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】