特開 2024-104587 動画像生成システム、動画像生成方法及び動画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024104587

(43)【公開日】2024-08-05

(54)【発明の名称】動画像生成システム、動画像生成方法及び動画像生成プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240729BHJP

   H04N 5/91 20060101ALI20240729BHJP

【ＦＩ】

H04N23/60 500

H04N5/91

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023008885

(22)【出願日】2023-01-24

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】片岡 研一

(72)【発明者】

【氏名】秋山 深一

(72)【発明者】

【氏名】長谷川 徹

【テーマコード（参考）】

5C053

5C122

【Ｆターム（参考）】

5C053FA14

5C053GB06

5C053JA21

5C053LA01

5C053LA11

5C122DA03

5C122DA42

5C122EA06

5C122EA61

5C122FH10

5C122FH11

5C122FH14

5C122FH20

5C122HA01

5C122HA35

5C122HB05

5C122HB09

(57)【要約】

【課題】移動体（例えば馬）を映し続ける動画像を生成する。
【解決手段】動画像生成システムは、移動体に設けられ、前記移動体の時刻ごとの位置を検出する位置検出装置と、異なる位置範囲の画像を撮像する複数の撮像装置と、前記複数の撮像装置によって撮像された撮像画像の中から、前記位置検出装置から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する情報処理装置と、を備えている。
【選択図】図８

【特許請求の範囲】

【請求項1】

移動体に設けられ、前記移動体の時刻ごとの位置を検出する位置検出装置と、
異なる位置範囲の画像を撮像する複数の撮像装置と、
前記複数の撮像装置によって撮像された撮像画像の中から、前記位置検出装置から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する情報処理装置と、を備える動画像生成システム。

【請求項2】

前記情報処理装置は、前記複数の撮像装置によって撮像された時刻ごとの撮像画像から時刻ごとのパノラマ画像を生成し、前記時刻ごとのパノラマ画像それぞれにおいて、前記位置検出装置から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする請求項１に記載の動画像生成システム。

【請求項3】

前記情報処理装置は、前記複数の撮像装置によって撮像された撮像画像のうち、前記位置検出装置から出力される位置と時刻との組み合わせに対応する撮像画像を特定するとともに、特定した前記撮像画像において前記移動体を画像認識して、特定した前記撮像画像から前記移動体が撮像されている部分を切り出した画像を抽出し、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする請求項１に記載の動画像生成システム。

【請求項4】

前記撮像画像の画素数は、前記動画像の１フレームの画素数よりも大きい、ことを特徴とする請求項３に記載の動画像生成システム。

【請求項5】

移動体に設けられ、前記移動体の時刻ごとの位置を検出する位置検出装置と、
前記移動体を撮像する撮像装置と、
前記位置検出装置から出力される位置と時刻との組み合わせに基づいて、前記移動体の現在又は将来の位置を予測し、予測した位置に基づいて前記撮像装置を制御して動画像を撮像する情報処理装置と、を備える動画像生成システム。

【請求項6】

前記情報処理装置は、前記撮像装置によって撮像された動画像において前記移動体を画像認識して、前記移動体が撮像されている部分を切り出した画像を抽出し、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする請求項５に記載の動画像生成システム。

【請求項7】

前記情報処理装置は、前記位置検出装置から出力される位置と時刻との組み合わせから得られる前記移動体の移動速度及び移動方向と、に基づいて、前記移動体の現在又は将来の位置を予測する、ことを特徴とする請求項５に記載の動画像生成システム。

【請求項8】

移動体の時刻ごとの位置を取得し、
異なる位置範囲を撮像する複数の撮像装置から撮像画像を取得し、
前記複数の撮像装置によって撮像された撮像画像の中から、取得した位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、
処理をコンピュータが実行することを特徴とする動画像生成方法。

【請求項9】

移動体の時刻ごとの位置を取得し、
取得した位置と時刻との組み合わせに基づいて、前記移動体の現在又は将来の位置を予測し、予測した位置に基づいて撮像装置を制御して動画像を撮像する、
処理をコンピュータが実行することを特徴とする動画像生成方法。

【請求項10】

移動体の時刻ごとの位置を取得し、
異なる位置範囲を撮像する複数の撮像装置から撮像画像を取得し、
前記複数の撮像装置によって撮像された撮像画像の中から、取得した位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、
処理をコンピュータに実行させることを特徴とする動画像生成プログラム。

【請求項11】

移動体の時刻ごとの位置を取得し、
取得した位置と時刻との組み合わせに基づいて、前記移動体の現在又は将来の位置を予測し、予測した位置に基づいて撮像装置を制御して動画像を撮像する、
処理をコンピュータに実行させることを特徴とする動画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像生成システム、動画像生成方法及び動画像生成プログラムに関する。

【背景技術】

【0002】

カーレースや競馬場、競馬場内のパドック等の様子を中継する場合、定点に設置したカメラを撮影者が手動でパン・チルト・ズームして撮影し、撮影映像を中継車等に集め、映像を切り替えて使用するのが一般的である。この場合、中継を視聴する全視聴者に対して、同一の映像が提供されるようになっている。

【0003】

近年、視聴者の間では、自分の好みに応じた映像（例えば視聴者が好む車やドライバー、競走馬）だけを見たいという要望が高まっている。

【0004】

これに対し、スポーツ中継において選手をユーザが指定した場合に、カメラを選択・制御し、指定した選手を常に一定の位置・大きさで表示する技術が知られている（例えば特許文献１等参照）。また、競馬場のパドックの周囲に連続して設置した複数のカメラの画像からパノラマ映像を作成し、パノラマ映像を解析してトリミングすることにより、特定の馬が映り続ける映像を作成する技術が知られている（例えば特許文献２等参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平８－２２１５９２号公報

【特許文献2】特開２０２１－１６６３８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、実空間中での対象物の位置と、複数のカメラの視野情報とに基づいて、カメラの選択・制御を行い、画面上に対象物を常に一定の位置・大きさで表示することとしている。このため、対象物の位置に基づいてリアルタイムで（遅延なく）カメラを選択・制御しないと、適切な映像が得られないおそれがある。

【0007】

また、特許文献２では、パノラマ映像を映像解析してトリミングすることにより、特定の馬が一定の位置に配置された映像を作成する。この場合、パノラマ映像において特定の馬を追尾するために、ゼッケンをマーカとして用いることとしている。しかしながら、ゼッケンをマーカとして用いる場合、ゼッケンが他の物体に隠れてしまいパノラマ映像に映らなくなると、特定の馬を追尾できなくなる可能性がある。

【0008】

１つの側面では、本発明は、移動体を映し続ける動画像を生成することが可能な動画像生成システム、動画像生成方法及び動画像生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

一つの態様では、動画像生成システムは、移動体に設けられ、前記移動体の時刻ごとの位置を検出する位置検出装置と、異なる位置範囲の画像を撮像する複数の撮像装置と、前記複数の撮像装置によって撮像された撮像画像の中から、前記位置検出装置から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する情報処理装置と、を備えている。

【発明の効果】

【0010】

移動体を映し続ける動画像を生成することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る動画像生成システムの構成を概略的に示す図である。

【図2】図２（ａ）は、撮像装置により撮像される画像の一例を示す図であり、図２（ｂ）は、位置データのデータ構造の一例を示す図である。

【図3】図３（ａ）は、利用者端末のハードウェア構成を示す図であり、図３（ｂ）は、情報処理装置のハードウェア構成を示す図である。

【図4】情報処理装置の機能ブロック図である。

【図5】撮像装置Ａ、Ｂ、Ｃにより撮像された撮像画像を時系列に沿って並べて示す図である。

【図6】図５の画像から得られるパノラマ画像を示す図である。

【図7】図７（ａ）は、パドック１周分のパノラマ画像を示す図であり、図７（ｂ）は、各撮像装置が撮像できる範囲を説明するための図であり、図７（ｃ）は、パノラマ画像に位置情報が付帯されていることを説明するための図である。

【図8】パノラマ画像から各馬の画像を抽出する例を模式的に示す図である。

【図9】各馬の動画像を示す図である。

【図10】選択ＤＢのデータ構造を示す図である。

【図11】第１の実施形態に係る情報処理装置の処理を示すフローチャートである。

【図12】第２の実施形態に係る動画像生成システムの構成を概略的に示す図である。

【図13】第２の実施形態の動画像生成システムが備える情報処理装置の機能ブロック図である。

【図14】隣接する２つの撮像装置Ａ，Ｂにより撮像された撮像画像を時系列に沿って並べて示す図である。

【図15】各馬の画像を抽出する方法について説明するための図である。

【図16】図１５の例で生成される動画像の一例を示す図である。

【図17】抽出した画像の一部をトリミングする例について示す図である。

【図18】図１７の例で生成される動画像の一例を示す図である。

【図19】第３の実施形態に係る動画像生成システムの構成を概略的に示す図である。

【図20】第３の実施形態の動画像生成システムが備える情報処理装置の機能ブロック図である。

【図21】第３の実施形態で生成される動画像（その１）を示す図である。

【図22】第３の実施形態で生成される動画像（その２）を示す図である。

【発明を実施するための形態】

【0012】

《第１の実施形態》
以下、動画像生成システムの第１の実施形態について、図１～図１１に基づいて詳細に説明する。

【0013】

図１には、第１の実施形態に係る動画像生成システム１００の構成が概略的に示されている。

【0014】

本第１の実施形態の動画像生成システム１００は、競馬場のパドック２００において利用されるシステムであり、パドック２００の様子を示す動画像を利用者端末７０に配信するシステムである。利用者は、配信サービスを受ける際に、どの場所にいてもよい。すなわち、利用者は、競馬場内にいてもよいし、自宅等にいてもよい。

【0015】

図１に示すように、パドック２００は、手綱を持った人（厩務員）がリードして競走馬が周回する周回路２０２を備える。なお、パドック２００の周回路２０２は、オーバル形状である。ただし、これに限らず、競走馬が周回できる形状であれば、その他の形状（例えば、円形、楕円形等）であってもよい。パドック２００は、競馬（レース）に発走する前の競走馬の状態を客等が確認する施設である。

【0016】

動画像生成システム１００は、複数の撮像装置６０、複数の位置検出装置７５、利用者端末７０、情報処理装置１０を備える。利用者端末７０及び情報処理装置１０は、インターネット通信網等を含む通信網８０に接続されており、通信可能となっている。また、複数の撮像装置６０及び情報処理装置１０は、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット通信網等の通信網８２に接続されており、通信可能となっている。更に、複数の位置検出装置７５についても、不図示ではあるが通信網８２に接続されており、情報処理装置１０と通信可能となっている。

【0017】

（撮像装置６０）
複数の撮像装置６０は、周回路２０２に沿って、周回路２０２の周囲全周に連続して所定間隔で設置されている。各撮像装置６０の撮像方向（撮像レンズの光軸方向）や高さは、固定されている。撮像装置６０の撮像方向は、周回路２０２の法線方向の外側から内側に向けた方向であり、また、略水平方向である。さらに、複数の撮像装置６０の高さは、馬体の真横程度であり、全ての撮像装置６０において等しいものとする。

【0018】

各撮像装置６０が上述したように設置されていることから、各撮像装置６０は、図２（ａ）に示すように、馬体の右側の真横から撮影することができる。また、隣合う撮像装置６０の撮影範囲は、左右方向において若干重なっているものとする。

【0019】

なお、撮像装置が撮像した撮像画像（動画像の各フレーム）には、メタデータとして時刻情報が付帯している。

【0020】

（位置検出装置７５）
位置検出装置７５は、移動体としての馬それぞれに取り付けられており、例えばＲＴＫ－ＧＮＳＳ（Real-Time Kinematic－Global Navigation Satellite System）受信機を有し、馬の位置情報（緯度、経度）を高精度で（２～３ｃｍ程度の誤差範囲内で）検出する。位置検出装置７５には、馬の識別情報（馬ＩＤ）が対応付けられている。位置検出装置７５は、所定時間間隔（例えば、０．１秒間隔）で位置検出を行う。位置検出装置７５は、位置検出のタイミングごとに時刻情報を取得し、取得した時刻情報と、馬ＩＤと、を位置情報と紐づける。なお、以下においては、馬ＩＤと時刻情報が紐づけられた位置情報を「位置データ」と呼ぶものとし、位置データのデータ構造は、図２（ｂ）のようになっているものとする。位置検出装置７５は、各馬の位置データを取得するたびに情報処理装置１０に送信する。

【0021】

（利用者端末７０）
利用者端末７０は、利用者が利用するスマートフォンやＰＣ（Personal Computer）などの端末である。図３（ａ）には、利用者端末７０のハードウェア構成が示されている。図３（ａ）に示すように、利用者端末７０は、ＣＰＵ（Central Processing Unit）１９０、ＲＯＭ（Read Only Memory）１９２、ＲＡＭ（Random Access Memory）１９４、ストレージ（ここではＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive））１９６、ネットワークインタフェース１９７、表示部１９３、入力部１９５、及び可搬型記憶媒体用ドライブ１９９等を備えている。これら利用者端末７０の構成各部は、バス１９８に接続されている。表示部１９３は液晶ディスプレイ等を含み、入力部１９５はキーボードやマウス、タッチパネル等を含む。利用者は、利用者端末７０から、ブラウザや専用のアプリを用いて、パドック２００の動画像を視聴可能なサイトにログインし、利用することができる。表示部１９３には、情報処理装置１０から配信される動画像が表示される。また、利用者は、入力部１９５を介して、どの競走馬が映っている動画像を閲覧したいかを選択することができる。

【0022】

（情報処理装置１０）
情報処理装置１０は、複数の撮像装置６０が撮像した画像（動画像の各フレーム）を用いて、各馬がパドック２００を周回している様子を表示する動画像を生成し、利用者端末７０に送信する。なお、情報処理装置１０は、１台であってもよいし、複数台であってもよい。

【0023】

図３（ｂ）には、情報処理装置１０のハードウェア構成が示されている。図３（ｂ）に示すように、情報処理装置１０は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、ストレージ９６、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら情報処理装置１０の構成各部は、バス９８に接続されている。情報処理装置１０においては、ＲＯＭ９２あるいはストレージ９６に格納されているプログラム（動画像生成プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（動画像生成プログラムを含む）をＣＰＵ９０が実行することにより、図４に示す各部として機能する。なお、図４の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0024】

図４には、情報処理装置１０の機能ブロック図が示されている。図４に示すように、情報処理装置１０においては、ＣＰＵ９０がプログラムを実行することにより、撮像画像取得部３０、位置データ取得部３２、パノラマ画像生成部３４、馬画像抽出部３６、動画像生成部３８、選択受付部４０、出力部４２、として機能する。なお、図４には、ストレージ９６等に格納されている動画像ＤＢ６０や選択ＤＢ６２も図示されている。

【0025】

撮像画像取得部３０は、複数の撮像装置６０から撮像画像（動画像の各フレーム）を取得し、パノラマ画像生成部３４に受け渡す。

【0026】

位置データ取得部３２は、位置検出装置７５から取得した各馬の位置データ（図２（ｂ）参照）を馬画像抽出部３６に受け渡す。

【0027】

パノラマ画像生成部３４は、同時刻において複数の撮像装置６０により撮像された撮像画像（フレーム）を用いてパノラマ画像を生成する。図５には、一例として、３つの撮像装置Ａ、Ｂ、Ｃにより撮像された撮像画像が時系列に沿って示されている。図５において横方向に並ぶ画像は、同時刻に撮像された画像であり、上下方向の上側ほど撮像時刻が前であり、下側ほど撮像時刻が後である。パノラマ画像生成部３４は、同時刻の撮像画像からパノラマ画像を生成する。例えば、図５のような３つの撮像装置６０により撮像された画像からは、図６に示すような各時刻のパノラマ画像が生成される。なお、実際には、パドック２００の周囲に設置された全撮像装置６０の撮像画像を用いるため、図７（ａ）に示すように、パドック１周分のパノラマ画像が生成される。

【0028】

ここで、パノラマ画像生成部３４は、複数の撮像装置６０それぞれが、パドック２００の周回路２０２上のどの範囲を撮像できるかの情報を予め取得しているものとする。例えば、範囲は、図７（ｂ）において破線枠で示すような周回路２０２上の矩形領域であるものとする。パノラマ画像生成部３４は、当該範囲の四隅の位置情報（緯度、経度）を予め取得している。したがって、パノラマ画像生成部３４は、図７（ｃ）に示すように、パノラマ画像に、位置情報を付帯させることができる。例えば、図７（ｃ）の中央に位置している馬は、（緯度，経度）が（Ｎ５，Ｅ５）、（Ｎ６，Ｅ６）、（ｎ５，ｅ５）、（ｎ６，ｅ６）で規定される範囲内に存在していることになる。

【0029】

図４に戻り、馬画像抽出部３６は、パノラマ画像生成部３４が生成したパノラマ画像から、各馬の位置データに対応する画像を抽出（トリミング）する。この場合、馬画像抽出部３６は、各馬の位置データ（馬ＩＤ，位置，時刻）から、パノラマ画像の時刻に対応する各馬の位置情報を特定する。そして、馬画像抽出部３６は、特定した位置に対応するパノラマ画像の位置を特定し、特定したパノラマ画像の位置に基づいて抽出範囲を特定する。図８には、パノラマ画像から各馬の画像を抽出する例が模式的に示されている。本実施形態においては、図８において破線で示す範囲が抽出される。なお、複数のパノラマ画像から上記のようにして画像を抽出することで、馬がほぼ中央に写った画像を抽出することが可能となっている。

【0030】

動画像生成部３８は、馬画像抽出部３６が抽出した各馬に対応する画像を時系列に沿ってつなぎ合わせて、図９に示すような各馬（ゼッケン２番、１番、１８番の馬）の動画像を生成する。図９に示すように、動画像においては、各馬がほぼ中央の一定の位置に映し出されるようになっている。動画像生成部３８は、生成した動画像を動画像ＤＢ６０に格納する。

【0031】

選択受付部４０は、利用者が入力部１９５を介して選択した馬の情報を取得し、選択ＤＢ６２に格納する。選択ＤＢ６２には、図１０に示すように、利用者端末７０の端末ＩＤと、利用者端末７０それぞれにおいて選択された競走馬のＩＤ（馬ＩＤ）が紐づけて格納される。

【0032】

出力部４２は、選択ＤＢ６２から、各利用者端末７０において選択された馬ＩＤを取得し、各利用者が選択した競走馬に対応する動画像を、各利用者の利用者端末７０に出力（配信）する。

【0033】

（情報処理装置１０の処理について）
次に、情報処理装置１０の処理について、図１１のフローチャートに沿って、その他図面を適宜参照しつつ説明する。

【0034】

図１１の処理の前提として、ユーザは、ブラウザや専用のアプリからパドック２００の動画像を視聴可能なサイトにログインし、当該サイトにおいて、競走馬がパドック２００に登場する前に、１頭の競走馬を選択しているものとする。なお、図１０のように、ログインしている各利用者端末７０の端末ＩＤと、利用者端末７０それぞれにおいて選択された競走馬のＩＤ（馬ＩＤ）は、選択ＤＢ６２において管理されている。図１１の処理は、パドック２００への競走馬の入場開始のタイミングで開始してもよいし、競馬場の管理者から開始指示が情報処理装置１０に入力された段階で開始してもよい。

【0035】

図１１の処理が開始されると、ステップＳ１０において、撮像画像取得部３０及び位置データ取得部３２は、撮像画像及び位置データの取得を開始する。

【0036】

次いで、ステップＳ１２において、パノラマ画像生成部３４は、パノラマ画像（図７（ａ）参照）の生成を開始する。すなわち、パノラマ画像生成部３４は、同じ時刻に複数の撮像装置６０で撮像された画像を隣り合わせて配置し、組み合わせることで、パノラマ画像を生成する。なお、パノラマ画像生成部３４は、隣り合う撮像画像の重複部分の歪み等を補正することにより、周方向に連続したパノラマ画像を作成する。パノラマ画像は、周回路２０２を外側から見た画像であって、周回路２０２上に位置する全ての競走馬を映した画像となる。

【0037】

次いで、ステップＳ１４において、馬画像抽出部３６は、各馬の位置情報に基づいて、パノラマ画像から画像を抽出（トリミング）する処理（図８参照）を開始する。この場合、馬画像抽出部３６は、前述したように、パノラマ画像の時刻に対応する各馬の位置情報を各馬の位置データから特定し、特定した各馬の位置に対応するパノラマ画像の位置を特定する。そして、馬画像抽出部３６は、特定したパノラマ画像の位置に基づいて抽出範囲を特定し、特定した抽出範囲をトリミングする。例えば、パドック内に１０頭の競走馬が存在する場合には、１枚のパノラマ画像から１０枚の画像が抽出（トリミング）される。

【0038】

なお、馬画像抽出部３６は、抽出した全ての画像における馬体の大きさが、一定となるように、及び馬体が画像内において一定の位置に配置されるように、適宜抽出の仕方を調整してもよい。この場合、馬体を深層学習等により画像認識し、画像認識結果に基づいて、上記調整を行うようにすればよい。

【0039】

次いで、ステップＳ１６において、動画像生成部３８は、抽出した画像を時系列に沿ってつなげて動画像を生成する処理（図９参照）を開始する。この場合、撮像順に従って次々に生成されるパノラマ画像から抽出される画像を繋ぎ合わせた動画像がほぼリアルタイムで生成されることになる。

【0040】

ステップＳ１８において、出力部４２は、生成された動画像のうち、利用者端末７０において選択された馬に対応する動画像のストリーミング配信を開始する。これにより、利用者は、利用者端末７０の表示部１９３上において、好みの馬（選択した馬）がパドック２００を周回する様子を確認することができる。

【0041】

次いで、ステップＳ２０において、選択受付部４０は、馬の選択変更があったか否かを判断する。利用者が選択している馬を変更した場合には、このステップＳ２０の判断が肯定され、ステップＳ１８に戻る。この場合、ステップＳ１８において、出力部４２は、新たに選択された馬の動画像を利用者端末７０に対して出力（ストリーミング配信）する。一方、ステップＳ２０の判断が否定された場合には、ステップＳ２２に移行する。

【0042】

ステップＳ２２に移行すると、撮像画像取得部３０及び位置データ取得部３２は、終了か否かを判断する。このステップＳ２２の判断が否定された場合には、ステップＳ２０に戻る。一方、ステップＳ２２の判断が肯定された場合には、図１１の全処理を終了する。なお、本第１の実施形態では、例えば、全馬がパドック２００の周回を終えたタイミングで、ステップＳ２２の判断が肯定されるようになっている。

【0043】

以上、詳細に説明したように、本第１の実施形態によると、競走馬に設けられた位置検出装置７５が、競走馬の時刻ごとの位置を検出する。また、複数の撮像装置６０は、異なる位置範囲の画像を撮像する。そして、情報処理装置１０は、複数の撮像装置６０によって時刻ごとに撮像された撮像画像から時刻ごとのパノラマ画像を生成する。また、情報処理装置１０は、各時刻のパノラマ画像から、競走馬の位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する。これにより、情報処理装置１０は、競走馬を常時映し出す動画像を生成することができる。この場合、情報処理装置１０は、競走馬のゼッケンをマーカとして追尾するような処理を行わないため、仮に撮像画像においてゼッケンが隠れてしまうような場合があっても、競走馬を常時映し出す動画像を生成することができる。

【0044】

なお、上記第１の実施形態では、動画像は動画像ＤＢ６０に格納される。したがって、情報処理装置１０は、利用者に対し、パドックを競走馬が周回した後のタイミングで配信する（見逃し配信する）こともできる。

【0045】

なお、上記第１の実施形態では、動画像生成システム１００を、パドック２００を周回する競走馬を映す動画像を生成するために用いることとしたが、これに限られるものではない。例えば、競馬場（コース）に複数の撮像装置を設けてもよい。この場合、レースを行う競走馬のうち利用者によって選択された競走馬を常時映し出す動画像を生成することができる。レースにおいては、選択された競走馬が他の競走馬に隠れてしまい、画像認識では、選択された競走馬を追尾できない場合がある。しかしながら、上記第１の実施形態の方法を利用すれば、選択された競走馬が他の競走馬に隠れてしまう場合であっても、選択された競走馬が存在するであろう範囲の画像を抽出することができる。また、競走馬がトレーニングを行うトレーニングセンター（周回調教コースや坂路調教コース）においても上記第１の実施形態の動画像生成システム１００を用いることができる。

【0046】

また、上記第１の実施形態の動画像生成システム１００は、競馬以外に、カーレースや競艇、陸上競技（例えばトラック競技）、水泳など様々な場面において用いることができる。例えば、カーレースであれば、車に位置検出装置７５を設け、コース脇に複数の撮像装置を並べて配置することで、利用者が応援している車の様子を常時確認できる動画像を利用者に対して提供することができる。

【0047】

《第２の実施形態》
次に、第２の実施形態について、図１２～図１８に基づいて詳細に説明する。

【0048】

図１２には、第２の実施形態に係る動画像生成システム１００’が概略的に示されている。本第２の実施形態に係る動画像生成システム１００’は、第１の実施形態と同様、競馬場のパドック２００において利用されるシステムであり、パドック２００の様子を示す動画像を利用者端末７０に配信するシステムである。

【0049】

本第２の実施形態においては、隣り合う撮像装置６０の間隔が第１の実施形態よりも広くなっており、各撮像装置６０の画角（撮像範囲）も広くなっている。本第２の実施形態では、各撮像装置６０の画角が広く、撮像画像の端の部分が歪むため、パノラマ画像を生成する画像として用いるには不向きである。したがって、本第２の実施形態では、パノラマ画像を生成せずに、各馬を常時映し出す動画像を生成する。

【0050】

図１３には、本第２の実施形態の動画像生成システム１００’が備える情報処理装置１０の機能ブロック図が示されている。図１３に示すように、本第２の実施形態においては、第１の実施形態（図４）と異なり、情報処理装置１０は、パノラマ画像生成部３４を有していない。また、本第２の実施形態においては、馬画像抽出部３６の処理が、第１の実施形態とは異なっている。

【0051】

図１４には、隣接する２つの撮像装置Ａ，Ｂにより撮像された撮像画像を時系列に沿って並べて示す図である。図１４においては、同時刻に撮像された画像（動画像のフレーム）が横方向に並べて配置され、時系列順に撮像された画像が、縦方向の上側から下側に沿って並べて配置されている。

【0052】

本第２の実施形態においては、馬画像抽出部３６は、各撮像装置６０が撮像可能な範囲（図７（ｂ）の矩形範囲）を予め取得している。したがって、馬画像抽出部３６は、各馬が存在する実空間内の位置（緯度、経度）に基づいて、各馬がどの撮像装置によって撮像されているかを特定することができる。

【0053】

撮像画像取得部３０が図１４に示すような画像を取得した場合、馬画像抽出部３６は、図１５に示す馬Ｈの画像を抽出する場合には、馬Ｈの位置データに基づいて、太線枠で示す画像を抽出する。そして、動画像生成部３８は、抽出した画像を時系列に沿ってつないで、図１６に示すような動画像を生成する。

【0054】

図１６の動画像は、各フレームにおける馬の位置は一定ではないものの、馬が常時映し出された動画像となっている。

【0055】

なお、馬画像抽出部３６は、図１５のように馬を映し出している画像を抽出した場合に、抽出した画像の中から、馬が存在する部分を画像認識により切り出してもよい（トリミングしてもよい）。具体的には、図１７において太線枠で示す範囲を切り出すようにすればよい。これにより、図１８に示すように、動画像において馬体は多少左右に移動するものの、競走馬を見やすく表示することが可能となる。なお、図１７のように、１つのフレームの一部を抽出する場合、撮像装置６０が撮像する画像の解像度を高くしておくことが好ましい。例えば撮像画像の１／４の大きさを抽出する場合、撮像装置６０が撮像する画像が８Ｋ画像や４Ｋ画像であれば、動画像は４Ｋ画像や２Ｋ画像になるからである。

【0056】

以上、説明したように、本第２の実施形態によると、競走馬に設けられた位置検出装置７５が、競走馬の時刻ごとの位置を検出する。また、複数の撮像装置６０は、異なる位置範囲の画像を撮像する。そして、情報処理装置１０は、位置検出装置７５から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する。これにより、情報処理装置１０は、競走馬を常時映し出す動画像を生成することができる。この場合、情報処理装置１０は、競走馬のゼッケンをマーカとして追尾するような処理を行わないため、仮に撮像画像においてゼッケンが隠れてしまうような場合があっても、競走馬を常時映し出す動画像を生成することができる。

【0057】

また、情報処理装置１０は、複数の撮像装置６０によって撮像された撮像画像のうち、位置検出装置７５から出力される位置と時刻との組み合わせに対応する撮像画像を特定する。そして、図１７、図１８の例では、情報処理装置１０は、特定した撮像画像において馬を画像認識して、特定した撮像画像から馬が撮像されている部分を切り出す（図１７）。そして、情報処理装置１０は、切り出した部分を時系列に沿ってつなぎ合わせた動画像を生成する（図１８）。これにより、競走馬を常時映し出す動画像において、競走馬を見やすく映し出すことが可能となる。

【0058】

なお、上記第２の実施形態においては、第１の実施形態と同様、動画像生成システム１００’を、パドック２００以外において用いることができる。例えば、動画像生成システム１００’は、競馬場（コース）やトレーニングセンター（周回調教コースや坂路調教コース）においても用いることができる。また、動画像生成システム１００’は、競馬以外に、カーレースや競艇、陸上競技（例えばトラック競技）、水泳など様々な場面において用いることができる。

【0059】

《第３の実施形態》
次に、第３の実施形態について、図１９～図２２に基づいて詳細に説明する。

【0060】

図１９には、第３の実施形態に係る動画像生成システム１００”が概略的に示されている。第３の実施形態に係る動画像生成システム１００”は、第１、第２の実施形態と同様、競馬場のパドック２００において利用されるシステムであり、パドック２００の様子を示す動画像を利用者端末７０に配信するシステムである。

【0061】

本第３の実施形態では、パドック２００の周回路２０２を周回する馬の数だけ、撮像装置６０が設けられており、各撮像装置６０は、各馬と対応付けられているものとする。

【0062】

図２０には、動画像生成システム１００”が備える情報処理装置１０の機能ブロック図が示されている。図２０に示すように、本第３の実施形態の情報処理装置１０は、第２の実施形態の機能（図１３）に加えて、撮像装置制御部１３０の機能を有する。

【0063】

撮像装置制御部１３０は、位置データ取得部３２が取得した各馬の位置データに基づいて、各撮像装置６０の撮像方向を制御する。具体的には、撮像装置制御部１３０は、各撮像装置６０が、各撮像装置６０に対応付けられている馬を常時撮像するように、撮像装置の撮像方向を制御する。なお、撮像装置制御部１３０は、撮像装置の撮像方向をどの方向に制御すれば、周回路２０２のどの位置（範囲）を撮像できるかの情報を事前に取得しているものとする。

【0064】

ここで、撮像装置制御部１３０は、位置データを取得した段階において、位置データに基づく方向に撮像装置６０の撮像方向を向けたのでは遅い（馬が撮像できない）可能性がある。位置データが送られてくるまでの間に遅延が生じる可能性があるからである。したがって、撮像装置制御部１３０は、取得した位置データから馬の現在又は将来の位置を予測し、予測した位置に基づいて撮像装置６０を制御する。具体的には、撮像装置制御部１３０は、位置検出装置７５から出力される位置と時刻との組み合わせから得られる馬の移動速度及び移動方向を算出する。そして、算出結果に基づいて、馬の現在又は将来の位置を予測する。なお、この予測において、パドックの形状を考慮してもよい。すなわち、パドックの形状を考慮して、馬の移動方向を所定範囲内に制限したうえで、馬の現在又は将来の位置を予測するようにしてもよい。

【0065】

上記のように撮像装置制御部１３０が、各馬の現在又は将来の位置に基づいて撮像装置６０を制御することで、撮像画像取得部３０は、各馬を常時映し出す動画像を取得することができる。したがって、出力部４２は、本実施形態では、撮像画像取得部３０が取得した画像を利用者端末７０に対して提供してもよい。

【0066】

ただし、この場合に出力される動画像は、図２１に示すような動画像となる。より具体的には、図２１の動画像の場合、馬が左から右に移動している状態を映し出す時間と、馬が右から左に移動している状態を映し出す時間と、があり、右から左に移動しているときの馬体の大きさは、左から右に移動しているときよりも小さく映し出される。左から右に移動しているときの方が、撮像装置６０からの距離が遠いからである。

【0067】

したがって、本第３の実施形態では、馬画像抽出部３６が、図１７の場合と同様、撮像画像の中から、馬が存在する部分を画像認識により切り出す（トリミングする）こととする。これにより、動画像生成部３８は、図２２に示すように、馬の大きさが常時一定以上となっている動画像を生成することができる。なお、本第３の実施形態では、馬画像抽出部３６がトリミングを行う場合、撮像装置６０が撮像する画像の解像度を高くしておくことが好ましい。例えば撮像画像の１／４の大きさを抽出する場合、撮像装置６０が撮像する画像が８Ｋ画像や４Ｋ画像であれば、動画像は４Ｋ画像や２Ｋ画像になるからである。

【0068】

以上説明したように、本第３の実施形態によると、情報処理装置１０は、位置検出装置７５から出力される位置データ（位置と時刻との組み合わせ）に基づいて、各馬の現在又は将来の位置を予測しする。そして、情報処理装置１０は、予測した位置に基づいて撮像装置６０を制御して動画像を撮像する。これにより、各馬を常時映し出す動画像を撮像し、利用者に提供することができる。例えば、位置データが送信されてくるまでに遅延がある場合、取得した位置データを用いて撮像装置６０を制御したのでは、馬を撮像できなくなるおそれがある。パドック２００における馬の移動速度は４ｋｍ／ｈ程度であるが、遅延が０．５秒であると、０．５６ｍ程度移動してしまい、撮像装置６０を制御しても画角内から馬が外れてしまう可能性があるためである。この場合、情報処理装置１０は、競走馬のゼッケンをマーカとして追尾するような処理を行わないため、仮に撮像画像においてゼッケンが隠れてしまうような場合があっても、競走馬を常時映し出す動画像を生成することができる。

【0069】

また、本第３の実施形態では、馬画像抽出部３６が、撮像装置６０によって撮像された画像（動画像の各フレーム）をトリミングして、動画像を生成するので、馬がほぼ一定の大きさで映る動画像を生成することができる。

【0070】

なお、上記第３の実施形態においても、第１、第２の実施形態と同様、動画像生成システム１００”を、パドック２００以外において用いることができる。

【0071】

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体（ただし、搬送波は除く）に記録しておくことができる。

【0072】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0073】

プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

【0074】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【0075】

なお、以上の第１～第３の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 移動体に設けられ、前記移動体の時刻ごとの位置を検出する位置検出装置と、
異なる位置範囲の画像を撮像する複数の撮像装置と、
前記複数の撮像装置によって撮像された撮像画像の中から、前記位置検出装置から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する情報処理装置と、を備える動画像生成システム。
（付記２） 前記情報処理装置は、前記複数の撮像装置によって撮像された時刻ごとの撮像画像から時刻ごとのパノラマ画像を生成し、前記時刻ごとのパノラマ画像それぞれにおいて、前記位置検出装置から出力される位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする付記１に記載の動画像生成システム。
（付記３） 前記情報処理装置は、前記複数の撮像装置によって撮像された撮像画像のうち、前記位置検出装置から出力される位置と時刻との組み合わせに対応する撮像画像を特定するとともに、特定した前記撮像画像において前記移動体を画像認識して、特定した前記撮像画像から前記移動体が撮像されている部分を切り出した画像を抽出し、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする付記１又は２に記載の動画像生成システム。
（付記４） 前記撮像画像の画素数は、前記動画像の１フレームの画素数よりも大きい、ことを特徴とする付記３に記載の動画像生成システム。
（付記５） 移動体に設けられ、前記移動体の時刻ごとの位置を検出する位置検出装置と、
前記移動体を撮像する撮像装置と、
前記位置検出装置から出力される位置と時刻との組み合わせに基づいて、前記移動体の現在又は将来の位置を予測し、予測した位置に基づいて前記撮像装置を制御して動画像を撮像する情報処理装置と、を備える動画像生成システム。
（付記６） 前記情報処理装置は、前記撮像装置によって撮像された動画像において前記移動体を画像認識して、前記移動体が撮像されている部分を切り出した画像を抽出し、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする付記５に記載の動画像生成システム。
（付記７） 前記情報処理装置は、前記位置検出装置から出力される位置と時刻との組み合わせから得られる前記移動体の移動速度及び移動方向と、に基づいて、前記移動体の現在又は将来の位置を予測する、ことを特徴とする付記５に記載の動画像生成システム。
（付記８） 移動体の時刻ごとの位置を取得し、
異なる位置範囲を撮像する複数の撮像装置から撮像画像を取得し、
前記複数の撮像装置によって撮像された撮像画像の中から、取得した位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、
処理をコンピュータが実行することを特徴とする動画像生成方法。
（付記９） 移動体の時刻ごとの位置を取得し、
取得した位置と時刻との組み合わせに基づいて、前記移動体の現在又は将来の位置を予測し、予測した位置に基づいて撮像装置を制御して動画像を撮像する、
処理をコンピュータが実行することを特徴とする動画像生成方法。
（付記１０） 移動体の時刻ごとの位置を取得し、
異なる位置範囲を撮像する複数の撮像装置から撮像画像を取得し、
前記複数の撮像装置によって撮像された撮像画像の中から、取得した位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、
処理をコンピュータに実行させることを特徴とする動画像生成プログラム。
（付記１１） 前記複数の撮像装置によって撮像された時刻ごとの撮像画像から時刻ごとのパノラマ画像を生成し、前記時刻ごとのパノラマ画像それぞれにおいて、取得した位置と時刻との組み合わせに対応する画像を抽出して、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする付記１０に記載の動画像生成プログラム。
（付記１２） 前記複数の撮像装置によって撮像された撮像画像のうち、取得した位置と時刻との組み合わせに対応する撮像画像を特定するとともに、特定した前記撮像画像において前記移動体を画像認識して、特定した前記撮像画像から前記移動体が撮像されている部分を切り出した画像を抽出し、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする付記１又は２に記載の動画像生成プログラム。
（付記１３） 移動体の時刻ごとの位置を取得し、
取得した位置と時刻との組み合わせに基づいて、前記移動体の現在又は将来の位置を予測し、予測した位置に基づいて撮像装置を制御して動画像を撮像する、
処理をコンピュータに実行させることを特徴とする動画像生成プログラム。
（付記１４） 前記撮像装置によって撮像された動画像において前記移動体を画像認識して、前記移動体が撮像されている部分を切り出した画像を抽出し、抽出した画像を時系列に沿ってつなぎ合わせた動画像を生成する、ことを特徴とする付記１３に記載の動画像生成プログラム。
（付記１５） 取得した位置と時刻との組み合わせから得られる前記移動体の移動速度及び移動方向と、に基づいて、前記移動体の現在又は将来の位置を予測する、ことを特徴とする付記１３に記載の動画像生成プログラム。

【符号の説明】

【0076】

１０ 情報処理装置
６０ 撮像装置
７５ 位置検出装置
１００ 動画像生成プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】