特許 7502624 配信動画生成装置、配信動画生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-11

(45)【発行日】2024-06-19

(54)【発明の名称】配信動画生成装置、配信動画生成方法及びプログラム

(51)【国際特許分類】

   H04N 21/235 20110101AFI20240612BHJP

   G06N 20/00 20190101ALI20240612BHJP

【ＦＩ】

H04N21/235

G06N20/00 130

【請求項の数】 10

(21)【出願番号】P 2020137295

(22)【出願日】2020-08-17

(65)【公開番号】P2022033421

(43)【公開日】2022-03-02

【審査請求日】2023-04-25

(73)【特許権者】

【識別番号】500033117

【氏名又は名称】株式会社ＭＩＸＩ

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】橋口 昂矢

(72)【発明者】

【氏名】馬淵 俊弥

(72)【発明者】

【氏名】吉野 純平

(72)【発明者】

【氏名】佐藤 太一

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特開２００２－０４４６５４（ＪＰ，Ａ）

【文献】特開平０９－０３４９５９（ＪＰ，Ａ）

【文献】特開２００７－０８９６４８（ＪＰ，Ａ）

【文献】特開２０１８－０９８５７３（ＪＰ，Ａ）

【文献】特許第５８０１９８５（ＪＰ，Ｂ１）

【文献】国際公開第２０２０／１６０５６３（ＷＯ，Ａ１）

【文献】特開２００２－３６６６９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

レースの動画を取得動画として取得する動画取得部と、
過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に対応するレースの状態を推定する状態推定部と、
前記状態推定部が推定した前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成する生成部と、
前記生成部が生成した前記配信動画を出力する出力部と、
を有する配信動画生成装置。

【請求項2】

前記状態推定部は、前記過去レース動画を構成する画像と、当該画像に対応するレースの状態とに基づいて学習した、レースの動画を構成する画像の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記取得動画に対応する当該レースの状態を推定する、
請求項１に記載の配信動画生成装置。

【請求項3】

前記状態推定部は、前記過去レース動画に対応する音と、当該音に対応するレースの状態とに基づいて学習した、レースに対応する音の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に含まれる音に対応するレースの状態を推定する、
請求項１又は２に記載の配信動画生成装置。

【請求項4】

前記レースの経過に伴う状態遷移を示す状態遷移情報を記憶する記憶部をさらに有し、
前記状態推定部は、前記モデルを用いて推定したレースの第１時点における第１状態と、前記状態遷移情報とに基づいて、前記第１時点より後の前記レースの第２時点における第２状態を推定する、
請求項１から３のいずれか一項に記載の配信動画生成装置。

【請求項5】

前記状態推定部は、前記状態遷移情報において前記第１状態から遷移可能な１以上の状態の中から、前記モデルと前記第２時点の前記取得動画とに基づいて前記第２状態を選択する、
請求項４に記載の配信動画生成装置。

【請求項6】

前記状態推定部は、前記取得動画における前記第１時点から前記第２時点までに対してそれぞれ前記モデルが出力する状態情報に基づいて、前記第１状態から前記第２状態への遷移を判定する、
請求項４又は５に記載の配信動画生成装置。

【請求項7】

前記状態遷移情報は、前記取得動画に対応するレースが開始してからの経過時間と、複数の状態とを関連付けた情報を含み、
前記状態推定部は、前記取得動画に対応するレースが開始してからの経過時間に基づいて、前記第１状態から前記第２状態への遷移を判定する、
請求項４から６のいずれか一項に記載の配信動画生成装置。

【請求項8】

前記レースは、競技体が競技トラックを周回するレースであり、
前記取得動画に対応するレースの周回数を示す周回情報を取得するレース情報取得部をさらに有し、
前記状態推定部は、推定したレースの状態に基づいて、前記取得動画に対応するレースにおける競技体の周回済み回数を推定し、
前記生成部は、前記周回情報が示す周回数と、前記状態推定部が推定した前記競技体の周回済み回数とに対応する画像及び音の少なくともいずれかを前記配信動画に含める、
請求項１から７のいずれか一項に記載の配信動画生成装置。

【請求項9】

コンピュータが実行する、
レースの動画を取得動画として取得するステップと、
過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、取得した前記取得動画に対応するレースの状態を推定するステップと、
推定された前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成するステップと、
生成された前記配信動画を出力するステップと、
を有する配信動画生成方法。

【請求項10】

コンピュータを、
レースの動画を取得動画として取得する動画取得部、
過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に対応するレースの状態を推定する状態推定部、
前記状態推定部が推定した前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成する生成部、及び、
前記生成部が生成した前記配信動画を出力する出力部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、配信動画生成装置、配信動画生成方法及びプログラムに関する。

【背景技術】

【0002】

競輪、競馬、オートレース又は競艇等の投票が行われる各種公営競技のレース動画をリアルタイムで配信することが行われている。レース動画には、演出性を高めるため、テロップや演出音等の情報が合成される。レース動画は、リアルタイムで配信されるため、人手により情報を合成すると、合成するタイミングが遅れたり、誤った情報を合成したりしてしまう可能性がある。このため、人手を介さずに画像や音声を合成することが望まれている。

【0003】

例えば、特許文献１には、撮像装置の状態の変化や、撮像装置の操作に関するイベントを検出し、撮像装置により撮像された動画において、検出したイベントに対応する区間をシーンとして定義するシステムが開示されている。シーンを定義することにより、シーンに対応する画像や音声を合成することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第９９／０３２７３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

レース動画に適切な情報を合成するには、レースがどのような状況であるかを特定する必要がある。これに対し、特許文献１に開示されているシステムは、動画中のシーンを分けるに過ぎず、レース動画において、レースがどのような状況であるかを特定することができなかった。このため、特許文献１に開示されているシステムは、レースの状況に応じて適切な情報を合成することができなかった。

【0006】

そこで、本発明は、レースの状況を特定し、適切な情報を合成したレースの配信動画を生成することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る配信動画生成装置は、レースの動画を取得動画として取得する動画取得部と、過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に対応するレースの状態を推定する状態推定部と、前記状態推定部が推定した前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成する生成部と、前記生成部が生成した前記配信動画を出力する出力部と、を有する。

【発明の効果】

【0008】

本発明によれば、レースの状況を特定し、適切な情報を合成したレースの配信動画を生成することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る投票システムのシステム構成の一例を示す図である。

【図2】情報処理装置のハードウェア構成例を示す図である。

【図3】状態遷移情報の一例を示す図である。

【図4】プロセッサの機能ブロック構成例を示す図である。

【図5】配信動画生成装置がレースの状況に対応する情報を合成した配信動画を配信する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

＜システム構成＞
図１は、本実施形態に係る配信システム１のシステム構成の一例を示す図である。図１に示す配信システム１は、配信動画生成装置１０と、一以上の撮像装置２０と、一以上の端末３０を備える。配信動画生成装置１０及び撮像装置２０は、インターネット、イントラネット、無線ＬＡＮ、又は移動通信網等の通信ネットワークＮを介して互いに通信可能に接続されている。配信動画生成装置１０及び端末３０は、通信ネットワークＮを介して互いに通信可能に接続されている。

【0011】

配信動画生成装置１０は、撮像装置２０が撮像した開催中のレースの動画を取得動画として取得し、取得動画に基づいて端末３０に配信する配信動画を生成する装置である。配信動画生成装置１０は、例えば１又は複数の物理的なサーバから構成されている。配信動画生成装置１０は、ハイパーバイザー（hypervisor）上で動作する仮想的なサーバを用いて構成されていてもよく、クラウドサーバを用いて構成されていてもよい。本実施形態では、レースは、競輪、競馬、競艇及びオートレース等の競技体（自転車、競走馬、モーターボート、オートバイ）が競技トラック（レースコース）を周回するレースであるものとする。

【0012】

撮像装置２０は、レース場及び競技場の周辺に設置されており、レース場に入場する選手、競走馬等の競技体を撮影したり、レース中の競技体を撮影したりして、動画を生成する。撮像装置２０は、生成した動画を配信動画生成装置１０に送信する。

【0013】

端末３０は、レースに投票する投票者が利用する端末であり、例えば、携帯電話（スマートフォンを含む）、タブレット端末又はパーソナルコンピュータ等の情報処理端末である。端末３０は、投票者の操作に応じて、配信動画生成装置１０から配信された配信動画を表示する。端末３０は、投票対象の入力を投票者から受け付け、レースに投票することができる。

【0014】

配信動画生成装置１０は、レースの状況に対応する情報を取得動画に合成した配信動画を生成する。レースの状況に対応する情報は、例えば、「選手入場」、「スタート」といった選手又は競技の状態を示す文字情報、又は残りの周回数を示す数字情報である。配信動画生成装置１０が端末３０に対してレースの状況に合った情報を合成した配信動画を配信するには、レースがどのような状況であるかを特定し、レース動画に適切な情報を合成する必要がある。

【0015】

これに対し、配信動画生成装置１０は、過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、撮像装置２０から取得した取得動画に対応するレースの状態を推定する。当該モデルは、例えば、過去レース動画と当該過去レース動画に対応するレースの状態とを教師データとして機械学習することにより作成されたモデルである。配信動画生成装置１０は、推定したレースの状態に対応する画像と音の少なくともいずれかと、取得動画に基づいて配信動画を生成する。これにより、配信動画生成装置１０は、適切な情報を合成したレースの配信動画を生成することができる。
以下、配信動画生成装置１０の構成及び動作を詳細に説明する。

【0016】

＜ハードウェア構成＞
図２は、配信動画生成装置１０のハードウェア構成例を示す図である。配信動画生成装置１０は、プロセッサ１１、記憶部１２、通信ＩＦ（Interface）１３、入力デバイス１４、及び出力デバイス１５を有する。

【0017】

プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）又はＡＳＩＣ（Application Specific Integrated Circuit）等であり、記憶部１２に記憶されたプログラムを実行することにより各種の機能を実現する。一例として、ＡＳＩＣは、ＴＰＵ（Tensor Processing Unit）、Ｅｄｇｅ ＴＰＵを含む。

【0018】

記憶部１２は、メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、プロセッサ１１が実行するプログラムを記憶する。また、記憶部１２は、レースの経過に伴う状態遷移を示す状態遷移情報を記憶する。状態遷移情報は、レースに関する状態を示す状態情報と、当該状態から遷移可能なレースに関する状態を示す遷移先状態情報とを関連付けた情報である。図３は、状態遷移情報に基づくレースの状態遷移の一例を示す図である。

【0019】

図３に示す例では、レースに関する状態として、入場、レース開始、周回、ジャン（打鐘音）鳴動、レース終了が定義されている。図３に示す例では、複数のレースに関する状態が矢印で接続されている。矢印の始端に接続されているレースの状態は、遷移元のレースの状態を示している。矢印の終端に接続されているレースの状態は、遷移先のレースの状態を示している。図３に示す例では、「入場」から「レース開始」に遷移可能であり、「レース開始」から「周回」に遷移可能であり、「ジャン鳴動」から「周回」に遷移可能であり、「周回」から「ジャン鳴動」及び「レース終了」に遷移可能なことが示されている。

【0020】

通信ＩＦ１３は、通信ネットワークＮを介して撮像装置２０及び端末３０との間で有線通信又は無線通信を行うための通信コントローラを有する。通信ＩＦ１３は、撮像装置２０から受信した取得動画をプロセッサ１１に出力する。また、通信ＩＦ１３は、プロセッサ１１から入力された配信動画を端末３０に送信する。

【0021】

入力デバイス１４は、例えば配信動画生成装置１０の操作者から入力操作を受け付ける。入力デバイス１４は、例えば、キーボード、タッチパネル、マウス又はマイクである。出力デバイス１５は、例えば配信動画生成装置１０の管理者に対して情報を出力する。出力デバイス１５は、例えば、ディスプレイ又はスピーカ等である。

【0022】

＜機能ブロック構成＞
図４は、プロセッサ１１の機能ブロック構成例を示す図である。プロセッサ１１は、動画取得部１１１と、状態推定部１１２と、レース情報取得部１１３と、生成部１１４と、出力部１１５とを有する。プロセッサ１１は、記憶部１２に記憶されたプログラムを実行することにより、動画取得部１１１と、状態推定部１１２と、レース情報取得部１１３と、生成部１１４と、出力部１１５として機能する。

【0023】

動画取得部１１１は、一以上の撮像装置２０が撮影したレースに関する動画を取得動画として取得する。レースに関する動画には、レースそのものの動画だけではなく、競技体のレース場への入場場面や、パドック等のレース前の競技体の状況を撮影した動画も含まれる。動画取得部１１１は、入力デバイス１４を介して操作者から取得動画の選択を受け付け、選択されたレースの動画を取得動画として取得してもよい。

【0024】

状態推定部１１２は、過去に開催されたレースに関する動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースに関する動画の入力に対して当該レースの状態を示す状態情報を出力する状態推定モデルを用いて、動画取得部１１１が取得した取得動画に対応するレースの状態を推定する。

【0025】

状態推定モデルは、第１状態推定モデルと、第２状態推定モデルとを含んでおり、例えば、記憶部１２に記憶されている。第１状態推定モデルは、過去レース動画を構成する画像と、当該画像に対応するレースの状態とに基づいて学習した、レースに関する動画を構成する画像の入力に対して、当該レースの状態を示す第１状態情報を出力するモデルである。第２状態推定モデルは、過去レース動画を構成する音と、当該音に対応するレースの状態とに基づいて学習した、レースに対応する音の入力に対して、当該レースの状態を示す第２状態情報を出力するモデルである。

【0026】

例えばレースが競輪である場合、第１状態情報が示すレースの状態には、競技体としての選手がバックストレッチを走行している状態、第１コーナー又は第２コーナーを走行している状態、第３コーナー又は第４コーナーを走行している状態、ゴールラインを走行している状態、ホームストレッチを走行している状態、レース場に入場している状態、発走準備をしている状態、発走台からスタートした状態が含まれる。また、レースの状態には、レースのオープニング、入場待機等の状態が含まれる。

【0027】

第２状態情報が示すレースの状態には、ファンファーレが鳴った状態、選手の入場曲が鳴った状態、選手の残りの周回が所定回数となったことを通知するジャンが鳴った状態、レース結果等を通知するための効果音が鳴った状態、アナウンス音が鳴った状態、レース終了後に流れるＢＧＭが鳴った状態、発走時の発砲音が鳴った状態、笛が鳴った状態、ウグイス嬢が発走を案内している状態、電話投票締め切り音が鳴った状態、実況者や解説者が発話している状態等が含まれる。

【0028】

第２状態推定モデルは、過去レース動画を構成する音を所定期間（例えば、０．５秒間）ごとに区切ったときの、所定期間の音を示す画像である音変換画像と、当該所定期間の音に対応するレースの状態とを教師データとして学習することにより生成される。音変換画像は、例えば、横軸が時刻を示し、縦軸が音の周波数を示すメルスペクトログラムである。

【0029】

音変換画像は、所定期間における音そのものを示す音変換画像の他に、所定期間における音をシフトさせたシフト変換画像、所定期間における音を伸長させたストレッチ変換画像、又はホワイトノイズ等のノイズが付加されたノイズ付加画像であってもよい。第２状態推定モデルは、これらの音変換画像と、当該音変換画像に対応するレースの状態とに基づいて学習することにより生成される。このようにすることで、第２状態推定モデルは、所定期間の音に対応するレースの状態を精度良く推定することができる。

【0030】

状態推定部１１２は、第１状態推定モデルを用いて取得動画に対応するレースの状態を推定するとともに、第２状態推定モデルを用いて取得動画に対応するレースの状態を推定する。状態推定部１１２は、取得動画を構成する画像を第１状態推定モデルに入力し、第１状態推定モデルから出力された第１状態情報を取得する。また、状態推定部１１２は、取得動画に対応する音を音変換画像に変換し、当該音変換画像を第２状態推定モデルに入力し、第２状態推定モデルから出力された第２状態情報を取得する。このようにすることで、配信動画生成装置１０は、レース風景に基づいてレースの状態を推定することができるとともに、ファンファーレやジャン等のレースに関する音声に基づいてレースの状態を推定することができる。

【0031】

記憶部１２は、第１状態情報と第２状態情報との組み合わせと、当該組み合わせに対応するレースの状態とが関連付けたレース状態情報を記憶している。状態推定部１１２は、レース状態情報を参照し、第１状態推定モデルから取得した第１状態情報と、第２状態推定モデルから取得した第２状態情報との組み合わせに関連付けられているレースの状態を、取得動画に対応するレースの状態として推定する。

【0032】

なお、状態推定モデルは、状態情報とともに、状態情報が示すレースの状態の信頼性を示すスコアを出力してもよい。状態推定部１１２は、状態推定モデルから出力されたスコアが所定の閾値を超えた場合に、状態推定モデルから出力された状態情報に基づいてレースの状態を推定してもよい。

【0033】

また、状態推定部１１２は、状態推定モデルを用いて推定したレースの第１時点におけるレースの状態である第１状態と、記憶部１２に記憶されている状態遷移情報とに基づいて、第１時点より後のレースの第２時点におけるレースの状態である第２状態を推定する。

【0034】

例えば、状態推定部１１２が、第１時点に対応する取得動画を状態推定モデルに入力した結果、第１時点におけるレースの状態である第１状態を「周回」と推定したとする。この場合、状態推定部１１２は、図３に示すように、「周回」から遷移可能な１以上のレースの状態である第２状態を「ジャン鳴動」又は「レース終了」と推定する。

【0035】

その後、状態推定部１１２は、状態遷移情報において第１状態から遷移可能な１以上の状態の中から、状態推定モデルと、第２時点の取得動画とに基づいて、第２状態を選択する。そして、状態推定部１１２は、取得動画における第１時点から第２時点までに対してそれぞれモデルが出力する状態情報に基づいて、第１状態から第２状態への遷移を判定する。

【0036】

例えば、状態推定部１１２が、上述したように第１時点におけるレースの状態である第１状態を「周回」と推定し、第２時点において「周回」から遷移可能なレースの状態である第２状態を「ジャン鳴動」及び「レース終了」と推定したとする。そして、状態推定部１１２が、第２時点に対応する取得動画を状態推定モデルに入力した結果、第２時点の取得動画に対応するレースの状態を「ジャン鳴動」と推定したものとする。この場合、状態推定部１１２は、第１状態から遷移可能な第２状態「ジャン鳴動」及び「レース終了」のうち、状態推定モデルを用いて推定した「ジャン鳴動」に遷移すると判定する。

【0037】

他方、状態推定部１１２が第２時点に対応する取得動画を状態推定モデルに入力した結果、「周回」等の「ジャン鳴動」及び「レース終了」とは異なるレースの状態を推定した場合、第２時点におけるレースの状態を「周回」に維持する。このようにすることで、配信動画生成装置１０は、レース状態の推定精度を向上させ、レース経過と一致しない状態に対応する画像、音声が合成された配信動画が生成されてしまうことを抑制することができる。

【0038】

なお、状態遷移情報は、レースに関する状態を示す状態情報と、当該状態から遷移可能な遷移先状態を示す遷移先状態情報とを関連付けた情報であることとしたが、これに限らない。状態遷移情報は、取得動画に対応するレースが開始してからの経過時間と、複数のレースの状態とを関連付けたタイムテーブル情報を含んでいてもよい。この場合、状態推定部１１２は、取得動画に対応するレースが開始してからの経過時間に基づいて、第１時点に対応するレースの状態を示す第１状態から、第２時点に対応するレースの状態を示す第２状態への遷移を判定してもよい。

【0039】

例えば、状態推定部１１２は、タイムテーブル情報を参照し、レースが開始してからの実際の経過時間に対して所定の範囲内の経過時間に関連付けられている複数のレースの状態から選択した状態を第１の状態として特定する。そして、状態推定部１１２は、第１の状態に対応する経過時間よりも後の経過時間に関連付けられている複数の状態を第２状態と特定し、特定した第２状態のいずれかに遷移するか否かを判定する。このようにすることで、配信動画生成装置１０は、現時点の状態を、その時点で生じ得ない状態であると誤って特定しないので、レースの状態の推定精度が向上する。

【0040】

また、状態推定部１１２は、取得動画に対応するレースにおける競技体の周回済み回数を推定してもよい。この場合、まず、レース情報取得部１１３が、取得動画に対応するレースの周回数を示す周回情報を取得する。例えば、記憶部１２には、レースを識別するためのレース識別情報と、当該レースの周回数とが関連付けられて記憶されている。レース情報取得部１１３は、記憶部１２を参照し、現時点で開始するレース、又は最も早く開始するレースのレース識別情報に関連付けられている周回情報を、取得動画に対応するレースの周回情報として取得する。

【0041】

状態推定部１１２は、レース情報取得部１１３が取得した周回情報と、状態推定モデルを用いて推定したレースの状態とに基づいて、取得動画に対応するレースにおける競技体の周回済み回数を推定する。具体的には、まず、状態推定部１１２は、レースの状態を「レース開始」と推定したことに応じて、周回済み回数を０とする。続いて、状態推定部１１２は、第１状態推定モデルを用いて推定したレースの状態が、競技体がバックストレッチを走行している状態から第１コーナー又は第２コーナーを走行している状態に変化すると、周回済み回数に１を加算する。状態推定部１１２は、推定した周回済み回数を生成部１１４に通知する。このようにすることで、配信動画生成装置１０は、レースの周回に関する画像や情報を取得動画に合成することができる。

【0042】

生成部１１４は、状態推定部１１２が推定したレースの状態に対応する画像と音の少なくともいずれかと、取得動画とに基づいて配信動画を生成する。例えば、記憶部１２に、レースの状態と、当該レースの状態に対応する画像、音等の情報を関連付けて記憶させておく。生成部１１４は、記憶部１２を参照し、状態推定部１１２が取得動画から推定したレースの状態に関連付けられている情報を取得動画に合成することにより配信動画を生成する。

【0043】

例えば、状態推定部１１２が推定したレースの状態が「ジャン鳴動」に遷移すると、生成部１１４は、記憶部１２において、「ジャン鳴動」に関連付けられているレースの周回が残り１周半であることを示す画像を取得動画に合成して配信動画を生成する。また、生成部１１４は、取得動画に対応する音に、レースの状態に対応する効果音や音声等の音を合成することにより配信動画を生成する。

【0044】

生成部１１４は、状態推定部１１２が取得動画から推定したレースの状態が遷移したことに応じて、推定したレースの状態に対応する画像等の情報を取得動画に合成することにより配信動画を生成してもよい。生成部１１４は、取得動画の一部を切り出した部分画像に、テロップ等の情報を合成して配信動画を生成してもよい。

【0045】

また、生成部１１４は、レース情報取得部１１３が取得した周回情報が示す周回数と、状態推定部１１２が推定した競技体の周回済み回数とに対応する画像及び音の少なくともいずれかを前記配信動画に含めてもよい。例えば、生成部１１４は、レース情報取得部１１３が取得した周回情報が示す周回数から、状態推定部１１２が推定した周回済み回数を減算し、残り周回数を算出する。そして、生成部１１４は、取得動画に残り周回数を示す画像を合成することにより配信動画を生成する。

【0046】

ここで、状態推定部１１２によるレースの状態の推定には処理時間が発生することから、取得動画の取得時刻である第１時刻から、状態推定部１１２の処理時間だけ遅延した第２時刻に、当該取得動画に対応するレースの状態が推定される。そこで、生成部１１４は、第２時刻以降において、第１時刻に対応する取得動画に、推定したレースの状態に対応する画像を合成して配信動画を生成する。このようにすることで、配信動画生成装置１０は、配信動画の配信時刻が、当該配信動画に対応する取得動画の取得時刻（第１時刻）より遅延したとしても、取得動画に対応するレースの状態と一致した情報を付加した配信動画を生成することができる。

【0047】

出力部１１５は、生成部１１４が生成した配信動画を出力する。例えば、出力部１１５は、生成部１１４が生成した配信動画を、通信ＩＦ１３を介して端末３０に配信する。上述したように、状態推定部１１２によるレースの状態の推定には処理時間が発生し、取得動画に対応する配信動画の生成にも処理時間が発生する。したがって、出力部１１５は、第１時刻に取得した取得動画にレースの状態に対応する情報を合成した配信動画を、第１時刻よりも遅い時刻に端末３０に配信する。これにより、出力部１１５は、ほぼリアルタイムで配信動画を端末３０に配信する。

【0048】

＜配信動画生成装置１０の処理の流れ＞
続いて、配信動画生成装置１０の処理の流れを説明する。図５は、配信動画生成装置１０がレースの状況に対応する情報を合成した配信動画を配信する処理の流れを示すフローチャートである。

【0049】

まず、動画取得部１１１は、撮像装置２０が撮影したレースに関する動画を取得動画として取得する（Ｓ１１）。
続いて、状態推定部１１２は、状態推定モデルに取得動画を入力し、状態推定モデルからレースの状態を示す状態情報を取得することによりレースの状態を推定する（Ｓ１２）。

【0050】

続いて、生成部１１４は、状態推定部１１２が推定したレースの状態に対応する画像と音の少なくともいずれかと、取得動画とに基づいて配信動画を生成する（Ｓ１３）。
続いて、出力部１１５は、生成部１１４が生成した配信動画を端末３０に配信する（Ｓ１４）。全ての配信動画の配信が終了した場合（Ｓ１５においてＹＥＳ）、配信動画生成装置１０は配信処理を終了する。全ての配信動画の配信が終了していない場合、配信動画生成装置１０は処理をＳ１１に戻して、動画取得部１１１は、再び取得動画を取得する。これにより、取得動画に対応する配信動画が連続して生成され、配信動画が端末３０に配信される。

【0051】

＜配信システム１による効果＞
以上説明したように、状態推定部１１２は、過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、動画取得部１１１が取得した取得動画に対応するレースの状態を推定する。生成部１１４は、状態推定部１１２が推定したレースの状態に対応する画像と音の少なくともいずれかと、取得動画とに基づいて配信動画を生成する。これにより、配信動画生成装置１０は、レースの状況を特定し、レースの状況に合う適切な情報を合成したレースの配信動画を生成することができる。

【0052】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、配信動画生成装置１０は、開催中のレースの動画を取得動画として取得し、当該取得動画に基づいて生成した配信動画をほぼリアルタイムで配信するものとしたが、これに限らない。配信動画生成装置１０は、撮像装置２０により過去に撮像されたレースの動画を取得動画として取得し、当該取得動画に対応するレースの状態を推定し、当該取得動画と、推定したレースの状態に対応する画像と音の少なくともいずれかに基づいて配信動画を生成してもよい。また、レースの状態は、画像と音の少なくともいずれかに基づいて推論するようにしても構わない。

【0053】

また、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【0054】

上記実施形態に加えて、さらに以下を付記する。
（付記１）
レースの動画を取得動画として取得する動画取得部と、
過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に対応するレースの状態を推定する状態推定部と、
前記状態推定部が推定した前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成する生成部と、
前記生成部が生成した前記配信動画を出力する出力部と、
を有する配信動画生成装置。
このように配信動画生成装置が構成されていることにより、レースの状況を特定し、適切な情報を合成したレースの配信動画を生成することができる。
（付記２）
前記状態推定部は、前記過去レース動画を構成する画像と、当該画像に対応するレースの状態とに基づいて学習した、レースの動画を構成する画像の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記取得動画に対応する当該レースの状態を推定する、
付記１に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、レース風景に基づいてレースの状態を推定することができる。
（付記３）
前記状態推定部は、前記過去レース動画に対応する音と、当該音に対応するレースの状態とに基づいて学習した、レースに対応する音の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に含まれる音に対応するレースの状態を推定する、
付記１又は２に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、ファンファーレやジャン等のレースに関する音声に基づいてレースの状態を推定することができる。
（付記４）
前記レースの経過に伴う状態遷移を示す状態遷移情報を記憶する記憶部をさらに有し、
前記状態推定部は、前記モデルを用いて推定したレースの第１時点における第１状態と、前記状態遷移情報とに基づいて、前記第１時点より後の前記レースの第２時点における第２状態を推定する、
付記１から３のいずれか一項に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、レース状態の推定精度を向上させることができる。
（付記５）
前記状態推定部は、前記状態遷移情報において前記第１状態から遷移可能な１以上の状態の中から、前記モデルと前記第２時点の前記取得動画とに基づいて前記第２状態を選択する、
付記４に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、レース経過と一致しない状態に対応する画像、音声が合成されることを抑制することができる。
（付記６）
前記状態推定部は、前記取得動画における前記第１時点から前記第２時点までに対してそれぞれ前記モデルが出力する状態情報に基づいて、前記第１状態から前記第２状態への遷移を判定する、
付記４又は５に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、時間経過が通常のレースとは異なる場合であっても状態遷移に基づいて状態を推定することができる。
（付記７）
前記状態遷移情報は、前記取得動画に対応するレースが開始してからの経過時間と、複数の状態とを関連付けた情報を含み、
前記状態推定部は、前記取得動画に対応するレースが開始してからの経過時間に基づいて、前記第１状態から前記第２状態への遷移を判定する、
付記４から６のいずれか一項に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、レース開始からの時間経過に対応して現在の状態を推定することができる。
（付記８）
前記レースは、競技体が競技トラックを周回するレースであり、
前記取得動画に対応するレースの周回数を示す周回情報を取得するレース情報取得部をさらに有し、
前記状態推定部は、推定したレースの状態に基づいて、前記取得動画に対応するレースにおける競技体の周回済み回数を推定し、
前記生成部は、前記周回情報が示す周回数と、前記状態推定部が推定した前記競技体の周回済み回数とに対応する画像及び音の少なくともいずれかを前記配信動画に含める、
付記１から７のいずれか一項に記載の配信動画生成装置。
このように配信動画生成装置が構成されていることにより、レースの周回に関する画像、情報を合成することができる。
（付記９）
コンピュータが実行する、
レースの動画を取得動画として取得するステップと、
過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、取得した前記取得動画に対応するレースの状態を推定するステップと、
推定された前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成するステップと、
生成された前記配信動画を出力するステップと、
を有する配信動画生成方法。
このような配信動画生成方法を実行することにより、レースの状況を特定し、適切な情報を合成したレースの配信動画を生成することができる。
（付記１０）
コンピュータを、
レースの動画を取得動画として取得する動画取得部、
過去に開催されたレースの動画である過去レース動画と当該過去レース動画に対応するレースの状態とに基づいて学習した、レースの動画の入力に対して当該レースの状態を示す状態情報を出力するモデルを用いて、前記動画取得部が取得した前記取得動画に対応するレースの状態を推定する状態推定部、
前記状態推定部が推定した前記レースの状態に対応する画像と音の少なくともいずれかと、前記取得動画とに基づいて配信動画を生成する生成部、及び、
前記生成部が生成した前記配信動画を出力する出力部、
として機能させるプログラム。
このようなプログラムをプロセッサが実行することにより、レースの状況を特定し、適切な情報を合成したレースの配信動画を生成することができる。

【符号の説明】

【0055】

１ 配信システム
１０ 情報処理装置
１１ プロセッサ
１２ 記憶部
１３ 通信ＩＦ
１４ 入力デバイス
１５ 出力デバイス
２０ 撮像装置
３０ 端末
１１１ 動画取得部
１１２ 状態推定部
１１３ レース情報取得部
１１４ 生成部
１１５ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】