(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】コンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラム
(51)【国際特許分類】
H04N 21/854 20110101AFI20240806BHJP
【FI】
H04N21/854
(21)【出願番号】P 2020207399
(22)【出願日】2020-12-15
(62)【分割の表示】P 2019237967の分割
【原出願日】2019-12-27
【審査請求日】2022-12-23
(73)【特許権者】
【識別番号】598138327
【氏名又は名称】株式会社ドワンゴ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】小嶋 尚
(72)【発明者】
【氏名】丹羽 一臣
【審査官】大西 宏
(56)【参考文献】
【文献】特開2003-167575(JP,A)
【文献】特開2003-204535(JP,A)
【文献】特開2005-141018(JP,A)
【文献】特開2008-145977(JP,A)
【文献】特開2012-182724(JP,A)
【文献】特開2014-186177(JP,A)
【文献】特開2018-155936(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
(57)【特許請求の範囲】
【請求項1】
過去に配信された複数の動画データを蓄積した蓄積部から、所定の条件を満たす複数の動画データを取得する取得部と、
前記取得部にて取得された前記所定の条件を満たす複数の動画データの再生画像それぞれにおける曲のテンポ
に合わせ
て前記動画データの再生速度を調整することにより、前記所定の条件を満たす複数の動画データを合成したマルチ動画データを生成する生成部と、を備えたコンテンツ生成装置。
【請求項2】
請求項1記載のコンテンツ生成装置と、
前記コンテンツ生成装置により生成されたマルチ動画データを配信する配信部と、
視聴者端末に対して前記マルチ動画データを配信するよう前記配信部を制御する配信制御部と、を備えたコンテンツ配信サーバ。
【請求項3】
コンテンツ配信端末から配信用の第1動画データを取得する第1取得部を更に備え、 前記取得部は、前記第1取得部より前記第1動画データを取得し、前記第1動画データに対応する所定の条件を満たす少なくとも1つの前記動画データである第2動画データを前記蓄積部へ要求し、前記第1動画データと前記第2動画データとを複数の前記動画データとして取得する、請求項2に記載のコンテンツ配信サーバ。
【請求項4】
過去に配信された複数の動画データを蓄積した蓄積部から、所定の条件を満たす複数の動画データを取得し、
前記取得された前記所定の条件を満たす複数の動画データの再生画像それぞれにおける曲のテンポ
に合わせ
て前記動画データの再生速度を調整することにより、前記所定の条件を満たす複数の動画データを合成したマルチ動画データを生成する、コンテンツ生成方法。
【請求項5】
コンピュータを、
過去に配信された複数の動画データを蓄積した蓄積部から、所定の条件を満たす複数の動画データを取得する手段と、
前記取得された前記所定の条件を満たす複数の動画データの再生画像それぞれにおける曲のテンポ
に合わせ
て前記動画データの再生速度を調整することにより、前記所定の条件を満たす複数の動画データを合成したマルチ動画データを生成する手段と、して機能させるコンテンツ生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラムに関する。
【背景技術】
【0002】
従来、ネットワークを介して様々な動画コンテンツを配信する技術が提供されている。また、携帯通信端末が普及したこと及び高速通信が可能となったこと等に伴い、より多くの人が自身で撮影した動画を配信することが可能となり、その結果、多くの過去の動画コンテンツが蓄積されている。
【0003】
例えば、新たな動画データと過去の動画コンテンツのデータとを組み合わせて新たな動画コンテンツを作成することも可能である。また、リアルタイムの動画データを組み合わせて、動画コンテンツを作成することも可能である。例えば、特許文献1には、複数の撮影装置にて撮影された動画像データを用いて、複数の撮影装置それぞれの撮影位置に基づいて配列した状態の動画コンテンツを作成するライブ動画配信システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示された技術は、同時刻に撮影された複数の動画を切り替えてライブ動画を配信するための動画配信システムに関する。一方で、上述のように過去には多くの動画コンテンツが配信されており、これらを上手く組み合わせることができれば、興趣性の高い新たな動画コンテンツが生まれる可能性がある。
【0006】
例えば、過去の動画コンテンツを含む複数の動画コンテンツのデータを組み合わせて新たな動画コンテンツを作成する際、コンテンツ作成者は、膨大な数の過去のコンテンツの中から適切なものを選択して、複数の動画コンテンツのデータを合成した画像データを生成するための編集作業を行う必要があった。
【0007】
しかしながら、蓄積された過去の動画コンテンツは膨大な数であり、コンテンツ作成者が適切な動画コンテンツを選び出すことは時間および手間のかかる作業である。また、コンテンツ作成者にとって既知の過去のコンテンツを利用すれば、新たな動画コンテンツを探す時間と手間とを省くことが可能であるが、コンテンツ作成者が全く意図しないような意外性のある動画コンテンツは生成され難い。
【0008】
本発明は上記事情を鑑みて成されたものであって、興趣性の高い動画コンテンツを生成するコンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第1態様によるコンテンツ生成装置は、複数の動画データを蓄積した蓄積部から所定の条件を満たす複数の動画データを取得する取得部と、前記取得部にて取得された複数の前記動画データの再生画像それぞれにおいて、所定のアクションが開始される開始フレームを特定する開始フレーム特定部と、特定された前記開始フレームのタイミングを揃えて複数の前記動画データを合成したマルチ動画データを生成する生成部と、を備える。
【0010】
本発明の第2態様によるコンテンツ配信サーバは、第1態様によるコンテンツ生成装置と、前記コンテンツ生成装置により生成されたマルチ動画データを配信する配信部と、視聴者端末に対して前記マルチ動画データを配信するよう前記配信部を制御する配信制御部と、を備える。
【0011】
本発明の第3態様によるコンテンツ生成方法は、複数の動画データを蓄積した蓄積部へ所定の条件を満たす動画データを要求し、前記条件を満たす複数の動画データを取得し、取得された複数の前記動画データの再生画像それぞれにおいて、所定のアクションが開始される開始フレームを特定し、特定された前記開始フレームのタイミングを揃えて複数の前記動画データを合成したマルチ動画データを生成する、コンテンツ生成方法。
【0012】
本発明の第4態様によるコンテンツ生成プログラムは、コンピュータを、複数の動画データを蓄積した蓄積部へ所定の条件を満たす動画データを要求し、前記条件を満たす複数の動画データを取得する手段と、取得された複数の前記動画データの再生画像それぞれにおいて、所定のアクションが開始される開始フレームを特定する手段と、特定された前記開始フレームのタイミングを揃えて複数の前記動画データを合成したマルチ動画データを生成する手段と、して機能させるコンテンツ生成プログラム。
【発明の効果】
【0013】
本発明によれば、興趣性の高い動画コンテンツを生成するコンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラムを提供することができる。
【図面の簡単な説明】
【0014】
【
図1】
図1は、一実施形態のコンテンツ生成装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
【
図2】
図2は、
図1に示すコンテンツ配信サーバの一構成例を概略的に示す図である。
【
図3】
図3は、
図1に示すコンテンツ記憶サーバの一構成例を概略的に示す図である。
【
図4】
図4は、一実施形態のコンテンツ配信サーバの動作の一例を説明するためのフローチャートである。
【
図5】
図5は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
【
図6】
図6は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
【
図7】
図7は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
【
図8】
図8は、
図1に示すコンテンツ配信サーバの他の構成例を概略的に示す図である。
【
図9】
図9は、一実施形態のコンテンツ配信サーバの動作の一例を説明するためのフローチャートである。
【
図10】
図10は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の複数の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、既に説明済みである構成と同一又は類似した構成および要素については、同一の符号を付して説明を省略する。
【0016】
第1実施形態のコンテンツ生成装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一例について、図面を参照して以下に説明する。
図1は、一実施形態のコンテンツ生成装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
【0017】
本実施形態のコンテンツ配信システムは、コンテンツ配信端末10と、コンテンツ配信サーバ20と、コンテンツ記憶サーバ(蓄積部)30と、を備えている。
コンテンツ配信端末10は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続することができる。コンテンツ配信端末10は、例えばビデオカメラなどの動画ソースに接続されたコンピュータなどの電子デバイス、例えば、テレビ受像機(インターネットテレビを含む)、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど)、VR(Virtual Reality)端末、AR(Augmented Reality)端末などであり得るが、これらに限られない。コンテンツ配信端末10は、動画ソースから出力されるエンコード済みの映像データをコンテンツ配信サーバ20へ逐次送信することができる。
【0018】
コンテンツ配信サーバ20は、ネットワークを介して、コンテンツ配信端末10、コンテンツ記憶サーバ30、および、視聴者端末40と通信可能に接続することができる。コンテンツ配信サーバ20は、後述する種々の機能を実現するプログラムを実行するプロセッサおよびプロフラムを格納したメモリ、を備え得る。プロセッサは、典型的にはCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であるが、マイコン、FPGA(Field Programmable Gate Array)、またはDSP(Digital Signal Processor)、などであってもよい。また、メモリは、コンテンツ配信サーバ20の動作を実現するためにプロセッサによって実行されるプログラムおよび当該プロセッサによって使用されるデータなどを一時的に格納する。本実施形態のコンテンツ配信サーバ20は、コンテンツ生成装置を含み得る。
【0019】
コンテンツ記憶サーバ30は、ネットワークを介して、コンテンツ配信端末10と通信可能に接続することができる。コンテンツ記憶サーバ30は、例えば、コンテンツ配信サーバ20により配信された種々のコンテンツのデータを記憶可能な記憶部(
図3に示す)、記憶部に蓄積された複数のコンテンツのデータの中から条件を満たすものを検索する検索部(
図3に示す)、種々の機能を実現するプログラムを実行するプロセッサおよびプロフラムを格納したメモリ、を備え得る。
【0020】
プロセッサは、典型的にはCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であるが、マイコン、FPGA(Field Programmable Gate Array)、またはDSP(Digital Signal Processor)、などであってもよい。また、メモリは、コンテンツ記憶サーバ30の動作を実現するためにプロセッサによって実行されるプログラムおよび当該プロセッサによって使用されるデータなどを一時的に格納する。また、コンテンツ記憶サーバ30の記憶部に記憶されているコンテンツのデータは、コンテンツ配信サーバ20により配信されたコンテンツのデータに限定されるものではなく、例えば配信されたコンテンツのデータを編集したものや、配信前のコンテンツのデータが記憶されても構わない。
【0021】
なお、コンテンツ配信サーバ20とコンテンツ記憶サーバ30とは一体に構成されていてもよく、コンテンツ配信サーバ20とコンテンツ記憶サーバ30とはネットワークを介することなく直接接続されていてもよい。
【0022】
視聴者端末40は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続することができる。なお、視聴者端末40は、コンピュータなどの電子デバイスであって、例えば、テレビ受像機(インターネットテレビを含む)、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど)、VR(Virtual Reality)端末、AR(Augmented Reality)端末などであり得るが、これらに限られない。なお、ネットワークに接続している視聴者端末40の数はゼロであることもあり得るし、随時増減し得る。
【0023】
図2は、
図1に示すコンテンツ配信サーバの一構成例を概略的に示す図である。
コンテンツ配信サーバ20は、第1取得部21と、第2取得部25と、第1生成部22と、配信部23と、配信制御部24と、開始フレーム特定部26と、第2生成部27と、を備えている。なお、本実施形態のコンテンツ生成装置は、第2取得部25と、開始フレーム特定部26と、第2生成部27とを含み、コンテンツ配信サーバ20と一体に構成されていてもよく、コンテンツ配信サーバ20の外部にてコンテンツ配信サーバ20と通信可能に接続される構成であっても構わない。
【0024】
また、コンテンツ配信サーバ20は、さらに、ネットワークに接続可能な通信部と、大容量のデータを蓄積するためのデータ記憶部(図示せず)を備え得る。
【0025】
データ記憶部は、コンテンツ配信サーバ20に内蔵されてもよいし、コンテンツ配信サーバ20に外付けされてもよい。データ記憶部は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの不揮発性記憶媒体を含み得る。なお、データ記憶部は、過去に配信された複数の動画コンテンツのうち、所定の条件を満たすコンテンツのデータを蓄積する蓄積部を含んでいてもよい。データ記憶部は、コンテンツ配信サーバ20とコンテンツ生成装置とに共有されてもよく、コンテンツ配信サーバ20とコンテンツ生成装置とのそれぞれにデータ記憶部が設けられてもよい。
【0026】
通信部は、ネットワークを介して、コンテンツ配信端末10、コンテンツ記憶サーバ30、および、視聴者端末40と、通信可能であり、第1取得部21と、第2取得部25と、を含み得る。例えば、通信部は、コンテンツ配信端末10から動画データを受信したり、コンテンツ記憶サーバ30に対するコンテンツデータの要求を送信したり、コンテンツ記憶サーバ30からコンテンツデータを受信したり、視聴者端末40からの配信要求を受信したりする。通信部は、視聴者端末40から受信した配信要求を配信制御部24へ送信する。
【0027】
第1取得部21は、ネットワークを介してコンテンツ配信端末10から逐次送信されるコンテンツデータを受信可能である。例えば、第1取得部21は、コンテンツ配信端末10からリアルタイム配信用の動画データを受信する。また、第1取得部21は、ネットワークを介して視聴者端末40から逐次送信されるコメントなどの入力情報を受信可能である。第1取得部21は、受信した動画データを第1生成部22へ送信する。
【0028】
第2取得部25は、ネットワークを介してコンテンツ記憶サーバ30へ、所定の条件を満たす複数の動画コンテンツのデータを要求するとともに、コンテンツ記憶サーバ30から動画コンテンツのデータを受信する。第2取得部25は、受信した複数の動画コンテンツのデータを開始フレーム特定部26と第2生成部27とへ送信する。
【0029】
なお、コンテンツ配信サーバ20のデータ記憶部に記憶された動画コンテンツのデータに所定の条件を満たすものがある場合には、第2取得部25は、データ記憶部に記憶された動画コンテンツのデータを取得し、開始フレーム特定部26と第2生成部27とへ送信してもよい。
【0030】
例えば第2取得部25は、周期的にコンテンツ記憶サーバ30へ所定の条件を満たす動画コンテンツのデータを要求してもよく、コンテンツ配信端末10や視聴者端末40から要求に応じてコンテンツ記憶サーバ30へ所定の条件を満たす動画コンテンツのデータを要求してもよい。
【0031】
第2取得部25からコンテンツ記憶サーバ30へ要求する動画コンテンツが満たす条件は、予め設定された条件であってもよく、例えばコンテンツ配信サーバの入力手段(図示せず)により入力された条件であってもよく、コンテンツ配信端末10や視聴者端末40から要求された条件であってもよい。また、第2取得部25は、予め設定された又は入力された複数の条件の少なくとも1つを満たす動画コンテンツをコンテンツ記憶サーバ30へ要求することができる。
【0032】
第2取得部25にて予め設定された又は入力された動画コンテンツの条件は、ジャンル、配信者、タグ情報、配信期間、コメント数、配信時の視聴者数、などを含んでいてもよく、予め設定された又は入力された動画コンテンツのデータを含んでいてもよく、ジャンル、配信者、タグ情報、配信期間、コメント数、配信時の視聴者数などと動画コンテンツのデータとを関連付けて設定されてもよい。
【0033】
第2取得部25は、設定された条件により、例えば同じ音楽を演奏している複数の動画を取得したり、競馬や競輪の中継動画を複数取得したり、マラソンや水泳などの競技スポーツの動画を複数取得したり、同じ曲に合わせた複数のダンス動画を取得したり、同じゲームの画面を撮影した複数の動画を取得したり、遊戯機で遊ぶ様子を撮影した複数の動画を取得したりすることができる。
【0034】
配信制御部24は、画像データの配信を制御する。配信制御部24は、例えば図示しない時計を含み、時計から得られる時間情報と、画像データの配信に割り当てられた時間枠とを比較し、画像データの配信の開始および終了を管理する。また、配信制御部24は、視聴者端末40による配信要求を通信部から受け取り、視聴者端末40へ画像データが配信されるように配信部23を制御する。
【0035】
第1生成部22は、第1取得部21から動画データと入力情報とを受信し、例えば動画データに入力情報を重畳して配信用動画データを生成することができる。第1生成部22は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、動画データに入力情報を合成してもよい。第1生成部22は、生成した配信用動画データを配信部23へ送信する。
【0036】
第1生成部22は、例えば、動画データの再生映像の画面の一部または全部をリサイズして、または画面の一部をトリミングして入力情報と合成してもよいし、動画データの再生映像の画面の一部が露出し、残部が隠れるように入力情報と合成してもよい。また、第1生成部22は、視聴者端末40からの配信要求に応じて複数の配信用動画データを切り替えて配信可能とするために、表示する画像が異なる複数の配信用画像データを生成して配信部23へ送信してもよい。第1生成部22は、例えば、入力情報を画像データに重畳せずに生成した配信用動画データと、入力情報を画像データに重畳して生成した配信用動画データとを生成して、配信部23へ送信することができる。
【0037】
開始フレーム特定部26は、第2取得部25から複数の動画データを受信する。開始フレーム特定部26は、受信した複数の動画データそれぞれについて、再生映像にて所定のアクションが開始するタイミングのフレーム(開始フレーム)を特定する。ここで、所定のアクションとは、例えば、所定の音楽の演奏や、歌唱や、ダンスなどの動作や、競馬や競輪などのレースや、マラソンや競泳などのスポーツや、RPG、アクションゲーム、戦闘ゲームなどのゲームや、パチスロやパチンコなど遊戯機の動作などを採用することができる。
【0038】
開始フレーム特定部26は、第2取得部25から受信した複数の動画データに、所定のアクションが開始するタイミングのフレームを示すフラグが含まれているときには、フラグの位置を開始フレームと特定することができる。
【0039】
また、開始フレーム特定部26は、第2取得部25から受信した複数の動画データが満たす条件に応じて、所定のアクションを特定し、所定のアクションの開始フレームを特定することが可能である。
【0040】
また、開始フレーム特定部26は、第2取得部25から受信した複数の動画データを互いに比較することにより、開始フレームを特定してもよい。例えば、開始フレーム特定部26は、複数の動画データの再生画像において共通の曲が始まるタイミングや、アクションの開始タイミングに発生する共通の音等により、開始フレームを特定することが可能である。また、例えば、開始フレーム特定部26は、複数の動画データの再生画像において、所定の部分の色彩が変化するタイミングや、所定の部分の明るさが変化するタイミング等の画像の共通の変化により、開始フレームを特定することが可能である。
【0041】
開始フレーム特定部26は、入力された動画データの開始フレームを特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)などの深層学習により、所定の条件を満たす動画データを入力とし、動画データの再生画像において所定のアクションが開始されるタイミングに対応するフレームを特定する学習済みのモデルである。動画データを検索する条件が複数想定される場合には、開始フレーム特定部26は、複数の条件のそれぞれに対応する複数の学習済みモデルを備え得る。
【0042】
開始フレーム特定部26は、複数の画像データのそれぞれについて特定した開始フレームを示す情報を第2生成部27へ送信する。開始フレーム特定部26は、特定した開始フレームを示すフラグを複数の動画データそれぞれに付した後に、複数の動画データを第2生成部27へ送信してもよい。その場合には、第2取得部25から第2生成部27へ複数の動画データを送信することを省略することができる。
【0043】
第2生成部27は、第2取得部25から複数の動画データを受信し、開始フレーム特定部26から開始フレームを示す情報を受信する。第2生成部27は、受信した複数の画像データの再生画像が画面に並んで表示されるように構成し、開始フレームのタイミングが揃うように編集をしたマルチ動画データを生成する。
なお、第2生成部27およびその他、今まで言及をした各構成は、はめ込み合成をする対象である動画データについて、たとえば、レースのスタートのタイミングが開始フレームとなる競馬の中継画像であればレースのスタートからレースのゴールまでを切り出してはめ込み合成をするのではなく、たとえばレースのスタート前の数十秒から開始してレース前の緊張感やレース結果の予想を伝えたり、あるいはレースのゴール後の数十秒までをはめ込み対象として、レースの振り返りやレース後の各馬のクールダウン走行を画像として含めたりするように構成してもよい。競馬に限らず、他の動画分野でも同様である。複数の動画の開始フレームのタイミングが揃っていればよく、動画の再生開始フレームと再生終了フレームとはアクションの開始タイミングと終了タイミングとに限定されるものではない。
【0044】
第2生成部27は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、複数の動画データを合成してもよい。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。なお、マルチ動画データの再生画像において、複数の再生画像の大きさは同じである必要はない。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。
【0045】
配信部23は、ネットワークと通信可能に接続し、第1生成部22から配信用画像データを受信し、第2生成部27からマルチ動画データを受信し、配信用画像データとマルチ動画データとのそれぞれについて配信要求を受けた視聴者端末40へ配信することができる。配信部23は、例えば配信用動画データの配信先などを配信制御部24によって制御される。
【0046】
なお、配信部23は、配信済みの配信用動画データおよびマルチ動画データを直ちに破棄してもよいが、例えばリプレイまたはスローモーション再生を可能とするために所定期間バッファリングしていてもよい。
【0047】
また、配信部23は、配信した配信用動画データおよびマルチ動画データを、コンテンツ記憶サーバ30へ送信する。このとき、配信部23は、配信用動画データおよびマルチ動画データに対する入力情報(コメント数など)や、視聴要求をした視聴者端末40の数や、配信用動画データおよびマルチ動画データを識別するための情報(タグ情報、配信者情報、配信期間、ジャンル等)などを、配信用動画データおよびマルチ動画データそれぞれに対応付けて配信制御部24から受信し、受信した情報を合わせてコンテンツ記憶サーバ30へ送信することができる。
【0048】
図3は、
図1に示すコンテンツ記憶サーバの一構成例を概略的に示す図である。
コンテンツ記憶サーバ30は、通信部31と、検索部32と、記憶部33とを備えている。
【0049】
通信部31は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続することができる。通信部31は、コンテンツ配信サーバ20から配信用動画データおよびマルチ動画データを受信し、記憶部33へ送信する。通信部31は、配信用動画データおよびマルチ動画データに対する入力情報(コメント数など)や、視聴要求をした視聴者端末40の数や、配信用動画データおよびマルチ動画データを識別するための情報(タグ情報、配信者情報、配信期間、ジャンル等)などを受信したときには、配信用動画データおよびマルチ動画データそれぞれに対応付けて配信制御受信した情報を記憶部33へ送信することができる。
【0050】
また、通信部31は、コンテンツ配信サーバ20からコンテンツの検索条件を受信し、検索部32へ送信し、検索部32から受信した検索結果(複数の動画データ)をコンテンツ配信サーバ20へ送信する。
【0051】
記憶部33には、例えば、コンテンツデータ(配信用動画データおよびマルチ動画データを含む)と、コンテンツに対する入力情報(コメント数など)、コンテンツを視聴した端末数、および、その他コンテンツを識別するための情報(タグ情報、配信者情報、配信期間、ジャンル等)等とが関連付けられて記憶され得る。
【0052】
検索部32は、通信部31から検索条件を受信し、記憶部33に蓄積された複数のコンテンツデータの中から検索条件を満たすものを複数読み出して、通信部31へ送信する。検索部32は、例えば画像解析手段を備えていてもよい。例えば、通信部31から受信した検索条件として動画データが含まれている場合には、検索部32は画像解析手段により受信した動画データを解析した結果を検索条件として、記憶部33に蓄積された複数のコンテンツデータの中から類似する複数の動画データを検索することができる。
【0053】
以下に、上記コンテンツ配信システムの動作の複数の例について図面を参照して説明する。
図4は、一実施形態のコンテンツ配信サーバの動作の一例を説明するためのフローチャートである。
図5は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
【0054】
ここでは、
図4および
図5を参照して、競馬の中継をした複数の動画データを用いてマルチ動画データを生成する際のコンテンツ配信サーバ20の動作について説明する。
まず、コンテンツ配信サーバ20の第2取得部25は、所定の条件を満たす複数の動画コンテンツのデータをコンテンツ記憶サーバ30へ要求し、コンテンツ記憶サーバ30から複数の動画データを受信する(ステップSA1)。
【0055】
このとき、第2取得部25は、例えば、競馬中継のコンテンツを識別するためのタグ情報、過去に競馬中継のコンテンツを配信したことがある配信者情報、競走馬の名前や、騎手の名前、競馬場の名称、レースの日付、レースの名称、過去に競馬中継をしたときの動画データ、要求する動画データの数などを検索条件として、コンテンツ記憶サーバ30へ送信し得る。
【0056】
第2取得部25は、コンテンツ記憶サーバ30から受信した複数の競馬中継の動画データを、開始フレーム特定部26および第2生成部27へ送信する。
【0057】
開始フレーム特定部26は、第2取得部25から受信した複数の競馬中継の動画データのそれぞれについて、競走馬がスタートするタイミングに対応するフレームを開始フレームとして特定する。開始フレーム特定部26は、例えば、スターティングゲートが開くタイミングを画像により識別して開始フレームを特定してもよく、ゲートが開く際の音の情報が動画データに付されている場合にはゲートが開く音を識別して開始フレームを特定してもよい(ステップSA2)。
開始フレーム特定部26は、複数の動画データのそれぞれについて、動画データの識別情報と、開始フレームの情報とを関連付けて、第2生成部27へ送信する。
【0058】
第2生成部27は、第2取得部25から複数の競馬中継の動画データを受信し、開始フレーム特定部26から動画データの識別情報に関連付けられた開始フレームの情報を受信し、開始フレームのタイミングが揃うように、複数の競馬中継の動画データを合成したマルチ動画データによるコンテンツを生成する(ステップSA3)。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。
配信部23は、受信したマルチ動画データを、配信要求を受けた視聴者端末40へ配信する(ステップSA4)。
【0059】
図5では、4つの競馬中継動画MA1-MA4が合成されたマルチ動画データの再生画面の一例を概略的に示している。この例によれば、例えば競馬中継動画MA1-MA4が異なる競馬レースを中継する動画であったとしても、競走馬がスタートするタイミングが揃うようにマルチ動画データを生成することにより、競馬中継動画MA1-MA4において出場している競走馬同士が競い合っているかのようなコンテンツを作成することができる。したがって、例えば過去の名馬のレースを中継する動画MA1-MA4を集めて、名馬同士があたかも競い合っているかのようなコンテンツを生成することも可能である。また、特定の競走馬が出場している異なるレースを中継する複数の動画MA1-MA4を集めて、特定の競走馬のレースを比較するコンテンツを生成することも可能である。
【0060】
なお、
図5では、複数の動画MA1-MA4が重ならない状態で並んで配置されている例を示しているが、複数の動画MA1-MA4は少なくとも一部が重なるように配置されていてもよく、動画MA1-MA4の少なくとも1つを透過させて他の動画上に重なるように配置してもよい。
【0061】
図6は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
ここでは、
図4および
図6を参照して、同じ曲に合わせてダンスをする人やアバターの様子を表示する複数の動画データを用いてマルチ動画データを生成する際のコンテンツ配信サーバ20の動作について説明する。
【0062】
まず、コンテンツ配信サーバ20の第2取得部25は、所定の条件を満たす複数の動画コンテンツのデータをコンテンツ記憶サーバ30へ要求し、コンテンツ記憶サーバ30から複数の動画データを受信する(ステップSA1)。
【0063】
このとき、第2取得部25は、例えば、ダンス動画のコンテンツを識別するためのタグ情報、過去にダンス動画のコンテンツを配信したことがある配信者情報、曲名、ダンスのジャンル、ダンサー名、ダンサーの性別、配信された日付、過去のダンス動画データ、要求する動画データの数などを検索条件として、コンテンツ記憶サーバ30へ送信し得る。 第2取得部25は、コンテンツ記憶サーバ30から受信した複数のダンス動画データを、開始フレーム特定部26および第2生成部27へ送信する。
【0064】
開始フレーム特定部26は、第2取得部25から受信した複数のダンス動画データのそれぞれについて、ダンスがスタートするタイミングに対応するフレームを開始フレームとして特定する。開始フレーム特定部26は、例えば、曲や歌が始まるタイミングを画像により識別して開始フレームを特定してもよく、ダンサーの動きが始まるタイミングを識別して開始フレームを特定してもよい(ステップSA2)。
開始フレーム特定部26は、複数の動画データのそれぞれについて、動画データの識別情報と、開始フレームの情報とを関連付けて、第2生成部27へ送信する。
【0065】
第2生成部27は、第2取得部25から複数のダンス動画データを受信し、開始フレーム特定部26から動画データの識別情報に関連付けられた開始フレームの情報を受信し、開始フレームのタイミングが揃うように、複数のダンス動画データを合成したマルチ動画データによるコンテンツを生成する(ステップSA3)。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。
【0066】
なお、例えば、ダンス動画MB1とダンス動画MB2とにおいて曲のテンポ(拍の時間)が異なっている場合には、第2生成部27は、一つの動画における曲のテンポに合わせて他の動画の再生速度を調整してもよく、全ての動画における曲のテンポが所定の速度となるように全ての動画の再生速度を調整してもよい。
配信部23は、受信したマルチ動画データを、配信要求を受けた視聴者端末40へ配信する(ステップSA4)。
【0067】
図6では、2つのダンス動画MB1-MB2が合成されたマルチ動画データの再生画面の一例を概略的に示している。この例によれば、例えば手本とするダンス動画MB1と、ダンスを練習している者のダンス動画MB2とを並べて配置し、ダンスがスタートするタイミングが揃うようにマルチ動画データを生成することにより、手本と練習者とのダンスを比較するようなコンテンツを作成することができる。また、異なるダンサーの動画を並べて表示することにより、あたかも複数のダンサーが共演しているかのようなコンテンツを作成することも可能である。したがって、例えば、著名なダンサーによるダンス動画MB1-MB2を集めて、ダンサー同士があたかも共演しているかのようなコンテンツを生成することも可能である。
【0068】
なお、
図6では、複数の動画MB1-MB2が重ならない状態で並んで配置されている例を示しているが、複数の動画MB1-MB2は少なくとも一部が重なるように配置されていてもよく、動画MB1-MB2の少なくとも1つを透過させて他の動画上に重なるように配置してもよい。
【0069】
また、曲が開始される開始フレームを揃えたマルチ動画データは複数のダンス動画を組み合わせたものに限定されるものではなく、例えば、プレイヤーが演奏する音とともに演奏する姿を表示する動画を複数組み合わせることも可能である。例えば、異なる複数の楽器を演奏する様子を表示する複数の動画を組み合わせたマルチ動画データを再生することにより、あたかもバンド演奏やオーケストラの演奏をしているかのようなコンテンツを生成することも可能である。
【0070】
図7は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
ここでは、
図4および
図7を参照して、遊戯機でのゲームを行う様子を表示する複数の動画データを用いてマルチ動画データを生成する際のコンテンツ配信サーバ20の動作について説明する。
【0071】
まず、コンテンツ配信サーバ20の第2取得部25は、所定の条件を満たす複数の動画コンテンツのデータをコンテンツ記憶サーバ30へ要求し、コンテンツ記憶サーバ30から複数の動画データを受信する(ステップSA1)。
【0072】
このとき、第2取得部25は、例えば、遊戯機でのゲーム動画のコンテンツを識別するためのタグ情報、過去に遊戯機でのゲーム動画のコンテンツを配信したことがある配信者情報、遊戯機の種類、遊戯者名、配信された日付、過去の遊戯機でのゲーム動画データ、要求する動画データの数などを検索条件として、コンテンツ記憶サーバ30へ送信し得る。
第2取得部25は、コンテンツ記憶サーバ30から受信した複数の遊戯機でのゲーム動画データを、開始フレーム特定部26および第2生成部27へ送信する。
【0073】
開始フレーム特定部26は、第2取得部25から受信した複数の遊戯機でのゲーム動画データのそれぞれについて、ゲームがスタートするタイミングに対応するフレームを開始フレームとして特定する。開始フレーム特定部26は、例えば、ゲームがスタートする際に遊戯機から発せられる音を識別して開始フレームを特定してもよく、ゲームがスタートする際に点灯する遊戯機の照明を画像により識別して開始フレームを特定してもよく、遊戯者の動作を識別して開始フレームを特定してもよい(ステップSA2)。
開始フレーム特定部26は、複数の動画データのそれぞれについて、動画データの識別情報と、開始フレームの情報とを関連付けて、第2生成部27へ送信する。
【0074】
第2生成部27は、第2取得部25から複数の遊戯機でのゲーム動画データを受信し、開始フレーム特定部26から動画データの識別情報に関連付けられた開始フレームの情報を受信し、開始フレームのタイミングが揃うように、複数の動画データを合成したマルチ動画データによるコンテンツを生成する(ステップSA3)。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。
配信部23は、受信したマルチ動画データを、配信要求を受けた視聴者端末40へ配信する(ステップSA4)。
【0075】
図7では、2つのゲーム動画MC1-MC2が合成されたマルチ動画データの再生画面の一例を概略的に示している。この例によれば、例えば全く異なる時間に異なる人がゲームをしている動画MC1-MC2を並べて配置し、ゲームがスタートするタイミングが揃うようにマルチ動画データを生成することにより、あたかも複数の遊戯者がゲームを競っているかのようなコンテンツを作成することができる。したがって、例えば、著名な遊戯者によるゲーム動画MC1-MC2を集めて、遊戯者同士があたかも競っているかのようなコンテンツを生成することも可能である。
【0076】
なお、
図7では、複数の動画MC1-MC2が重ならない状態で並んで配置されている例を示しているが、複数の動画MC1-MC2は少なくとも一部が重なるように配置されていてもよく、動画MC1-MC2の少なくとも1つを透過させて他の動画上に重なるように配置してもよい。
【0077】
上記のように、本実施形態によれば、コンテンツ配信サーバ20は、所定の条件を満たす複数の動画データを取得し、所定のアクションが開始されるタイミングが揃うように複数の動画データを合成したマルチ動画データによるコンテンツを自動的に生成することができる。したがって、例えば、過去の動画コンテンツを含む複数の動画コンテンツを組み合わせて新たな動画コンテンツを作成する際に、膨大な数の過去のコンテンツの中から適切なものを選択したり、新たな動画コンテンツに過去の動画コンテンツを組み込むための編集作業を行ったりする手間を省くことが可能である。
【0078】
また、マルチ動画データの生成に用いられる動画データは、所定の条件を満たすものの中から自動的に抽出されるため、コンテンツ作成者や視聴者が意図しないような、意外性のある組み合わせの複数の動画データが抽出される可能性があり、興趣性の高い動画コンテンツが生成され得る。
【0079】
すなわち、本実施形態によれば、興趣性の高い動画コンテンツを生成するコンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラムを提供することが可能である。
【0080】
次に、第2実施形態のコンテンツ配信サーバを含むコンテンツ配信システムの一例について、図面を参照して以下に説明する。
図8は、
図1に示すコンテンツ配信サーバの他の構成例を概略的に示す図である。
【0081】
コンテンツ配信サーバ20は、第1取得部21と、第2取得部25と、第1生成部22と、配信部23と、配信制御部24と、開始フレーム特定部26と、第2生成部27と、を備えている。本実施形態のコンテンツ配信サーバ20では、第1取得部21と、第2取得部25と、開始フレーム特定部26と、第2生成部27と、の構成が上述の第1実施形態と異なっている。以下では、第1実施形態と異なる構成について主に説明し、重複する説明は省略する。
【0082】
本実施形態のコンテンツ生成装置は、第2取得部25と、開始フレーム特定部26と、第2生成部27とを含み、コンテンツ配信サーバ20と一体に構成されていてもよく、コンテンツ配信サーバ20の外部にてコンテンツ配信サーバ20と通信可能に接続される構成であっても構わない。
【0083】
第1取得部21は、ネットワークを介してコンテンツ配信端末10から逐次送信されるコンテンツデータを受信可能である。例えば、第1取得部21は、コンテンツ配信端末10からリアルタイム配信用の動画データを受信する。また、第1取得部21は、ネットワークを介して視聴者端末40から逐次送信されるコメントなどの入力情報を受信可能である。第1取得部21は、受信した動画データを第1生成部22および第2取得部25へ送信する。
【0084】
なお、第1取得部21は、受信した全ての動画データを第2取得部25へ送信してもよく、例えば予め設定されたタグ情報を含む動画データのみを第2取得部25へ送信してもよく、予め設定された配信者の画像データのみを第2取得部25へ送信してもよく、例えばオンライン上で開催されている所定のイベントに参加している配信者の画像データのみを第2取得部25へ送信してもよい。配信者がイベントに参加しているか否かは、例えば動画データに付されているタグ情報に含めることが可能であるし、事前にイベントに参加する配信者を登録しておくことも可能である。
【0085】
第2取得部25は、第1取得部21から動画データを受信し、例えば受信した動画データやタグ情報などを検索条件としてコンテンツ記憶サーバ30へ送信することができる。第2取得部25は、ネットワークを介してコンテンツ記憶サーバ30へ、所定の条件を満たす少なくとも1つの動画コンテンツのデータを要求するとともに、コンテンツ記憶サーバ30から少なくとも1つの動画コンテンツのデータを受信する。第2取得部25は、第1取得部21から受信した動画データ(第1動画データ)と、コンテンツ記憶サーバ30から受信した少なくとも1つの動画コンテンツのデータ(第2動画データ)とを開始フレーム特定部26と第2生成部27とへ送信する。このとき、第2取得部25は、第1動画データと第2動画データとを識別可能とするための情報(フラグ等)をそれぞれに付して、開始フレーム特定部26と第2生成部27とへ送信することができる。
【0086】
なお、コンテンツ配信サーバ20のデータ記憶部に記憶された動画コンテンツのデータに所定の条件を満たすものがある場合には、第2取得部25は、データ記憶部に記憶された動画コンテンツのデータを取得し、第1取得部21から受信した動画データとともに開始フレーム特定部26と第2生成部27とへ送信してもよい。
【0087】
第2取得部25は、第1取得部21から受信した動画データに応じて、例えば同じ音楽を演奏している複数の動画を取得したり、競馬や競輪の中継動画を複数取得したり、マラソンや水泳などの競技スポーツの動画を複数取得したり、同じ曲に合わせた複数のダンス動画を取得したり、同じゲームの画面を撮影した複数の動画を取得したり、遊戯機で遊ぶ様子を撮影した複数の動画を取得したりすることができる。
【0088】
開始フレーム特定部26は、第2取得部25から複数の動画データを受信する。開始フレーム特定部26は、受信した複数の動画データそれぞれについて、再生映像にて所定のアクションが開始するタイミングのフレーム(開始フレーム)を特定する。ここで、所定のアクションとは、例えば、所定の音楽の演奏や、歌唱や、ダンスなどの動作や、競馬や競輪などのレースや、マラソンや競泳などのスポーツや、RPG、アクションゲーム、戦闘ゲームなどのゲームや、パチスロやパチンコなど遊戯機の動作などを採用することができる。
【0089】
開始フレーム特定部26は、第2取得部25から受信した複数の動画データに、所定のアクションが開始するタイミングのフレームを示すフラグが含まれているときには、フラグの位置を開始フレームと特定することができる。
【0090】
また、開始フレーム特定部26は、第2取得部25から受信した複数の動画データが満たす条件に応じて、所定のアクションを特定し、所定のアクションの開始フレームを特定することが可能である。
【0091】
また、開始フレーム特定部26は、第2取得部25から受信した複数の動画データを互いに比較することにより、開始フレームを特定してもよい。例えば、開始フレーム特定部26は、複数の動画データの再生画像において共通の曲が始まるタイミングや、アクションの開始タイミングに発生する共通の音等により、開始フレームを特定することが可能である。また、例えば、開始フレーム特定部26は、複数の動画データの再生画像において、所定の部分の色彩が変化するタイミングや、所定の部分の明るさが変化するタイミング等の画像の共通の変化により、開始フレームを特定することが可能である。
【0092】
開始フレーム特定部26は、入力された動画データの開始フレームを特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)などの深層学習により、所定の条件を満たす動画データを入力とし、動画データの再生画像において所定のアクションが開始されるタイミングに対応するフレームを特定する学習済みのモデルである。動画データを検索する条件が複数想定される場合には、開始フレーム特定部26は、複数の条件のそれぞれに対応する複数の学習済みモデルを備え得る。
【0093】
開始フレーム特定部26は、複数の画像データのそれぞれについて特定した開始フレームを示す情報を第2生成部27へ送信する。開始フレーム特定部26は、特定した開始フレームを示すフラグを複数の動画データそれぞれに付した後に、複数の動画データを第2生成部27へ送信してもよい。その場合には、第2取得部25から第2生成部27へ複数の動画データを送信することを省略することができる。
【0094】
第2生成部27は、第2取得部25から複数の動画データを受信し、開始フレーム特定部26から開始フレームを示す情報を受信する。第2生成部27は、受信した複数の画像データの再生画像が画面に並んで表示されるように構成し、開始フレームのタイミングが揃うように編集をしたマルチ動画データを生成する。
【0095】
第2生成部27は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、複数の動画データを合成してもよい。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。なお、マルチ動画データの再生画像において、複数の再生画像の大きさは同じである必要はない。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。
【0096】
配信部23は、ネットワークと通信可能に接続し、第1生成部22から配信用画像データを受信し、第2生成部27からマルチ動画データを受信し、配信用画像データとマルチ動画データとのそれぞれについて配信要求を受けた視聴者端末40へ配信することができる。配信部23は、例えば配信用動画データの配信先などを配信制御部24によって制御される。
【0097】
なお、配信部23は、配信済みの配信用動画データおよびマルチ動画データを直ちに破棄してもよいが、例えばリプレイまたはスローモーション再生を可能とするために所定期間バッファリングしていてもよい。
【0098】
また、配信部23は、配信した配信用動画データおよびマルチ動画データを、コンテンツ記憶サーバ30へ送信する。このとき、配信部23は、配信用動画データおよびマルチ動画データに対する入力情報(コメント数など)や、視聴要求をした視聴者端末40の数や、配信用動画データおよびマルチ動画データを識別するための情報(タグ情報、配信者情報、配信期間、ジャンル等)などを、配信用動画データおよびマルチ動画データそれぞれに対応付けて第1生成部22および第2生成部27から受信し、受信した情報を合わせてコンテンツ記憶サーバ30へ送信することができる。
【0099】
図9は、一実施形態のコンテンツ配信サーバの動作の一例を説明するためのフローチャートである。
図10は、一実施形態のコンテンツ配信サーバより配信されたマルチ動画データの再生画像の一例を概略的に示す図である。
ここでは、
図9および
図10を参照して、同じ曲に合わせてダンスをする人やアバターの様子を表示する複数の動画データを用いてマルチ動画データを生成する際のコンテンツ配信サーバ20の動作について説明する。
【0100】
まず、コンテンツ配信サーバ20の第2取得部25は、第1取得部21から受信した動画データに対応する所定の条件を満たす少なくとも1つの動画コンテンツのデータをコンテンツ記憶サーバ30へ要求し、コンテンツ記憶サーバ30から少なくとも1つの動画データを受信する(ステップSB1)。
【0101】
ここでは、第2取得部25は、第1取得部21からダンス動画を受信し、例えば、受信したダンス動画のコンテンツを識別するためのタグ情報、過去にダンス動画のコンテンツを配信したことがある配信者情報、曲名、ダンスのジャンル、ダンサー名、ダンサーの性別、配信された日付、第1取得部21から受信したダンス動画データ、要求する動画データの数などを検索条件として、コンテンツ記憶サーバ30へ送信し得る。
【0102】
第2取得部25は、第1取得部21から受信したダンス動画データ(第1動画データ)と、コンテンツ記憶サーバ30から受信した少なくとも1つのダンス動画データ(第2動画データ)とを、開始フレーム特定部26および第2生成部27へ送信する。このとき、第2取得部25は、第1動画データと第2動画データとを識別可能とするための情報(フラグ等)をそれぞれに付して、開始フレーム特定部26および第2生成部27へ送信する。
【0103】
開始フレーム特定部26は、第2取得部25から受信した第1動画データおよび第2動画データのそれぞれについて、再生画像においてダンスがスタートするタイミングに対応するフレームを開始フレームとして特定する。開始フレーム特定部26は、例えば、曲や歌が始まるタイミングを画像により識別して開始フレームを特定してもよく、ダンサーの動きが始まるタイミングを識別して開始フレームを特定してもよい(ステップSB2)。
【0104】
開始フレーム特定部26は、第1動画データおよび第2動画データのそれぞれについて、動画データの識別情報と、開始フレームの情報とを関連付けて、第2生成部27へ送信する。
【0105】
第2生成部27は、第2取得部25から第1動画データと第2動画データとを受信し、開始フレーム特定部26から動画データの識別情報に関連付けられた開始フレームの情報を受信し、開始フレームのタイミングが揃うように、第1動画データと第2動画データとを合成したマルチ動画データによるコンテンツを生成する(ステップSB3)。第2生成部27は、生成したマルチ動画データを配信部23へ送信する。
【0106】
なお、例えば、ダンス動画MD1とダンス動画MD2とにおいて曲のテンポ(拍の時間)が異なっている場合には、第2生成部27は、一つの動画における曲のテンポに合わせて他の動画の再生速度を調整してもよく、全ての動画における曲のテンポが所定の速度となるように全ての動画の再生速度を調整してもよい。
【0107】
配信部23は、受信したマルチ動画データを、配信要求を受けた視聴者端末40へ配信する(ステップSB4)。なお、配信制御部24は、第1動画データに対する配信要求をコンテンツ配信サーバ20へ送信した視聴者端末40に対して、第1動画データに替えてマルチ動画データを配信するように配信部23を制御してもよい。また、第1動画データに対する配信要求を送信した視聴者端末40に対して、第1動画データとマルチ動画データとのいずれを配信するか選択する要求をし、配信制御部24は、視聴者端末40にて選択された動画データを配信するように配信部23を制御してもよい。
【0108】
図10では、2つのダンス動画MD1-MD2が合成されたマルチ動画データの再生画面の一例を概略的に示している。この例では、例えばコンテンツ配信端末10から送信されたダンス動画MD1と、手本とするダンス動画MD2とを並べて配置している。例えばダンス動画MD1とダンス動画MD2とのダンスがスタートするタイミングが揃うようにマルチ動画データを生成することにより、コンテンツ配信者のダンスと手本のダンスとを比較するようなコンテンツや、コンテンツ配信者と著名なダンサーとがあたかも共演しているかのようなコンテンツを作成することができる。
【0109】
なお、
図10では、複数の動画MD1-MD2が重ならない状態で並んで配置されている例を示しているが、複数の動画MD1-MD2は少なくとも一部が重なるように配置されていてもよく、動画MD1-MD2の少なくとも1つを透過させて他の動画上に重なるように配置してもよい。また、
図6では、画面上にてダンス動画MD1がダンス動画MD2よりも大きく表示されているが、複数の動画が表示される大きさはこれに限定されるものではなく、画面上に表示される動画の数により適宜調整可能である。
【0110】
また、第1動画データと第2動画データとを用いて生成されるマルチ動画データは複数のダンス動画を組み合わせたものに限定されるものではなく、例えば、ゲームの実況する動画を複数組み合わせてもよく、陸上競技や水泳などのスポーツを実況する動画を複数組み合わせてもよく、プレイヤーが演奏する音とともに演奏する姿を表示する動画を複数組み合わせることも可能である。
【0111】
例えば、異なる複数の楽器を演奏する様子を表示する複数の動画を組み合わせたマルチ動画データを再生することにより、あたかもバンド演奏やオーケストラの演奏をしているかのようなコンテンツを生成することも可能である。
【0112】
また、配信者(若しくはアバター)が歌謡曲を歌唱する様子を表示する動画データを第1動画とし、その歌謡曲を歌唱する歌手本人を表示する動画データを第2動画データとしてもよい。その場合には、配信者が歌手本人とあたかもデュエットしているかのような表示を行うことができる。
【0113】
上記のように、本実施形態によれば、コンテンツ配信サーバ20は、コンテンツ配信端末10から受信した第1動画データと、第1動画データに対応する所定の条件を満たす少なくとも1つの第2動画データを取得し、所定のアクションが開始されるタイミングが揃うように第1動画データと第2動画データとを合成したマルチ動画データによるコンテンツを自動的に生成することができる。したがって、例えば、過去の動画コンテンツを含む複数の動画コンテンツを組み合わせて新たな動画コンテンツを作成する際に、膨大な数の過去のコンテンツの中から適切なものを選択したり、新たな動画コンテンツに過去の動画コンテンツを組み込むための編集作業を行ったりする手間を省くことが可能である。
【0114】
また、マルチ動画データの生成に用いられる第2動画データは、所定の条件を満たすものの中から自動的に抽出されるため、コンテンツ作成者や視聴者が意図しないような、意外性のある組み合わせの第2動画データが抽出される可能性があり、興趣性の高い動画コンテンツが生成され得る。
【0115】
すなわち、本実施形態によれば、興趣性の高い動画コンテンツを生成するコンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラムを提供することが可能である。
【0116】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0117】
10…コンテンツ配信端末、20…コンテンツ配信サーバ、21…第1取得部、22…第1生成部、23…配信部、24…配信制御部、25…第2取得部、26…開始フレーム特定部、27…第2生成部、30…コンテンツ記憶サーバ、31…通信部、32…検索部、33…記憶部、40…視聴者端末。