特許 7051923 動画生成装置、動画生成方法、動画生成プログラム、再生装置、動画配信装置、及び動画システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-01

(45)【発行日】2022-04-11

(54)【発明の名称】動画生成装置、動画生成方法、動画生成プログラム、再生装置、動画配信装置、及び動画システム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20220404BHJP

   H04N 21/2743 20110101ALI20220404BHJP

   H04N 21/439 20110101ALI20220404BHJP

   G10K 15/02 20060101ALI20220404BHJP

【ＦＩ】

H04N21/44

H04N21/2743

H04N21/439

G10K15/02

【請求項の数】 11

(21)【出願番号】P 2020048259

(22)【出願日】2020-03-18

(65)【公開番号】P2021150795

(43)【公開日】2021-09-27

【審査請求日】2020-08-21

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(74)【代理人】

【識別番号】100135518

【弁理士】

【氏名又は名称】青木 隆

(72)【発明者】

【氏名】名阪 智宜

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１５－０３２８４６（ＪＰ，Ａ）

【文献】特開２０２０－０１７８６８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２６２６５４（ＵＳ，Ａ１）

【文献】特開２０１０－２５８９１７（ＪＰ，Ａ）

【文献】特開２０１５－２１０３４４（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２００６－００１８９２０（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ１０Ｋ １５／０２

(57)【特許請求の範囲】

【請求項1】

音を示す音情報を配信する配信装置から前記音情報を受信する音情報受信手段と、
前記音の再生タイミングを示す第１タイミング情報を前記配信装置から受信するタイミング情報受信手段と、
撮像手段により動画を撮像させる撮像制御手段と、
前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生手段と、
前記音情報により示される前記音が前記音再生手段により再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定手段と、
前記撮像された動画を示す動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる制御手段と、
を備え、
前記制御手段は、前記音再生手段により再生された前記音なしの前記動画を示す前記動画情報を生成させることを特徴とする動画生成装置。

【請求項2】

前記タイミング情報受信手段は、前記音を構成する複数の部分であって、再生タイミングが互いに異なる複数の部分それぞれの再生タイミングを示す前記第１タイミング情報を受信し、
前記タイミング特定手段は、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音のうち、前記音再生手段により再生されている部分に対応する再生タイミングを特定し、
前記制御手段は、前記動画を構成する複数のフレームのうち、撮像されたタイミングが、前記特定された再生タイミングと対応するフレームに関連付けて、前記特定された再生タイミングを示す前記第２タイミング情報を含む前記動画情報を生成させることを特徴とする請求項１に記載の動画生成装置。

【請求項3】

前記撮像手段により前記動画が撮像されているときに音入力手段を用いて入力された入力音から、人間の声と異なる音を除去する除去手段を更に備え、
前記制御手段は、前記人間の声と異なる前記音が除去された前記入力音を含む前記動画を示す動画情報を生成させることを特徴とする請求項１又は２に記載の動画生成装置。

【請求項4】

前記音情報受信手段は、一又は複数の音をそれぞれ示す一又は複数の音情報を受信し、
前記タイミング情報受信手段は、前記一又は複数の音それぞれについて、前記第１タイミング情報を受信し、
前記音再生手段は、前記一又は複数の音を再生し、
前記タイミング特定手段は、前記一又は複数の音それぞれについて、前記第１タイミング情報に基づいて、前記再生タイミングを特定し、
前記制御手段は、前記一又は複数の音それぞれについて、前記特定された再生タイミングと、前記音情報を識別する識別情報と、を示す前記第２タイミング情報を、前記生成される動画情報に含ませることを特徴とする請求項１乃至３の何れか一項に記載の動画生成装置。

【請求項5】

コンピュータにより実行される動画生成方法において、
音を示す音情報を配信する配信装置から前記音情報を受信する音情報受信ステップと、
前記音の再生タイミングを示す第１タイミング情報を前記配信装置から受信するタイミング情報受信ステップと、
撮像手段により動画を撮像させる撮像制御ステップと、
前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生ステップと、
前記音情報により示される前記音が前記音再生ステップにより再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定ステップと、
前記撮像された動画を示す動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる制御ステップと、
を含み、
前記制御ステップは、前記音再生ステップにより再生された前記音なしの前記動画を示す前記動画情報を生成させることを特徴とする動画生成方法。

【請求項6】

コンピュータを、
音を示す音情報を配信する配信装置から前記音情報を受信する音情報受信手段と、
前記音の再生タイミングを示す第１タイミング情報を前記配信装置から受信するタイミング情報受信手段と、
撮像手段により動画を撮像させる撮像制御手段と、
前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生手段と、
前記音情報により示される前記音が前記音再生手段により再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定手段と、
前記撮像された動画を示す動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる制御手段と、
として機能させ、
前記制御手段は、前記音再生手段により再生された前記音なしの前記動画を示す前記動画情報を生成させることを特徴とする動画生成プログラム。

【請求項7】

動画を示す動画情報であって、動画生成装置による制御により生成された動画情報を受信する動画情報受信手段と、
音を示す音情報を受信する音情報受信手段と、
前記受信された動画情報により示される動画と、前記受信された音情報により示される前記音と、を再生する動画再生手段と、
を備え、
前記動画は、撮像手段により撮像され、
前記動画生成装置は、前記撮像手段により前記動画が撮像されているとき、前記音情報により示される前記音を再生し、前記音情報により示される前記音が再生されているとき、前記音の再生タイミングを特定し、前記特定された再生タイミングを示す第２タイミング情報を含む前記動画情報を生成させ、
前記動画再生手段は、前記受信された動画情報に含まれる前記第２タイミング情報に基づいて、前記動画と前記音とを同期させることを特徴とする再生装置。

【請求項8】

前記音の再生タイミングを示す第１タイミング情報を更に受信するタイミング情報受信手段を更に備え、
前記動画再生手段は、前記受信された第１タイミング情報及び前記第２タイミング情報に基づいて、前記動画と前記音とを同期させることを特徴とする請求項７に記載の再生装置。

【請求項9】

動画を示す動画情報を生成するための動画生成装置から、前記動画情報を受信する動画情報受信手段と、
前記受信された動画情報を、前記動画を再生する再生装置へ送信する動画情報送信手段と、
を備え、
前記動画生成装置は、音を示す音情報を受信し、
前記動画は、撮像手段により撮像され、
前記動画生成装置は、前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生し、前記音情報により示される前記音が前記再生装置により再生されているとき、前記音の再生タイミングを特定し、
前記動画情報受信手段は、前記動画生成装置により再生された前記音なしの前記動画を示す前記動画情報を受信し、
前記動画情報送信手段は、前記受信された動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む前記動画情報を送信することを特徴とする動画配信装置。

【請求項10】

動画を示す動画情報を生成するための動画生成装置と、前記動画を再生する再生装置と、配信装置と、を備える動画システムにおいて、
前記配信装置は、
音を示す音情報を前記動画生成装置へ送信する第１音情報送信手段と、
前記音の再生タイミングを示す第１タイミング情報を、前記動画生成装置へ送信するタイミング情報送信手段と、
前記動画生成装置から前記動画情報を受信する動画情報受信手段と、
前記受信された動画情報を前記再生装置へ送信する受信動画情報送信手段と、
前記音情報を前記再生装置へ送信する第２音情報送信手段と、
を含み、
前記動画生成装置は、
前記配信装置から前記音情報を受信する音情報受信手段と、
前記配信装置から前記第１タイミング情報を受信するタイミング情報受信手段と、
撮像手段により前記動画を撮像させる撮像制御手段と、
前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生手段と、
前記音情報により示される前記音が前記音再生手段により再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定手段と、
前記撮像された動画を示す前記動画情報を、前記配信装置へ送信する生成動画情報送信手段と、
を含み、
前記再生装置は、
前記配信装置から前記動画情報を受信する再生動画情報受信手段と、
前記配信装置から前記音情報を受信する再生音情報受信手段と、
前記受信された動画情報により示される動画と、前記受信された音情報により示される前記音と、を再生する動画再生手段と、
を備え、
前記受信動画情報送信手段は、前記動画情報受信手段により受信された前記動画情報であって、前記タイミング特定手段により特定された前記再生タイミングを示す第２タイミング情報を含む前記動画情報を送信し、
前記動画再生手段は、前記再生動画情報受信手段により受信された前記動画情報に含まれる前記第２タイミング情報に基づいて、前記動画と前記音とを同期させることを特徴とする動画システム。

【請求項11】

前記配信装置は、音配信装置と、前記音配信装置と異なる動画配信装置と、を含み、
前記音配信装置は、前記第１音情報送信手段と、前記タイミング情報送信手段と、前記第２音情報送信手段と、を含み、
前記動画配信装置は、前記動画情報受信手段と、前記受信動画情報送信手段と、を含むことを特徴とする請求項１０に記載の動画システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音を再生しながら動画を撮像することで、動画情報を生成する方法に関する。

【背景技術】

【0002】

従来、ユーザにより作成された動画の投稿を可能とし、投稿された動画を配信して他のユーザに視聴させる動画共有プラットフォームが知られている（例えば、特許文献１）。動画共有プラットフォームへは、カメラで撮影された動画が主にアップロードされる。また、再生された音に合わせて誰かが動作する動画が投稿される場合がある。例えば、音楽に合わせて誰かがダンスをする動画がよく知られている。この場合、例えば動画を撮像する際にマイクロフォン等を用いて録音を行うことにより、音ありの動画が生成される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２２９６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、録音された音には、オリジナルの音以外のノイズも含まれてしまうなどの理由により、生成された動画に含まれる音の品質は、オリジナルの音の品質よりも劣化してしまう。

【0005】

本願発明は以上の点に鑑みてなされてものであり、その課題の一例は、動画共有プラットフォームにおいて、動画の撮像時に再生された音の品質の劣化を防いで、撮像された動画を再生することを可能とする動画生成装置、動画生成方法、動画生成プログラム、再生装置、動画配信装置、及び動画システムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１に記載の発明は、音を示す音情報を配信する配信装置から前記音情報を受信する音情報受信手段と、前記音の再生タイミングを示す第１タイミング情報を前記配信装置から受信するタイミング情報受信手段と、撮像手段により動画を撮像させる撮像制御手段と、前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生手段と、前記音情報により示される前記音が前記音再生手段により再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定手段と、前記撮像された動画を示す動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる制御手段と、を備え、前記制御手段は、前記音再生手段により再生された前記音なしの前記動画を示す前記動画情報を生成させることを特徴とする。

【0007】

この発明によれば、動画の撮像中に音が再生されているとき、第１タイミング情報に基づいて、その音の再生タイミングが特定され、特定された再生タイミングを示す第２タイミング情報を含む動画情報が生成される。再生装置は、動画を再生するとき、動画情報に基づいて動画を再生し、配信装置から音情報を受信し、その音情報に基づいて音を再生する。ここで、再生装置は、動画情報に含まれる第２タイミング情報に基づいて、動画と音とを同期して、再生を行う。このように、再生装置は、配信装置から配信される音情報に基づいて音を再生するので、動画共有プラットフォームにおいて、動画の撮像時に再生された音の品質の劣化を防いで、撮像された動画を再生することができる。
また、この発明によれば、動画の撮像時に再生された音は動画に記録されないので、再生装置は、その動画を再生するとき、劣化した音を再生しない。再生装置は、配信装置から配信される音情報に基づいて音を再生するので、音質の劣化を防止することができる。

【0008】

請求項２に記載の発明は、前記タイミング情報受信手段は、前記音を構成する複数の部分であって、再生タイミングが互いに異なる複数の部分それぞれの再生タイミングを示す前記第１タイミング情報を受信し、前記タイミング特定手段は、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音のうち、前記音再生手段により再生されている部分に対応する再生タイミングを特定し、前記制御手段は、前記動画を構成する複数のフレームのうち、撮像されたタイミングが、前記特定された再生タイミングと対応するフレームに関連付けて、前記特定された再生タイミングを示す前記第２タイミング情報を含む前記動画情報を生成させることを特徴とする。

【0009】

この発明によれば、音を構成する複数の部分それぞれについて、再生タイミングが特定され、動画を構成する複数のフレームのうち、特定された再生タイミングに対応するフレームに関連付けられた第２タイミング情報が、動画情報に含まれる。再生装置は、動画情報に含まれる第２タイミング情報に関連付けられたフレームを表示するとき、音を構成する複数の部分のうち、その第２タイミング情報に対応する部分を再生する。従って、動画と音とを適切に同期して動画を再生することができる。

【0012】

請求項３に記載の発明は、前記撮像手段により前記動画が撮像されているときに音入力手段を用いて入力された入力音から、人間の声と異なる音を除去する除去手段を更に備え、前記制御手段は、前記人間の声と異なる前記音が除去された前記入力音を含む前記動画を示す動画情報を生成させることを特徴とする。

【0013】

この発明によれば、動画の撮像時に人間の声は動画に記録される一方で、人間の声と異なる音の記録が抑止される。そのため、動画の撮像時に再生された音が人間の声を含まない場合、その音の記録が抑止される。再生装置は、動画を再生するとき、記録された人間の声を再生するとともに、配信装置から配信される音情報に基づいて音を再生する。従って、動画の撮像時に再生された音の劣化を防ぎながら、動画の撮像時に人間が発した声を、動画とともに再生することができる。

【0014】

請求項４に記載の発明は、前記音情報受信手段は、一又は複数の音をそれぞれ示す一又は複数の音情報を受信し、前記タイミング情報受信手段は、前記一又は複数の音それぞれについて、前記第１タイミング情報を受信し、前記音再生手段は、前記一又は複数の音を再生し、前記タイミング特定手段は、前記一又は複数の音それぞれについて、前記第１タイミング情報に基づいて、前記再生タイミングを特定し、前記制御手段は、前記一又は複数の音それぞれについて、前記特定された再生タイミングと、前記音情報を識別する識別情報と、を示す前記第２タイミング情報を、前記生成される動画情報に含ませることを特徴とする。

【0015】

この発明によれば、動画の撮像時に一又は複数の音が再生される場合、その一又は複数の音それぞれについて、その音の音情報を識別する識別情報を含む第２タイミング情報が、動画情報に含ませられる。再生装置は、動画を再生するとき、第２タイミング情報に含まれる識別情報に基づいて、音の再生に用いられる音情報を特定することができる。従って、動画の撮像時に複数の音が再生された場合であっても、再生されたそれぞれの音の品質の劣化を防いで、撮像された動画を再生することができる。

【0016】

請求項５に記載の発明は、コンピュータにより実行される動画生成方法において、音を示す音情報を配信する配信装置から前記音情報を受信する音情報受信ステップと、前記音の再生タイミングを示す第１タイミング情報を前記配信装置から受信するタイミング情報受信ステップと、撮像手段により動画を撮像させる撮像制御ステップと、前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生ステップと、前記音情報により示される前記音が前記音再生ステップにより再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定ステップと、前記撮像された動画を示す動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる制御ステップと、を含み、前記制御ステップは、前記音再生ステップにより再生された前記音なしの前記動画を示す前記動画情報を生成させることを特徴とする。

【0017】

請求項６に記載の発明は、コンピュータを、音を示す音情報を配信する配信装置から前記音情報を受信する音情報受信手段と、前記音の再生タイミングを示す第１タイミング情報を前記配信装置から受信するタイミング情報受信手段と、撮像手段により動画を撮像させる撮像制御手段と、前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生手段と、前記音情報により示される前記音が前記音再生手段により再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定手段と、前記撮像された動画を示す動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる制御手段と、として機能させ、前記制御手段は、前記音再生手段により再生された前記音なしの前記動画を示す前記動画情報を生成させることを特徴とする。

【0018】

請求項７に記載の発明は、動画を示す動画情報であって、動画生成装置による制御により生成された動画情報を受信する動画情報受信手段と、音を示す音情報を受信する音情報受信手段と、前記受信された動画情報により示される動画と、前記受信された音情報により示される前記音と、を再生する動画再生手段と、を備え、前記動画は、撮像手段により撮像され、前記動画生成装置は、前記撮像手段により前記動画が撮像されているとき、前記音情報により示される前記音を再生し、前記音情報により示される前記音が再生されているとき、前記音の再生タイミングを特定し、前記特定された再生タイミングを示す第２タイミング情報を含む前記動画情報を生成させ、前記動画再生手段は、前記受信された動画情報に含まれる前記第２タイミング情報に基づいて、前記動画と前記音とを同期させることを特徴とする。

【0019】

請求項８に記載の発明は、前記音の再生タイミングを示す第１タイミング情報を更に受信するタイミング情報受信手段を更に備え、前記動画再生手段は、前記受信された第１タイミング情報及び前記第２タイミング情報に基づいて、前記動画と前記音とを同期させることを特徴とする。

【0020】

請求項９に記載の発明は、動画を示す動画情報を生成するための動画生成装置から、前記動画情報を受信する動画情報受信手段と、前記受信された動画情報を、前記動画を再生する再生装置へ送信する動画情報送信手段と、を備え、前記動画生成装置は、音を示す音情報を受信し、前記動画は、撮像手段により撮像され、前記動画生成装置は、前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生し、前記音情報により示される前記音が前記再生装置により再生されているとき、前記音の再生タイミングを特定し、前記動画情報受信手段は、前記動画生成装置により再生された前記音なしの前記動画を示す前記動画情報を受信し、前記動画情報送信手段は、前記受信された動画情報であって、前記特定された再生タイミングを示す第２タイミング情報を含む前記動画情報を送信することを特徴とする。

【0021】

請求項１０に記載の発明は、動画を示す動画情報を生成するための動画生成装置と、前記動画を再生する再生装置と、配信装置と、を備える動画システムにおいて、前記配信装置は、音を示す音情報を前記動画生成装置へ送信する第１音情報送信手段と、前記音の再生タイミングを示す第１タイミング情報を、前記動画生成装置へ送信するタイミング情報送信手段と、前記動画生成装置から前記動画情報を受信する動画情報受信手段と、前記受信された動画情報を前記再生装置へ送信する受信動画情報送信手段と、前記音情報を前記再生装置へ送信する第２音情報送信手段と、を含み、前記動画生成装置は、前記配信装置から前記音情報を受信する音情報受信手段と、前記配信装置から前記第１タイミング情報を受信するタイミング情報受信手段と、撮像手段により前記動画を撮像させる撮像制御手段と、前記撮像手段により前記動画が撮像されているとき、前記受信された音情報により示される前記音を再生する音再生手段と、前記音情報により示される前記音が前記音再生手段により再生されているとき、前記受信された第１タイミング情報に基づいて、前記音情報により示される前記音の再生タイミングを特定するタイミング特定手段と、前記撮像された動画を示す前記動画情報を、前記配信装置へ送信する生成動画情報送信手段と、を含み、前記再生装置は、前記配信装置から前記動画情報を受信する再生動画情報受信手段と、前記配信装置から前記音情報を受信する再生音情報受信手段と、前記受信された動画情報により示される動画と、前記受信された音情報により示される前記音と、を再生する動画再生手段と、を備え、前記受信動画情報送信手段は、前記動画情報受信手段により受信された前記動画情報であって、前記タイミング特定手段により特定された前記再生タイミングを示す第２タイミング情報を含む前記動画情報を送信し、前記動画再生手段は、前記再生動画情報受信手段により受信された前記動画情報に含まれる前記第２タイミング情報に基づいて、前記動画と前記音とを同期させることを特徴とする。

【0022】

請求項１１に記載の発明は、前記配信装置は、音配信装置と、前記音配信装置と異なる動画配信装置と、を含み、前記音配信装置は、前記第１音情報送信手段と、前記タイミング情報送信手段と、前記第２音情報送信手段と、を含み、前記動画配信装置は、前記動画情報受信手段と、前記受信動画情報送信手段と、を含むことを特徴とする。

【発明の効果】

【0023】

本発明によれば、動画共有プラットフォームにおいて、動画の撮像時に再生された音の品質の劣化を防いで、撮像された動画を再生することができる。

【図面の簡単な説明】

【0024】

【図1】一実施形態に係る動画配信システムＳの概要構成の一例を示す図である。

【図2】動画の制作からその動画の視聴までの流れの一例を示す図である。

【図3】一実施形態に係る動画配信サーバ１の概要構成の一例を示すブロック図である。

【図4】一実施形態に係る音楽配信サーバ２の概要構成の一例を示すブロック図である。

【図5】一実施形態に係るユーザ端末３の概要構成の一例を示すブロック図である。

【図6】一実施形態に係る音楽配信サーバ２におけるシステム制御部２１の機能概要について説明する。

【図7】一実施形態に係るユーザ端末３におけるシステム制御部３１の機能ブロックの一例を示す図である。

【図8】動画制作の概要の一例を示す図である。

【図9】一実施形態に係る動画配信サーバ１におけるシステム制御部１１の機能ブロックの一例を示す図である。

【図10】動画再生の概要の一例を示す図である。

【図11】動画制作者端末３－１のシステム制御部３１による動画製作処理の一例を示すフローチャートである。

【図12】動画制作者端末３－１のシステム制御部３１による音声再生処理の一例を示すフローチャートである。

【図13】視聴者端末３－２のシステム制御部３１による動画再生処理の一例を示すフローチャートである。

【図14】動画制作者端末３－１のシステム制御部３１による動画製作処理の一例を示すフローチャートである。

【図15】視聴者端末３－２のシステム制御部３１による動画再生処理の一例を示すフローチャートである。

【図16】動画制作者端末３－１のシステム制御部３１による動画製作処理の一例を示すフローチャートである。

【図17】視聴者端末３－２のシステム制御部３１による動画再生処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下、図面を参照して本発明の実施形態について詳細に説明する。

【0026】

［１．第１実施形態］
［１－１．動画配信システムの構成］
先ず、本実施形態に係る動画配信システムＳの構成及び機能概要について、図１及び図２を用いて説明する。図１は、本実施形態に係る動画配信システムＳの概要構成の一例を示す図である。

【0027】

図１に示すように、動画配信システムＳは、動画配信サーバ１と、音楽配信サーバ２と、複数のユーザ端末３と、を含んで構成される。動画配信サーバ１と音楽配信サーバ２と各ユーザ端末３とは、ネットワークＮＷを介して互いに接続される。ネットワークＮＷは、例えばインターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されている。

【0028】

動画配信サーバ１は、或るユーザ端末により撮像された動画を、他のユーザ端末３へ配信するサーバ装置である。具体的に、動画配信サーバ１は、動画を示す動画情報を、ストリーミングにより配信する。動画の配信態様の例として、ライブ配信、オンデマンド配信が挙げられる。

【0029】

音楽配信サーバ２は、ユーザ端末３へ音を配信するサーバ装置である。具体的に、音楽配信サーバ２は、音を示す音情報を、ストリーミングにより配信する。特に、音楽配信サーバ２は、楽曲を示す音情報を配信する。なお、音楽配信サーバ２から配信される音は、音楽に限定されない。例えば、音楽配信サーバ２は、自然の音、ナレーション等を配信してもよい。なお、動画配信サーバ１と音楽配信サーバ２とは別々の装置であってもよいし、音楽配信サーバ２が動画配信サーバ１に統合されていてもよい。

【0030】

各ユーザ端末３は、動画配信システムＳを利用可能なユーザにより利用される端末装置である。ユーザ端末３の例として、スマートフォン、タブレット式コンピュータ等の携帯情報端末、携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、セットトップボックス等が挙げられる。ユーザは、ウェブブラウザ又は専用のアプリケーションを利用することにより、動画配信システムＳを利用することができる。例えば、ユーザは、撮影を行うことにより、ユーザ端末３を用いて動画を制作することができる。動画の制作に用いられるユーザ端末３を、動画制作者端末３－１という。また、ユーザ端末３は、動画配信サーバ１から配信されてきた動画を再生することができる。動画を再生するユーザ端末３を、視聴者端末３－２という。また、ユーザ端末３は、音楽配信サーバ２から配信されてきた楽曲を再生することができる。

【0031】

図２は、動画の制作からその動画の視聴までの流れの一例を示す図である。図２において、ユーザＵ１は、動画制作者端末３－１を用いて動画を制作するユーザである。ユーザＵ２は、視聴者端末３－２を用いて動画を視聴するユーザである。ユーザＵ１は、再生する楽曲を選択する。また、ユーザＵ１は、動画制作者端末３－１を操作して、撮像を開始する。これに応じて、音楽配信サーバ２は、選択された楽曲の音情報と、第１タイミング情報と、を動画制作者端末３－１へ配信する（ステップＳ１）。第１タイミング情報は、楽曲としての音の再生タイミングを示す情報である。例えば、第１タイミング情報は、音を再生するタイミングであることを示す情報であってもよい。動画制作者端末３－１は、動画の撮像を行うとともに、音楽配信サーバ２配信されてきた音情報に従って楽曲を再生する。動画制作者端末３－１は、撮像された動画を示す動画情報を生成するとともに、音楽配信サーバ２配信されてきた第１タイミング情報を、第２タイミング情報としてその動画情報中に記録する（ステップＳ２）。動画の撮像中、動画制作者端末３－１は、サウンドの録音を行わなくてもよい。これにより、音なしの動画情報が生成される。或いは、楽曲がスピーカから出力されるのではなく、ユーザＵ１は、ヘッドフォン又はイヤフォンで楽曲を聴いてもよい。この場合、動画制作者端末３－１は、サウンドの録音を行ってもよい。動画制作者端末３－１は、生成された動画情報であって、第２タイミング情報を含む動画情報を動画配信サーバ１へアップロードする（ステップＳ３）。

【0032】

動画配信サーバ１は、動画制作者端末３－１からアップロードされてきた、第２タイミング情報を含む動画情報を、視聴者端末３－２へ送信する（ステップＳ４）。これと並行して、音楽配信サーバ２は、ユーザＵ１により選択された楽曲の音情報を視聴者端末３－２へ配信する（ステップＳ５）。このとき、音楽配信サーバ２は、第１タイミング情報も視聴者端末３－２へ送信してもよい。視聴者端末３－２は、動画配信サーバ１から配信されてきた動画情報に従って動画を再生しながら、音楽配信サーバ２から配信されてきた音情報に従って楽曲を再生する。このとき、視聴者端末３－２は、動画情報に含まれる第２タイミング情報に基づいて、動画と楽曲とを同期させる（ステップＳ６）。音楽配信サーバ２から第１タイミング情報も配信されてくる場合、視聴者端末３－２は、第１タイミング情報及び第２タイミング情報に基づいて、動画と楽曲とを同期させてもよい。

【0033】

上述した同期により、動画情報自体は音を含まないものの、音ありの動画情報と同様に、動画と楽曲を同時に再生することができる。また、再生される楽曲は、動画制作者端末３－１により録音された楽曲ではなく、オリジナルの音情報に基づいて再生された楽曲である。従って、楽曲の音質の劣化が防止される。

【0034】

［１－２．装置の構成］
［１－２－１．動画配信サーバの構成］
次に、動画配信サーバ１の構成について、図３を用いて説明する。図３は、本実施形態に係る動画配信サーバ１の概要構成の一例を示すブロック図である。図３に示すように、動画配信サーバ１は、システム制御部１１と、システムバス１２と、入出力インタフェース１３と、と、通信部１５と、を備えている。システム制御部１１と入出力インタフェース１３とは、システムバス１２を介して接続されている。

【0035】

システム制御部１１は、ＣＰＵ（Central Processing Unit）１１ａ、ＲＯＭ（Read Only Memory）１１ｂ、ＲＡＭ（Random Access Memory）１１ｃ等により構成されている。

【0036】

入出力インタフェース１３は、記憶部１４及び通信部１５とシステム制御部１１との間のインタフェース処理を行う。

【0037】

記憶部１４は、例えば、ハードディスクドライブ等により構成されている。この記憶部１４には、例えば動画ＤＢ（データベース）が記憶されてもよい。動画ＤＢには、動画制作者端末３－１により生成された動画情報の一例としての動画データが記憶される。例えば、動画ＤＢには、動画ＩＤ及び楽曲ＩＤに関連付けて動画データが記憶されてもよい。動画ＩＤは、動画データを識別する識別情報である。楽曲ＩＤは、楽曲を識別する識別情報である。この楽曲ＩＤは、動画の撮影時に動画制作者端末３－１により再生された楽曲を示す。動画データのコンテナフォーマットの例として、ＭＰＥＧ２－ＴＳ、ＭＰ４、ＦＬＶ（Flash Video）等が挙げられる。動画のフォーマットの例として、Ｈ．２６４、ＭＰＥＧ－２等が挙げられる。音ありの動画データの場合、サウンドのフォーマットの例として、ＡＡＣ（Advanced Audio Coding）、ＭＰ３（MPEG-1 Audio Layer-3）等が挙げられる。動画配信にＨＴＴＰベースのプロトコルが用いられる場合、一の動画データが、複数のセグメントファイルに分割されて、動画ＤＢに記憶されてもよい。

【0038】

記憶部１４には、更に、オペレーティングシステム、ＤＢＭＳ（Database Management System）、動画配信サーバプログラム等の各種プログラムが記憶されている。動画配信サーバプログラムは、動画配信に関する各種処理をシステム制御部１１に実行させるプログラムである。動画配信サーバプログラムは、例えば、他の装置からインターネットＮＷを介して取得されるようにしてもよいし、磁気テープ、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

【0039】

通信部１５は、ネットワークＮＷを介してユーザ端末３と接続し、ユーザ端末３との通信状態を制御する。

【0040】

［１－２－２．音楽配信サーバの構成］
次に、音楽配信サーバ２の構成について、図４を用いて説明する。図４は、本実施形態に係る音楽配信サーバ２の概要構成の一例を示すブロック図である。図４に示すように、音楽配信サーバ２は、システム制御部２１と、システムバス２２と、入出力インタフェース２３と、記憶部２４と、通信部２５と、を備えている。システム制御部２１と入出力インタフェース２３とは、システムバス２２を介して接続されている。

【0041】

システム制御部２１は、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ等により構成されている。

【0042】

入出力インタフェース２３は、記憶部２４及び通信部２５とシステム制御部２１との間のインタフェース処理を行う。

【0043】

記憶部２４は、例えば、ハードディスクドライブ等により構成されている。この記憶部２４には、例えば楽曲ＤＢが記憶されてもよい。楽曲ＤＢには、音情報の一例としての音声データが記憶される。例えば、楽曲ＤＢには、楽曲ＩＤに関連付けて、音声データが記憶されてもよい。楽曲ＩＤは、楽曲を識別する識別情報である。音声データのフォーマットの例として、ＡＡＣ、ＭＰ３等が挙げられる。音声データのコンテナのフォーマットの例として、ＭＰＥＧ２－ＴＳ、ＭＰ４、ＦＬＶ等が上げられる。音楽配信にＨＴＴＰベースのプロトコルが用いられる場合、一の音声データが、複数のセグメントファイルに分割されて、楽曲ＤＢに記憶されてもよい。

【0044】

記憶部２４には、更に、オペレーティングシステム、ＤＢＭＳ、音楽配信サーバプログラム等の各種プログラムが記憶されている。音楽配信サーバプログラムは、楽曲配信に関する各種処理をシステム制御部２１に実行させるプログラムである。音楽配信サーバプログラムは、例えば、他の装置からインターネットＮＷを介して取得されるようにしてもよいし、磁気テープ、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

【0045】

通信部２５は、ネットワークＮＷを介してユーザ端末３と接続し、ユーザ端末３との通信状態を制御する。

【0046】

［１－２－３．ユーザ端末の構成］
次に、ユーザ端末３の構成について、図５を用いて説明する。図５は、本実施形態に係るユーザ端末３の概要構成の一例を示すブロック図である。図５に示すように、ユーザ端末３は、例えばシステム制御部３１と、システムバス３２と、入出力インタフェース３３と、記憶部３４と、通信部３５と、入力部３６と、表示部３７と、音出力部３８と、撮像部３９と、集音部４０と、を備えている。システム制御部３１と入出力インタフェース３３とは、システムバス３２を介して接続されている。なお、入力部３６、表示部３７、音出力部３８、撮像部３９及び集音部４０のうち少なくとも１つは、ユーザ端末３自身が備えるのではなく、ユーザ端末３と有線又は無線を介して接続されてもよい。

【0047】

システム制御部３１は、ＣＰＵ３１ａ、ＲＯＭ３１ｂ、ＲＡＭ３１ｃ等により構成されている。

【0048】

入出力インタフェース３３は、記憶部３４～集音部４０とシステム制御部３１との間のインタフェース処理を行う。

【0049】

記憶部３４は、例えば、フラッシュメモリ又はハードディスクドライブ等により構成されている。この記憶部３４には、オペレーティングシステム、ブラウザ等の各種プログラムが記憶されている。更に記憶部３４には、動画配信システムＳを利用するための専用のアプリケーションが記憶されてもよい。専用アプリケーションに従って、システム制御部３１は、動画の制作及び再生に関する処理を実行する。専用のアプリケーションは、例えば、動画配信サーバ１等のサーバ装置からネットワークＮＷを介して取得されるようにしてもよいし、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。なお、ブラウザを介したウェブアプリケーション等により、専用のアプリケーションの機能の一部又は全部と同等の機能が実現されてもよい。

【0050】

通信部３５は、例えばネットワークインタフェースカード等により構成されている。通信部３５は、ネットワークＮＷを介して、動画配信サーバ１や音楽配信サーバ２と接続し、これらの装置との通信状態を制御する。

【0051】

入力部３６は、例えばタッチパネル、マウス又はキーボード等により構成されている。入力部３６は、ユーザに対する操作や入力を受け付け、受け付けた操作又は入力を示す信号をシステム制御部３１へ送信する。

【0052】

表示部３７は、例えば液晶パネル又は有機ＥＬ（Electro Luminescence）パネル等により構成されている。表示部３７は、システム制御部３１による制御に基づき、文字、静止画、動画等の情報を表示する。

【0053】

音出力部３８は、例えばアンプ、スピーカ等により構成されている。音出力部３８は、更にイヤフォンやヘッドフォンをユーザ端末３に接続するためのイヤフォンジャックを備えてもよい。音出力部３８は、システム制御部３１等から送信されてきた音信号に対応する音波を出力する。

【0054】

撮像部３９は、デジタルカメラ等により構成されている。撮像部３９は、ユーザによる操作に基づいて動画を撮像する。撮像部３９は、撮像された動画を示す動画データをシステム制御部３１又は記憶部３４に出力する。出力される動画データのフォーマットの例として、Ｈ．２６４、ＭＰＥＧ－２等が挙げられる。

【0055】

集音部４０は、マイクロフォン等により構成されている。集音部４０は、発せられた音を入力音信号に変換し、この入力音信号をシステム制御部３１又は記憶部３４に出力する。

【0056】

［１－３．装置の機能概要］
［１－３－１．音楽配信サーバ］
次に、図６を用いて、音楽配信サーバ２におけるシステム制御部２１の機能概要について説明する。図６は、本実施形態に係る音楽配信サーバ２におけるシステム制御部３１の機能ブロックの一例を示す図である。システム制御部３１は、ＣＰＵ３１ａが、音楽配信サーバプログラムに含まれる各種プログラムコードを読み出し実行することにより、図６に示すように、音声配信部２１１、タイミング情報送信部２１２等として機能する。

【0057】

音声配信部２１１は、音声データを動画制作者端末３－１へ送信する。音声配信のプロトコルの例として、ＨＬＳ（HTTP Live Streaming）、ＭＰＥＧ－ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）、ＲＴＭＰ（Real Time Messaging Protocol）等が挙げられる。具体的に、音声配信部２１１は、音の一例としての楽曲を構成する複数の部分であって、再生タイミングが互いに異なる複数の部分それぞれに対応する複数の音声フラグメントを、順次動画制作者端末３－１へ送信してもよい。音声フラグメントは、或る長さの時間の音の波形を示すデータである。全音声フラグメントの時間の長さは同一であってもよいし、少なくともいくつかの音声フラグメントの時間の長さは異なってもよい。音声フラグメントの例として、ＰＥＳ（Packetized Elementary Stream）、チャンク等が挙げられる。各音声フラグメントはヘッダ情報を含んでもよい。ヘッダ情報は、その音声フラグメントを識別する識別情報を含んでもよい。この情報は、例えばタイムスタンプ（例えばＰＴＳ（Presentation Time Stamp）等）であってもよい。タイムスタンプは、楽曲の再生開始からその音声フラグメントにより示される音が再生されるまでに経過する時間を示してもよい。ＨＬＳ、ＭＰＥＧ－ＤＡＳＨ等のＨＴＴＰベースのプロトコルが用いられる場合、音声配信部２１１は、それぞれ複数の音声フラグメントを含む複数のセグメントファイルを順次送信してもよい。

【0058】

音声配信部２１１は、同様の方法で、音声データを視聴者端末３－２へ送信する。

【0059】

タイミング情報送信部２１２は、音声配信部２１１により送信される音声データにより示される音の再生タイミングを示す第１タイミング情報を、動画制作者端末３－１へ送信する。第１タイミング情報は、楽曲の再生開始から、音声配信部２１１により送信される音声データに含まれる何れかの音声フラグメントにより示される音が再生されるまでに経過する時間を含んでもよい。この時間は、その音声フラグメントが有するタイムスタンプであってもよい。第１タイミング情報は、音声フラグメントの識別情報を含んでもよい。これにより、第１タイミング情報は、音声フラグメントに関連付けられる。この識別情報はタイムスタンプであってもよい。この場合、第１タイミング情報は、その第１タイミング情報に関連付けられた音声フラグメントにより示される音が、楽曲の再生開始からどれだけの時間が経過するときに再生されるかを示す。

【0060】

タイミング情報送信部２１２は、一の音声データを配信する際、一の第１タイミング情報のみを送信してもよい。例えば、音声配信部２１１が、音声データを構成する複数の音声フラグメントのうち、先頭の音声フラグメントを送信するとき、第１タイミング情報送信部２１２は、その音声フラグメントに関連付けて第１タイミング情報を送信してもよい。

【0061】

タイミング情報送信部２１２は、一の音声データを配信する際、複数の第１タイミング情報を送信してもよい。この場合、タイミング情報送信部２１２は、音声データに含まれる複数の音声フラグメントそれぞれの再生タイミングを示す第１タイミング情報を送信してもよい。すなわち、各第１タイミング情報は、何れかの音声フラグメントに関連付けられる。一の音声フラグメントに一の第１タイミング情報が関連付けられてもよいし、複数の連続する音声フラグメントに一の第１タイミング情報が関連付けられてもよい。この場合、第１タイミング情報は、連続する音声フラグメントのうち先頭の音声フラグメントの識別情報と同一の識別情報を示してもよい。

【0062】

タイミング情報送信部２１２は、第１タイミング情報を、例えばＩＤ３タイムドメタデータとして送信してもよい。例えば、タイミング情報送信部２１２は、ＩＤ３タイムドメタデータのフラグメントとして、第１タイミング情報を送信してもよい。ＨＴＴＰベースのプロトコルが用いられる場合、例えば第１タイミング情報が予めセグメントファイル内に挿入されていてもよい。

【0063】

タイミング情報送信部２１２は、同様の方法で、第１タイミング情報を視聴者端末３－２へ送信する。

【0064】

［１－３－２．動画制作者端末］
次に、図７及び図８を用いて、動画制作者端末３－１におけるシステム制御部３１の機能概要について説明する。図７は、本実施形態に係るユーザ端末３におけるシステム制御部３１の機能ブロックの一例を示す図である。システム制御部３１は、ＣＰＵ３１ａが、専用アプリに含まれる各種プログラムコードを読み出し実行することにより、図７に示すように、音声受信部３１１、タイミング情報受信部３１２、撮像制御部３１３、音声再生部３１４、タイミング特定部３１５、動画生成制御部３１６等として機能する。

【0065】

音声受信部３１１は、音楽配信サーバ２の音声配信部２１１により送信された音声データを受信する。例えば、音声受信部３１１は、複数の音声フラグメントを含む音声ストリームを受信してもよいし、複数のセグメントファイルを順次受信してもよい。

【0066】

タイミング情報受信部３１２は、音楽配信サーバ２のタイミング情報送信部２１２により送信された第１タイミング情報を受信する。例えば、タイミング情報受信部３１２は、音声データを構成する複数の音声フラグメントそれぞれの再生タイミングを示す第１タイミング情報を受信してもよい。

【0067】

撮像制御部３１３は、撮像部３９により動画を撮像させる。撮像制御部３１３は、撮像部３９による動画の撮像開始及び停止を制御する。また、撮像制御部３１３は、撮像部３９により撮影された動画を示す動画データを、撮像部３９から受信する。例えば、撮像部３９は、動画を構成する各フレーム画像のデータを受信する。フレーム画像データは、例えばヘッダ情報を含んでもよい。このヘッダ情報は、そのフレーム画像データを識別する識別情報を含んでもよい。この識別情報はタイムスタンプであってもよい。このタイムスタンプは、動画の撮像開始から、そのフレーム画像が撮像されるまでに経過した時間を示してもよい。

【0068】

音声再生部３１４は、撮像制御部３１３により動画が撮像されているとき、音楽配信サーバ２からから受信された音声データにより示される音を再生する。例えば、音声再生部３１４は、撮像制御部３１３から順次送信されている音声フラグメントをデコードして、音の波形のデータを得る。音声再生部３１４は、音出力部３８に波形のデータを出力する。音出力部３８は、波形のデータをアナログの音信号に変換し、音信号を増幅して、増幅された音信号に対応する音波を、スピーカ又はヘッドフォンから出力させる。音声再生部３１４は、撮像部３９による動画の撮像開始と同時に、音の再生を開始してもよい。また、音声再生部３１４は、ユーザの指示に基づいて、動画の撮像開始前から又は撮像中に、音の再生を開始してもよい。

【0069】

タイミング特定部３１５は、音声データにより示される音が音声受信部３１１により再生されているとき、タイミング情報受信部３１２により受信された第１タイミング情報に基づいて、音声データにより示される音の再生タイミングを特定する。例えば、タイミング特定部３１５は、音声受信部３１１により受信された音声フラグメントのうち、第１タイミング情報により示される識別情報（例えばタイムスタンプ）と同一の識別情報を有する音声フラグメントを特定してもよい。タイミング特定部３１５は、特定された音声フラグメントを再生するときに撮像制御部３１３が撮像部３９から受信したフレーム画像データを特定する。タイミング特定部３１５は、特定したフレーム画像データから、そのフレーム画像データの識別情報（例えばタイムスタンプ）を取得する。

【0070】

動画生成制御部３１６は、撮像部３９により撮像された動画を示す動画情報であって、タイミング特定部３１５により特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる。例えば、動画生成制御部３１６は、動画送信部３１７により、撮像制御部３１３から受信されたフレーム画像データを順次動画配信サーバ１へ送信してもよい。また、動画生成制御部３１６は、タイミング情報受信部３１２により受信された第１タイミング情報と、その第１タイミング情報について、タイミング特定部３１５により特定されたフレーム画像の識別情報を含む第２タイミング情報を生成してもよい。これにより、音声フラグメントとフレーム画像データとが関連付けられる。この場合、第２タイミング情報は、第１タイミング情報に関連付けられた音声フラグメントにより示される音が、識別情報により示されるフレーム画像が表示されるときに再生されることを示す。一のフレーム画像の表示継続時間（フレームレートの逆数）が各音声フラグメントの時間の長さよりも長い場合、連続する複数の音声フラグメントが一のフレーム画像に関連付けられてもよい。一のフレーム画像の表示継続時間が各音声フラグメントの時間の長さよりも短い場合、連続する複数のフレーム画像が一の音声フラグメントに関連付けられてもよい。動画生成制御部３１６は、生成された第２タイミング情報を動画配信サーバ１へ送信してもよい。これにより、動画生成制御部３１６は、動画配信サーバ１により、第２タイミング情報を含む動画データを生成させる。動画生成制御部３１６は、例えば第２タイミング情報を、ＩＤ３タイムドメタデータとして動画データ又は動画データのストリームに挿入する要求を、動画配信サーバ１へ送信してもよい。この挿入要求は、タイムコードとバリューとを含む。タイムコードには、動画の撮像開始から経過した時間（例えばフレーム画像のタイムスタンプ）が設定される。バリューには、第１タイイング情報が設定される。

【0071】

動画生成制御部３１６自信が動画データを生成してもよい。例えば、動画生成制御部３１６は、撮像部３９から受信したフレーム画像データ及び、第２タイミング情報を含む動画データ又はセグメントファイルを生成してもよい。動画生成制御部３１６は、生成された動画データ又はセグメントファイルを動画配信サーバ１へ送信してもよい。

【0072】

図８は、動画制作の概要の一例を示す図である。説明の便宜上、音声データは、３０ミリ秒相当の音声フラグメントに分割されるものとし、一フレーム画像の表示継続時間は３０ミリ秒であるとする。図８に示すように、音楽配信サーバ２は、音声フラグメント１００を動画制作者端末３－１へ順次送信するとともに、各音声フラグメントに関連付けられた第１タイミング情報２００を送信する。互いに関連付けられた音声フラグメント１００と第１タイミング情報２００とは連続して送信されてもよいし、連続しなくてもよい。第１タイミング情報２００は、３０ミリ秒ずつ進む。動画制作者端末３－１は、受信された音声フラグメント１００に基づいて音を再生する。また、動画制作者端末３－１は、撮像部３９から順次フレーム画像データ３００を受信する。動画制作者端末３－１は、フレーム画像データ３００を受信するごとに、そのときに再生される音声フラグメント１００に関連付けられた第１タイミング情報２００を含む第２タイミング情報４００を生成して、この第２タイミング情報４００をそのフレーム画像データ３００に関連付ける。動画制作者端末３－１は、例えばフレーム画像データ３００及び第２タイミング情報４００それぞれを順次動画配信サーバ１へ送信する。

【0073】

［１－３－３．動画配信サーバ］
次に、図９を用いて、動画配信サーバ１におけるシステム制御部１１の機能概要について説明する。図９は、本実施形態に係る動画配信サーバ１におけるシステム制御部１１の機能ブロックの一例を示す図である。システム制御部１１は、ＣＰＵ１１ａが、動画配信サーバプログラムに含まれる各種プログラムコードを読み出し実行することにより、図９に示すように、動画受信部１１１、動画配信部１１２等として機能する。

【0074】

動画受信部１１１は、動画制作者端末３－１から動画情報及び第２タイミング情報を受信する。例えば、動画受信部１１１は、動画ストリームとして、フレーム画像データを順次受信してもよい。また、動画受信部１１１は、画制作者端末３－１から順次送信されてくる第２タイミング情報を受信してもよい。そして、動画受信部１１１は、複数のフレーム画像データ及び複数の第２タイミング情報を含む動画データ又はセグメントファイルを生成してもよい。或いは、動画受信部１１１は、動画制作者端末３－１により生成された動画データ又はセグメントファイルであって、第２タイミング情報を含む動画データ又はセグメントファイルを受信してもよい。

【0075】

動画配信部１１２は、動画受信部１１１により受信された動画情報であって、動画受信部１１１により受信された第２タイミング情報を含む動画情報を、視聴者端末３－２へ送信する。例えば、動画配信部１１２は、フレーム画像データと第２タイミング情報とを含む動画ストリームを送信してもよいし、第２タイミング情報を含む複数のセグメントファイルを順次送信してもよい。

【0076】

［１－３－４．視聴者端末］
次に、図７及び図１０を用いて、視聴者端末３－２におけるシステム制御部３１の機能概要について説明する。システム制御部３１は、ＣＰＵ３１ａが、専用アプリに含まれる各種プログラムコードを読み出し実行することにより、図７に示すように、動画受信部３２１、音声受信部３２２、タイミング情報受信部３２３、動画再生部３２４等として機能する。

【0077】

動画受信部３２１は、動画制作者端末３－１の制御により生成された動画情報を、動画配信サーバ１から受信する。例えば、動画受信部３２１は、動画配信サーバ１の動画配信部１１２から複数のフレーム画像データを含む動画ストリームを受信してもよいし、複数のセグメントファイルを順次受信してもよい。

【0078】

音声受信部３２２は、音楽配信サーバ２から音情報を受信する。具体的に、音声受信部３２２は、動画受信部３２１により受信された動画データを製作するために用いられた動画制作者端末３－１の音声再生部３１４が、撮像時に再生した音を示す音情報を受信する。音声受信部３１１は、複数の音声フラグメントを含む音声ストリームを受信してもよいし、複数のセグメントファイルを順次受信してもよい。

【0079】

タイミング情報受信部３１２は、音楽配信サーバ２から、音声受信部３２２により受信される音情報により示される音の再生タイミングを示す第１タイミング情報を受信する。例えば、タイミング情報受信部３１２は、音楽配信サーバ２からの音声ストリームに含まれる第１タイミング情報を受信してもよいし、音声受信部３２２として、第２タイミング情報を含むセグメントファイルを受信してもよい。

【0080】

動画再生部３２４は、動画受信部３２１により受信された動画情報により示される動画と、音声受信部３２２により受信された音情報により示される音と、を再生する。このとき、動画再生部３２４は、動画受信部３２１により受信された動画情報に含まれる第２タイミング情報に基づいて、動画と音とを同期させる。動画再生部３２４は、第２タイミング情報及びタイミング情報受信部３１２により受信された第１タイミング情報に基づいて、動画と音とを同期させてもよい。例えば、動画再生部３２４は、受信された動画ストリーム又は動画のセグメントファイルから順次フレーム画像データを読み出す。動画再生部３２４は、フレーム画像データをデコードして、フレーム画像を表示部３７に表示させる。また、動画再生部３２４は、受信された音声ストリーム又は楽曲のセグメントファイルから順次音声フラグメントを読み出す。動画再生部３２４は、音声フラグメントをデコードして、音を音出力部３８により出力させる。動画再生部３２４は、例えば動画ストリーム又は動画のセグメントファイルから第２タイミング情報を読み出した場合、第２タイミング情報に含まれる識別情報と同一の識別情報を有するフレーム画像データを特定してもよい。また、動画再生部３２４は、読み出した第２タイミング情報から第１タイミング情報を取得してもよい。動画再生部３２４は、取得された第１タイミング情報と同一の第１タイミング情報を、音声ストリーム又は楽曲のセグメントファイルから特定してもよい。動画再生部３２４は、特定された第１タイミング情報に関連付けられた音声フラグメントを特定してもよい。動画再生部３２４は、このようにして特定されたフレーム画像データ及び音声フラグメントの再生処理を同時に行ってもよい。

【0081】

図１０は、動画再生の概要の一例を示す図である。図１０に示すように、動画配信サーバ１は、動画データに含まれるフレーム画像データ３００及び第２タイミング情報４００を順次視聴者端末３－２へ送信する。タイムスタンプで互いに関連付けられたフレーム画像データ３００と第２タイミング情報４００とは連続して送信されてもよいし、連続しなくてもよい。これと並行して、音楽配信サーバ２は、音声フラグメント１００及び第１タイミング情報２００を順次視聴者端末３－２へ送信する。音声フラグメント１００、第１タイミング情報２００、フレーム画像データ３００と第２タイミング情報４００を受信した視聴者端末３－２は、第１タイミング情報２００及び第２タイミング情報４００を参照して、第１タイミング情報２００と第２タイミング情報４００とが一致する音声フラグメント１００及びフレーム画像データ３００を特定する。視聴者端末３－２は、特定された音声フラグメント１００及びフレーム画像データ３００を用いて、動画及び音を再生するとともに、これらの動画と音とを同期させる。

【0082】

動画情報と、この動画情報に記録されていない音情報と、に基づいて動画を再生するとき、タイミング情報を用いることにより、動画と音とを適切に同期させることができる。例えば、本実施形態の方法に対する比較例として、動画の先頭の再生タイミングと楽曲の先頭の再生タイミングとを合わせることが考えられる。しかしながら、この比較例の場合、再生が進むにつれて、再生タイミングにずれが生じるおそれがある。また、再生の一時停止、動画の早送り、巻き戻しといったユーザ操作に基づく再生制御が行われたときにも適切な同期を実現することが難しい。これに対して、本実施形態の方法によれば、１又は複数のフレーム画像の単位、及び１又は複数の音声フラグメントの単位で同期が行われるため、再生時間が長くても適切な同期が可能である。また、一時停止、早送り、巻き戻といった再生制御が行われても、適切な同期が可能である。更に、動画の撮像開始前又は開始後に楽曲の再生が開始された場合であっても、適切な同期が可能である。

【0083】

上述した特徴を利用して、動画再生中に、楽曲の一部のみを再生することも可能である。例えば、楽曲の先頭から末尾までの再生期間のうち、一部の期間が予め設定される。動画再生部３２４は、フレーム画像を表示するとき、そのフレーム画像に関連付けられた第２タイミング情報に含まれる第１タイミング情報により示されるタイミングが、設定された期間に含まれる場合にのみ、音声再生を行ってよい。例えば、動画再生部３２４は、会員ランクが高いユーザ又は再生される楽曲の料金を支払ったユーザについて、その楽曲全部を再生してもよい。一方、動画再生部３２４は、会員ランクが低いユーザ又は再生される楽曲の料金を支払っていないユーザについて、その楽曲の一部のみを再生してもよい。

【0084】

音声配信サーバ２は、視聴者端末３－２へは第１タイミング情報を送信しなくてもよい。この場合、動画再生部３２４は、第２タイミング情報に基づいて、動画と音とを同期させてもよい。例えば、音声フラグメントがタイムスタンプを有する場合、動画再生部３２４は、このタイムスタンプを、第１タイミング情報の代わりに用いてもよい。

【0085】

［１－４．動画配信システムの動作］
次に、動画配信システムＳにおけるユーザ端末３の動作について、図１１乃至図１３を用いて説明する。ユーザ端末３のシステム制御部３１は、専用アプリに含まれるプログラムコードに従って、図１１乃至図１３に示す処理を実行する。

【0086】

図１１は、動画制作者端末３－１のシステム制御部３１による動画製作処理の一例を示すフローチャートである。例えば、ユーザＵ１は、動画制作者端末３－１を操作することにより、再生する楽曲を選択して、動画の撮像開始を指示する。これに応じて、システム制御部３１は、動画製作処理を実行する。図１１に示すように、動画生成制御部３１６は、ユーザＵ１により選択された楽曲の楽曲ＩＤを、動画配信サーバ１へ送信する（ステップＳ１０１）。これに応じて、動画配信サーバ１は、新しい動画ＩＤを生成する。動画配信サーバ１は、これらの楽曲ＩＤ及び動画ＩＤに関連付けて、この後に動画制作者端末３－１から送信されてくる動画データを、動画ＤＢに記憶させることになる。楽曲ＩＤの送信後、システム制御部３１は、音声受信処理を開始させ（ステップＳ１０２）、音声再生処理を開始させる（ステップＳ１０３）。動画製作処理、音声受信処理及び音声再生処理は、同時並行して実行される。

【0087】

音声受信処理において、音声受信部３１１は、例えばユーザＵ１により選択された楽曲の楽曲ＩＤを音楽配信サーバ２へ送信することにより、音楽配信サーバ２から、その楽曲のセグメントファイルのプレイリストを受信する。そして、音声受信部３１１は、楽曲のセグメントファイルのシーケンス番号を１に設定する。次いで、音声受信部３１１及びタイミング情報受信部３１２は、シーケンス番号により示されるセグメントファイルを音楽配信サーバ２から受信して記憶部３４に記憶させる。音声受信部３１１は、シーケンス番号を増加させながら、セグメントファイルを順次受信する。

【0088】

図１２は、動画制作者端末３－１のシステム制御部３１による音声再生処理の一例を示すフローチャートである。図１２に示すように、タイミング特定部３１５は、現在のタイミング情報を、「なし」に設定する（ステップＳ２０１）。次いで、音声再生部３１４は、音声受信処理にてセグメントファイルが受信されているか否かを判定する（ステップＳ２０２）。セグメントファイルが受信されていない場合（ステップＳ２０２：ＮＯ）、ステップＳ２０２の判定が再実行される。一方、セグメントファイルが受信されている場合（ステップＳ２０２：ＹＥＳ）、音声再生部３１４は、記憶部３４に記憶されているセグメントファイルから音声フラグメントを読み出し、タイミング特定部３１５は、その音声フラグメントに関連付けられた第１タイミング情報を読み出す（ステップＳ２０３）。次いで、タイミング特定部３１５は、現在のタイミング情報を、読み出した第１タイミング情報に設定する（ステップＳ２０４）。次いで、音声再生部３１４は、読み出した音声フラグメントに基づいて、音声再生を実行する（ステップＳ２０５）。次いで、音声細部３１４は、楽曲の末尾部分の音声再生が終了したか否かを判定する（ステップＳ２０６）。末尾部分の音声再生が終了していない場合（ステップＳ２０６：ＮＯ）、処理はステップＳ２０３に進む。一方、末尾部分の音声再生が終了した場合（ステップＳ２０６：ＹＥＳ）、音声細部３１４は、現在のタイミング情報を「なし」に設定する（ステップＳ２０７）。そして、音声再生処理は終了する。

【0089】

図１１において、音声受信処理及び音声再生処理の開始後、撮像制御部３１３は、撮像部３９による動画の撮像を開始させる（ステップＳ１０４）。次いで、撮像制御部３１３は、撮像部３９からフレーム画像データを受信する（ステップＳ１０５）。次いで、タイミング特定部３１５は、現在のタイミング情報が、「なし」以外に設定されているか否かを判定する（ステップＳ１０６）。現在のタイミング情報が「なし」以外に設定されている場合（ステップＳ１０６：ＹＥＳ）、動画生成制御部３１６は、現在のタイミング情報を含む第２タイミング情報を、受信されたフレーム画像データに関連付けて、動画配信サーバ１へ送信する（ステップＳ１０７）。ステップＳ１０７の後、又は、現在のタイミング情報が「なし」に設定されている場合（ステップＳ１０６：ＮＯ）、動画生成制御部３１６は、撮像部３９から受信されたフレーム画像データを、動画配信サーバ１へ送信する（ステップＳ１０８）。次いで、画生成制御部３１６は、入力部３６からの信号に基づいて、ユーザＵ１が動画の撮像の終了を指示したか否かを判定する（ステップＳ１０９）。ユーザＵ１が終了を指示していない場合（ステップＳ１０９：ＮＯ）、処理はステップＳ１０５に進む。一方、ユーザＵ１が終了を指示した場合（ステップＳ１０９：ＹＥＳ）、撮像制御部３１３は、撮像部３９による撮像を停止させて（ステップＳ１１０）、動画製作処理は終了する。

【0090】

図１３は、視聴者端末３－２のシステム制御部３１による動画再生処理の一例を示すフローチャートである。例えば、ユーザＵ２は、視聴者端末３－２を操作して、動画配信システムＳに登録されている動画又は現在ライブ配信されている動画を選択する。これに応じて、システム制御部３１は、動画再生処理を実行する。図１３に示すように、動画再生部３２４は、ユーザＵ２により選択された動画の動画ＩＤを、動画配信サーバ１へ送信することにより、この動画ＩＤに関連付けて動画ＤＢに記憶された楽曲ＩＤを受信する（ステップＳ３０１）。次いで、システム制御部３１は、動画音声受信処理を開始させる（ステップＳ３０２）。動画再生処理及び動画音声受信処理は、同時並行して実行される。

【0091】

動画音声受信処理において、動画受信部３２１は、楽曲ＩＤを音楽配信サーバ２へ送信することにより、音楽配信サーバ２から楽曲のセグメントファイルのプレイリストを受信する。動画受信部３２１は、ユーザＵ１により選択された動画の動画ＩＤを動画配信サーバ１へ送信することにより、動画配信サーバ１から、その動画のセグメントファイルのプレイリストを受信する。動画受信部３２１は、動画のセグメントファイルのシーケンス番号を初期設定する。オンデマンド配信の場合、動画受信部３２１は、シーケンス番号を１に設定してもよい。ライブ配信の場合、動画受信部３２１は、シーケンス番号を、最新のセグメントファイルの番号に設定してもよい。そして、動画受信部３２１は、シーケンス番号により示される、動画のセグメントファイルを動画配信サーバ１から受信して記憶部３４に記憶させる。動画受信部３２１は、シーケンス番号を増加させながら、所定時間間隔で動画のセグメントファイルを順次受信する。何れかの動画のセグメントファイルが第２タイミングを含む場合、音声受信部３２２は、第２タイミングに対応する、楽曲のセグメントファイルのシーケンス番号を設定する。音声受信部３２２は、シーケンス番号により示される、楽曲のセグメントファイルを音楽配信サーバ２から受信して記憶部３４に記憶させる。音声受信部３２２は、シーケンス番号を増加させながら、所定時間間隔で楽曲のセグメントファイルを順次受信する。

【0092】

動画音声受信処理の開始後、動画再生部３２４は、動画の再生位置を初期設定する（ステップＳ３０３）。例えばオンデマンド配信の場合、動画再生部３２４は、再生位置を０に設定してもよい。ライブ配信の場合、動画再生部３２４は、動画の配信開始から経過した時間に応じて、再生位置を設定してもよい。

【0093】

次いで、動画再生部３２４は、動画音声受信処理にて動画のセグメントファイルが受信されているか否かを判定する（ステップＳ３０４）。セグメントファイルが受信されていない場合（ステップＳ３０４：ＮＯ）、ステップＳ３０４の判定が再実行される。一方、セグメントファイルが受信されている場合（ステップＳ３０４：ＹＥＳ）、動画再生部３２４は、動画のセグメントファイルから、現在の再生位置に対応するフレーム画像データを読み出す（ステップＳ３０５）。

【0094】

次いで、動画再生部３２４は、読み出されたフレーム画像データに関連付けられた第２タイミング情報が、動画のセグメントファイルに含まれているか否かを判定する（ステップＳ３０６）。第２タイミング情報が含まれていない場合（ステップＳ３０６：ＮＯ）、動画再生部３２４は、読み出されたフレーム画像データに基づいて、フレーム画像を表示部３７に表示させる（ステップＳ３０７）。一方、第２タイミング情報が含まれている場合（ステップＳ３０６：ＹＥＳ）、動画再生部３２４は、第２タイミング情報に含まれる第１タイミング情報と一致する第１タイミング情報を、楽曲のセグメントファイルから読み出す。そして、動画再生部３２４は、第１タイミング情報に関連付けられた音声フラグメントを、楽曲のセグメントファイルから読み出す（ステップＳ３０８）。次いで、動画再生部３２４は、読み出されたフレーム画像データに基づいて、フレーム画像を表示部３７に表示させるとともに、読み出された音声フラグメントに基づいて、音を再生する（ステップＳ３０９）。

【0095】

ステップＳ３０７又はＳ３０９の後、動画再生部３２４は、動画の再生位置を、フレーム画像の表示継続時間分進める（ステップＳ３１０）。次いで、動画再生部３２４は、ユーザにより動画の再生位置を変更する操作が行われたか否かを判定する（ステップＳ３１１）。再生位置の変更の例として、早送り、巻き戻し、スキップ、シーク等が挙げられる。再生位置が変更された場合（ステップＳ３１１：ＹＥＳ）、動画再生部３２４は、変更後の再生位置に応じて、動画音声受信処理にて受信される動画のセグメントファイルのシーケンス番号を変更する（ステップＳ３１２）。ステップＳ３１２の後、処理はステップＳ３０４に進む。

【0096】

一方、再生位置が変更されていない場合（ステップＳ３１１：ＮＯ）、ユーザＵ２により動画を一時停止する操作が行われたか否かを判定する（ステップＳ３１３）。一時停止操作が行われた場合（ステップＳ３１３：ＹＥＳ）、動画再生部３２４は、ユーザＵ２により動画の一時停止を解除する操作が行われたか否かを判定する（ステップＳ３１４）。一時停止が解除されていない場合（ステップＳ３１４：ＮＯ）、ステップＳ３１４の判定が再実行される。

【0097】

一時停止操作が行われていない場合（ステップＳ３１３：ＮＯ）、又は、一時停止が解除された場合（ステップＳ３１４：ＹＥＳ）、動画再生部３２４は、動画の再生が終了するか否かを判定する（ステップＳ３１５）。動画の再生が終了しない場合（ステップＳ３１５：ＮＯ）、処理はステップＳ３０５に進む。一方、動画の再生が終了する場合（ステップＳ３１５：ＹＥＳ）、動画再生処理は終了する。

【0098】

以上説明したように、本実施形態によれば、動画制作者端末３－１が、音楽配信サーバ２から音情報を受信する。また、動画制作者端末３－１が、受信された音情報により示される音の再生タイミングを示す第１タイミング情報を音楽配信サーバ２から受信する。また、動画制作者端末３－１が、撮像部３９により動画を撮像させる。また、動画制作者端末３－１が、撮像部３９により動画が撮像されているとき、受信された音情報により示される音を再生する。また、動画制作者端末３－１が、受信された音情報により示される音が再生されているとき、受信された第１タイミング情報に基づいて、音情報により示される音の再生タイミングを特定する。また、動画制作者端末３－１が、撮像された動画を示す動画情報であって、特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させる。また、視聴者端末３－２が、動画制作者端末３－１による制御により生成された動画情報を動画配信サーバ１から受信する。また、視聴者端末３－２が、音楽配信サーバ２から音情報を受信する。また、視聴者端末３－２が、受信された動画情報により示される動画と、受信された音情報により示される音と、を再生する。このとき、視聴者端末３－２が、受信された動画情報に含まれる第２タイミング情報に基づいて、動画と音とを同期させる。

【0099】

そのため、動画の撮像中に音が再生されているとき、第１タイミング情報に基づいて、その音の再生タイミングが特定され、特定された再生タイミングを示す第２タイミング情報を含む動画情報が生成される。視聴者端末３－２は、動画を再生するとき、動画情報に基づいて動画を再生し、音楽配信サーバ２から音情報を受信し、その音情報に基づいて音を再生する。ここで、視聴者端末３－２は、動画情報に含まれる第２タイミング情報に基づいて、動画と音とを同期して、再生を行う。このように、視聴者端末３－２は、音楽配信サーバ２から配信される音情報に基づいて音を再生するので、動画共有プラットフォームにおいて、動画の撮像時に再生された音の品質の劣化を防いで、撮像された動画を再生することができる。

【0100】

ここで、動画制作者端末３－１が、音を構成する複数の部分であって、再生タイミングが互いに異なる複数の部分それぞれの再生タイミングを示す第１タイミング情報を受信してもよい。また、動画制作者端末３－１が、受信された第１タイミング情報に基づいて、音情報により示される音のうち、再生されている部分に対応する再生タイミングを特定してもよい。また、動画制作者端末３－１が、動画を構成する複数のフレームのうち、撮像されたタイミングが、特定された再生タイミングと対応するフレームに関連付けて、特定された再生タイミングを示す第２タイミング情報を含む動画情報を生成させてもよい。

【0101】

この場合、音を構成する複数の部分それぞれについて、再生タイミングが特定され、動画を構成する複数のフレームのうち、特定された再生タイミングに対応するフレームに関連付けられた第２タイミング情報が、動画情報に含まれる。視聴者端末３－２は、動画情報に含まれる第２タイミング情報に関連付けられたフレームを表示するとき、音を構成する複数の部分のうち、その第２タイミング情報に対応する部分を再生する。従って、動画と音とを適切に同期して動画を再生することができる。

【0102】

また、動画制作者端末３－１が、動画の撮像時に再生された音なしの動画を示す動画情報を生成させてもよい。

【0103】

この場合、動画の撮像時に再生された音は動画に記録されないので、視聴者端末３－２は、その動画を再生するとき、劣化した音を再生しない。視聴者端末３－２は、音楽配信サーバ２から配信される音情報に基づいて音を再生するので、音質の劣化を防止することができる。

【0104】

［２．第２実施形態］
次に、図１４及び図１５を用いて、第２実施形態について説明する。本実施形態において、動画配信システムＳは、動画の撮像中に再生される音の記録を抑制しながら、音ありの動画情報を生成する。

【0105】

動画制作者端末３－１の動画生成制御部３１６は、撮像部３９により動画が撮像されているときに集音部４０を用いて入力された入力音から、人間の声と異なる音を除去する。例えば、動画生成制御部３１６は、集音部４０から入力音信号を受信する。動画生成制御部３１６は、この入力音信号をデジタルの入力音データに変換する。動画生成制御部３１６は、入力音データに対して例えばフーリエ変換を行い、入力音の周波数領域表現を得る。動画生成制御部３１６は、入力音データから、人間の声の周波数範囲として所定範囲（例えば、100Hz-1000Hz等）外の周波数の音が除去された記録音声データを生成する。このとき、人間の声の周波数範囲内における周波数の音の中に、人の声以外の音が含まれていてもよい。

【0106】

動画生成制御部３１６は、人間の声と異なる音が除去された入力音を含む動画情報を生成させる。例えば、動画生成制御部３１６は、人間の声の周波数帯域外の周波数の音が除去された記録音声データをエンコードして、記録音声のフラグメントを生成してもよい。動画生成制御部３１６は、記録音声フラグメントを動画配信サーバ１へ送信してもよい。この場合、動画配信サーバ１は、動画制作者端末３－１から受信したフレーム画像データ、記録音声フラグメント及び第２タイミング情報を含む動画データ又はセグメントファイルを生成してもよい。或いは、動画生成制御部３１６が、フレーム画像データ、記録音声フラグメント及び第２タイミング情報を含む動画データ又はセグメントファイルを生成してもよい。

【0107】

動画の撮像中に再生される音が人間の声を含まない場合、上述した機能により、その音が動画情報に記録されることが抑制される。その後、視聴者端末３－２が動画を再生するとき、その音の音情報に基づいて、その音が再生される。一方、視聴者端末３－２は、人間の声を含む動画を再生する。従って、再生される音の劣化を防止するとともに、動画の撮像中に人間の声を動画に記録することができる。

【0108】

動画制作者端末３－１は、ユーザＵ１からの指示に基づいて、集音部４０から入力された入力音を記録するか否かを制御してもよい。或いは、音楽配信サーバ２は、ユーザＵ１により選択された楽曲が人間の声を含むか否かを示す情報を、動画制作者端末３－１へ送信してもよい。動画制作者端末３－１は、音楽配信サーバ２から受信された情報に基づいて、入力音を記録するか否かを制御してもよい。

【0109】

動画生成制御部３１６は、入力音データにより示される音の波形と、音声再生部３１４により再生された音の波形の逆位相の波形と、を加算して、記録音声データを生成してもよい。これにより、入力音から、動画の撮像中に再生された音を或る程度除去することができる。

【0110】

図１４は、動画制作者端末３－１のシステム制御部３１による動画製作処理の一例を示すフローチャートである。図１４において、図１１と同一のステップについては同一の符号が付されている。

【0111】

図１４に示すように、先ずステップ１０１～Ｓ１０８が、第１実施形態の場合と同様に実行される。ステップＳ１０８の後、動画生成制御部３１６は、集音部４０から入力音信号を受信する（ステップＳ１２１）。動画生成制御部３１６は、入力音信号を入力音データに変換する。次いで、動画生成制御部３１６は、入力音データから、人間の声と異なる音を除去した記録音声フラグメントを生成する（ステップＳ１２２）。次いで、動画生成制御部３１６は、生成された記録音声フラグメントを、動画配信サーバ１へ送信する（ステップＳ１２３）。

【0112】

次いで、画生成制御部３１６は、ユーザＵ１が動画の撮像の終了を指示したか否かを判定する（ステップＳ１０９）。ユーザＵ１が終了を指示していない場合（ステップＳ１０９：ＮＯ）、処理はステップＳ１０５に進む。一方、ユーザＵ１が終了を指示した場合（ステップＳ１０９：ＹＥＳ）、撮像制御部３１３は、撮像部３９による撮像を停止させて（ステップＳ１１０）、動画製作処理は終了する。

【0113】

図１５は、視聴者端末３－２のシステム制御部３１による動画再生処理の一例を示すフローチャートである。図１５において、図１３と同一のステップについては同一の符号が付されている。

【0114】

図１５に示すように、先ずステップＳ３０１～Ｓ３０４が、第１実施形態の場合と同様に実行される。動画のセグメントファイルが受信されている場合（ステップＳ３０４：ＹＥＳ）、動画再生部３２４は、動画のセグメントファイルから、現在の再生位置に対応するフレーム画像データ及び記録音声フラグメントを読み出す（ステップＳ３２１）。次いで、動画再生部３２４は、読み出されたフレーム画像データに関連付けられた第２タイミング情報が、動画のセグメントファイルに含まれているか否かを判定する（ステップＳ３０６）。第２タイミング情報が含まれていない場合（ステップＳ３０６：ＮＯ）、動画再生部３２４は、読み出されたフレーム画像データに基づいて、フレーム画像を表示部３７に表示させるとともに、読み出された記録音声フラグメントに基づいて、記録音を再生する（ステップＳ３２２）。一方、第２タイミング情報が含まれている場合（ステップＳ３０６：ＹＥＳ）、動画再生部３２４は、第２タイミング情報に含まれる第１タイミング情報と一致する第１タイミング情報を、楽曲のセグメントファイルから読み出す。そして、動画再生部３２４は、第１タイミング情報に関連付けられた音声フラグメントを、楽曲のセグメントファイルから読み出す（ステップＳ３０８）。次いで、動画再生部３２４は、読み出されたフレーム画像データに基づいて、フレーム画像を表示部３７に表示させるとともに、読み出された音声フラグメントに基づいて、楽曲の音を再生する。これらの異と同時に、画再生部３２４は、読み出された記録音声フラグメントに基づいて、記録音を再生する（ステップＳ３１３）。

【0115】

ステップＳ３２２又はＳ３２３の後、ステップＳ３１０～Ｓ３１５が、第１実施形態の場合と同様に実行される。

【0116】

以上説明したように、本実施形態によれば、動画制作者端末３－１が、撮像部３９により動画が撮像されているときに音入力手段を用いて入力された入力音から、人間の声と異なる音を除去する。また、動画制作者端末３－１が、人間の声と異なる音が除去された入力音を含む動画を示す動画情報を生成させる。

【0117】

そのため、動画の撮像時に人間の声は動画に記録される一方で、人間の声と異なる音の記録が抑止される。そのため、動画の撮像時に再生された音が人間の声を含まない場合、その音の記録が抑止される。視聴者端末３－２は、動画を再生するとき、記録された人間の声を再生するとともに、音楽配信サーバ２から配信される音情報に基づいて音を再生する。従って、動画の撮像時に再生された音の劣化を防ぎながら、動画の撮像時に人間が発した声を、動画とともに再生することができる。

【0118】

［３．第３実施形態］
次に、図１６及び図１７を用いて、第３実施形態について説明する。本実施形態においては、動画配信システムＳは、動画の撮像中に、複数の音の再生を可能とする。そして、動画配信システムＳは、動画を再生するとき、それら複数の音それぞれを、その動画と同期して再生する。

【0119】

動画制作者端末３－１の音声受信部３１１は、音楽配信サーバ２から、一又は複数の音をそれぞれ示す一又は複数の音情報を受信する。

【0120】

タイミング情報受信部３１２は、音声受信部３１１により受信される一又は複数の音情報それぞれについて、第１タイミング情報を受信する。

【0121】

音声再生部３１４は、撮像制御部３１３により動画が撮像されているとき、音楽配信サーバ２からから受信された一又は複数の音情報により示される一又は複数の音を再生する。音声再生部３１４が複数の音を再生するとき、一の音の再生期間と他の音の再生期間とが重複してもよいし重複しなくてもよい。また、複数の音が連続して再生されてもよい。音声再生部３１４は、それぞれユーザＵ１により指定されたタイミングで、複数の音の再生を開始してもよい。

【0122】

タイミング特定部３１５は、音情報により示される音が音声受信部３１１により再生されているとき、音声再生部３１４により再生される一又は複数の音それぞれについて、タイミング情報受信部３１２により受信された第１タイミング情報に基づいて、その音情報により示される音の再生タイミングを特定する。

【0123】

動画生成制御部３１６は、音声再生部３１４により再生される一又は複数の音それぞれについて、タイミング特定部３１５により特定された再生タイミングと、その音を識別する識別情報と、を示す第２タイミング情報を、生成される動画情報に含ませる。これにより、第２タイミング情報が、一又は複数の音のうち何れに対応する情報であるかを特定することができる。識別情報は、例えば楽曲ＩＤであってもよい。

【0124】

視聴者端末３－２の音声受信部３２２は、音楽配信サーバ２から一又は複数の音情報を受信する。具体的に、音声受信部３２２は、動画受信部３２１により受信された動画データを製作するために用いられた動画制作者端末３－１の音声再生部３１４が、撮像時に再生した一又は複数の音を示す一又は複数の音情報を受信する。

【0125】

タイミング情報受信部３１２は、音楽配信サーバ２から、音声受信部３２２により受信される一又は複数の音情報により示される一又は複数の音の再生タイミングをそれぞれ示す第１タイミング情報を受信する。

【0126】

動画再生部３２４は、動画受信部３２１により受信された動画情報により示される動画と、音声受信部３２２により受信された一又は複数の音情報により示される一又は複数の音と、を再生する。このとき、動画再生部３２４は、画受信部３２１により受信された動画情報に含まれる第２タイミング情報に基づいて、動画と、一又は複数の音それぞれと、を同期させる。第２タイミング情報は、識別情報を含むので、動画にどの音を同期させるかを判断することが可能である。従って、動画の撮像中に、複数の音が再生された場合にも、動画の再生時に、その動画と複数の音とを同期させることができる。そのため、複数の音の劣化を防止することができる。

【0127】

第１実施形態の場合と同様に、複数の音それぞれについて、一又は複数の連続するフレーム画像の単位で、第２タイミング情報が動画情報に含まれてもよい。これにより、動画 と複数の音それぞれとを適切に同期して再生することができる。

【0128】

第２実施形態の場合と同様に、集音部４０からの入力音が記録されてもよいし、記録されなくてもよい。

【0129】

図１６は、動画制作者端末３－１のシステム制御部３１による動画製作処理の一例を示すフローチャートである。図１６において、図１１と同一のステップについては同一の符号が付されている。

【0130】

図１６に示すように、動画生成制御部３１６は、楽曲数Ｎを０に設定する（ステップＳ１４１）。次いで、撮像制御部３１３は、撮像部３９による動画の撮像を開始させる（ステップＳ１０４）。次いで、音声再生部３１４は、入力部３６からの信号に基づき、ユーザＵ１から、何れかの楽曲の再生が指示されたか否かを判定する（ステップＳ１４２）。楽曲の再生が指示された場合（ステップＳ１４３）、動画生成制御部３１６は、楽曲数Ｎを１増加させる（ステップＳ１４３）。次いで、動画生成制御部３１６は、ユーザＵ１により選択された楽曲の楽曲ＩＤを、動画配信サーバ１へ送信する（ステップＳ１０１）。次いで、システム制御部３１は、音声受信処理を開始させ（ステップＳ１０２）、音声再生処理を開始させる（ステップＳ１０３）。音声受信処理及び音声再生処理において、ユーザＵ１により今回選択された楽曲の音声データの受信及びその楽曲の再生が行われる。選択された楽曲を、楽曲Ｎとする。

【0131】

楽曲の再生が指示されていない場合（ステップＳ１４２）、又はステップＳ１０３の後、撮像制御部３１３は、撮像部３９からフレーム画像データを受信する（ステップＳ１０５）。次いで、タイミング特定部３１５は、楽曲番号ｉを１に設定する（ステップＳ１４４）、次いで、タイミング特定部３１５は、楽曲番号ｉが楽曲数Ｎ以下であるか否かを判定する（ステップＳ１４５）。楽曲番号ｉが楽曲数Ｎ以下である場合（ステップＳ１４５：ＹＥＳ）、タイミング特定部３１５は、楽曲ｉについての現在のタイミング情報が、「なし」以外に設定されているか否かを判定する（ステップＳ１４６）。現在のタイミング情報が「なし」以外に設定されている場合（ステップＳ１４６：ＹＥＳ）、動画生成制御部３１６は、楽曲ｉの楽曲ＩＤ及び現在のタイミング情報を含む第２タイミング情報を、受信されたフレーム画像データに関連付けて、動画配信サーバ１へ送信する（ステップＳ１４７）。ステップＳ１４７の後、又は、現在のタイミング情報が「なし」に設定されている場合（ステップＳ１４６：ＮＯ）、タイミング特定部３１５は、楽曲番号ｉを１増加させる（ステップＳ１４８）。ステップＳ１４８の後、処理はステップＳ１４５に進む。

【0132】

楽曲番号ｉが楽曲数Ｎ以下ではない場合（ステップＳ１４５：ＮＯ）、動画生成制御部３１６は、撮像部３９から受信されたフレーム画像データを、動画配信サーバ１へ送信する（ステップＳ１０８）。次いで、画生成制御部３１６は、ユーザＵ１が動画の撮像の終了を指示したか否かを判定する（ステップＳ１０９）。ユーザＵ１が終了を指示していない場合（ステップＳ１０９：ＮＯ）、処理はステップＳ１４２に進む。一方、ユーザＵ１が終了を指示した場合（ステップＳ１０９：ＹＥＳ）、撮像制御部３１３は、撮像部３９による撮像を停止させて（ステップＳ１１０）、動画製作処理は終了する。

【0133】

動画配信サーバ１は、動画制作者端末３－１から受信された一又は複数の楽曲ＩＤと、新たな動画ＩＤと、に関連付けて、動画制作者端末３－１から受信されたフレーム画像データ及び第２タイミング情報を含む動画データ又はセグメントファイルを、動画ＤＢに記憶させる。

【0134】

図１７は、視聴者端末３－２のシステム制御部３１による動画再生処理の一例を示すフローチャートである。図１７において、図１１と同一のステップについては同一の符号が付されている。

【0135】

図１７に示すように、動画再生部３２４は、ユーザＵ２により選択された動画の動画ＩＤを、動画配信サーバ１へ送信することにより、この動画ＩＤに関連付けて動画ＤＢに記憶された一又は複数の楽曲ＩＤを受信する（ステップＳ３４１）。次いで、システム制御部３１は、動画音声受信処理を開始させる（ステップＳ３４２）。動画音声受信処理においては、受信された一又は複数の楽曲ＩＤにより示される一又は複数の楽曲について、音楽配信サーバ２からセグメントファイルが受信される。その他の点において、ステップＳ３４２の動画音声受信処理は、図１１に示すステップＳ３０２の動画音声受信処理と同様である。次いで、動画再生部３２４は、動画の再生位置を初期設定する（ステップＳ３０３）。次いで、動画再生部３２４は、動画受信処理にて動画のセグメントファイルが受信されているか否かを判定する（ステップＳ３０４）。セグメントファイルが受信されていない場合（ステップＳ３０４：ＮＯ）、ステップＳ３０４の判定が再実行される。一方、セグメントファイルが受信されている場合（ステップＳ３０４：ＹＥＳ）、動画再生部３２４は、動画のセグメントファイルから、現在の再生位置に対応するフレーム画像データを読み出す（ステップＳ３０５）。

【0136】

次いで、動画再生部３２４は、楽曲番号ｉを１に設定する（ステップＳ３４３）。次いで、動画再生部３２４は、読み出されたフレーム画像データに関連付けられた第２タイミング情報であって、動画配信サーバ１から受信された一又は複数の楽曲ＩＤのうち、楽曲ｉの楽曲ＩＤを含む第２タイミング情報が、動画のセグメントファイルに含まれているか否かを判定する（ステップＳ３４４）。第２タイミング情報が含まれている場合（ステップＳ３４４：ＹＥＳ）、動画再生部３２４は、その第２タイミング情報に含まれる第１タイミング情報と一致する第１タイミング情報を、楽曲ｉのセグメントファイルから読み出す。そして、動画再生部３２４は、第１タイミング情報に関連付けられた音声フラグメントを、楽曲ｉのセグメントファイルから読み出す（ステップＳ３４５）。

【0137】

ステップＳ３４５の後、又は第２２タイミング情報が含まれてない場合（ステップＳ３４４：ＮＯ）、動画再生部３２４は、楽曲番号ｉを１増加させる（ステップＳ３４６）。次いで、動画再生部３２４は、楽曲番号ｉが楽曲数Ｎ以下であるか否かを判定する（ステップＳ３４７）。楽曲番号ｉが楽曲数Ｎ以下である場合（ステップＳ３４７：ＹＥＳ）、処理はステップＳ３４４に進む。一方、楽曲番号ｉが楽曲数Ｎ以下ではない場合（ステップＳ３４７：ＮＯ）、動画再生部３２４は、読み出されたフレーム画像データに基づいて、フレーム画像を表示部３７に表示させるとともに、一又は複数の楽曲のうち、ステップＳ３４５で音声フラグメントが読み出された楽曲それぞれについて、その音声フラグメントに基づいて、楽曲の音を再生する（ステップＳ３４８）。何れの楽曲についても、音声フラグメントが読み出されなかった場合、動画再生部３２４は、フレーム画像の表示のみを行う。ステップＳ３４８の後、ステップＳ３１０～Ｓ３１５が、第１実施形態の場合と同様に実行される。

【0138】

以上説明したように、本実施形態によれば、動画制作者端末３－１が、一又は複数の音をそれぞれ示す一又は複数の音情報を受信する。また、動画制作者端末３－１が、一又は複数の音それぞれについて、第１タイミング情報を受信する。また、動画制作者端末３－１が、一又は複数の音を再生する。また、動画制作者端末３－１が、一又は複数の音それぞれについて、第１タイミング情報に基づいて、再生タイミングを特定する。また、動画制作者端末３－１が、一又は複数の音それぞれについて、特定された再生タイミングと、音情報を識別する識別情報と、を示す第２タイミング情報を、生成される動画情報に含ませる。

【0139】

そのため、動画の撮像時に一又は複数の音が再生される場合、その一又は複数の音それぞれについて、その音の音情報を識別する識別情報を含む第２タイミング情報が、動画情報に含ませられる。視聴者端末３－２は、動画を再生するとき、第２タイミング情報に含まれる識別情報に基づいて、音の再生に用いられる音情報を特定することができる。従って、動画の撮像時に複数の音が再生された場合であっても、再生されたそれぞれの音の品質の劣化を防いで、撮像された動画を再生することができる。

【符号の説明】

【0140】

１ 動画配信サーバ
２ 音楽配信サーバ
３ ユーザ端末
３－１ 動画制作者端末
３－２ 視聴者端末
１１ システム制御部
１２ システムバス
１３ 入出力インタフェース
１４ 記憶部
１５ 通信部
２１ システム制御部
２２ システムバス
２３ 入出力インタフェース
２４ 記憶部
２５ 通信部
３１ システム制御部
３２ システムバス
３３ 入出力インタフェース
３４ 記憶部
３５ 通信部
３６ 入力部
３７ 表示部
３８ 音出力部
３９ 撮像部
４０ 集音部
１１１ 動画受信部
１１２ 動画配信部
２１１ 音声配信部
２１２ タイミング情報送信部
３１１ 音声受信部
３１２ タイミング情報受信部
３１３ 撮像制御部
３１４ 音声再生部
３１５ タイミング特定部
３１６ 動画生成制御部
３２１ 動画受信部
３２２ 音声受信部
３２３ タイミング情報受信部
３２４ 動画再生部
ＮＷ ネットワーク
Ｓ 動画配信システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】