特許 7121988 動画コンテンツ生成方法および生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-10

(45)【発行日】2022-08-19

(54)【発明の名称】動画コンテンツ生成方法および生成プログラム

(51)【国際特許分類】

   H04N 21/854 20110101AFI20220812BHJP

   H04N 21/845 20110101ALI20220812BHJP

   H04N 21/439 20110101ALI20220812BHJP

【ＦＩ】

H04N21/854

H04N21/845

H04N21/439

【請求項の数】 8

(21)【出願番号】P 2018168950

(22)【出願日】2018-09-10

(65)【公開番号】P2020043454

(43)【公開日】2020-03-19

【審査請求日】2021-08-19

【権利譲渡・実施許諾】特許権者において、権利譲渡・実施許諾の用意がある。

(73)【特許権者】

【識別番号】518286312

【氏名又は名称】株式会社クロスフェーダー

(74)【代理人】

【識別番号】110000475

【氏名又は名称】特許業務法人みのり特許事務所

(72)【発明者】

【氏名】武下 幸太

(72)【発明者】

【氏名】名波 俊兵

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２００４－０９６６１７（ＪＰ，Ａ）

【文献】特開２０１１－０２４０３３（ＪＰ，Ａ）

【文献】特表２００６－５１２８２０（ＪＰ，Ａ）

【文献】特開２０１６－１１１３８６（ＪＰ，Ａ）

【文献】特開２００２－１１２１１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

映像情報と音声情報とを含む第１素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法であって、
記憶装置から前記第１素材コンテンツを読み込む第１読込工程と、
読み込まれた前記第１素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、
分離された前記音声情報に基づいて、Ｎ個（ただし、Ｎは２以上の整数）の抽出開始点を決定する抽出開始点決定工程と、
分離された前記映像情報から、Ｎ個の前記抽出開始点のそれぞれを始点としたＮ個の分割映像情報を抽出する分割映像抽出工程と、
前記記憶装置から音楽情報である第２素材コンテンツと該第２素材コンテンツに対応する合成情報とを読み込む第２読込工程と、
前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程と、
を備え、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、
前記複数の映像切替点は、Ｎ個のグループのいずれかに属しており、
前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれをＮ個のうちのいずれかの前記分割映像情報の始点とする
ことを特徴とする動画コンテンツ生成方法。

【請求項2】

前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位Ｎ個の時間を前記抽出開始点とする
ことを特徴とする請求項１に記載の動画コンテンツ生成方法。

【請求項3】

前記第１素材コンテンツおよび前記第２素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに備え、
前記第１読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第１素材コンテンツのうちの１つを読み込み、
前記第２読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第２素材コンテンツのうちの１つと該１つに対応する前記合成情報とを読み込む
ことを特徴とする請求項１または請求項２に記載の動画コンテンツ生成方法。

【請求項4】

前記合成情報は、ＭＩＤＩ形式で記述されており、
前記Ｎ個のグループは、音階に対応している
ことを特徴とする請求項１～３のいずれか一項に記載の動画コンテンツ生成方法。

【請求項5】

映像情報と音声情報とを含む第１素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法を情報処理装置に実行させる動画コンテンツ生成プログラムであって、
前記情報処理装置に、
記憶装置から前記第１素材コンテンツを読み込む第１読込工程と、
読み込まれた前記第１素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、
分離された前記音声情報に基づいて、Ｎ個（ただし、Ｎは２以上の整数）の抽出開始点を決定する抽出開始点決定工程と、
分離された前記映像情報から、Ｎ個の前記抽出開始点のそれぞれを始点としたＮ個の分割映像情報を抽出する分割映像抽出工程と、
前記記憶装置から音楽情報である第２素材コンテンツと該第２素材コンテンツに対応する合成情報とを読み込む第２読込工程と、
前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程と、
を実行させ、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、
前記複数の映像切替点は、Ｎ個のグループのいずれかに属しており、
前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれがＮ個のうちのいずれかの前記分割映像情報の始点とされる
ことを特徴とする動画コンテンツ生成プログラム。

【請求項6】

前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位Ｎ個に対応する時間が前記抽出開始点とされる
ことを特徴とする請求項５に記載の動画コンテンツ生成プログラム。

【請求項7】

前記情報処理装置に、前記第１素材コンテンツおよび前記第２素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに実行させ、
前記第１読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第１素材コンテンツのうちの１つが読み込まれ、
前記第２読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第２素材コンテンツのうちの１つと該１つに対応する前記合成情報とが読み込まれる
ことを特徴とする請求項５または請求項６に記載の動画コンテンツ生成プログラム。

【請求項8】

前記合成情報は、ＭＩＤＩ形式で記述されており、
前記Ｎ個のグループは、音階に対応している
ことを特徴とする請求項５～７のいずれか一項に記載の動画コンテンツ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像情報と音声情報とを含む第１素材コンテンツから新たな動画コンテンツを生成する方法およびプログラムに関し、特に、ユーザ自身が作成した第１素材コンテンツとプリセットされた第２素材コンテンツとを合成することにより新たな動画コンテンツを生成する方法およびプログラムに関する。

【背景技術】

【0002】

近年のスマートフォンの普及に伴い、高価な機材を用意しなくても、簡単に動画を撮影することが可能となってきている。また、高速な通信環境が整備されたことにより、近年では、スマートフォンで撮影した動画を一般に公開することも容易である。

【0003】

このような状況を活かしたスマートフォン向けアプリケーションソフトウェアとして、「ＴｉｋＴｏｋ（登録商標）」が知られている。ＴｉｋＴｏｋのユーザは、以下の手順により、オリジナルな動画を生成して一般に公開することができる（例えば、非特許文献１，２参照）。
（１）プリセットされた複数の音楽からＢＧＭとする音楽を選択する。
（２）選択したＢＧＭに合うような動画を撮影する。
（３）撮影した動画をアップロードする。
また、ユーザは、撮影した動画をアップロードする前に、フィルターまたはタイム効果と呼ばれる複数の特殊効果の中から選択した１以上の特殊効果を施すことにより、撮影した動画を装飾することもできる。

【先行技術文献】

【非特許文献】

【0004】

【文献】"Tik Tok (アプリ)"、［online］、ウィキペディア フリー百科事典、［平成30年9月3日検索］、インターネット〈URL：https://ja.wikipedia.org/wiki/Tik_Tok_(%E3%82%A2%E3%83%97%E3%83%AA)〉

【文献】"無料の動画作成アプリ『Tik Tok』の基本的な使い方-曲の挿入・動画の保存方法など紹介！"、［online］、平成30年4月18日、ドハック、［平成30年9月3日検索］、インターネット〈URL：https://dohack.jp/video/tik-tok〉

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記アプリケーションソフトウェアを用いた動画の生成では、ＢＧＭに合うような動画を撮影したり、撮影した動画に特殊効果を施したりする際に、ユーザの美的センスが求められる。このため、上記アプリケーションソフトウェアは、自分自身の美的センスに自信のない者にとっては非常にとっつきづらいものとなっていた。

【0006】

本発明は、上記事情に鑑みてなされたものであって、誰もが簡単に見栄えのよい動画コンテンツを生成することができる動画コンテンツ生成方法および生成プログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る動画コンテンツ生成方法は、映像情報と音声情報とを含む第１素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法であって、
記憶装置から前記第１素材コンテンツを読み込む第１読込工程と、読み込まれた前記第１素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、分離された前記音声情報に基づいて、Ｎ個（ただし、Ｎは２以上の整数）の抽出開始点を決定する抽出開始点決定工程と、分離された前記映像情報から、Ｎ個の前記抽出開始点のそれぞれを始点としたＮ個の分割映像情報を抽出する分割映像抽出工程と、前記記憶装置から音楽情報である第２素材コンテンツと該第２素材コンテンツに対応する合成情報とを読み込む第２読込工程と、前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程とを備え、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、前記複数の映像切替点は、Ｎ個のグループのいずれかに属しており、前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれをＮ個のうちのいずれかの前記分割映像情報の始点とする、との構成を有している。

【0008】

上記動画コンテンツ生成方法は、前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位Ｎ個の時間を前記抽出開始点とする、との構成を有していてもよい。

【0009】

上記動画コンテンツ生成方法は、前記第１素材コンテンツおよび前記第２素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに備え、前記第１読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第１素材コンテンツのうちの１つを読み込み、前記第２読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第２素材コンテンツのうちの１つと該１つに対応する前記合成情報とを読み込む、との構成を有していてもよい。

【0010】

なお、前記合成情報は、ＭＩＤＩ形式で記述することができる。この場合は、前記Ｎ個のグループを音階で表現することができる。

【0011】

また、上記課題を解決するために、本発明に係る動画コンテンツ生成プログラムは、映像情報と音声情報とを含む第１素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法を情報処理装置に実行させる動画コンテンツ生成プログラムであって、
前記情報処理装置に、記憶装置から前記第１素材コンテンツを読み込む第１読込工程と、読み込まれた前記第１素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、分離された前記音声情報に基づいて、Ｎ個（ただし、Ｎは２以上の整数）の抽出開始点を決定する抽出開始点決定工程と、分離された前記映像情報から、Ｎ個の前記抽出開始点のそれぞれを始点としたＮ個の分割映像情報を抽出する分割映像抽出工程と、前記記憶装置から音楽情報である第２素材コンテンツと該第２素材コンテンツに対応する合成情報とを読み込む第２読込工程と、前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程とを実行させ、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、前記複数の映像切替点は、Ｎ個のグループのいずれかに属しており、前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれがＮ個のうちのいずれかの前記分割映像情報の始点とされる、との構成を有していてもよい。

【0012】

上記動画コンテンツ生成プログラムは、前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位Ｎ個に対応する時間が前記抽出開始点とされる、との構成を有していてもよい。

【0013】

上記動画コンテンツ生成プログラムは、前記情報処理装置に、前記第１素材コンテンツおよび前記第２素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに実行させ、前記第１読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第１素材コンテンツのうちの１つが読み込まれ、前記第２読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第２素材コンテンツのうちの１つと該１つに対応する前記合成情報とが読み込まれる、との構成を有していてもよい。

【0014】

なお、前記合成情報は、ＭＩＤＩ形式で記述することができる。この場合は、前記Ｎ個のグループを音階で表現することができる。

【発明の効果】

【0015】

本発明によれば、誰もが簡単に見栄えのよい動画コンテンツを生成することができる動画コンテンツ生成方法および生成プログラムを提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施例に係る動画コンテンツ生成プログラムを実行している最中のスマートフォンの概略的な構成を示すブロック図である。

【図2】本発明の実施例に係る動画コンテンツ生成方法のフロー図である。

【図3】図２に示すコンテンツ分離工程を説明するための図である。

【図4】図２に示す抽出開始点決定工程を説明するための図である。

【図5】図２に示す分割映像抽出工程を説明するための図である。

【図6】図２に示す第２読込工程において読み込まれる音楽情報および合成情報の構成を示す図である。

【図7】図２に示すコンテンツ合成工程の前半部分を説明するための図である。

【図8】図２に示すコンテンツ合成工程の後半部分を説明するための図である。

【図9】本発明の変形例１に係る動画コンテンツ生成方法のフロー図である。

【図10】本発明の変形例２に係る動画コンテンツ生成プログラムを実行している最中のスマートフォンの概略的な構成を示すブロック図である。

【図11】本発明の変形例２に係る動画コンテンツ生成方法のフロー図である。

【図12】本発明の変形例２に係る動画コンテンツ生成方法の別のフロー図である。

【図13】本発明の変形例３に係る動画コンテンツ生成プログラムを実行している最中のスマートフォンの概略的な構成を示すブロック図である。

【図14】本発明の変形例３に係る動画コンテンツ生成方法の第２読込工程において読み込まれる音楽情報、合成情報および特殊効果情報の構成を示す図である。

【発明を実施するための形態】

【0017】

以下、添付図面を参照しながら、本発明に係る動画コンテンツ生成方法および生成プログラムの一実施例について説明する。

【0018】

［実施例］
図１に、スマートフォン１０の概略的な構成を示す。同図に示すように、スマートフォン１０は、ＭＰＵ（Micro Processor Unit）からなる情報処理装置１１と、メモリからなる記憶装置１２と、カメラ１３と、マイク１４と、タッチパネルディスプレイ１５と、スピーカー１６とを備えている。

【0019】

情報処理装置１１は、第１素材コンテンツ生成部２０と動画コンテンツ生成部２１とを有している。このうち、第１素材コンテンツ生成部２０は、標準的に備えられた動画撮影プログラムがユーザによって実行されたときに情報処理装置１１内に形成される機能ブロックである。一方、動画コンテンツ生成部２１は、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行されたときに情報処理装置１１内に形成される機能ブロックである。

【0020】

第１素材コンテンツ生成部２０は、カメラ１３が出力する映像信号とマイクが出力する音声信号とに基づいて、映像情報と音声情報とを含む第１素材コンテンツ（動画ファイル）を生成し、これを記憶装置１２に記憶させる。

【0021】

記憶装置１２は、第１素材コンテンツに加え、音楽情報である第２素材コンテンツ、およびこれに対応する合成情報をさらに記憶している。第２素材コンテンツおよび合成情報は、予め記憶されていてもよいし、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行されたときに記憶されてもよい。第２素材コンテンツおよび合成情報については、後で詳しく説明する。

【0022】

なお、本実施例では、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行された時に、各１つの第１素材コンテンツ、第２素材コンテンツおよび合成情報が記憶装置１２に既に記憶されているものとする。

【0023】

動画コンテンツ生成部２１は、前述した通り、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行されたときに形成される。動画コンテンツ生成部２１は、本実施例に係る動画コンテンツ生成方法を実行することにより、記憶装置１２に記憶された第１素材コンテンツおよび第２素材コンテンツを合成情報に基づいて合成し、新たな動画コンテンツを生成する。言い換えると、本実施例に係る動画コンテンツ生成プログラムは、情報処理装置１１に本実施例に係る動画コンテンツ生成方法を実行させることにより、新たな動画コンテンツを生成する。

【0024】

動画コンテンツ生成部２１は、生成した動画コンテンツをタッチパネルディスプレイ１５およびスピーカー１６を介して再生することができる。この他、動画コンテンツ生成部２１は、生成した動画コンテンツを不図示の通信部を介してアップロードしたり、記憶装置１２に記憶させたりすることもできる。

【0025】

続いて、図２を参照しながら、本実施例に係る動画コンテンツ生成方法（すなわち、動画コンテンツ生成部２１の動作）について説明する。

【0026】

第１読込工程Ｓ１において、動画コンテンツ生成部２１は、記憶装置１２から第１素材コンテンツを読み込む。前述した通り、第１素材コンテンツは、ユーザ自身が撮影した動画に関するファイルであり、映像情報と音声情報とを含んでいる。

【0027】

工程Ｓ１の次に実行されるコンテンツ分離工程Ｓ２において、動画コンテンツ生成部２１は、工程Ｓ１で読み込まれた第１素材コンテンツを映像情報と音声情報とに分離する（図３参照）。

【0028】

工程Ｓ２の次に実行される抽出開始点決定工程Ｓ３において、動画コンテンツ生成部２１は、工程Ｓ２で分離された音声情報を解析して当該音声情報に含まれる音量ピーク点のうちの上位Ｎ個（ただし、Ｎは２以上の整数。本実施例では、Ｎ＝７）を特定するとともに、これらに対応する時間を抽出開始点とする。図４に示すように、本実施例では、音量ピーク点Ｐ１，Ｐ２，・・・，Ｐ６，Ｐ７に対応する時間ｔ１，ｔ２，・・・，ｔ６，ｔ７が抽出開始点となる。

【0029】

工程３の次に実行される分割映像抽出工程Ｓ４において、動画コンテンツ生成部２１は、工程Ｓ２で分離された映像情報から、工程Ｓ３で決定された７個の抽出開始点ｔ１，ｔ２，・・・，ｔ６，ｔ７のそれぞれを始点とした７個の分割映像情報Ｖ１，Ｖ２，・・・，Ｖ６，Ｖ７を抽出する（図５参照）。より詳しくは、動画コンテンツ生成部２１は、抽出開始点ｔ１－ｔ２間の情報を分割映像情報Ｖ１として抽出し、抽出開始点ｔ２－ｔ３間の情報を分割映像情報Ｖ２として抽出し、・・・、抽出開始点ｔ６－ｔ７間の情報を分割映像情報Ｖ６として抽出し、抽出開始点ｔ７と当該映像情報の終端との間の情報を分割映像情報Ｖ７として抽出する。

【0030】

工程Ｓ４の次に実行される第２読込工程Ｓ５において、動画コンテンツ生成部２１は、記憶装置１２から第２素材コンテンツおよびこれに対応する合成情報を読み込む。

【0031】

図６（Ａ）に、読み込まれた第２素材コンテンツに含まれる音楽情報を示す。また、図６（Ｂ）に、読み込まれた合成情報を示す。これらの図から明らかなように、合成情報は、音楽情報が表すビートに同期した複数の映像切替点ＳＷ１，ＳＷ２，・・・，ＳＷ１５，ＳＷ１６を含んでいる。そして、複数の映像切替点ＳＷ１，ＳＷ２，・・・，ＳＷ１５，ＳＷ１６は、７個のグループＣ３，Ｄ３，Ｅ３，Ｆ３，Ｇ３，Ａ３，Ｂ３のいずれかに属している。例えば、映像切替点ＳＷ１，ＳＷ１４はグループＣ３に属し、映像切替点ＳＷ１０，ＳＷ１１，ＳＷ１２，ＳＷ１３はグループＦ３に属している。

【0032】

合成情報は、ＭＩＤＩ（Musical Instrument Digital Interface）形式で記述されている。ＭＩＤＩ形式を利用することにより、７個のグループＣ３，Ｄ３，Ｅ３，Ｆ３，Ｇ３，Ａ３，Ｂ３のいずれかに属する複数の映像切替点の時間的な位置を容易に記述することができる。なお、Ｃ３、Ｄ３、Ｅ３、Ｆ３、Ｇ３、Ａ３およびＢ３は、それぞれ、第３オクターブの音階「ド」、「レ」、「ミ」、「ファ」、「ソ」、「ラ」および「シ」を意味する。

【0033】

工程Ｓ５の次に実行されるコンテンツ合成工程Ｓ６において、動画コンテンツ生成部２１は、合成情報に含まれる映像切替点ＳＷ１，ＳＷ２，・・・，ＳＷ１５，ＳＷ１６に基づいて、工程Ｓ４で抽出された７個の分割映像情報Ｖ１，Ｖ２，・・・，Ｖ６，Ｖ７と第２素材コンテンツに含まれる音楽情報とを合成する。

【0034】

より具体的には、動画コンテンツ生成部２１は、まず、７個の分割映像情報Ｖ１，Ｖ２，・・・，Ｖ６，Ｖ７と７個のグループＣ３，Ｄ３，Ｅ３，Ｆ３，Ｇ３，Ａ３，Ｂ３とを対応付ける。本実施例では、この対応付けをランダムに行い、その結果、グループＣ３と分割映像情報Ｖ１、グループＤ３と分割映像情報Ｖ３、グループＥ３と分割映像情報Ｖ５、グループＦ３と分割映像情報Ｖ６、グループＧ３と分割映像情報Ｖ２、グループＡ３と分割映像情報Ｖ４、およびグループＢ３と分割映像情報Ｖ７が対応付けられたものとする（図７参照）。

【0035】

続いて、動画コンテンツ生成部２１は、グループＣ３に属する映像切替点ＳＷ１，ＳＷ１４が分割映像情報Ｖ１の開始点となり、グループＤ３に属する映像切替点ＳＷ６が分割映像情報Ｖ３の開始点となり、グループＥ３に属する映像切替点ＳＷ５が分割映像情報Ｖ５の開始点となり、グループＦ３に属する映像切替点ＳＷ１０，ＳＷ１１，ＳＷ１２，ＳＷ１３が分割映像情報Ｖ６の開始点となり、グループＧ３に属する映像切替点ＳＷ１５が分割映像情報Ｖ２の開始点となり、グループＡ３に属する映像切替点ＳＷ２，ＳＷ４，ＳＷ７，ＳＷ９，ＳＷ１６が分割映像情報Ｖ４の開始点となり、グループＢ３に属する映像切替点ＳＷ３，ＳＷ８が分割映像情報Ｖ７の開始点となるように分割映像情報Ｖ１，Ｖ２，・・・，Ｖ６，Ｖ７を繋ぎ合わせ、繋ぎ合わせたものと音声情報とを合成する（図８参照）。

【0036】

このとき、動画コンテンツ生成部２１は、例えば、映像切替点Ｓ１－Ｓ２間の時間が分割映像情報Ｖ１の時間よりも短い場合は、分割映像情報Ｖ１の先頭の一部分だけを使用し、映像切替点Ｓ１－Ｓ２間の時間が分割映像情報Ｖ１の時間よりも長い場合は、分割映像情報Ｖ１の最終フレーム（静止画）で穴埋めをする。

【0037】

このように、本実施例に係る動画コンテンツ生成方法および生成プログラムによれば、美的センスが必要となる作業をユーザが行わなくても、ユーザが作成した第１素材コンテンツに含まれる音声情報と予め用意された合成情報とに基づいて、第１素材コンテンツに含まれる映像情報が第２素材コンテンツに含まれる音楽情報（ＢＧＭ）に合うように編集され、見栄えのよい新たな動画コンテンツが得られる。

【0038】

なお、本発明に係る動画コンテンツ生成方法および生成プログラムには、以下に例示する複数の変形例がある。

【0039】

［変形例１］
第２読込工程Ｓ５は、第１読込工程Ｓ１の前に実行されてもよいし（図９（Ａ）参照）、第１読込工程Ｓ１－分割映像抽出工程Ｓ４と同時並行的に実行されてもよい（図９（Ｂ）参照）。つまり、本発明では、コンテンツ合成工程Ｓ６の前に、第１読込工程Ｓ１－分割映像抽出工程Ｓ４と第２読込工程Ｓ５とが実行されていればよい。

【0040】

［変形例２］
図１０に示すように、記憶装置１２は、複数の第１素材コンテンツと、複数の第２素材コンテンツと、複数の第２素材コンテンツのそれぞれに対応する合成情報とを記憶していてもよい。この場合は、図１１に示すように、第１読込工程Ｓ１および第２読込工程Ｓ５の前に、選択指令受付工程Ｓ７を実行する必要がある。

【0041】

選択指令受付工程Ｓ７において、動画コンテンツ生成部２１は、記憶装置１２に記憶されている複数の第１素材コンテンツおよび第２素材コンテンツに関する情報を選択肢としてタッチパネルディスプレイ１５に表示させるとともに、タッチパネルディスプレイ１５を介して入力された第１素材コンテンツおよび第２素材コンテンツの選択に関するユーザからの指令を受け付ける。そして、第１読込工程Ｓ１において、動画コンテンツ生成部２１は、ユーザによって選択された第１素材コンテンツを読み込む。第２読込工程Ｓ５についても同様である。

【0042】

なお、第１読込工程Ｓ１および第２読込工程Ｓ５を直列的に実行する場合は、第１素材コンテンツおよび第２素材コンテンツの選択に関する指令を受け付ける選択指令受付工程Ｓ７を第１読込工程Ｓ１の前に実行してもよいし（図１２（Ａ）参照）、第１素材コンテンツの選択に関する指令を受け付ける選択指令受付工程Ｓ７Ａを第１読込工程Ｓ１の前に実行するとともに、第２素材コンテンツの選択に関する指令を受け付ける選択指令受付工程Ｓ７Ｂを第２読込工程Ｓ５の前に実行してもよい（図１２（Ｂ）参照）。

【0043】

［変形例３］
図１３に示すように、記憶装置１２は、第２素材コンテンツに対応する特殊効果情報をさらに記憶していてもよい。この場合、動画コンテンツ生成部２１は、第２読込工程Ｓ５において、第２素材コンテンツとともに合成情報および特殊効果情報を読み込む。ただし、動画コンテンツ生成部２１は、特殊効果情報が存在しない第２素材コンテンツについては、第２素材コンテンツとともに合成情報のみを読み込む。

【0044】

図１４に示すように、特殊効果情報は、複数の特殊効果適用期間ＥＦ１，ＥＦ２，・・・，ＥＦ６，ＥＦ７を含んでいる。そして、特殊効果適用期間ＥＦ１，ＥＦ２，・・・，ＥＦ６，ＥＦ７は、４個のグループＣ４，Ｄ４，Ｅ４，Ｆ４のいずれかに属している。

【0045】

グループＣ４に属する特殊効果適用期間ＥＦ１，ＥＦ４，ＥＦ６は、特殊効果「拡大」を適用する期間であり、グループＤ４に属する特殊効果適用期間ＥＦ７は、特殊効果「フェイドアウト」を適用する期間であり、グループＥ４に属する特殊効果適用期間ＥＦ２，ＥＦ５は、特殊効果「早送り」を適用する期間であり、グループＦ４に属する特殊効果適用期間ＥＦ３は、特殊効果「スローモーション」を適用する期間である。

【0046】

特殊効果情報は、ＭＩＤＩ形式で記述されている。ＭＩＤＩ形式を利用することにより、４個のグループＣ４，Ｄ４，Ｅ４，Ｆ４のいずれかに属する特殊効果適用期間の時間的な範囲を容易に記述することができる。なお、Ｃ４、Ｄ４、Ｅ４およびＦ４は、それぞれ、第４オクターブの音階「ド」、「レ」、「ミ」および「ファ」を意味する。

【0047】

動画コンテンツ生成部２１は、コンテンツ合成工程Ｓ６において、複数の分割映像情報を繋ぎ合わせたものに特殊効果情報にしたがった特殊効果を適用する。そして、動画コンテンツ生成部２１は、特殊効果を適用した後の映像情報と音楽情報とを合成する。

【0048】

特殊効果の種類を増やす場合は、例えば、第４オクターブの音階「ソ」、「ラ」、「シ」を意味するＧ４、Ａ４、Ｂ４を利用すればよい。また、合成情報および特殊効果情報は、ＭＩＤＩ形式で記述された単一のファイルであってもよい。

【0049】

［その他の変形例］
（１）動画コンテンツ生成部２１は、第１素材コンテンツの音声情報に含まれる音量ピーク点以外のものに基づいて抽出開始点を決定してもよい。例えば、動画コンテンツ生成部２１は、音声情報の音量が急激に増加／減少した点を抽出開始点としてもよい。

【0050】

（２）動画コンテンツ生成部２１は、コンテンツ合成工程Ｓ６を実行した後に、Ｎ個の分割映像情報とＮ個のグループとのランダムな対応付けのやり直しの要否についての指令を受け付けてもよい。対応付けをやり直すことにより、第１素材コンテンツ自体および第２素材コンテンツ自体に何も変更を加えなくても、様々な動画コンテンツを生成することができる。

【0051】

（３）動画コンテンツ生成部２１は、ランダムにではなく、予め定められたルールにしたがってＮ個の分割映像情報とＮ個のグループとを対応付けてもよい。

【0052】

（４）動画コンテンツ生成部２１は、抽出開始点決定工程Ｓ３を実行する前に、抽出開始点の決定に関するユーザからの指令を受け付けてもよい。この指令には、抽出開始点決定工程Ｓ３において解析を行うべき範囲の指定や、抽出開始点の直接的な指定が含まれる。なお、ユーザによってＭ個（ただし、Ｍは１以上Ｎ以下の整数）の抽出開始点が指定された場合、動画コンテンツ生成部２１は、音声情報を解析することによって（Ｎ－Ｍ）個の抽出開始点を決定することになる。また、ユーザによって抽出開始点が指定された場合、動画コンテンツ生成部２１は、当該指定に係る抽出開始点を始点とする分割映像情報を多くの映像切替点を含むグループ（図６に示す一例では、５個の映像切替点ＳＷ２，ＳＷ４，ＳＷ７，ＳＷ９，ＳＷ１６を含むグループＡ３）に対応付けることが好ましい。

【0053】

（５）動画コンテンツ生成部２１は、コンテンツ合成工程Ｓ６を実行した後に、抽出開始点の決定に関する指令を受け付けてもよい。指令を受け付けた場合、動画コンテンツ生成部２１は、抽出開始点決定工程Ｓ３、分割映像抽出工程Ｓ４およびコンテンツ合成工程Ｓ６を再度実行する。なお、動画コンテンツ生成部２１は、コンテンツ合成工程Ｓ６を実行した後に、抽出開始点の決定に関する指令に加え、対応付けのやり直しの要否についての指令を受け付けてもよい。

【0054】

（６）動画コンテンツ生成部２１は、選択指令受付工程Ｓ７，Ｓ７Ｂにおいて、第２素材コンテンツに関する情報をユーザに提示する代わりに、曲調に関する選択肢（例えば、楽しい、悲しい等）と曲のテンポに関する選択肢（例えば、ゆっくり、はやい等）をユーザに提示してもよい。この場合、ユーザは、曲調とテンポを選択することにより、間接的に第２素材コンテンツを選択することになる。

【0055】

（７）第１素材コンテンツに含まれる音声情報は、右側音声情報および左側音声情報からなっていてもよい。この場合は、例えば、右側音声情報および左側音声情報の一方、またはこれらを平均化したものに基づいて、抽出開始点を決定することができる。

【0056】

（８）合成情報および特殊効果情報は、ＭＩＤＩ以外の形式で記述されていてもよい。

【0057】

（９）情報処理装置１１は、スマートフォンに備えられたものに限定されない。

【符号の説明】

【0058】

１０ スマートフォン
１１ 情報処理装置
１２ 記憶装置
１３ カメラ
１４ マイク
１５ タッチパネルディスプレイ
１６ スピーカー
２０ 第１素材コンテンツ生成部
２１ 動画コンテンツ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】