(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】5903187
(24)【登録日】2016年3月18日
(45)【発行日】2016年4月13日
(54)【発明の名称】映像コンテンツ自動生成システム
(51)【国際特許分類】
G06T 13/80 20110101AFI20160331BHJP
H04N 21/854 20110101ALI20160331BHJP
【FI】
G06T13/80 B
H04N21/854
【請求項の数】8
【全頁数】11
(21)【出願番号】特願2015-187797(P2015-187797)
(22)【出願日】2015年9月25日
【審査請求日】2015年11月11日
【早期審査対象出願】
(73)【特許権者】
【識別番号】514300395
【氏名又は名称】株式会社グロリアス
(74)【代理人】
【識別番号】110000073
【氏名又は名称】特許業務法人プロテック
(74)【代理人】
【識別番号】100167070
【弁理士】
【氏名又は名称】狹武 哲詩
(72)【発明者】
【氏名】黒岩 賢太郎
【審査官】
真木 健彦
(56)【参考文献】
【文献】
特開平11−086022(JP,A)
【文献】
特開2003−078868(JP,A)
【文献】
特表2012−518235(JP,A)
【文献】
特開平07−037118(JP,A)
【文献】
特開2007−096678(JP,A)
【文献】
特開平11−052962(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/00 − 13/80
H04N 5/91 − 5/956
(57)【特許請求の範囲】
【請求項1】
サーバ上でユーザに素材データを編集させて映像コンテンツを自動生成する映像コンテンツ自動生成システムであって、
前記サーバは、
映像、画像、音声、効果音、テキストの素材データを記憶する手段と、
映像の素材データと、画像、音声、効果音、テキストのうち少なくとも1種類の素材データとの既定の組み合わせとして定義されるカードのカード情報を記憶する手段と、
複数のカードの既定の組み合わせとして定義されるテンプレートのテンプレート情報を記憶する手段と、
各カードのカード情報に基づき当該カードを構成する素材データの選択、並び替え、追加、削除の操作をユーザに行わせるカード編集手段と、
各テンプレートのテンプレート情報に基づき当該テンプレートを構成するカードの選択の操作をユーザに行わせるテンプレート編集手段と、
ユーザにより編集されたカード及びテンプレートに従い、映像コンテンツを生成する映像コンテンツ生成手段とを有する映像コンテンツ自動生成システム。
【請求項2】
前記カード情報は、カードが有する映像における、組み合わせる画像、テキストの表示位置、表示態様、表示タイミングの情報を含んでいることを特徴とする請求項1に記載の映像コンテンツ自動生成システム。
【請求項3】
前記カード情報は、カードが有する映像における、組み合わせる音声、効果音の再生態様、再生タイミングの情報を含んでいることを特徴とする請求項1に記載の映像コンテンツ自動生成システム。
【請求項4】
前記サーバは、音楽の素材データを記憶する手段を有しており、
前記テンプレート情報は、当該テンプレートに組み合わせられる音楽の情報を含んでいることを特徴とする請求項1から3のいずれか1項に記載の映像コンテンツ自動生成システム。
【請求項5】
前記サーバは、ユーザからの画像、音声、効果音、テキストのコンテンツ素材データの入力を受け付け記憶する手段を有することを特徴とすることを特徴とする請求項1から4のいずれか1項に記載の映像コンテンツ自動生成システム。
【請求項6】
前記サーバは、自動生成した映像コンテンツの評価情報を取得し記憶する手段を有することを特徴とする請求項1から5のいずれか1項に記載の映像コンテンツ自動生成システム。
【請求項7】
前記評価情報は、映像コンテンツの再生回数、再生時間、視聴者数、視聴者によるアクション回数、視聴者によるレイティングのうち少なくとも1つの評価基準による評価値を含んでいることを特徴とする請求項6に記載の映像コンテンツ自動生成システム。
【請求項8】
前記サーバのテンプレート編集手段は、ユーザがテンプレートを構成するカードの編集操作をする際に、高評価を得ている映像コンテンツに含まれるカードを推薦する機能を有することを特徴とする請求項6又は7に記載の映像コンテンツ自動生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ端末上の簡単な操作で任意の映像コンテンツを生成することを可能にする映像コンテンツ自動生成システムに関し、特に、予め用意されたコンテンツ素材とテンプレートを利用して映像コンテンツの編集を可能とする映像コンテンツ自動生成システムに関するものである。
【背景技術】
【0002】
映像コンテンツのデジタル化により、撮影された映像・音声データをコンピュータ上で編集処理して映像コンテンツを制作するのが一般的となっている。映像の編集処理は、例えば、不要部分をカットしたり、文字や図形を合成したり、映像・音声に効果を与えたりなどが行われる。
【0003】
デジタルビデオカメラなどの撮影機器が広く普及すると、一般ユーザにおいても撮影した映像を編集して映像コンテンツを制作することが可能となった。
記念行事やプライベートシーンをデジタルビデオカメラなどで撮影し、撮影した映像・音声データをパーソナルコンピュータのソフトウェアで編集処理して、記録し配布・配信することが広く行われている。
ここで用いられるソフトウェアは、例えば、デジタルビデオカメラに付属して販売されている動画編集ソフトウェアや、有償・無償で頒布されている一般的な動画編集ソフトウェアである。
【0004】
特許文献1には、映像編集について特別の知識や技術がない一般ユーザでも簡単にコンテンツが作成できるようにする仕組みとして、コンピュータ上で、動画、静止画、音声、テキスト等のコンテンツ素材情報と、コンテンツ素材情報を配置するためのレイアウト情報と、コンテンツ素材情報をレイアウト上に配置するルール情報とを保持しておき、ユーザは、コンテンツ生成に使用するレイアウト情報の選択、コンテンツ生成に使用するルールの選択するルール選択を行うのみで、選択されたレイアウト情報に対して、選択されたルールを適用し、コンテンツ素材情報保持手段に保持されているコンテンツ素材情報を配置してコンテンツを自動生成して出力するコンテンツ生成システムが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−48465号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、デジタルビデオカメラに付属して販売されている動画編集ソフトウェアや、有償・無償で頒布されている一般的な動画編集ソフトウェアは、一般ユーザ向けであり、機能的には制限されたものである。また、映像編集の専門知識がない一般ユーザがこれらの動画編集ソフトウェアを用いて編集作業しても、高い品質の映像コンテンツを制作することは困難であった。
【0007】
特許文献1に提案されたコンテンツ生成システムは、予め用意されたコンテンツ素材、レイアウト、ルールの組み合わせにより、一般ユーザでも簡単に映像編集をしてコンテンツを自動生成できるという利点はあるが、ユーザが満足するような高い品質の映像コンテンツを制作できるものではない。
【0008】
本来、映像の編集処理は極めて高度な技術を要する作業であり、専門の編集技術者が高性能な機材・ソフトウェアを用いて行うことで、高い品質の映像コンテンツが制作される。しかしながら、近年の動画編集に関するソフトウェア技術やクラウド・ネットワーク技術の進歩によって、一般ユーザにも容易に映像編集が可能であり、かつ、一定の品質の映像コンテンツを制作することを可能にするシステムが待望されている。
【0009】
本発明は、このような実情に鑑みてなされたものであり、予め用意されたコンテンツ素材とテンプレートを利用して映像コンテンツの編集を可能とする映像コンテンツ自動生成システムを提供しようとするものである。
【課題を解決するための手段】
【0010】
上記解決課題に鑑みて鋭意研究の結果、本発明者は、コンテンツの素材データが構造化されたテンプレートとして構成される映像コンテンツにおいて、各素材データとそれらの構造を組み替えることで、一般ユーザでも高度な映像編集を容易に行うことが可能となる仕組みを考案した。
具体的には、映像と、画像、音楽、音声、効果音、テキスト等のコンテンツ素材データとの組み合わせで構成される比較的短尺(例えば5〜10秒)の映像素材データ(以下、「カード」という。)を規定し、複数のカードの組み合わせで構成されるテンプレートを規定し、各カード内のコンテンツ素材データの選択、並び替え、追加、削除等と、テンプレート内のカードの選択等を行うことで、結果物である映像コンテンツを編集することを可能とする仕組みに想到し、本発明を成すに至った。
【0011】
すなわち、本発明は、サーバ上でユーザに素材データを編集させて映像コンテンツを自動生成する映像コンテンツ自動生成システムであって、前記サーバは、映像、画像、音声、効果音、テキストの素材データを記憶する手段と、映像の素材データと、画像、音声、効果音、テキストのうち少なくとも1つの素材データとの組み合わせをカードとして規定するカード情報を記憶する手段と、複数のカードの組み合わせをテンプレートとして規定するテンプレート情報を記憶する手段と、各カードのカード情報に基づき当該カードを構成する素材データの選択、並び替え、追加、削除の操作をユーザに行わせるカード編集手段と、各テンプレートのテンプレート情報に基づき当該テンプレートを構成するカードの選択の操作をユーザに行わせるテンプレート編集手段と、ユーザにより編集されたカード及びテンプレートに従い、映像コンテンツを生成する映像コンテンツ生成手段とを有する映像コンテンツ自動生成システムを提供するものである。
【0012】
本発明の映像コンテンツ自動生成システムにおいて、前記カード情報は、カードが有する映像における、組み合わせる画像、テキストの表示位置、表示態様、表示タイミングの情報を含んでいることを特徴とする。
また、前記カード情報は、カードが有する映像における、組み合わせる音声、効果音の再生態様、再生タイミングの情報を含んでいることを特徴とする。
このように、映像上における画像、テキストのタイミングや動きパターンなど、音声、効果音の合わせ方やタイミングなどを、予めカードごとにその合成効果が最大となるように規定しておくことで、ユーザが任意に素材データの選択、組み合わせをしたとしても、生成される映像コンテンツは一定の品質を有するようになる。
【0013】
本発明の映像コンテンツ自動生成システムにおいて、前記サーバは、音楽の素材データを記憶する手段を有しており、前記テンプレート情報は、当該テンプレートに組み合わせられる音楽の情報を含んでいることを特徴とする。
【0014】
本発明の映像コンテンツ自動生成システムにおいて、前記サーバは、ユーザからの画像、音声、効果音、テキストのコンテンツ素材データの入力を受け付け記憶する手段を有することを特徴とすることを特徴とする。
これにより、ユーザ保有の素材データをユーザが望む通りに組み込みつつ、一定の品質の映像コンテンツを自動生成することが可能となる。
【0015】
本発明の映像コンテンツ自動生成システムにおいて、前記サーバは、自動生成した映像コンテンツの評価情報を取得し記憶する手段を有することを特徴とする。この評価情報は、例えば、映像コンテンツの再生回数、再生時間、視聴者数、視聴者によるアクション回数、視聴者によるレイティングの1つ又は複数の評価基準による評価値とすることができる。
このように、ユーザ編集により自動生成した映像コンテンツに対するフィードバックを得ることで、素材データ、カード、テンプレートの改良が可能であり、また、マーケンティングに役立てることも可能である。
【0016】
本発明の映像コンテンツ自動生成システムにおいて、前記サーバのテンプレート編集手段は、ユーザがテンプレートを構成するカードの編集操作をする際に、高評価を得ている映像コンテンツに含まれるカードを推薦する機能を有することを特徴とする。
既に高評価を得ているカードを使用することで、高品質な映像コンテンツが生成されることが期待される。
【発明の効果】
【0017】
以上、説明したように、本発明によれば、ユーザがサーバ上で、映像とこれに付加する素材データの組み合わせであるカードを対象とする簡単で直感的な編集操作と、そのカードを複数組み合わせたテンプレートを対象とする簡単で直感的な編集操作とを行うのみで、一定の品質の映像コンテンツを自動生成することができるシステムが提供される。
上記のように、予めシステム上に用意された素材データ、カード、テンプレートに対する簡単で直感的な編集操作のみを行えばよいので、ユーザは、専門知識や高度な技術は要求されることなく、自分の考えや好みに応じた編集を行い、一定の品質の映像コンテンツを制作することが可能となる。
【図面の簡単な説明】
【0018】
【
図1】本発明の第1実施形態にかかる映像コンテンツ自動生成システムについて、全体の概略構成を示す模式図である。
【
図2】本発明の第1実施形態にかかる映像コンテンツ自動生成システムにおいて、管理サーバが有する機能を概念的に示した図である。
【
図3】本発明の第2実施形態にかかる映像コンテンツ自動生成システムについて、全体の概略構成を示す模式図である。
【
図4】本発明の第2実施形態にかかる映像コンテンツ自動生成システムにおいて、管理サーバが有する機能を概念的に示した図である。
【
図5】本発明の映像コンテンツ自動生成システムにおけるカード編集操作、テンプレート編集操作の表示画面例を示す図である。
【
図6】本発明の映像コンテンツ自動生成システムにおけるカード編集操作、テンプレート編集操作の表示画面例を示す図である。
【
図7】本発明の映像コンテンツ自動生成システムにおけるカード編集操作、テンプレート編集操作の表示画面例を示す図である。
【
図8】本発明の映像コンテンツ自動生成システムにおけるカード編集操作、テンプレート編集操作の表示画面例を示す図である。
【発明を実施するための形態】
【0019】
以下、添付図面を参照しながら、本発明の映像コンテンツ自動生成システムを実施するための最良の形態を詳細に説明する。
図1〜
図8は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。
【0020】
[第1実施形態]
図1は、本発明の映像コンテンツ自動生成システムの第1実施形態について、システム全体の概略構成を示す模式図である。
図1において、本発明の映像コンテンツ自動生成システムは、管理サーバと、管理サーバに通信可能に接続された管理端末と、管理サーバとネットワークを通じて通信可能なユーザ端末とから構成される。図中、ユーザ端末の例として、スマートフォン端末、ノートPC端末、タブレットPC端末を示しているが、これらに限定されるものではない。また、ネットワーク通信は有線・無線を問わない。
【0021】
管理サーバは、本システムの機能を実現するための各種データ、プログラム、ハードウェア等を有しており、ユーザ端末に対して、映像コンテンツ自動生成サービスを提供する。
管理端末は、管理サーバ上の各種データ、プログラムなどを管理する機能を有する。
ユーザ端末は、管理サーバと通信を行い、映像コンテンツの素材データをアップロードしたり、映像コンテンツ生成のための編集作業の指示入力を行ったり、生成された映像コンテンツをダウンロードしたりすることができる。
【0022】
図2は、
図1に示す管理サーバが有する機能を概念的に示した図である。
図2において、管理サーバは、その記憶領域において、ユーザ情報、素材データ、カード情報、テンプレート情報、映像コンテンツを記憶している。
また、ユーザ情報登録手段、素材データ入力手段、カード編集手段、テンプレート編集手段、映像コンテンツ生成手段、通信を有している。これら各手段は、必要に応じてサーバのハードウェア資源を利用するアプリケーションソフトウェアとして管理サーバに実装される。
【0023】
ユーザ情報は、ユーザを識別するための情報であり、アカウント情報やユーザ端末の識別子として記憶される。尚、ユーザ情報は必ずしも保持していなくてもよい。
素材データは、映像、画像、音声、効果音、テキスト、音楽のデータであり、それぞれ独立した素材データとして記憶されている。映像は、比較的短尺(例えば5〜10秒)のものであり、画像、音声、効果音、テキストは映像の素材データに組み込まれることを前提とした態様・ボリュームとなっている。また、音楽は後述するテンプレートに組み込まれることを前提とした態様・ボリュームとなっている。
【0024】
カード情報は、映像の素材データと、画像、音声、効果音、テキストのうち少なくとも1つの素材データとの組み合わせの規定の情報である。例えば、10秒間の映像の中に画像、テキストがどのようなタイミング(出現時点や順序)でどのような表示位置・大きさで表れどのように動くか、また、音声、効果音がどのようなタイミングにどのような音量、音色で再生されるかということを規定するものである。当然、個々の映像の特性に合わせて、組み合わせによる視聴効果が最大限となるように規定されている。
【0025】
テンプレート情報は、複数のカードの組み合わせの規定の情報である。例えば、映像の再生時間が10秒であるカード、20秒であるカード、15秒であるカード、15秒であるカードを順に組み合わせて60秒の映像コンテンツのテンプレートを規定することができる。このテンプレートを構成する1つ目から4つ目のカードは、それぞれの映像の意味内容によって、組み合わされてストーリー性を有するものとなっている。例えば、起・承・転・結の4つのカードの順列によりテンプレートがストーリー性を有することとなる。
また、テンプレート情報は、各テンプレートに適用される音楽の素材データの情報を含んでいる。
【0026】
テンプレート編集手段は、記憶されているテンプレート情報から1つのテンプレートを選択して、そのテンプレートを構成するカードの選択(入れ替え)の編集操作をユーザに行わせる。また、上記のストーリー性を損なわない範囲において、テンプレート内のカードの並び替え、追加、削除などの編集操作を許可してもよい。また、当該テンプレートに適用される音楽の素材データの選択(入れ替え)の編集操作をユーザに行わせることもできる。
カード編集手段は、ユーザ端末との通信により、記憶されているカード情報から1つのカードを選択して、そのカードを構成する素材データの選択、並び替え、追加、削除などの編集操作をユーザに行わせる。
尚、素材データ入力手段により、ユーザ端末から画像、音声、効果音、テキスト、音楽などの素材データを取得し記憶しておき、カード編集に利用することもできる。
【0027】
映像コンテンツ生成手段は、テンプレート編集手段及びカード編集手段において編集されたカード及びテンプレートの情報に基づいて映像コンテンツを生成する。生成された映像コンテンツは管理サーバ内に記憶される。
このようにして生成された映像コンテンツは、ユーザ自身の選択によるテンプレートや素材データを組み込みつつ一定の品質を有するものである。
ユーザは、生成された映像コンテンツをユーザ端末にダウンロードして利用することができる。あるいは、任意の配信サーバに映像コンテンツを転送して、ネットワーク配信を行うこともできる。
【0028】
[第2実施形態]
図3は、本発明の映像コンテンツ自動生成システムの第2実施形態について、システム全体の概略構成を示す模式図である。
図3において、本発明の映像コンテンツ自動生成システムは、さらに、管理サーバと通信可能な配信サーバを有している。配信サーバは、有線・無線のネットワークを通じて一般ユーザ(上記の映像コンテンツを編集したユーザとは異なるユーザも含む)が有する各種通信端末と通信可能である。
このような構成により、ユーザが編集した映像コンテンツを管理サーバから配信サーバに転送し、配信サーバではこの映像コンテンツを広く一般ユーザに配信して視聴させることができる。
【0029】
図4は、
図3に示す管理サーバが有する機能を概念的に示した図である。
図4において、管理サーバは、映像コンテンツに対する評価情報を取得する評価情報取得手段を有し、その記憶領域において取得した評価情報を記憶している。管理サーバのその他の構成は、第1実施形態のものと同様である。
【0030】
評価情報取得手段は、配信サーバにおいて配信された映像コンテンツに対する評価情報を配信サーバから取得する。あるいは、管理サーバ自体が映像コンテンツの配信を行っている場合には、管理サーバ内部からも評価情報の取得が可能である。
映像コンテンツに対する評価情報とは、例えば、映像コンテンツの再生回数、再生時間、視聴者数、視聴者によるアクション(リンクのクリック等)回数などでもよいし、視聴者によるレイティングでもよいし、これら複数の評価基準を組み合わせた評価値としてもよい。
【0031】
このように、ユーザ編集により自動生成した映像コンテンツに対するフィードバックを得ることで、素材データ、カード、テンプレートの改良が可能である。例えば、素材データ、カード、テンプレートの特性(例えば、爽やかさ、躍動感、インパクト等)を数値化して定めておき、どのような特性を持つものが高い評価を得るかという分析を行うことができる。
また、管理サーバのテンプレート編集手段において、ユーザがテンプレートを構成するカードの編集操作をする際に、高評価を得ている映像コンテンツに含まれているカードを推薦する機能を備えたり、カード編集手段において、カードを構成する素材データの編集操作をする際に、高評価を得ている映像コンテンツに含まれている素材データを推薦する機能を備えたりすることで、生成される映像コンテンツのさらなる品質向上に資することができる。
さらには、映像コンテンツが商品やサービスに関するものであれば、どのような見せ方をすれば高い評価を得られるか、どの層のユーザに対し訴求力を持っているか(この場合、配信サーバにおいて視聴者のプロフィール情報を取得しておく)といったマーケンティングに役立てることも可能である。
【実施例1】
【0032】
本発明の映像コンテンツ自動生成システムの実施例をユーザの観点から具体的な表示画面例に基づき説明する。
図5〜
図8は、本発明の映像コンテンツ自動生成システムにおけるカード編集操作、テンプレート編集操作の表示画面例を示す図である。
【0033】
図5に示すように、ユーザはまず、予め用意されているテンプレートの中から使用するテンプレートを選択する。テンプレートは、タイプ、テイスト、ジャンルといった分類を手がかりに選択し、あるいはキーワードにより検索することもできる。
画面には選択したテンプレートのプレビューが表示される。
【0034】
図6に示すように、選択したテンプレートの編集画面においては、テンプレートを構成するカードのプレビューが順に表示される。この画面において、ユーザは、テンプレート内のカード選択(入れ替え)、並び替え、追加、削除等の編集操作を行う。
また、当該テンプレートに適用される音楽の素材データの選択(入れ替え)の編集操作を行うこともできる。
【0035】
図7に示すように、選択したテンプレートを構成する各カードの編集画面においては、カードが有する映像に組み込む画像(写真)、テキストの編集操作を行う。画像、テキストは、システムに予め用意されている素材データを用いてもよいし、ユーザ端末内のデータをアップロードし、あるいは任意のテキストをユーザ端末から入力してもよい。また、図示する例とは異なり、カードに予め標準の画像、テキストが組み込まれていてもよい。
【0036】
図8に示すように、選択したテンプレートを構成する各カードの編集画面においては、カードが有する映像に組み込む音声、効果音の編集操作を行う。音声、効果音は、システムに予め用意されている素材データを用いてもよいし、ユーザ端末内のデータをアップロードし、あるいは任意の音声・効果音をユーザ端末のマイク機能を用いて入力してもよい。また、図示する例とは異なり、カードに予め標準の音声、効果音が組み込まれていてもよい。
【0037】
以上、本発明の映像コンテンツ自動生成システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態における管理サーバ、配信サーバ、ユーザ端末、管理端末の構成及び機能に様々な変更・改良を加えることが可能である。
【産業上の利用可能性】
【0038】
本発明の映像コンテンツ自動生成システムは、
図1〜
図4に示すように、コンピュータのCPU、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたOS、アプリケーションソフトウェア、データベース、ネットワークシステム等によって実現されるものであり、ユーザ端末からの操作による映像コンテンツの自動生成という情報処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、産業上利用できる発明に該当するものである。
【要約】
【課題】予め用意されたコンテンツ素材とテンプレートを利用して映像コンテンツの編集を可能とする映像コンテンツ自動生成システムを提供する。
【解決手段】映像と他の素材データを記憶する手段、映像と他の素材データとの組み合わせをカードとして規定するカード情報を記憶する手段、複数のカードの組み合わせをテンプレートとして規定するテンプレート情報を記憶する手段、カード情報に基づき当該カードを構成する素材データの編集操作をユーザに行わせるカード編集手段、テンプレート情報に基づき当該テンプレートを構成するカードの編集操作をユーザに行わせるテンプレート編集手段、ユーザにより編集されたカード及びテンプレートに従い、映像コンテンツを生成する映像コンテンツ生成手段を有するサーバ上で、ユーザに素材データを編集させて映像コンテンツを自動生成するシステム。
【選択図】
図1