(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176567
(43)【公開日】2022-11-30
(54)【発明の名称】再生情報生成装置、動画編集装置および動画編集プログラム
(51)【国際特許分類】
H04N 5/91 20060101AFI20221122BHJP
H04N 5/76 20060101ALI20221122BHJP
H04N 5/92 20060101ALI20221122BHJP
H04N 21/854 20110101ALI20221122BHJP
G11B 27/02 20060101ALI20221122BHJP
【FI】
H04N5/91
H04N5/76
H04N5/92 010
H04N21/854
G11B27/02 Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021083071
(22)【出願日】2021-05-17
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】宮川 嘉明
(72)【発明者】
【氏名】岩出 充弘
(72)【発明者】
【氏名】栗山 孝司
(72)【発明者】
【氏名】目黒 明彦
(72)【発明者】
【氏名】春日井 宏和
【テーマコード(参考)】
5C053
5C164
5D110
【Fターム(参考)】
5C053FA14
5C053GB06
5C053HA29
5C053JA21
5C053LA01
5C053LA06
5C053LA11
5C164FA29
5C164MB12S
5C164MC01P
5C164SB31S
5D110AA29
5D110BB20
5D110CA16
5D110CA42
5D110CC04
5D110CD14
5D110CF40
(57)【要約】
【課題】動画を魅力的に自動編集すること
【解決手段】複数の画像素材に基づく動画または前記動画の再生に必要な情報を生成する再生情報生成装置は、再生する前記動画のテーマの情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する検索部を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
複数の画像素材に基づく動画の再生に必要な情報を生成する再生情報生成装置であって、
再生する前記動画のテーマの情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する検索部を備える再生情報生成装置。
【請求項2】
請求項1に記載の再生情報生成装置において、
前記テーマの情報を入力する第1入力部と、
前記第1入力部で入力された前記テーマに基づいて前記複数の画像素材の属性情報を第1の情報として設定する第1情報設定部と、
前記属性情報と前記テーマとに基づいて前記複数の画像素材の解析情報を第2の情報として設定する第2情報設定部とを備え、
前記検索部は、前記第1の情報および前記第2の情報を用いて、前記複数の画像素材から前記複数のカットを検索する再生情報生成装置。
【請求項3】
請求項2に記載の再生情報生成装置において、
前記検索部は、前記属性情報と前記解析情報とを時系列に示す付加情報が記録されている前記複数の画像素材から前記複数のカットを検索する再生情報生成装置。
【請求項4】
請求項3に記載の再生情報生成装置において、
前記複数の画像素材に前記付加情報を付与する付加情報付与部をさらに備える再生情報生成装置。
【請求項5】
請求項2から4のいずれか一項に記載の再生情報生成装置において、
前記テーマの主役および前記主役の関係者の情報が入力される第2入力部を備え、
前記検索部は、前記第1の情報および前記第2の情報を用いて、前記主役および/または前記関係者が写る第1のカット、または、前記主役および/または前記関係者の滞在場所が写る第2のカットを含む前記複数のカットを、前記複数の画像素材から検索する再生情報生成装置。
【請求項6】
請求項5に記載の再生情報生成装置において、
前記第1の情報は、前記複数の画像素材の撮影者を示す情報を含み、
前記検索部は、前記撮影者が前記主役または前記関係者である前記複数の画像素材から、前記第1のカットまたは前記第2のカットを検索する再生情報生成装置。
【請求項7】
請求項6に記載の再生情報生成装置において、
前記検索部は、前記撮影者のスケジュールが前記主役または前記関係者のスケジュールと一致する前記複数の画像素材から、前記第1のカットまたは前記第2のカットを検索する再生情報生成装置。
【請求項8】
請求項1から7のいずれか一項に記載の再生情報生成装置において、
前記テーマは催事であり、
前記検索部は、前記催事の開催後に、前記催事を撮影した画像素材から前記動画に追加するカットをさらに検索する再生情報生成装置。
【請求項9】
請求項1から8のいずれか一項に記載の再生情報生成装置において、
あらかじめ用意され、前記テーマに対応付けられたひな形情報に基づいて、前記動画に使用する前記複数のカットの再生順序を決定する決定部をさらに備える再生情報生成装置。
【請求項10】
複数の画像素材に基づく動画または前記動画の再生に必要な情報を編集する動画編集装置であって、
再生する動画のテーマの情報が入力される入力部と、
前記テーマに対応する第1の情報を設定する第1情報設定部と、
前記第1の情報と前記テーマとに対応する第2の情報を設定する第2情報設定部と、
前記第1の情報および前記第2の情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する検索部と、
前記検索部で検索された前記複数のカットを用いて前記動画または前記情報を編集する編集部と、を備える動画編集装置。
【請求項11】
複数の画像素材に基づく動画または前記動画の再生に必要な情報を編集するためのプログラムであって、
再生する動画のテーマの情報を入力する処理と、
前記テーマに対応する第1の情報を設定する処理と、
前記第1の情報と前記テーマとに対応する第2の情報を設定する処理と、
前記第1の情報および前記第2の情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する処理と、
前記検索した前記複数のカットを用いて前記動画または前記情報を編集する処理と、
をコンピュータに実行させる動画編集プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、再生情報生成装置、動画編集装置および動画編集プログラムに関する。
【背景技術】
【0002】
アップロードされた複数の動画ファイルから、新たな動画ファイルを生成し、同種の動画内容を連続して視聴可能にする技術が知られている(特許文献1参照)。
従来技術は、既存の動画を続けて再生するものであり、鑑賞する人にとって必ずしも魅力的なものとは言い難かった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第WO2019/130585号
【発明の概要】
【0004】
本発明の第1の態様による再生情報生成装置は、複数の画像素材に基づく動画の再生に必要な情報を生成する再生情報生成装置であって、再生する前記動画のテーマの情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する検索部を備える。
本発明の第2の態様による動画編集装置は、複数の画像素材に基づく動画または前記動画の再生に必要な情報を編集する動画編集装置であって、再生する動画のテーマの情報が入力される入力部と、前記テーマに対応する第1の情報を設定する第1情報設定部と、前記第1の情報と前記テーマとに対応する第2の情報を設定する第2情報設定部と、前記第1の情報および前記第2の情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する検索部と、前記検索部で検索された前記複数のカットを用いて前記動画または前記情報を編集する編集部と、を備える。
本発明の第3の態様による動画編集プログラムは、複数の画像素材に基づく動画または前記動画の再生に必要な情報を編集するためのプログラムであって、再生する動画のテーマの情報を入力する処理と、前記テーマに対応する第1の情報を設定する処理と、前記第1の情報と前記テーマとに対応する第2の情報を設定する処理と、前記第1の情報および前記第2の情報を用いて、前記複数の画像素材から前記動画に使用する複数のカットを検索する処理と、前記検索した前記複数のカットを用いて前記動画または前記情報を編集する処理と、をコンピュータに実行させる。
【図面の簡単な説明】
【0005】
【
図1】発明の実施の形態による動画編集システムを例示する模式図である。
【
図2】
図2(a)は、端末等の一例としてのスマートフォンの要部構成を例示する図、
図2(b)は、動画編集装置の要部構成を例示する図である。
【
図3】カットの抽出およびプレイリストの生成例を説明する図である。
【
図4】カットの抽出およびプレイリストの生成例を説明する図である。
【
図5】カットの抽出およびプレイリストの生成例を説明する図である。
【
図6】ユーザ側のスマートフォンで行われる処理の流れを示すフローチャートである。
【
図7】クラウド側の動画編集装置で行われる処理の流れを示すフローチャートである。
【
図8】
図8(a)は、動画像の再生準備の終了を知らせる告知画面を例示する図である。
図8(b)は、動画像再生画面を例示する図である。
【
図9】ユーザ側のスマートフォンで行われる処理の流れを示すフローチャートである。
【
図10】クラウド側の動画編集装置で行われる処理の流れを示すフローチャートである。
【
図11】
図11(a)は、自動編集設定画面を例示する図である。
図11(b)は、動画像の再生準備の終了を知らせる告知画面を例示する図である。
【発明を実施するための形態】
【0006】
以下、図面を参照して発明の実施の形態について説明する。
<システムの概要>
図1は、発明の一実施の形態による動画編集装置50Aおよび端末等で構成される動画編集システム1を例示する模式図である。動画編集装置50Aは、例えばクラウド50と称されるサーバ等によって構成される。動画編集装置50Aを構成するサーバの数は、図示した1台に限ることなく数を増やしてもかまわない。
動画編集装置50Aは、ユーザが使用する端末等と有線または無線のネットワーク通信網を介して接続される。
図1は無線接続の場合を例示している。端末等とは、例えばスマートフォン200、オーバーヘッドディスプレイ100、プロジェクタ300、不図示のディスプレイ等であって、ユーザの動画鑑賞を可能にする機器である。
【0007】
なお、動画編集装置50Aおよび端末間を、ネットワーク通信網を介して接続するのは一例であって、例えばインターネットに接続しないローカルネットワークでの接続として構成してもよい。
【0008】
動画編集装置50Aは、例えば、あらかじめ登録されているユーザの端末等からの要求に基づき、動画編集装置50Aに格納されている画像素材、および動画編集装置50Aとネットワーク通信網等を介して接続されている他の不図示のサーバ等に格納されている画像素材、の中から抽出した画像素材(カットと呼ぶ)を用いて音声つき動画像を生成する。画像素材には、動画像および静止画像を含む。また、画像素材は、複数人が所有していてもよい。換言すると、所有者(著作権者等)が異なる画像素材が複数存在し、これらの画像素材が動画編集装置50Aまたは他のサーバ等に格納されていてもよい。他のサーバ等とは、サーバ、コンピュータまたはデータストレージ装置などを総称したものである。
なお、音声を省略した動画像を生成してもよい。
【0009】
ユーザは、動画編集装置50Aで生成された動画像を、端末等を用いて鑑賞する。例えば、動画編集装置50Aが動画像を再生し、ユーザが使用するスマートフォン200、オーバーヘッドディスプレイ100、プロジェクタ300等へ配信する。
【0010】
ユーザが端末等で動画を鑑賞する際の動画データを再生する技術として、ストリーミング再生とダウンロード再生とが知られている。
ストリーミング再生の場合、動画編集装置50Aで再生される動画像のデータを、ユーザの端末等が断片的にキャッシュと呼ばれる一時ファイルの形で取得する。取得されるキャッシュはユーザの端末等のメモリに一時的に保存されるデータであり、ユーザの端末等で動画の再生が終了すると適宜削除されて、再生後にユーザの端末等に動画データとして残らない。
一方、ダウンロード再生の場合、動画編集装置50Aから提供される動画像のデータのファイルを、ユーザの端末等が取得して端末等内のメモリに保存する。ユーザの端末等は、メモリに保存したファイルからデータを適時読み出して動画を表示するため、再生終了後も端末内のメモリに動画データとしてのファイルが残る。
本実施の形態では、上述したどちらの再生方式にも対応する。
【0011】
なお、動画編集装置50Aおよび他のサーバ等に格納されている画像素材から抽出したカットについて、そのカットを使用した動画の生成、生成した動画の再生および配信等に関する使用許諾等の権利関係は、著作権者等とユーザとの間で別途調整されるものとする。また、再生時のBGM(Back ground music)に用いる楽曲等の利用に関する権利関係についても著作権者等とユーザとの間で別途調整されるものとする。
【0012】
図2(b)は、動画編集装置50Aの要部構成を例示する図であり、
図2(a)は、端末等の一例としてのスマートフォン200の要部構成を例示する図である。
<スマートフォンの概要>
スマートフォン200は、表示・入力部210と、制御部220と、データ保持部230と、通信部240と、スピーカ250と、撮影部260とを含む。制御部220には、スケジュール情報管理部221と、交友関係情報管理部222と、メタデータ付与部223とが含まれている。
【0013】
表示・入力部210は、画像およびアイコン等を表示するディスプレイ機能と、表示面に対するユーザによるタッチ操作を受け付ける操作部機能とを兼ね備えたタッチパネルディスプレイによって構成される。
表示・入力部210は、アプリ(application program)またはデータ等に対応付けられたアイコン、ユーザの予定表情報(スケジュール情報)、ユーザの交友関係情報、および画像等(静止画および動画)の表示を行うとともに、スマートフォン200に対するユーザからの操作を受け付ける。
【0014】
制御部220は、CPU、ROM、RAM等により構成され、制御プログラムに基づいてスマートフォン200の動作を制御する。制御部220は、タッチ操作されたアイコン等に対応づけられているアプリを実行する。また、タッチ操作されたアイコン等に動画像のコンテンツが対応づけられていた場合には、そのコンテンツを再生するためのアプリを起動するなどして、スマートフォン200を動画再生装置として機能させる。
【0015】
データ保持部230は、不揮発性メモリ等で構成される。データ保持部230には、例えば、ユーザの予定表情報、ユーザの交友関係情報、撮影部260で撮影された画像素材、および電話帳等の連絡先情報としてのデータが記録される。記録されたデータは、必要に応じて更新される。また、データ保持部230は、上記ダウンロード再生時に動画編集装置50Aから提供される動画像のデータのファイルを保存することもできる。データ保持部230に対するデータの記録(保存)および読み出しは、制御部220によって制御が行われる。
【0016】
通信部240は、スマートフォン200を携帯電話として機能させる音声通信と、他のサーバ等との間で行う情報の送信および情報の入力を行うためのデータ通信とを行う。また、通信部240は、外部スピーカまたはヘッドフォン等の近距離無線通信機器を用いる場合には、これらの機器とも無線通信を行う。
【0017】
スピーカ250は、例えば動画像に関連つけられた音声データに基づく音声を再生する。なお、音声データに基づく音声再生は、スピーカ250で再生させる代わりに、無線通信機能を備えた不図示の外部スピーカまたはヘッドフォン等から再生させることも可能である。外部スピーカまたはヘッドフォンを用いる場合、例えば、通信部240を介して外部スピーカまたはヘッドフォンへ向けて音声データを無線送信する。
【0018】
撮影部260は、撮影レンズと撮像センサとを有し、1つまたは複数の画像を取得する。撮影部260は、動画像を取得することも、静止画像を取得することも可能である。撮影部260で取得した画像素材は、データ保持部230に格納される。
なお、データ保持部230に格納された画像素材は、通信部240を介して動画編集装置50Aにアップロードし、動画編集装置50Aのストレージ部520に保存させることが可能である。
【0019】
<動画編集装置の概要>
動画編集装置50Aは、制御部510と、ストレージ部520と、通信部530とを含む。制御部510には、ひな形選択部511、検索情報設定部512、検索部513、抽出部514、フレーミング決定部515、プレイリスト生成部516、およびメタデータ付与部517が含まれている。
【0020】
制御部510は、CPU、ROM、RAM等により構成され、制御プログラムに基づいて動画編集装置50Aの各部の動作を制御する。
ストレージ部520には、例えば、ユーザの登録情報、ユーザまたは第三者からアップロードされた画像素材、後述するひな形、制御部510が生成した動画像のデータ、および後述するプレイリスト等が記録される。通信部530は、ユーザの端末等、および、他のサーバ等との間で行う情報の送信および情報の入力を行うためのデータ通信を行う。
【0021】
以下、一例としてユーザの端末からの要求により動画編集装置50Aが動画像を編集する操作処理について、詳細に説明する。
ユーザの端末等から要求を受けて生成される動画像は、既存の動画素材および静止画素材を用いて元の画像素材よりも短い時間で再生するように編集を行ったダイジェスト動画でも、元の画像素材と同等もしくは長い再生時間で再生するように編集した動画でもよい。実施の形態では、ダイジェスト動画を生成する例を説明する。
ユーザは、端末等から動画編集装置50Aへ生成すべき動画像のテーマを伝えて端末等から動画生成を依頼する。テーマは、例えば「結婚式」、「○○旅行」、「△△会」、「葬儀」等のイベントの名称とする。
【0022】
<ひな形>
ストレージ部520には、あらかじめ想定されるテーマごとに動画像の概略シナリオを示す複数の汎用のひな形が記録されている。ユーザの端末等から送信されたテーマおよび動画生成依頼が通信部530で受信されると、ひな形選択部511は、複数の汎用のひな形の中から、受信したテーマに紐付けられているひな形を選択する。ひな形には、動画像を再生表示する場合の総再生時間があらかじめ設定されている。総再生時間は、動画像の先頭フレームから末尾フレームまでの再生時間である。総再生時間は、ユーザの端末等から送信される変更要求によって増減することができる。これにより、出来上がる動画像の再生時間を長めにしたり、短めにしたりすることができる。
【0023】
ひな形についてさらに説明する。動画像のテーマが「結婚式」で、結婚式の当日に披露宴会場で上映する予定の動画像に対応するひな形には、披露宴の出席者に対して新郎と新婦の生い立ち等を紹介するシナリオが示されている。また、動画像のテーマが「結婚式」で、披露宴の出席者に対して後日配信する予定の動画像に対応するひな形には、結婚式当日に撮影された会場の風景、新郎新婦、および出席者等が写る場面等を振り返るシナリオが示されている。
【0024】
さらに、動画像のテーマが「○○旅行」の動画像に対応するひな形には、旅行の目的、訪れた場所の紹介、旅行中に撮影された同行者および風景が写る場面等を含めたシナリオが示されている。
動画像のテーマが「△△会」の動画像に対応するひな形には、会合の目的、開催場所の紹介、会合の中で撮影された参加者および風景が写る場面等を含めたシナリオが示されている。
動画像のテーマが「葬儀」の動画像に対応するひな形には、故人の生前のエピソード、故人が好んだ風景が写る場面等を紹介して故人を偲ぶシナリオが示されている。
【0025】
ひな形は、人の平均的な人生における各種イベントを想定した汎用のひな形を、動画生成を依頼したユーザの生活スタイルに合わせて制御部510が調整するものとする。例えば、上記汎用のひな形と、動画生成を依頼したユーザのスマートフォン200等において予定表情報として記録されているユーザのイベントスケジュールとのマッチング度合いに基づき、制御部510が、汎用のひな形をユーザのイベントスケジュールに合わせて調整する。
【0026】
制御部510は、動画生成を依頼したユーザのイベントスケジュールに記載されているイベントのうちの特定のイベントが現れる比率(イベント比率と呼ぶ)が汎用のひな形に現れるイベント比率と一致または類似する場合に、汎用のひな形をそのまま採用する。また、制御部510は、動画生成を依頼したユーザのイベントスケジュールのイベントのうちの特定のイベント比率が汎用のひな形に現れるイベント比率よりも少ない場合に、ユーザの過去のイベントスケジュールの情報に基づいて、ユーザが参加しないカテゴリのイベントを汎用のひな形から減らしたものを調整後のひな形とする。例えば、ユーザがゴルフ競技会に全く参加していない場合、ひな形からゴルフに関するシーンを除外する。
反対に、動画生成を依頼したユーザのイベントスケジュールのイベント比率が汎用のひな形に現れるイベント比率よりも多い場合は、制御部510は、ユーザの過去のイベントスケジュールの情報に基づいて、ユーザが参加することが多いカテゴリのイベント比率を汎用のひな形より高めたものを調整後のひな形とする。例えば、ユーザがゴルフ競技会に頻繁に参加している場合、ひな形にゴルフに関するシーンを多く含める。
なお、ユーザのイベントスケジュールには、ユーザの成長、加齢に伴って日々の生活の中で各種イベントが追加されたり、削除されたりするので、イベントスケジュールはユーザの生活スタイルを反映していると考えられる。
【0027】
制御部510は、上記のように汎用のひな形から特定のイベントを削除したり(ひな形に記載のイベントが少なくなる)、汎用のひな形に記載のイベントのうちの特定のイベントのイベント比率を高めたりしてひな形を調整する規則を、動画生成を依頼したユーザのイベントスケジュールと汎用のひな形との一致度または類似度に基づいてユーザごとに定めるとともに、動画生成を依頼したユーザの成長等に伴ってマッチング度合いが変化する場合には、上記規則を適宜見直すものとする。
【0028】
<画像素材>
検索部513は、動画像の生成に用いるための画像素材を探す。本実施の形態では、動画生成を依頼したユーザの生活スタイルに合わせて、上述したように調整されたひな形に基づいて、検索部513が後述する検索範囲の中で画像素材を検索する。検索対象となる画像素材は、ひな形に記載されているイベントに関連する画像素材である。本実施形態では、ひな形に記載されているイベントが少なければ検索対象は少なくなり、ひな形に記載されているイベントが多ければ検索対象が増える。そのため、動画生成を依頼したユーザの生活スタイルに合わせてひな形を調整することは、動画像を生成するために検索する画像素材の取捨選択にもつながる。
【0029】
<検索範囲>
検索情報設定部512は、動画生成を依頼したユーザから伝えられた動画像のテーマ、および動画生成を依頼したユーザの交友関係に基づいて、画像素材を検索する検索範囲を決定する。ユーザの交友関係情報は、例えば、動画生成を依頼したユーザのスマートフォン200等において連絡先情報として記録されているデータ、スマートフォン200等の通話記録、メール記録およびSNS(Social Networking Service)利用記録等である。検索情報設定部512は、これらの交友関係情報を用いてユーザの家族、友人および知人を把握する。
【0030】
例えば、テーマ「結婚式」として生成された動画像を鑑賞するのは、結婚式披露宴の出席者であり、主として動画生成を依頼したユーザの家族を含む親族および友人であることが多い。一般に、動画像を鑑賞する場合、鑑賞者が知らない人物が登場する動画像よりも、鑑賞者がよく知る人物が登場する動画像に鑑賞者の興味および関心が高まる。そのため、検索情報設定部512は、テーマ「結婚式」の場合の検索範囲を、ストレージ部520に格納されている画像素材、および動画編集装置50Aとネットワーク通信網等を介して接続されている他の不図示のサーバ等(以降、ストレージ部520等と称する)に格納されている画像素材の中のうち、結婚式の主役(新郎および新婦)の親族および友人が撮影した画像素材と、親族および友人が写っている画像素材とする。このように動画像のテーマおよび交友関係に基づいて検索範囲を定めると、鑑賞者の興味を引き、鑑賞者の関心を高めるような画像素材を集めやすくなる。
【0031】
また、例えばテーマ「〇〇旅行」として生成された動画像を鑑賞するのは、主として動画生成を依頼したユーザおよび旅行の同行者であることが多い。そのため、検索情報設定部512は、テーマ「〇〇旅行」の場合の検索範囲を、ストレージ部520等に格納されている画像素材の中のうち、旅行の主役(代表者またはグループリーダ等)および同行者が撮影した画像素材、とりわけ、同行者のうち主役との交流頻度があらかじめ定めた基準よりも高い人物が写っている画像素材とする。交流頻度が基準よりも高いか否かは、例えば上記通話記録の数、メール記録の数、およびSNS利用記録等に基づいて判断する。このように動画像のテーマおよび交友関係に基づいて検索範囲を定めると、鑑賞者の興味を引き、鑑賞者の関心を高めるような画像素材を集めやすくなる。
【0032】
さらにまた、例えばテーマ「△△会」として生成された動画像を鑑賞するのは、主として動画生成を依頼したユーザおよび会の参加者であることが多い。そのため、検索情報設定部512は、テーマ「△△会」の場合の検索範囲を、ストレージ部520等に格納されている画像素材の中のうち、会の主役(主催者)および参加者が撮影した画像素材、とりわけ、参加者のうち主役との交流頻度があらかじめ定めた基準よりも高い人物が写っている画像素材とする。交流頻度の判断は、上述したテーマ「〇〇旅行」の場合と同様である。このように動画像のテーマおよび交友関係に基づいて検索範囲を定めると、鑑賞者の興味を引き、鑑賞者の関心を高めるような画像素材を集めやすくなる。
【0033】
<交友関係情報>
検索情報設定部512は、動画生成を依頼したユーザのスマートフォン200等において記録されている交友関係情報に基づいて把握される、上記ユーザと交友関係がある人物の中で、上記ユーザと同じイベント(「結婚式」、「〇〇旅行」、「△△会」等)を自身のスマートフォン等のイベントスケジュールに記録している人物を、イベントの参加者として把握する。イベントが「結婚式」の場合、イベントの参加者=結婚式の出席者に相当する。イベントが「〇〇旅行」の場合、イベントの参加者=〇〇旅行の同行者に相当する。イベントが「△△会」の場合、イベントの参加者=△△会の出席者に相当する。
【0034】
<メタデータ>
検索部513は、検索情報設定部512で設定された検索範囲で、検索情報設定部512で把握された人物、例えば家族、友人、知人が写っている画像素材を、メタデータに基づいて探す。メタデータは、画像素材に対してそれぞれ付与される画像情報であり、画像素材のデータファイル内または付属ファイルに記録される。
メタデータは公知であるため、メタデータそのものの詳細な説明は省略するが、その画像素材に何(誰)が写っているか、いつどこで何のイベントが誰によって撮影されたか、等の情報をメタデータに含めることができる。実施の形態では、画像素材が動画像である場合には、動画像のフレームに対応させて時系列に情報を記録する。そのため、フレームごとに何(誰)が写っているかを、画像素材を再生して解析する代わりにメタデータを解析することによって知ることができる。このようなメタデータを用いることで、検索部513は、動画生成を依頼したユーザの家族、友人、知人が撮影した画像素材、またはユーザの家族、友人、知人が写っている画像素材を、メタデータを用いない場合と比べて効率よく探すことができる。
【0035】
メタデータに含める情報を例示すると、撮影情報、映像解析情報、および撮影者関連情報等が挙げられる。
撮影情報は、画像素材の撮影時の情報であり、撮影日時、絞り、シャッター速度、ISO(International Organization for Standardization)感度等の情報、WB(ホワイトバランス)調整に関する情報、VR(Vibration reduction)補正に関する情報、ジンバル情報(揺れ低減処理に関する情報)、およびズームレンズ補正に関する情報等のEXIF(Exchangeable image file format)記録内容を含む。
また、撮影情報には、GPS(Global Positioning System)による位置情報、および環境情報(例:気温)等の撮影時情報を含むものとする。
上記撮影情報を、画像素材の属性情報と呼んでもよい。
映像解析情報は、被写体検出情報、顔検出情報、物体認識情報、個別被写体認識情報、主要被写体の動き、主要被写体の距離、主要被写体の大きさ、注目被写体、動画像のハイライトシーン、動画像のフレーミング領域、および被写体興味等の情報を含む。そのため、画像のデータを読み出さなくてもメタデータを読み出すだけで画像素材に写る被写体等の情報がわかる。
上記映像解析情報を、画像素材の解析情報(または画像解析情報)と呼んでもよい。
撮影者関連情報は、撮影者等が画像素材から認識されるための基本情報、著作権情報、および画像素材の公開範囲情報等を含む。撮影者関連情報は、上記画像素材の属性情報に含めてもよい。
実施の形態では、画像素材の撮影がスマートフォン200で行われた場合には、メタデータ付与部223によって画像素材にメタデータが付与される。メタデータとして撮影情報、映像解析情報、および撮影者関連情の全てを撮影時に付与しなくてもよく、例えば映像解析情報については、充電時または電話機能の待ち受け時等において、撮影した映像を後から解析して追加してもよい。
動画編集装置50Aにアップロードされた画像素材にメタデータが付与されていない場合、またはメタデータの一部の情報が不足している場合には、メタデータ付与部517が画像の解析を行い、その画像素材に何(誰)が写っているか、いつどこで何のイベントが誰によって撮影されたか、等の情報をメタデータとして画像素材に付与または追加することができる。
【0036】
<カット>
抽出部514は、上述したように調整されたひな形に沿ってカットを抽出する。例えば、検索部513で検索された画像素材からひな形にマッチングするカットを含む画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。抽出部514は、採用候補の画像素材からカットを抽出する場合において、ユーザの交友関係を示す情報を用いる。
動画生成する動画の総再生時間に余裕がある場合は、採用候補の画像素材から広くカットを抽出することができるが、動画生成する動画の総再生時間に余裕がない場合には、採用候補の画像素材の全てからカットが抽出することが困難である。そのため、抽出部514は、動画生成を依頼したユーザとの交流頻度の情報を用いて画像素材からのカットの抽出率を調整する。
例えば友人、知人が写る画像素材の場合、動画生成を依頼したユーザとの交流頻度があらかじめ定めた基準よりも高い人物が写る画像素材の採用率を高めたり、採用した画像素材からのカットの抽出率を高めたりする。
反対に、動画生成を依頼したユーザとの交流頻度が上記基準よりも低い人物は、交流頻度が高い人物に比べて画像素材の採用率を低くしたり、採用した画像素材からのカットの抽出率を低くしたりする。
動画生成を依頼したユーザの交友関係に基づいてカットを抽出することは、ユーザとの交流頻度が高い人からの、動画像に対する興味と関心を高めることにつながる。
【0037】
<フレーミング等>
フレーミング決定部515は、抽出部514で抽出されたカットの表示順、表示速度(あるいは表示時間)、および再生表示時のフレーミング等を決定する。フレーミングは、例えば電子ズーム設定であり、抽出されたカットのどの領域を何倍のズーム倍率で表示するかを示す。フレーミング決定部515は、カットの表示順、表示速度(または1コマ当たりの表示時間)、および再生表示時のフレーミング等を決定する場合において、ユーザの交友関係を示す情報を用いる。
例えば友人、知人が写る画像素材の場合、動画生成を依頼したユーザとの交流頻度があらかじめ定めた基準よりも高い人物が写るカットを優先的に表示したり、他の人物よりも長い時間表示したり、画面の中で上記人物が占める割合を高めるように電子ズームアップして表示するようにフレーミング処理を行ったりする。
反対に、動画生成を依頼したユーザとの交流頻度が上記基準よりも低い人物は、交流頻度が高い人物に比べて抽出したカットを表示する優先順位を下げたり、他の人物よりも表示時間を短くしたり、友人、知人の顔を電子ズームアップするフレーミング処理を省いたりする。
【0038】
<楽曲素材>
検索部513はさらに、上述したように調整されたひな形に記述されている、BGMに用いる楽曲および効果音等を検索する。ひな形には、イベントごとにあらかじめ定めた楽曲等が記述されている。ひな形に登場するイベントが少なければ楽曲は少なくなり、ひな形に登場するイベントが多ければ楽曲が増える。また、ひな形に定められた楽曲にかかわらず、ユーザから指定された楽曲を探すことも可能である。
なお、楽曲および効果音等の検索範囲は、画像素材を検索する検索範囲を超えて検索してよい。換言すると、画像素材の検索範囲に限らず、広く楽曲等を検索してよいものとする。
【0039】
<プレイリスト>
動画編集装置50Aは、通常、画像素材から抽出した複数のカットを編集して動画像を生成する。実施の形態では、動画像を生成する代わりに、または動画像の生成とともに、動画像再生用のプレイリストを作成することができる。プレイリストとは、動画像として再生表示する際の必要事項、すなわち抽出部514で抽出され、フレーミング決定部515で決定されたカットの表示順、表示速度、フレーミング、BGM、カットおよびBGMのデータの在処等を記述したリストである。プレイリストが存在すれば、プレイリストに基づいて動画像を再生することができる。換言すると、生成した動画像のデータそのものが存在しなくても、動画像を再生表示することができる。データの在処とは、データが格納されているURL(Uniform Resource Locator)等である。
実施の形態では、プレイリスト生成部516が、選択されているひな形に沿って、抽出部514で抽出されフレーミング決定部515でフレーミング処理等されたカットおよびBGMを順番に再生するためのプレイリストを生成する。
【0040】
(1)テーマ「結婚式」の例
カットの抽出およびプレイリストの生成例を説明する
図3~
図5を参照して、動画像のテーマが「結婚式」である場合のプレイリストの生成例((例1-1)~(例1-5))を説明する。
(例1-1)では、ユーザXの結婚披露宴で上映する動画像のプレイリストを生成する。
(例1-2)では、(例1)の動画像に画像素材を追加してプレイリストを生成する。
(例1-3)では、ユーザXの子Sの結婚披露宴で上映する動画像のプレイリストを生成する。
(例1-4)では、(例1-3)の動画像に画像素材を追加してプレイリストを生成する。
(例1-5)では、ユーザXの葬儀で上映する動画像のプレイリストを生成する。
【0041】
<プレイリストの生成例>
(例1-1)ユーザXの結婚披露宴で上映する動画像
図3を参照して、プレイリストの生成を行う手順の一例を説明する。例1-1では、ユーザXからの依頼により、プレイリスト生成部516がユーザXの結婚式の披露宴で上映する動画像のプレイリスト660Aを生成する。ユーザXは新郎であり、新婦Yと結婚するものとする。披露宴で上映する動画像は、ユーザXの生い立ち等を披露宴の出席者に紹介し、新婦Yの生い立ち等を披露宴の出席者に紹介する。これらの動画像には、それぞれ二人の馴れ初め等も含めてよい。以下には、ユーザXの生い立ち等を紹介する動画像のプレイリストを作成する手順を例に説明し、新婦Yの生い立ち等を紹介する動画像プレイリストの作成手順については、ユーザXの場合と同様であるので説明を省略する。
【0042】
図3において、水平方向の2本の直線21および直線22は時間軸を表す。直線21は、ユーザXの親Pについての時間軸であってユーザXの誕生からユーザXの結婚式までを含む。ユーザXの結婚式より後は、
図4の直線21へとつづく。
図3の直線22は、ユーザXについての時間軸であってユーザXの誕生からユーザXの結婚までを含む。ユーザXの結婚より後は、
図4の直線22へとつづく。
【0043】
画像素材601は、ユーザXの誕生時、入学式、少年期、および成人式等においてユーザXの親Pによって撮りためられた画像素材である。画像素材602は、ユーザXの結婚式においてユーザXの親Pによって撮りためられた画像素材である。画像素材601および602は、説明をわかりやすくするために、撮影された年代別に直線21に沿って並べている。
【0044】
画像素材603は、ユーザXの青年期、成人式およびその後においてユーザX自身によって撮りためられた画像素材である。画像素材604は、ユーザXの結婚式当日および準備期間にユーザXによって撮りためられた画像素材である。ユーザXの誕生時から入学までにX自身によって撮りためられた画像素材が画像素材603に含まれていないのは、幼少期をX自身で撮影することができていないからである。画像素材603および604は、説明をわかりやすくするために、撮影された年代別に直線22に沿って並べている。
【0045】
<検索範囲を決める>
ユーザXからの要求に基づき、「結婚式」をテーマにユーザXの生い立ち等を紹介する動画像作成依頼を受けた動画編集装置50Aは、ユーザXのスマートフォン200等に記録されている情報等に基づいてユーザXの家族である親を特定する。検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、ユーザXの親Pによってアップロードされている画像素材601を検索範囲とする。
検索情報設定部512はさらに、動画編集装置50A等に格納されている画像素材の中で、ユーザXによってアップロードされている画像素材603を検索範囲とする。つまり、本実施の形態では画像素材601および603が検索範囲である。
また、動画編集装置50Aは、ユーザXのスマートフォン200等に記録されている情報等に基づいてユーザXの親戚等の親族を特定してもよい。検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、特定した親族によってアップロードされている画像素材を検索範囲に含めてもよい。
【0046】
検索部513は、動画生成を依頼したユーザXのスマートフォン200等に記録されている情報等に基づいて取得したユーザXの交友関係を示す情報を用いて、以下のように画像素材を探す。
【0047】
<イベントに関連する画像素材を探す>
テーマ「結婚式」に紐付けられたひな形は、シナリオの中に新郎新婦の生い立ち等を紹介する場面を含む。検索部513は、検索範囲である画像素材601および603の画像を解析しながら、上記ひな形に記載された事項に基づいて、ひな形に記載されたイベントに関連する動画素材および静止画素材を検索する。画像の解析は、画像素材に付与されているメタデータを参照して行う。画像素材にメタデータが付与されていない場合、またはメタデータの一部の情報が不足している場合、検索部513は、メタデータ付与部517によって画像を解析させながら、解析結果に基づいてひな形に記載されたイベントに関連する動画素材および静止画素材を探す。
メタデータ付与部517で解析された結果は、画像素材に対してそれぞれ付与されるメタデータとして記録(付与または追加)しておく。
【0048】
<ユーザが写る画像素材を探す>
検索部513はさらに、検索範囲である画像素材601および603のメタデータを参照しながら、ユーザXが写っている画像素材を検索する。
抽出部514は、検索部513で検索された画像素材からユーザXのスマートフォン200等のイベントスケジュールに入力されているイベントの重要度に基づき、重要度が高いイベントに関連する画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0049】
図3において、画像素材601および603のうちで抽出部514が採用した画像素材を、グループ650としてまとめて図示している。グループ650は、説明をわかりやすくするために画像素材をまとめたもので、メモリ等の同じ領域に集めて格納する必要はなく、グループ650に含まれるべき画像素材が関連づけされていればよい。
【0050】
<カットを抽出する>
抽出部514は、グループ650の画像素材の中から、ひな形に記載される事項にマッチングするカットを抽出する。例えば、ユーザXの幼稚園時代のカット、小学生時代のカット、その他のカット等がひな形に記載されている場合、これらのカットを抽出する。抽出部514は、抽出するカットにユーザXと交友関係を有する人物とが一緒に写るカットを含める。
【0051】
抽出部514は、上記通話記録の数、メール記録の数、およびSNS利用記録等によって判断される交流頻度に基づき、グループ650の画像素材から交流頻度が高い人物が写るカットを優先的に抽出する。
また、抽出したカットの合計時間が、例えばひな形で定められている総再生時間を超えないようにカットを抽出する。
【0052】
<楽曲等を探す>
また、検索部513は、動画編集装置50A等から、ひな形に記載される楽曲等のデータを検索する。
【0053】
<プレイリストを生成する>
フレーミング決定部515は、グループ650に含まれる画像素材から抽出したカットの表示順、表示速度、および再生表示時のフレーミング等を、ひな形に記載された表示順、表示速度、およびフレーミングで表示するように、ひな形に記載された事項に基づいて決定するとともに、ひな形に記載された事項に基づいてBGMに用いる楽曲および効果音等の再生順、再生速度、および再生時の音量等を決定する。
さらに、フレーミング決定部515は、上記カットの表示順、表示速度等を決定する場合において、交流頻度が高い人物が写るカットを交流頻度が低い人物が写るカットに比べて優先させてもよい。
【0054】
プレイリスト生成部516は、決定したカットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリスト650Aを生成する。プレイリスト650Aは、上記グループ650を構成する画像素材と関連付けて、動画編集装置50Aの所定領域に一時保存される。グループ650は、グループ650を構成する画像素材とプレイリスト650Aの集合とみなすことができる。
【0055】
<ユーザへ提示する>
動画編集装置50Aは、プレイリスト650Aを、例えばユーザXのスマートフォン200等へ送信してユーザXの確認を得る。ユーザXは、プレイリスト650Aに基づいてスマートフォン200等で試写用に再生される動画像を鑑賞し、変更(修正)を望む場合には具体的な変更内容を動画編集装置50Aへ送信する。例えば、幼少期のカットを減らして少年期のカットを増やしたいとか、少年期のカットを別の画像素材に基づくカットに差し替えたいとか、修正内容を動画編集装置50Aへ送信する。
また、ユーザXは、プレイリスト650Aに基づいて試写用に再生される動画像を鑑賞した結果、変更しなくてよいと判断した場合には、確認した旨の信号を動画編集装置50Aへ送信する。
【0056】
ユーザXからの修正指示を受信した場合のプレイリスト生成部516は、プレイリスト650AをユーザXからの要望に基づいて修正する。動画編集装置50Aは、修正後のプレイリスト660AをユーザXのスマートフォン200等へ送信して再度ユーザXの確認を得る。
修正後のプレイリスト660Aに対し、ユーザXから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト660Aを、結婚式当日再生用のプレイリスト660Aとする。
なお、プレイリスト650Aに対し、修正なくユーザXから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト650Aを、結婚式当日再生用のプレイリスト660Aとする。
【0057】
プレイリスト660Aは、グループ650に含まれる画像素材のうちから最終的に採用されたグループ660の画像素材と関連付けて、ストレージ部520の所定領域に保存される。グループ660は、グループ660を構成する画像素材とプレイリスト660Aの集合とみなすことができる。
【0058】
プレイリスト660Aの保存先を示す情報は、ユーザXのスマートフォン200等へ送信される。ユーザXは、結婚式当日に再生する再生装置にプレイリスト660Aの保存先を入力する。これにより、再生装置はプレイリスト660Aに基づく動画像を結婚式当日に再生する。
動画編集装置50Aは、結婚式当日に再生する再生装置へプレイリスト660Aを配信する際、プレイリスト660Aのみを送信することも、プレイリスト660Aと、関連づけられている画像素材660(換言すると、グループ650に含まれる画像素材のうちの最終的に採用された画像素材)とを送信することもできる。
【0059】
(例1-2)披露宴で上映した動画像に画像素材を追加する
続いて、プレイリストへ動画素材を追加する手順の一例を説明する。例1-2では、例1-1で生成した動画像のプレイリスト660Aに対し、プレイリスト生成部516が、結婚式当日に撮影された画像素材を追加する。画像素材が追加された後日配信用(主役)のプレイリスト680Aおよび後日配信用(出席者)のプレイリスト690Aは、例えば、結婚式後に結婚式披露宴の出席者に配信される。
プレイリスト生成部516は、主役である新郎新婦へ配信する後日配信用のプレイリスト680Aと、親族および友人等の出席者へ配信する後日配信用のプレイリスト690Aとを生成するものとする。動画編集装置50Aは、例1-1で用いたユーザXの交友関係を示す情報等を再び利用する。
【0060】
<検索範囲を決める>
ユーザXから、結婚式後に結婚式披露宴の出席者に配信する動画像作成依頼を受けた動画編集装置50Aの検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、画像素材602および604と、画像素材605とを検索範囲とする。上述したように、画像素材602は、ユーザXの結婚式でユーザXの親Pによって撮りためられた画像素材である。画像素材604は、ユーザXの結婚式当日および準備期間にユーザXによって撮りためられた画像素材である。また、画像素材605は、結婚式披露宴で出席者によって撮りためられた画像素材である。
【0061】
<ユーザ、出席者が写る画像素材を探す>
検索部513は、検索範囲である画像素材602、604および605のメタデータを参照しながら、ユーザXおよび新婦Yが写っている動画素材および静止画素材を検索する。また、検索部513は、検索範囲である画像素材602、604および605のメタデータを参照しながら、出席者が写っている動画素材および静止画素材を検索する。
【0062】
抽出部514は、検索部513で検索された画像素材からユーザXのスマートフォン200等に記録されている交友関係情報に基づき、ユーザXまたは新婦Yとの交流頻度が高い人物が写る画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0063】
図3において、動画編集装置50Aがグループ650として既にまとめた画像素材と、画像素材602、604および605のうちで抽出部514が採用した画像素材とを、グループ670としてまとめて図示している。
なお、グループ670のうちのグループ650に含まれていた画像素材については、必ずしもグループ670に含めなくてよい。また、グループ670は、説明をわかりやすくするために画像素材をまとめたもので、メモリ等の同じ領域に集めて格納する必要はなく、グループ670に含まれるべき画像素材が関連づけされていればよい。
【0064】
<カットを抽出する>
動画編集装置50Aは、グループ670の画像素材からひな形に記載される事項にマッチングするカットを抽出する。例えば、結婚式当日に参加者が見ていない(参加者が居合わせていなかった)場面が写るカット、および披露宴中の盛り上がっているカット等がひな形に記載されている場合、これらのカットを抽出する。抽出部514が抽出するカットは、主としてユーザXと交友関係を有する人物が写るカットとする。
【0065】
抽出部514は、上記通話記録の数、メール記録の数、およびSNS利用記録等によって判断される交流頻度に基づき、グループ670の画像素材から交流頻度が高い人物が写るカットを優先的に抽出する。
また、抽出したカットの合計時間が、例えばひな形で定められている総再生時間を超えないようにカットを抽出する。
【0066】
<楽曲等を探す>
また、検索部513は、動画編集装置50A等から、ひな形に記載される楽曲等のデータを検索する。
【0067】
<プレイリストに追加する>
フレーミング決定部515は、グループ670の画像素材から抽出したカットの表示順、表示速度、および再生表示時のフレーミング等をひな形に記載された事項に基づいて決定するとともに、ひな形に記載される事項に基づいてBGMに用いる楽曲および効果音等の再生順、再生速度、および再生時の音量等を決定する。
さらに、フレーミング決定部515は、上記カットの表示順、表示速度等を決定する場合において、交流頻度が高い人物が写るカットを交流頻度が低い人物が写るカットに比べて優先させる。
【0068】
プレイリスト生成部516は、決定したカットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリスト670Aを生成する。プレイリスト670Aは、上記グループ670を構成する画像素材と関連付けて、動画編集装置50Aの所定領域に一時保存される。グループ670は、グループ670を構成する画像素材とプレイリスト670Aの集合とみなすことができる。
【0069】
<ユーザへ提示する>
動画編集装置50Aは、プレイリスト670Aを、例えばユーザXのスマートフォン200等へ送信してユーザXの確認を得る。ユーザXは、プレイリスト670Aに基づいてスマートフォン200等で試写用に再生される動画像を鑑賞し、変更(修正)を望む場合には、具体的な変更内容を動画編集装置50Aへ送信する。例えば、主役のカットを減らして参加者のカットを増やしたいとか、参加者のカットを別の画像素材に基づくカットに差し替えたいとか、修正内容を動画編集装置50Aへ送信する。
また、ユーザXは、プレイリスト670Aに基づいて試写用に再生される動画像を鑑賞した結果、変更しなくてよいと判断した場合には、確認した旨の信号を動画編集装置50Aへ送信する。
【0070】
ユーザXからの修正指示を受信した場合のプレイリスト生成部516は、プレイリスト670AをユーザXからの要望に基づいて修正する。動画編集装置50Aは、修正後のプレイリスト670AをユーザXのスマートフォン200等へ送信して再度ユーザXの確認を得る。
修正後のプレイリスト670Aに対し、ユーザXから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト670Aを、後日配信用のプレイリスト680Aまたは690Aとする。
なお、プレイリスト670Aに対し、修正なくユーザXから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト670Aを、後日配信用のプレイリスト680Aまたは690Aとする。
【0071】
プレイリスト680Aおよび690Aは、それぞれグループ670に含まれる画像素材のうちから最終的に採用されたグループ680の画像素材またはグループ690の画像素材と関連付けて、ストレージ部520の所定領域に保存される。
【0072】
プレイリスト680Aの保存先を示す情報は新郎新婦のスマートフォン等へ、プレイリスト690Aの保存先を示す情報は親族および友人等の出席者のスマートフォン等へ、それぞれ送信される。新郎新婦または出席者は、結婚式後に再生する再生装置に、プレイリスト680Aまたは690Aの保存先を入力する。
動画編集装置50Aは、結婚式後に再生する再生装置へプレイリスト680Aを配信する際、プレイリスト680Aのみを送信することも、プレイリスト680Aと関連づけられている画像素材680(換言すると、グループ670に含まれる画像素材のうちの最終的に採用された画像素材)とを送信することもできる。
同様に、動画編集装置50Aは、結婚式後に再生する再生装置へプレイリスト690Aを配信する際、プレイリスト690Aのみを送信することも、プレイリスト690Aと、関連づけられている画像素材690(換言すると、グループ670に含まれる画像素材のうちの採用された画像素材)とを送信することもできる。
【0073】
(例1-3)ユーザXの子Sの結婚披露宴で上映する動画像
図4を参照して、プレイリストの生成を行う手順の一例を説明する。例1-3では、ユーザXの子Sからの依頼により、プレイリスト生成部516がユーザXの子Sの結婚式の披露宴で上映する動画像のプレイリスト710Aを生成する。ユーザXの子Sは新郎であり、新婦Zと結婚するものとする。披露宴で上映する動画像は、ユーザXの子Sの生い立ち等を披露宴の出席者に紹介する動画像、および、新婦Zの生い立ち等を披露宴の出席者に紹介する動画像である。二つの動画像には、それぞれ二人の馴れ初め等も含まれる。以下には、ユーザXの子Sの生い立ち等を紹介する動画像のプレイリストを作成する手順を例に説明し、新婦Zの生い立ち等を紹介する動画像プレイリストの作成手順については、ユーザXの子S場合と同様であるので説明を省略する。
【0074】
図4において、水平方向の2本の直線21、直線22および直線23は時間軸を表す。
図3から続く直線21は、ユーザXの親Pについての時間軸であって孫(ユーザXの子S)の誕生以降から、ユーザXの親Pが亡くなるまでを含む。
図3から続く直線22は、ユーザXについての時間軸であってユーザXの子Sの誕生からユーザXの子Sの結婚までを含む。ユーザXの子Sの結婚より後は、
図5の直線22へとつづく。
直線23は、ユーザXの子Sについての時間軸であってユーザXの子Sの誕生からユーザXの子Sの結婚までを含む。
【0075】
画像素材611は、ユーザXの子Sの誕生時、入園式、および幼年期等においてユーザXの親Pによって撮りためられた画像素材である。画像素材612は、ユーザXの子Sの誕生時、入園式、幼年期、および青年期等においてユーザXによって撮りためられた画像素材である。画像素材613は、ユーザXの子Sの結婚式においてユーザXによって撮りためられた画像素材である。
画像素材611、612および613は、説明をわかりやすくするために、撮影された年代別に直線21または22に沿って並べている。
【0076】
画像素材614は、ユーザXの子Sの青年期、成人式およびその後においてユーザXの子S自身によって撮りためられた画像素材である。画像素材615は、ユーザXの子Sの結婚式当日および準備期間にユーザXの子Sによって撮りためられた画像素材である。ユーザXの子Sの誕生時から入学までにXの子S自身によって撮りためられた画像素材が画像素材614に含まれていないのは、幼少期をXの子S自身で撮影することができていないからである。画像素材614および615は、説明をわかりやすくするために、撮影された年代別に直線23に沿って並べている。
【0077】
<検索範囲を決める>
ユーザXの子Sから、「結婚式」をテーマにユーザXの子Sの生い立ち等を紹介する動画像作成依頼を受けた動画編集装置50Aは、ユーザXの子Sのスマートフォン200等に記録されている情報等に基づいてユーザXの子Sの家族である親(ユーザX)と、ユーザXの親Pを特定する。検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、ユーザXの親Pによってアップロードされている画像素材611を検索範囲とする。検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、ユーザXによってアップロードされている画像素材612を検索範囲とする。
検索情報設定部512はさらに、動画編集装置50A等に格納されている画像素材の中で、ユーザXの子Sによってアップロードされている画像素材614を検索範囲とする。
つまり、本実施の形態では画像素材611、612および614が検索範囲である。
なお、動画編集装置50Aは、ユーザXのスマートフォン200等に記録されている情報等に基づいてユーザXの子Sの親戚等の親族を特定してもよい。検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、特定した親族によってアップロードされている画像素材を検索範囲に含めてもよい。
【0078】
検索部513は、動画生成を依頼したユーザXのスマートフォン200等に記録されている情報等に基づいて取得したユーザXの子Sの交友関係を示す情報を用いて、以下のように画像素材を探す。
【0079】
<イベントに関連する画像素材を探す>
上述したように、テーマ「結婚式」に紐付けられたひな形は、概略シナリオの中に新郎新婦の生い立ち等を紹介する場面を含む。検索部513は、検索範囲である画像素材611、612および614の画像を解析しながら、上記ひな形に記載された事項に基づいて、ひな形に記載されたイベントに関連する動画素材および静止画素材を検索する。画像の解析は、画像素材に付与されているメタデータを参照して行う。画像素材にメタデータが付与されていない場合、またはメタデータの一部の情報が不足している場合、検索部513は、メタデータ付与部517によって画像を解析させながら、解析結果に基づいてひな形に記載されたイベントに関連する動画素材および静止画素材を探す。
メタデータ付与部517で解析された結果は、画像素材に対してそれぞれ付与されるメタデータとして記録(付与または追加)しておく。
【0080】
<ユーザXの子Sが写る画像素材を探す>
検索部513はさらに、検索範囲である画像素材611、612および614のメタデータを参照しながら、ユーザXの子Sが写っている画像素材を検索する。
抽出部514は、検索部513で検索された画像素材からユーザXの子Sのスマートフォン200等のイベントスケジュールに入力されているイベントの重要度に基づき、重要度が高いイベントに関連する画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0081】
図4において、画像素材611、612および614のうちで抽出部514が採用した画像素材を、グループ700としてまとめて図示している。グループ700は、説明をわかりやすくするために画像素材をまとめたもので、メモリ等の同じ領域に集めて格納する必要はなく、グループ700に含まれるべき画像素材が関連づけされていればよい。
【0082】
<カットを抽出する>
抽出部514は、グループ700の画像素材の中から、ひな形に記載される事項にマッチングするカットを抽出する。例えば、ユーザXの子Sの幼稚園時代のカット、小学生時代のカット、その他のカット等がひな形に記載されている場合、これらのカットを抽出する。抽出部514は、抽出するカットにユーザXの子Sと交友関係を有する人物とが一緒に写るカットを含める。
【0083】
抽出部514は、上記通話記録の数、メール記録の数、およびSNS利用記録等によって判断される交流頻度に基づき、グループ700の画像素材から交流頻度が高い人物が写るカットを優先的に抽出する。
また、抽出したカットの合計時間が、例えばひな形で定められている総再生時間を超えないようにカットを抽出する。
【0084】
<楽曲等を探す>
また、検索部513は、動画編集装置50A等から、ひな形に記載される楽曲等のデータを検索する。
【0085】
<プレイリストを生成する>
フレーミング決定部515は、グループ700に含まれる画像素材から抽出したカットの表示順、表示速度、および再生表示時のフレーミング等をひな形に記載された事項に基づいて決定するとともに、ひな形に記載された事項に基づいてBGMに用いる楽曲および効果音等の再生順、再生速度、および再生時の音量等を決定する。
さらに、フレーミング決定部515は、上記カットの表示順、表示速度等を決定する場合において、交流頻度が高い人物が写るカットを交流頻度が低い人物が写るカットに比べて優先させる。
【0086】
プレイリスト生成部516は、決定したカットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリスト700Aを生成する。プレイリスト700Aは、上記グループ700を構成する画像素材と関連付けて、動画編集装置50Aの所定領域に一時保存される。グループ700は、グループ700を構成する画像素材とプレイリスト700Aの集合とみなすことができる。
【0087】
<ユーザXの子Sへ提示する>
動画編集装置50Aは、プレイリスト700Aを、例えばユーザXの子Sのスマートフォン200等へ送信してユーザXの子Sの確認を得る。ユーザXの子Sは、プレイリスト700Aに基づいてスマートフォン200等で試写用に再生される動画像を鑑賞し、変更(修正)を望む場合には、具体的な変更内容を動画編集装置50Aへ送信する。例えば、幼少期のカットを減らして少年期のカットを増やしたいとか、少年期のカットを別の画像素材に基づくカットに差し替えたいとか、修正内容を動画編集装置50Aへ送信する。
また、ユーザXの子Sは、プレイリスト700Aに基づいて試写用に再生される動画像を鑑賞した結果、変更しなくてよいと判断した場合には、確認した旨の信号を動画編集装置50Aへ送信する。
【0088】
ユーザXの子Sからの修正指示を受信した場合のプレイリスト生成部516は、プレイリスト700AをユーザXの子Sからの要望に基づいて修正する。動画編集装置50Aは、修正後のプレイリスト710AをユーザXの子Sのスマートフォン200等へ送信して再度ユーザXの子Sの確認を得る。
修正後のプレイリスト710Aに対し、また、ユーザXの子Sから確認した旨の信号を受信した場合の動画編集装置50Aは、確認済のプレイリスト710Aを、結婚式当日再生用のプレイリスト710Aとする。
なお、プレイリスト700Aに対し、修正なくユーザXの子Sから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト700Aを、結婚式当日再生用のプレイリスト710Aとする。
【0089】
プレイリスト710Aは、グループ700に含まれる画像素材のうちから最終的に採用されたグループ710の画像素材と関連付けて、ストレージ部520の所定領域に保存される。グループ710は、グループ710を構成する画像素材とプレイリスト710Aの集合とみなすことができる。
【0090】
プレイリスト710Aの保存先を示す情報は、ユーザXの子Sのスマートフォン200等へ送信される。ユーザXの子Sは、結婚式当日に再生する再生装置にプレイリスト710Aの保存先を入力する。
動画編集装置50Aは、結婚式当日に再生する再生装置へプレイリスト710Aを配信する際、プレイリスト710Aのみを送信することも、プレイリスト710Aと、関連づけられている画像素材710(換言すると、グループ700に含まれる画像素材のうちの最終的に採用された画像素材)とを送信することもできる。
【0091】
(例1-4)披露宴で上映した動画像に画像素材を追加する
続いて、プレイリストへ画像情報を追加する手順の一例を説明する。例1-4では、例1-3で生成した動画像のプレイリスト700Aに対し、プレイリスト生成部516が、結婚式当日に撮影された画像素材を追加する。画像素材が追加された後日配信用(主役)のプレイリストおよび後日配信用(出席者)のプレイリストは、例えば、結婚式後に結婚式披露宴の出席者に配信される。
プレイリスト生成部516は、主役である新郎新婦へ配信する後日配信用のプレイリスト(主役)と、親族および友人等の出席者へ配信する後日配信用のプレイリスト(出席者)とを生成するものとする。動画編集装置50Aは、例1-3で用いたユーザXの子Sの交友関係を示す情報等を再び利用する。
【0092】
<検索範囲を決める>
ユーザXの子Sから、結婚式後に結婚式披露宴の出席者に配信する動画像作成依頼を受けた動画編集装置50Aの検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、画像素材613および615と、画像素材616とを検索範囲とする。上述したように、画像素材613は、ユーザXの子Sの結婚式でユーザXによって撮りためられた画像素材である。画像素材615は、ユーザXの子Sの結婚式当日および準備期間にユーザXの子S自身によって撮りためられた画像素材である。また、画像素材616は、結婚式披露宴で出席者によって撮りためられた画像素材である。
【0093】
<ユーザXの子S、出席者が写る画像素材を探す>
検索部513は、検索範囲である画像素材613、615および616のメタデータを参照しながら、ユーザXの子Sおよび新婦Zが写っている動画素材および静止画素材を検索する。また、検索部513は、検索範囲である画像素材613、615および616のメタデータを参照しながら、出席者が写っている動画素材および静止画素材を検索する。
【0094】
抽出部514は、検索部513で検索された画像素材からユーザXの子Sのスマートフォン200等に記録されている交友関係情報に基づき、ユーザXの子Sまたは新婦Zとの交流頻度が高い人物が写る画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0095】
図4において、動画編集装置50Aがグループ700として既にまとめた画像素材と、画像素材613、615および616のうちで抽出部514が採用した画像素材とを、グループ720としてまとめて図示している。グループ720は、説明をわかりやすくするために画像素材をまとめたもので、メモリ等の同じ領域に集めて格納する必要はなく、グループ720に含まれるべき画像素材が関連づけされていればよい。
【0096】
<カットを抽出する>
動画編集装置50Aは、グループ720の画像素材からひな形に記載される事項にマッチングするカットを抽出する。例えば、結婚式当日に参加者が見ていない(参加者が居合わせていなかった)場面が写るカット、および披露宴中の盛り上がっているカット等がひな形に記載されている場合、これらのカットを抽出する。抽出部514は、抽出するカットは、主としてユーザXの子Sと交友関係を有する人物が写るカットとする。
【0097】
抽出部514は、上記通話記録の数、メール記録の数、およびSNS利用記録等によって判断される交流頻度に基づき、グループ720の画像素材から交流頻度が高い人物が写るカットを優先的に抽出する。
また、抽出したカットの合計時間が、例えばひな形で定められている総再生時間を超えないようにカットを抽出する。
【0098】
<楽曲等を探す>
また、検索部513は、動画編集装置50A等から、ひな形に記載される楽曲等のデータを検索する。
【0099】
<プレイリストに追加する>
フレーミング決定部515は、グループ720の画像素材から抽出したカットの表示順、表示速度、および再生表示時のフレーミング等をひな形に記載された事項に基づいて決定するとともに、ひな形に記載された事項に基づいてBGMに用いる楽曲および効果音等の再生順、再生速度、および再生時の音量等を決定する。
さらに、フレーミング決定部515は、上記カットの表示順、表示速度等を決定する場合において、交流頻度が高い人物が写るカットを交流頻度が低い人物が写るカットに比べて優先させる。
【0100】
プレイリスト生成部516は、決定したカットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリスト720Aを生成する。プレイリスト720Aは、上記グループ720を構成する画像素材と関連付けて、動画編集装置50Aの所定領域に一時保存される。グループ720は、グループ720を構成する画像素材とプレイリスト720Aの集合とみなすことができる。
【0101】
<ユーザXの子Sへ提示>
動画編集装置50Aは、プレイリスト720Aを、例えばユーザXの子Sのスマートフォン200等へ送信してユーザXの子Sの確認を得る。ユーザXの子Sは、プレイリスト720Aに基づいてスマートフォン200等で試写用に再生される動画像を鑑賞し、変更(修正)を望む場合には、具体的な変更内容を動画編集装置50Aへ送信する。例えば、主役のカットを減らして参加者のカットを増やしたいとか、参加者のカットを別の画像素材に基づくカットに差し替えたいとか、修正内容を動画編集装置50Aへ送信する。
また、ユーザXの子Sは、プレイリスト720Aに基づいて試写用に再生される動画像を鑑賞した結果、変更しなくてよいと判断した場合には、確認した旨の信号を動画編集装置50Aへ送信する。
【0102】
ユーザXの子Sからの修正指示を受信した場合のプレイリスト生成部516は、プレイリスト720AをユーザXの子Sからの要望に基づいて修正する。動画編集装置50Aは、修正後のプレイリスト720AをユーザXの子Sのスマートフォン200等へ送信して再度ユーザXの子Sの確認を得る。
修正後のプレイリスト720Aに対し、ユーザXの子Sから確認した旨の信号を受信した場合の動画編集装置50Aは、確認済のプレイリスト720Aを、後日配信用(主役)のプレイリストまたは後日配信用(出席者)のプレイリストとする。
なお、プレイリスト720Aに対し、修正なくユーザXの子Sから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト720Aを、後日配信用(主役)のプレイリストまたは後日配信用(出席者)のプレイリストとする。
【0103】
後日配信用(主役)のプレイリストおよび後日配信用(出席者)のプレイリストは、それぞれがグループ720に含まれる画像素材のうちから最終的に採用された画像素材と関連付けて、ストレージ部520の所定領域に保存される。
【0104】
後日配信用(主役)のプレイリストの保存先を示す情報は新郎新婦のスマートフォン等へ、後日配信用(出席者)のプレイリストの保存先を示す情報は親族および友人等の出席者のスマートフォン等へ、それぞれ送信される。新郎新婦または出席者は、結婚式後に再生する再生装置に、それぞれのプレイリストの保存先を入力する。
動画編集装置50Aは、結婚式後に再生する再生装置へプレイリストを配信する際、プレイリストのみを送信することも、プレイリストと関連づけられている画像素材(換言すると、グループ720に含まれる画像素材のうちの最終的に採用された画像素材)とを送信することもできる。
【0105】
(例1-5)ユーザXの葬儀で上映する動画像
図5を参照して、プレイリストの生成を行う手順の一例を説明する。例1-5では、ユーザXからの生前の依頼、またはユーザXの死後、ユーザXの子S等からの依頼により、プレイリスト生成部516がユーザXの葬儀で上映する動画像のプレイリスト750Aを生成する。以下には、ユーザXの生前の姿を紹介する動画像のプレイリストを作成する手順を例に説明する。
【0106】
図5において、水平方向の直線22は時間軸を表す。
図4から続く直線22は、ユーザXについての時間軸であってユーザXの子Sの結婚式以降から、ユーザXが亡くなるまでを含む。
画像素材621は、ユーザXの壮年期、還暦、および老年期等においてユーザXによって撮りためられた画像素材である。画像素材621は、説明をわかりやすくするために、撮影された年代別に直線22に沿って並べている。
グループ670は、
図3を参照して説明したグループ670を構成する画像素材とプレイリスト670Aの集合である。グループ720は、
図4を参照して説明したグループ720を構成する画像素材とプレイリスト720Aの集合である。
【0107】
<検索範囲を決める>
以下は、葬儀で上映する動画像(プレイリスト)の作成をユーザXが生前に動画編集装置50Aへ依頼した場合を例示する。ユーザXから、「葬儀」をテーマにユーザXの生涯等を紹介する動画像作成依頼を受けた動画編集装置50Aは、ユーザXのマートフォン200等に記録されている情報等に基づいてユーザXの家族であるユーザXの子Sらを特定する。検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、ユーザXによってアップロードされている画像素材621を検索範囲とする。また、検索情報設定部512は、動画編集装置50A等に格納されている画像素材の中で、上述したグループ670およびグループ720に含まれる画像素材を検索範囲とする。検索情報設定部512はさらに、グループ670およびグループ720に含まれていない画像素材611、612および613を検索範囲に加えてもよい。
グループ670は、
図3を参照して説明したグループ670を構成する画像素材とプレイリスト670Aの集合である。グループ720は、
図4を参照して説明したグループ720を構成する画像素材とプレイリスト720Aの集合である。
つまり、本実施の形態では画像素材621および、グループ670および720を構成する画像素材が検索範囲である。
【0108】
<イベントに関連する画像素材を探す>
テーマ「葬儀」に紐付けられたひな形は、概略シナリオの中にユーザXの人生の節目の場面等を紹介する場面を含む。検索部513は、検索範囲である画像素材621および、グループ670および720を構成する画像素材の画像を解析しながら、上記ひな形に記載された事項に基づいて、ひな形に記載されたイベントに関連する動画素材および静止画素材を検索する。画像の解析は、画像素材に付与されているメタデータを参照して行う。画像素材にメタデータが付与されていない場合、またはメタデータの一部の情報が不足している場合、検索部513は、メタデータ付与部517によって画像を解析させながら、解析結果に基づいてひな形に記載されたイベントに関連する動画素材および静止画素材を探す。
メタデータ付与部517で解析された結果は、画像素材に対してそれぞれ付与されるメタデータとして記録(付与または追加)しておく。
【0109】
<ユーザXが写る画像素材を探す>
抽出部514は、検索部513で検索された画像素材から、ユーザXのスマートフォン200等のイベントスケジュールに入力されているイベントの重要度に基づき、重要度が高いイベントに関連する画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0110】
図5において、画像素材621および、グループ670および720を構成する画像素材のうちで抽出部514が採用した画像素材を、グループ750としてまとめて図示している。グループ750は、説明をわかりやすくするために画像素材をまとめたもので、メモリ等の同じ領域に集めて格納する必要はなく、グループ750に含まれるべき画像素材が関連づけされていればよい。
【0111】
<カットを抽出する>
抽出部514は、グループ750の画像素材の中から、ひな形に記載される事項にマッチングするカットを抽出する。例えば、ユーザXの青年時代のカット、結婚式のカット、その他家族、友人、仕事仲間と写るカット等がひな形に記載されている場合、これらのカットを抽出する。抽出部514は、抽出するカットにユーザXと交友関係を有する人物とが一緒に写るカットを含める。
【0112】
抽出部514は、上記通話記録の数、メール記録の数、およびSNS利用記録等によって判断される交流頻度に基づき、グループ750の画像素材から交流頻度が高い人物が写るカットを優先的に抽出する。
また、抽出したカットの合計時間が、例えばひな形で定められている総再生時間を超えないようにカットを抽出する。
【0113】
<楽曲等を探す>
また、検索部513は、動画編集装置50A等から、ひな形に記載される楽曲等のデータを検索する。検索部513は、ひな形に定められた楽曲にかかわらず、ユーザから指定されたユーザ好みの楽曲を探すことも可能である。
【0114】
<プレイリストを生成する>
フレーミング決定部515は、グループ750に含まれる画像素材から抽出したカットの表示順、表示速度、および再生表示時のフレーミング等をひな形に記載された事項に基づいて決定するとともに、ひな形に記載された事項に基づいてBGMに用いる楽曲および効果音等の再生順、再生速度、および再生時の音量等を決定する。
さらに、フレーミング決定部515は、上記カットの表示順、表示速度等を決定する場合において、交流頻度が高い人物が写るカットを交流頻度が低い人物が写るカットに比べて優先させる。
【0115】
プレイリスト生成部516は、決定したカットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリスト750Aを生成する。プレイリスト750Aは、上記グループ750を構成する画像素材と関連付けて、動画編集装置50Aの所定領域に一時保存される。グループ750は、グループ750を構成する画像素材とプレイリスト750Aの集合とみなすことができる。
【0116】
<ユーザXへ提示>
動画編集装置50Aは、プレイリスト750Aを、例えばユーザXのスマートフォン200等へ送信してユーザXの確認を得る。ユーザXは、プレイリスト750Aに基づいてスマートフォン200等で試写用に再生される動画像を鑑賞し、変更(修正)を望む場合には、具体的な変更内容を動画編集装置50Aへ送信する。例えば、家族とのカットを増やしたいとか、サークル活動のカットを加えたいとか、修正内容を動画編集装置50Aへ送信する。
また、ユーザXは、プレイリスト750Aに基づいて試写用に再生される動画像を鑑賞した結果、変更しなくてよいと判断した場合には、確認した旨の信号を動画編集装置50Aへ送信する。
【0117】
ユーザXからの修正指示を受信した場合のプレイリスト生成部516は、プレイリスト750AをユーザXからの要望に基づいて修正する。動画編集装置50Aは、修正後のプレイリスト750AをユーザXのスマートフォン200等へ送信して再度ユーザXの確認を得る。
修正後のプレイリスト750Aに対し、ユーザXから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト750Aを、葬儀当日の再生用のプレイリスト760Aとする。
なお、プレイリスト750Aに対し、修正なくユーザXから確認した旨の信号を受信した動画編集装置50Aは、確認済のプレイリスト750Aを、葬儀当日の再生用のプレイリスト760Aとする。
【0118】
プレイリスト760Aは、グループ750に含まれる画像素材のうちから最終的に採用されたグループ760の画像素材と関連付けて、ストレージ部520の所定領域に保存される。グループ760は、グループ760を構成する画像素材とプレイリスト760Aの集合とみなすことができる。
【0119】
プレイリスト760Aの保存先を示す情報は、ユーザXのスマートフォン200等へ送信される。生前のユーザXから上記保存先を伝えられていた喪主等は、葬儀当日に再生する再生装置にプレイリスト760Aの保存先を入力する。
動画編集装置50Aは、葬儀当日に再生する再生装置へプレイリスト760Aを配信する際、プレイリスト760Aのみを送信することも、プレイリスト760Aと、関連づけられている画像素材760(換言すると、グループ750に含まれる画像素材のうちの最終的に採用された画像素材)とを送信することもできる。
【0120】
<フローチャートの説明>
上述した動画像提供システム1において、テーマが「結婚式」である場合にユーザのスマートフォン200および動画編集装置50Aで行う処理の流れについて、
図6および
図7に示すフローチャートを参照して説明する。
図6は、ユーザ側のスマートフォン200で行われる処理の流れを示し、
図7は、クラウド50側の動画編集装置50Aで行われる処理の流れを示す。
動画像提供システム1は、動画編集装置50AがユーザXのスマートフォン200からテーマ「結婚式」を指定して動画像生成の要求を受けると、動画像および/またはプレイリストを自動で生成する。例えば、スマートフォン200において記録されている予定表情報に基づき、結婚式予定日の10日前までに動画像および/またはプレイリストを作成する。
【0121】
(スマートフォン)
制御部220は、ユーザXによって動画像生成を依頼するためのアプリが起動されると、
図6による処理を実行する。なお、スマートフォン200とクラウド50との間は、後述するステップS216、S218、S220、およびS234等、必要時において適宜通信可能であるものとする。
【0122】
図6のステップS202において、制御部220は、例えば、あらかじめ用意されている複数の動画像のテーマにそれぞれ対応する不図示のアイコン群を表示・入力部210に表示させ、ユーザによって動画像のテーマ「結婚式」を示すアイコンがタッチ操作されると、ステップS204へ進む。動画像のテーマの入力操作は、ユーザXが行う。
【0123】
ステップS204において、制御部220のスケジュール情報管理部221は、ユーザXの予定表情報として記録されているユーザのイベントスケジュールのチェックを開始する。
ステップS206において、制御部220のスケジュール情報管理部221は、ユーザXの結婚式日程を確認してステップS208へ進む。
ステップS208において、制御部220の交友関係情報管理部222は、ユーザXの交友関係情報(連絡先情報としてデータ保持部230に記録されているデータ、ユーザXの通話記録、メール記録およびSNS利用記録等)を参照して、ユーザXの家族、親族、友人等の交友関係、および結婚式披露宴の招待者を確認してステップS210へ進む。
【0124】
ステップS210において、制御部220は、招待者情報の有無を判定する。制御部220は、ステップS208で招待者情報を確認できた場合にステップS210を肯定判定してステップS216へ進む。制御部220は、ステップS208で招待者情報を確認できなかった場合にはステップS220を否定判定してステップS212へ進む。
【0125】
ステップS212において、制御部220は、ユーザXに対して招待者情報の入力を要求するメッセージを表示・入力部210に表示させてステップS214へ進む。ステップS214において、制御部220は、表示・入力部210からの招待者情報の入力を受け付けてステップS216へ進む。招待者情報の入力操作は、ユーザXが行う。
【0126】
ステップS216において、制御部220は、通信部240を介して動画編集装置50Aへ情報を送信し、ステップS220へ進む。スマートフォン200から動画編集装置50Aへ送信する情報には、動画像のテーマ、ユーザXの家族、親族、友人等の交友関係情報、および結婚式披露宴の招待者情報を含む。
また、生成する動画像が、過去に作成した動画像に画像素材を追加して生成する動画像である場合(上述した(例1-2)または(例1-4)に相当)には、過去に作成した動画像に関する情報を含む。
【0127】
ステップS220において、制御部220は、通信部240を介して動画編集装置50Aからプレイリスト650Aを取得する。なお、制御部220は、プレイリスト650Aの代わりに、またはプレイリスト650Aとともに動画像(プレイリスト650Aに基づく動画像)を取得することもできる。
実施の形態による動画編集装置50Aは、スマートフォン200から送信された情報(S216)を受けてから動画像(またはプレイリスト650A)の生成を開始する。そのため、制御部220は、例えば動画編集装置50Aからの生成終了の通知を待って、生成された動画像(またはプレイリスト650A)を取得する。
【0128】
ステップS222において、制御部220は、プレイリスト650Aに記載のカット、換言すると、プレイリスト650Aに基づく動画像を再生するために必要なカットを動画編集装置50Aおよび他のサーバ等から取得してステップS224へ進む。なお、プレイリスト650Aに代わる動画像を取得した場合は、カットの取得を省略してよい。
【0129】
ステップS224において、制御部220は、動画像(またはプレイリストに基づく動画像)を表示・入力部210で再生するための準備を行ってステップS226へ進む。
図8(a)は、表示・入力部210に表示される、動画像(またはプレイリストに基づく動画像)の再生準備の終了を知らせる告知画面を例示する図である。メッセージ81とともに、確認のための再生、換言すると「試写」を指示する操作ボタン82が表示されている。
制御部220は、メッセージ81を表示・入力部210に表示させてステップS228へ進む。
【0130】
ステップS228において、制御部220は、再生指示の有無を判定する。制御部220は、表示・入力部210に表示する操作ボタン82が操作された場合にステップS228を肯定判定してステップS230へ進む。制御部220は、操作ボタン82が操作されない場合にはステップS228を否定判定し、再生指示の操作を待つ。再生指示に関する操作は、ユーザXが行う。
【0131】
ステップS230において、制御部220は、確認のための動画像再生を開始してステップS232へ進む。
図8(b)は、表示・入力部210に表示される動画像再生画面を例示する図である。ウィンドウ85内に動画像が再生表示される。ウィンドウ89内には、動画像の生成に用いられたカット群を示すファイル名称等のリストが表示される。
試写された動画像を視聴するユーザXは、公知の一時停止アイコンを操作して再生を一時停止したり、早戻しアイコン、早送りアイコンを操作して早戻しまたは早送りしたりすることができる。
ウィンドウ89内に表示されているリストのうち、ウィンドウ85内に表示されているフレーム画像に対応するファイル名称が、カーソル90によって強調表示される。
なお、ウィンドウ89内のファイル名称等のリスト表示に代えて、サムネイル画像を並べて表示させてもよい。
ユーザXは、設定変更ボタン86を操作して、例えばウィンドウ85内に表示されているフレーム画像の表示速度およびフレーミングの変更指示を入力することができる。
また、ユーザXは、再編集ボタン87を操作して、動画像を構成するカットの順序の入れ替え指示、カットの削除指示、または別のカットの追加指示等を入力することができる。
再編集ボタン87が操作された場合に、図示しない別の画面を表示・入力部210に表示させて、ユーザXからのカットの順序の入れ替え指示、カットの削除指示、または別のカットの追加指示等を受け付ける構成にしてもよい。
ユーザXは、動画像の修正を指示する内容を入力し終えた場合に、保存ボタン88を操作する。なお、ユーザXは、動画像を確認した結果、変更しなくてよいと判断した場合にも保存ボタン88を操作する。
【0132】
図6のステップS232において、制御部220は、「OK」(動画像(またはプレイリスト)の修正なし)か、否かを判定する。制御部220は、設定変更および再編集なしで保存ボタン88が操作された場合、または、設定変更または再編集後に保存ボタン88が操作された場合に、ステップS232を肯定判定してステップS234ヘと進む。
制御部220は、設定変更ボタン86の操作、または、再編集ボタン87の操作が行われた場合にステップS232を否定判定してステップS218ヘと進む。設定変更および再編集に関する入力操作および保存ボタン88の操作は、ユーザXが行う。
【0133】
ステップS218において、制御部220は、通信部240を介して動画編集装置50Aへ修正指示を送信してステップS220へ進む。送信する修正指示には、動画像を構成するカットの順序の入れ替え、カットの削除指示、または別のカットの追加指示等を示す情報を含む。修正指示の送信操作は、ユーザXが行う。
【0134】
ステップS234において、制御部220は、通信部240を介して動画編集装置50Aへ「OK」を送信して
図6による処理を終了する。「OK」は、ユーザXが動画像の修正は不要と判断したことを示す、確認した旨の信号である。「OK」の送信操作は、ユーザXが行う。
【0135】
(動画編集装置)
動画編集装置50Aの制御部510は、
図7による処理を繰り返し実行する。
図7のステップS502において、制御部510は、ユーザXのスマートフォン200から送信された情報(S216(
図6))を受信してステップS504へ進む。
図7は、受信情報に含まれる動画像のテーマが「結婚式」の事例である。
【0136】
ステップS504において、制御部510のひな形選択部511は、「結婚式」のひな形を選択してステップS506へ進む。ステップS506において、検索部513は、ひな形に沿ってカットを検索する。
情報検索設定部512は、ひな形に基づき、画像素材の撮影時期、撮影地、撮影会場、撮影者等を示す属性情報のうちのいくつかを、検索用の第1の情報(第1検索条件と呼んでもよい)として設定する。第1の情報の数を増やすと、検索によってヒットする画像素材の数が減少する。第1の情報を設定することにより、特定の撮影時期、特定の撮影地、特定の撮影者によって撮影された画像素材を検索範囲とすることができる。
また、情報検索設定部512は、ひな形に基づき、画像素材に写っている主要被写体、光景、フレーミング領域等を示す解析情報を、検索用の第2の情報(第2検索条件と呼んでもよい)として設定する。第2の情報の数を増やす場合も、検索によってヒットする画像素材の数が減少する。第2の情報を設定することにより、特定の被写体が写る画像素材、特定のフレーミング等で写された画像素材を検索範囲とすることができる。
以上述べたように、情報検索設定部512は、第1の情報を設定する第1情報設定部と、第2の情報を設定する第2情報設定部として機能させることができる。
実施の形態では、ステップS506の検索範囲は、検索情報設定部512で設定された第1の情報および第2の情報に基づく家族、親族が撮影した画像素材および家族、親族が写っている画像素材である。
ステップS508において、検索部513は、ひな形に沿ってカットを検索する。ステップS508の検索範囲は、検索情報設定部512で設定された第1の情報および第2の情報に基づく友人、知人等が撮影した画像素材、および友人、知人等が写っている画像素材である。
【0137】
ステップS510において、抽出部514は、検索部513で検索された画像素材からひな形に沿ったカットを含む画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0138】
ステップS512において、制御部510は、採用したカットが使用許諾済か、否かを判定する。制御部510は、使用許諾済の場合にステップS512を肯定判定してステップS514へ進む。制御部510は、使用許諾がとれていない場合には、ステップS512を否定判定してステップS506へ戻る。ステップS506へ戻った制御部510は、例えば、使用許諾がとれていないカットに代えて使用許諾済のカットを検索、抽出し直す。なお、予め使用許諾済の画像素材の中から採用候補を選び、カットを抽出する場合には、ステップS512の処理を省略してよく、ステップS510の次にステップS514へ進んでよい。
【0139】
ステップS514において、制御部510のプレイリスト生成部516は、カットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリスト650Aを生成し、ステップS516へ進む。
【0140】
ステップS516において、制御部510は、プレイリスト650Aを、グループ650を構成する画像素材と関連付けて、ストレージ部520の所定領域に仮保存してステップS518へ進む。
ステップS518において、制御部510は、プレイリスト650Aを、ユーザXのスマートフォン200へ送信してステップS520へ進む。なお、制御部510は、スマートフォン200からの要求により、プレイリスト650Aの代わりに、またはプレイリスト650Aとともに動画像(プレイリスト650Aに基づく動画像)を送信することもできる。
【0141】
ステップS520において、制御部510は、プレイリスト650Aに記述されているカット群を、スマートフォン200へ送信してステップS522へ進む。なお、ステップS518でプレイリスト650Aに代わる動画像を送信した場合、および、スマートフォン200上でプレイリスト650Aに基づいて再生する場合には、カット群の送信を省略してよい。
ステップS522において、制御部510は、「OK」を受信したか、否かを判定する。上述したように、「OK」は、ユーザXが動画像の修正は不要と判断したことを示す、確認した旨の信号である。
制御部510は、「OK」を受信した場合にステップS522を肯定判定してステップS524ヘと進む。制御部510は、「OK」を受信しない場合にステップS522を否定判定してステップS526へ進む。ステップS526において、制御部510は、スマートフォン200から送信された修正指示(S218(
図6))を受信してステップS506ヘと戻る。ステップS506へ戻った制御部510は、ステップS506以降の処理を繰り返す。
【0142】
ステップS524において、制御部510は、プレイリスト650Aまたはプレイリスト650Aが修正された後のプレイリスト660Aを、グループ650に含まれる画像素材のうちから最終的に採用されたグループ660の画像素材と関連付けて、ストレージ部520の所定領域に保存して
図7による処理を終了する。
【0143】
(2)テーマ「○○旅行」の例
<プレイリストの生成例>
動画像のテーマが「○○旅行」である場合のプレイリストの生成例を説明する。
テーマ「○○旅行」の場合、図示を省略するが、動画生成を依頼したユーザと、ユーザとともに旅行した同行者とのそれぞれについて、
図3に例示した時間軸と同様の時間軸を想定して説明する。時間軸の長さは、「○○旅行」の旅行期間に対応する。そして、動画生成を依頼したユーザおよび同行者のそれぞれが「○○旅行」中において撮りため画像素材が、検索対象となり得る。
【0144】
<フローチャートの説明>
上述した動画像提供システム1において、テーマが「○○旅行」である場合にユーザのスマートフォン200および動画編集装置50Aで行う他の処理の流れについて、
図9および
図10に示すフローチャートを参照して説明する。
図9は、ユーザ側のスマートフォン200で行われる処理の流れを示し、
図10は、クラウド50側の動画編集装置50Aで行われる処理の流れを示す。
動画像提供システム1は、動画編集装置50Aがユーザのスマートフォン200からテーマ「旅行」を指定して動画像生成の要求を受けると、動画像および/またはプレイリストを自動で生成する。例えば、ユーザのスマートフォン200等において記録されている予定表情報および位置情報の記録に基づき、要求を受けてから所定期間以内に動画像および/またはプレイリストを作成する。
【0145】
(スマートフォン)
制御部220は、ユーザによって動画像生成を依頼するためのアプリが起動されると、
図9による処理を実行する。なお、スマートフォン200とクラウド50との間は、後述するステップS266、S268、S270、およびS284等、必要時において適宜通信可能であるものとする。
【0146】
図9のステップS252において、制御部220は、動画像のテーマおよび必要な情報の入力をユーザに要求する。例えば、あらかじめ用意されている複数の動画像のテーマにそれぞれ対応する不図示のアイコン群を表示・入力部210に表示させ、ユーザによって動画像のテーマ「○○旅行」を示すアイコンがタッチ操作されると、
図11(a)に示す自動編集設定画面を表示・入力部210に表示させる。
図11(a)は、表示・入力部210に表示される、自動編集設定画面を例示する図である。旅行の目的の入力欄91と、旅行日程の入力欄92と、旅行する場所の入力欄93ととともに、動画像生成の「開始」を指示する操作ボタン94が表示されている。動画像のテーマの入力操作、旅行の目的の入力操作、旅行日程の入力操作、および旅行する場所の入力操作はユーザが行う。
制御部220は、ボタン94に対するタッチ操作が行われると、ステップS254へ進む。
【0147】
ステップS254において、制御部220のスケジュール情報管理部221は、ユーザの予定表情報として記録されているユーザのイベントスケジュールのうち、テーマ「○○旅行」に該当するスケジュールを確認する。これにより、旅行日および日程を把握する。
ステップS256において、制御部220の交友関係情報管理部222は、ユーザの交友関係情報(連絡先情報としてデータ保持部230に記録されているデータ、ユーザの通話記録、メール記録およびSNS利用記録等)を参照して、ユーザの家族、親族、友人等の交友関係を確認してステップS258へ進む。
ステップS258において、制御部220のスケジュール情報管理部221は、S254で把握した情報により旅行の行程等を確認してステップS260へ進む。
【0148】
ステップS260において、制御部220は、旅行の同行者情報の有無を判定する。制御部220は、ステップS254~S258で同行者情報を確認できた場合にステップS260を肯定判定してステップS266へ進む。制御部220は、ステップS254~S258で同行者情報を確認できなかった場合にはステップS260を否定判定してステップS262へ進む。
【0149】
ステップS262において、制御部220は、ユーザに対して同行者情報の入力を要求するメッセージを表示・入力部210に表示させてステップS264へ進む。ステップS264において、制御部220は、表示・入力部210からの同行者情報の入力を受け付けてステップS266へ進む。同行者情報の入力操作は、ユーザが行う。
【0150】
ステップS266において、制御部220は、通信部240を介して動画編集装置50Aへ情報を送信し、ステップS270へ進む。スマートフォン200から動画編集装置50Aへ送信する情報には、動画像のテーマ、旅行の目的、旅行の日程(行程)、場所(旅行先)、ユーザの交友関係情報、および旅行の同行者情報を含む。
【0151】
ステップS270において、制御部220は、通信部240を介して動画編集装置50Aからプレイリストを取得する。なお、制御部220は、プレイリストの代わりに、またはプレイリストとともに動画像(プレイリストに基づく動画像)を取得することもできる。
実施の形態による動画編集装置50Aは、スマートフォン200から送信された情報(S266)を受けてから動画像(またはプレイリスト)の生成を開始する。そのため、制御部220は、例えば動画編集装置50Aからの生成終了の通知を待って、生成された動画像(またはプレイリスト)を取得する。
【0152】
ステップS272において、制御部220は、プレイリストに記載のカット、換言すると、プレイリストに基づく動画像を再生するために必要なカットを動画編集装置50Aおよび他のサーバ等から取得してステップS274へ進む。なお、プレイリストに代わる動画像を取得した場合は、カットの取得を省略してよい。
【0153】
ステップS274において、制御部220は、動画像(またはプレイリストに基づく動画像)を表示・入力部210で再生するための準備を行ってステップS276へ進む。
図11(b)は、表示・入力部210に表示される、動画像(またはプレイリストに基づく動画像)の再生準備の終了を知らせる告知画面を例示する図である。メッセージ81とともに、確認のための再生、換言すると「試写」を指示する操作ボタン82が表示されている。
制御部220は、メッセージ81を表示・入力部210に表示させてステップS278へ進む。
【0154】
ステップS278において、制御部220は、再生指示の有無を判定する。制御部220は、表示・入力部210に表示する操作ボタン82が操作された場合にステップS278を肯定判定してステップS280へ進む。制御部220は、操作ボタン82が操作されない場合にはステップS278を否定判定し、再生指示の操作を待つ。再生指示に関する操作は、ユーザが行う。
【0155】
ステップS280において、制御部220は、確認のための動画像再生を開始してステップS282へ進む。
図8(b)を参照して説明した場合と同様に、試写された動画像を視聴するユーザは、公知の一時停止アイコンを操作して再生を一時停止したり、早戻しアイコン、早送りアイコンを操作して早戻しまたは早送りしたりすることができる。
また、ユーザは、設定変更ボタン86を操作して、例えばウィンドウ85内に表示されているフレーム画像の表示速度およびフレーミングの変更指示を入力することができる。
さらに、ユーザは、再編集ボタン87を操作して、動画像を構成するカットの順序の入れ替え、カットの削除指示、または別のカットの追加指示等を入力することができる。
ユーザは、動画像の修正を指示する内容を入力し終えた場合に、保存ボタン88を操作する。なお、ユーザは、動画像を確認した結果、変更しなくてよいと判断した場合にも保存ボタン88を操作する。
【0156】
図9のステップS282において、制御部220は、「OK」(動画像(またはプレイリスト)の修正なし)か、否かを判定する。制御部220は、設定変更および再編集なしで保存ボタン88が操作された場合、または、設定変更または再編集後に保存ボタン88が操作された場合に、ステップS282を肯定判定してステップS284ヘと進む。
制御部220は、設定変更ボタン86の操作、または、再編集ボタン87の操作が行われた場合にステップS282を否定判定してステップS268ヘと進む。設定変更および再編集に関する入力操作および保存ボタン88の操作は、ユーザが行う。
【0157】
ステップS268において、制御部220は、通信部240を介して動画編集装置50Aへ修正指示を送信してステップS270へ進む。送信する修正指示には、動画像を構成するカットの順序の入れ替え、カットの削除指示、または別のカットの追加指示等を示す情報を含む。修正指示の送信操作は、ユーザが行う。
【0158】
ステップS284において、制御部220は、通信部240を介して動画編集装置50Aへ「OK」を送信して
図9による処理を終了する。「OK」は、ユーザが動画像の修正は不要と判断したことを示す、確認した旨の信号である。「OK」の送信操作は、ユーザが行う。
【0159】
(動画編集装置)
動画編集装置50Aの制御部510は、
図10による処理を繰り返し実行する。
図10のステップS552において、制御部510は、ユーザのスマートフォン200から送信された情報(S266(
図9))を受信してステップS554へ進む。
図10は、受信情報に含まれる動画像のテーマが「○○旅行」の事例である。
【0160】
ステップS554において、制御部510のひな形選択部511は、「○○旅行」のひな形を選択してステップS556へ進む。ステップS556において、検索部513は、ひな形に沿ってカットを検索する。
第1情報設定部として機能する情報検索設定部512は、ひな形に基づき、画像素材の属性情報のうちのいくつかを、検索用の第1の情報(第1検索条件と呼んでもよい)として設定する。また、第2情報設定部として機能する情報検索設定部512は、ひな形に基づき、画像素材の解析情報のうちのいくつかを、検索用の第2の情報(第2検索条件と呼んでもよい)として設定する。
ステップS556の検索範囲は、検索情報設定部512で設定された第1の情報および第2の情報に基づくユーザまたは同行者が旅行中に撮影した画像素材、および旅行中のユーザおよび同行者が写っている画像素材である。
ステップS558において、検索部513は、ひな形に沿ってカットを検索する。例えば、旅行先を紹介するシナリオがひな形に含まれていた場合、ネット上に広く公開されている画像素材を検索範囲に含めてもよい。ユーザの旅行先の天候は、必ずしもユーザが訪れた日に好天であるとは限らない。そのため、第1情報設定部として機能する情報検索設定部512は、第1の情報に撮影者および撮影日を特定する情報を含めない。これにより、ユーザの旅行先を紹介する画像素材については、ユーザおよび同行者以外の第三者によってユーザが訪れた日と別の日に撮影されネット上に公開されている画像素材を検索範囲に含めることができる。
実施の形態では、ステップS558の検索範囲に、検索情報設定部512で設定された第1の情報および第2の情報に基づく、ユーザの旅行先である観光地等の風景が写る画像素材であって、例えば撮影日がユーザの旅行日とは異なるものの天候が良い日に第三者によって撮影された画像素材を含める。
【0161】
ステップS560において、抽出部514は、検索部513で検索された画像素材からひな形に沿ったカットを含む画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。
【0162】
ステップS562において、制御部510は、採用したカットが使用許諾済か、否かを判定する。制御部510は、使用許諾済の場合にステップS562を肯定判定してステップS564へ進む。制御部510は、使用許諾がとれていない場合には、ステップS562を否定判定してステップS556へ戻る。ステップS556へ戻った制御部510は、例えば、使用許諾がとれていないカットに代えて使用許諾済のカットを検索、抽出し直す。なお、予め使用許諾済の画像素材の中から採用候補を選び、カットを抽出する場合には、ステップS562の処理を省略してよく、ステップS560の次にステップS564へ進んでよい。
【0163】
ステップS564において、制御部510のプレイリスト生成部516は、カットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリストを生成し、ステップS566へ進む。
【0164】
ステップS566において、制御部510は、プレイリストを、グループ(採用した複数の画像素材)を構成する画像素材と関連付けて、ストレージ部520の所定領域に仮保存してステップS568へ進む。
ステップS568において、制御部510は、プレイリストを、ユーザのスマートフォン200へ送信してステップS570へ進む。なお、制御部510は、スマートフォン200からの要求により、プレイリストの代わりに、またはプレイリストとともに動画像(プレイリストに基づく動画像)を送信することもできる。
【0165】
ステップS570において、制御部510は、プレイリストに記述されているカット群を、スマートフォン200へ送信してステップS572へ進む。なお、ステップS568でプレイリストに代わる動画像を送信した場合、および、スマートフォン200上でプレイリストに基づいて再生する場合には、カット群の送信を省略してよい。
ステップS572において、制御部510は、「OK」を受信したか、否かを判定する。上述したように、「OK」は、ユーザが動画像の修正は不要と判断したことを示す、確認した旨の信号である。
制御部510は、「OK」を受信した場合にステップS572を肯定判定してステップS574ヘと進む。制御部510は、「OK」を受信しない場合にステップS572を否定判定してステップS576へ進む。ステップS576において、制御部510は、スマートフォン200から送信された修正指示(S268(
図9))を受信してステップS556ヘと戻る。ステップS556へ戻った制御部510は、ステップS556以降の処理を繰り返す。
【0166】
ステップS574において、制御部510は、プレイリストまたはプレイリストが修正された後のプレイリストを、グループに含まれる画像素材のうちから最終的に採用された画像素材と関連付けて、ストレージ部520の所定領域に保存して
図10による処理を終了する。
【0167】
(3)テーマ「△△会」の例
<プレイリストの生成例>
動画像のテーマが「△△会」である場合のプレイリストの生成例を説明する。
テーマ「△△会」の場合、図示を省略するが、動画生成を依頼したユーザと、ユーザとともに会合に出席した出席者とのそれぞれについて、
図3に例示した時間軸と同様の時間軸を想定して説明する。時間軸の長さは、「△△会」の開催期間に対応する。そして、動画生成を依頼したユーザおよび出席者のそれぞれが「△△会」の開催中において撮りため画像素材が、検索対象となり得る。
なお、「△△会」を紹介するシナリオがひな形に含まれていた場合、ネット上に公開されている画像素材を検索範囲に含めてもよい。つまり、「△△会」を紹介する画像素材については、ユーザおよび出席者にかかわらず、ユーザおよび出席者以外の第三者によってネット上に公開されている画像素材を検索することができる。
【0168】
以上詳細に説明したように、動画編集装置50Aは、動画生成を依頼したユーザと、ユーザとともにイベントに参加した参加者等とのそれぞれについて、
図3に例示した時間軸と同様の時間軸を想定する。時間軸の長さは、イベントの開催期間であったり、イベントの主役等の人生の長さであったりする。そして、動画生成を依頼したユーザおよび参加者のそれぞれがイベント期間中または人生の中で撮りため画像素材が、検索対象となり得る。
なお、生成する動画像のテーマに関する名称、場所等を紹介するシナリオがひな形に含まれていた場合、ネット上で一般に公開されている画像素材を検索範囲に含めてもよい。つまり、名称、場所等を紹介する画像素材については、ユーザおよび参加者にかかわらず、ユーザおよび参加者以外の第三者によってネット上に公開されている画像素材を検索することができる。
動画編集装置50Aは、検索された画像素材からひな形に沿ったカットを含む画像素材を採用候補として選び、採用候補の画像素材からカットを抽出する。動画編集装置50Aは、カットの表示順、表示速度、フレーミングおよびBGM等の再生順、再生速度、および再生時の音量等を記述したプレイリストおよび/またはプレイリストに基づく動画像を自動で生成する。
【0169】
<プログラム>
上記画像処理システムの動画編集装置50Aの制御部510が実行する処理、すなわち
図7または
図10に例示した処理を実行させるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを、動画編集装置50Aへ供給してもよい。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。コンピュータシステムとは、例示した動画編集装置50Aのように、OS(Operating System)や周辺機器のハードウェアを含むものとする。
【0170】
また、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワーク通信網や電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【0171】
図12は、動画編集装置50Aに対するプログラムの供給を説明する図である。動画編集装置50Aは、例えばCD-ROM953に記録されたプログラムの提供を受けることができる。また、動画編集装置50Aは、通信回線900を介してプログラムの提供を受けることもできる。
コンピュータ952は、上記プログラムを提供するサーバコンピュータであり、ハードディスク等の記録媒体954にプログラムを格納している。通信回線900は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ952は、記録媒体954からプログラムを読み出し、通信回線900を介してプログラムを動画編集装置50Aに送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線900を介して送信する。動画編集装置50Aは、送信されたプログラムを受信する。
このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【0172】
上述した実施の形態によれば、次の作用効果が得られる。
(1)複数の画像素材に基づく動画像の再生に必要な情報としてのプレイリストを生成する動画編集装置50Aは、再生する動画像のテーマの情報を用いて、複数の画像素材から動画像に使用する複数のカットを検索する検索部513を備える。
このように構成したので、検索部513は、例えば、イベント名称等の動画像のテーマに合わせて適切なカットを検索することができる。そのため、検索されたカットを使用して生成されるプレイリストに基づく動画像は、テーマに即した動画像を期待する鑑賞者にとって、魅力のある動画像になる。
【0173】
(2)動画編集装置50Aは、動画像のテーマの情報を入力する第1入力部としての通信部530と、テーマに基づいて複数の画像素材の撮影時期、撮影地、撮影会場、撮影者等を示す属性情報を検索用の第1の情報として設定する第1情報設定部としての検索情報設定部512と、第1の情報とテーマとに基づいて複数の画像素材の解析情報(写っている主要被写体、光景、フレーミング領域等)を検索用の第2の情報として設定する第2情報設定部としての検索情報設定部512を備える。検索部513は、属性情報および解析情報を用いて、複数の画像素材から複数のカットを検索する。
このように構成したので、検索部513は、動画像のテーマに合う多くの画像素材の中から、より適切なカットを検索することができる。そのため、より適切なカットを使用して生成されるプレイリストに基づく動画像は、テーマに即した動画像を期待する鑑賞者にとって、より魅力のある動画像になる。
【0174】
(3)動画編集装置50Aの検索部513は、属性情報と解析情報とを時系列に示す付加情報としてのメタデータが付与されている複数の画像素材から複数のカットを検索する。
このように構成したので、検索部513は、画像素材に何(誰)が写っているかを、画像素材を再生する代わりにメタデータを解析することによって知ることができる。このようなメタデータを用いることで、検索部513は、テーマに即した適切なカットを、メタデータを用いない場合と比べて効率よく探すことができる。
【0175】
(4)動画編集装置50Aは、複数の画像素材に付加情報を付与するメタデータ付与部517をさらに備える。
このように構成したので、動画編集装置50Aにアップロードされた画像素材にメタデータが付与されていない場合には、メタデータ付与部517が画像の解析を行い、その画像素材に何(誰)が写っているか、いつどこで何のイベントが誰によって撮影されたか、等の情報をメタデータとして画像素材に付与または追加することができる。そのため、以降に行うカットの検索における検索効率を高めることができる。
【0176】
(5)上記(2)から(4)の動画編集装置50Aは、上記テーマの主役および主役と交友関係がある家族、友人および知人等の情報が入力される第2入力部としての通信部530を備える。検索部513は、属性情報および解析情報を用いて、主役および/または交友関係者が写る第1のカット、または、主役および/または交友関係者の滞在場所が写る第2のカットを含む複数のカットを、複数の画像素材から検索する。
このように構成したので、例えば、動画像のテーマがイベント名称である場合に、そのイベントの主役、イベントの参加者等が写っているカット、またはこれらの人がイベント中にいた場所が写っているカットを、適切に検索することができる。このように検索されたカットを使用して生成されるプレイリストに基づく動画像は、動画像を期待する鑑賞者にとって、より魅力のある動画像になる。
【0177】
(6)動画編集装置50Aにおいて、属性情報は、複数の画像素材の撮影者を示す情報を含み、検索部513は、撮影者が主役または交友関係者である複数の画像素材から、第1のカットまたは第2のカットを検索する。
このように構成したので、例えば、動画像のテーマがイベント名称である場合に、そのイベントの主役、イベントの参加者等が撮影者であるカットを、適切に検索することができる。このように検索されたカットを使用して生成されるプレイリストに基づく動画像は、動画像を期待する鑑賞者にとって、より魅力のある動画像になる。
【0178】
(7)動画編集装置50Aの検索部513は、撮影者のスケジュールが主役または交友関係者のスケジュールと一致する複数の画像素材から、第1のカットまたは第2のカットを検索する。
このように構成したので、このように構成したので、例えば、動画像のテーマがイベント名称である場合に、イベントに参加した人が撮影者であるカットを、適切に検索することができる。このように検索されたカットを使用して生成されるプレイリストに基づく動画像は、動画像を期待する鑑賞者にとって、より魅力のある動画像になる。
【0179】
(8)動画編集装置50Aにおいて、テーマは催事であり、検索部513は、催事の開催後に、催事において撮影した画像素材から、催事後に配信する動画像に追加するカットをさらに検索する。
このように構成したので、例えば、動画像のテーマが結婚式の場合に、結婚式の会場で再生した動画像に対し、結婚式の会場にいた人がその場で撮影したカットを追加することができる。このようにカットを追加して生成されるプレイリストに基づく動画像は、動画像を期待する鑑賞者にとって、より魅力のある動画像になる。
【0180】
(9)動画編集装置50Aは、あらかじめ用意され、テーマに対応付けられたひな形に基づいて、動画像に使用する複数のカットの再生順序、表示速度(あるいは表示時間)、および再生表示時のフレーミング等を決定するフレーミング決定部515をさらに備える。
このように構成したので、ひな形を用いない場合に比べて、複数のカットの間で表示時間が著しく偏ったり、主要被写体が画面に占める割合が極端に小さ過ぎたりするなど、動画像の不適切な再生が避けられ、動画像を期待する鑑賞者にとって、より魅力のある動画像が得られる。
【0181】
(10)複数の画像素材に基づき再生する動画像を編集する動画編集装置50Aは、再生する動画像のテーマの情報が入力される入力部としての通信部530と、テーマに基づいて複数の画像素材の撮影時期、撮影地、撮影会場、撮影者等を示す属性情報として第1の情報を設定する第1情報設定部としての検索情報設定部512と、第1の情報とテーマとに基づいて複数の画像素材の解析情報(写っている主要被写体、光景、フレーミング領域等)として第2の情報を設定する第2情報設定部としての検索情報設定部512と、属性情報および解析情報を用いて、複数の画像素材から動画像に使用する複数のカットを検索する検索部513と、検索部513で検索された複数のカットを用いて編集する編集部としての抽出部514およびフレーミング決定部515を備える。
このように構成したので、検索部513は、動画像のテーマに合わせて、多くの画像素材の中からより適切なカットを検索し、抽出部514およびフレーミング決定部515は、検索された複数のカットを用いて適切に編集することができる。そのため、動画像を期待する鑑賞者にとって、より魅力のある動画像が得られる。
【0182】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述した実施の形態では、ユーザの端末等としてスマートフォン200等を例示したが、通信回線等を介して接続されているタブレット型端末、パーソナルコンピュータ、または通信回線等を介して接続されているテレビ等をユーザの端末としてもよい。
また、動画編集装置50Aは、クラウド50上のサーバ等で構成される例を説明したが、クラウド50の代わりにユーザの身近に配置されるパーソナルコンピュータ等によって構成してもよい。
【0183】
(変形例2)
図8(b)に例示した動画像再生画面に試写された動画像を視聴するユーザXは、再生中の動画像を構成するカットの削除指示をピンチイン操作で、別のカットを追加する指示をピンチアウト操作によって行ってもよい。ピンチイン操作は、スマートフォン200の表示・操作部210の画面に触れた2本の指の間隔を小さくする操作であり、ピンチアウト操作は、画面に触れた2本の指の間隔を拡げる操作をいう。
【0184】
制御部220は、ピンチイン操作が行われた場合に、ウィンドウ85内に表示されているシーンに対応するカットの削除指示が入力されたと判断する。反対に、ピンチアウト操作が行われた場合には、ウィンドウ85内に表示されているシーンに関連するカットの追加指示が入力されたと判断する。
【0185】
カットの削除または追加指示が入力されたと判断した制御部220は、ステップS218(
図6)において、通信部240を介して動画編集装置50Aへ修正指示を送信してステップS220へ進む。この修正指示を受信(ステップS526(
図7))した動画編集装置50Aの検索部513は、ステップS506(
図7)へ戻ってカットの削除、または、カットの検索、抽出をし直す。
このように、ユーザは、再編集ボタン87を操作する以外のピンチイン操作、ピンチアウト操作でも、再生中の動画像を構成するカットの削除指示および追加指示を行うことができる。
カットの追加をピンチアウト操作以外の他の操作に基づいて行ってもよい。例えば、検索された画像素材の中から任意の素材を指定してタップ操作された場合に、タップ操作された素材を抽出素材に追加する構成にしてもよい。
さらに、カットの削除をピンチイン操作以外の他の操作に基づいて行ってもよい。例えば、抽出素材の中から任意の素材を指定してフリック操作された場合に、フリック操作された素材を抽出素材から削除する構成にしてもよい。
【0186】
上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。実施形態および変形例で示された各構成を組み合わせて用いる態様も本発明の範囲内に含まれる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0187】
1…動画編集システム、50A…動画編集装置、100…オーバーヘッドディスプレイ、200…スマートフォン、210…表示・入力部、220…制御部、240…通信部、260…撮影部、510…制御部、511…ひな形選択部、512…検索情報設定部、513…検索部、514…抽出部、515…フレーミング決定部、516…プレイリスト生成部、517…メタデータ付与部、520…ストレージ部、530…通信部、601、602、603、604、605、611、612、613、614、615、616、621…画像素材、650、660、670、680、690、700、710、720、750、760…グループ、650A、660A、670A、680A、690A、700A、710A、720A、750A、760A…プレイリスト、900…通信回線、952…コンピュータ、953…CD-ROM