特許 6201501 動画編集装置、動画編集方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6201501

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】動画編集装置、動画編集方法およびプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20170914BHJP

   H04N 5/93 20060101ALI20170914BHJP

【ＦＩ】

   H04N5/91

   H04N5/93 050

【請求項の数】12

【全頁数】23

(21)【出願番号】特願2013-164439(P2013-164439)

(22)【出願日】2013年8月7日

(65)【公開番号】特開2015-35663(P2015-35663A)

(43)【公開日】2015年2月19日

【審査請求日】2016年7月7日

(73)【特許権者】

【識別番号】597047392

【氏名又は名称】辰巳電子工業株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】辰巳 聡

(72)【発明者】

【氏名】苅田 多以知

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２０１０−２４４４３７（ＪＰ，Ａ）

【文献】 特開２００４−０１５７５２（ＪＰ，Ａ）

【文献】 特開２０１１−０９１７２５（ＪＰ，Ａ）

【文献】 特開２００８−０７０９５４（ＪＰ，Ａ）

【文献】 特開２００６−３３１０３９（ＪＰ，Ａ）

【文献】 特開２０１３−０６６１７０（ＪＰ，Ａ）

【文献】 特開２０１０−１７６３２９（ＪＰ，Ａ）

【文献】 特開２０１０−１２２９８７（ＪＰ，Ａ）

【文献】 特開２０１１−１３０２０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／９１ − ５／９５６

Ｈ０４Ｎ ５／７６ − ５／７７５

Ｇ０３Ｂ １７／４８ − １７／５５

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８− ３／０４８９

Ｇ０６Ｔ １１／６０ − １３／８０

Ｇ０６Ｔ １／００ − １／４０

(57)【特許請求の範囲】

【請求項1】

処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得する動画像取得部と、
前記素材動画像に装飾として重畳する装飾画像を、前記素材動画像の映像とともに前記タッチパネルに表示する装飾画像表示部と、
前記タッチパネルに表示された前記装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまで前記タッチパネルにおける前記装飾画像の位置座標の変化を時系列データとして格納する軌跡記憶部と、
前記時系列データをもとに前記装飾画像が移動した軌跡を前記タッチパネルに表示する軌跡表示部と、
前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する際に用いられる、前記素材動画像を特定する情報、前記装飾画像を特定する情報、および前記時系列データを対応づけた出力データを生成する出力部とを備えることを特徴とする動画編集装置。

【請求項2】

前記軌跡表示部は、前記タッチパネルが前記装飾画像の軌跡を表示しているときに、ユーザが前記タッチパネルが表示する前記装飾画像に触れた場合、前記タッチパネルによる軌跡の表示を消去することを特徴とする請求項１に記載の動画編集装置。

【請求項3】

前記軌跡表示部は、前記タッチパネルによる軌跡の表示を消去した後に、ユーザが前記タッチパネルに表示された前記装飾画像に触れた場合、前記タッチパネルに消去した軌跡を再度表示させることを特徴とする請求項２に記載の動画編集装置。

【請求項4】

前記素材動画像上に合成させる前記装飾画像の移動に対するユーザの決定を取得する軌跡決定部をさらに備え、
前記軌跡表示部は、前記軌跡決定部がユーザの決定を取得するまでは、前記タッチパネルによる軌跡の表示を消去した後に前記装飾画像の位置をユーザが移動させた場合、最新の軌跡を前記タッチパネルに表示し、
前記出力部は、前記軌跡決定部がユーザの決定を取得したときに前記タッチパネルに表示されている軌跡の前記時系列データを用いて出力データを生成することを特徴とする請求項１から３のいずれかに記載の動画編集装置。

【請求項5】

前記出力データをもとに、前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する出力映像生成部をさらに備え、
前記出力映像生成部は、前記時系列データにおける前記装飾画像の位置座標の変化率に応じて、前記素材動画像上に重畳して表示する前記装飾画像の移動速度を変更することを特徴とする請求項１から４のいずれかに記載の動画編集装置。

【請求項6】

前記動画像取得部が取得した動画像中に、前記装飾画像の重畳を開始するタイミングおよび終了するタイミングの指定をユーザから取得する重畳期間取得部をさらに備え、
前記出力映像生成部は、前記時系列データにおける前記装飾画像の位置座標の変化率と、前記重畳期間取得部が取得した開始および終了のタイミングとをもとに、前記素材動画像上に重畳させる前記装飾画像の移動速度を設定することを特徴とする請求項５に記載の動画編集装置。

【請求項7】

前記素材動画像の開始から終了までの間に表示される画像のうち、いずれかの画像の選択をユーザから取得する画像選択部をさらに備え、
前記出力映像生成部は、前記素材動画像のうち、前記画像選択部が取得した画像が表示される時点から、前記素材動画像における前記装飾画像の移動が開始される映像を生成することを特徴とする請求項５または６に記載の動画編集装置。

【請求項8】

前記軌跡表示部が前記タッチパネルに前記装飾画像の軌跡を表示しているときに、当該軌跡の修正をユーザから受け付ける軌跡修正部をさらに備え、
前記出力部は、前記軌跡修正部が軌跡の修正を受け付けた場合、修正後の軌跡の時系列データを用いて出力データを生成することを特徴とする請求項５から７のいずれかに記載の動画編集装置。

【請求項9】

前記タッチパネルに表示された前記装飾画像の大きさまたは回転角の少なくとも一方の変更をユーザから取得する装飾画像変換部と、
前記装飾画像の移動前の位置から移動後の位置に至るまでの間に、前記装飾画像変換部が取得した変更の遷移も記憶する重畳指示記憶部とをさらに備え、
前記出力部は、前記重畳指示記憶部が記憶する変更の遷移も前記出力データに対応づけて生成することを特徴とする請求項５から８のいずれかに記載の動画編集装置。

【請求項10】

前記軌跡表示部は、前記時系列データにおける前記装飾画像の位置座標の変化率が異なる場合、前記タッチパネルに表示する前記装飾画像の軌跡の表示態様を変更して当該軌跡を表示することを特徴とする請求項１から９のいずれかに記載の動画編集装置。

【請求項11】

処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得するステップと、
前記素材動画像に装飾として重畳する装飾画像を、前記素材動画像の映像とともに前記タッチパネルに表示するステップと、
前記タッチパネルに表示された前記装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまで前記タッチパネルにおける前記装飾画像の位置座標の変化を時系列データとして格納するステップと、
前記時系列データをもとに前記装飾画像が移動した軌跡を前記タッチパネルに表示するステップと、
前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する際に用いられる、前記素材動画像を特定する情報、前記装飾画像を特定する情報、および前記時系列データを対応づけた出力データを生成するステップとをプロセッサが実行することを特徴とする動画編集方法。

【請求項12】

処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得する機能と、
前記素材動画像に装飾として重畳する装飾画像を、前記素材動画像の映像とともに前記タッチパネルに表示する機能と、
前記タッチパネルに表示された前記装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまで前記タッチパネルにおける前記装飾画像の位置座標の変化を時系列データとして格納する機能と、
前記時系列データをもとに前記装飾画像が移動した軌跡を前記タッチパネルに表示する機能と、
前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する際に用いられる、前記素材動画像を特定する情報、前記装飾画像を特定する情報、および前記時系列データを対応づけた出力データを生成する機能とをコンピュータに実現させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画編集装置、動画編集方法およびプログラムに関する。

【背景技術】

【0002】

近年、いわゆるスマートフォンやタブレット、ファブレットと呼ばれる端末機が爆発的に普及してきている。これらの通信機器は、ほとんどの場合タッチパネルを備える表示部を有しており、ユーザに機器の実行画面を提示するとともにユーザの操作を受け付ける操作画面ともなっている。

【0003】

スマートフォンやタブレットの普及に伴ってこれらの演算能力も飛躍的に向上しており、演算量を要する処理も実行できるようになってきている。例えば、従来であれば専用のサーバやデスクトップＰＣ（Personal Computer）を用いなければ実行することが困難であった動画編集等の処理も、スマートフォンやタブレット等の端末機で実行することも実用段階となった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

動画編集をするためのアプリケーションは種々存在するが、これらは使用の際に専門的な知識が要求されることが多く、また編集作業も煩雑である。このため、スマートフォンやタブレット等を用いるユーザには敷居の高いものとなりがちである。本願の発明者は、ある動画像上に動きのある装飾的な画像を簡便に追加することができる技術を提供できれば、スマートフォンやタブレット等のユーザにとっても容易に利用できる動画編集機能を提供できることについて認識するに至った。

【0005】

本願発明は上記課題に鑑みたもので、素材画像上に動きのある装飾画像を簡便に追加する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の動画編集装置は、処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得する動画像取得部と、素材動画像に装飾として重畳する装飾画像を、素材動画像の映像とともにタッチパネルに表示する装飾画像表示部と、タッチパネルに表示された装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまでタッチパネルにおける装飾画像の位置座標の変化を時系列データとして格納する軌跡記憶部と、時系列データをもとに装飾画像が移動した軌跡をタッチパネルに表示する軌跡表示部と、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成する際に用いられる、素材動画像を特定する情報、装飾画像を特定する情報、および時系列データを対応づけた出力データを生成する出力部とを備える。

【0007】

本発明の別の態様は、動画編集方法である。この方法は、処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得するステップと、素材動画像に装飾として重畳する装飾画像を、素材動画像の映像とともにタッチパネルに表示するステップと、タッチパネルに表示された装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまでタッチパネルにおける装飾画像の位置座標の変化を時系列データとして格納するステップと、時系列データをもとに装飾画像が移動した軌跡をタッチパネルに表示するステップと、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成する際に用いられる、素材動画像を特定する情報、装飾画像を特定する情報、および時系列データを対応づけた出力データを生成するステップとをプロセッサが実行する。

【0008】

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現の少なくとも一部を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。また、このプログラムが通信回線で伝送されてもよい。

【発明の効果】

【0009】

本発明によれば、素材画像上に動きのある装飾画像を簡便に追加する技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る動画編集装置を実現する各構成要素の関係を模式的に示す図である。

【図2】実施の形態に係る動画編集装置の機能構成を模式的に示す図である。

【図3】実施の形態に係る動画像操作部の機能構成を模式的に示す図である。

【図4】実施の形態に係る装飾画像操作部の機能構成を模式的に示す図である。

【図5】実施の形態に係る軌跡操作部の機能構成を模式的に示す図である。

【図6】素材動画像の指定画面の一例であり、処理対象の素材動画のテーマを選択する画面を例示する図である。

【図7】素材動画像の指定画面の一例であり、選択されたテーマに属する素材画像のデザインを選択する画面を例示する図である。

【図8】素材動画像の指定画面の一例であり、選択されたデザインと組み合わせる静止画像を選択する画面を例示する図である。

【図9】装飾画像の設定画面の一例であり、装飾画像を重畳するための素材動画像を拡大して表示する画面を例示する図である。

【図10】装飾画像の設定画面の一例であり、素材動画像に重畳する装飾画像を選択する画面を例示する図である。

【図11】装飾画像の設定画面の一例であり、装飾画像の移動を設定する初期画面を例示する図である。

【図12】図１１に示す画面から装飾画像の位置、大きさ、および回転角度を変更した後の画面を示す図である。

【図13】素材動画像上に装飾画像および装飾画像の移動の軌跡を重畳して表示した画面一例を示す図である。

【図14】図１４（ａ）および（ｂ）は、装飾画像の移動の軌跡の別の表示態様を示す図である。

【図15】装飾画像の重畳を開始するタイミングおよび終了するタイミングを指定するためのインタフェースの一例を示す図である。

【図16】実施の形態に係る動画像編集装置で編集した動画像をネットワークを介して動画像編集装置とは異なる別の装置に投稿するための画面を示す図である。

【図17】実施の形態に係る動画編集装置が実行する動画編集処理の流れを説明するフローチャートである。

【図18】実施の形態に係る装飾画像操作部および軌跡操作部が実行する処理の流れを説明するフローチャートの前半部である。

【図19】実施の形態に係る装飾画像操作部および軌跡操作部が実行する処理の流れを説明するフローチャートの後半部である。

【発明を実施するための形態】

【0011】

本発明の実施の形態の概要を述べる。実施の形態に係る動画編集装置１００は、タッチパネル１０を備え、表示機能のみならずＧＵＩ（Graphical User Interface）の技術を利用したユーザの操作画面としても機能する。実施の形態に係る動画編集装置１００は、処理対象とする動画像（以下、「素材動画像」という。）と、その素材動画像を装飾するための装飾画像の指定をユーザから取得する。続いて動画編集装置１００は、タッチパネル１０に表示した装飾画像をユーザが動かす（例えば、装飾画像の位置移動、拡大縮小、回転等）と、その動きを記録する。動画編集装置１００は、記録した装飾画像の動きに追従させて動く装飾画像を、再生中の素材動画像に重畳して表示する。

【0012】

実施の形態に係る動画編集装置１００が処理対象とする「素材動画像」は、複数のフレームから構成される一般的な動画のみならず、何らかの動きが定義されており、視聴者に動く画像として認識されるものも含む。例えば、１枚の静止画像であっても、表示部における表示の開始位置と終了位置との座標が定義されており、開始位置から終了位置に至るまで表示位置、大きさ、回転角度等の見た目を変更しながらその画像を表示する場合、実施の形態に係る動画編集装置１００が処理対象とする素材動画像である。

【0013】

図１は、実施の形態に係る動画編集装置１００を実現する各構成要素の関係を模式的に示す図である。動画編集装置１００は、ＣＰＵ（Central Processing Unit）やメモリ等のハードウェア１１０を備え、動画編集装置１００を統括的に制御するオペレーティングシステム１２０を実行する。動画編集をするためのアプリケーション１３０は、オペレーティングシステム１２０の制御の下で実行される。以下本明細書において、動画編集装置１００の例としてスマートフォンやタブレット端末を例に説明するが、動画編集装置１００はこれらに限られず、例えばタッチパネル機能のついた表示部を有する電子書籍端末、電子辞書、ワンセグテレビ、携帯ゲーム機等であってもよい。あるいは、必要に応じて撮像した画像をシールにプリントしたり、ネットワークを介してサーバに送信したりすることができる遊技用撮像装置であってもよい。

【0014】

図２は、実施の形態に係る動画編集装置１００の機能構成を模式的に示す図である。動画編集装置１００は、タッチパネル１０、出力映像生成部２０、出力部３０、送信部４０、動画像操作部２００、装飾画像操作部３００、および軌跡操作部４００を備える。本実施の形態においては、これらの各部はアプリケーション１３０のモジュールとして提供されることを前提とするが、これらの少なくとも一部がオペレーティングシステム１２０が提供する機能として実現できることは、当業者であれば容易に理解できることである。

【0015】

図３は、実施の形態に係る動画像操作部２００の機能構成を模式的に示す図である。また図４は、実施の形態に係る装飾画像操作部３００の機能構成を模式的に示す図である。さらに、図５は、実施の形態に係る軌跡操作部４００の機能構成を模式的に示す図である。図２、図３、図４、および図５は、実施の形態に係る動画編集装置１００を実現するための機能構成を示しており、その他の構成は省略している。図２〜図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア１１０である、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたオペレーティングシステム１２０を実現するプログラムやアプリケーション１３０等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0016】

図２において、タッチパネル１０は、オペレーティングシステム１２０やアプリケーション１３０の実行画面を表示する表示部として機能する。タッチパネル１０はまた、ユーザが動画編集装置１００を操作したりするための入力インタフェースとしても機能する。

【0017】

動画編集装置１００において、動画像操作部２００が処理対象とする素材動画像を選択してタッチパネル１０に表示するとともに、装飾画像操作部３００は素材動画像に重畳して装飾するための装飾画像をタッチパネル１０に表示する。ユーザがタッチパネル１０に表示された装飾画像をドラッグ等の操作によって移動すると、軌跡操作部４００は装飾画像の移動の軌跡を記録するとともに、タッチパネル１０に軌跡を表示する。

【0018】

出力部３０は、動画像操作部２００が取得した素材動画像、装飾画像操作部３００が取得した装飾画像、および軌跡操作部４００が記録した軌跡のデータを関連づけた出力データを生成する。出力映像生成部２０は、出力部３０が出力した出力データを参照して、素材動画像上を装飾画像が軌跡に沿って移動する映像を、動画像の編集者であるユーザに提示する。また送信部４０は、出力部３０が出力した出力データをインターネット等の図示しないネットワークを介して、動画編集装置１００とは異なる外部装置に送信する。出力データを受信した外部装置は例えばサーバであり、受信した出力データを参照することで、出力映像生成部２０が提示する映像と同様の映像を再現することができる。

【0019】

以下、図２〜図５を参照して、実施の形態に係る動画編集装置１００の各部についてより詳細に説明する。

【0020】

動画像操作部２００は、動画編集装置１００が処理対象とする素材動画像を操作する。動画像操作部２００は、図３に示すように、動画像取得部２１０、動画像記憶部２２０、および画像選択部２３０を備える。

【0021】

動画像取得部２１０は、動画編集装置１００の処理対象として設定する素材動画像の指定を、タッチパネル１０を介してユーザから取得する。より具体的に、動画像取得部２１０は、動画像記憶部２２０が記憶している１以上の動画像をタッチパネル１０に表示する。ユーザがタッチパネル１０に表示された動画像をタップして選択すると、動画像取得部２１０は選択された動画像を処理対象の素材動画として選択する。なお、画像選択部２３０と、素材動画像の指定についての詳細は後述する。

【0022】

図２に示す装飾画像操作部３００は、素材動画像に重畳して装飾するための装飾画像を操作する。装飾画像操作部３００は、図４に示すように、装飾画像表示部３１０、装飾画像記憶部３２０、装飾画像変換部３３０、重畳指示記憶部３４０、および重畳期間取得部３５０を備える。

【0023】

装飾画像記憶部３２０は、動画像取得部２１０が取得した素材動画像上に装飾として重畳するための装飾画像を格納する。装飾画像表示部３１０は、装飾画像記憶部３２０から取得した装飾画像をタッチパネル１０に表示する。このとき、装飾画像の表示位置は、タッチパネル１０を介してユーザが指定した位置座標をもとに決定される。ユーザがタッチパネル１０に表示された装飾画像をドラッグ等の操作によって移動すると、装飾画像表示部３１０は、ユーザの操作に追従して装飾画像の表示を移動させる。ここでタッチパネル１０には、動画像取得部２１０が取得した素材動画像も表示されている。このため、結果としてタッチパネル１０には素材動画像と装飾画像とが同時に表示される。

【0024】

図２に示す軌跡操作部４００は、素材動画像に重畳する装飾画像の移動を指定する。軌跡操作部４００は、図５に示すように、軌跡表示部４１０、軌跡記憶部４２０、軌跡修正部４３０、および軌跡決定部４４０を備える。

【0025】

軌跡記憶部４２０は、タッチパネル１０に表示された装飾画像が移動するようになっている場合、移動が開始する位置（以下、「開始位置座標」という。）から移動が停止する位置（以下、「終了位置座標」という。）に至るまで、タッチパネル１０における装飾画像の位置座標の変化を時系列データとして格納する。軌跡表示部４１０は、所定のサンプリングレートでタッチパネル１０における装飾画像の位置座標を取得する。ここで「所定のサンプリングレート」とは、タッチパネル１０における装飾画像の位置座標の変化を記録するために定められた周波数であり、タッチパネル１０の画面の広さや、ユーザの指の移動として想定される速度、動画編集装置１００の記憶容量等を勘案して実験により定めればよいが、例えば１０回／秒である。

【0026】

軌跡記憶部４２０は、軌跡表示部４１０が順次取得する装飾画像の位置座標を、取得した順番で記憶する。軌跡表示部４１０はまた、時系列データをもとに、装飾画像が移動した軌跡をタッチパネル１０に表示する。ここでタッチパネル１０に表示する軌跡とは、例えば軌跡記憶部４２０が記憶する位置座標の時系列データを順番につないだ線である。タッチパネル１０に表示する軌跡の表示態様についての具体例は後述する。

【0027】

図２に示す出力部３０は、少なくとも素材動画像を特定する情報、装飾画像を特定する情報、および時系列データの３つの情報を対応づけた出力データを生成する。ここで、「素材動画像を特定する情報」および「装飾画像を特定する情報」とは、それぞれ素材動画像および装飾画像を一意に特定可能な情報であればどのようなものでもよく、例えばファイル名やＩＤ（IDentification）である。出力データは、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成する際に、出力映像生成部２０が用いるデータである。出力映像生成部２０は、出力部３０が生成した出力データをもとに、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成し、タッチパネル１０に表示する。出力部３０が生成する出力データは、素材動画像を特定する情報や、装飾画像を特定する情報、および時系列データを必ずしもひとつのファイルとして作成しなくてもよく、これらが互いに紐づけられたデータであればよい。

【0028】

ここで出力映像生成部２０がタッチパネル１０に表示する映像は、動画像の編集者であるユーザから見て、素材動画像上を装飾画像が移動するように見えればよく、必ずしもひとつの動画ファイルとなっていなくてもよい。すなわち、出力映像生成部２０は、出力データ中の素材動画像を特定する情報を用いて素材動画を取得してタッチパネル１０に再生する。出力映像生成部２０は、出力データ中の装飾画像を特定する情報を用いて装飾画像を取得し、時系列データにしたがって再生中の素材動画上に装飾画像を移動させる。ひとつの動画ファイルを生成する場合と比較して、各フレームを生成する必要がなく、データ容量を低減しうる点で有利である。また、動画ファイル生成の際の画像圧縮に伴う映像の劣化も抑制できる。

【0029】

上述したように、動画編集装置１００のユーザがタッチパネル１０に表示された装飾画像を移動すると、その軌跡もタッチパネル１０上に表示される。これにより、ユーザは処理対象とする素材動画像上に重畳させる装飾画像の動きを直感的かつ簡便に指示することが可能となる。

【0030】

タッチパネル１０に表示される装飾画像の軌跡は、いわば動画編集装置１００に対して装飾画像の移動を指示する命令である。軌跡表示部４１０は、タッチパネル１０に装飾画像の軌跡が表示されているときに、ユーザがタッチパネル１０が表示する装飾画像に触れた場合、軌跡の表示を消去する。これにより、ユーザは素材動画像上に重畳させる装飾画像の移動の指示を簡便な動作でクリアすることが可能となる。なお、装飾画像の軌跡は装飾画像の移動を指示する命令であるため、出力映像生成部２０が生成する映像中には原則として表示されない。しかしながら、編集者であるユーザが、素材動画像の装飾の一部として表示することを明示した場合、出力映像生成部２０は装飾画像の軌跡も表示する。このため、出力部３０が生成する出力データ中に、装飾画像の軌跡を表示するか否かの指示を格納してもよい。

【0031】

ユーザがタッチパネル１０が表示する装飾画像に触れた場合、軌跡表示部４１０は軌跡の表示を消去するが、この段階では、軌跡記憶部４２０は、その軌跡に対応する時系列データまでは消去しない。このため、軌跡表示部４１０は、タッチパネル１０による軌跡の表示を消去した後に、ユーザがタッチパネル１０に表示された装飾画像に触れた場合、軌跡記憶部４２０が格納している時系列データをもとに、消去した軌跡を再度表示させる。これにより、例えばユーザが誤操作によって軌跡の表示を消してしまった場合でも、一度消去した軌跡の表示を簡便に復活することができる。

【0032】

図５に示すように、軌跡操作部４００は軌跡決定部４４０を備える。軌跡決定部４４０は、素材動画像上に合成させる装飾画像の移動に対するユーザの決定を取得する。具体例は後述するが、タッチパネル１０には、ユーザによる決定を指示するための「保存」ボタンがＧＵＩを用いて作成され、表示されている。軌跡表示部４１０は、ユーザが保存ボタンをタップするまで、すなわち軌跡決定部４４０がユーザの決定を取得するまでは、タッチパネル１０による軌跡の表示を消去した後に装飾画像の位置をユーザが移動させた場合、最新の軌跡をタッチパネル１０に表示する。出力部３０は、軌跡決定部４４０がユーザの決定を取得したときにタッチパネル１０に表示されている軌跡に対応する、最新の時系列データを用いて出力データを生成する。このように、ユーザは最終的に装飾画像の移動を決定するまでに、簡便に何度でも軌跡の設定をやり直すことができる。

【0033】

出力映像生成部２０は、ユーザが装飾画像の移動の軌跡を設定する際に、タッチパネル１０上で装飾画像を移動させる速さによって、素材動画像上に重畳して表示する前記装飾画像の移動速度を変更する。より具体的には、ユーザが装飾画像の移動の軌跡を設定する際に、タッチパネル１０上で装飾画像を早く移動させた場合は、遅く移動させた場合と比較して、素材動画像上に重畳して表示する前記装飾画像の移動速度を早くする。

【0034】

これを実現するために、出力映像生成部２０は、時系列データにおける装飾画像の位置座標の変化率に応じて、素材動画像上に重畳して表示する装飾画像の移動速度を変更する。上述したように、軌跡表示部４１０は、所定のサンプリングレートでタッチパネル１０における装飾画像の位置座標を記録している。したがって、ユーザがタッチパネル１０上で装飾画像を早く移動させた場合は、遅く移動させた場合と比較して、時系列データで隣り合う位置座標間の距離が長くなる。すなわち、時系列データで隣り合う位置座標間の距離は位置座標の変化率を表し、ユーザが装飾画像の移動の軌跡を設定する際の装飾画像の移動速度を反映するデータとなる。

【0035】

図４に示すように、装飾画像操作部３００は重畳期間取得部３５０を備える。重畳期間取得部３５０は、動画像取得部２１０が取得した素材動画像中に、装飾画像の重畳を開始するタイミングおよび終了するタイミングの指定をユーザから取得する。出力映像生成部２０は、時系列データにおける装飾画像の位置座標の変化率と、重畳期間取得部３５０が取得した開始および終了のタイミングとをもとに、素材動画像上に重畳させる装飾画像の移動速度を設定する。重畳期間取得部３５０が取得した開始および終了のタイミングは、重畳指示記憶部３４０が記憶する。

【0036】

例えば、動画像取得部２１０が取得した素材動画像の再生時間が１０秒である場合を考える。このとき、重畳期間取得部３５０が取得した開始のタイミングが、素材動画像の再生から２秒後の時点であり、終了のタイミングが再生から８秒後の時点であるとする。この場合、素材動画像中に装飾画像が重畳される期間は全部で６秒となる。出力映像生成部２０は、重畳開始のタイミングである素材動画像の再生から２秒後に、時系列データの最初の位置座標（上述した「開始位置座標」）に装飾画像を表示させ、重畳終了のタイミングである素材動画像の再生から８秒後に時系列データの最後の位置座標（上述した「終了位置座標」）に装飾画像が到達するように、時系列データの各位置座標をつないだ軌跡に沿って装飾画像を移動させる。出力映像生成部２０は、移動中の装飾画像の速度は、そのときの位置座標の変化率に応じて設定する。

【0037】

したがって、装飾画像の移動経路が同じ場合では、重畳期間取得部３５０が取得した開始のタイミングから終了のタイミングまでの重畳期間が長くなるほど装飾画像の移動速度は遅くなり、短くなるほど装飾画像の移動速度は速くなる。一方で、重畳期間における移動中の装飾画像の速度の配分の仕方は時系列データによって定まるため、重畳期間の長短によらず同じである。これにより、ユーザは素材動画像上に装飾画像を重畳させる期間を簡便に設定できる。ユーザはまた、素材動画像上に重畳させる装飾画像の速度を簡便に設定することもできる。

【0038】

上述したとおり、タッチパネル１０に表示される装飾画像の軌跡は、装飾画像の移動を指示する命令である。したがって、ユーザが装飾画像を移動した後に、その軌跡自体を修正することで装飾画像の移動を修正できれば便利である。

【0039】

そこで装飾画像操作部３００は軌跡修正部４３０を備える。軌跡修正部４３０は、軌跡表示部４１０がタッチパネル１０に装飾画像の軌跡を表示しているときに、当該軌跡の修正をユーザから受け付ける。例えばユーザはタッチパネル１０に表示されている軌跡の位置を変えたり、軌跡の一部を伸ばしたりすることにより、軌跡を修正することができる。この軌跡の修正に基づいて、軌跡記憶部に記憶された時系列データが書き換えられる。なお、ユーザによる装飾画像の軌跡の修正についての詳細は、軌跡の表示態様とともに後述する。

【0040】

出力部３０は、軌跡修正部４３０が軌跡の修正を受け付けた場合、修正後の軌跡の時系列データを用いて出力データを生成する。これにより、ユーザは装飾画像の移動ではなくその軌跡を直接修正することで、素材動画像に重畳する装飾画像の動きを簡便に調整することができる。

【0041】

以上、タッチパネル１０に表示された装飾画像をユーザが移動させることで、素材動画像に重畳する装飾画像の移動を指定する場合について説明した。ここで装飾画像の移動のみならず、装飾画像自体の大きさや回転角等も変更できれば、装飾の幅が広がり便利である。

【0042】

そこで装飾画像操作部３００は装飾画像変換部３３０を備える。装飾画像変換部３３０は、タッチパネル１０に表示された装飾画像の大きさまたは回転角の少なくとも一方の変更をユーザから取得する。具体的には、ユーザが装飾画像を移動中にタッチパネル１０をピンチイン操作することを契機として装飾画像を縮小したり、ピンチアウト操作を契機として装飾画像を拡大して表示したりする。なお、「ピンチイン操作」とは、タッチパネル１０に２本の指を乗せたまま、その指の間隔を狭める動作のことを意味し、「ピンチアウト操作」とは、タッチパネル１０に２本の指を乗せたまま、その指の間隔を広げる動作のことを示す。

【0043】

ユーザはまた、例えば二本の指で装飾画像をタッチしたまま、一方の指を固定したまま他方の指を動かすことで、装飾画像を回転することもできる。この場合、装飾画像変換部３３０は、装飾画像は固定された指を回転中心として、他方の指の動きに追従して装飾画像を回転する。装飾画像表示部３１０は、装飾画像変換部３３０が拡縮や回転した画像を取得して、その画像を軌跡に沿って表示する。

【0044】

重畳指示記憶部３４０は、装飾画像の移動前の位置（開始位置座標）から移動後の位置（終了位置座標）に至るまでの間に、装飾画像変換部３３０が取得した変更の遷移も記憶する。出力部３０は、重畳指示記憶部３４０が記憶する変更の遷移も、出力データに加えて出力データを生成する。これにより、ユーザは装飾画像の移動時における当該装飾画像の大きさや回転を簡便に設定することができる。

【0045】

上述したとおり、重畳指示記憶部３４０は、重畳期間取得部３５０が取得した開始および終了のタイミングを記憶している。重畳指示記憶部３４０は、重畳期間取得部３５０が取得した開始のタイミングから終了のタイミングの間における装飾画像の大きさおよび回転角度を記憶する。ここで、装飾画像の大きさは、装飾画像記憶部３２０に記憶されている元画像の大きさに対する拡縮率で表すことができる。また、装飾画像の回転角度は０〜２πまでのラジアンで表すことができる。重畳指示記憶部３４０は、開始のタイミングから終了のタイミングまでの長さを１としたときの相対的なタイミングにおける装飾画像の拡縮率および回転角度を記憶する。例えば、ユーザが重畳期間のちょうど中間のタイミングで装飾画像の大きさを１．５倍にし、１８０度回転した場合、重畳指示記憶部３４０は、相対的なタイミングが０．５と、拡縮率１．５および回転角πとを紐づけて格納する。これにより、出力映像生成部２０は、装飾画像の大きさおよび回転角の時間変位を知ることができる。

【0046】

以上、実施の形態に係る動画編集装置１００の各部について個別に説明した。次に、動画編集装置１００を用いた動画編集の一連の流れを図６〜図１６を参照して例示する。

【0047】

図６は、素材動画像の指定画面の一例であり、処理対象の素材動画のテーマを選択する画面を例示する図である。図６に示す例では、符号５０で示すように「おしゃれ」や「ホラー」等、処理対象とする素材動画像のテーマがタッチパネル１０上に表示されている。ユーザがタッチパネル１０に表示された複数のテーマの中から所望のテーマをタップすることを契機として、動画像取得部２１０はそのテーマを選択する。ユーザはまた、作成中の動画が存在する場合には、作成中アイコン５２をタップすることで、動画編集を再開することができる。また、お気に入りテンプレアイコン５４をタップすることで、自身で予め選択してストックしておいたお気に入りのテーマ等を集めたテンプレートを開くこともできる。さらに、閉じるアイコン５６をタップすることで、ユーザは動画編集処理を終了することができ、作成履歴アイコン５８をタップすることで過去に作成した編集動画を閲覧することもできる。

【0048】

図６においてユーザがいずれかのテーマを選択すると、タッチパネル１０が表示する画面は図７に示す画面に遷移する。図７は、素材動画像の指定画面の一例であり、選択されたテーマに属する素材画像のデザインを選択する画面を例示する図である。図７に示すデザインは動画像記憶部２２０に格納されており、動画像取得部２１０は動画像記憶部２２０からデザインを読み出してタッチパネル１０に表示する。

【0049】

素材画像のデザインは、それぞれ固有の動きが定義されている。例えば図７において符号６０で示すデザイン６０は「ｃｈｕ」という名前がつけられており、額縁を表現するフレーム６２とキスマーク６４とが含まれる。デザイン６０は所定の再生時間（例えば１０秒間）が定義されており、デザイン６０を再生するとはじめの８秒間はフレーム６２のみが表示され、再生から所定の時間（例えば８秒）経過するとキスマーク６４が表示される。ユーザが任意の静止画像と、デザイン６０との組み合わせを選択すると、動画像取得部２１０は、フレーム６２に縁取られた当該静止画にキスマーク６４が追加される動画像を作成する。

【0050】

なお、デザインに定義される動きはフレーム６２やキスマーク６４の表示のみならず、例えば指定した静止画がスライドインしたり、スライドアウトしたりする等、種々の動きを定義することが可能となる。また、ひとつデザインと組み合わせる静止画像はひとつと限らず、複数であってもよい。

【0051】

図７においてユーザがいずれかのデザインを選択すると、タッチパネル１０が表示する画面は図８に示す画面に遷移する。また、ユーザは戻るアイコン６６をタップすることで、図６に示すテーマ選択画面に戻ることもできる。

【0052】

図８は、素材動画像の指定画面の一例であり、選択されたデザインと組み合わせる静止画像を選択する画面を例示する図である。図８は、図７に示すデザイン６０を選択した場合の例を示す図である。ユーザは「画像を選ぶ」アイコン６８をタップすることで、動画像記憶部２２０や、動画編集装置１００中の図示しない静止画記憶部に格納されている静止画を選択することができる。ユーザはプレビューアイコン７４をタップすることで、選択したデザイン６０に対応するサンプル動画像を再生することができる。サンプル動画像は、図７で選択したデザインに応じて決定される。ユーザは選択した静止画を確定する場合は、ＯＫアイコン７２をタップする。また選択した静止画をキャンセルする場合には、キャンセルアイコン７０をタップすればよい。図８において、ユーザがＯＫアイコン７２をタップして静止画像を決定すると、タッチパネル１０が表示する画面は図９に示す画面に遷移する。なお、実施の形態に係る動画編集装置１００において、デザインと静止画像とを組み合わせて生成される動画像が、上述した素材動画像となる。

【0053】

なお、図８に示す例は、静止画像を１枚選択する場合の例を示す図である。しかしながら、図７においてユーザが選択するデザインによっては、ユーザは複数枚の静止画像を選択する場合もある。この場合、ユーザは左アイコン６９または右アイコン７１をタップすることで、選択した複数前の静止画像をどの順番で表示するか、あるいは素材動画像のどの位置にそれらの静止画像を配置させるのかを決定することもできる。

【0054】

図９は、装飾画像の設定画面の一例であり、装飾画像を重畳するための素材動画像を拡大して表示する画面を例示する図である。図９に示す例は、図８に示す例とは異なるデザインおよび静止画の組み合わせを示している。具体的には、図９に示す例では、ほぼ画像全体を覆う大きな口を表現するデザイン７６と、女性を正面から写した静止画像７８とが組み合わされている。図９において、複数のサムネイルが表示されている領域８０は、デザイン７６と静止画像７８とを組み合わせて生成される素材動画像の時間経過を示している。図９に示す例では、領域８０は、素材動画像の再生開始の時点においてはデザイン７６の唇が開いているため静止画像７８が表示されるが、時間の経過とともに唇が閉じ、静止画像７８が唇によって遮蔽される様子を示している。

【0055】

図９において、ユーザが符号８２で示すアイコン８２をタップすると、タッチパネル１０が表示する画面は図１０に示す画面に遷移する。

【0056】

図１０は、装飾画像の設定画面の一例であり、素材動画像に重畳する装飾画像を選択する画面を例示する図である。図１０に示すように、ユーザがアイコン８２をタップすると、装飾画像表示部３１０は、装飾画像記憶部３２０が格納する装飾画像を、領域８４に一覧表示する。図１０は装飾画像として絵柄を用いる場合の例を示すが、装飾画像は一般的な画像に限られず、活字やペンを用いた手書き文字、写真、ユーザに入力させた文字列等別の種類のデータであってもよい。装飾画像の種類を変更は、符号８６で示す装飾画像の種類選択アイコン６８をタップすることを契機として、装飾画像表示部３１０がタッチパネル１０に表示する装飾画像の種類を変更することで実現できる。

【0057】

図１０において、ユーザが領域８４中のいずれかの装飾画像をタップすると、タッチパネル１０が表示する画面は図１１に示す画面に遷移する。

【0058】

図１１は、装飾画像の設定画面の一例であり、装飾画像の移動を設定する初期画面を例示する図である。図１１に示すように、タッチパネル１０が表示する素材動画像上に、装飾画像８６が重畳して表示されている。図１１では、素材動画像に対して比較的大きな装飾画像８６が、タッチパネル１０の中央に表示されている。ユーザは装飾画像８６を移動したり、大きさや角度を変更したりすることにより、素材動画像の移動の開始位置や、その大きさ等を変更することができる。これは上述した装飾画像変換部３３０等が実現する。

【0059】

図１１において、ユーザが装飾画像８６の移動等の設定中に、装飾画像８６の設定を中止すること、すなわち、選択した装飾画像８６およびそれに指定した移動をキャンセルすることを望む場合、キャンセルを意味するＣａｎｃｅｌアイコン９６をタップする。ユーザがＣａｎｃｅｌアイコン９６をタップすると、画面は図９に示す画面に遷移し、ユーザはあらためて装飾画像を選びなおすことができる。また、ユーザが装飾画像８６の移動等の設定を終え、さらに別の装飾画像を追加することを望む場合、ユーザは追加アイコン９８をタップする。ユーザが追加アイコン９８をタップすると、画面は図９に示す画面に遷移し、ユーザは追加する装飾画像を新規に選択することができる。

【0060】

図１２は、図１１に示す画面から装飾画像８６の位置、大きさ、および回転角度を変更した後の画面を示す図である。装飾画像変換部３３０が、ユーザの指示によって装飾画像８６を縮小した後に、縮小後の装飾画像８６を図１２に示す位置まで移動すると、軌跡表示部４１０は、装飾画像８６の移動に追随して軌跡を表示する。図１２は、軌跡表示部４１０が軌跡を表示した後に、ユーザがタッチパネル１０が表示する装飾画像に触れたため、軌跡表示部４１０が軌跡の表示を消去した場合の画面を示している。装飾画像８６をタッチしたまま移動させると、後述する図１３に示すように当該装飾画像８６に動きを設定することができる。図１２に示す例では、軌跡が消えた状態（動きが設定されていない状態）の装飾画像８６を移動させることにより、装飾画像８６に動きを設定するようにしているが、軌跡がある状態（動きが設定されている状態）の装飾画像８６を移動させた場合、予め設定されている動きに代えて動きを新たに設定することも可能である。

【0061】

図１３は、素材動画像上に装飾画像８６および装飾画像８６の移動の軌跡８８を重畳して表示した画面一例を示す図である。図１３は、軌跡表示部４１０がユーザの指示による移動後の装飾画像８６とともに、移動の軌跡８８をタッチパネル１０に曲線として表示した場合の例を示している。軌跡表示部４１０は、ユーザの操作に追従して装飾画像８６を動かすとともに、軌跡に対応する時系列データを軌跡記憶部４２０に格納する。

【0062】

図１３は、装飾画像８６の移動の軌跡８８を単純な曲線で示す場合の例を示している。ここで、軌跡表示部４１０は、軌跡８８に対応する時系列データの位置座標の変化率が異なる場合、タッチパネル１０に表示する軌跡の表示態様を変更して表示してもよい。

【0063】

図１４（ａ）および（ｂ）は、装飾画像の移動の軌跡の別の表示態様を示す図である。なお、図１４（ａ）および（ｂ）は、簡便のため、素材動画像および装飾画像の図示は省略している。

【0064】

図１４（ａ）は、時系列データの位置座標の変化率に応じて、軌跡表示部４１０が軌跡を表示する線の種類を変更する場合の例を示す図である。図１４（ａ）に示す例では、時系列データの位置座標の変化率が小さい場合、軌跡表示部４１０は、その領域に対応する部分の軌跡を白抜きの線で表示する。時系列データの位置座標の変化率が所定の第１閾値を超えると、軌跡表示部４１０はその領域に対応する部分の軌跡に斜線を付加した線として表示する。時系列データの位置座標の変化率が第１閾値よりも大きい第２閾値を超えると、軌跡表示部４１０は、その領域に対応する部分の軌跡に網点を付加した線として表示する。

【0065】

図示はしないが、軌跡表示部４１０は、時系列データの位置座標の変化率に応じて軌跡を表示する線に着色する色を変更してもよい。例えば軌跡表示部４１０は、時系列データの位置座標の変化率が小さい場合、軌跡表示部４１０は青色の軌跡を表示するが、時系列データの位置座標の変化率が大きくなるにしたがって、軌跡の色を黄色から赤にグラデーションを持たせて変更してもよい。図示はしないが、軌跡表示部４１０は、時系列データの位置座標の変化率とそのときの軌跡の色を示すカラーバーをタッチパネル１０に表示してもよい。あるいはまた、軌跡表示部４１０は、時系列データの位置座標の変化率に応じて軌跡を表示する線の太さを変更してもよい。例えば軌跡表示部４１０は、時系列データの位置座標の変化率が小さい場合、大きい場合と比較して、軌跡を表す線を細く表示してもよい。

【0066】

図１４（ｂ）は、軌跡をドットを用いて表示する場合の例を示す図である。図１４（ｂ）に示す例は、隣り合うドット間の間隔が短い場合は、隣り合うドット間の間隔が長い場合と比較して、時系列データの位置座標の変化率が小さいことを示している。

【0067】

図１４（ｂ）に示す例において、ユーザがタッチパネル１０に表示された軌跡を示すドットの位置を変更すると、軌跡修正部４３０は、変更後のドットを用いて時系列データを生成する。これにより、出力映像生成部２０は、変更後のドットの並びに沿って装飾画像が移動するように映像を生成する。また、ユーザがドットの位置を変更することで隣り合うドット間の距離が変更すると、出力映像生成部２０は、変更後のドットの距離に応じて装飾画像が移動速度を変更する。このように、軌跡表示部４１０が時系列データの位置座標の変化率に応じて軌跡の表示態様を変更することで、動画像の編集者であるユーザは、軌跡に沿って装飾画像が移動するときの装飾画像の速さの変化を一見して把握することが可能となる。なお、装飾画像の大きさ、回転角度等に関しても、速さの場合と同様に、軌跡の表示態様を変更するようにすることもできる。これにより、上記した速さの場合と同様の効果が得られる。

【0068】

動画像の編集者であるユーザが軌跡を修正すると、場合によっては修正後の軌跡の長さが長くなったり短くなったりすることもあり得る。しかしながら、上述したように、重畳指示記憶部３４０は、開始のタイミングから終了のタイミングまでの長さを１としたときの相対的なタイミングにおける装飾画像の拡縮率および回転角度を記憶している。したがって、出力映像生成部２０は、軌跡の実際の長さに関わらず、装飾画像の表示の開始から終了までの間における装飾画像の大きさおよび回転角の時間変位を知ることができる。このため、出力映像生成部２０は、装飾画像の表示途中における装飾画像の大きさおよび回転角の時間変位を必要に応じて補間処理で補って表示すればよい。補間処理は、既知の線形補間やスプライン補間を用いて実現できる。

【0069】

図１５は、装飾画像の重畳を開始するタイミングおよび終了するタイミングを指定するためのインタフェースの一例を示す図である。図１５に示すように、重畳期間取得部３５０は、素材動画像の時間経過を示す領域８０の近辺に、装飾画像８６の重畳を開始するタイミングを示す開始アイコン９０ａと、装飾画像８６の重畳を終了するタイミングを示す終了アイコン９０ｂとを表示する。ここで重畳期間取得部３５０は、開始アイコン９０ａおよび終了アイコン９０ｂ中に、それぞれ素材動画像の再生開始からの経過時間を秒を単位とする数字を用いて表示してもよい。例えば図１５に示す例では、装飾画像８６の重畳を開始するタイミングが素材動画像の再生開始から１．１６秒経過後であり、装飾画像８６の重畳を終了するタイミングが素材動画像の再生開始から８．７２秒経過後であることを示している。図１５において、ユーザが追加アイコン９８をタップすることを契機として、軌跡決定部４４０は、素材動画像上に合成させる装飾画像８６の移動に対するユーザの決定を取得し、新たな装飾画像の選択画面に遷移する。また、ユーザが保存アイコン９２をタップすることを契機として、軌跡決定部４４０は、素材動画像上に合成させる装飾画像８６の移動に対するユーザの決定を取得するとともに、編集した動画像をネットワークを介してサーバにアップロードする。なお、ユーザが開始アイコン９０ａまたは終了アイコン９０ｂを動かすと、各アイコンに表示されている時間に対応して、出力映像生成部２０は装飾画像８６、デザイン７６、静止画像７８等を動かした映像を提示してもよい。

【0070】

ここで、重畳期間取得部３５０が装飾画像の重畳を開始するタイミングを取得する方法はこれに限られない。別の方法として、画像選択部２３０は、素材動画像の開始から終了までの間に表示される画像のうち、いずれかの画像の選択をユーザから取得する。出力映像生成部２０は、素材動画像のうち、画像選択部２３０が取得した画像が表示される時点から、素材動画像における装飾画像の移動が開始される映像を生成してもよい。図１１を例にすると、表示されている素材画像がタイミング（領域８０における黒色の縦棒で示されるタイミング）が、装飾画像の重畳が開始されるタイミングとなる。ユーザは実際の素材動画の画像を見ながら装飾画像の重畳を開始するタイミングを設定できるため、より直感的な操作が可能となる。

【0071】

図１６は、実施の形態に係る動画編集装置１００で編集した動画像をネットワークを介して動画編集装置１００とは異なる別の装置に投稿するための画面を示す図である。動画編集装置１００とは異なる別の装置の一例としては、ＳＮＳ（Social Networking Service）を提供するＳＮＳサーバである。ユーザは、図１６に示す投稿アイコン９４をタップすることで、編集した動画像を、ＳＮＳを利用する他の視聴者との間で共有することができる。

【0072】

図１７は、実施の形態に係る動画編集装置１００が実行する動画編集処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば動画編集処理を実現するアプリケーション１３０が起動したときに開始する。

【0073】

動画像取得部２１０は、処理対象として設定する素材動画像の指定をタッチパネル１０を介してユーザから取得する（Ｓ２）。装飾画像表示部３１０は、タッチパネル１０に一覧表示した複数の装飾画像に対するユーザの選択を取得する（Ｓ４）。続いて装飾画像表示部３１０は、選択された装飾画像を素材動画像に重畳して表示する（Ｓ６）。

【0074】

装飾画像操作部３００および軌跡操作部４００は、素材動画像に重畳する装飾画像に対するユーザの操作をタッチパネル１０を介して取得する（Ｓ８）。ユーザがステップＳ４において選択した装飾画像に対する操作を終了しない間は（Ｓ１０のＮ）、装飾画像操作部３００および軌跡操作部４００は、装飾画像に対するユーザの操作の取得を継続する。ユーザがステップＳ４において選択した装飾画像に対する操作を終了した後（Ｓ１０のＹ）、素材動画像に重畳する装飾画像をさらに選択する場合（Ｓ１２のＹ）、ステップＳ４に戻ってステップＳ４からステップＳ１０までの処理を継続する。

【0075】

ユーザが素材動画像に重畳する装飾画像の選択を終了すると（Ｓ１２のＮ）、出力部３０は、すくなくとも素材動画像を特定する情報、装飾画像を特定する情報、および各装飾画像の位置座標の変化を示す時系列データを対応づけた出力データを生成する（Ｓ１４）。出力部３０が出力データを生成すると、本フローチャートにおける処理は終了する。出力部３０が生成した出力データは、素材動画像上を装飾画像が移動する映像を生成するために出力映像生成部２０に利用されたり、上述したＳＮＳサーバに送信されて他のユーザとの間で編集後の動画を共有するために使用されたりする。

【0076】

図１８は、実施の形態に係る装飾画像操作部３００および軌跡操作部４００が実行する処理の流れを説明するフローチャートの前半部であり、図１７におけるステップＳ８の処理を詳細に説明する図である。

【0077】

ユーザが装飾画像の重畳を開始するタイミングおよび終了するタイミング、すなわち素材動画像中に装飾画像を重畳させる重畳期間を変更する場合（Ｓ２０のＹ）、重畳期間取得部３５０は、装飾画像の重畳を開始するタイミングおよび終了するタイミングの指定をタッチパネル１０を介して取得し、重畳指示記憶部３４０が格納する重畳期間を変更する（Ｓ２４）。重畳期間取得部３５０が重畳期間を変更するか、あるいはユーザが重畳期間を変更しない場合（Ｓ２０のＮ）、軌跡表示部４１０はタッチパネル１０が表示する装飾画像の移動を検出する（Ｓ２６）。軌跡表示部４１０は、装飾画像の変更前の位置から変更後の位置に至るまでタッチパネルにおける記装飾画像の位置座標の変化を時系列データとして軌跡記憶部４２０に格納する（Ｓ２８）。軌跡表示部４１０はさらに、軌跡記憶部４２０に格納した時系列データをもとに、装飾画像が移動した軌跡をタッチパネル１０に表示する（Ｓ３０）。

【0078】

軌跡表示部４１０がタッチパネル１０に装飾画像の軌跡を表示しているときに、当該軌跡をユーザが修正した場合（Ｓ３２のＹ）、ステップＳ２６に戻って、軌跡修正部４３０が軌跡表示部４１０に代わってステップＳ２６からステップＳ３０までの処理を実行する。ユーザが軌跡を修正しない場合（Ｓ３２のＮ）、図１９に示すフローチャートに示す処理に移行する。

【0079】

図１９は、実施の形態に係る装飾画像操作部３００および軌跡操作部４００が実行する処理の流れを説明するフローチャートの後半部であり、図１７におけるステップＳ８の処理を詳細に説明する図である。

【0080】

軌跡表示部４１０がタッチパネル１０に装飾画像の軌跡を表示しているときに、ユーザがタッチパネル１０が表示する装飾画像に触れた場合、すなわちユーザが軌跡を消去することを指示する操作をした場合（Ｓ３４のＹ）、軌跡表示部４１０は、タッチパネル１０による軌跡の表示を消去する（Ｓ３６）。軌跡表示部４１０がタッチパネル１０による軌跡の表示を消去した後に、ユーザがタッチパネル１０に表示された装飾画像に触れた場合（Ｓ３８のＹ）、軌跡表示部４１０は、消去した軌跡をタッチパネル１０に再度表示する（Ｓ４０）。

【0081】

ユーザが軌跡を消去することを指示する操作をしない場合（Ｓ３４のＮ）、または軌跡表示部４１０がタッチパネル１０による軌跡の表示を消去した後であってかつユーザがタッチパネル１０に表示された装飾画像に触れない場合（Ｓ３８のＮ）、または軌跡表示部４１０が消去した軌跡をタッチパネル１０に再表示すると、軌跡決定部４４０はユーザが現在タッチパネル１０に表示されている装飾画像についての操作を終了するかどうかを確認する。ユーザが軌跡の操作を終了しない場合（Ｓ４２のＮ）、図１８に示すステップＳ２０に戻って上述の処理を繰り返す。ユーザが軌跡の操作を終了すると（Ｓ４２のＹ）、本フローチャートにおける処理は終了する。

【0082】

以上説明したとおり、本発明の実施の形態に係る動画編集装置１００によれば、素材動画像上に動きのある装飾画像を重畳した映像を簡便に表示する技術を提供することができる。

【0083】

以上、本発明を実施の形態をもとに説明した。この実施の形態はあくまで例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例、変形例の組み合わせも本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。

【0084】

（第１の変形例）
上記の説明では、動画編集装置１００が動画像記憶部２２０や、装飾画像記憶部３２０をローカルに備える場合について説明した。しかしながら、動画像記憶部２２０や、装飾画像記憶部３２０は動画編集装置１００がローカルに備えている必要はない。これに代えて、またはこれに加えて、動画像記憶部２２０や、装飾画像記憶部３２０はネットワークを介して接続するサーバ上にあってもよい。ユーザは、動画編集装置１００の記憶容量に制限されずに、多数の素材動画像や装飾画像を利用できるようになる点で有利である。また動画編集装置１００とサーバとが同じ素材画像を格納している場合、動画編集装置１００はその素材画像と特定する情報のみをサーバに送ればよく、通信時間や通信コストを抑制することができる。

【0085】

（第２の変形例）
上記の説明では、出力映像生成部２０は、出力データ中の素材動画像を特定する情報を用いて素材動画を取得してタッチパネル１０に再生し、その上に装飾画像をリアルタイムで重畳する場合について主に説明した。しかしながら、ユーザは専用のアプリケーション１３０を使用せずに動画像を再生することを望む場合には、映像をレンダリングしてＭＰＥＧ（Moving Picture Experts Group）等の公知の動画ファイルを生成してもよい。

【0086】

（第３の変形例）
上記の説明では、動画編集装置１００は、素材動画像上に動きのある装飾画像を重畳する場合について主に説明した。しかしながら、動画編集装置１００が装飾画像を重畳する対象は動画像に限られず、静止画像であってもよい。この場合であっても、動画編集装置１００は静止画像上に動きのある装飾画像を重畳するため、結果として生成される画像は動きのある動画像となる。

【0087】

（第４の変形例）
上記の説明では、軌跡記憶部４２０が装飾画像の開始位置座標から終了位置座標に至るまでの位置座標の変化を時系列データとして格納し、重畳指示記憶部３４０が装飾画像の重畳の開始のタイミングから終了のタイミングまでの間における装飾画像の拡縮率および回転角度を記憶する場合について説明した。装飾画像の拡縮率および回転角度は、重畳期間と紐づけて格納する場合に限られず、装飾画像の位置座標の時系列データと紐づけて格納してもよい。

【0088】

具体的には、装飾画像の拡縮率および回転角度は、軌跡記憶部４２０中に、装飾画像の位置座標の時系列データに紐づけて格納する。この場合、軌跡表示部４１０は、装飾画像の位置座標を取得するとともに、そのときの装飾画像の拡縮率および回転角度を装飾画像変換部３３０から取得し、これらのデータを紐づけて軌跡記憶部４２０に格納することで実現できる。軌跡修正部４３０が動画像の編集者であるユーザによる軌跡を修正を取得した場合、軌跡修正部４３０は、装飾画像変換部３３０から取得した装飾画像の拡縮率および回転角度を、軌跡の修正に応じて補間処理によって算出し、軌跡記憶部４２０に格納する。これにより、ユーザの修正によって軌跡の長さが変化しても、装飾画像の拡縮および回転を、修正後の軌跡に追従させることができる。

【符号の説明】

【0089】

１０ タッチパネル、 ２０ 出力映像生成部、 ３０ 出力部、 ４０ 送信部、 １００ 動画編集装置、 １１０ ハードウェア、 １２０ オペレーティングシステム、 １３０ アプリケーション、 ２００ 動画像操作部、 ２１０ 動画像取得部、 ２２０ 動画像記憶部、 ２３０ 画像選択部、 ３００ 装飾画像操作部、 ３１０ 装飾画像表示部、 ３２０ 装飾画像記憶部、 ３３０ 装飾画像変換部、 ３４０ 重畳指示記憶部、 ３５０ 重畳期間取得部、 ４００ 軌跡操作部、 ４１０ 軌跡表示部、 ４２０ 軌跡記憶部、 ４３０ 軌跡修正部、 ４４０ 軌跡決定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】