特許 7024027 動画作成装置、動画作成システム及び動画作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-02-14

(45)【発行日】2022-02-22

(54)【発明の名称】動画作成装置、動画作成システム及び動画作成プログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20220215BHJP

   G10L 13/00 20060101ALI20220215BHJP

【ＦＩ】

G06T13/40

G10L13/00 100V

【請求項の数】 7

(21)【出願番号】P 2020152737

(22)【出願日】2020-09-11

【審査請求日】2020-10-23

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 掲載日：令和２年７月６日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｇｖ６ｓ３ｘｚＺＹ７ｓ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 配信日：令和２年７月７日 掲載アドレス：ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｉｄ１５１３５３３８５６

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 掲載日：令和２年７月７日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｃｏｐｉｐｅｒｏｉｄ．ｃｏｍ／

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 掲載日：令和２年７月１５日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｖｋＹｙ＿ｘＳｖｊ１Ｍ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 掲載日：令和２年７月２１日 掲載アドレス：ｈｔｔｐｓ：／／ｓｅｇａ．ｊｐ／ｐｒｏｄｕｃｔ／ｃｏｐｉｐｅｒｏｉｄ／

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 掲載日：令和２年７月２１日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｓｅｇａｔｏｙｓ．ｃｏ．ｊｐ／

【新規性喪失の例外の表示】特許法第３０条第２項適用 株式会社セガ トイズが、令和２年７月２１日に、各メディアに対し、宮崎 奈緒子が発明した「動画作成装置、動画作成システム及び動画作成プログラム」が掲載されたニュースリリース書面を電子メールやＦＡＸにて送信した。

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトでの公開 掲載日：令和２年７月２６日 掲載アドレス：ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＳＥＧＡ＿ＯＦＦＩＣＩＡＬ／

【早期審査対象出願】

(73)【特許権者】

【識別番号】599064214

【氏名又は名称】株式会社セガトイズ

(74)【代理人】

【識別番号】100081673

【弁理士】

【氏名又は名称】河野 誠

(74)【代理人】

【識別番号】100141483

【弁理士】

【氏名又は名称】河野 生吾

(74)【代理人】

【識別番号】100166659

【弁理士】

【氏名又は名称】楠 和也

(72)【発明者】

【氏名】宮崎 奈緒子

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２００７－２５６６１７（ＪＰ，Ａ）

【文献】特開２００１－３１２２８８（ＪＰ，Ａ）

【文献】国際公開第２０１６／１２１９２１（ＷＯ，Ａ１）

【文献】特開２００３－２７１１５８（ＪＰ，Ａ）

【文献】特許第６６５６４４７（ＪＰ，Ｂ１）

【文献】特開２００１－１９５６０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ｇ１０Ｌ １３／００

(57)【特許請求の範囲】

【請求項1】

アバターを含む動画を作成する動画作成装置であって、
前記アバターに関する基礎情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する基礎情報取得手段と、
前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成手段と、
音声情報を、自己の前記記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する音声情報取得手段と、
前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、前記アバターが前記時間経過に伴って複数の動作を行う音声付の映像が含まれた動画データを生成する動画データ生成手段とを備え、
前記スケジュール情報生成手段として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成手段を設け、
動画作成に用いる楽曲情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得手段を設け、
前記音声情報取得手段は、前記楽曲情報取得手段により取得された楽曲情報から音声情報を取得するように構成され、
前記スケジュール情報自動生成手段は、前記楽曲情報取得手段により取得された楽曲情報に基づいてアバターの口の動作情報を自動的に設定するように構成され、
前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記楽曲情報取得手段により取得された楽曲を歌うアバターのポーズに関する情報又はダンスモーションに関する情報を含み、
前記楽曲情報は、楽曲の歌詞情報と音声情報とを含み、
前記音声情報取得手段により選択された楽曲の歌詞情報を編集する歌詞情報変更手段を設け、
前記スケジュール情報自動生成手段は、前記歌詞情報変更手段により歌詞情報が編集された場合には、変更された歌詞に合わせてアバターの口の動きを変更するように構成された
ことを特徴とする動画作成装置。

【請求項2】

前記音声情報取得手段は、前記アバターが発声するボイスの種類に関するボイス情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得することができるように構成された
請求項１に記載の動画作成装置。

【請求項3】

前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記アバターを表示する画面内の左右位置に関する情報を時間経過に対応させて複数並べてなる位置情報を含む
請求項１又は２に記載の動画作成装置。

【請求項4】

前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記アバターを表示する大きさに関する情報を時間経過に対応させて複数並べてなるスケール情報を含む
請求項１乃至３の何れかに記載の動画作成装置。

【請求項5】

前記アバターは３次元的な情報を有するように構成され、
前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記アバターを表示する向きに関する情報を時間経過に対応させて複数並べてなる回転位置情報を含む
請求項１乃至４の何れかに記載の動画作成装置。

【請求項6】

アバターを含む動画を作成する動画作成システムであって、
記憶部と、
前記アバターに関する基礎情報を前記記憶部から取得する基礎情報取得手段と、
前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成手段と、
音声情報を、前記記憶部から取得する音声情報取得手段と、
前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、前記アバターが前記時間経過に伴って複数の動作を行う音声付の映像が含まれた動画データを生成する動画データ生成手段とを備え、
前記スケジュール情報生成手段として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成手段を設け、
動画作成に用いる楽曲情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得手段を設け、
前記音声情報取得手段は、前記楽曲情報取得手段により取得された楽曲情報から音声情報を取得するように構成され、
前記スケジュール情報自動生成手段は、前記楽曲情報取得手段により取得された楽曲情報に基づいてアバターの口の動作情報を自動的に設定するように構成され、
前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記楽曲情報取得手段により取得された楽曲を歌うアバターのポーズに関する情報又はダンスモーションに関する情報を含み、
前記楽曲情報は、楽曲の歌詞情報と音声情報とを含み、
前記音声情報取得手段により選択された楽曲の歌詞情報を編集する歌詞情報変更手段を設け、
前記スケジュール情報自動生成手段は、前記歌詞情報変更手段により歌詞情報が編集された場合には、変更された歌詞に合わせてアバターの口の動きを変更するように構成された
ことを特徴とする動画作成システム。

【請求項7】

アバターを含む動画を作成する動画作成プログラムであって、
コンピュータに、
前記アバターに関する基礎情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する基礎情報取得処理と、
前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成処理と、
音声情報を、自己の前記記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する音声情報取得処理と、
前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、前記アバターが前記時間経過に伴って複数の動作を行う音声付の映像が含まれた動画データを生成する動画データ生成処理と、
前記スケジュール情報生成処理として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成処理と、
動画作成に用いる楽曲情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得処理と、
前記音声情報取得処理として、前記楽曲情報取得処理により取得された楽曲情報から音声情報を取得する処理と、
前記スケジュール情報自動生成処理として、前記楽曲情報取得処理により取得された楽曲情報に基づいてアバターの口の動作情報を自動的に設定する処理と、
前記スケジュール情報生成処理として、前記楽曲情報取得処理により取得された楽曲を歌うアバターのポーズに関する情報又はダンスモーションに関する情報を生成する処理と、
前記楽曲情報から楽曲の歌詞情報を取得する処理と、
前記音声情報取得処理により選択された楽曲の歌詞情報を編集する歌詞情報変更処理と、
前記スケジュール情報自動生成処理として、前記歌詞情報変更処理により歌詞情報が編集された場合には、変更された歌詞に合わせてアバターの口の動きを自動的に変更する処理とを
実行させるための動画作成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アバターが表示された動画を作成するための動画作成装置、動画作成システム及び動画作成プログラムに関する。

【背景技術】

【0002】

従来、動きの情報が付与されたアバター情報と音声情報とを設定し、各情報を合成することによって、アバターが歌う音声付動画の作成を支援する特許文献１等に記載の動画作成システムが従来公知である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１３３８８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記文献１では、端末装置からキャラクターに関するアバター情報と映像情報とメロディ情報と、ユーザが入力した歌詞情報と入力することによって、前記アバターが歌う音声付の映像をスムーズに作成することができるものであるが、前記アバターをより人間らしく動かすためにはより多くの動作情報を入力する必要があり、動画のクオリティを向上させるためには手間が掛かるという課題があった。

【0005】

本発明は、簡易且つ少ない手間でアバターが動いたり歌ったりする動画を作成することを支援する動画作成装置、動画作成システム及び動画作成プログラムを提供することを課題としている。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の動画作成装置は、アバターを含む動画を作成する動画作成装置であって、前記アバターに関する基礎情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する基礎情報取得手段と、前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成手段と、音声情報を、自己の前記記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する音声情報取得手段と、前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、前記アバターが前記時間経過に伴って複数の動作を行う音声付の映像が含まれた動画データを生成する動画データ生成手段とを備え、前記スケジュール情報生成手段として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成手段を設け、動画作成に用いる楽曲情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得手段を設け、前記音声情報取得手段は、前記楽曲情報取得手段により取得された楽曲情報から音声情報を取得するように構成され、前記スケジュール情報自動生成手段は、前記楽曲情報取得手段により取得された楽曲情報に基づいてアバターの口の動作情報を自動的に設定するように構成され、前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記楽曲情報取得手段により取得された楽曲を歌うアバターのポーズに関する情報又はダンスモーションに関する情報を含み、前記楽曲情報は、楽曲の歌詞情報と音声情報とを含み、前記音声情報取得手段により選択された楽曲の歌詞情報を編集する歌詞情報変更手段を設け、前記スケジュール情報自動生成手段は、前記歌詞情報変更手段により歌詞情報が編集された場合には、変更された歌詞に合わせてアバターの口の動きを変更するように構成されたことを特徴としている。

【0007】

前記音声情報取得手段は、前記アバターが発声するボイスの種類に関するボイス情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得することができるように構成されたことを特徴としている。

【0008】

前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記アバターを表示する画面内の左右位置に関する情報を時間経過に対応させて複数並べてなる位置情報を含むことを特徴としている。

【0009】

前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記アバターを表示する大きさに関する情報を時間経過に対応させて複数並べてなるスケール情報を含むことを特徴としている。

【0010】

前記アバターは３次元的な情報を有するように構成され、前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記アバターを表示する向きに関する情報を時間経過に対応させて複数並べてなる回転位置情報を含むことを特徴としている。

【0011】

また、本発明の一実施形態に係る動画作成システムは、記憶部と、前記アバターに関する基礎情報を前記記憶部から取得する基礎情報取得手段と、前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成手段と、音声情報を、前記記憶部から取得する音声情報取得手段と、前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、前記アバターが前記時間経過に伴って複数の動作を行う音声付の映像が含まれた動画データを生成する動画データ生成手段とを備え、前記スケジュール情報生成手段として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成手段を設け、動画作成に用いる楽曲情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得手段を設け、前記音声情報取得手段は、前記楽曲情報取得手段により取得された楽曲情報から音声情報を取得するように構成され、前記スケジュール情報自動生成手段は、前記楽曲情報取得手段により取得された楽曲情報に基づいてアバターの口の動作情報を自動的に設定するように構成され、前記スケジュール情報生成手段により生成される前記スケジュール情報は、前記楽曲情報取得手段により取得された楽曲を歌うアバターのポーズに関する情報又はダンスモーションに関する情報を含み、前記楽曲情報は、楽曲の歌詞情報と音声情報とを含み、前記音声情報取得手段により選択された楽曲の歌詞情報を編集する歌詞情報変更手段を設け、前記スケジュール情報自動生成手段は、前記歌詞情報変更手段により歌詞情報が編集された場合には、変更された歌詞に合わせてアバターの口の動きを変更するように構成されたことを特徴とする。

【0012】

また、本発明の一実施形態に係る動画作成プログラムは、コンピュータに、前記アバターに関する基礎情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する基礎情報取得処理と、前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成処理と、音声情報を、自己の前記記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する音声情報取得処理と、前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、前記アバターが前記時間経過に伴って複数の動作を行う音声付の映像が含まれた動画データを生成する動画データ生成処理と、前記スケジュール情報生成処理として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成処理と、動画作成に用いる楽曲情報を自己の記憶部から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得処理と、前記音声情報取得処理として、前記楽曲情報取得処理により取得された楽曲情報から音声情報を取得する処理と、前記スケジュール情報自動生成処理として、前記楽曲情報取得処理により取得された楽曲情報に基づいてアバターの口の動作情報を自動的に設定する処理と、前記スケジュール情報生成処理として、前記楽曲情報取得処理により取得された楽曲を歌うアバターのポーズに関する情報又はダンスモーションに関する情報を生成する処理と、前記楽曲情報から楽曲の歌詞情報を取得する処理と、前記音声情報取得処理により選択された楽曲の歌詞情報を編集する歌詞情報変更処理と、前記スケジュール情報自動生成処理として、前記歌詞情報変更処理により歌詞情報が編集された場合には、変更された歌詞に合わせてアバターの口の動きを変更する処理とを実行させることを特徴とする。

【発明の効果】

【0013】

前記スケジュール情報生成手段として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成手段を設けたことにより、簡易且つ少ない手間でアバターをより人間らしく動かす動画を作成することができる。

【0014】

前記スケジュール情報生成手段によって動画内の時間経過に対応させて設定される前記スケジュール情報として、前記アバターの表示位置・スケール・回転位置の情報を設定可能に構成することにより、簡単な操作で前記アバターを動画内でよりダイナミックに動かすことができる。

【図面の簡単な説明】

【0015】

【図1】本発明の動画作成処理装置の構成の例を示すブロック図である。

【図2】本発明の実施形態に対応するシステム構成の一例を示すブロック図である。

【図3】本発明の実施形態の少なくとも一つに対応する動画作成処理の例を示すフローチャートである。

【図4】基礎情報を取得するための設定操作画面の例を示した図である。

【図5】スケジュール情報を設定するための設定操作画面の例を示した図である。

【図6】アバター表示編集画面の例を示した図である。

【図7】別実施例の実施形態の少なくとも一つに対応する動画作成処理の例を示すフローチャートである。

【図8】楽曲情報取得手段により楽曲情報を取得するための操作画面の例を示した図である。

【図9】別実施例でのスケジュール情報を設定するための設定操作画面の例を示した図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態にかかる動画作成処理装置について説明する。図１は、本発明の動画作成処理装置の構成の例を示すブロック図である。図１に示すように、前記動画作成処理装置（動画作成装置）１０は、背景情報取得手段１１と、基礎情報取得手段１２と、音声情報取得手段１３と、スケジュール情報手動生成手段１４と、スケジュール情報自動生成手段１５と、動画データ生成手段１６と、記憶部１７とを備える。

【0017】

図２は、本発明の実施形態に対応するシステム構成の一例を示すブロック図である。図示する例では、ユーザが使用する端末装置３０１・・３０ｎは、通信ネットワーク４０を介して前記サーバ装置２０に接続可能に構成されており、前記サーバ装置２０側に前記動画作成処理装置１０の機能の一部を集約させるように構成されている。なお、前記動画作成処理装置１０は、１つの端末装置３０１において実現してオフラインで使用するものであってもよい。

【0018】

前記サーバ装置２０は、システム管理者によって管理され、ＷＷＷサーバなどの情報処理装置によって構成されている。また、該サーバ装置２０は、各種処理を実行する制御部と、各種情報を格納する記憶媒体と、通信部の他、コンピュータとしての一般的な構成を備え、複数の端末装置に対して各種処理に関する情報を提供するための各種機能を有する。

【0019】

なお、システム構成は上述の例には限定されず、動画作成処理装置１０として機能する１つの端末装置を複数のユーザが使用する構成としても良いし、複数のサーバ装置を備える構成としても良い。

【0020】

複数の前記端末装置３０１・・３０ｎは、タッチ操作可能なタッチパネルからなる入力手段・出力手段を有するスマートフォンやタブレット端末等の情報処理端末であって、それぞれ通信ネットワーク４０に接続し、前記サーバ装置２０との通信を行うことによって各種処理を実行するためのハードウェア及びソフトウェアを備える。なお、複数の端末装置３０１・・３０ｎそれぞれは、前記サーバ装置２０を介さずに互いに直接通信を行うこともできる構成としても良い。

【0021】

前記背景情報取得手段１１は、作成する動画の背景として用いる画像データ又は動画データを取得する機能を有する。背景として用いる画像データ又は動画データは、ユーザが使用する端末装置３０１・・３０ｎの記憶部から取得しても、通信ネットワーク４０経由で他のコンピュータから取得しても良い。また、ユーザが使用する端末装置３０１・・３０ｎに設けられたカメラ等の撮影手段（不図示）によりその場で画像データや動画データを撮影して取得する構成としても良い。

【0022】

前記基礎情報取得手段１２は、作成する動画に表示するアバターの容姿に関する基礎情報を取得する機能を有する。本実施例では、該基礎情報取得手段１２は、アバターに関する基礎情報として、アバターの髪型、衣装、色の各構成について複数種類のデザインをユーザに提示し、各構成についてユーザが任意のデザインを選択することによって、ユーザの好みに応じたオリジナルのアバターを作成することができる。本実施例では３次元的なアバターが生成される。該アバターを構成する基礎情報の具体的な設定操作の例については後述する。

【0023】

前記音声情報取得手段１３は、作成する動画に表示するアバターが発する音声情報を取得する機能を有している。本実施例では、該音声情報取得手段１３は、ユーザが使用する端末装置３０１・・３０ｎに設けられたマイク等を用いてユーザが発する音声を録音する録音手段と、該録音手段によって録音されたユーザ自身の音声情報を合成音声に編集する合成音声生成手段とを有し、前記録音手段により録音したユーザの音声情報か、該音声情報を合成音声に編集した音声情報を、動画の作成に用いる音声情報として取得することができるように構成されている。

【0024】

前記スケジュール情報手動生成手段１４は、作成する動画に表示されるアバターに所定の動作を行わせる動作情報と、動画に表示されるテロップ情報と、演出効果情報と、前記音声情報と、動画に流す音楽（ＢＧＭ等）に関する音楽情報とを、作成する動画の時間経過に対応させて複数並べて表示したスケジュール情報を生成する機能を有し、該スケジュール情報は、ユーザによる操作で入力・編集可能に構成されている。該スケジュール情報の設定操作の例については後述する。

【0025】

前記スケジュール情報自動生成手段１５は、前記スケジュール情報手動生成手段１４によって取得された前記スケジュール情報に基づいて、動画に表示されるアバターに所定の動作を行わせる動作情報（スケジュール情報）を自動的に生成する機能を有する。具体的に説明すると、該スケジュール情報自動生成手段１５には、前記録音手段により取得されたユーザの声からなる前記音声情報に合わせて前記アバターの顔を構成する口を自動的に動かす（口パク）リップシンク手段（機能）や、前記音声情報や演出情報等に基づいて前記アバターの顔を構成する目を所定のタイミングで自動的に瞬きさせる瞬き手段（機能）や、前記録音手段により取得されたユーザ自身の声を特定の声音（合成音声）に変更する合成音声設定手段（機能）等がある。

【0026】

前記動画データ生成手段１６は、アバターを含む動画を作成するために設定した背景情報、基礎情報、音声情報、スケジュール情報等の全てを合成（レンダリング）することにより、アバターが歌ったり、メッセージを送ったりする動画を生成し、記憶部１７に保存する機能を有する。

【0027】

前記記憶部１７は、動画作成処理装置１０における各手段（各部）の処理に必要な情報を記憶し、また、各手段の処理で生じた各種の情報を記憶する機能を有する。

【0028】

次に、図３に基づき、本発明の実施形態に対応する動画作成処理装置１０における動画作成処理のフローについて説明する。図３は、本発明の実施形態の少なくとも一つに対応する動画作成処理の例を示すフローチャートである。図示する例では、動画作成処理は、動画作成のプロジェクトの実行が開始された場合には、ステップＳ１０１に進む。

【0029】

ステップＳ１０１では、前記背景情報取得手段１１により動画の背景に使用される画像データ又は動画データを取得（背景情報取得処理を実行）し、その後、ステップＳ１０２に進む。ステップＳ１０２では、前記基礎情報取得手段１２により動画に表示されるアバターに関する基礎情報を取得（基礎情報取得処理を実行）し、その後、ステップＳ１０３に進む。

【0030】

ステップＳ１０３では、前記スケジュール情報手動生成手段１４と前記スケジュール情報自動生成手段１５とによって、前記スケジュール情報を生成（スケジュール情報生成処理を実行）し、その後、ステップＳ１０４に進む。ステップＳ１０４では、前記背景取得手段１１と前記基礎情報取得手段１２と前記スケジュール情報生成手段１４、１５とで設定された各種情報を合成（レンダリング処理）することにより、アバターによるメッセージ動画を生成（動画生成処理を実行）し、その後、処理を終了する。

【0031】

なお、上記スケジュール情報生成処理は、スケジュール情報を手動操作で編集する環境を提供するスケジュール情報手動生成処理と、スケジュール情報の入力に基づいて他のスケジュールを自動的に生成するスケジュール情報自動生成処理とを有する。ちなみに、上記の処理フローを構成する各種処理の順序は、処理内容に矛盾が生じない範囲で順不同である。

【0032】

次に、図４乃至６に基づき、動画作成に必要な情報の取得方法の例について説明する。図４は、基礎情報を取得するための設定操作画面の例を示した図である。前記基礎情報取得手段１２は、ユーザ側の端末装置（タッチパネル）３０１・・３０ｎにアバターに関する基礎情報を設定するための操作環境（以下、基礎情報入力画面２０）を提供し（図４参照）、該基礎情報入力画面２０を介してアバターに関する前記基礎情報を取得する処理が実行可能に構成されている。

【0033】

図示する例では、ユーザ側のタッチパネルに表示される前記基礎情報入力画面２０として、設定した基礎情報に基づいて生成されるアバターを表示するアバター表示部２１と、アバターの見た目を変更可能な構成要素（基礎情報）を切換操作する要素切換操作部２２と、選択された構成要素内で変更可能なデザイン（基礎情報）が並べて表示されるデザイン選択操作部２３と、選択されたアバターに関する基礎情報を保存する保存操作部２４とが同時に表示されている（図４参照）。

【0034】

前記要素切換操作部２２は、左右方向の帯状の表示部と、該表示部内に沿って並べて配置されたタブ状の切換操作部２２Ａ，２２Ｂ，２２Ｃとから構成されている。図示する例では、前記表示部に、髪型用の切換操作部２２Ａと、衣装用の切換操作部２２Ｂと、アバターに関する色用の切換操作部２２Ｃとが左右方向に並べて配置されており、ユーザが各切換操作部２２Ａ，２２Ｂ，２２Ｃの何れか一つをタップ操作等によって選択操作することにで、前記デザイン選択操作部２３に選択された切換操作部２２に関する情報を表示させることができるように構成されている（図４参照）。

【0035】

具体的に説明すると、前記髪型用の切換操作部２２Ａが選択された場合には、前記デザイン選択操作部２３に髪型に関する基礎情報（デザイン）が複数並べて表示され、前記衣装用の切換操作部２２Ｂが選択された場合には、前記デザイン選択操作部２３に衣装に関する基礎情報（デザイン）が複数並べて表示され、前記アバターに関する色用の切換操作部２２Ｃが選択された場合には、前記デザイン選択操作部２３にアバターのメインカラーに関する基礎情報（色情報）が複数並べて表示される。

【0036】

また、該要素切換操作部２２は、帯状の表示部を左右方向にスライド操作（フリック操作）等することにより、該表示部内に表示された前記切換操作部２２が表示部内をスライド移動するように構成しても良い。これにより、前記表示部内により多くの種類の切換操作部２２を配置することができる。該構成によれば、デザイン選択可能な前記アバターを構成する基礎情報（要素切換操作部２２）として、上記の例の他にアバターの種族、性別等の他、顔を構成する輪郭、目、鼻、口、体格等、細かく選択可能に構成することもできる。なお、選択可能な切換操作部２２（基礎情報）の種類はこれらには限られない。

【0037】

前記デザイン変更操作部２３は、前記要素切換操作部２２により選択されたアバターの構成要素のうち、変更可能なデザインが表示される窓状のデザイン表示部２５が並べて配置されている。ユーザによるタッチ操作等によって選択された一のデザイン表示部２５Ａは、その外枠を強調表示（太くしたり、点滅させたり）することによって、何れのデザイン表示部が選択されたかを直感的に確認できるように構成されている（図４参照）。

【0038】

ちなみに、該デザイン表示部２５には、薄墨表示や鍵付き表示２６等することによって選択不可能なデザイン表示部（デザイン）２５Ｂを配置し、所定の課金額を支払ったことをサーバ装置が認識したことを条件に、選択不能だったデザイン表示部を開放して使用可能とするように構成しても良い（図４参照）。

【0039】

前記アバター表示部２１は、前記要素切換操作部２２と、前記デザイン変更操作部２３とで選択されたアバターの各構成要素のデザイン（基礎情報）の全てを反映させたアバターを表示することができる。該アバター表示部２１に表示されるアバターは、前記デザイン表示部２５の選択を変更した場合には、変更した箇所のデザインが即座に反映されるように構成することで、ユーザの好みのアバターを効率的に作成することができる。

【0040】

上述の構成によって、前記基礎情報取得手段１２によってアバターに関する前記基礎情報を取得することにより、作成する動画に映すアバターの容姿を決定することができる。

【0041】

次に、図５に基づき、スケジュール情報手動生成手段によるスケジュール情報の生成方法の例について説明する。図５は、スケジュール情報を手動入力で設定するための設定操作画面の例を示した図である。前記スケジュール情報手動生成手段１４は、ユーザ側の端末装置（タッチパネル）３０１・・３０ｎに前記スケジュール情報を設定するための操作環境（以下、スケジュール情報入力画面３０）を提供し（図５参照）、該スケジュール情報入力画面３０を介してスケジュール情報を取得する処理が実行可能に構成されている。

【0042】

図示する例では、ユーザ側のタッチパネルに前記スケジュール情報入力画面３０として、左右方向の帯状のタイムライン表示部３２と、該タイムライン表示部３２の左右方向中央で表示位置が固定された上下方向の表示基準線３３と、該表示基準線３３とタイムライン表示部３２とで指定された動画の再生位置の画像を表示する編集画面表示部３１と、前記表示基準線３３上に配置されたスケジュール編集トラック３４とが同時に表示されている（図５参照）。

【0043】

前記タイムライン表示部３２は、帯状の表示部に動画の再生時間が左右方向に並べて順番に記載され（図示する例では１０秒毎）ており、該タイムライン表示部３２又は前記スケジュール編集トラック３４の表示部分を左右方向にスライド操作（フリック操作）等することにより、該タイムライン表示部３２内の再生時間の表示がスライド移動するように構成されている。

【0044】

このとき、前記編集画面表示部３１には、前記タイムライン表示部３２の左右方向中央に表示された再生時間（図示する例では００：１０秒）、言い換えると、前記表示基準線３３上に示される前記タイムライン表示部３２上の再生時間の様子が表示されるように構成されている。

【0045】

前記スケジュール編集トラック３４は、図示する例では、動画内に表示するテロップを編集するテロップ編集トラック３６と、動画の背景となる画像データや動画データを編集する背景編集トラック３７と、前記アバターに所定の動作を実行させるための動作指示等を編集するアバター編集トラック３８と、動画内の演出効果を編集する演出編集トラック３９と、動画に付す音声情報の取得と編集を行う音声編集トラック（音声情報取得手段）４１と、動画にＢＧＭを付ける音楽編集トラック４２とを上下方向に並べて表示するように構成されている。また、各編集トラック３４は、スケジュール情報が入力されている再生範囲には、スケジュール情報が入力済みであることを示す編集ブロック４０が表示されるように構成されている（図５参照）。

【0046】

また、該スケジュール編集トラック３４は、ユーザによるスライド操作等によって前記タイムライン表示部３２の再生時間の表記とともに一体的に左右スライドするように構成されており、各編集トラックの左右方向の真ん中には、左右中央で固定表示された前記表示基準線３３が配置されている。これに伴い、各編集トラックは、前記タイムライン表示部３２と表示基準線３３とで表示された再生位置での各スケジュール情報の追加、又は編集を実行することができるよう構成されている。

【0047】

具体的に説明すると、図５に示される例では、上記テロップ編集トラック３６は、再生時間が開始１０秒の時点には前記編集ブロック４０がない（前記スケジュール情報が設定されていない）ため、該テロップ編集トラック３６の右端には、テロップに関するスケジュール情報を追加する追加ボタン４３が配置されている（図５参照）。同様に、上記背景編集トラック３７では、再生時間が開始１０秒の時点で前記編集ブロック４０がある（前記スケジュール情報が設定されている）ため、該背景編集トラックの右端には、背景に関するスケジュール情報を編集（変更・削除等）するための編集ボタン４４が配置されている（図５参照）。

【0048】

ちなみに、前記編集ブロック４０には、その端側に該編集ブロックの左右方向の長さをスライド操作によって編集可能にする編集範囲操作部４０ａが設けられている。ユーザは、該編集範囲操作部４０ａを長押し、タップ操作又はクリック操作等で掴んでスライドする操作（ドラッグ操作）等をすることによって、該編集ブロック４０の各編集トラック上での指定範囲を簡単に編集することができる。これにより、各編集ブロックの範囲指定に数値指定等を行う必要がなくなるため、編集作業がより容易且つスムーズになる。

【0049】

上記音声編集トラック４１では、ユーザの端末装置等に設けた録音手段によってユーザが発する音声を録音し、前記音声情報として取得することができる。言い換えると、録音したユーザの音声を、動画内でアバターが話すメッセージや歌等として利用することができる。また、取得された音声情報を、前記合成音声生成手段によって誰の声か分からなくなるように合成音声に編集することができるように構成されている。

【0050】

また、前記音声編集トラック４１によって動画内で流す音声情報が取得された場合には、前記スケジュール情報自動生成手段１５により、取得された音声情報に基づいて、前記アバターの口の動作情報を自動的に生成するリップシンク処理が実行されるように構成されている。該リップシンク処理は、例えば、母音（ア・イ・ウ・エ・オ）を発音する際のアバターの口の形状を予め用意するとともに、取得された音声情報から母音が発声するタイミングを取得し、これらの情報を合わせることで、アバターの口の形状を適切なタイミングで適切な形に動作させるように構成しても良い。なお、該リップシンク処理によってアバターの口を動かす処理方法はこれらに限られない。

【0051】

また、前記アバター編集トラック３８の追記ボタン４３又は編集ボタン４４が押操作された場合には、ユーザの端末装置（タッチパネル）上に、アバターの表示に関するスケジュール情報を編集するためのアバター表示編集画面５０が表示されるように構成されている（図６参照）。以下、具体的に説明する。

【0052】

図６は、アバター表示編集画面の例を示した図である。図示されるように、前記アバター表示編集画面５０には、編集中の再生位置での動画の状態を表示する前記編集画面表示部５１と、アバターの動作の構成要素に関する情報をタブ形式で左右方向に並べて表示したアバター動作要素切換操作部５２とが表示されている。

【0053】

図示する例では、前記アバター動作要素切換表示部５２には、前記アバターのポーズに関する情報（スケジュール情報）を設定するポーズ切換部５２Ａと、前記アバターの表情に関する情報（スケジュール情報）を設定する表情切換部５２Ｂと、動画内での前記アバターの表示位置に関する情報（スケジュール情報）を設定するアバター表示位置切換部５２Ｃとが設けられている。

【0054】

上記アバター表示位置切換部５２Ｃの操作タブが選択された場合には、編集中の編集ブロック４０内における前記アバターの表示位置に関する情報を、複数のスライドバーからなる操作具（スライダー操作具）によって編集できるように構成されている。具体的に説明すると、図６に示されるように、該スライダー操作具として、動画内におけるアバターの左右位置を操作する位置情報設定スライダー５７と、動画内におけるアバターの大きさを操作するスケール情報設定スライダー５８と、３次元的に表現された前記アバターの回転位置を操作する回転情報設定スライダー５９とが上下方向に並べて配置されている（図６参照）。

【0055】

各スライダー操作具によれば、作成される動画内で前記アバターの位置・大きさ・向きを自由に設定できるようになるため、該アバターをよりダイナミックに動かすことができる。具体的に説明すれば、動画内でアバターを画面の奥行方向に歩かせながらスケールを小さく表示する等することによって、アバターを３次元的な空間の中にいるように見せることもできる。

【0056】

次に、図７乃至９に基づき、前記動画作成処理装置の別実施例について、上述の例と異なる点について説明する。別実施例では、前記音声情報取得手段１３として、上述の録音手段に代えて、動画内で前記アバターが歌う楽曲のデータ（楽曲情報）を、ユーザの端末装置３０１・・３０ｎの記憶部１７から取得するか、或いはネットワーク経由で他のコンピュータから取得する楽曲情報取得手段７１が設けられている。また、上述の合成音声生成手段に代えて、前記アバターが楽曲を歌う際のボイス（合成音声）の種類を取得するボイス情報取得手段７２が設けられた。

【0057】

ちなみに、該楽曲情報取得手段７１によって取得された楽曲情報には、前記アバターが楽曲を歌う際の音声情報とともに、該楽曲の歌詞情報も同時に取得することができる。

【0058】

これに伴い、前記スケジュール情報自動生成手段１５は、前記楽曲情報取得手段７１により取得された楽曲情報、具体的には、該楽曲情報に含まれる歌詞情報に合わせて、動画内の前記アバターの口を動かすことができるようにアバターの口の動作情報を自動的に設定することができる。言い換えると、前記楽曲情報取得手段７１により、アバターが歌う楽曲を選択することによって、アバターの口の動作に関する情報を別途に入力する必要がなくなる。このため、少ない手間で動画内のアバターをより人間らしく動かすことができる。

【0059】

図７は、別実施例の実施形態の少なくとも一つに対応する動画作成処理の例を示すフローチャートである。図示する例では、動画作成処理は、動画作成のプロジェクトの実行が開始された場合には、ステップＳ２０１に進む。

【0060】

ステップＳ２０１では、前記音声情報取得手段１３（楽曲情報取得手段７１と、ボイス情報取得手段７２）により、動画内でアバターに歌わせる楽曲情報とボイス情報を取得し、その後、ステップＳ２０２に進む。

【0061】

ステップＳ２０２では、前記背景情報取得手段により作成される動画の背景に使用される画像データ又は動画データを取得（背景情報取得処理を実行）し、その後、ステップＳ２０３に進む。ステップＳ２０３では、前記基礎情報取得手段により作成される動画に表示されるアバターに関する基礎情報を取得（基礎情報取得処理を実行）し、その後、ステップＳ２０４に進む。

【0062】

ステップＳ２０４では、前記スケジュール情報生成手段によって、前記スケジュール情報を生成（スケジュール情報生成処理を実行）し、その後、ステップＳ２０５に進む。ステップＳ２０５では、前記背景取得手段と前記基礎情報取得手段と前記スケジュール情報生成手段とで設定された各種情報に基づいてアバターによるメッセージ動画を生成（動画生成処理を実行）し、その後、処理を終了する。

【0063】

すなわち、別実施例の前記音声情報取得手段１３では、前記スケジュール情報手動生成手段１４によって前記スケジュール情報を編集する前に、前記楽曲情報取得手段７１によって前記楽曲情報を取得し、動画で前記アバターが歌う前記音声情報と、アバターが発声する歌詞情報とを同時に取得するように構成されている。該構成によれば、前記アバターの基礎情報と、該アバターが歌う楽曲情報とを最初に取得することで、前記スケジュール情報の入力の手間を大幅に削減することができる。

【0064】

図８は、楽曲情報取得手段により楽曲情報を取得するための操作画面の例を示した図である。前記音声情報取得手段１３は、ユーザ側の端末装置（タッチパネル）に前記楽曲情報と、前記ボイス情報とを入力するための操作環境（以下、楽曲情報設定画面７０）を提供し（図８参照）、該楽曲情報設定画面７０を介して前記楽曲情報と前記ボイス情報とを取得する処理が実行可能に構成されている。

【0065】

図示する例では、該楽曲情報設定画面７０は、複数並べて表示される楽曲の中から一つを選択するラジオボタンと、複数並べて表示されるボイスの種類の中から一つを選択するラジオボタンとが上下に並べて配置されているが、複数の選択肢から一つを選ぶ形式であればこれらに限られない。

【0066】

また、前記音声情報取得手段１３は、所定の課金額を支払ったことをサーバ装置２０が認識したことを条件に、選択可能な楽曲情報の種類や、ボイス情報（合成音声）の種類を増やすことができるように構成しても良い。

【0067】

図９は、別実施例でのスケジュール情報を設定するための設定操作画面の例を示した図である。図示する例では、ユーザ側のタッチパネルに前記スケジュール情報入力画面３０として、上述の例と同様に、前記編集画面表示部３１と、前記タイムライン表示部３２と、前記表示基準線３３と、前記スケジュール編集トラック３４とが同時に表示されている（図９参照）。

【0068】

前記スケジュール編集トラック３４には、前記テロップ編集トラック３６と、前記楽曲情報から取得された歌詞情報を編集する歌詞編集トラック８１と、前記アバターへのダンスモーションを指定するダンス編集トラック８２と、前記アバター編集トラック３８と、前記演出編集トラック３９と、前記背景編集トラック３７とを上下方向に並べて表示するように構成されている。

【0069】

上記歌詞編集トラック８１は、前記楽曲情報取得手段によって取得された楽曲情報に含まれる歌詞情報が予め入力されているが、ユーザが歌詞の一部を編集して替え歌にすることができるように構成されている。

【0070】

これに伴い、前記スケジュール情報自動生成手段１５は、前記歌詞編集トラック８１によって前記歌詞情報が編集された場合には、取得された楽曲情報に含まれる音声情報を編集された歌詞情報に対応した音声情報となるように合成音声を自動的に生成（編集）する合成音声生成処理を実行するように構成されている。

【0071】

さらに、前記スケジュール情報自動生成手段１５は、前記歌詞情報が編集されたことによって前記音声情報を構成する合成音声が編集された場合には、編集された替え歌の歌詞に応じて、動画内で動かす前記アバターの口の動作を自動的に訂正するリップシンク処理を実行することができるように構成されている。

【0072】

すなわち、前記スケジュール情報自動生成手段１５は、前記歌詞編集トラック８１により歌詞情報が編集されると、前記スケジュール情報の一部、具体的には、動画内の前記アバターが歌う音声情報と、該アバターの口の動きに関する動作情報とを編集後の歌詞の内容に応じて自動的に編集するように構成されている。このため、ユーザが選択した楽曲を好きな替え歌に編集して前記アバターに歌わせる動画をよりスムーズ且つ高い品質で生成することができる。

【0073】

上記ダンス編集トラック８２は、前記アバター編集トラック３８において前記アバターのポーズの動作を指定可能に構成していたところを、楽曲に合わせたダンスモーションを指定可能に代えて構成されている。

【符号の説明】

【0074】

１２ 基礎情報取得手段
１３ 音声情報取得手段
１４ スケジュール情報手動生成手段（スケジュール情報生成手段）
１５ スケジュール情報自動生成手段（スケジュール情報生成手段）
１６ 動画データ生成手段
１７ 記憶部
４０ 通信ネットワーク
７１ 楽曲情報取得手段
７２ ボイス情報取得手段（音声情報取得手段）

【要約】

【課題】簡易且つ少ない手間でアバターが動いたり歌ったりする動画を作成することを支援する動画作成装置、動画作成システム及び動画作成プログラムを提供することを課題としている。
【解決手段】アバターを含む動画を作成する動画作成装置であって、前記アバターに関する基礎情報を取得する基礎情報取得手段と、前記アバターに所定の動作を行わせるための動作指示を時間経過に対応させて複数並べてなるスケジュール情報の少なくとも一部を生成するスケジュール情報生成手段と、音声情報を取得する音声情報取得手段と、前記基礎情報及び前記スケジュール情報と、前記音声情報とに基づいて、動画データを生成する動画データ生成手段とを備え、前記スケジュール情報生成手段として、アバターの口が音声に同期して動作するように前記スケジュール情報の少なくとも一部を自動的に生成するスケジュール情報自動生成手段を設けた。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】