特許 7569603 アニメーション制作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-09

(45)【発行日】2024-10-18

(54)【発明の名称】アニメーション制作システム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20241010BHJP

【ＦＩ】

G06T13/40

【請求項の数】 2

(21)【出願番号】P 2020128301

(22)【出願日】2020-07-29

(65)【公開番号】P2022025468

(43)【公開日】2022-02-10

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】724006285

【氏名又は名称】エイベックス・エンタテインメント株式会社

(72)【発明者】

【氏名】近藤 義仁

(72)【発明者】

【氏名】室橋 雅人

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１０－２６７２４１（ＪＰ，Ａ）

【文献】特開２０１９－０６７２２２（ＪＰ，Ａ）

【文献】特開２０１９－１９７４７９（ＪＰ，Ａ）

【文献】特開２０００－０２０７４８（ＪＰ，Ａ）

【文献】特開平１０－２２２６９８（ＪＰ，Ａ）

【文献】特開２０２０－０３９１１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ １３／８０

Ｇ０６Ｔ １９／００ － １９／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３ － ３／０３９

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ａ６３Ｆ １３／００ － １３／９８

(57)【特許請求の範囲】

【請求項1】

仮想空間内にキャラクタを配置するステップと、
前記仮想空間内に前記キャラクタを撮影する仮想的なカメラを配置するステップと、
前記キャラクタの動作を規定するアクションデータを外部から取得するステップと、
前記アクションデータに基づいて前記キャラクタを動作させるステップと、
前記カメラにより前記キャラクタの動作を撮影するステップと、
前記アクションデータを編集するステップと、
を備え、
前記アクションデータを編集するステップでは、ユーザから前記キャラクタの身体の一部の身体部位の指定を受け付け、前記ユーザからの操作に応じて前記身体部位を動かし、動かした前記身体部位の動作により前記アクションデータを更新すること、
を特徴とするアニメーション制作方法。

【請求項2】

請求項１に記載のアニメーション制作方法であって、
前記仮想空間内に、前記キャラクタに利用可能な前記アクションデータを提示するアセットストアを配置するステップをさらに備え、
前記アクションデータを外部から取得するステップでは、ユーザから前記アセットストアにおける前記アクションデータの指定を受け付け、
前記キャラクタを動作させるステップでは、ユーザから前記キャラクタの指定を受け付け、指定された前記キャラクタを、指定された前記アクションデータに基づいて動作させること、
を特徴とするアニメーション制作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アニメーション制作システムに関する。

【背景技術】

【0002】

仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１４６６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。

【0005】

本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、アニメーション制作方法であって、仮想空間内にキャラクタを配置するステップと、前記仮想空間内に前記キャラクタを撮影する仮想的なカメラを配置するステップと、前記キャラクタの動作を規定するアクションデータを外部から取得するステップと、前記アクションデータに基づいて前記キャラクタを動作させるステップと、前記カメラにより前記キャラクタの動作を撮影するステップと、を備える。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、仮想空間内でアニメーションを撮影することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。

【図2】本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。

【図3】本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。

【図4】本実施形態に係るコントローラ２１０の外観の模式図を示す。

【図5】本実施形態に係るＨＭＤ１１０の機能構成図を示す。

【図6】本実施形態に係るコントローラ２１０の機能構成図を示す。

【図7】本実施形態に係る画像生成装置３１０の機能構成図を示す。

【図8】本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。

【図9】本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。

【図10】本発明の実施形態に係る、トラック編集用のユーザインターフェースの一例を説明する図である。

【図11】アセットとしてのアクションデータを購入又はレンタルする操作を説明する図である。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。

【0011】

［項目１］
仮想空間内にキャラクタを配置するステップと、
前記仮想空間内に前記キャラクタを撮影する仮想的なカメラを配置するステップと、
前記キャラクタの動作を規定するアクションデータを外部から取得するステップと、
前記アクションデータに基づいて前記キャラクタを動作させるステップと、
前記カメラにより前記キャラクタの動作を撮影するステップと、
を備えることを特徴とするアニメーション制作方法。
［項目２］
項目１に記載のアニメーション制作方法であって、
前記仮想空間内に、前記キャラクタに利用可能な前記アクションデータを提示するアセットストアを配置するステップをさらに備え、
前記アクションデータを外部から取得するステップでは、ユーザから前記アセットストアにおける前記アクションデータの指定を受け付け、
前記キャラクタを動作させるステップでは、ユーザから前記キャラクタの指定を受け付け、指定された前記キャラクタを、指定された前記アクションデータに基づいて動作させること、
を特徴とするアニメーション制作方法。
［項目３］
項目１又は２に記載のアニメーション制作方法であって、
前記アクションデータを編集するステップをさらに備えること、
を特徴とするアニメーション制作方法。
［項目４］
項目３に記載のアニメーション制作方法であって、
前記アクションデータを編集するステップでは、ユーザから前記キャラクタの身体部位の指定を受け付け、前記ユーザからの操作に応じて前記身体部位を動かし、動かした前記身体部位の動作により前記アクションデータを更新すること、
を特徴とするアニメーション制作方法。

【0012】

本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

【0013】

＜概要＞
図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。

【0014】

＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。

【0015】

＜ＨＭＤ１１０＞
図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。

【0016】

ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。

【0017】

センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。

【0018】

ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。

【0019】

＜コントローラ２１０＞
図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。

【0020】

操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。

【0021】

また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動作を検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。

【0022】

ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。

【0023】

＜画像生成装置３１０＞
図７は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。

【0024】

制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部５１０に格納されたキャラクタに対して、制御プログラム格納部５２０に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に基づいて画像を生成する画像生成部４３０を有する。ここでキャラクタの動作の制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部３４０は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部４４０と、各トラックを編集し、最終コンテンツを生成する編集実行部４５０とを有する。

【0025】

記憶部３５０は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部５１０を有する。また、制御プログラム格納部５２０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部３５０は、画像生成部４３０で生成される動画像におけるキャラクタの動きを制御するパラメータで構成されるアクションデータを格納するトラック格納部５３０を有する。

【0026】

図８は、本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。

【0027】

まず、画像生成装置３１０の制御部３４０の録画再生実行部４４０は、仮想空間における、第１のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第１のトラックに格納するための録画を開始する（Ｓ１０１）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第１のキャラクタに対応するキャラクタ４に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。

【0028】

続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０２）。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。

【0029】

続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第１のキャラクタの動作を制御する（Ｓ１０３）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第１のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第１のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第１のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。

【0030】

続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０４）、録画終了の指示を受け付けたときには、第１のキャラクタに関連する第１のトラックの録画を完了する（Ｓ１０５）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。

【0031】

続いて、録画再生実行部４４０は、仮想空間における、第２のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第２のトラックに格納するための録画を開始する（Ｓ１０６）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第２のキャラクタに対応するキャラクタ５に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。例えば、ユーザは、キャラクタ５のＦＰＶによりカメラ視点を設定し、第１のトラックの再生処理を行い、キャラクタ４の動作を確認しながら、キャラクタ５を演じるユーザは所望の動作を行うことができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作及び／または操作を検出することに基づいて録画処理を自動的に開始してもよい。

【0032】

続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０７）。ここで、ユーザは、上記第１のキャラクタを演じるユーザと同じユーザであってもよく、異なるユーザであってもよい。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げて左右に振ったり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。

【0033】

続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第２のキャラクタの動作を制御する（Ｓ１０８）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第２のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げて左右に振ったり、コントローラの所定のボタンを押下したりしたことを検出したことに基づいて、キャラクタ制御部４２０は、第２のキャラクタの腕を振って、指を開くよう（すなわち、「バイバイ」をする動作）制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第２のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第２のトラックに格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第２のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。

【0034】

続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０９）、録画終了の指示を受け付けたときには、第２のキャラクタに関連する第２のトラックの録画を完了する（Ｓ１１０）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。

【0035】

図９は、本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。

【0036】

まず、画像生成装置３１０の制御部３４０の編集実行部４５０は、トラック格納部５３０に格納された、第１のトラックを編集する処理を行う（Ｓ２０１）。例えば、ユーザは、図１０（ａ）に示すような、トラック編集用のユーザインターフェースを介して、第１のキャラクタに関連する第１のトラック（Ｔ１）を編集する。例えば、ユーザインターフェースには、時系列に沿って、第１のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、格納された動画像のパラメータとキャラクタデータに基づき、キャラクタの３Ｄモデルがレンダリングされ、図１に示すような仮想空間内に配置されたキャラクタ（例えば、キャラクタ４）の動画像が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル（例えば、「第１のキャラクタ」）をリスト形式で表示する方法も考えられる。その他、ユーザインターフェースとして、図１０に示すようなトラックやリストを示すことなく、直接キャラクタの動画像が再生されるなかで編集を実行可能としたり、動画像のキーフレームが表示され、その中でユーザが編集対象となるキーフレームを選択することもできる。また、動画像として表示される３Ｄキャラクタのうち、編集対象として選択されたキャラクタの色を選択した時間だけ変更する等の処理を実行することもできる。

【0037】

編集処理として、例えば、図１において、第１のキャラクタに対応するキャラクタ４の、仮想空間１における配置位置を変更したり、キャラクタ４の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。

【0038】

また、編集処理として、キャラクタ４の動作の一部を変更するようにしてもよい。例えば、ユーザは、トラック（Ｔ１）で再生された第１のキャラクタについて、編集する対象となる身体の部位を指定し、指定した部位の動作のみを、コントローラ２１０やＨＭＤ１１０を用いた操作により動作させることができる。例えば、ユーザは、第１のキャラクタの腕を指定して、第１のキャラクタの動作を再生しながら、コントローラ２１０の操作により第１のキャラクタの腕のみを操作して、腕の動きを修正することができる。

【0039】

次に、編集実行部４５０は、トラック格納部５３０に格納された、第２のトラックを編集する処理を行う（Ｓ２０２）。例えば、ユーザは、トラック編集用のユーザインターフェースを介して、第２のキャラクタに関連する第２のトラック（Ｔ２）を編集するオプション（図示せず）を選択し、図１０（ｂ）に示すような、ユーザインターフェースを介して、時系列に沿って、第２のトラックが格納される領域を示すバーを配置する。図１０（ｂ）に示すように、ユーザは、第２のトラックを第１のトラックと独立して編集しつつ、各トラックの再生タイミングの同期を図るなど、相対的に調整することが可能となる。同様に、ユーザは、他のトラック（例えば、第３のトラック（Ｔ３））を編集することができる。

【0040】

編集処理として、例えば、図１において、第２のキャラクタに対応するキャラクタ５の、仮想空間１における配置位置を変更したり、キャラクタ５の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。ここで、編集処理として、ユーザは、仮想空間１上における、第１のキャラクタに対応するキャラクタ４に相対する、第２のキャラクタ５の配置位置を変更することができる。

【0041】

さらに、編集処理として、各トラックの再生を行うことで、各トラックに対応するキャラクタの動作を含む動画像を、仮想空間内で再生することで、全体として仮想空間で実現されるアニメーション動画像を作成することができる。また、各トラックの再生することで、キャラクタの動きを再現するだけでなく、キャラクタの背景のセットを変えたり、キャラクタを含むオブヘクトを増減したり、ライティングの設定を変更したり、キャラクタの衣装を変更またはアクセサリをつけたり、キャラクタに対する風の風量、向きを変更したり、アクションデータをそのままにキャラクタを変更したりすることで、仮想空間で実現さえれるアニメーション動画像を編集することができる。

【0042】

編集処理が終了後、編集実行部４５０は、ユーザの要求に応じて、または、自動的に編集内容を保存する（Ｓ２０３）。

【0043】

なお、Ｓ２０１、Ｓ２０２の編集処理は、その順番を問わず実行することができ、前後に行き来することもできる。Ｓ２０３の保存処理は、Ｓ２０１、Ｓ２０２の編集が実行される都度実行することもできる。また、Ｓ２０１のみの編集で編集終了とすることもできる。

【0044】

以上のように、本実施形態により、マルチトラックレコーディング（ＭＴＲ）の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作を各トラックに格納し、各トラック内または各トラック間で編集作業を行うことで簡易かつ効率的なアニメーション制作を実現することができる。

【0045】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【0046】

例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト（乗り物、構造物、物品等）に本実施形態に開示される方法を適用することもできる。

【0047】

また、例えば、本実施形態において、画像生成装置３１０をＨＭＤ１１０とは別個のものとして記載したが、画像生成装置３１０によって提供される、全部または一部の構成及び機能をＨＭＤ１１０に備えることもできる。

【0048】

また、本実施形態では、キャラクタの動きを示すアクションデータは、操作を行ったキャラクタに紐付けて管理されるものとしたが、キャラクタとは独立させて関節やボーンなどの動きとして記憶部３５０に記憶するようにしてもよい。この場合、編集実行部４５０は、記憶部３５０に記憶されたアクションデータの指定と、キャラクタ４，５の指定とを受け付けて、指定されたアクションを指定されたキャラクタ４，５に適用してトラックに記録するようにすることができる。

【0049】

また、本実施形態では、キャラクタの動きを示すアクションデータは、ユーザがキャラクタ４，５に憑依しながら演技を行うことにより作成するものとしたが、他のユーザが作成したアクションデータを利用することもできる。例えば、編集実行部４５０は、他のコンピュータにアクセスしてアクションデータを取得し、取得したアクションデータをキャラクタ４、５のアクションデータとしてキャラクタデータ格納部５１０に登録することができる。アクションデータは、上述したように、動画像におけるキャラクタの動きを制御するパラメータで構成することができ、例えば、ボーンや関節の回転や移動などを表現することができる。他のコンピュータから取得したアクションデータであっても、録画再生実行部４４０は、アクションデータに基づいてキャラクタ４，５を動作させることができる。また、編集実行部４５０は、取得したアクションデータを適用したキャラクタについて、身体の一部のみの動作を編集することができる。例えば、編集実行部４５０は、上述したように、編集する対象となる身体の部位を指定し、指定した部位の動作のみを、コントローラ２１０やＨＭＤ１１０を用いた操作により動作させることができる。

【0050】

仮想空間１内のアセットとして、アクションデータの販売又はレンタルを行うようにすることもできる。図１１は、アセットとしてのアクションデータを購入又はレンタルする操作を説明する図である。ユーザは、アセットリスト６を仮想空間１上で開き、例えばキャラクタ４－３として配置するキャラクタを選択する。アセットリスト６は、アセット種別タブ６１、アセット項目６２、スクロールバー６３、ボタン６４を含むものである。

【0051】

アセット種別タブ６１は、例えば、キャラクタ４の３ＤＣＧモデル（ＡＣＴＯＲ）、キャラクタ４のアクションデータ（ＭＯＶＥ）、キャラクタ４に憑依した際の声質または特定のセリフ（ＶＯＩＣＥ）、仮想空間１内に配置可能なオブジェクト（ＯＢＪＥＣＴ）、仮想空間１内に配置可能な背景（ＢＡＣＫ ＧＲＯＵＮＤ）などがあり得る。なお、キャラクタ４の３ＤＣＧモデルは、予め特定の動作を付したものであってもよい。

【0052】

アセット項目６２は、アセット種別タブ６１の選択に応じて変更され、各種別に対応したリストが表示される。本リスト内に表示される項目は、例えばクラウドサーバ等のネットワークを介して接続されるサーバから取得したデータであってもよい 。図８では、購入可能なキャラクタ４の３ＤＣＧモデルのリストが例示されており、一例として各項目に顔画像と名前が表記されている構成であるが、これに限らず、例えば、金額や設定年齢などが表示されていてもよいし、図１１のように３ＤＣＧモデルがそのまま表示されていてもよい。また、表示項目が多い場合には、例えばスクロールバー６３をスライドさせたりして、全ての項目を確認可能にしてもよいし、五十音順や金額順などのソート が可能であってもよいし、売買履歴やレンタル履歴に基づいて、ユーザの嗜好を学習し、ユーザの嗜好に沿ったアセットを優先的に表示するようにしてもよい 。なお、各項目は単体のアセットに限らず、同一または異なるアセット種別の複数のアセットをひとまとめにしたセットとして販売してもよい。

【0053】

ボタン６４は、様々な用途のボタンを配置することが可能であり、図８では、アセット購入ボタン（ＳＨＯＰ）、アセットレンタルボタン（ＲＥＮＴＡＬ）、保有アセットリスト（ＭＹ ＬＩＳＴ）、アセット購入および／またはレンタル履歴（ＭＹ ＨＩＳＴＯＲＹ）、前のウインドウ表示に戻るボタン（ＢＡＣＫ）が例示されている。

【0054】

ユーザは、仮想空間１内の仮想右手２１Ｒによりアクションデータ６２を掴み、当該アクションデータ６２を適用するキャラクタ４，５の上で離すことで、当該キャラクタに対してアクションデータを適用することができる。

【0055】

そして、例えば、項目データ７の内容を確認した後に、項目データ７上の購入決定ボタン（ＢＵＹ）またはコントローラ２１０の決定動作が割り当てられたボタンの押下により、購入手続きを行うようにしてもよい。レンタルについても、支払い後の利用期間が制限される点を除き、実質的に同様の構成であり得る。

【0056】

また、保有アセットリスト（ＭＹ ＬＩＳＴ）内に、制作者が作成したアセットを登録することも可能である。そして、当該作成したアセットは、他の不特定多数のユーザまたは指定したユーザに対して、販売および／または有償若しくは無償でレンタルすることが可能であり、その際、他のユーザのアセットリストに表示されるようにしてもよい。

【符号の説明】

【0057】

１ 仮想空間
２ カメラマン
３ カメラ
４ キャラクタ
５ キャラクタ
１１０ ＨＭＤ
２１０ コントローラ
３１０ 画像生成装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】