特許 7542356 アニメーション制作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-22

(45)【発行日】2024-08-30

(54)【発明の名称】アニメーション制作システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240823BHJP

   G06T 13/40 20110101ALI20240823BHJP

   G06F 3/0346 20130101ALI20240823BHJP

   G06F 3/038 20130101ALI20240823BHJP

   G06F 3/01 20060101ALI20240823BHJP

   G06F 3/0481 20220101ALI20240823BHJP

   G09G 5/36 20060101ALI20240823BHJP

   A63F 13/55 20140101ALI20240823BHJP

   A63F 13/525 20140101ALI20240823BHJP

【ＦＩ】

G06T19/00 A

G06T13/40

G06F3/0346 421

G06F3/038 310A

G06F3/01 510

G06F3/0481

G09G5/36 500

A63F13/55

A63F13/525

【請求項の数】 6

(21)【出願番号】P 2020128310

(22)【出願日】2020-07-29

(65)【公開番号】P2022025477

(43)【公開日】2022-02-10

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】724006285

【氏名又は名称】エイベックス・エンタテインメント株式会社

(72)【発明者】

【氏名】近藤 義仁

(72)【発明者】

【氏名】室橋 雅人

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３７８２８９（ＵＳ，Ａ１）

【文献】特開２０１９－１９４８７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １３／４０

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１５

Ｇ０９Ｇ ５／３６

Ａ６３Ｆ １３／５５

Ａ６３Ｆ １３／５２５

(57)【特許請求の範囲】

【請求項1】

仮想空間内において、アニメーションを制作するシステムであって、
前記仮想空間内に第１のオブジェクトと、第２のオブジェクトと、カメラとを配置させるアセット管理部と、
前記第１のオブジェクト及び前記カメラの画角に応じて前記第２のオブジェクトを前記第１のオブジェクトのサイズに合わせてサイズを調整させる制御部と、
を備えることを特徴とするアニメーション制作システム。

【請求項2】

前記制御部は、前記第１のオブジェクトの高さに合わせて前記第２のオブジェクトの高さを調整させることを特徴とする請求項１記載のアニメーション制作システム。

【請求項3】

前記制御部は、前記第２のオブジェクトのサイズを前記カメラの画角と同等以上のサイズに調整させることを特徴とする請求項１記載のアニメーション制作システム。

【請求項4】

前記第１のオブジェクトと前記第２のオブジェクトのサイズデータが記憶される記憶部を備え、
前記制御部は、前記記憶部に記憶された前記第１のオブジェクトの前記サイズデータと前記仮想空間内における前記第１のオブジェクトの前記サイズから求めた比率と前記画角とを用いて前記第２のオブジェクトのサイズを調整させることを特徴とする請求項１から３のいずれか１項に記載のアニメーション制作システム。

【請求項5】

仮想空間内において、アニメーションを制作する方法であって、
コンピュータが、
前記仮想空間内に第１のオブジェクトと、第２のオブジェクトと、カメラとを配置させる工程と、
前記第１のオブジェクト及び前記カメラの画角に応じて前記第２のオブジェクトを前記第１のオブジェクトのサイズに合わせてサイズを調整させる工程と、
を実行することを特徴とするアニメーション制作方法。

【請求項6】

仮想空間内において、アニメーションを制作するプログラムであって、
コンピュータに、
前記仮想空間内に第１のオブジェクトと、第２のオブジェクトと、カメラとを配置させる工程と、
前記第１のオブジェクト及び前記カメラの画角に応じて前記第２のオブジェクトを前記第１のオブジェクトのサイズに合わせてサイズを調整させる工程と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アニメーション制作システムに関する。

【背景技術】

【0002】

仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１４６６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想空間内におけるアニメーション制作にあたっては、仮想のオブジェクト（例えば、キャラクタ、日常用品などをモチーフにしたオブジェクト）のサイズ調整必要であるが、制作者が全てのオブジェクトを独自にサイズ調整することは非常に負担が大きく、アニメーション制作の作業効率や没入感の低下につながる。

【0005】

本発明はこのような背景を鑑みてなされたものであり、アニメーション制作の負担を減らすことのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、仮想空間内において、アニメーションを制作するシステムであって、前記仮想空間内に第１のオブジェクトと、第２のオブジェクトとを配置させるアセット管理部と、前記第２のオブジェクトを前記第１のオブジェクトのサイズに合わせてサイズを調整させる制御部と、を備えることを特徴とするアニメーション制作システム。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、アニメーション制作の負担を減らすことができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態のアニメーション制作システムにおいてユーザが装着するＨＭＤに表示される仮想空間の一例を示す図である。

【図2】本発明の一実施形態に係るアニメーション制作システムの全体構成例を示す図である。

【図3】本実施形態にかかるＨＭＤの外観の模式図を示す図である。

【図4】本実施形態に係るＨＭＤの機能構成例を示す図である。

【図5】本実施形態に係るコントローラの外観の模式図を示す。

【図6】本実施形態に係るコントローラの機能構成例を示す図である。

【図7】本実施形態に係る画像生成装置の機能構成例を示す図である。

【図8】本実施形態のアニメーション制作システムにおけるアセットストアからのオブジェクトの取り出しについて説明する図である。

【図9】本実施形態のアニメーション制作システムにおけるオブジェクトのサイズの自動調整の例について説明する図である。

【図10】本実施形態のアニメーション制作システムにおけるオブジェクトのサイズの自動調整の例について説明する図である。

【図11】本実施形態のアニメーション制作システムにおけるオブジェクトのサイズの自動調整の例について説明する図である。

【図12】本実施形態のアニメーション制作システムにおいてユーザがキャラクタに憑依をする際の最適化について説明する図である。

【図13】本実施形態においてキャラクタにモーションデータを使用する際の最適化について説明する図である。

【図14】本実施形態のアニメーション制作システムにおけるオブジェクト同士における物理的な相互作用の例を説明する図である。

【図15】本実施形態のアニメーション制作システムにおけるオブジェクト同士における物理的な相互作用の例を説明する図である。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。

【0011】

［項目１］
仮想空間内において、アニメーションを制作するシステムであって、前記仮想空間内に第１のオブジェクトと、第２のオブジェクトとを配置させるアセット管理部と、前記第２のオブジェクトを前記第１のオブジェクトのサイズに合わせてサイズを調整させる制御部と、を備える、アニメーション制作システム。
［項目２］
前記制御部は、前記第１のオブジェクトの高さに応じて前記第２のオブジェクトの高さを調整させる、項目１に記載のアニメーション制作システム。
［項目３］
前記仮想空間内には、カメラが配置されており、前記制御部は、第１のオブジェクト及び前記カメラの画角に応じて前記前記第２のオブジェクトのサイズを調整させる、項目１に記載のアニメーション制作システム。
［項目４］
前記制御部は、前記第２のオブジェクトのサイズを前記カメラの画角と同等以上のサイズに調整させる、項目３に記載のアニメーション制作システム。
［項目５］
さらに、前記第１のオブジェクトと前記第２のオブジェクトのサイズデータが記憶される記憶部が備えており、前記制御部は前記記憶部に記憶された第１のオブジェクトのサイズデータと前記仮想空間内における第１のオブジェクトのサイズから求めた比率を用いて前記第２のオブジェクトのサイズを調整させる、項目１に記載のアニメーション制作システム。
［項目６］
前記サイズデータは高さデータである項目５に記載のアニメーション制作システム。

【0012】

本発明の一実施形態に係るアニメーション制作システム３００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

【0013】

＜概要＞
図１は、本実施形態のアニメーション制作システム３００においてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システム３００では、仮想空間１に仮想的なカメラ３と仮想的なキャラクタ４（第１のオブジェクト）と仮想的なオブジェクト５（第２のオブジェクト）と、を配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２（撮影者キャラクタ）が配置され、カメラマン２によりカメラ３が仮想的に操作される。さらに、仮想空間１にはアセットストア６が設置されており、後述する憑依により、ユーザはカメラマン２またはキャラクタ４として、アセットストア６の風景オブジェクト５を取得し（例えば、手に取り）、当該オブジェクトを撮影に用いることが可能となる。

【0014】

本実施形態のアニメーション制作システム３００では、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やオブジェクト５、カメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称視点）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、ユーザは、キャラクタ４に憑依しながら演技を行うことができる。複数のキャラクタ４が配置されている場合には、ユーザは、各キャラクタ４（たとえば、キャラクタ４－１および４－２）に憑依する対象を切り替えることもできる。すなわち、本実施形態のアニメーション制作システム３００では、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ３を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。

【0015】

＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。

【0016】

＜ＨＭＤ１１０＞
図３は、本実施形態に係るＨＭＤ１１０の外観の模式図を示す。図４は、本実施形態に係るＨＭＤ１１０の機能構成例を示す図である。

【0017】

ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。

【0018】

ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。

【0019】

センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。

【0020】

ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。

【0021】

＜コントローラ２１０＞
図５は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成例を示す図である。

【0022】

コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。

【0023】

操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。

【0024】

また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。

【0025】

ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。

【0026】

＜画像生成装置３１０＞
図７は、本実施形態にかかる画像生成装置３１０の機能構成図を示す図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタ４やオブジェクト５の制御を行い、画像を生成するといった処理がなされる。なお、オブジェクト５は、ユーザの入力内容に限らず動作する制御も可能である。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。

【0027】

制御部３４０は、各部の制御及び演算を行う。詳細には、制御部は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部４１０と、仮想空間内にキャラクタ４とオブジェクト５の生成や配置等を行うアセット管理部４２０と、記憶部３５０のキャラクタデータ格納部４７０に格納されたキャラクタ４に対して、制御プログラム格納部４８０に格納された制御プログラムを実行するキャラクタ制御部４３０と、記憶部３５０のオブジェクトデータ格納部５００に格納されたオブジェクト５に対して、制御プログラム格納部４８０に格納された制御プログラムを実行するオブジェクト制御部４４０と、キャラクタ制御に応じて、仮想空間１に配置された仮想的なカメラ３の制御を行うカメラ制御部４５０と、キャラクタ制御および／またはオブジェクト制御に基づいてカメラ３が仮想空間１を撮影した画像を生成する画像生成部４６０と、を有する。ここでキャラクタ４の動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。カメラ３の制御は、たとえば、キャラクタ４の手の動きに応じて、カメラ３についての各種設定（たとえば、カメラ３の仮想空間１内での位置、カメラ３の視線方向、焦点位置、ズームなど）を変更することにより行われる。

【0028】

記憶部３５０は、上述のキャラクタデータ格納部４７０に、キャラクタ４のイメージデータのほか、例えばキャラクタ４の実世界における身長、体格等（例えば、身長１６０ｃｍ、肩幅４０ｃｍ等のサイズデータ）の属性情報が格納されている。また、制御プログラム格納部４８０は、仮想空間におけるキャラクタ４の動作や表情を制御し、カメラ３、オブジェクト５などを制御するためのプログラムを格納する。画像データ格納部４９０は、画像生成部４６０で生成された画像を格納する。オブジェクトデータ格納部５００に、オブジェクト５のイメージデータのほか、オブジェクト５に関連する情報（例えば、実世界における高さ、幅、体積等のサイズデータやオブジェクトの動作内容、動作期間等の動作情報）を格納する。

【0029】

＜サイズの自動調整＞
次に、図８は本実施形態のアニメーション制作システムにおけるアセットストアからのオブジェクトの取り出しについて説明する図、図９－１１は、本実施形態のアニメーション制作システムにおけるオブジェクトのサイズの自動調整の例について説明する図であり、以下これらの図を参照しつつ、オブジェクトにおけるサイズの自動調整について説明する。

【0030】

まず、図８に示されるように、ユーザは、仮想空間１上に配置されるアセットストア６を、例えばカメラマン２やキャラクタ４を操作して利用することができる。本実施例におけるアセットストア６は、例えば仮想のタッチパネルであり、当該パネルの表示部６ａにはアセットとして撮影用の風景アセット６ｂ、６ｃ、６ｄが配置されている。風景アセット６ｂ、６ｃ、６ｄは風景のサムネイルと風景についての説明文とをセットになっている。また、ユーザはパネルを縦方向にスライドすることで風景アセットを選ぶことができる。そして、ユーザは、例えば、仮想空間１内の仮想右手２１Ｒにより、風景アセット６ｂを押すことで、風景オブジェクト５を仮想空間１内に取り出すことができる。なお、アセットストア６に配置されるアセットは、風景アセットに限らない。例えば、家具や電気用品等の日常用品をモチーフにしたオブジェクトでもよいし、キャラクタ４の装飾品をモチーフにしたオブジェクト等でもよい。また、アセットストア６に配置されているアセットは定期的に更新されてもよいし、オブジェクト条件ウインドウ（不図示）により設定された条件に基づいて配置されてもよいし、売買履歴などに基づいて、ユーザの嗜好を学習し、ユーザの嗜好に沿ったアセットを表示するようにしてもよい。また、アセットストア６に配置されるアセットは単体のオブジェクトに限らず、同一または異なる種類のオブジェクトを複数ひとまとめにしたセットとして販売してもよい。さらに、アセットストア６に配置されるアセットは、例えばクラウドサーバ等のネットワークを介して接続されるサーバから取得したデータであってもよい。

【0031】

本実施形態では、風景オブジェクト５は、四角形の板状のオブジェクトであり、その少なくとも一面に、例えば草原、森林、街並、施設内等の風景を表す画像がテクスチャとして貼付することにより実装することができる。また、風景オブジェクト５は、ユーザの操作により、仮想空間１内で拡大縮小させることができる。また、キャラクタ４等が風景オブジェクト５を背景にカメラ３で撮影をすると、撮影された映像にはキャラクタ４がその風景の中にいるように写される。通常の撮影時には、ユーザは風景オブジェクト５を仮想空間１内に配置した後、その位置及び大きさを調整して、例えばキャラクタ４の背景として設定することができる。

【0032】

次に、図９を用いて風景オブジェクト５のサイズの調整について説明する。キャラクタ４（第１のオブジェクト）がいる仮想空間１内に風景オブジェクト５（第２のオブジェクト）が配置されると、制御部３４０は、風景オブジェクト５がキャラクタ４に対して適切なサイズになるように、風景オブジェクト５のサイズの調整を行うことができる。

【0033】

例えば、制御部３４０は、仮想空間１内において、風景オブジェクト５の高さがキャラクタ４の高さ以上となるように、風景オブジェクト５の高さを変更することができる。制御部３４０は、キャラクタ４の高さに所定の倍数（例えば、１．５倍、２倍など任意の数とすることができる。）を乗じた値よりも風景オブジェクト５の高さが低い場合に、風景オブジェクト５の高さを、キャラクタ４の高さに上記所定の倍数を乗じた値に変更することができる。また、例えば、制御部３４０は、キャラクタ４の高さに所定の数値（例えば、１００ピクセルなど画素数を指定してもよいし、１０ｃｍなど解像度に応じて画素数に変換可能な数値を指定してもよい。）を加算した値よりも、風景オブジェクトの高さが低い場合に、風景オブジェクト５の高さを、キャラクタ４の高さに上記所定の数を加算した値に変更することができる。制御部３４０は、上記のようにして風景オブジェクト５の高さを変更するにあたり、風景オブジェクト５の縦横比を維持するように、風景オブジェクト５の幅を同時に変更するようにしてもよい。また、高さと同様にして、制御部３４０は、例えば、仮想空間１内において、風景オブジェクト５の幅がキャラクタ４の幅以上となるように、風景オブジェクト５の幅を変更することもできる。また、制御部３４０は、例えば、風景オブジェクト５の幅及び高さがそれぞれ風景オブジェクト５の幅及び高さ以上となるように、風景オブジェクト５の縦横比を維持しながら、風景オブジェクト５の幅及び高さを変更することもできる。

【0034】

また、制御部３４０は、２つのオブジェクト間の距離を考慮して、一方のオブジェクトのサイズを、他方のオブジェクトのサイズに応じて調整することができる。例えば、制御部３４０は、２つのオブジェクト間の距離が近いほど大きく、遠いほど小さくなるように、一方のオブジェクトのサイズを調整することができる。例えば、制御部３４０は、風景オブジェクト５がキャラクタ４に近い場合にはより大きく、キャラクタ４から離れている場合にはより小さくなるように、風景オブジェクト５の幅及び高さの少なくとも何れかを変更することができる。この場合、上述したように、制御部３４０は、高さ又は幅のみを変更するようにしてもよいし、縦横比を維持しながら幅及び高さを変更するようにしてもよい。

【0035】

さらに、各オブジェクトについて所定の単位（例えばメートル）でのサイズデータを管理しておき、そのサイズデータを用いて、あるオブジェクトの仮想空間１におけるサイズを基準とし、他のオブジェクトの仮想空間１におけるサイズを変更することができる。例えば、キャラクタ４のサイズデータとして、身長（例えば１６０ｃｍなど）を記録しておき、例えば、壁を撮影した画像のテクスチャが貼付された風景オブジェクト５のサイズデータとして、テクスチャに含まれている壁の幅及び高さを記録しておき、仮想空間１の座標系におけるキャラクタ４の身長に対する、上記所定の単位での身長の比率（基準比率）に合わせて、風景オブジェクト５のサイズ（高さ及び幅）を変更することができる（風景オブジェクト５’）。なお、本実施形態では各オブジェクトのサイズデータが管理されているとしているが、これに限らず、例えば、ユーザは図示しない入力装置を用いてサイズデータを入力してもよい。また、本実施形態では、基準比率をキャラクタの身長と仮想空間の座標系におけるキャラクタ４の身長に対する上記所定の単位での身長の比率としているが、それに限らず、キャラクタ以外のオブジェクトから基準比率を求めてもよい。即ちサイズデータが定義されているオブジェクトであればその基準比率を用いて他のオブジェクト（キャラクタを含む）のサイズ変更をしてもよい。

【0036】

なお、本実施形態では風景オブジェクト５のサイズ調整について説明したがそれらに限らない。制御部３４０は、例えば日常用品等をモチーフにしたオブジェクトについてもサイズ調整が可能である。

【0037】

具体的には、図１０を示しつつ説明する。図には複数のアセットが陳列された棚状のアセットストア６’、キャラクタ４、ドライヤをモチーフした用品オブジェクト（ドライヤD）が表示されている。アセットストア６’は棚状となっており、アセットストア６’の上段にはアセットとしてキャラクタ４を装飾する服装やアクセサリーのオブジェクトが陳列されており、下段にはアセットとして日常用品のオブジェクトが配置されている。そして、ユーザが仮想空間１内の仮想右手２１Ｒにより、アセットストア６’からドライヤをモチーフした用品オブジェクト（ドライヤD）を取り出すと、制御部３４０は、同様にキャラクタ４から求めた基準比率を用いてドライヤDのサイズ調整（ドライヤD’）を行うことができる。

【0038】

＜カメラの画角に応じてサイズの自動調整＞
次に、図１１を用いて仮想空間１内におけるカメラ３で撮影する際のオブジェクト５のサイズ調整について説明する。

【0039】

図１１に示すように、ユーザがカメラマン２に憑依している状態で仮想空間１内のカメラ３を用いてキャラクタ４と風景オブジェクト５を撮影しようとしている状態である。カメラ３の表示部６１０には、キャラクタ４とサイズ調整前の風景オブジェクト５が示されている。そこで、ユーザがカメラ３を用いてキャラクタ４とオブジェクト５を視準した状態で録画ボタン６２０を押すと、制御部３４０は、風景オブジェクト５にけるサイズ調整の必要性判断と必要と判断した場合のサイズ調整を行う。例えば、制御部３４０が、表示部６１０に表示されている風景オブジェクト５が表示部６１０の表示範囲よりも小さいと判断した場合、制御部３４０は、表示部６１０に写されている風景オブジェクト５がカメラ３の表示部６１０の表示範囲と同等以上になるように風景オブジェクト５を拡大させる。即ち、風景オブジェクト５のサイズが、カメラ３の画角の範囲（一点鎖線）内に収まる場合には、制御部３４０は、風景オブジェクト５のサイズをカメラ３の画角範囲以上になるように拡大調整をする。

【0040】

また、制御部３４０は、カメラ３における画角のみを判断材料とせず、仮想空間１内におけるキャラクタ４のサイズをも考慮して、風景オブジェクト５のサイズ調整をしてもよい。例えば、制御部３４０は、風景オブジェクト５のサイズがカメラ３の画角範囲と同等以上と判断しても、キャラクタ４とのサイズ比率が不適合と判断した場合（風景オブジェクト５のサイズがキャラクタ４よりも小さい場合等）には、優先してキャラクタ４のサイズを基準にして（基準比率を用いて）風景オブジェクト５の拡大調整をしてもよい。

【0041】

また、本実施形態ではカメラ３の画角に応じて風景オブジェクト５のサイズ調整を行うと述べているが、それに限らず、キャラクタ４や用品オブジェクトのサイズ調整を行ってもよい。例えば、制御部３４０が、風景オブジェクト５はカメラ３の画角範囲と同等以上のサイズと判断、または風景オブジェクト５をカメラ３の画角範囲と同等以上サイズ調整した場合、制御部３４０は、風景オブジェクト５に対する他のオブジェクトのサイズが適切か否かを判断する。例えば、制御部３４０が、キャラクタ４のサイズが風景オブジェクト５のサイズと比較して大きい場合、制御部３４０は、風景オブジェクト５のサイズを変えないでキャラクタ４のサイズを縮小調整してもよい。

【0042】

＜ユーザが憑依する際のサイズ最適化＞
図１２は本実施形態のアニメーション制作システムにおいてユーザがキャラクタに憑依をする際の最適化について説明する図である。図に示すように、ユーザがキャラクタ４に憑依した際に、ユーザ自身の身長を入力すると、制御部３４０は、ユーザの身長に相当する骨格をキャラクタ４の身長に相当する骨格に合わせるように調整する。具体的には、ユーザは身長１９０ｃｍの男性とし、仮想空間１内におけるキャラクタ４は、身長１６０ｃｍの女性とする。そして、当該ユーザが図示しない入力装置によりユーザ自身の身長とキャラクタ４に憑依する旨を入力すると、制御部３４０は、まずユーザの身長に相当する仮想骨格（例えば、１９０ｃｍ男性の平均体格）を生成して、キャラクタ４の身長に相当する骨格になるように全体的に縮小調整（身長のみではなく、腕や足の長さ等も）を行う。その後、制御部３４０は、サイズ調整後の骨格をキャラクタ４の骨格に合わせて憑依させる。

【0043】

なお、ユーザの身長のみならず、既存のモーションデータをキャラクタ４のサイズに応じて最適化をすることもできる。

【0044】

＜モーションデータの最適化＞
例えば図１３である本実施形態においてキャラクタにモーションデータを使用する際の最適化について説明する。図に示すように、仮想空間１内にはキャラクタ４とアセットストア６が配置されている。アセットストア６は、仮想のタッチパネルであり、当該パネルの表示部６ａにはアセットとしてモーションサンプルM1、M2、M3が配置されている。モーションサンプルM1、M2、M3は、モーションのサムネイルとモーションに関する説明文とがセットになっている。ユーザはパネルを縦方向にスライドすることでモーションサンプルを選ぶことができる。例えばユーザがモーションサンプル６ｂを押すことで仮想空間１内にモーションアセットMAをポップアップさせることができる。また、モーションアセットMAは、キャラクタ４を所定の動き（踊り等）をさせるモーションデータが含まれているブロックである。また、モーションデータは、例えば、モーションセンサー等を用いてダンサーのモーションを読み取り記録したデータである。また、モーションアセットには、モーションデータ以外にも、モーションを提供したダンサーに関する骨格情報（例えば身長、肩幅など）も含まれている。

【0045】

ユーザは、仮想右手２１Rを介してモーションアセットMAを掴み、キャラクタ４に当てると、制御部３４０は、当該モーションアセットMAがキャラクタ４に合わせて最適化を行い、キャラクタ４に所定のモーションをさせる。具体的には、制御部３４０は、モーションアセットMAに含まれるダンサーの骨格情報（例えば、身長１９０ｃｍとその身長における男性の平均体格）とモーションデータを読み取り、仮想骨格を生成する。そして、制御部３４０は、キャラクタ４の骨格（身長１６０ｃｍ）に合うように仮想骨格の全体縮小調整を行う。そして制御部３４０は、仮想骨格をキャラクタ４に取り込ませてキャラクタ４を所定のモーションをさせる。

【0046】

＜物理的な相互作用＞
図１４、１５は、オブジェクト同士における物理的な相互作用の例を説明する図であり、これらの図に沿って説明する。なお、これから説明するアニメーション制作システム３００における制御部３４０には、図示しない物理演算エンジンが搭載されており、物理演算エンジンは、仮想空間１内において、オブジェクト同士の衝突や風力等の力学的にオブジェクト等に対する効果をシミュレーションまたは表現をする機能を有する。

【0047】

図１４では、一方のオブジェクト（第１のオブジェクト）の動作が他方のオブジェクト（第２のオブジェクト）に対して力学的な影響を及ぼす一例が示されている。詳細には、仮想空間内の略中央部にはキャラクタ４’（第２のオブジェクト）が配置されており、キャラクタ４’の左下側には扇風機をモチーフにした用品オブジェクト（扇風機F、第１のオブジェクト）が配置されている。扇風機Fは、予めに仮想空間１内に配置してもよいし、前述したようにアセットストア６’から取り出してもよい。次に、ユーザが図示しない指示装置で扇風機Fの動作を指示すると、制御部３４０は、扇風機Fの羽根を回転させ、同時に右上に向けて仮想の風を生じさせる。そして、制御部３４０は、風の経路上に他のオブジェクトが存在すると判断した場合、当該他のオブジェクトに風に当たっている状態を表現させる。具体的には、図に示すように風の経路（斜線）上にはキャラクタ４’が配置されていると、制御部３４０は、キャラクタ４’の髪や服等が右上の方向になびくように制御する。また、制御部３４０は、例えば風の強さ等に応じて髪等のなびき方を変化させることができる。なお、本実施形態では、力学的に影響を及ぼす表現として風力について述べたが、これに限らない。例えば、オブジェクト同士の衝突や巻込、水流等の力学的影響に影響を及ぼす表現があってもよい。

【0048】

図１３では、一方のオブジェクト（第１のオブジェクト）の動作が他方のオブジェクト（第２のオブジェクト）に対して光学的（もっと上位概念？）な影響を及ぼす一例が示されている。図に示すように仮想空間１内の左上にライトをモチーフにしたオブジェクト（ライトL）が設置されており、右下にはリンゴをモチーフにしたオブジェクト（りんごA）が設置されている。また、ライトL、りんごAは、予めに仮想空間１内に配置してもよいし、前述したようにアセットストア６’から取り出してもよい。ユーザが図示しない指示装置を介してライトLの明かりを照らすように指示すると、制御部３４０は、ライトの発光部から右下に向かって光束LRを射出させ続ける。そして、制御部３４０は、光束LRの経路上にオブジェクトが存在すると判断した場合、当該オブジェクトにおいて光束LRの経路上に晒されている部分のみを明るくするように制御する。即ち、りんごAの左上側から右下側に向かう部分が光束LRに晒されているので、制御部３４０は、その部分ALのみ明るくなるように制御する。なお、本実施形態では、オブジェクトにおいて光経路上に晒されている部分が明るくなると述べているが、影を生成してもよい。

【0049】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【0050】

たとえば、本実施形態では、画像生成装置３１０は１台のコンピュータであるものとしたが、これに限らず、ＨＭＤ１１０またはコントローラ２１０に画像生成装置３１０の全部または一部の機能を備えるようにしてもよい。また、画像生成装置３１０と通信可能に接続する他のコンピュータに画像生成装置３１０の一部の機能を備えるようにすることができる。

【0051】

また、本実施形態では、仮想現実（ＶＲ；Virtual Reality）による仮想空間を想定していたが、これに限らず、拡張現実（ＡＲ；Augumented Reality）空間あるいは複合現実（ＭＲ；Mixed Reality）空間であっても本実施形態のアニメーション制作システム３００はそのまま適用可能である。

【符号の説明】

【0052】

１ 仮想空間
２ カメラマン
３ カメラ
４ キャラクタ
５ オブジェクト
６ アセットストア
１１０ ＨＭＤ
１２０ 表示パネル
１３０ 筐体部
１４０ センサ
１５０ 光源
２１０ コントローラ
２２０ 左手用コントローラ
２３０ 右手用コントローラ
２３５ グリップ
２４０ トリガーボタン
２５０ 赤外線ＬＥＤ
２６０ センサ
２７０ ジョイスティック
２８０ メニューボタン
３００ アニメーション制作システム
３１０ 画像生成装置
３２０ 入出力部
３３０ 通信部
３４０ 制御部
３５０ 記憶部
４１０ ユーザ入力検出部
４２０ アセット管理部
４３０ キャラクタ制御部
４４０ オブジェクト制御部
４５０ カメラ制御部
４６０ 画像生成部
４７０ キャラクタデータ格納部
４８０ 制御プログラム格納部
４９０ 画像データ格納部
５００ オブジェクトデータ格納部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】