(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184958
(43)【公開日】2022-12-13
(54)【発明の名称】アニメーション制作システム
(51)【国際特許分類】
G06T 13/40 20110101AFI20221206BHJP
G06F 3/01 20060101ALI20221206BHJP
G06T 19/00 20110101ALI20221206BHJP
【FI】
G06T13/40
G06F3/01 510
G06T19/00 300A
G06T19/00 300B
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022147883
(22)【出願日】2022-09-16
(62)【分割の表示】P 2020541625の分割
【原出願日】2019-09-24
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
(71)【出願人】
【識別番号】518027690
【氏名又は名称】株式会社エクシヴィ
(71)【出願人】
【識別番号】519389362
【氏名又は名称】エイベックス・テクノロジーズ株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】近藤 義仁
(72)【発明者】
【氏名】室橋 雅人
(57)【要約】
【課題】仮想空間内でアニメーションを撮影することができるようにする。
【解決手段】アニメーション制作システムは、仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかからユーザの入力を検出するユーザ入力検出部と、入力に応じて、仮想空間を俯瞰する第1のモード、仮想空間内に配置されたキャラクタを操作する第2のモード、およびカメラを操作する第3のモードを切り替えるモード制御部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、
ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
前記入力に応じて、前記仮想空間を俯瞰する第1のモード、前記仮想空間内に配置されたキャラクタを操作する第2のモード、および前記カメラを操作する第3のモードを切り替えるモード制御部と、
を備えることを特徴とするアニメーション制作システム。
【請求項2】
請求項1に記載のアニメーション制作システムであって、
前記第1ないし第3のモードを切り替えるためのモード切替ボタンと、前記カメラが撮影している画像を表示するカメラ画像表示部とを備える制御パネルをさらに備えること、
を特徴とするアニメーション制作システム。
【請求項3】
請求項1に記載のアニメーション制作システムであって、
前記制御パネルは、前記カメラが複数配置されている場合に、前記カメラ画像表示部に表示する前記カメラを切り替えるためのカメラ切替ボタンをさらに備えること、
を特徴とするアニメーション制作システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アニメーション制作システムに関する。
【背景技術】
【0002】
仮想空間内に仮想カメラを配置することが行われている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
【0005】
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、アニメーション制作システムであって、仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、前記入力に応じて、前記仮想空間を俯瞰する第1のモード、前記仮想空間内に配置されたキャラクタを操作する第2のモード、および前記カメラを操作する第3のモードを切り替えるモード制御部と、を備えることとする。
【0007】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【0008】
本発明によれば、仮想空間内でアニメーションを撮影することができる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態のアニメーション制作システム300においてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。
【
図2】本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。
【
図3】本実施形態に係るHMD110の外観を模式的に示す図である。
【
図4】本実施形態に係るHMD110の機能構成例を示す図である。
【
図5】本実施形態に係るコントローラ210の外観を模式的に示す図である。
【
図6】本実施形態に係るコントローラ210の機能構成例を示す図である。
【
図7】本実施形態に係る画像生成装置310の機能構成例を示す図である。
【
図8】制御パネル6の操作に係る処理の流れを説明する図である。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
【0011】
[項目1]
仮想空間内に配置されたキャラクタを撮影する仮想的なカメラと、
ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
前記入力に応じて、前記仮想空間を俯瞰する第1のモード、前記仮想空間内に配置されたキャラクタを操作する第2のモード、および前記カメラを操作する第3のモードを切り替えるモード制御部と、
を備えることを特徴とするアニメーション制作システム。
[項目2]
項目1に記載のアニメーション制作システムであって、
前記第1ないし第3のモードを切り替えるためのモード切替ボタンと、前記カメラが撮影している画像を表示するカメラ画像表示部とを備える制御パネルをさらに備えること、
を特徴とするアニメーション制作システム。
[項目3]
項目1に記載のアニメーション制作システムであって、
前記制御パネルは、前記カメラが複数配置されている場合に、前記カメラ画像表示部に表示する前記カメラを切り替えるためのカメラ切替ボタンをさらに備えること、
を特徴とするアニメーション制作システム。
【0012】
本発明の一実施形態に係るアニメーション制作システム300の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0013】
<概要>
図1は、本実施形態のアニメーション制作システム300においてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システム300は、仮想空間1に仮想的なキャラクタ4と仮想的なカメラ3とを配置し、カメラ3を用いてキャラクタ4を撮影することによりアニメーションを制作しようとするものである。
【0014】
仮想空間1にはカメラマン2(撮影者キャラクタ)が配置され、カメラマン2によりカメラ3が仮想的に操作される。本実施形態のアニメーション制作システム300では、ユーザは、
図1に示すように仮想空間1をTPV(Third Person View;三人称視点)で俯瞰しながらキャラクタ4やカメラ3を配置したり、カメラマン2としてFPV(First Person View;一人称視点)でキャラクタ4を撮影したり、FPVでキャラクタ4の演技を行ったりしながら、アニメーションを制作していく。仮想空間1内には複数のカメラ2(
図1の例では、カメラ2-1およびカメラ2-2)を配置することができ、カメラ2-1およびカメラ2-2をスイッチングし、最終的なアニメーションに採用するカメラ2からの動画を切り換えることができる。
【0015】
また、仮想空間1内には複数のキャラクタ4(
図1の例では、キャラクタ4-1およびキャラクタ4-2)を配置することができ、ユーザは、キャラクタ4に憑依しながら演技を行うことができる。複数のキャラクタ4が配置されている場合には、ユーザは、各キャラクタ4(たとえば、キャラクタ4-1および4-2)に憑依する対象を切り替えることもできる。
【0016】
このように、本実施形態のアニメーション制作システム300では、一人が何役もの役割(ロール)を果たすことができる。また、カメラマン2としてカメラ2を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
【0017】
<全体構成>
図2は、本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。アニメーション制作システム300は、例えば、HMD110、コントローラ210及びホストコンピュータとして機能する画像生成装置310を含んで構成することができる。アニメーション制作システム300には、HMD110やコントローラ210の位置、向き及び傾き等を検出するための赤外線カメラ(図示せず)等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にUSBポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、HDMI、有線LAN、赤外線、Bluetooth(登録商標)、WiFi(登録商標)等の有線又は無線により通信を確立することもできる。画像生成装置310は、PC、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
【0018】
<HMD110>
図3は、本実施形態に係るHMD110の外観を模式的に示す図である。
図4は、本実施形態に係るHMD110の機能構成例を示す図である。
【0019】
HMD110はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル120を備える。表示パネル120としては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル120には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【0020】
HMD110の筐体部130は、センサ140を備える。センサ140は、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をY軸とし、Y軸と直交する軸のうち、表示パネル120の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をZ軸とし、Y軸及びZ軸と直交し、ユーザの左右方向に相当する軸をX軸とするとき、センサ140は、X軸まわりの回転角(いわゆる、ピッチ角)、Y軸まわりの回転角(いわゆる、ヨー角)、Z軸まわりの回転角(いわゆる、ロール角)を検出することができる。
【0021】
センサ140に代えて、またはセンサ140に加えて、HMD110の筐体部130は、複数の光源150(例えば、赤外光LED、可視光LED)を備えることもできる。HMD110の外部(例えば、室内等)に設置されたカメラ(例えば、赤外光カメラ、可視光カメラ)がこれらの光源を検出することで、特定の空間におけるHMD110の位置、向き、傾きを検出することができる。または、同じ目的で、HMD110に、HMD110の筐体部130に設置された光源を検出するためのカメラを備えることもできる。
【0022】
HMD110の筐体部130は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
【0023】
<コントローラ210>
図5は、本実施形態に係るコントローラ210の外観を模式的に示す図である。
図6は、本実施形態に係るコントローラ210の機能構成例を示す図である。
【0024】
コントローラ210により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができる。左手用コントローラ220及び右手用コントローラ230は、各々操作用トリガーボタン240、赤外線LED250、センサ260、ジョイスティック270、メニューボタン280を有することができる。
【0025】
操作用トリガーボタン240は、コントローラ210のグリップ235を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に240a、240bとして配置される。コントローラ210の両側面から下方にリング状に形成されるフレーム245には、複数の赤外線LED250が備えられ、コントローラ外部に備えられるカメラ(図示せず)により、これらの赤外線LEDの位置を検出することで、特定の空間におけるコントローラ210の位置、向き及び傾きを検出することができる。
【0026】
また、コントローラ210は、コントローラ210の向きや傾きといった動きを検出するために、センサ260を内蔵することができる。センサ260として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ210の上面には、ジョイスティック270及びメニューボタン280を備えることができる。ジョイスティック270は、基準点を中心に360度方向に動かすことができ、コントローラ210のグリップ235を把持したときに、親指で操作されることが想定される。メニューボタン280もまた同様に、親指で操作されることが想定される。さらに、コントローラ210は、コントローラ210を操作するユーザの手に振動を与えるためのバイブレータ(図示せず)を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ210の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ210は、入出力部及び通信部を有する。
【0027】
ユーザがコントローラ210を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線LEDやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
【0028】
<画像生成装置310>
図7は、本実施形態に係る画像生成装置310の機能構成例を示す図である。画像生成装置310としては、HMD110やコントローラ210から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、PC、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置310は、例えば、HMD110やコントローラ210等の周辺装置との有線による接続を確立するための入出力部320を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部330を備えることができる。入出力部320及び/又は通信部330を介して、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部340において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部350に格納された制御プログラムを実行することで、キャラクタ4の制御を行い、画像を生成するといった処理がなされる。制御部340は、CPUで構成することもできるが、画像処理に特化したGPUをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置310はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
【0029】
制御部340は、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部410と、予め記憶部350のキャラクタデータ格納部450に格納されたキャラクタ4に対して、制御プログラム格納部460に格納された制御プログラムを実行するキャラクタ制御部420と、キャラクタ制御に応じて、仮想空間1に配置された仮想的なカメラ3の制御を行うカメラ制御部440と、システムの制御モードを変更するモード制御部480と、制御モードに応じたキャラクタ制御に基づいてカメラ3が仮想空間1を撮影した画像を生成する画像生成部430とを有する。ここでキャラクタ4の動きの制御については、HMD110やコントローラ210を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。カメラ3の制御は、たとえば、キャラクタ4の手の動きに応じて、カメラ3についての各種設定(たとえば、カメラ3の仮想空間1内での位置、カメラ3の撮影方向、焦点位置、ズームなど)を変更することにより行われる。
【0030】
記憶部350は、上述のキャラクタデータ格納部450に、キャラクタ4のイメージデータのほか、キャラクタ4の属性等キャラクタ4に関連する情報を格納する。また、制御プログラム格納部460は、仮想空間におけるキャラクタ4の動作や表情を制御し、カメラ3などのオブジェクトを制御するためのプログラムを格納する。画像データ格納部470は、画像生成部430で生成された画像を格納する。
【0031】
<制御パネル6>
アニメーション制作システム300の制御モードは、モード制御部480により設定される。なお、デフォルトは俯瞰モードとすることができる。ユーザは、制御パネル6を操作することにより、制御モードを変更することができる。
図1に示すように、制御パネル6は仮想空間1に配置される。制御パネル6は、ユーザの操作により自由な位置に配置することができる。ユーザは、カメラマン2やキャラクタ4をFPVにより操作するにあたり、カメラ3の操作またはキャラクタ4としての演技の邪魔にならない位置に制御パネル6を移動させることができる。たとえば、指を制御パネル6の端部近傍に移動させてトリガーボタン240を押下して制御パネル6をつまみながらコントローラ210を移動させることにより、モード制御部480は、コントローラ210の移動に応じて制御パネル6を移動させることができる。
【0032】
制御パネル6には、制御モードを変更するためのモード切替ボタン61と、カメラ3により撮影されているカメラ画像を表示するカメラ画像表示部62と、カメラ3の切替を行うためのカメラ切替ボタン63とが配置される。
図1の例では、モード切換ボタン61には、仮想空間1を俯瞰する俯瞰モードに切り換えるための「SCAPE」ボタン、キャラクタ4に憑依して演技を行う演技モードに切り換えるための「ACTOR」ボタン、カメラマン2に憑依してカメラ3を操作するカメラモードに切り換えるための「CAMERA」ボタンとが含まれている。なお、制御パネル6には、これらのボタンのいずれかだけが配置されるようにしてもよい。
【0033】
<モードの変更処理>
図8は、制御パネル6の操作に係る処理の流れを説明する図である。
図8の処理は、制御パネル6において何らかのボタンがタップされた場合に実行される。
【0034】
制御パネル6においてSCAPEボタンがタップされた場合(S501:SCAPE)には、制御モードは俯瞰モードとなる(S502)。俯瞰モードでは、
図1に示されるように、仮想空間1を俯瞰するような画面が表示パネル120に表示される。ユーザはキャラクタ4の位置を変更したり、新たなキャラクタ4を配置したり、カメラ3の位置を変更したり、新たなカメラ3を配置したりすることができる。複数のカメラマン2が配置されている場合や、複数のキャラクタ4が配置されている場合には、制御モード切替時に憑依対象(操作対象)となるカメラマン2およびキャラクタ4を指定することもできる。たとえば、俯瞰モードにおいて仮想空間1内のカメラマン2がタップされると、モード制御部480は、タップされたカメラマン2を、カメラモードになった場合に操作対象となるように設定することができる。また、俯瞰モードにおいて、仮想空間1内のキャラクタ4がタップされると、モード制御部480は、タップされたキャラクタ4を、演技モードになった場合に操作対象となるように設定することができる。モード制御部480は、操作対象となっているカメラマン2およびキャラクタ4を示すマーク7を表示するようにしてもよい。
【0035】
制御パネル6においてACTORボタンがタップされた場合(S501:ACTOR)には、制御モードは演技モードとなる(S503)。演技モードでは、キャラクタ4の一人称画像(FPV)が表示パネル120に表示され、ユーザは、コントローラ210およびHMD110の操作によりキャラクタ4の動作を制御し、キャラクタ4の演技を行うことができる。複数のキャラクタ4が配置されている場合には、上述のとおり、操作対象として設定されているキャラクタ4をユーザは操作することが可能となる。なお、仮想的な音声マイクを持つ音響エンジニアやレフ板を持つアシスタントなどを配置した場合には、演技モードは、音響エンジニアやアシスタントなどのロールを有するキャラクタ4を操作する操作モードとすることができる。
【0036】
制御パネル6においてCAMERAボタンがタップされた場合(S501:CAMERA)には、制御モードはカメラモードとなる(S504)。カメラモードでは、カメラマン2の一人称画像(FPV)が表示パネル120に表示され、ユーザは、コントローラ210の操作によりカメラ3を制御し、カメラ3による撮影を行うことができる。複数のカメラ3が配置されている場合には、上述のとおり、操作対象として設定されているカメラマン2をユーザは操作することが可能となる。
【0037】
制御パネル6においてカメラ切替ボタン63のいずれかがタップされた場合(S501:01,02…)には、モード制御部480は、カメラ画像表示部62に表示するカメラ3を設定する(S505)。
【0038】
以上のようにして、ユーザは制御パネル6を用いて、カメラマン2の一人称視点となるカメラモード、キャラクタ4の一人称視点となる演技モード、および仮想空間1の三人称視点となる俯瞰モードを切り替えることができる。これと同時に、制御パネル6ではカメラ3を切り替えてカメラ3からの映像を表示することができる。
【0039】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0040】
たとえば、本実施形態では、画像生成装置310は1台のコンピュータであるものとしたが、これに限らず、HMD110またはコントローラ210に画像生成装置310の全部または一部の機能を備えるようにしてもよい。また、画像生成装置310と通信可能に接続する他のコンピュータに画像生成装置310の一部の機能を備えるようにすることができる。
【0041】
また、本実施形態では、仮想現実(VR;Virtual Reality)による仮想空間を想定していたが、これに限らず、拡張現実(AR;Augumented Reality)空間あるいは複合現実(MR;Mixed Reality)空間であっても本実施形態のアニメーション制作システム300はそのまま適用可能である。
【符号の説明】
【0042】
1 仮想空間
2 カメラマン
3 カメラ
4 キャラクタ
6 制御パネル
61 モード切替ボタン
62 カメラ画像表示部
63 カメラ切替ボタン
110 HMD
120 表示パネル
130 筐体部
140 センサ
150 光源
210 コントローラ
220 左手用コントローラ
230 右手用コントローラ
235 グリップ
240 トリガーボタン
250 赤外線LED
260 センサ
270 ジョイスティック
280 メニューボタン
300 アニメーション制作システム
310 画像生成装置
320 入出力部
330 通信部
340 制御部
350 記憶部
410 ユーザ入力検出部
420 キャラクタ制御部
430 画像生成部
440 カメラ制御部
450 キャラクタデータ格納部
460 プログラム格納部
470 画像データ格納部
480 モード制御部
510 ハンドル
520 表示部
530 レール
540 スライダ
550 録画ボタン