(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-01
(45)【発行日】2022-08-09
(54)【発明の名称】アニメーション制作システム
(51)【国際特許分類】
G06T 13/40 20110101AFI20220802BHJP
【FI】
G06T13/40
(21)【出願番号】P 2020541613
(86)(22)【出願日】2019-09-24
(86)【国際出願番号】 JP2019037420
(87)【国際公開番号】W WO2021059368
(87)【国際公開日】2021-04-01
【審査請求日】2020-08-28
(73)【特許権者】
【識別番号】518027690
【氏名又は名称】株式会社エクシヴィ
(73)【特許権者】
【識別番号】519389362
【氏名又は名称】エイベックス・テクノロジーズ株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip特許業務法人
(72)【発明者】
【氏名】近藤 義仁
(72)【発明者】
【氏名】室橋 雅人
【審査官】岡本 俊威
(56)【参考文献】
【文献】特許第6526898(JP,B1)
【文献】国際公開第2016/121921(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/00-19/20
(57)【特許請求の範囲】
【請求項1】
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作
に関するアクションデータを所定のトラックに格納し、
前記トラックを再生しながら、前記ユーザからの指示に応じて、前記所定のトラックに格納された
前記オブジェクトの
動作を変更することなく、前記オブジェクトの髪の動作を変更すること、を含む方法。
【請求項2】
前記変更されたオブジェクトの前記髪の動作に関するアクションパラメータを前記トラックに保存することを含む、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アニメーション制作システムに関する。
【背景技術】
【0002】
仮想空間内に仮想カメラを配置することが行われている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
【0005】
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作を含む画像を所定のトラックに格納し、前記所定のトラックに格納されたオブジェクトの表情を変更すること、を含む。
【0007】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【0008】
本発明によれば、仮想空間内でアニメーションを撮影することができる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。
【
図2】本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。
【
図3】本実施形態に係るヘッドマウントディスプレイ(以下:HMD)110の外観の模式図を示す。
【
図4】本実施形態に係るコントローラ210の外観の模式図を示す。
【
図5】本実施形態に係るHMD110の機能構成図を示す。
【
図6】本実施形態に係るコントローラ210の機能構成図を示す。
【
図7】本実施形態に係る画像生成装置310の機能構成図を示す。
【
図8】本発明の実施形態に係る、トラック生成及び編集処理の一例を説明するフローチャートである。
【
図9】本発明の実施形態に係る、髪の動きを調整するコントロール画面の一例を説明する図である。
【
図10】本発明の実施形態に係る、トラック編集用のユーザインターフェースの一例を説明する図である。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。
【0011】
[項目1]
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納し、
前記所定のトラックに格納されたオブジェクトの髪の動作を変更すること、を含む方法。
[項目2]
前記変更されたオブジェクトの髪の動作に関するアクションデータを前記トラックに保存することを含む、項目1に記載の方法。
【0012】
本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0013】
<概要>
図1は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間1にキャラクタ4とカメラ3とを配置し、カメラ3を用いてキャラクタ4を撮影する。また、仮想空間1にはカメラマン2が配置され、カメラマン2によりカメラ3が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、
図1に示すように仮想空間1をTPV(Third Person View;三人称視点)で俯瞰しながらキャラクタ4やカメラ3を配置したり、カメラマン2としてFPV(First Person View;一人称支援)でキャラクタ4を撮影したり、FPVでキャラクタ4の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間1内には複数のキャラクタ(
図1の例では、キャラクタ4およびキャラクタ5)を配置することができ、ユーザは、キャラクタ4とキャラクタ5とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割(ロール)を果たすことができる。また、カメラマン2としてカメラ2を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。また、仮想空間内のファン6から、キャラクタ4とキャラクタ5に対して風を当てることで、これらのキャラクタの髪や衣服を靡かせる、といった演出を作り出すこともできる。ファン6は現実世界のファンと同じく、風量は風向きの調整といった機能を有することができる。
【0014】
<全体構成>
図2は、本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。アニメーション制作システム300は、例えば、HMD110、コントローラ210及びホストコンピュータとして機能する画像生成装置310を含んで構成することができる。アニメーション制作システム300には、HMD110やコントローラ210の位置、向き及び傾き等を検出するための赤外線カメラ(図示せず)等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にUSBポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、HDMI、有線LAN、赤外線、Bluetooth(登録商標)、WiFi(登録商標)等の有線又は無線により通信を確立することもできる。画像生成装置310は、PC、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
【0015】
<HMD110>
図3は、本実施形態に係るヘッドマウントディスプレイ(以下:HMD)110の外観の模式図を示す。
図5は、本実施形態に係るHMD110の機能構成図を示す。HMD110はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル120を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル120には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【0016】
HMD110の筐体部130は、センサ140を備える。センサ140は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をY軸とし、Y軸と直交する軸のうち、表示パネル120の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をZ軸とし、Y軸及びZ軸と直交し、ユーザの左右方向に相当する軸をX軸とするとき、センサ140は、X軸まわりの回転角(いわゆる、ピッチ角)、Y軸まわりの回転角(いわゆる、ヨー角)、Z軸まわりの回転角(いわゆる、ロール角)を検出することができる。
【0017】
センサ140に代えて、またはセンサ140に加えて、HMD110の筐体部130は、複数の光源150(例えば、赤外光LED、可視光LED)を備えることもできる。HMD110の外部(例えば、室内等)に設置されたカメラ(例えば、赤外光カメラ、可視光カメラ)がこれらの光源を検出することで、特定の空間におけるHMD110の位置、向き、傾きを検出することができる。または、同じ目的で、HMD110に、HMD110の筐体部130に設置された光源を検出するためのカメラを備えることもできる。
【0018】
HMD110の筐体部130は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
【0019】
<コントローラ210>
図4は、本実施形態に係るコントローラ210の外観の模式図を示す。
図6は、本実施形態に係るコントローラ210の機能構成図を示す。コントローラ210により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができる。左手用コントローラ220及び右手用コントローラ230は、各々操作用トリガーボタン240、赤外線LED250、センサ260、ジョイスティック270、メニューボタン280を有することができる。
【0020】
操作用トリガーボタン240は、コントローラ210のグリップ235を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に240a、240bとして配置される。コントローラ210の両側面から下方にリング状に形成されるフレーム245には、複数の赤外線LED250が備えられ、コントローラ外部に備えられるカメラ(図示せず)により、これらの赤外線LEDの位置を検出することで、特定の空間におけるコントローラ210の位置、向き及び傾きを検出することができる。
【0021】
また、コントローラ210は、コントローラ210の向きや傾きといった動作を検出するために、センサ260を内蔵することができる。センサ260として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ210の上面には、ジョイスティック270及びメニューボタン280を備えることができる。ジョイスティック270は、基準点を中心に360度方向に動かすことができ、コントローラ210のグリップ235を把持したときに、親指で操作されることが想定される。メニューボタン280もまた同様に、親指で操作されることが想定される。さらに、コントローラ210は、コントローラ210を操作するユーザの手に振動を与えるためのバイブレータ(図示せず)を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ210の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ210は、入出力部及び通信部を有する。
【0022】
ユーザがコントローラ210を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線LEDやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
【0023】
<画像生成装置310>
図7は、本実施形態に係る画像生成装置310の機能構成図を示す。画像生成装置310としては、HMD110やコントローラ210から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、PC、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置310は、例えば、HMD110やコントローラ210等の周辺装置との有線による接続を確立するための入出力部320を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部330を備えることができる。入出力部320及び/又は通信部330を介して、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部340において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部350に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部340は、CPUで構成することもできるが、画像処理に特化したGPUをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置310はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
【0024】
制御部340は、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部410と、予め記憶部350のキャラクタデータ格納部440に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部420と、キャラクタ制御に基づいて画像を生成する画像生成部430を有する。ここでキャラクタの動作の制御については、HMD110やコントローラ210を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部340は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部440と、各トラックを編集し、最終コンテンツを生成する編集実行部450とを有する。また、制御部340は、仮想空間1内のファン6の配置位置、風量及び風向きを制御するためのファン制御部460を有する。
【0025】
記憶部350は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部510を有する。また、制御プログラム格納部520は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部350は、画像生成部630で生成される動画像におけるキャラクタの動き(紙の動きを含む)を制御するパラメータで構成されるアクションデータを格納するトラック格納部530を有する。
【0026】
図8は、本発明の実施形態に係る、トラック生成及び編集処理の一例を説明するフローチャートである。
【0027】
まず、画像生成装置310の制御部340の録画再生実行部440は、仮想空間における、第1のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部530の第1のトラックに格納するための録画を開始する(S101)。ここで、キャラクタを撮影するカメラの位置、カメラの視点(例えば、FPV、TPV等)を設定することもできる。例えば、
図1に示す仮想空間1において、第1のキャラクタに対応するキャラクタ4に対し、カメラマン2が配置される位置、また、カメラ3のアングルを設定することができる。録画開始操作は、コントローラ210等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、HMD110を装着し、コントローラ210を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。
【0028】
続いて、制御部340のユーザ入力検出部410は、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出する(S102)。例えば、HMD110を装着するユーザが、頭部を傾けるとHMD110に備えられるセンサ140が、その傾きを検出し、傾きに関する情報を画像生成装置310に送信する。画像生成装置310は、通信部330を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部410は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ210を使って、コントローラ210を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ260がその動作及び/または操作を検出し、動作及び/または操作に関する情報を画像生成装置310に送信する。画像生成装置310は、通信部330を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部410は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
【0029】
続いて、制御部340のキャラクタ制御部420は、検出したユーザの動作に基づいて仮想空間内における第1のキャラクタの動作を制御する(S103)。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部420は、第1のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部420は、第1のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部420は、ユーザ入力検出部410が、HMD110またはコントローラ210から送信されたユーザによる動作を検出する度に、第1のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部410によって検出された操作及び/または操作に関するパラメータを、トラック格納部530の第1のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第1のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
【0030】
続いて、録画再生実行部440は、ユーザから録画終了の指示を受け付けたかを確認し(S104)、録画終了の指示を受け付けたときには、第1のキャラクタに関連する第1のトラックの録画を完了する(S105)。録画再生実行部440は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部440は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。
【0031】
続いて、編集実行部450は、トラック格納部530に格納された第1のトラックに対し、編集を行う(S106)。例えば、ユーザは、
図9(a)に示すような、トラック編集用のユーザインターフェースを介して、第1のキャラクタに関連する第1のトラック(T1)を編集する。例えば、ユーザインターフェースには、時系列に沿って、第1のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、
図1に示すような仮想空間内に配置されたキャラクタ(例えば、キャラクタ4)の動画像が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル(例えば、「第1のキャラクタ」)をリスト形式で表示する方法も考えられる。
【0032】
続いて、ファン制御部460は、第1のトラックに格納される第1のキャラクタの髪の動きの制御を行うため、ファンの風量、風向きを制御する(S107)。キャラクタの髪の動きの調整方法として、制御部310のユーザ入力検出部410が、ユーザによる、コントローラ420の操作ボタンの押下等による操作信号を検出し、ファン制御部460は、
図9に示すようなコントロール画面上の仮想空間1において、キャラクタ4に相対する位置にファン6を配置し、ファンの風量、風向きを調整する。そして、キャラクタ制御部420は、ファン6により生じた風がキャラクタ4に応じてキャラクタ4の髪の向きを含め、動きが変化するよう制御する。ここで、ファンの位置を調整することで、動きを制御する対象を、キャラクタの衣服、アクセサリ、手に持っているオブジェクト(手紙等)といったキャラクタの所望の部位とすることができる。また、仮想空間内でファンを複数設置することで、髪の動きを強くする一方で、衣服の動きを弱くする等同じキャラクタ内で風による動きの強弱や向きを調整することもできる。
【0033】
続いて、編集実行部450は、ユーザの要求に応じて、または、自動的に編集内容を保存することで、第1のトラックを更新する処理を行う(S108)。ここで、
図10(b)に示すように、第1のトラックにおいて更新されたキャラクタの髪の動きに関する動作パラメータをアクションデータとして上書きする形態のほか、
図9(c)に示すように、元のトラック(T1)は残しつつ、新規に別トラック(T2)を生成し、更新されたキャラクタの髪の動きに関するアクションデータとともに、キャラクタの動作に関するアクションデータを、生成されたトラック(T2)に格納することもできる。これにより、ユーザは、各トラックの編集作業をより柔軟に行うことができる。
【0034】
以上のように、本実施形態により、マルチトラックレコーディング(MTR)の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作をトラックに格納し、トラックに格納されたキャラクタ対し、キャラクタの髪の動きの更新処理を行うことで、簡易かつ効率的なアニメーション制作を実現することができる。
【0035】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0036】
例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト(乗り物、構造物、物品等)に本実施形態に開示される方法を適用することもできる。
【0037】
また、例えば、本実施形態において、画像生成装置310をHMD110とは別個のものとして記載したが、画像生成装置310によって提供される、全部または一部の構成及び機能をHMD110に備えることもできる。
【符号の説明】
【0038】
1 仮想空間
2 カメラマン
3 カメラ
4 キャラクタ
5 キャラクタ
110 HMD
210 コントローラ
310 画像生成装置