特許 6481057 仮想空間におけるキャラクタの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6481057

(24)【登録日】2019年2月15日

(45)【発行日】2019年3月13日

(54)【発明の名称】仮想空間におけるキャラクタの制御方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190304BHJP

   G06F 3/01 20060101ALI20190304BHJP

   A63F 13/25 20140101ALI20190304BHJP

   A63F 13/211 20140101ALI20190304BHJP

   A63F 13/215 20140101ALI20190304BHJP

   A63F 13/428 20140101ALI20190304BHJP

【ＦＩ】

   G06T19/00 300A

   G06F3/01 510

   A63F13/25

   A63F13/211

   A63F13/215

   A63F13/428

【請求項の数】3

【全頁数】17

(21)【出願番号】特願2018-17258(P2018-17258)

(22)【出願日】2018年2月2日

【審査請求日】2018年7月9日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１月２２日に下記ウェブサイト「ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｖｘ８ｘｓ７ｆｆｍＶｇ＆ｆｅａｔｕｒｅ＝ｙｏｕｔｕ．ｂｅ」にて掲載。 平成３０年１月２４日に下記ウェブサイト「ｈｔｔｐ：／／ｗｗｗ．ｘｖｉ．ｃｏ．ｊｐ／ｎｅｗｓ／ａｎｉｃａｓｔ／」にて掲載。 平成３０年１月２４日に下記ウェブサイト「ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００１１１．００００２６２０５．ｈｔｍｌ」にて掲載。 平成３０年１月２７日にＧＬＳセミナー「バーチャルリアリティ（ＶＲ）最前線」にて発表。

【早期審査対象出願】

(73)【特許権者】

【識別番号】518027690

【氏名又は名称】株式会社エクシヴィ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】特許業務法人 ｉＰＬＡＢ Ｓｔａｒｔｕｐｓ

(74)【代理人】

【識別番号】100179822

【弁理士】

【氏名又は名称】中畑 稔

(72)【発明者】

【氏名】近藤 義仁

(72)【発明者】

【氏名】室橋 雅人

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１６−１２６５００（ＪＰ，Ａ）

【文献】 特開２０１５−１１１４６８（ＪＰ，Ａ）

【文献】 特開２００２−７７５２（ＪＰ，Ａ）

【文献】 特許第６２６６７３６（ＪＰ，Ｂ２）

【文献】 米国特許出願公開第２０１７／０２５９１６７（ＵＳ，Ａ１）

【文献】 鈴木克洋, 外６名，“ＡｆｆｅｃｔｉｖｅＨＭＤ：組み込み型光センサを用いた表情認識とバーチャルアバターへの表情マッピング”，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人日本バーチャルリアリティ学会，２０１７年 ９月３０日，第２２巻, 第３号，p.379-389

【文献】 “金融産業が知るべき３戦術”，日経ビジネス，日経ＢＰ社，２０１７年 ４月 ３日，第１８８５号，p.36-39

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ａ６３Ｆ ９／２４，１３／００−１３／９８

Ｇ０６Ｆ ３／０１，３／０４８−３／０４８９

(57)【特許請求の範囲】

【請求項1】

複数のユーザ装置に提供される仮想空間におけるキャラクタの制御方法であって、
複数のユーザ装置の各々のユーザ装置に表示される仮想空間内に第１のユーザが演じるキャラクタを配置するステップと
第１のユーザに装着されたヘッドマウントディスプレイ及びコントローラのいずれかを介して当該第１のユーザの入力を検出するステップと、
前記第１のユーザの入力に基づいて、前記キャラクタの動作を制御するステップと、
前記各々のユーザ装置に、前記仮想空間とは異なる領域に、選択可能な複数のオブジェクトを表示するステップと、
前記複数のユーザ装置のいずれかの、第２のユーザに関連付けられたユーザ装置から、前記複数のオブジェクトのうち一のオブジェクトの選択を受け付けるステップと、
前記一のオブジェクトを前記仮想空間に配置するステップと、
前記一のオブジェクトに対する前記第１のユーザの入力を検出した場合、
前記キャラクタが前記オブジェクトを把持するよう制御させることを特徴とする制御方法。

【請求項2】

請求項１に記載の制御方法であって、
前記配置されたオブジェクトが、所定のポイント以上である場合、前記キャラクタが前記オブジェクトを把持するよう制御させることを特徴とする制御方法。

【請求項3】

請求項２に記載の制御方法であって、
複数のオブジェクトは、各々ポイントが対応づけられており、前記仮想空間に配置した一のオブジェクトを含む、前記仮想空間に配置したオブジェクトのポイントの総数にも基づいて、前記第２のユーザの、前記複数のユーザにおけるランキングを生成し、当該ランキングが所定順位以上である場合、前記キャラクタが前記オブジェクトを把持させるよう制御することを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間におけるキャラクタの制御方法に関する。詳しくは、ユーザの頭部等の身体に装着する装置、例えば、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を利用したキャラクタの制御方法に関する。

【背景技術】

【0002】

モーションキャプチャは、現実空間における演者の動きをデジタル的にキャプチャする技術であり、キャプチャした動きは、動画などのコンピュータアニメーションおよびゲーム等におけるキャラクタの動きの表現に利用される。

【0003】

従来、モーションキャプチャ技術として、光学式や機械式等の方式が採用されている。まず、光学式の例として、演者がマーカを備えた全身スーツを装着し、部屋や撮影スタジオ等の一定の空間にマーカをトラッキングする、デジタルカメラ等の複数のトラッカを配置することで、トラッカがマーカの反射を捕捉し、フレーム毎のマーカ位置の変化を分析することで、演者の時系列の動きを空間的表現として構成する。この空間的表現を仮想空間におけるキャラクタの制御に適用することで、演者の動きをキャラクタの動きに再現することが可能となる。光学式のモーションキャプチャ技術のトラッキング精度を向上させる技術の例として、例えば、特開２０１２−２４８２３３号に開示される技術が挙げられる。また、機械式の例として、演者の全身に加速度・ジャイロ・地磁気センサを装着し、センサにより検出される演者の動きを仮想空間におけるキャラクタの制御に適用する方法がある。センサを利用したモーションキャプチャ技術の例として、例えば、特開２０１６−１２６５００号に開示される技術が挙げられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−２４８２３３号公報

【特許文献2】特開２０１６−１２６５００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記文献に開示される技術は、仮想空間におけるキャラクタの制御のために、専用のモーションキャプチャシステムを採用することを必要とする。特に、演者は、マーカまたはセンサを全身に装着する必要があり、精度向上のため、マーカやセンサの数を多くすることが必要となる。

【0006】

そこで、本発明は、より簡易な方法を通じて、現実空間における演者の動きを、仮想空間におけるキャラクタの動きとして実現する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明における一実施形態により提供される、仮想空間におけるキャラクタの制御方法は、仮想空間内にキャラクタを配置するステップと、ユーザに装着されたヘッドマウントディスプレイを介して当該ユーザの入力を検出するステップと、ユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップとを有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、ヘッドマウントディスプレイを介して検出したユーザ入力に基づいて、仮想空間内に配置されたキャラクタの動作等を制御することで、より簡易な方法で、現実空間におけるユーザの動きを仮想空間内のキャラクタの動きとして再現することが可能となる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態にかかるヘッドマウントディスプレイ１１０の外観の模式図を示す。

【図2】第１の実施形態にかかるコントローラ２１０の外観の模式図を示す。

【図3】第１の実施形態にかかるＨＭＤシステム３００の構成図を示す。

【図4】第１の実施形態にかかるＨＭＤ１１０の機能構成図を示す。

【図5】第１の実施形態にかかるコントローラ２１０の機能構成図を示す。

【図6】第１の実施形態にかかる画像生成装置３１０の機能構成図を示す。

【図7】第１の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。

【図8】第１の実施形態にかかる、キャラクタの制御方法を説明するフローチャートを示す。

【図9】第１の実施形態にかかる、キャラクタの制御方法を説明するフローチャートを示す。

【図10】第２の実施形態にかかる、画像生成装置１０１０の機能構成図を示す。

【図11】第２の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。

【図12】第２の実施形態にかかる、ユーザ装置に表示される仮想空間の他の一例を示す図である。

【図13】第２の実施形態において、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。

【図14】第３の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。

【図15】画像生成装置１０１０のアイテムデータ格納部１０５４に格納されるアイテム管理テーブル１５１０の例を示す。

【図16】第４の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。

【図17】画像生成装置１０１０のユーザデータ格納部１０５５に格納されるユーザランキング管理テーブル１６１０の例を示す。

【図18】第５の実施形態にかかる、演者ユーザ用の仮想空間ユーザインターフェースの一例を示す。

【0010】

＜実施形態１＞
本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

【0011】

図１は、本実施形態にかかるヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。

【0012】

さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。

【0013】

さらに、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。

【0014】

さらに、ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。

【0015】

図２は、本実施形態にかかるコントローラ２１０の外観の模式図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。

【0016】

操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。

【0017】

また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。

【0018】

ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。

【0019】

図３は、本実施形態にかかるＨＭＤシステム３００の構成図を示す。ＨＭＤシステム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０で構成することができる。さらに、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、インターネット等のネットワークを介して４０１Ａ、４０１Ｂ、４０１Ｃ等の複数のユーザ装置と接続し、生成した画像をストリーミングまたはダウンロードの形態で送信することができる。ユーザ装置４０１Ａ等は、各々インターネットブラウザを備えるか、適切なビューワを備えることで送信された画像を再生することができる。ここで、画像生成装置３１０は、複数のユーザ装置に対し、直接画像を送信することもできるし、他のコンテンツサーバを介して画像を送信することもできる。

【0020】

図４は、本実施形態にかかるＨＭＤ１１０の機能構成図を示す。図１において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサとしては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。さらに精度よく、ユーザの頭部の向きや傾きといった動きを検出したり、ユーザの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、ユーザの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。

【0021】

さらに、ＨＭＤ１１０は、例えば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたユーザの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０及び／又は通信部１１５を介して画像生成装置３１０に送信される。詳細は後述するが、画像生成装置３１０において、ユーザの頭部の動きに基づいて生成された画像は、入出力部１９０及び／又は通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。

【0022】

図５は、本実施形態にかかるコントローラ２１０の機能構成図を示す。図２において述べたように、コントローラ２１０は、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。コントローラ２１０は、例えば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。ユーザにより操作部２４５を介して入力された情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５及び／又は通信部２６５を介して画像生成装置３１０に送信される。

【0023】

図６は、本実施形態にかかる画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。

【0024】

さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６５０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２９と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。

【0025】

記憶部３５０は、上述のキャラクタデータ格納部６５０に、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。ストリーミングデータ格納部６６０は、画像生成部６３０で生成された画像を格納する。

【0026】

図７は、本実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。図７に示すように、ユーザ装置は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部７１０において、キャラクタ７２０を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ７２０は、演者としてのユーザに装着されるＨＭＤ１１０及び／またはコントローラ２１０を介した、ユーザの頭部の傾きや向きといった動き、ユーザの発話内容、または、コントローラ２１０の傾きや向きといった動き、コントローラ２１０を介したユーザの操作内容といった、ユーザ入力に基づいて、動作することができる。

【0027】

図８及び図９は、本実施形態にかかる、キャラクタの制御方法を説明するフローチャートを示す。まず、画像生成装置３１０のユーザ入力検出部６１０は、入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を受信する（Ｓ８１０）。続いて、ユーザ入力検出部６１０は、ユーザの入力内容が、ＨＭＤ１１０から入力されたものであるか、または、コントローラ２１０から入力されたものであるかを確認する（Ｓ８２０）。Ｓ８２０の処理が、ＨＭＤ１１０から入力されたものである場合は、具体的な入力内容を確認するステップ（Ｓ８３０〜Ｓ８５０）に進む。Ｓ８２０の処理が、コントローラ２１０から入力されたものである場合は、図９に示す処理へと進む。

【0028】

Ｓ８２０の処理が、ＨＭＤ１１０から入力されたものである場合は、ユーザ入力検出部６１０は、まず、ＨＭＤ１１０から入力された内容が、ユーザ頭部の動作に関する情報であるかを確認する（Ｓ８３０）。具体的には、ＨＭＤ１１０のセンサ１４０から入力された情報がユーザの頭部の向きや傾き（例えば、ユーザの頭部を基準としたＸＹＺ軸まわりの回転角）に関する場合、キャラクタ制御部６２０は、キャラクタの頭部の動きを変化させることができる（Ｓ８６０）。ここで、例えば、ＨＭＤ１１０のジャイロセンサにより検出されたユーザの頭部の向きや傾きといった動きに関する情報を、人間の関節の動きや制約を規定したボーン構造の頭部の動きに変換し、ボーン構造の頭部の動きをキャラクタデータ格納部６５０に格納されたキャラクタデータの頭部の動きに適用することで、キャラクタの動きを制御することができる。例えば、ジャイロセンサにマイクより、Ｙ軸回りに「ロール角：−（マイナス）３０度」という情報を受信した場合、キャラクタ制御部６２０は、その情報をキャラクタの頭部を左方向に３０度首を振るよう変化させる処理を行う。さらに、キャラクタの表情を変化させることもできる。キャラクタの表情キャラクタの表情を構成する要素として、キャラクタの顔を構成するパーツ、例えば、眉、眼、鼻、口等に分解することができ、また、各々の動きのパターンや動きの度合（動きの大きさ、速さ）をパラメータとして持っておくことができる。これらのパーツのパラメータを組み合わせることで、キャラクタは喜怒哀楽といった様々な表情を有することができる。そして、ユーザの頭部の動きを検出することで、その動きに応じて、そのパラメータをランダムに変更するよう制御することができる。これにより、キャラクタの自然な表情を再現することができる。または、ユーザ入力検出部６１０は、その入力内容が、ユーザの注視点に関する情報であるかを確認する（Ｓ８４０）。注視点は、各種センサを介して得られるユーザの頭部の向きや傾きに関する情報を基に視線方向を算出するか、または、アイトラッキング・センサを介して直接得られる。キャラクタ制御部６２０は、視線方向または注視点の示す位置に応じて、キャラクタの視線を変化させることができる（Ｓ８７０）。または、ユーザ入力検出部６１０は、ユーザ入力内容が、ユーザの発話に関する情報であるかを確認する（Ｓ８５０）。具体的には、ユーザ入力内容が、ＨＭＤ１１０のマイク１７０から入力された音声である場合、キャラクタ制御部６２０は、その声の大きさに応じて、キャラクタの口の大きさを制御したり、キャラクタの表情パラメータをランダムに変更するよう制御することができる（Ｓ８８０）。ここで、ユーザはＨＭＤ１１０を頭部に装着せずに、例えば、頭部の上に載せて、外部のモニタに表示されるキャラクタの画像を見ながら、ＨＭＤ１１０の動きを変化させることで、ＨＭＤ１１０の動きに応じたキャラクタの動きを再現することもできる。

【0029】

Ｓ８２０の処理が、コントローラ２１０から入力されたものである場合は、図９において、具体的な入力内容を確認するステップ（Ｓ９１０〜Ｓ９３０）に進む。まず、ユーザ入力検出部６１０は、コントローラ２１０からの入力内容が、コントローラ２１０の操作ボタンの操作に関する情報であるかを確認する（Ｓ９１０）。例えば、入力内容が、左手用コントローラの操作用トリガーボタン２４０ａの押下に関するものであった場合、キャラクタ制御部６２０は、そのボタンの操作に対応するアクションをキャラクタが取る（例えば、キャラクタが笑う）よう、表情パラメータを制御することができる。または、ユーザ入力検出部６１０は、コントローラ２１０からの入力内容が、コントローラ２１０に備えられたセンサ２６０を介して検出されたコントローラ２１０の位置、向きや傾きといった動作に関するものであるかを確認する（Ｓ９２０）。入力内容が、コントローラ２１０の位置、向きや傾きといった動作に関するものである場合、キャラクタ制御部６２０は、キャラクタの身体の動きを制御することができる（Ｓ９５０）。例えば、入力内容が、コントローラ２１０の加速度センサから検出される位置の変化（コントローラを上げ下げする動き）に関するものであった場合、キャラクタ制御部６２０は、キャラクタの腕を上下させる動きを行うよう制御することができる。また、入力内容が、コントローラ２１０のジャイロセンサから検出される回転に関するものであった場合、キャラクタ制御部６２０は、キャラクタの指を開閉させるよう制御することができる。ここで、ＨＭＤ１１０とコントローラ２１０の動きとを組み合わせれば、キャラクタは、これらに対応する頭部や手の動きを再現することになるが、首や肩といった、頭部と手を繋ぐ部位の動きは、コンピュータグラフィクスのインバースキネマティクス（ＩＫ）という手法を用いて、頭部と手の動きを基とした首や肩の動きを逆算することで、センサを介して得られない動きを補間することができる。または、ユーザ入力検出部６１０は、コントローラ２１０からの入力内容が、コントローラ２１０の操作ボタンの操作の組み合わせに関する情報であるかを確認する（Ｓ９３０）。例えば、入力内容が、左手用コントローラの操作用トリガーボタン２４０ａと右手用コントローラの操作用トリガーボタン２４０ａを同時に押下することであった場合、その組み合わせに対応したアクションをキャラクタが取る（例えば、キャラクタがお腹を抱えて笑う）よう、表情パラメータや動作パラメータを制御することができる（Ｓ９６０）。ここで、表情パラメータと同様に、キャラクタの身体の動作として、身体を構成するパーツ、例えば、頭部、両手、両足といったパーツに分解し、各々の動きのパターンや動きの度合（動きの大きさ、速さ）をパラメータとして持っておくことができる。キャラクタの自然な動きを表現するため、ＨＭＤ１１０またはコントローラ２１０を介した、ユーザに何らかの入力に応じて、キャラクタの表情パラメータや動作パラメータをランダムに制御することができる。

【0030】

本実施例によれば、ユーザの身体に直接装着されたマーカやセンサでなく、ＨＭＤ１１０やコントローラ２１０を介したユーザの各部の動きや操作内容を検出することで、ユーザの動きに対応したキャラクタの動きの再現を容易にしつつ、操作内容により、バリエーションに富んだ表現をも実現することができる。

【0031】

＜第２の実施形態＞
図１０に、第２の実施形態にかかる、画像生成装置１０１０の機能構成図を示す。本実施形態にかかるＨＭＤシステムは、図３に示す、第１の実施形態におけるシステム構成と同様であり、また、画像生成装置１０１０の機能構成についても、基本的には図６に示す構成と同様である。本実施形態においては、画像生成装置１０１０において、制御部１０４０は、他のユーザ装置から、仮想空間に配置するアイテムの選択を受け付けるアイテム受付部１０４４を有し、記憶部１０５０は、アイテムに関するデータを格納するアイテムデータ格納部１０５４を有する。さらに、記憶部１０５０は、ユーザに関する情報を格納するユーザデータ格納部１０５５を有する。本実施形態における画像生成装置の特徴としては、複数のユーザ装置に対して仮想空間となる画像を送信するだけでなく、ユーザ装置からアイテムやコメントを受付けることができる。なお、第１の実施形態と同様に、画像生成装置１０１０の機能を、画像を生成することだけに特化し、別途コンテンツ・サービスサーバを設けて、このコンテンツ・サービスサーバが、ユーザ装置に画像を送信し、また、ユーザ装置からアイテムやコメントを受け付ける機能を有することもできる。

【0032】

図１１は、第２の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。第１の実施形態同様、ユーザ装置は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部１１１０において、キャラクタ１１２０を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ７２０は、演者としてのユーザに装着されるＨＭＤ１１０及び／またはコントローラ２１０を介した、ユーザの頭部の傾きや向きといった動き、ユーザの発話、または、コントローラ２１０の傾きや向きといった動き、コントローラ２１０を介したユーザの操作内容といった、ユーザ入力に基づいて、動作することができる。本実施形態においては、画像表示部１１１０のほか、画像生成装置３１０に接続する各ユーザ装置から受け付けたコメントを表示するコメント表示部１１３０、ユーザからのコメント入力を受け付けるコメント入力部１１４０、及びキャラクタに対してギフティングするアイテムを選択及び表示するアイテム表示部１１５０を有することができる。本実施形態は、画像表示部１１１０に表示される仮想空間上に表示されるキャラクタに対して、各ユーザから応援コメントを受付け、また、各ユーザが、各々ポイントが対応づけられた複数のアイテムの中から所望のアイテムを購入し、送信要求を行う入力を行うことで、仮想空間内に購入アイテムを表示させる、いわゆるギフティングを行うことを含むサービスを想定している。このようなサービスにおいては、ギフティングしたアイテムのポイントの累計に応じて、キャラクタが所定の動作を行う、といったことが考えられる。

【0033】

図１２は、本実施形態にかかる、ユーザ装置に表示される仮想空間の他の一例を示す図である。本例においては、一のユーザ装置からのギフティングを通じて画像表示部１１１０に配置されたアイテム１２１０を、キャラクタ１１２０が持ち上げて喜ぶかのような演出が行われている。これにより、ユーザとキャラクタは、サービスにおいて、より一層の一体感を共有することができる。

【0034】

図１３に、本実施形態において、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。まず、画像生成装置１０１０のアイテム受付部１０４４は、サービスに接続する複数のユーザ装置のいずれかからアイテムを受け付ける（Ｓ１３１０）。画像生成装置１０１０の画像生成部１０４３は、ユーザ装置の画像表示部１１１０に、キャラクタ１１２０と共にアイテム１２１０を表示させるために、画像生成を行う（Ｓ１３２０）。その後、画像生成装置１０１０のユーザ入力検出部１１４１は、演者となるユーザのＨＭＤ１１０やコントローラ２１０等からユーザ入力を検出したかを確認する（Ｓ１３３０）。例えば、演者となるユーザは、ＨＭＤ１１０のディスプレイに表示される仮想空間を見ながら、アイテム１２１０に対してコントローラ２１０の位置を合わせ、左手または右手の操作用トリガーボタン２４０ａのトリガーを引く操作を行うことができる。ユーザ入力検出部１１４１は、画像生成装置１０１０の入出力部１０２０及び／または通信部１０３０を通じて、当該操作を受付け、検出することができる。ユーザ入力検出部１０４１が、ユーザ入力の検出をしなければ、元の処理に戻る。ユーザ入力検出部１０４１が、ユーザ入力を検出すると、キャラクタ制御部１０４２は、コントローラ２１０の位置に合わせてキャラクタの手の位置を移動させる処理を行い、コントローラの位置を仮想空間における座標に変換し、この座標が仮想空間におけるアイテムが配置される座標と重なる場合は、次に、コントローラ２１０を介した操作に従い、アイテムを掴む処理を行う。結果として、画像生成部１０４３は、キャラクタ１１２０がアイテム１２１０を持ち上げる画像、すなわち、キャラクタとアイテムとが相互作用する画像を生成する（Ｓ１３４０）。

【0035】

＜第３の実施形態＞
図１４に、第３の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。本実施形態においては、画像処理の観点に加え、サービスにおけるキャラクタとユーザのソーシャル性をさらに高めるための方法を提供する。本実施形態のシステム及び画像生成装置の構成は第２の実施形態のものと基本的に同じである。

【0036】

図１４について、まず、画像生成装置１０１０のアイテム受付部１０４４は、サービスに接続する複数のユーザ装置のいずれかからアイテムを受け付ける（Ｓ１４１０）。画像生成装置１０１０の画像生成部１０４３は、ユーザ装置の画像表示部１１１０に、キャラクタ１１２０と共にアイテム１２１０を表示させるために、画像生成を行う（Ｓ１４２０）。その後、画像生成装置１０１０のユーザ入力検出部１１４１は、演者となるユーザのＨＭＤ１１０やコントローラ２１０等からユーザ入力を検出したかを確認する（Ｓ１４３０）。例えば、演者となるユーザは、ＨＭＤ１１０のディスプレイに表示される仮想空間を見ながら、アイテム１２１０に対してコントローラ２１０の位置を合わせ、左手または右手の操作用トリガーボタン２４０ａのトリガーを引く操作を行うことができる。ユーザ入力検出部１１４１は、画像生成装置１０１０の入出力部１０２０及び／または通信部１０３０を通じて、当該操作を受付け、検出することができる。ユーザ入力検出部１０４１が、ユーザ入力の検出をしなければ、元の処理に戻る。ユーザ入力検出部１０４１が、ユーザ入力を検出すると、キャラクタ制御部１０４２は、仮想空間に配置されたアイテム１２１０のポイント数を確認し、続いて、そのポイント数が所定のポイント以上であるかを確認する（Ｓ１４４０）。

【0037】

図１５に、画像生成装置１０１０のアイテムデータ格納部１０５４に格納されるアイテム管理テーブル１５１０の例を示す。アイテム管理テーブル１５１０は、ユーザがギフティングできるアイテム及び対応するポイント数を管理する。ここで、ポイント数というのは、サービス内で通用する仮想通貨がポイント単位で提供される場合に、アイテムを１個単位で購入するために必要な数のことをさす。例えば、「ダルマ」というアイテムは、ポイント数が「１」であるのに対し、「バラ」というアイテムについては、ポイント数が「１０」と割り当てられている。ユーザはキャラクタ（または演者）を応援するためにアイテムをポイントで購入し、仮想空間に購入したアイテムを表示するよう要求する。アイテム管理テーブル１５１０に挙げられている例では、「指輪」が最も高価なアイテムということになる。

【0038】

図１４のＳ１４４０に戻り、キャラクタ制御部１０４２は、例えば、予め決められたポイント数を「１０ｐｔ」とするときに、配置されたアイテムが「ダルマ」であった場合、キャラクタ制御は実行されず、処理は元に戻る。他方で、配置されたアイテムが「バラ」であった場合、バラのポイント数は「１０ｐｔ」であるので、条件を満たすことになる。条件を満たしたことを確認すると、キャラクタ制御部１０４２は、コントローラ２１０の位置に合わせてキャラクタの手の位置を移動させる処理を行い、コントローラの位置を仮想空間における座標に変換し、この座標が仮想空間におけるアイテムが配置される座標と重なる場合は、次に、コントローラ２１０を介した操作に従い、アイテムを掴む処理を行う。結果として、画像生成部１０４３は、キャラクタ１１２０がアイテム１２１０を持ち上げる画像、すなわち、キャラクタとアイテムとが相互作用する画像を生成する（Ｓ１４５０）。

【0039】

＜第４の実施形態＞
図１６に、第４の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。本実施形態においては、画像処理の観点に加え、サービスにおけるキャラクタとユーザのソーシャル性をさらに高めるための別の方法を提供する。本実施形態のシステム及び画像生成装置の構成は第２及び第３の実施形態のものと基本的に同じである。

【0040】

図１６について、まず、画像生成装置１０１０のアイテム受付部１０４４は、サービスに接続する複数のユーザ装置のいずれかからアイテムを受け付ける（Ｓ１６１０）。画像生成装置１０１０の画像生成部１０４３は、ユーザ装置の画像表示部１１１０に、キャラクタ１１２０と共にアイテム１２１０を表示させるために、画像生成を行う（Ｓ１６２０）。その後、画像生成装置１０１０のユーザ入力検出部１１４１は、演者となるユーザのＨＭＤ１１０やコントローラ２１０等からユーザ入力を検出したかを確認する（Ｓ１６３０）。例えば、演者となるユーザは、ＨＭＤ１１０のディスプレイに表示される仮想空間を見ながら、アイテム１２１０に対してコントローラ２１０の位置を合わせ、左手または右手の操作用トリガーボタン２４０ａのトリガーを引く操作を行うことができる。ユーザ入力検出部１１４１は、画像生成装置１０１０の入出力部１０２０及び／または通信部１０３０を通じて、当該操作を受付け、検出することができる。ユーザ入力検出部１０４１が、ユーザ入力の検出をしなければ、元の処理に戻る。ユーザ入力検出部１０４１が、ユーザ入力を検出すると、キャラクタ制御部１０４２は、仮想空間に配置されたアイテム１２１０をギフティングしたユーザのランキングを確認し、続いて、そのポイント数が所定のランキング以上であるかを確認する（Ｓ１６４０）。

【0041】

図１７に、画像生成装置１０１０のユーザデータ格納部１０５５に格納されるユーザランキング管理テーブル１６１０の例を示す。ユーザランキング管理テーブル１６１０は、ユーザがギフティングしたアイテムに対応するポイント数の合計を管理し、ポイント数の合計に基づいた順位を管理する。例えば、ユーザＡが、「指輪」というアイテムを５個購入し、ギフティングすれば、ポイント数の合計は「５００ｐｔ」となり、他のユーザとの比較で、ポイント数の合計で１位ということになる。

【0042】

図１６のＳ１６４０に戻り、キャラクタ制御部１０４２は、例えば、予め決められたランキングを「３位以上」とするときに、配置されたアイテムをギフティングしたユーザが「ユーザＤ」であった場合、ユーザＤのランキングは４位であるため、キャラクタ制御は実行されず、処理は元に戻る。他方で、配置されたアイテムをギフティングしたユーザが「ユーザＣ」であった場合、ユーザＣのランキングは３位であるため、条件を満たすことになる。条件を満たしたことを確認すると、キャラクタ制御部１０４２は、コントローラ２１０の位置に合わせてキャラクタの手の位置を移動させる処理を行い、コントローラの位置を仮想空間における座標に変換し、この座標が仮想空間におけるアイテムが配置される座標と重なる場合は、次に、コントローラ２１０を介した操作に従い、アイテムを掴む処理を行う。結果として、画像生成部１０４３は、キャラクタ１１２０がアイテム１２１０を持ち上げる画像、すなわち、キャラクタとアイテムとが相互作用する画像を生成する（Ｓ１６５０）。

【0043】

＜第５の実施形態＞
図１８に、第５の実施形態にかかる、演者ユーザ用の仮想空間ユーザインターフェースの一例を示す。本実施形態において、演者ユーザはＨＭＤ１１０を頭部に装着することで、表示部１２０に表示される仮想空間１８１０において、自身が演じている動作に基づいて動作するキャラクタを確認することができる。この仮想空間１８１０には、いくつかの操作パネルが存在し、演者ユーザは、自身で演じながら、仮想カメラの位置を変更したり、他の操作を行うことができる。

【0044】

図１８において、仮想カメラの位置を操作する仮想カメラ選択部１８２０を有する。例えば、演者ユーザは、特定のカメラのボタンが表示される位置にコントローラ２１０の位置を移動させ、コントローラ２１０の操作ボタンを押下することで、所望の仮想カメラを選択することができる。仮想カメラは、例えば、キャラクタが配置される置に向かって正面、斜め方向に左４５度、右４５度といった位置に配置することができる。また、演者ユーザの声が録音中であることを示すアイコン１８３０を配置することができる。例えば、演者ユーザは、コントローラ２１０の特定の操作ボタンを押下することで、録音操作を実行でき、また、録音のステータスをアイコン１７３０の態様を通じて確認することができる。また、仮想空間内に「ＳＴＡＮＤ ＢＹ」アイコン１８４０を配置することができ、演者ユーザは、配信が準備中かオンエア中であるかのステータスを、アイコン１８４０を通じて確認することができる。その他、図示しないが、演者ユーザの発する声や音量に対応して、キャラクタの口からパーティクルを表示させる処理を行うこともでき、音量の大きさに応じて、パーティクルの大きさを大きくするなど直感的にステータスを確認できるようにすることもできる。

【符号の説明】

【0045】

１１０ ヘッドマウントディスプレイ
１１５ 通信部
１２０ 表示パネル
１２５ 制御部
１４０ センサ
１５０ 光源
１６０ カメラ
１７０ マイク
１８０ ヘッドフォン
１９０ 入出力部
２１０ コントローラ
２２０ 左手用コントローラ
２３０ 右手用コントローラ
２４０ａ、２４０ｂ トリガーボタン
２４５ 操作部
２５０ 赤外線ＬＥＤ
２５５ 入出力部
２６０ センサ
２７０ ジョイスティック
２８０ メニューボタン
２９０ フレーム
３１０ 画像生成装置
３２０ 入出力部
３３０ 通信部
３４０ 制御部
３５０ 記憶部
４０１Ａ、４０１Ｂ、４０１Ｃ ユーザ装置
６１０ ユーザ入力検出部
６２０ キャラクタ制御部
６３０ 画像生成部
６５０ キャラクタデータ格納部
６６０ ストリーミングデータ格納部６
６７０ 制御プログラム格納部
７１０ 画像表示部
７２０ キャラクタ
１１１０ 画像表示部
１１２０ キャラクタ
１１３０ コメント表示部
１１４０ コメント入力部
１１５０ アイテム表示部
１２１０ アイテム
１８１０ 仮想空間
１８２０ 仮想カメラ選択部
１８３０ アイコン
１８４０ アイコン

【要約】      （修正有）

【課題】仮想空間を含む仮想空間において、従来にはない、ユーザがより没入感を享受することができるキャラクタの制御方法を提供する。
【解決手段】仮想空間内におけるオブジェクトの制御方法であって、初期状態において、ユーザの視界領域外においてユーザから所定距離だけ離れた所定位置にオブジェクトの少なくとも一部を配置するステップと、仮想空間内におけるユーザの入力を検出するステップと、ユーザの入力に応じて、オブジェクトの出力を所定位置において制御するステップを含む。
【選択図】図８

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】