特許 6761888 表示制御装置、表示制御方法、および表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6761888

(24)【登録日】2020年9月9日

(45)【発行日】2020年9月30日

(54)【発明の名称】表示制御装置、表示制御方法、および表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20200917BHJP

   G09G 5/00 20060101ALI20200917BHJP

   G06F 3/01 20060101ALI20200917BHJP

【ＦＩ】

   G06T19/00 300B

   G09G5/00 550C

   G09G5/00 555D

   G09G5/00 510V

   G09G5/00 510H

   G06F3/01 510

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2019-194266(P2019-194266)

(22)【出願日】2019年10月25日

【審査請求日】2019年10月25日

【早期審査対象出願】

(73)【特許権者】

【識別番号】518412081

【氏名又は名称】株式会社バーチャルキャスト

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】岩城 進之介

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１８−１７５８４９（ＪＰ，Ａ）

【文献】 特開２０１８−９７５１７（ＪＰ，Ａ）

【文献】 特開２０１８−１０４８７（ＪＰ，Ａ）

【文献】 特表２０１３−５３３５３７（ＪＰ，Ａ）

【文献】 杉森健, 外３名，“物体とのインタラクション時に体の硬さが自在に変えられるＶＴｕｂｅｒアバター”，インタラクション２０１９論文集，２０１９年 ２月２７日，p.843-845

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であって、
前記ユーザの動きに応じた前記アバターの制御データを生成するアバター制御部と、
前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算する演算部と、
前記演算部の計算結果を前記仮想空間に適用する仮想空間管理部と、
前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた物理的な挙動が所定内に抑えられた前記アバターをレンダリングする描画部とを備える
表示制御装置。

【請求項2】

請求項１に記載の表示制御装置であって、
前記描画部は、前記計算結果を前記ユーザの操作するアバターに適用しない、適用度合いを変更して前記計算結果を前記ユーザの操作するアバターに適用する、またはパラメータを変えて計算した別の計算結果を前記ユーザの操作するアバターに適用することで、前記アバターの挙動が所定内に抑えられた映像をレンダリングする
表示制御装置。

【請求項3】

請求項１または２に記載の表示制御装置であって、
前記アバターとオブジェクトが衝突したことを前記ユーザに通知する通知部を備える
表示制御装置。

【請求項4】

請求項１ないし３のいずれかに記載の表示制御装置であって、
前記演算部の計算結果を適用した前記仮想空間をレンダリングした映像を配信する配信部を備える
表示制御装置。

【請求項5】

ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置が実行する表示制御方法であって、
前記ユーザの動きに応じた前記アバターの制御データを生成するステップと、
前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算するステップと、
計算するステップで求めた計算結果を前記仮想空間に適用するステップと、
前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた物理的な挙動が所定内に抑えられた前記アバターをレンダリングするステップとを有する
表示制御方法。

【請求項6】

第１、第２のユーザがそれぞれ使用する第１、第２の表示制御装置を備え、ヘッドマウントディスプレイを装着した前記第１、第２のユーザのそれぞれが操作する第１、第２のアバターを介して仮想空間においてコミュニケーションをとる表示システムであって、
前記第１の表示制御装置は、
第１のユーザの動きに応じた第１のアバターの制御データを生成する第１のアバター制御部と、
前記第１のユーザの装着するヘッドマウントディスプレイに供給する映像として、前記仮想空間をレンダリングする第１の描画部と、を備え、
前記第２の表示制御装置は、
第２のユーザの動きに応じた第２のアバターの制御データを生成する第２のアバター制御部と、
前記第２のユーザの装着するヘッドマウントディスプレイに供給する映像として、前記仮想空間をレンダリングする第２の描画部と、を備え、
少なくとも前記第１の表示制御装置または前記第２の表示制御装置のいずれか一方は、アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算する演算部を備え、
前記第１、第２の表示制御装置の間で前記演算部の計算結果を適用した前記仮想空間が同期され、
前記第１の描画部は、前記計算結果を適用した前記第１のアバターの姿勢と前記第１のユーザの操作に基づく前記第１のアバターの姿勢とが所定以上乖離するときに、衝突に応じた物理的な挙動が所定内に抑えられた前記第１のアバターをレンダリングし、
前記第２の描画部は、前記計算結果を適用した前記第２のアバターの姿勢と前記第２のユーザの操作に基づく前記第２のアバターの姿勢とが所定以上乖離するときに、衝突に応じた物理的な挙動が所定内に抑えられた前記第２のアバターをレンダリングする
表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法、および表示システムに関する。

【背景技術】

【0002】

近年、仮想現実（ＶＲ）空間においてユーザがアバターを操作して番組を配信したり、アバターを介してユーザ同士でコミュニケーションを取ったりできるサービスが広まっている。

【0003】

視聴者がＶＲ空間に投げ入れたオブジェクトがアバターに衝突したとき、またはアバター同士が接触したときなど、ユーザの操作するアバターにオブジェクトが衝突したときに、アバターがオブジェクトの衝突タイミングに合わせて反応動作しなければ、視聴者はアバターにオブジェクトが衝突したことをリアルに感じることができない。

【0004】

非特許文献１では、アバターとオブジェクトが衝突したときに、アバターの反応動作を物理エンジンにより自動生成する技術が提案されている。非特許文献１では、オブジェクトの衝突に応じた反応が自動的に行われるので、ユーザはオブジェクトの衝突タイミングに合わせて動作する必要がない。また、アバターが他のアバターやオブジェクトに接触した場合も、アバターの腕がオブジェクトを突き抜けることがなくなるので、よりリアリティを感じることができる映像を配信できる。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】杉森健、外４名、「演技サポート！ギフトが当たると勝手に動くＶＴｕｂｅｒアバター」、ＣＥＤＥＣ２０１９、一般社団法人コンピュータエンターテインメント協会、２０１９年９月４日

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、非特許文献１では、アバターとオブジェクトが衝突したときにアバターを操作するユーザの意思とは関係なくアバターが自動的に反応するため、ユーザの思うアバターの状態とユーザの見るアバターの状態が一致せずに、ユーザが違和感を抱くという問題があった。

【0007】

本発明は、上記に鑑みてなされたものであり、アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくすることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様の表示制御装置は、ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であって、前記ユーザの動きに応じた前記アバターの制御データを生成するアバター制御部と、前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算する演算部と、前記演算部の計算結果を前記仮想空間に適用する仮想空間管理部と、前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた物理的な挙動が所定内に抑えられた前記アバターをレンダリングする描画部とを備える。

【発明の効果】

【0009】

本発明によれば、アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくすることができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態の表示制御端末を含む表示システムの構成例を示す図である。

【図2】第１の実施形態の表示制御端末の構成例を示す機能ブロック図である。

【図3】第１の実施形態の表示制御端末の処理の流れを示すフローチャートである。

【図4】衝突処理をしないときのアバターの一例を示す図である。

【図5】衝突処理をしたときのアバターの一例を示す図である。

【図6】一方のアバターのみに衝突処理をしたときの一例を示す図である。

【図7】他方のアバターのみに衝突処理をしたときの一例を示す図である。

【図8】衝突処理をしないときのアバターの一例を示す図である。

【図9】衝突処理をしたときのアバターの一例を示す図である。

【図10】第２の実施形態の表示制御端末を含む映像配信システムの構成例を示す図である。

【図11】第２の実施形態の表示制御端末の構成例を示す機能ブロック図である。

【図12】第２の実施形態の表示制御端末の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

［第１の実施形態］
以下、第１の実施形態の表示制御端末を含む表示システムについて図面を用いて説明する。

【0012】

第１の実施形態の表示制御端末を含む表示システムは、ユーザのそれぞれが仮想空間内のアバターを操作し、アバターを介して仮想空間でチャットを行い、ネットワーク上で互いにコミュニケーションを取ることができるシステムである。

【0013】

図１の表示システムは、ネットワークを介して通信可能に接続された複数の端末１０を備える。端末１０のそれぞれが第１の実施形態の表示制御端末である。図１では、端末１０を２台のみ図示しているが、３人以上のユーザがチャットに参加してもよく、端末１０の台数は任意である。

【0014】

各端末１０には、コントローラ２０とヘッドマウントディスプレイ（ＨＭＤ）３０が接続される。ユーザは、コントローラ２０によりアバターを操作でき、ＨＭＤ３０を装着してアバターの視点から仮想空間を見ることができる。ＨＭＤ３０は、マイクとスピーカーを備える。マイクで集音されたユーザの音声は、他のユーザの端末１０へ送信される。また、他のユーザの端末１０から受信した他のユーザの音声は、スピーカーから出力される。

【0015】

各ユーザの操作するアバターは同一の仮想空間内に存在する。端末１０間で仮想空間のデータを同期させてもよいし、いずれかの端末１０が仮想空間のデータを管理してもよい。

【0016】

図２を参照し、端末１０の構成について説明する。図２には、各ユーザの用いる端末１０を示している。端末１０は、アバター制御部１１、ＶＲ空間管理部１２、演算部１３、描画部１４、および通信部１５を備える。端末１０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、端末１０の各部が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

【0017】

アバター制御部１１は、コントローラ２０などの機器からユーザの姿勢、位置、および操作情報を受信し、ユーザ自身のアバターの姿勢および動きを制御するための制御データを生成する。制御データは、ユーザの動きをモーションキャプチャしたモーションデータである。以下、ユーザ自身が操作するアバターと他のユーザが操作するアバターとを区別する際、ユーザ自身のアバターを「ユーザアバター」と称し、他のユーザのアバターを「他者アバター」と称することもある。

【0018】

ＶＲ空間管理部１２は、仮想空間内に存在するオブジェクトのデータを管理する。オブジェクトのデータとしては、オブジェクトのモデルデータおよび位置データがある。アバターは、仮想空間内に存在するオブジェクトのひとつである。アバターに関連したデータとしては、例えばモデルデータと制御データがある。仮想空間のデータは、各端末１０が事前に取得しておく。例えば、各端末１０は、仮想空間のデータをデータサーバ（図示せず）から取得してもよいし、他の端末１０から取得してもよい。

【0019】

ＶＲ空間管理部１２は、アバター制御部１１の生成した制御データをユーザアバターに適用してユーザアバターの姿勢と位置を更新するとともに、他のユーザの端末１０から受信した制御データを他者アバターに適用する。また、ＶＲ空間管理部１２は、仮想空間内で動くオブジェクトがあれば、その動きに応じてオブジェクトの姿勢と位置を更新する。仮想空間のデータは、端末１０間で同期して管理されて、各端末１０の管理する仮想空間は同一の仮想空間となる。いずれかの端末１０が仮想空間を管理してもよいし、サーバ（図示せず）が仮想空間を管理してもよい。特定の装置で仮想空間を管理する場合、各端末１０は、仮想空間のデータを当該装置から取得する。

【0020】

演算部１３は、仮想空間内でオブジェクト（アバターを含む）同士が衝突したときに、衝突に応じた各オブジェクトの物理的な挙動を計算する。演算部１３には、周知の物理演算エンジンを利用できる。

【0021】

ＶＲ空間管理部１２は、計算結果に基づき、各オブジェクトの姿勢と位置を更新する。ＶＲ空間管理部１２は、ユーザアバターについては、計算結果を適用後のユーザアバターの姿勢と位置の情報に加えて、計算結果を適用してない状態のユーザアバターの姿勢と位置の情報を管理しておく。もしくは、ＶＲ空間管理部１２は、パラメータを変えて計算した計算結果を適用した状態のユーザアバターの姿勢と位置の情報を管理してもよいし、適用度合いを変えて計算結果を適用した状態のユーザアバターの姿勢と位置の情報を管理してもよい。

【0022】

描画部１４は、仮想空間をユーザアバターの視点でレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。このとき、描画部１４は、ユーザアバターについては、ユーザアバターの反応動作が所定内に抑えられるように、別に管理したユーザアバターの姿勢と位置の情報に差し替えて、ユーザアバターをレンダリングする。所定内とは、ユーザが違和感を抱かない程度内である。例えば、所定内であるか否かは、ユーザアバターの反応動作による姿勢とユーザの操作による姿勢との乖離度合いおよび反応動作の長さに基づいて決めることができる。

【0023】

ＨＭＤ３０に供給する映像においてユーザアバターの反応動作を所定内に抑える方法として、描画部１４は、計算結果を適用していない状態のユーザアバターをレンダリングする。

【0024】

あるいは、演算部１３は、描画部１４がユーザアバターに適用する計算結果として、ユーザアバターに衝突したオブジェクトの重さなどのパラメータを変えたときのユーザアバターの挙動も計算しておき、描画部１４は、パラメータを変えた計算結果を適用したユーザアバターをレンダリングしてもよい。ユーザアバターに衝突したオブジェクトを軽いものとして扱うことで、ユーザアバターの反応動作が抑えられるのでユーザが違和感を抱きにくくなる。

【0025】

あるいは、描画部１４は、適用度合いを変えて計算結果を適用したユーザアバターをレンダリングしてもよい。例えば、重いオブジェクトがユーザアバターに衝突した場合、演算部１３の計算結果を適用するとユーザアバターは大きくよろめく。この場合、描画部１４は、ユーザアバターをレンダリングする際、ユーザアバターの反応動作がユーザが違和感を抱かない程度の小さな反応動作となるように計算結果の適用度合いを抑えて計算結果をユーザアバターに適用する。

【0026】

いずれの場合も、ユーザ以外の他人は、演算部１３の通常の計算結果が適用されて大きく反応するユーザアバターを見る。ＨＭＤ３０に供給される映像では、演算部１３の計算結果によるユーザアバターの反応動作が差し替えられてレンダリングされるので、他人が見るユーザアバターの反応動作とユーザ自身の見るまたは感じるユーザアバターの反応動作は異なる。

【0027】

なお、オブジェクトの衝突によってユーザアバターが所定以上の反応動作する場合に、ユーザアバターに計算結果を適用しなかったり、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりしてもよい。つまり、描画部１４は、計算結果を適用したユーザアバターの姿勢とユーザの操作に基づくユーザアバターの姿勢とが所定以上乖離するときに、ユーザアバターに適用する計算結果を異ならせてもよい。

【0028】

通信部１５は、ユーザアバターの制御データおよびユーザの音声データを他のユーザの端末１０との間で送受信する。より具体的には、通信部１５は、アバター制御部１１が生成したユーザアバターの制御データを他のユーザの端末１０へ送信するとともに、他のユーザの端末１０から他者アバターの制御データを受信する。また、通信部１５は、ＨＭＤ３０のマイクで集音したユーザの音声データを他のユーザの端末１０へ送信するとともに、他のユーザの端末１０から他のユーザの音声データを受信する。

【0029】

なお、端末１０のいずれかは演算部１３を備えずに、他の端末１０から演算部１３の計算結果や計算結果を適用後の仮想空間のデータを受信してもよい。例えば、図２の左側の端末１０（以下、端末１０Ａとする）が演算部１３を備え、右側の端末１０（以下、端末１０Ｂとする）は演算部１３を備えない場合、端末１０Ｂは、端末１０Ａから計算結果を適用後の仮想空間のデータを受信する。このとき、端末１０Ｂの描画部１４は、端末１０ＢのユーザＢのユーザアバターＢについては、計算結果が適用されたユーザアバターＢの姿勢および位置を計算結果が適用されていないユーザアバターＢの姿勢および位置に差し替えて、仮想空間をレンダリングする。

【0030】

システム全体で上記の機能を実現できるならば、端末１０の備える各部の処理を実行する装置は問わない。例えば、サーバ（図示せず）がＶＲ空間管理部１２と演算部１３を備えてもよい。サーバは、各端末１０からアバターの制御データを受信する。ＶＲ空間管理部１２が仮想空間内のアバターに制御データを適用するとともに、演算部１３が衝突処理を実行し、計算結果を仮想空間に適用する。各端末１０は、サーバから計算結果を適用後の仮想空間のデータを受信する。このとき、各端末１０の描画部１４は、当該端末１０を使用するユーザのユーザアバターについては、計算結果が適用されたユーザアバターの姿勢および位置を計算結果が適用されていないユーザアバターの姿勢および位置に差し替えて、仮想空間をレンダリングする。

【0031】

また、サーバが描画部１４を備えてもよい。サーバは、端末１０Ａ，１０Ｂのそれぞれからユーザの視線情報を受信する。描画部１４は、端末１０Ａに対しては、ユーザアバターＡに計算結果が適用されていない仮想空間をレンダリングした映像を送信し、端末１０Ｂに対しては、ユーザアバターＢに計算結果が適用されていない仮想空間をレンダリングした映像を提供する。この場合、端末１０Ａ，１０Ｂは、ユーザＡ，Ｂのモーションをキャプチャする機能および受信した映像を表示する機能を有していればよい。

【0032】

図３のフローチャートを参照して、端末１０の動作について説明する。以下では、ユーザアバターに計算結果を適用しない場合について説明するが、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりする場合も同様である。

【0033】

ステップＳ１１にて、アバター制御部１１は、コントローラ２０からユーザの姿勢などの情報を受信し、ユーザアバターの制御データを生成する。通信部１５は、アバター制御部１１の生成した制御データを他の端末１０へ送信する。

【0034】

ステップＳ１２にて、通信部１５は、他の端末１０から他者アバターの制御データを受信する。

【0035】

ステップＳ１３にて、ＶＲ空間管理部１２は、アバターに制御データを適用するとともに、動いているオブジェクトの姿勢と位置を更新する。

【0036】

ステップＳ１４にて、演算部１３は、オブジェクト同士の衝突処理を行う。例えば、演算部１３は、衝突しているオブジェクトが存在するか否か判定し、衝突しているオブジェクトについて、衝突位置、衝突方向、および重なっている深度などの情報を求め、オブジェクトの質量、速度、および反発係数などの情報に基づき、衝突に応じた各オブジェクトの挙動を計算する。

【0037】

ステップＳ１５にて、ＶＲ空間管理部１２は、演算部１３の計算結果を仮想空間に反映し、オブジェクトの姿勢と位置を更新する。例えば、アバター１００Ａがアバター１００Ｂの頭部を叩く動作をしたとき、図４に示すように、アバター１００Ａの腕とアバター１００Ｂの頭部が衝突する。演算部１３の計算結果をアバター１００Ａ，１００Ｂのそれぞれに反映すると、図５に示すように、アバター１００Ａの腕とアバター１００Ｂの頭部がめり込まない状態となる。

【0038】

なお、ＶＲ空間管理部１２は、計算結果を適用しない状態のユーザアバターの姿勢と位置を別に管理しておく。例えば、図４のアバター１００Ａの姿勢と位置を別に管理しておく。ＶＲ空間管理部１２は、計算結果の適用度合いを変えて適用したユーザアバターの姿勢と位置を別に管理してもよいし、パラメータを変えて計算した計算結果を適用したユーザアバターの姿勢と位置を別に管理してもよい。

【0039】

ステップＳ１６にて、描画部１４は、ユーザアバターに計算結果を適用しないで仮想空間をレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。

【0040】

例えば、アバター１００Ａに計算結果を適用するとアバター１００Ａの腕の位置は図５に示した位置になる。ところが、ユーザはアバター１００Ａの腕を図４に示した位置まで下げた操作をしているので、ユーザの操作とアバター１００Ａの姿勢が一致せずに、ユーザは違和感を抱いてしまう。

【0041】

そこで、本実施形態では、計算結果を適用しないユーザアバターの姿勢と位置も管理しておき、描画部１４は、計算結果を適用したユーザアバターを計算結果を適用しないユーザアバターに差し替えて、仮想空間をレンダリングする。例えば、アバター１００Ａを操作するユーザには、図６に示すように、アバター１００Ａを計算結果を適用していないアバター１００Ａ（図４のアバター１００Ａ）に差し替えてレンダリングした映像を提示する。図６では、アバター１００Ｂには計算結果を適用している。他方、アバター１００Ｂを操作するユーザには、図７に示すように、アバター１００Ｂを計算結果を適用していないアバター１００Ｂ（図４のアバター１００Ｂ）に差し替えてレンダリングした映像を提示する。図７では、アバター１００Ａには計算結果を適用している。なお、アバター１００Ａ，１００Ｂを操作するユーザ以外のユーザには、図５に示した、計算結果を適用したアバター１００Ａ，１００Ｂをレンダリングした映像を提示する。

【0042】

アバターとアバター以外のオブジェクトとの衝突についても同様に処理する。例えば、図８に示すように、アバター１００にオブジェクト１１０が衝突したとする。演算部１３の計算結果をアバター１００とオブジェクト１１０のそれぞれに反映すると、図９に示すように、アバター１００の姿勢が大きく崩れた状態となる。

【0043】

アバター１００を操作するユーザには、図８に示した、計算結果を適用しないアバター１００をレンダリングした映像を提供する。それ以外のユーザには、図９に示した、計算結果を適用したアバター１００をレンダリングした映像を提供する。

【0044】

以上説明したように、本実施形態によれば、演算部１３がオブジェクトの衝突処理を行って各オブジェクトの物理的な挙動を計算し、ＶＲ空間管理部１２が演算部１３の計算結果を各オブジェクトに適用し、描画部１４がユーザの装着するＨＭＤ３０に供給する映像をレンダリングする際、ユーザの操作するユーザアバターについては、ユーザアバターの反応動作が所定の範囲内に抑えられるようにユーザアバターをレンダリングする。これにより、ユーザ以外の他者に対してはオブジェクトとの衝突に応じて反応動作をするユーザアバターを提示できるとともに、ユーザに対しては反応動作が抑えられたユーザアバターを提示できるので、ユーザにユーザアバターの動きに対する違和感を抱かせることなく、ユーザアバターへのオブジェクトの衝突にリアリティを持たせることができる。

【0045】

［第２の実施形態］
以下、第２の実施形態の表示制御端末を含む映像配信システムについて図面を用いて説明する。

【0046】

第２の実施形態の表示制御端末を含む映像配信システムは、配信者が仮想空間内の配信者アバターを操作し、仮想空間内の映像を視聴者に配信するシステムである。視聴者は映像を見るだけでなく、視聴者の操作する視聴者アバターを配信者アバターと同一の仮想空間内に参加させることもできる。

【0047】

図１０の映像配信システムは、第２の実施形態の表示制御端末である配信者端末４０と配信サーバ５０を備える。配信者端末４０と配信サーバ５０は、ネットワークを介して通信可能に接続される。

【0048】

配信サーバ５０は、配信者端末４０から仮想空間をレンダリングした映像を受信し、受信した映像を視聴者端末６０へ配信する。配信サーバ５０は、受信した映像をリアルタイムで配信するライブ映像配信を行ってもよいし、受信した映像を記憶しておき、視聴者端末６０からの求めに応じて映像を配信してもよい。

【0049】

視聴者端末６０は、視聴者が映像を見るための端末である。配信される映像を見ることができる機器であれば、携帯端末、パーソナルコンピュータなどの機器を視聴者端末６０として利用できる。視聴者端末６０が仮想空間のデータを受信して仮想空間をレンダリングしてもよい。また、視聴者がライブ映像配信に参加する場合、視聴者端末６０は、ＨＭＤおよびコントローラなどを接続し、ＶＲ機能を有する機器を利用する。例えば、視聴者端末６０として第１の実施形態の端末１０を利用し、配信者端末４０との間で仮想空間のデータを同期させる。

【0050】

図１１を参照し、配信者端末４０の構成について説明する。配信者端末４０は、アバター制御部１１、ＶＲ空間管理部１２、演算部１３、描画部１４、通信部１５、配信映像描画部１６、および配信部１７を備える。配信者端末４０は、第１の実施形態の端末１０に、配信用の映像をレンダリングする配信映像描画部１６と映像を配信する配信部１７を備えたものである。

【0051】

アバター制御部１１は、コントローラ２０などの機器から配信者の姿勢、位置、および操作情報を受信し、配信者アバターの姿勢および動きを制御するための制御データを生成する。

【0052】

ＶＲ空間管理部１２は、仮想空間内に存在するオブジェクトのデータを管理する。ＶＲ空間管理部１２は、アバター制御部１１の生成した制御データを配信者アバターに適用して配信者アバターの姿勢と位置を更新する。視聴者が参加している場合、ＶＲ空間管理部１２は、参加している視聴者の視聴者端末６０から受信した制御データを視聴者アバターのモデルデータに適用する。

【0053】

演算部１３は、仮想空間内でオブジェクト同士が衝突したときに、衝突に応じたオブジェクトの物理的な挙動を計算する。ＶＲ空間管理部１２は、配信者アバターについては、計算結果を適用後の配信者アバターの姿勢と位置の情報に加えて、計算結果を適用してない状態の配信者アバターの姿勢と位置の情報を管理しておく。第１の実施形態と同様に、ＶＲ空間管理部１２は、パラメータを変えて計算した計算結果を適用した状態の配信者アバターの姿勢と位置の情報を管理してもよいし、適用度合いを変えて計算結果を適用した状態の配信者アバターの姿勢と位置の情報を管理してもよい。

【0054】

描画部１４は、配信者アバターには計算結果を適用しないで、仮想空間を配信者アバターの視点でレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。描画部１４は、第１の実施形態と同様に、配信者アバターについては、配信者アバターの反応動作が所定内に抑えられるように配信者アバターをレンダリングする。

【0055】

通信部１５は、アバターの制御データおよび音声データを参加している視聴者の視聴者端末６０との間で送受信する。また、通信部１５は、視聴者端末６０からコメント（文字情報）を受信してもよいし、ギフトやアイテムなどの情報を受信してもよい。配信者端末４０は、視聴者端末６０から受信したコメントについて、仮想空間内にコメントの内容を表示したオブジェクトを表示させてもよい。配信者端末４０は、視聴者端末６０から受信したギフトやアイテムに対応するオブジェクトを仮想空間内に出現させてもよい。これらのコメント、ギフト、およびアイテムに対応するオブジェクトが配信者アバターに衝突すると、配信者アバターは、演算部１３の計算結果に基づいた反応動作をする。

【0056】

配信映像描画部１６は、配信者アバターにも演算部１３の計算結果を適用した仮想空間をレンダリングし、配信用の映像を生成する。配信映像描画部１６は、配信者アバターの視点で仮想空間をレンダリングしてもよいし、仮想空間に配置した仮想カメラの視点で仮想空間をレンダリングしてもよい。配信用の映像に、配信者および参加者の音声データを付加してもよい。

【0057】

配信部１７は、配信映像描画部１６のレンダリングした配信用の映像を配信サーバ５０へ送信する。配信サーバ５０は、受信した映像を視聴者端末６０のそれぞれに配信する。

【0058】

なお、配信映像描画部１６および配信部１７を配信サーバ５０が備えてもよい。この場合、配信サーバ５０は仮想空間のデータを保持し、配信者端末４０との間で仮想空間のデータを同期する。配信サーバ５０が仮想空間をレンダリングして視聴者端末６０に配信する。配信サーバ５０がＶＲ空間管理部１２と演算部１３を備えて仮想空間のデータを管理し、配信者端末４０が配信サーバ５０から仮想空間のデータを取得してもよい。配信者端末４０の描画部１４は、配信者アバターを演算部１３の計算結果が適用されていない配信者アバターに差し替えて仮想空間をレンダリングする。配信サーバ５０が描画部１４を備えて配信者のＨＭＤ３０に供給する映像をレンダリングしてもよい。

【0059】

図１２のフローチャートを参照して、配信者端末４０の動作について説明する。以下では、配信者アバターに計算結果を適用しない場合について説明するが、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりする場合も同様である。

【0060】

ステップＳ２１にて、アバター制御部１１は、コントローラ２０から配信者の姿勢などの情報を受信し、配信者アバターの制御データを生成する。視聴者が参加している場合、通信部１５は、アバター制御部１１の生成した制御データを参加している視聴者の視聴者端末６０へ送信する。

【0061】

ステップＳ２２にて、ＶＲ空間管理部１２は、アバターに制御データを適用するとともに、動いているオブジェクトの姿勢と位置を更新する。また、ＶＲ空間管理部１２は、参加している視聴者の視聴者端末６０から受信した制御データを視聴者アバターに適用する。

【0062】

ステップＳ２３にて、演算部１３は、オブジェクト同士の衝突処理を行う。

【0063】

ステップＳ２４にて、ＶＲ空間管理部１２は、演算部１３の計算結果を仮想空間に反映し、オブジェクトの姿勢と位置を更新する。このとき、ＶＲ空間管理部１２は、計算結果を適用しない状態の配信者アバターの姿勢と位置を別に管理しておく。

【0064】

ステップＳ２５にて、配信映像描画部１６は、演算部１３の計算結果が適用された仮想空間をレンダリングし、配信映像を生成する。配信映像描画部１６は、例えば図９に示したように、アバターに計算結果が適用された仮想空間をレンダリングする。

【0065】

ステップＳ２６にて、配信部１７は、配信映像を送信する。

【0066】

ステップＳ２７にて、描画部１４は、配信者アバターに計算結果を適用しないで仮想空間をレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。描画部１４は、例えば図８に示したように、アバターに計算結果を適用していない仮想空間をレンダリングする。つまり、描画部１４は、配信者アバターを計算結果を適用していないアバターに差し替えた仮想空間をレンダリングする。

【0067】

なお、配信者アバターに計算結果を適用しない場合、配信者は、配信者アバターにオブジェクトが衝突したことに気付かない可能性がある。そこで、配信者端末４０は、配信者アバターとオブジェクトとの衝突を配信者に通知する機能を備えてもよい。

【0068】

例えば、配信者端末４０は、配信者アバターとオブジェクトとが衝突したときに、配信者に音で通知する。配信者アバターとオブジェクトが衝突したインパクトの瞬間は、衝突に応じた音を配信者と視聴者の双方に聞こえるようにする。配信者アバターとオブジェクトが接触している間、配信者に対してのみ接触していることを通知する音を聞かせる。図８，９で示したように、オブジェクト１１０がアバター１００の頭に衝突した場合、衝突した瞬間では、オブジェクト１１０がアバター１００に衝突した効果音を配信者と視聴者に聞かせる。その後、オブジェクト１１０がアバター１００にくの頭に乗った状態の間、配信者のみにオブジェクト１１０がアバター１００に衝突していることを示す音を聞かせ続ける。

【0069】

あるいは、配信者端末４０は、視聴者の見ている映像を配信者に見せる。配信者端末４０は、視聴者の見ている映像を仮想空間内のモニタに表示する。例えば、配信者アバターの視線の先にモニタを配置しておく。

【0070】

あるいは、描画部１４は、反応動作を所定の範囲内に抑えたユーザアバターに加えて、計算結果を適用したユーザアバターもレンダリングする。このとき、描画部１４は、計算結果を適用したユーザアバターを半透明にするなど、表示態様を変えて描画する。

【0071】

アバターとオブジェクトとの衝突を通知する構成を第１の実施形態に適用してもよい。

【0072】

以上説明したように、本実施形態によれば、演算部１３がオブジェクトの衝突処理を行って各オブジェクトの物理的な挙動を計算し、ＶＲ空間管理部１２が演算部１３の計算結果を各オブジェクトに適用し、描画部１４がユーザの装着するＨＭＤ３０に供給する映像をレンダリングする際、配信者の操作する配信者アバターについては、配信者アバターの反応動作が所定内に抑えられるように配信者アバターをレンダリングする。これにより、視聴者に対してはオブジェクトとの衝突に応じて反応動作をする配信者アバターを提示できるとともに、配信者に対しては反応動作が抑えられた配信者アバターを提示できるので、配信者に配信者アバターの動きに対する違和感を抱かせることなく、配信者アバターへのオブジェクトの衝突にリアリティを持たせることができる。

【符号の説明】

【0073】

１０…端末 １１…アバター制御部 １２…ＶＲ空間管理部 １３…演算部 １４…描画部 １５…通信部 １６…配信映像描画部 １７…配信部 ２０…コントローラ ３０…ＨＭＤ ４０…配信者端末 ５０…配信サーバ ６０…視聴者端末

【要約】

【課題】アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくする。
【解決手段】
本実施形態の端末１０は、ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であり、ユーザの動きに応じたアバターの制御データを生成するアバター制御部１１と、アバターとオブジェクトが衝突したときに、当該衝突に応じたアバターとオブジェクトの挙動を計算する演算部１３と、演算部１３の計算結果を仮想空間に適用するＶＲ空間管理部１２と、ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられたアバターをレンダリングする描画部１４を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】