特開 2024-177866 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177866

(43)【公開日】2024-12-24

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241217BHJP

【ＦＩ】

G06T19/00 300B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023096242

(22)【出願日】2023-06-12

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】興梠 展明

(72)【発明者】

【氏名】玉田 智裕

(72)【発明者】

【氏名】鶴留 新大

(72)【発明者】

【氏名】小川 純平

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA08

5B050BA09

5B050BA12

5B050CA08

5B050EA12

5B050EA27

5B050FA02

5B050FA10

(57)【要約】

【課題】仮想空間で開催される公演において、演者が観客の存在を効果的に感じることができる技術を提供する。
【解決手段】情報処理装置１００は、演者アバターと複数の観客アバターの仮想空間における配置を決定する配置決定部１０２と、前記仮想空間を前記演者アバターの視点で表現した表示情報を生成する表示情報生成部１０３とを有し、少なくとも一人の前記観客アバターは、身体の一部に仮想アイテムを備え、前記表示情報生成部１０３は、前記仮想アイテムの表示の隠れが前記仮想アイテムの表示位置の調整前よりも減少するように前記仮想アイテムの表示位置が調整された前記表示情報を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

演者アバターと複数の観客アバターの仮想空間における配置を決定する配置決定部と、
前記仮想空間を前記演者アバターの視点で表現した表示情報を生成する表示情報生成部と
を有し、
少なくとも一人の前記観客アバターは、身体の一部に仮想アイテムを備え、
前記表示情報生成部は、前記仮想アイテムの表示の隠れが前記仮想アイテムの表示位置の調整前よりも減少するように前記仮想アイテムの表示位置が調整された前記表示情報を生成する
情報処理装置。

【請求項2】

前記観客アバターは、前記仮想アイテムを手に持ち、
前記表示情報生成部は、前記仮想アイテムを前記観客アバターのどちらの手で持つかを調整することにより、前記仮想アイテムの表示位置を調整する
請求項１に記載の情報処理装置。

【請求項3】

前記観客アバターは、前記仮想アイテムを手に持ち、
前記表示情報生成部は、前記仮想アイテムを持つ手の位置を調整することにより、前記仮想アイテムの表示位置を調整する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記表示情報生成部は、前記仮想アイテムの表示位置が所定の可動範囲内で可変である場合、前記仮想アイテムの可動範囲の隠れが前記仮想アイテムの可動範囲の位置の調整前よりも減少するように前記仮想アイテムの可動範囲の位置が調整された前記表示情報を生成する
請求項１に記載の情報処理装置。

【請求項5】

前記観客アバターに対応する観客が発生させた音を取得する観客音取得部をさらに有し、
前記表示情報生成部は、前記音に応じたビジュアルで前記仮想アイテムを表示する前記表示情報を生成する
請求項１に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は仮想空間についての情報処理を行う情報処理装置に関する。

【背景技術】

【0002】

近年、仮想空間を用いたライブコンサートの開催が広まりつつある。現実空間で行われるライブコンサートでは、演者（パフォーマー）と観客が同一の実空間にいるため、演者が、観客の存在を感じることは容易である。しかし、仮想空間を用いたライブコンサートでは、演者と観客は同一の実空間にいるわけではないため、演者が観客の存在を感じることは容易ではない。これに関連して、特許文献１は、観客の状況を推定し、推定結果を出力する装置について開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－２８５２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１で開示された技術は、仮想空間で開催される公演を対象とした技術ではない。このため、仮想空間で開催される公演において、演者が観客の存在を効果的に感じることができる技術の提供が求められている。

【0005】

そこで、本開示の目的は、仮想空間で開催される公演において、演者が観客の存在を効果的に感じることができる技術を提供することにある。

【課題を解決するための手段】

【0006】

第１の態様にかかる情報処理装置は、
演者アバターと複数の観客アバターの仮想空間における配置を決定する配置決定部と、
前記仮想空間を前記演者アバターの視点で表現した表示情報を生成する表示情報生成部と
を有し、
少なくとも一人の前記観客アバターは、身体の一部に仮想アイテムを備え、
前記表示情報生成部は、前記仮想アイテムの表示の隠れが前記仮想アイテムの表示位置の調整前よりも減少するように前記仮想アイテムの表示位置が調整された前記表示情報を生成する。

【発明の効果】

【0007】

本開示によれば、仮想空間で開催される公演において、演者が観客の存在を効果的に感じることができる技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１にかかる情報処理システムの構成の一例を示すブロック図である。

【図2】実施の形態１にかかる情報処理装置の機能構成の一例を示すブロック図である。

【図3】公演が行われる仮想空間の一例を示す平面図である。

【図4】仮想アイテムの位置の調整が必要とされる表示情報の一例を説明する模式図である。

【図5】仮想アイテムを観客アバターのどちらの手で持つかを調整することにより、仮想アイテムの表示位置が調整される例を示す模式図である。

【図6】仮想アイテムを持つ手の位置を調整することにより、仮想アイテムの表示位置が調整される例を示す模式図である。

【図7】所定の可動範囲内での仮想アイテムの移動を示す模式図である。

【図8】実施の形態１における、演者のための表示情報の生成処理の流れの一例を示すフローチャートである。

【図9】実施の形態２にかかる情報処理システムの構成の一例を示すブロック図である。

【図10】実施の形態２にかかる情報処理装置の機能構成の一例を示すブロック図である。

【図11】実施の形態２における、演者のための表示情報の生成処理の流れの一例を示すフローチャートである。

【図12】情報処理装置の処理を実現するコンピュータの構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して実施の形態について説明する。なお、説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、フローチャート又はシーケンスチャートなどにより示される処理の実行順序は、一例に過ぎず、技術的な矛盾が生じない限り実行順序を適宜入れ替えることが可能である。また、各実施の形態の特徴についても、技術的な矛盾が生じない限り組み合わせることができる。

【0010】

＜実施の形態１＞
図１は、実施の形態１にかかる情報処理システム１０の構成の一例を示すブロック図である。情報処理システム１０は、情報処理装置１００と、演者装置２００と、複数の観客装置３００を含む。これらの装置は、インターネットなどのネットワーク４００に接続されている。特に、演者装置２００及び観客装置３００は、ネットワーク４００を介して情報処理装置１００と通信が可能である。

【0011】

情報処理装置１００は、例えばサーバなどの装置であり、仮想空間で開催されるライブコンサートなどの公演に関する情報を演者装置２００及び観客装置３００に送信する装置である。情報処理装置１００の詳細については後述する。

【0012】

仮想空間で開催される公演では、実空間で行われる公演とは異なり、演者と観客は、それぞれ任意の異なる実空間に存在する。そして、仮想空間で開催される公演では、同一の仮想空間に演者（パフォーマー）のアバターと観客のアバターが存在した状態で公演が行われる。以下、演者のアバターを演者アバターとも称し、観客のアバターを観客アバターとも称す。観客は観客装置３００を用いて仮想空間で開催された公演を視聴する。演者は、演者装置２００を用いて仮想空間に存在する観客アバターを見ながら、実空間においてパフォーマンスを行う。実空間における演者のパフォーマンスは、情報処理装置１００に、例えば演者装置２００を介して入力されて、当該パフォーマンスに応じた映像又は音が情報処理装置１００から観客装置３００に配信される。

【0013】

観客装置３００は、公演の観客が用いる装置である。本実施の形態では、観客装置３００は、具体的には、ヘッドマウントディスプレイである。観客は、ヘッドマウントディスプレイである観客装置３００を頭部に装着し、仮想空間において開催されるライブコンサートなどの公演を視聴する。なお、観客装置３００は、必ずしもヘッドマウントディスプレイでなくてもよい。例えば、観客装置３００は、ディスプレイとスピーカーを備えた装置であればよく、スマートフォン、タブレット端末、パーソナルコンピュータなどであってもよい。

【0014】

観客装置３００がヘッドマウントディスプレイにより構成される場合、観客装置３００は、例えばユーザの眼前に配置されるディスプレイと、スピーカーと、ヘッドマウントディスプレイの動き（ユーザの頭部の動き）を検出するモーションセンサを備えている。なお、このモーションセンサは、例えば、速度センサ、ジャイロスコープなどといった慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）である。これにより、ヘッドマウントディスプレイの向きや傾きといった動きが検出される。観客装置３００が、情報処理装置１００から配信情報を受信すると、配信情報に含まれる表示情報にしたがって再生された映像がヘッドマウントディスプレイのディスプレイに表示される。なお、表示情報とは、仮想空間を表示するための情報であり、例えば、ディスプレイに表示される画像を構成するデータを含む。また、観客装置３００が、情報処理装置１００から配信情報を受信すると、配信情報に含まれる音データにしたがって生成された音がヘッドマウントディスプレイのスピーカーから出力される。

【0015】

演者装置２００は、公演の演者が用いる装置である。演者装置２００は、少なくともディスプレイを備えた装置である。本実施の形態では、演者装置２００は、音楽パフォーマンスを行う演者の歌唱音又は演奏音を入力するための入力装置として機能するマイクをさらに有する。演者装置２００は、演者の動きを入力するための入力装置として機能するモーションセンサを含んでもよい。演者装置２００のマイク及びモーションセンサは、パフォーマンス入力装置と称されてもよい。なお、演者装置２００は、観客装置３００と同様、ヘッドマウントディスプレイであってもよい。

【0016】

次に、情報処理装置１００の詳細について説明する。ここでは、特に、演者装置２００及び観客装置３００への情報の出力に関する構成及び処理について説明する。図２は、本実施の形態にかかる情報処理装置１００の機能構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、情報記憶部１０１、配置決定部１０２、表示情報生成部１０３、表示情報出力部１０４、パフォーマンス情報取得部１０５、配信情報生成部１０６、及び配信部１０７を有する。

【0017】

情報記憶部１０１は、観客に関する情報である観客情報を予め記憶している。例えば、情報記憶部１０１は、観客情報として、各観客のアバターのデータを予め記憶している。アバターのデータには、アバターの外観を示すデータが含まれてもよい。また、情報記憶部１０１は、観客情報として、各観客が保有する仮想アイテムの情報を予め記憶していてもよい。仮想アイテムは、アバターが手に持ったり身に付けたりすることが可能なアイテムである。仮想アイテムは、例えば、演者に対してアピールするためのアイテムであり、具体的には、ペンライト、リストバンドなどである。観客が仮想アイテムを保有している場合、その観客については、仮想アイテムを備えた観客アバターが仮想空間に配置される。なお、観客は、必ずしも仮想アイテムを保有していなくてもよい。この場合、その観客については、仮想アイテムを備えていない観客アバターが仮想空間に配置される。また、観客情報は、公演が行われる仮想空間における観客の鑑賞位置（つまり、当該観客に対応する観客アバターの鑑賞位置）を特定する鑑賞位置情報を含んでもよい。鑑賞位置情報により特定される鑑賞位置は、例えば、観客が事前に指定した、仮想空間に設けられた座席の位置であってもよいし、観客が購入したチケットの種類に応じて定まる位置であってもよい。情報記憶部１０１が記憶する観客情報は、必要に応じて、後述する配置決定部１０２及び表示情報生成部１０３などの処理に利用される。情報記憶部１０１は、さらに、演者に関する情報を予め記憶していてもよい。例えば、情報記憶部１０１は、演者アバターの外観を示すデータを予め記憶していてもよい。なお、演者アバターは、演者を撮影した映像により構成された、２次元又は３次元の像であってもよい。

【0018】

配置決定部１０２は、演者アバターと複数の観客アバターの仮想空間における配置を決定する。配置決定部１０２は、予め生成された仮想空間モデルにより表される仮想空間において、演者アバターと各観客アバターの位置を決定する。図３は、公演が行われる仮想空間５０の一例を示す平面図である。すなわち、図３は、公演が行われる仮想空間５０を上から見た図である。図３に示すように、仮想空間５０は、ステージ領域５１と、鑑賞領域５２とを有する。ステージ領域５１は、演者アバター６０が配置される領域である。配置決定部１０２は、例えば、演者アバター６０を、ステージ領域５１内の所定の位置（例えば、中央など）に配置する。なお、演者装置２００から実空間における演者の位置情報を送信することが可能な場合には、配置決定部１０２は、実空間における演者の位置情報に基づいて演者アバター６０の配置を決定してもよい。この場合、演者アバター６０の配置は、演者の位置情報に応じてリアルタイムに決定されてもよい。鑑賞領域５２は、観客アバター７０が配置される領域である。配置決定部１０２は、例えば、上述した鑑賞位置情報にしたがって、各観客アバター７０の配置を決定する。なお、配置決定部１０２は、各観客アバター７０を鑑賞領域５２内でランダムに配置してもよいし、予め定められた配置規則にしたがって配置してもよい。本実施の形態では、配置決定部１０２の決定にしたがって、各観客アバター７０は、仮想空間５０の鑑賞領域５２に設けられた座席に割り当てられるが、仮想空間５０は必ずしも座席を備えていなくてもよい。なお、仮想アイテムを保有している観客については、アバターの身体の一部に当該仮想アイテムを備えた観客アバター７０が、配置決定部１０２の決定にしたがって仮想空間５０内に配置される。

【0019】

表示情報生成部１０３は、公演が行われる仮想空間を演者アバターの視点で表現した表示情報を生成する。表示情報生成部１０３は、例えば、予め生成された仮想空間モデルにより表される仮想空間と、配置決定部１０２により決定された各アバターの配置とに基づいて、演者アバターの視点から見える仮想空間の眺めを表現した表示情報、すなわち映像データを生成する。ここで、本実施の形態では、表示情報生成部１０３は、観客アバターが備える仮想アイテムの表示位置を、演者アバターから見やすい位置に調整する。表示情報生成部１０３による表示位置の調整の詳細については、後述する。

【0020】

表示情報出力部１０４は、表示情報生成部１０３が生成した表示情報を演者装置２００に出力する。後述するように、表示情報生成部１０３は、仮想アイテムが演者アバターから見やすい位置に調整された映像を表示するための表示情報を生成する。このため、表示情報出力部１０４は、そのような表示情報を演者装置２００に出力することとなる。表示情報を受信した演者装置２００は、表示情報にしたがった映像をディスプレイに表示する。これにより、演者は、仮想空間を演者アバターの視点で見ることができる。

【0021】

パフォーマンス情報取得部１０５は、演者のパフォーマンスを表す情報であるパフォーマンス情報を取得する。例えば、演者の歌唱音又は演奏音の音データをパフォーマンス情報として演者装置２００から取得する。

【0022】

配信情報生成部１０６は、公演が行われる仮想空間を観客アバターの視点で表現した表示情報を生成する。配信情報生成部１０６は、観客毎すなわち観客アバター毎に、表示情報を生成するが、各観客に共通の表示情報を生成してもよい。配信情報生成部１０６は、例えば、予め生成された仮想空間モデルにより表される仮想空間と、配置決定部１０２により決定された各アバターの配置とに基づいて、観客アバターの視点から見える仮想空間の眺めを表現した表示情報、すなわち映像データを生成する。そして、配信情報生成部１０６は、表示情報と、パフォーマンス情報取得部１０５が取得したパフォーマンス情報とを統合して、観客装置３００に配信する情報である配信情報を生成する。

【0023】

配信部１０７は、配信情報生成部１０６が生成した配信情報を観客装置３００に出力する。配信部１０７は、観客毎に配信情報を生成した場合、生成した配信情報に対応する観客の観客装置３００に配信情報を出力する。配信情報を受信した観客装置３００は、配信情報にしたがった映像をディスプレイに表示する。また、配信情報が音データを含む場合には、観客装置３００は、音を出力する。これにより、観客は、仮想空間で行われる公演を楽しむ。

【0024】

次に、表示情報生成部１０３の詳細について説明する。上述した通り、本実施の形態では、表示情報生成部１０３は、観客アバターが備える仮想アイテムの表示位置を、演者アバターから見やすい位置に調整する。具体的には表示情報生成部１０３は、観客アバターに対して所定の位置に仮想アイテムを配置した上で演者アバターの視点の表示情報を生成すると仮想アイテムの少なくとも一部分を演者アバターの眺めの映像として表示できない場合、仮想アイテムの位置を調整する。ここで、所定の位置は、仮想アイテムに対してデフォルトの位置として予め設定されている位置である。例えば、仮想アイテムがペンライトの場合、観客アバターの所定の高さに上げられた右手（もしくは左手）の位置が、所定の位置として予め設定されている。つまり、表示情報生成部１０３は、仮想アイテムと演者アバターの視点とを結ぶ視線上に存在するオブジェクトに邪魔されてしまい、演者アバターの視点から当該仮想アイテムの一部分または全体が見えない場合、仮想アイテムの位置を所定の位置から変更する。なお、視線上に存在するオブジェクトは、例えば、隠れる仮想アイテムを備えた観客アバターよりも前に配置された観客アバターであってもよいし、隠れる仮想アイテムを備えた観客アバターよりも前に配置された観客アバターが備える仮想アイテムであってもよい。

【0025】

図４は、仮想アイテムの位置の調整が必要とされる表示情報の一例を説明する模式図である。具体的には、図４は、演者アバターの視点から見える仮想空間の眺めの例を示している。図４に示すように、仮想空間には、仮想アイテムを手に持った複数の観客アバターが存在しうる。なお、図４に示した例では、仮想アイテムは、ペンライトなどのように、手に持たれるアイテムである。ここで、図４に示した例では、各観客アバターは同じ仮想アイテムを手に持っているが、各観客アバターが持つ仮想アイテムが異なっていてもよい。

【0026】

図４に示した例では、前から三列目の観客アバター７０ｂの仮想アイテム７１ｂの一部が、前から二列目の観客アバター７０ａの仮想アイテム７１ａに隠れている。すなわち、演者アバターの視点では、三列目の観客アバター７０ｂの仮想アイテム７１ｂの一部が見えない。換言すると、仮想アイテム７１ｂの一部が、演者アバターの視点の映像において表示されない。このような場合、表示情報生成部１０３は、例えば次のように仮想アイテムの位置を調整する。表示情報生成部１０３は、例えば、仮想アイテムを観客アバターのどちらの手で持つかを調整することにより、仮想アイテムの表示位置を調整する。すなわち、表示情報生成部１０３は、仮想アイテムを観客アバターの右手で持つか左手で持つかを調整することにより、仮想アイテムの表示位置を調整する。

【0027】

図５は、仮想アイテムを観客アバターのどちらの手で持つかを調整することにより、仮想アイテムの表示位置が調整される例を示す模式図である。図４に示した例では、仮想アイテム７１ｂは、観客アバター７０ｂの右手に持たれていたが、図５に示した例では、仮想アイテム７１ｂは、観客アバター７０ｂの左手に持たれている。これにより、隠れてしまっていた仮想アイテム７１ｂの位置が調整され、仮想アイテム７１ｂの隠れがなくなる。したがって、図５に示した例によれば、演者アバターの視点から仮想アイテム７１ｂの全体が視認できる。換言すると、演者アバターの視点の映像において仮想アイテム７１ｂの全体を表示することができる。なお、図５で示した例では、表示位置の調整により仮想アイテム７１ｂの隠れが完全になくなっているが、必ずしも隠れを完全になくすよう表示位置が調整されなくてもよい。すなわち、隠れる面積が減少するように仮想アイテムの位置が調整されればよい。

【0028】

また、表示情報生成部１０３は、例えば次のように仮想アイテムの位置を調整してもよい。表示情報生成部１０３は、仮想アイテムを持つ手（仮想アイテムの持ち手）の位置を調整することにより、仮想アイテムの表示位置を調整してもよい。図６は、仮想アイテムを持つ手の位置を調整することにより、仮想アイテムの表示位置が調整される例を示す模式図である。図４に示した例では、仮想アイテム７１ｂは下の位置（詳細には図４では観客アバター７０ｂの肩よりも下の位置）で手に持たれていたが、図６に示した例では、仮想アイテム７１ｂは上の位置（詳細には図６では肩よりも上の位置）で持たれている。これにより、隠れてしまっていた仮想アイテム７１ｂの位置が調整され、仮想アイテム７１ｂの隠れがなくなる。なお、図６で示した例でも、表示位置の調整により仮想アイテム７１ｂの隠れが完全になくなっているが、必ずしも隠れを完全になくすよう表示位置が調整されなくてもよい。また、仮想アイテムの持ち手の位置は所定の調整範囲内で段階的に調整可能であってもよい。この場合は、仮想アイテム７１ｂの表示の隠れが最も少なくなる位置のうち、仮想アイテム７１ｂの仮想空間における鉛直方向の高さが最も低い位置に、仮想アイテムの持ち手の位置が調整されてもよい。すなわち、観客アバター７０ｂの手を限界まで上に挙げても、中程度挙げても、仮想アイテム７１ｂの表示の隠れに差がない場合は、表示情報生成部１０３は、仮想アイテム７１ｂを持つ手の位置を中程度の高さ位置に調整する。このようにすることにより、観客アバター７０ｂの仮想アイテム７１ｂと、観客アバター７０ｂの後列の観客アバターの仮想アイテムとの重なりの発生を抑えることができる。また、仮想アイテムを持つ手の変更と、仮想アイテムを持つ手の位置の調整は、併用されてもよい。両者を併用する場合も、仮想アイテム７１ｂの表示の隠れが最も少なくなる位置のうち、仮想アイテム７１ｂの仮想空間における鉛直方向の高さが最も低い位置に、持ち手の位置が調整されてもよい。なお、この場合において、仮想アイテム７１ｂの表示の隠れが最も少なくなる位置のうち、仮想アイテム７１ｂの仮想空間における鉛直方向の高さが最も低い位置が、どちらの手に仮想アイテムを持っても同じであるならば、表示情報生成部１０３は、調整前の仮想アイテムの持ち手を、仮想アイテムの持ち手として選択してもよい。

【0029】

なお、上述した例では、仮想アイテムの表示位置は時間的に変動していないが、表示情報生成部１０３は、仮想アイテムの表示位置が時間的に変動する表示情報を生成してもよい。具体的には、表示情報生成部１０３は、仮想アイテムの表示位置が所定の可動範囲内で可変である表示情報を生成してもよい。これにより、より臨場感のある映像を提供することができる。ここで、可動範囲とは、移動が可能な範囲をいい、移動範囲とも称される。例えば、表示情報生成部１０３は、図７のような所定の可動範囲７２内で、仮想アイテム７１が往復運動するように表示される表示情報を生成してもよい。なお、図７に示した例では、観客アバター７０の手７５を支点にした仮想アイテム７１の揺動運動が示されているが、仮想アイテム７１は、上下方向などといった所定の方向の並進運動をするよう表示されてもよい。このように、表示情報生成部１０３は、仮想アイテムの表示位置が経時的に変化する表示情報を生成してもよい。この場合も、表示情報生成部１０３は、図５又は図６に例示したように、仮想アイテムの位置を調整できる。なお、この場合、表示情報生成部１０３は、可動範囲の位置を調整しているとも言うことができる。つまり、表示情報生成部１０３は、仮想アイテムの表示位置が所定の可動範囲内で可変である場合、仮想アイテムの可動範囲の隠れが当該仮想アイテムの可動範囲の位置の調整前よりも減少するように当該仮想アイテムの可動範囲の位置が調整された表示情報を生成してもよい。

【0030】

なお、仮想アイテムの移動は、所定の運動周期を有する往復運動であってもよい。例えば、表示情報生成部１０３は、図７に示す揺動運動が所定の周期で行わる表示情報を生成してもよい。図４に示した例では、仮想アイテム７１ａと仮想アイテム７１ｂがいずれも所定の運動周期で揺動運動すると、仮想アイテム７１ｂの一部は、仮想アイテム７１ａに隠れ続ける。しかし、仮想アイテム７１ｂの運動周期が仮想アイテム７１ａの運動周期とずれれば、仮想アイテム７１ｂの隠れは瞬間的な隠れになる。したがって、表示情報生成部１０３は、仮想アイテムの運動周期を調整することにより、仮想アイテムの表示位置、すなわち、あるタイミングにおける表示位置を調整してもよい。つまり、表示情報生成部１０３は、隠れる時間の長さが減少するように仮想アイテムの表示位置を調整してもよい。また、運動周期の調整に代えて、又は、運動周期の調整とともに、仮想アイテムの運動開始の初期位置が調整されてもよい。往復運動の運動開始の初期位置が異なれば、隠れが瞬間的となり、仮想アイテムが継続的に隠れ続けることを防げるからである。なお、運動周期の調整も、運動開始の初期位置の調整も、映像の各フレームにおける仮想アイテムの表示位置の修正をもたらすため、表示位置の調整の一種といえる。

【0031】

以上説明した通り、本実施の形態では、表示情報生成部１０３は、仮想アイテムの表示の隠れが仮想アイテムの表示位置の調整前よりも減少するように仮想アイテムの表示位置が調整された表示情報を生成する。なお、仮想アイテムの表示の隠れとは、注目する仮想アイテムの前に存在する仮想空間のオブジェクト（例えば、観客アバター又は他の仮想アイテム）によって、注目する仮想アイテムの表示が隠れてしまうことをいう。仮想アイテムの表示における隠れが発生すると、演者アバターの視点の映像を見た演者が知覚する仮想アイテムの総数は、仮想空間に存在する仮想アイテムの実際の数よりも少なくなってしまう。このため、演者は、公演の盛り上がりを適切に感じることができない。これに対し、本実施の形態では、表示における仮想アイテムの隠れが減少するため、演者アバターの視点の映像を見た演者は、公演の盛り上がりを適切に感じることができる。このため、仮想空間で開催される公演において、演者は観客の存在を効果的に感じることができる。また、観客は演者に対して仮想アイテムをより効果的にアピールできる。

【0032】

次に、演者のための表示情報の生成処理の流れについて説明する。図８は、演者のための表示情報の生成処理の流れの一例を示すフローチャートである。以下、図８を参照しつつ、本実施の形態における表示情報の生成処理の流れについて説明する。

【0033】

ステップＳ１００において、配置決定部１０２が、演者アバターと観客アバターの仮想空間における配置を決定する。
次に、ステップＳ１０１において、表示情報生成部１０３が、公演が行われる仮想空間を演者アバターの視点で表現した表示情報を生成する。このとき、表示情報出力部１０４は、上述した通り、仮想アイテムの位置が、演者アバター（演者）から見やすい位置に調整された表示情報を生成する。なお、表示情報生成部１０３は、例えば、前列の観客アバターから順に、仮想アイテムの位置を調整する。前列の観客アバターから順に仮想アイテムの位置調整を行うのは、次のような理由である。仮想アイテムの移動によって、この仮想アイテムの後列にある別の仮想アイテムの移動が必要になる可能性がある。したがって、後列から順に位置調整を行ってしまうと、後列の仮想アイテムの移動が複数回必要になる可能性があり、非効率であるからである。また、表示情報生成部１０３は、見やすい位置への仮想アイテムの位置の調整ができない場合には、当該仮想アイテムに対する処理をスキップしてもよい。例えば、表示情報生成部１０３は、位置調整の前と比べた表示の隠れの減少量を所定の閾値以上に変更する調整ができない場合には、当該仮想アイテムに対する処理をスキップしてもよい。ここで、閾値は、例えば、演者視点から見える仮想アイテムの面積についての百分率などにより定義される。
そして、ステップＳ１０２において、表示情報出力部１０４が、ステップＳ１０１で生成した表示情報を演者装置２００に出力する。
ステップＳ１０２の後、処理はステップＳ１０１に戻り、表示情報の生成と出力が繰り返される。なお、演者アバターの位置又は観客アバターの位置は時間の推移とともに変動してもよく、その場合、処理はステップＳ１０２の後、ステップＳ１００に戻る。

【0034】

＜実施の形態２＞
次に、実施の形態２について説明する。本実施の形態では、実空間にいる観客の状態が仮想空間において表現される点で、実施の形態１と異なっている。

【0035】

図９は、実施の形態２にかかる情報処理システム１０ａの構成の一例を示すブロック図である。情報処理システム１０ａは、各観客装置３００がマイク３１０を備えるとともに、情報処理装置１００が情報処理装置１００ａに置き換わった点で、図１に示した情報処理システム１０と異なっている。以下、実施の形態１と異なる構成及び処理について説明し、重複する説明は適宜省略する。

【0036】

マイク３１０は、観客が発生させた音を取得する。ここで、観客が発生させた音は、例えば、観客の声であってもよいし、拍手の音であってもよいし、手拍子の音であってもよい。各観客装置３００は、マイク３１０が取得した音を情報処理装置１００ａに送信する。

【0037】

図１０は、本実施の形態にかかる情報処理装置１００ａの機能構成の一例を示すブロック図である。図１０に示すように、情報処理装置１００ａは、観客音取得部１０８が追加され、表示情報生成部１０３が表示情報生成部１０３ａに置き換わった点で、図２に示した情報処理装置１００と異なっている。

【0038】

観客音取得部１０８は、観客アバターに対応する観客が発生させた音を取得する。具体的には、観客音取得部１０８は、観客装置３００から送信された音データを取得する。観客音取得部１０８は、観客毎の音を取得する。

【0039】

表示情報生成部１０３ａは、表示情報生成部１０３と同様の処理を行うが、次のような特徴をさらに有する点で、実施の形態１の表示情報生成部１０３と異なる。表示情報生成部１０３ａは、観客音取得部１０８が取得した音に応じたビジュアルで仮想アイテムを表示する表示情報を生成する。より詳細には、表示情報生成部１０３ａは、観客音取得部１０８が取得した音を発生させた観客に対応する観客アバターが備える仮想アイテムのビジュアルを、この音に応じて変える。具体的には、表示情報生成部１０３ａは、音の音量が大きいほど、人間の知覚において目立つビジュアルで仮想アイテムを表示させる。例えば、表示情報生成部１０３ａは、音の音量に応じた色で仮想アイテムを表示する表示情報を生成してもよいし、音の音量に応じた輝度で仮想アイテムを表示する表示情報を生成してもよい。例えば、仮想アイテムが、ペンライトなどの発光するアイテムを仮想空間で模したものである場合には、音量に応じて発光する光の色又は明るさを変えてもよい。例えば、表示情報生成部１０３ａは、音量が大きいほど仮想アイテムの色を特定の色に近づけてもよいし、音量が大きいほど仮想アイテムを明るくしてもよい。なお、表示情報生成部１０３ａは、音量とともに又は音量に代えて、閾値以上の音量の持続時間を用いてもよい。すなわち、表示情報生成部１０３ａは、閾値以上の音量の音の持続時間に応じたビジュアルで仮想アイテムを表示する表示情報を生成してもよい。具体的には、表示情報生成部１０３ａは、閾値以上の音量の音の持続時間が長いほど、人間の知覚において目立つビジュアルで仮想アイテムを表示させる。

【0040】

次に、本実施の形態における、演者のための表示情報の生成処理の流れについて説明する。図１１は、実施の形態２における演者のための表示情報の生成処理の流れの一例を示すフローチャートである。以下、図１１を参照しつつ、本実施の形態における表示情報の生成処理の流れについて説明する。

【0041】

ステップＳ２００において、配置決定部１０２が、演者アバターと観客アバターの仮想空間における配置を決定する。
次に、ステップＳ２０１において、観客音取得部１０８が観客が発生させた音を取得する。
次に、ステップＳ２０２において、表示情報生成部１０３ａが、公演が行われる仮想空間を演者アバターの視点で表現した表示情報を生成する。このとき、表示情報生成部１０３ａは、実施の形態１と同様、仮想アイテムの表示位置を調整する。特に、本ステップでは、表示情報生成部１０３は、ステップＳ２０１で取得した音に応じたビジュアルで仮想アイテムを表示させる表示情報を生成する。
そして、ステップＳ２０３において、表示情報出力部１０４が、ステップＳ２０２で生成した表示情報を演者装置２００に出力する。
ステップＳ２０３の後、処理はステップＳ２０１に戻り、観客音の取得と、表示情報の生成及び出力が繰り返される。なお、演者アバターの位置又は観客アバターの位置は時間の推移とともに変動してもよく、その場合、処理はステップＳ２０３の後、ステップＳ２００に戻る。

【0042】

以上、実施の形態２について説明した。一般的に、公演を楽しんでいる観客は声、手拍子、拍手などにより音を発する。そして、公演をより楽しんでいる観客ほど、発する音の音量が大きくなったり、持続時間が長くなったりする。本実施の形態では、観客が発した音に応じて仮想アイテムのビジュアルが変化するため、演者は、実空間では異なる場所にいる観客の反応を容易に知覚することができる。特に、音に応じて仮想アイテムのビジュアルが変化するため、演者は、観客の反応の大きさを視覚的に認識することができる。このように、本実施の形態では、演者は、観客の存在、特に観客の反応を、効果的に感じることができる。また、特に、本実施の形態では、取得した観客の音をそのまま演者に提供するのではなく、取得した観客の音を仮想アイテムのビジュアルに変換することにより観客の反応を演者に提供している。観客の発する音を演者に提供した場合、演者はパフォーマンスに集中できない恐れがあるが、本実施の形態では、上述した通り、ビジュアル情報として観客の反応が演者に提供されるので、そのような問題を解消することができる。また、観客によるコントローラー等の操作を必要とせずに仮想アイテムのビジュアルを変更可能であるため、観客も公演の視聴に集中できる。

【0043】

なお、情報処理装置１００及び情報処理装置１００ａの上述した機能（処理）は、例えば次のような構成を有するコンピュータ５００により実現されてもよい。

【0044】

図１２は、情報処理装置１００又は情報処理装置１００ａの処理を実現するコンピュータ５００の構成を示すブロック図である。図１２に示すように、コンピュータ５００は、ネットワークインタフェース５０１、メモリ５０２、及びプロセッサ５０３を含む。

【0045】

ネットワークインタフェース５０１は、ネットワーク４００を介した通信をするために使用される。ネットワークインタフェース５０１は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。

【0046】

メモリ５０２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ５０２は、プロセッサ５０３により実行されるプログラム、処理に用いるデータなどを格納するために使用される。上述した情報記憶部１０１は、メモリ５０２などの記憶装置により実現されてもよい。

【0047】

プロセッサ５０３は、メモリ５０２からプログラムを読み出して実行することで、情報処理装置１００又は情報処理装置１００ａの処理を行う。図２又は図１０に示した情報処理装置１００又は情報処理装置１００ａの構成要素の処理は、例えば、プロセッサ５０３が、メモリ５０２からプログラムを読み出して実行することにより行われる。プロセッサ５０３は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ５０３は、複数のプロセッサを含んでもよい。

【0048】

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明される１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0049】

以上、実施の形態について説明したが、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２では、観客の音に基づいて仮想アイテムのビジュアルを変化させる構成が、仮想アイテムの位置を演者アバターから見やすい位置に調整する構成と組み合わされたが、前者の構成は後者の構成と組み合わせることなく実施されてもよい。

【0050】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
演者アバターと複数の観客アバターの仮想空間における配置を決定する配置決定部と、
前記仮想空間を前記演者アバターの視点で表現した表示情報を生成する表示情報生成部と
を有し、
少なくとも一人の前記観客アバターは、身体の一部に仮想アイテムを備え、
前記表示情報生成部は、前記仮想アイテムの表示の隠れが前記仮想アイテムの表示位置の調整前よりも減少するように前記仮想アイテムの表示位置が調整された前記表示情報を生成する
情報処理装置。
（付記２）
前記観客アバターは、前記仮想アイテムを手に持ち、
前記表示情報生成部は、前記仮想アイテムを前記観客アバターのどちらの手で持つかを調整することにより、前記仮想アイテムの表示位置を調整する
付記１に記載の情報処理装置。
（付記３）
前記観客アバターは、前記仮想アイテムを手に持ち、
前記表示情報生成部は、前記仮想アイテムを持つ手の位置を調整することにより、前記仮想アイテムの表示位置を調整する
付記１又は２に記載の情報処理装置。
（付記４）
前記表示情報生成部は、前記仮想アイテムの表示位置が所定の可動範囲内で可変である場合、前記仮想アイテムの可動範囲の隠れが前記仮想アイテムの可動範囲の位置の調整前よりも減少するように前記仮想アイテムの可動範囲の位置が調整された前記表示情報を生成する
付記１から３のいずれか一項に記載の情報処理装置。
（付記５）
前記表示情報生成部は、前記仮想アイテムの運動周期又は前記仮想アイテムの運動開始の初期位置を調整することにより、前記仮想アイテムの表示位置を調整する
付記４に記載の情報処理装置。
（付記６）
前記観客アバターに対応する観客が発生させた音を取得する観客音取得部をさらに有し、
前記表示情報生成部は、前記音に応じたビジュアルで前記仮想アイテムを表示する前記表示情報を生成する
付記１から５のいずれか一項に記載の情報処理装置。
（付記７）
前記表示情報生成部は、前記音に応じた色又は輝度で前記仮想アイテムを表示する前記表示情報を生成する
付記６に記載の情報処理装置。
（付記８）
演者アバターと複数の観客アバターの仮想空間における配置を決定し、
前記仮想空間を前記演者アバターの視点で表現した表示情報を生成し、
少なくとも一人の前記観客アバターは、身体の一部に仮想アイテムを備え、
前記表示情報の生成では、前記仮想アイテムの表示の隠れが前記仮想アイテムの表示位置の調整前よりも減少するように前記仮想アイテムの表示位置が調整された前記表示情報を生成する
情報処理方法。
（付記９）
演者アバターと複数の観客アバターの仮想空間における配置を決定する配置決定ステップと、
前記仮想空間を前記演者アバターの視点で表現した表示情報を生成する表示情報生成ステップと
をコンピュータに実行させ、
少なくとも一人の前記観客アバターは、身体の一部に仮想アイテムを備え、
前記表示情報生成ステップでは、前記仮想アイテムの表示の隠れが前記仮想アイテムの表示位置の調整前よりも減少するように前記仮想アイテムの表示位置が調整された前記表示情報を生成する
プログラム。

【符号の説明】

【0051】

１０ 情報処理システム
１０ａ 情報処理システム
５０ 仮想空間
５１ ステージ領域
５２ 鑑賞領域
６０ 演者アバター
７０ 観客アバター
７０ａ 観客アバター
７０ｂ 観客アバター
７１ 仮想アイテム
７１ａ 仮想アイテム
７１ｂ 仮想アイテム
７２ 可動範囲
７５ 手
１００ 情報処理装置
１００ａ 情報処理装置
１０１ 情報記憶部
１０２ 配置決定部
１０３ 表示情報生成部
１０３ａ 表示情報生成部
１０４ 表示情報出力部
１０５ パフォーマンス情報取得部
１０６ 配信情報生成部
１０７ 配信部
１０８ 観客音取得部
２００ 演者装置
３００ 観客装置
３１０ マイク
４００ ネットワーク
５００ コンピュータ
５０１ ネットワークインタフェース
５０２ メモリ
５０３ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】