7809684 情報処理装置、情報処理端末、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2026-01-23

(45)【発行日】2026-02-02

(54)【発明の名称】情報処理装置、情報処理端末、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20260126BHJP

   G06F 3/04815 20220101ALI20260126BHJP

   A63F 13/52 20140101ALN20260126BHJP

   A63F 13/79 20140101ALN20260126BHJP

   G06T 13/40 20110101ALN20260126BHJP

   H04N 21/234 20110101ALN20260126BHJP

   H04N 21/258 20110101ALN20260126BHJP

【ＦＩ】

G06F3/01 510

G06F3/04815

A63F13/52

A63F13/79

G06T13/40

H04N21/234

H04N21/258

【請求項の数】 8

(21)【出願番号】P 2023505295

(86)(22)【出願日】2022-02-28

(86)【国際出願番号】 JP2022008128

(87)【国際公開番号】W WO2022190917

(87)【国際公開日】2022-09-15

【審査請求日】2025-02-10

(31)【優先権主張番号】P 2021037070

(32)【優先日】2021-03-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】堂前 拓馬

(72)【発明者】

【氏名】田中 淳一

(72)【発明者】

【氏名】田中 和治

(72)【発明者】

【氏名】松原 正章

(72)【発明者】

【氏名】松井 康範

【審査官】九鬼 一慶

(56)【参考文献】

【文献】国際公開第２０２０／０９５３６８（ＷＯ，Ａ１）

【文献】特開２０１８－０９４３２６（ＪＰ，Ａ）

【文献】特開２０２０－００９０２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１５

Ａ６３Ｆ １３／５２

Ａ６３Ｆ １３／７９

Ｇ０６Ｔ １３／４０

Ｈ０４Ｎ ２１／２３４

Ｈ０４Ｎ ２１／２５８

(57)【特許請求の範囲】

【請求項1】

仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行う制御部を備え、
前記制御部は、
前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御し、
前記ユーザに対応する表示は、ユーザアバターの画像であり、
前記演者に対応する表示は、演者アバターの画像であり、
前記制御部は、
前記仮想空間内において、前記演者アバターを、前記特性が条件を満たす１以上のユーザアバターの位置付近を順次通るよう移動させる、情報処理装置。

【請求項2】

前記イベントに関連するユーザの特性は、前記仮想空間内における前記ユーザアバターの位置、動き、または行動履歴である、請求項１に記載の情報処理装置。

【請求項3】

前記イベントに関連するユーザの特性は、前記ユーザの課金額、イベントへの参加回数、演者のコミュニティへの入会有無である、請求項１に記載の情報処理装置。

【請求項4】

前記制御部は、前記ユーザの特性が条件を満たすユーザアバターに対して、前記仮想空間において特別な表示制御を行う、請求項１に記載の情報処理装置。

【請求項5】

前記制御部は、前記特別な表示制御として、前記ユーザアバターの強調表示、前記ユーザアバターの位置移動、前記ユーザアバターに対する所定の制限の解除の少なくともいずれかを行う、請求項４に記載の情報処理装置。

【請求項6】

仮想空間におけるユーザ視点の画像を表示部に表示する制御を行う制御部を備え、
前記制御部は、
前記仮想空間で行われるイベントに関連するユーザの特性を取得し、前記特性が条件を満たす場合、当該ユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御し、
前記ユーザに対応する表示は、ユーザアバターの画像であり、
前記演者に対応する表示は、演者アバターの画像であり、
前記制御部は、
前記仮想空間内において、前記演者アバターを、前記特性が条件を満たす１以上のユーザアバターの位置付近を順次通るよう移動させる、情報処理端末。

【請求項7】

プロセッサが、
仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行うことを含み、
さらに、前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御することを含み、
前記ユーザに対応する表示は、ユーザアバターの画像であり、
前記演者に対応する表示は、演者アバターの画像であり、
前記プロセッサが、
さらに、前記仮想空間内において、前記演者アバターを、前記特性が条件を満たす１以上のユーザアバターの位置付近を順次通るよう移動させることを含む、情報処理方法。

【請求項8】

コンピュータを、
仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行う制御部として機能させ、
前記制御部は、
前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御し、
前記ユーザに対応する表示は、ユーザアバターの画像であり、
前記演者に対応する表示は、演者アバターの画像であり、
前記制御部は、
前記仮想空間内において、前記演者アバターを、前記特性が条件を満たす１以上のユーザアバターの位置付近を順次通るよう移動させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理端末、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年普及しているＶＲ（Virtual Reality）の技術では、３Ｄモデルが配置された仮想空間内におけるユーザ操作に応じた任意の視点（自由視点）からの映像が生成され、ユーザに提供される。ユーザは、スマートフォンやタブレット端末、テレビ装置、視界全体を覆う非透過型のＨＭＤ（Head Mounted Display）等の表示装置を用いて、仮想空間の映像（画像および音声）を視聴することができる。

【0003】

仮想空間での体験をより楽しむ手法の１つとして、ユーザに対応するアバターで仮想空間内を自由に動き回ることが可能である。例えば下記特許文献１では、リアルタイムの動画を視聴者（ユーザ）に配信するシステムにおいて、複数のユーザ各々に対応するアバターを、配信ルーム（仮想空間）に表示することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６２２０９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、仮想空間において配信者側（演者）によりコンサート等のイベントが実施される際、演者とユーザとのインタラクションが十分でない場合があった。また、上記特許文献では、配信ルームにおいて、配信ユーザ（配信者側）が映る動画が舞台上のスクリーンのような動画表示オブジェクトに配置されているのみであり、配信者の位置が動かないため退屈に感じてしまう場合がある。

【0006】

そこで、本開示では、仮想空間における演者と視聴者の繋がりを向上させることが可能な情報処理装置、情報処理端末、情報処理方法、およびプログラムを提案する。

【課題を解決するための手段】

【0007】

本開示によれば、仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行う制御部を備え、前記制御部は、前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、情報処理装置を提案する。

【0008】

本開示によれば、仮想空間におけるユーザ視点の画像を表示部に表示する制御を行う制御部を備え、前記制御部は、前記仮想空間で行われるイベントに関連するユーザの特性を取得し、前記特性が条件を満たす場合、当該ユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、情報処理端末を提案する。

【0009】

本開示によれば、プロセッサが、仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行うことを含み、さらに、前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御することを含む、情報処理方法を提案する。

【0010】

本開示によれば、コンピュータを、仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行う制御部として機能させ、前記制御部は、前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、プログラムを提案する。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態による情報処理システムの概要について説明する図である。

【図2】本実施形態による仮想空間で行われるイベントにおける演者の周遊について説明する図である。

【図3】本実施形態による配信サーバの構成の一例を示すブロック図である。

【図4】本実施形態によるユーザ端末の構成の一例を示すブロック図である。

【図5】本実施形態によるユーザの特性に応じた演者アバターの周遊制御の動作処理の流れの一例を示すフローチャートである。

【図6】本実施形態の変形例によるユーザの特性に応じたユーザアバターに対する表示制御の動作処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
２－１．配信サーバ２０の構成例
２－２．ユーザ端末１０の構成例
３．ユーザの特性に応じた演者アバターの周遊制御
４．変形例
５．補足

【0014】

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザ端末１０、配信サーバ２０、演者端末３０、およびイベント管理用端末５０を有する。

【0015】

配信サーバ２０は、３Ｄモデルが配置される仮想空間（ＶＲ：Virtual Reality）の管理、および、仮想空間における任意の視点（演者視点やユーザ視点）からの映像の配信を行う情報処理装置である。配信サーバ２０は、複数のサーバから成る配信システムであってもよい。

【0016】

ユーザ端末１０は、ユーザに利用される情報処理端末であって、例えばスマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）、視界全体を覆う非透過型のＨＭＤ（Head Mounted Display）、透過型のメガネ型デバイス、プロジェクター等により実現される。ユーザ端末１０は、配信サーバ２０から受信した仮想空間におけるユーザ視点の映像データ（画像）および音声を出力（表示出力、音声出力）する。また、ユーザ端末１０は、仮想空間に対するユーザからの入力情報を取得し、配信サーバ２０に送信する。配信サーバ２０は、ユーザからの入力情報に応じて仮想空間におけるユーザ視点（仮想カメラの位置、方向）を変化させたり、仮想空間の３Ｄオブジェクトに反映させたりする。また、仮想空間には、ユーザの分身となるユーザアバターが存在していてもよい。ユーザアバターは、仮想空間に配置される３Ｄオブジェクトに含まれ、例えばキャラクター３Ｄモデルにより生成される。ユーザアバターは、ユーザからの入力情報に従って動いたり、表情を変えたり、移動したりする。仮想空間におけるユーザ視点（仮想カメラの位置、方向）は、ユーザアバターの視点であってもよいし、ユーザアバターを画角内に収める視点であってもよい。

【0017】

演者端末３０は、演者からの入力情報を取得し、配信サーバ２０に送信する。仮想空間には、演者の分身となる演者アバターが存在し、演者からの入力情報に従って演者アバターが動いたり、表情を変えたり、移動したりする。演者アバターは、仮想空間に配置される３Ｄオブジェクトに含まれる。配信サーバ２０に送信される入力情報は、例えば演者の動きを示すモーションデータ（手足の動き、頭部の動き、顔の表情、姿勢の変化等を含む）や、音声データが挙げられる。例えば演者アバターは３Ｄモデルデータにより生成されており、演者のモーションデータを当てはめることで、演者アバターを動かすことができる。

【0018】

モーションデータは、例えば実空間において演者を撮像するモーションキャプチャカメラ３１により取得される。なお、本実施形態では一例としてモーションデータがカメラにより取得される場合について説明するが、これに限定されない。例えば演者のモーションデータは、演者に装着された各種センサ（加速度センサ、ジャイロセンサ等）により取得されてもよい。また、演者のモーションデータは、各種センサとカメラを組み合わせて取得されてもよい。

【0019】

音声データは、実空間において演者自身に装着されたり、演者が把持したり、演者の周囲に配置されたマイク３２により取得される。なお、実空間に配置された複数のマイク３２により収音された音声を合成して配信サーバ２０に送信されてもよい。また、演者が演奏する楽器や、ＣＤプレーヤー、デジタルプレーヤー等から出力される音声データ（音響データ）も、演者側から提供される音声データとして演者端末３０により配信サーバ２０に送信される。また、演者端末３０から配信サーバ２０に送信される音声データは、実空間に配置されたミキサーにより各種音源を個別に調整した上で混合（ミックス）した音声であってもよい。

【0020】

イベント管理用端末５０は、仮想空間内で実施されるイベントの進行や演出を操作する際に用いられる情報処理端末である。イベント管理用端末５０は、例えばイベントの管理者により操作される。イベントの管理者は、演者自身であってもよいし、演者とは別の人物であってもよい。イベントに出演する演者や管理者も含め、イベントの開催に関わる者を広く配信者側とも称する。

【0021】

また、イベント管理用端末５０には、配信サーバ２０から、仮想空間で実施されるイベントの映像および音声が送信され得る。イベント映像は、仮想空間における複数視点からの映像であってもよい。例えば、仮想空間で実施されるイベントの会場において、ステージ上から見える観客席（例えばユーザアバターが配置されているエリア）の映像（演者視点の映像）であってもよい。また、ステージを正面や横、上から見る映像であってもよい。また、ステージと観客席を含むイベント会場全体が見える映像であってもよい。かかるイベント映像は、イベント管理用端末５０の表示部に表示されてもよいし、実空間において演者の見易い位置等に配置された演者側表示装置５１に表示されてもよい。また、演者側表示装置５１が複数用意され、それぞれ異なる視点の仮想空間におけるイベント映像が表示されてもよい。演者は、演者側表示装置５１を見て仮想空間内の観客（ユーザアバター）の様子や、ステージの様子、自身が演じる演者アバターの様子等をリアルタイムで確認することができる。

【0022】

（課題の整理）
仮想空間でコンサートや講演会等のイベントが行われる際、演者と視聴するユーザとの間のインタラクションが十分でない場合がある。単に演者の映像を仮想空間に配置されたスクリーンのような３Ｄオブジェクト等に表示するだけでは、テレビ画面で映像を見ているのと変わらず、ユーザに飽きをもたらす場合がある。

【0023】

そこで、本開示による情報処理システムでは、仮想空間における演者と視聴者の繋がりを向上させることを可能とする。

【0024】

具体的には、例えば仮想空間でコンサートイベントが実施され、イベント会場に複数のユーザに各々対応するユーザアバターが配置されている際に、コンサートの演出の一つとして、演者がユーザアバターの状況に応じてインタラクティブにイベント会場内（仮想空間内）を移動するよう制御する。かかる演者の移動を、本明細書において「周遊」と称する。

【0025】

図２は、本実施形態による仮想空間で行われるイベントにおける演者の周遊について説明する図である。図２に示すように、仮想空間Ｖ（イベント会場）において、例えばステージＳで、演者アバター３がパフォーマンスを行っている。ここで、本実施形態では、コンサートの演出の一つとして、演者アバター３が小ステージＳ１に乗って、複数のユーザに各々対応するユーザアバター１２が配置されている観客エリアを周遊する制御が行われる。なお小ステージＳ１の表示は一例であって、演者アバター３の乗り物はこれに限定されない。また、乗り物（オブジェクト）を表示せず、演者アバター３単身で飛ぶ演出であってもよい。観客エリアに表示されている複数のユーザアバター１２は、それぞれ実空間のユーザによるリアルタイムの入力情報に応じて仮想空間内を移動したり、手足を動かしたりする３Ｄオブジェクトである。各ユーザ端末では、対応するユーザアバターの視点や、対応するユーザアバターの後方からの視点の映像が表示される。

【0026】

演者アバター３の周遊ルートＲは、ユーザアバター１２の特性に応じてインタラクティブに設定される。例えば応援動作の大きいユーザアバターや、課金額の大きいユーザアバター、演者のイベントへの参加回数が多いユーザアバター等の所定の条件を満たすユーザアバターの近くを順次通るよう制御されてもよい。図２に示す例では、例えばユーザアバター１２Ａ、ユーザアバター１２Ｃ、およびユーザアバター１２Ｅの近くを順次通る周遊ルートに設定される。これにより、例えばユーザがより応援動作を大きくするようユーザアバターを操作することや、課金すること、また、演者のイベントに何回も参加すること等（広い意味での演者に対する貢献）に対して、演者アバターがユーザアバターに特別に近付くといった動きによりインタラクティブに応えることが可能となり、仮想空間における演者と視聴者の繋がりが向上する。

【0027】

以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。

【0028】

＜＜２．構成例＞＞
＜２－１．配信サーバ２０の構成例＞
図３は、本実施形態による配信サーバ２０の構成の一例を示すブロック図である。配信サーバ２０は、ネットワークを介してユーザ端末１０、およびイベント管理用端末５０と通信接続するサーバである。配信サーバ２０は、複数のサーバから成るクラウドサーバであってもよい。

【0029】

図３に示すように、配信サーバ２０は、通信部２１０、制御部２２０、および記憶部２３０を有する。

【0030】

（通信部２１０）
通信部２１０は、有線または無線により外部装置とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いて、ユーザ端末１０や、イベント管理用端末５０と通信接続する。

【0031】

（制御部２２０）
制御部２２０は、演算処理装置および制御装置として機能し、各種プログラムに従って配信サーバ２０内の動作全般を制御する。制御部２２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

【0032】

また、本実施形態による制御部２２０は、仮想空間管理部２２１、仮想空間情報提供部２２２、および周遊制御部２２３としても機能する。

【0033】

仮想空間管理部２２１は、仮想空間の管理を行う。具体的には、仮想空間管理部２２１は、仮想空間を生成（構築）するための各種情報（仮想空間に配置される３Ｄオブジェクトの情報等）の取得、追加、更新等を行う。例えば仮想空間管理部２２１は、ユーザ端末１０や、演者端末３０、およびイベント管理用端末５０から送信される入力情報を、適宜、仮想空間に反映させる。例えば、仮想空間管理部２２１は、ユーザ端末１０からの入力情報に従って、仮想空間に配置される当該ユーザのユーザアバターの手足や姿勢を動かしたり、ユーザアバターの位置を前後左右に移動させる（ユーザ視点に対応する仮想カメラの位置も追随して変化させる）。また、仮想空間管理部２２１は、イベント管理用端末５０から送信される情報に従って、仮想空間におけるイベントの実施を制御する。なお、仮想空間で実施されるイベントとは、例えば、コンサートや、講演会、演劇、祭り、その他各種催し物が想定される。また、仮想空間管理部２２１は、仮想空間における演者アバターや各ユーザアバターのＩＤ、位置等を把握する。また、仮想空間で行われるコンサート等のイベントは、リアルタイムで演者が演じているイベントであってもよいし、予め演者のパフォーマンスを収録したイベントであってもよい。

【0034】

仮想空間情報提供部２２２は、仮想空間の情報を、ユーザ端末１０やイベント管理用端末５０に提供する。仮想空間の情報とは、記憶部２３０に格納されている情報であってもよいし、記憶部２３０に格納されている情報に基づいて仮想空間情報提供部２２２が生成した情報であってもよい。より具体的には、仮想空間の情報とは、仮想空間におけるユーザ視点での映像データであってもよい。仮想空間における各ユーザ視点での映像データが継続的にリアルタイムで各ユーザ端末１０に送信され（所謂ＶＲストリーミング配信）、各ユーザ端末１０において表示されることで、複数のユーザが、同一の仮想空間を共有して同時に視聴することができる。

【0035】

また、仮想空間の情報とは、仮想空間におけるユーザ視点での映像を生成するためのデータであってもよい。仮想空間におけるユーザ視点での映像を生成するためのデータとは、例えば、仮想空間に配置される各３Ｄオブジェクト（演者や他ユーザのアバターを含む）の位置・姿勢情報や、仮想空間におけるユーザ視点に対応する仮想カメラの３次元位置座標等が挙げられる。このようなデータが継続的にリアルタイムで各ユーザ端末１０に送信され、各ユーザ端末１０においてユーザ視点の映像をリアルタイムに生成され、表示されることで、複数のユーザが同一の仮想空間を共有して同時に視聴することができる。なお、ユーザ端末１０は、イベントに参加する前に予め配信サーバ２０から仮想空間を構築するための情報を取得し、ローカルで仮想空間を構築することも可能である。この場合、イベント中は、配信サーバ２０から継続的に仮想空間の更新情報（仮想空間の変化の情報等）が送信され、ユーザ端末１０は、更新情報に基づいて、ローカルで構築した仮想空間を更新する。また、ユーザ端末１０は、ユーザからの入力情報に従って、ローカルで構築した仮想空間内における仮想カメラの位置・方向を制御し、ユーザ視点の映像を生成し、表示し得る。

【0036】

周遊制御部２２３は、仮想空間における演者アバターを、視聴しているユーザの特性に応じて、ユーザに対応するユーザアバターが配置されているエリアを周遊（移動）させる制御を行う。「ユーザの特性」には、ユーザアバターの特性（ユーザアバターの位置や動き等）も含まれ得る。周遊制御部２２３は、ユーザの特性に応じて周遊ルートを決定した上で、演者アバターを移動制御してもよい。例えば周遊制御部２２３は、予め規定された特性が条件を満たす１以上のユーザに対応するユーザアバターの位置に基づいて、演者アバターの周遊ルート（演者アバターの表示位置の移動）を制御する。周遊ルートは、条件を満たすユーザアバターの位置に近くを通るよう設定される。条件を満たすユーザアバターが複数居る場合は、これらのユーザアバターの近くを順次通るよう設定される。また、周遊制御部２２３は、例えば演者アバターが位置するステージをスタート地点として、条件を満たすユーザアバターの近くを順次通ってスタート地点に戻る周遊ルートを設定する。かかる演者アバターの周遊は、コンサートの演出の一つとして行われ得る。周遊の開始は、例えばイベント管理用端末５０からの指示で行われてもよいし、イベントの状況に応じて（イベントの状況が所定の条件を満たす場合等）行われてもよいし、演者アバターの指示（ジェスチャ等）により行われてもよい。イベントの状況が所定の条件を満たす場合とは、特別な演出を行う場合や、楽曲における特定の時間帯等であってもよい。

【0037】

また、ユーザの特性とは、仮想空間で行われているイベント（または演者）に関連するユーザの情報である。例えば、イベントまたは演者に対する課金額や、演者が出演するイベントへの参加回数、その場でのユーザアバターの動作（手を振る回数や動作の大きさ、ジャンプの回数等）、イベントにおけるユーザのランク（地位）、イベントの成功者（イベント内で行われる何らかのミッションが成功した等）、ユーザアバターの位置（観客エリアにおいてユーザアバターの密集度が高い場所に位置する等）が挙げられる。

【0038】

なお、周遊ルートは、ユーザ毎（ユーザ端末毎）に異なるルートに設定されてもよい。例えば、周遊制御部２２３は、全てのユーザ端末１０に対して、それぞれのユーザアバターの近くを周遊するルートを各々設定してもよい。

【0039】

また、仮想空間を数十人のユーザアバターが入れるルームに分けて、各ルームで同時に同様のコンサートが実施される際は、ルーム毎に周遊ルートが設定されてもよい。周遊制御部２２３は、各ルームに居るユーザアバターに対応するユーザの特性に基づいて、ルーム毎に個別に周遊ルートを設定する。

【0040】

（記憶部２３０）
記憶部２３０は、制御部２２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。本実施形態により記憶部２３０は、仮想空間の情報を格納する。

【0041】

以上、配信サーバ２０の構成について具体的に説明したが、本開示による配信サーバ２０の構成は図３に示す例に限定されない。例えば、配信サーバ２０は、複数の装置により実現されてもよい。また、制御部２２０による機能の少なくとも一部をユーザ端末１０が行ってもよい。

【0042】

＜２－２．ユーザ端末１０の構成例＞
図４は、本実施形態によるユーザ端末１０の構成の一例を示すブロック図である。図４に示すように、ユーザ端末１０は、通信部１１０、制御部１２０、操作入力部１３０、センサ部１４０、表示部１５０、スピーカ１６０、および記憶部１７０を有する。

【0043】

（通信部１１０）
通信部１１０は、有線または無線により、配信サーバ２０と通信接続してデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または携帯通信網（４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いた通信を行い得る。

【0044】

（制御部１２０）
制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末１０内の動作全般を制御する。制御部１２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

【0045】

本実施形態による制御部１２０は、操作入力部１３０やセンサ部１４０から入力された仮想空間に対する入力情報（操作入力情報、モーションデータ等）を、通信部１１０から配信サーバ２０に送信する制御を行う。また、制御部１２０は、ユーザが身につけているセンサ装置や、ユーザの周囲に配置されたカメラ、ユーザが把持するコントローラ等の外部装置から取得した情報に基づいて、仮想空間に対する入力情報（操作入力情報、モーションデータ等）をユーザ端末１０に送信してもよい。

【0046】

また、制御部１２０は、仮想空間画像表示制御部１２１としても機能し得る。仮想空間画像表示制御部１２１は、配信サーバ２０から（所謂ＶＲストリーミング配信）送信された、仮想空間におけるユーザ視点の映像データを、表示部１５０に表示する制御を行う。

【0047】

また、仮想空間画像表示制御部１２１は、配信サーバ２０から送信された、仮想空間におけるユーザ視点の映像データを生成するための情報に基づいて、仮想空間におけるユーザ視点の映像データを生成し、表示部１５０に表示する制御を行ってもよい。すなわち、仮想空間画像表示制御部１２１は、配信サーバ２０から受信した情報に基づいてローカルで仮想空間を構築することも可能である。また、この際、仮想空間画像表示制御部１２１は、配信サーバ２０から継続的にリアルタイムで送信される更新情報に基づいて更新も行う。また、仮想空間画像表示制御部１２１は、仮想空間における演者アバターを、ユーザの特性に応じて、ユーザに対応するユーザアバターが配置されているエリアを周遊（移動）させる制御も行い得る。また、仮想空間画像表示制御部１２１は、操作入力部１３０やセンサ部１４０、またはユーザが身に着けているセンサ装置や把持しているコントローラ等から取得される、仮想空間に対する入力情報（操作入力情報、モーションデータ等）を、（同期のため）配信サーバ２０に送信する。

【0048】

なお、制御部１２０は、配信サーバ２０から、仮想空間におけるユーザ視点の映像データと共に送信される音声データを、スピーカ１６０から再生する制御も行う。

【0049】

（操作入力部１３０）
操作入力部１３０は、ユーザによる操作指示を受付け、その操作内容を制御部１２０に出力する。操作入力部１３０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１３０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。

【0050】

（センサ部１４０）
センサ部１４０は、例えばユーザの位置（３次元位置座標、２次元位置座標、移動情報等）、手足の動き、姿勢、頭部の向き、視線方向、または顔の表情等をセンシングする機能を有する。より具体的には、センサ部１４０は、位置情報取得部、カメラ（内向き／外向きカメラ）、マイク（マイクロホン）、加速度センサ、角速度センサ、地磁気センサ、および生体センサ（脈拍、心拍、発汗、血圧、体温、呼吸、筋電値、脳波等の検知）等であってもよい。また、センサ部１４０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサを有していてもよい。また、センサ部１４０は、ユーザの視線を検出する視線検出センサ（赤外線センサ）であってもよい。

【0051】

（表示部１５０）
表示部１５０は、仮想空間におけるユーザ視点の映像データ（画像）を表示する機能を有する。例えば表示部１５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイなどの表示パネルであってもよい。また、表示部１５０は、視界全体を覆う非透過型のＨＭＤにより実現されてもよい。この場合、表示部１５０は、ユーザの左右の眼にそれぞれ固定された左右の画面において、左眼用画像および右眼用画像を表示する。表示部１５０の画面は、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１５０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。

【0052】

（スピーカ１６０）
スピーカ１６０は、制御部１２０の制御に従って、音声データを出力する。スピーカ１６０は、例えばユーザ端末１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成されてもよいし、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。

【0053】

（記憶部１７０）
記憶部１７０は、制御部１２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。

【0054】

本実施形態による記憶部１７０には、例えばユーザアバターの情報（キャラクター３Ｄモデルのデータ）が格納されていてもよいし、配信サーバ２０から受信した仮想空間の情報が格納されていてもよい。

【0055】

以上、ユーザ端末１０の構成について具体的に説明したが、本開示によるユーザ端末１０の構成は図４に示す例に限定されない。例えば、ユーザ端末１０は、複数の装置により実現されてもよい。具体的には、ＨＭＤ等により実現される出力装置（少なくとも表示部１５０およびスピーカ１６０に対応）と、スマートフォンやタブレット端末、ＰＣ等により実現される情報処理端末（少なくとも制御部１２０に対応）とを含むシステム構成により実現されてもよい。

【0056】

また、ユーザ端末１０は、スマートフォンやタブレット端末等の非装着型のデバイスであってもよい。

【0057】

＜＜３．ユーザの特性に応じた演者アバターの周遊制御＞＞
次に、本実施形態によるユーザの特性に応じた演者アバターの周遊制御について図面を用いて具体的に説明する。

【0058】

図５は、本実施形態によるユーザの特性に応じた演者アバターの周遊制御の動作処理の流れの一例を示すフローチャートである。図５に示す動作処理は、仮想空間で行われるイベント（ＶＲイベント）の演出の一つとして行われる周遊制御について説明する。図示はしないが、リアルタイムでＶＲイベントが行われる際、モーションキャプチャカメラ３１により取得した演者のモーションキャプチャデータ（モーションデータとも称する）が、演者端末３０から配信サーバ２０に送信される。また、マイク３２により収音した演者の音声データも、演者端末３０から配信サーバ２０に送信される。これらの処理が、イベントを実施している間中、継続的に並行して行われ得る。また、イベント管理用端末５０からの入力情報（演出に関する指示等）も適宜配信サーバ２０に送信される。配信サーバ２０は、演者のリアルタイムの各種情報や演出に関する指示等を取得し、仮想空間に反映させることができる。このようにしてイベントが進行する中で、所定のトリガに応じて演者アバターの周遊という演出が行われ得る。以下、周遊演出の動作処理について説明する。

【0059】

図５に示すように、まず、配信サーバ２０の周遊制御部２２３は、演者アバターが仮想空間において周遊を開始するトリガの発生を検出する（ステップＳ１０３）。トリガは特に限定しないが、例えば配信者側からの操作入力があった場合や、イベントが特定の状況になった場合等が挙げられる。

【0060】

次に、周遊制御部２２３は、イベントに参加しているユーザの特性を取得する（ステップＳ１０６）。ユーザの特性は、仮想空間で行われるイベントに関する情報である。例えば、イベントでのユーザアバターのリアルタイムの位置や動き、行動履歴（所定のミッションを行ったこと等）、また、イベントや当該イベントに出演する演者に対する貢献（イベントへの参加回数、演者への課金額、ユーザランク等の蓄積に基づく情報）が挙げられる。なお、周遊が開始される際にリアルタイムで行われる課金額もユーザの特性として考慮されてもよい。

【0061】

次いで、周遊制御部２２３は、特性が条件を満たすユーザアバターの近くを通るよう演者アバター周遊を制御する（ステップＳ１０９）。より具体的には、周遊制御部２２３は、特性が条件を満たすユーザアバターの近くを通る周遊ルートを決定した上で、周遊ルートに従って演者アバター周遊を移動させる。

【0062】

以上、本実施形態による周遊制御の動作処理について説明した。なお、図５に示す動作処理は一例であって、本開示は図５に示す例に限定されない。

【0063】

＜＜４．変形例＞＞
続いて、本実施形態による変形例について説明する。配信サーバ２０の仮想空間管理部２２１は、周遊制御部２２３により演者アバターの周遊制御が行われる間に、さらに、ユーザの特性に応じて条件を満たすユーザアバターに対して特別な表示制御を行ってもよい。演者アバターの周遊制御と、ユーザアバターに対する特別な表示制御を行うことで、演者とユーザのインタラクションがより強調され、演者と視聴者の繋がりがさらに向上する。以下、図６を参照して説明する。

【0064】

図６は、本実施形態の変形例によるユーザの特性に応じたユーザアバターに対する表示制御の動作処理の流れの一例を示すフローチャートである。

【0065】

図６に示すように、まず、配信サーバ２０の仮想空間情報提供部２２２は、イベントに参加しているユーザの特性を取得する（ステップＳ２０３）。なお、取得するユーザの特性は、上述した周遊ルートを決定する際に用いるユーザの特性と同様であってもよいし、少なくとも一部が重複するものであってもよいし、異なるものであってもよい。

【0066】

次いで、仮想空間情報提供部２２２は、特性が条件を満たすユーザアバターに対して特別な表示制御を行う（ステップＳ２０６）。例えば演者アバターが周遊の際に近付くユーザアバター（特性が条件を満たすユーザアバター）に対して、スポットライトを当てたり大きく表示したり観客エリアの前方に移動させたり等することで、演者とユーザの繋がりをより強調させることができる。

【0067】

ユーザの特性は、例えば、イベントや演者に対する課金額、ユーザランク、ユーザアバターのリアルタイムの動作（例えば応援動作、演者のアクションに対するリアクション動作、踊り（振り））、掛け声等の音声、イベントにおける行動履歴、イベントへの参加回数、特定の資格（演者のファンクラブ等のコミュニティに参加しているか）等が挙げられる。周遊制御部２２３は、イベントに参加している全ユーザの特性について、絶対的または相対的な基準から、条件を満たすか否かを判断してもよい。

【0068】

また、ユーザアバターに対する特別な表示制御としては、例えば、所定の表示形式への変更、仮想空間内における位置の移動、制限の解除等が挙げられる。

【0069】

所定の表示形式への変更としては、例えば、特性が閾値を超えるユーザアバターを強調表示することが挙げられる。強調表示とは、例えばスポットライトを当てる、大きく表示する、色を変える、足元にお立ち台を出現させる、エフェクトを与える等である。

【0070】

また、位置の移動としては、例えば、特性が閾値を超えるユーザアバター（課金額が閾値を超える、振り付けの手本とユーザアバターの動作（振り）の一致度が閾値を超える等）を、観客エリアの前の方（ステージの近く）に移動させたり、ステージ上に移動させたりする。

【0071】

また、制限の解除としては、例えば、特性が閾値を超えるユーザアバターに対して、イベント会場内での移動制限を無くしたり（観客エリアがブロックに分けれている場合も他のブロックへ自由に移動できたり、ステージに上がれたり等）、当該ユーザアバターから発せられる掛け声のボリュームの制限を解除したり（ボリュームを他ユーザアバターより大きくできる）、ステージや会場の演出（ライト、特殊演出等）を操作できるようにしたり等が挙げられる。制限の解除が行われたことは、例えば対象のユーザアバターの周囲にあった柵（観客エリアをブロック毎に分ける柵）をユーザに対してのみ非表示にしたり、対象のユーザアバターとステージとを繋ぐ特別な通路（３Ｄオブジェクト）を表示したり、ステージ演出用のボタン（３Ｄオブジェクト）を対象のユーザアバターの周囲に表示したりすることで、明示してもよい。

【0072】

なお、位置の移動や、制限の解除津等により、ユーザアバターが特別に移動した場合、仮想空間管理部２２１は、所定のタイミングで（例えば演者アバターの周遊が終了したタイミングで）、ユーザアバターを元の場所に戻す制御を行ってもよい。これにより、全観客を定位置に戻した上で、次の楽曲の演奏を始めたりすることができる。

【0073】

また、仮想空間管理部２２１は、特性が閾値を超えるユーザアバター（例えば振りの動作が大きい等）と同じ振る舞いを一時的に周囲のユーザアバターに強制させることも可能である。一のユーザアバターによる周囲のユーザアバターの乗っ取り演出を実現できる。

【0074】

以上、本実施形態による変形例について説明した。なお、上述した特性が条件を満たすユーザアバターに対する特別な表示制御は、演者アバターが周遊している間に限定されない。演者アバターが周遊していない場合でも、例えば演者を含む配信者側が、各ユーザの特性に基づいて特定のユーザアバターを指定し、仮想空間情報提供部２２２が、当該指定されたユーザアバターに対して特別な表示制御を行うようにしてもよい。また、仮想空間情報提供部２２２は、イベントの開演時や終演時に、指定したユーザアバターに対して特別な表示制御を行うようにしてもよい。

【0075】

また、仮想空間管理部２２１は、ユーザアバターを特性に基づいてグループ化し、一定時間、グループ毎に一定区画内での移動に限定する制御を行ってもよい。

【0076】

＜＜５．補足＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0077】

例えば、上述した周遊制御部２２３の機能（周遊制御）は、ユーザ端末１０で行われてもよい。これにより、ユーザの特性に応じて、ユーザ端末１０毎に個別で周遊ルートを決定することができる。

【0078】

また、上述したユーザ端末１０、または配信サーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１０、または配信サーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

【0079】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0080】

なお、本技術は以下のような構成も取ることができる。
（１）
仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行う制御部を備え、
前記制御部は、
前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、情報処理装置。
（２）
前記ユーザに対応する表示は、ユーザアバターの画像であり、
前記演者に対応する表示は、演者アバターの画像である、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記仮想空間内において、前記演者アバターを、前記特性が条件を満たす１以上のユーザアバターの位置付近を順次通るよう移動させる、前記（２）に記載の情報処理装置。
（４）
前記イベントに関連するユーザの特性は、前記仮想空間内における前記ユーザアバターの位置、動き、または行動履歴である、前記（２）または（３）に記載の情報処理装置。
（５）
前記イベントに関連するユーザの特性は、前記ユーザの課金額、イベントへの参加回数、演者のコミュニティへの入会有無である、前記（２）または（３）に記載の情報処理装置。
（６）
前記制御部は、前記ユーザの特性が条件を満たすユーザアバターに対して、前記仮想空間において特別な表示制御を行う、前記（２）～（５）のいずれか１つに記載の情報処理装置。
（７）
前記制御部は、前記特別な表示制御として、前記ユーザアバターの強調表示、前記ユーザアバターの位置移動、前記ユーザアバターに対する所定の制限の解除の少なくともいずれかを行う、前記（６）に記載の情報処理装置。
（８）
仮想空間におけるユーザ視点の画像を表示部に表示する制御を行う制御部を備え、
前記制御部は、
前記仮想空間で行われるイベントに関連するユーザの特性を取得し、前記特性が条件を満たす場合、当該ユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、情報処理端末。
（９）
プロセッサが、
仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行うことを含み、
さらに、前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御することを含む、情報処理方法。
（１０）
コンピュータを、
仮想空間におけるユーザ視点の画像に関する情報をユーザ端末に出力する制御を行う制御部として機能させ、
前記制御部は、
前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、プログラム。
（１１）
仮想空間の情報を配信するサーバと、前記仮想空間におけるユーザ視点の画像を表示するユーザ端末と、を備え、
前記サーバは、
仮想空間におけるユーザ視点の画像に関する情報を前記ユーザ端末に出力する制御を行う制御部を有し、
前記制御部は、
前記仮想空間で行われるイベントに関連する１以上のユーザの特性を取得し、前記特性が条件を満たす１以上のユーザに対応する表示の位置に基づいて、前記仮想空間内における演者に対応する表示の位置の移動を制御する、システム。

【符号の説明】

【0081】

１０ ユーザ端末
１２１ 仮想空間画像表示制御部
２０ 配信サーバ
２２１ 仮想空間管理部
２２２ 仮想空間情報提供部
２２３ 周遊制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】