特開 2024-132633 仮想空間システム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132633

(43)【公開日】2024-10-01

(54)【発明の名称】仮想空間システム及び情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240920BHJP

   G06T 13/40 20110101ALI20240920BHJP

【ＦＩ】

G06F3/01 510

G06T13/40

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023043482

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】堀 浩史郎

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050DA04

5B050DA05

5B050EA07

5B050EA12

5B050FA05

5B050FA10

5E555AA57

5E555AA61

5E555BA38

5E555BB38

5E555BC08

5E555BE17

5E555CA10

5E555CB32

5E555DA08

5E555FA00

(57)【要約】

【課題】三次元仮想空間で能動的に他のユーザとの会話を開始することが苦手なユーザが他のユーザとの会話を開始しやすくなる情報処理装置を提供すること。
【解決手段】三次元仮想空間の画像を表示する複数のリモート環境機器と、複数のリモート環境機器と通信可能に接続され、複数のアバターが存在する三次元仮想空間の情報を管理する情報処理装置と、を有する仮想空間システムであって、第１のアバターを操作する第１のユーザが第２のアバターを操作する第２のユーザとの会話開始を希望していることを判別する判別手段と、第２のユーザの前記三次元仮想空間において、第１のユーザからの希望を通知するように制御を行う通知制御手段と、第２のユーザから通知に対する肯定の応答を受け付けた場合に、三次元仮想空間における第１のユーザと第２のユーザとの会話を開始させるように会話処理を行う会話処理手段と、を有することにより上記課題を解決する。
【選択図】図４

【特許請求の範囲】

【請求項1】

三次元仮想空間の画像を表示する複数のリモート環境機器と、前記複数のリモート環境機器と通信可能に接続され、複数のアバターが存在する前記三次元仮想空間の情報を管理する情報処理装置と、を有する仮想空間システムであって、
第１のアバターを操作する第１のユーザが第２のアバターを操作する第２のユーザとの会話開始を希望していることを判別する判別手段と、
前記第２のユーザの前記三次元仮想空間において、前記第１のユーザからの前記希望を通知するように制御を行う通知制御手段と、
前記第２のユーザから前記通知に対する肯定の応答を受け付けた場合に、前記三次元仮想空間における前記第１のユーザと前記第２のユーザとの会話を開始させるように会話処理を行う会話処理手段と、
を有する仮想空間システム。

【請求項2】

前記判別手段は、前記三次元仮想空間における前記第１のアバター及び前記第２のアバターの位置が所定範囲内、且つ、前記三次元仮想空間における前記第１のユーザの視線が前記第２のアバターの方向を向いている場合に、前記第１のユーザが前記第２のユーザとの会話開始を希望していることを判別する
請求項１記載の仮想空間システム。

【請求項3】

前記判別手段は、前記第２のアバターを指定する前記第１のユーザのモーションに基づいて前記第１のユーザの前記三次元仮想空間に前記第２のアバターを指定するポインタが表示された状態で所定時間が経過した場合に、前記第１のユーザが前記第２のユーザとの会話開始を希望していることを判別する
請求項１記載の仮想空間システム。

【請求項4】

前記通知制御手段は、前記希望を、前記第２のユーザの前記三次元仮想空間への表示又は音出力により前記第２のユーザに通知するように制御を行う
請求項２又は３記載の仮想空間システム。

【請求項5】

前記会話処理手段は、前記三次元仮想空間における前記第２のアバターが前記第１のアバターの方向を向く行動、前記第２のユーザの音声入力、又は前記三次元仮想空間に表示された選択肢に対する選択操作により、前記第２のユーザから前記通知に対する肯定の応答を受け付ける
請求項２に記載の仮想空間システム。

【請求項6】

前記会話処理手段は、前記三次元仮想空間における前記第２のアバターの位置から所定範囲内に存在する前記アバターの前記ユーザに聞こえるように、会話処理を行う
請求項２又は５記載の仮想空間システム。

【請求項7】

前記判別手段は、前記第２のアバターを指定する前記第１のユーザの第１のモーションに基づいて前記第１のユーザの前記三次元仮想空間に前記第２のアバターを指定するポインタが表示された状態で、前記第１のユーザの第２のモーションを検知した場合に、前記第１のユーザが前記第２のユーザとの会話開始を希望していることを判別する
請求項３記載の仮想空間システム。

【請求項8】

前記会話処理手段は、前記第１のユーザの前記三次元仮想空間に前記第２のアバターが表示された画面を表示すると共に、前記第２のユーザの前記三次元仮想空間に前記第１のアバターが表示された画面を表示し、前記第１のユーザと前記第２のユーザとの前記三次元仮想空間における会話を開始させるように会話処理を行う
請求項７記載の仮想空間システム。

【請求項9】

前記会話処理手段は、前記第１のユーザ及び前記第２のユーザの会話が、前記三次元仮想空間に存在する前記アバターの他のユーザに聞こえないように、前記第１のユーザと前記第２のユーザとの前記三次元仮想空間における会話処理を行う
請求項８記載の仮想空間システム。

【請求項10】

前記会話処理手段は、前記他のユーザの前記三次元仮想空間に、会話状態である前記第１のユーザ及び前記第２のユーザの前記第１のアバター及び前記第２のアバターを会話状態でないように表示する
請求項９記載の仮想空間システム。

【請求項11】

三次元仮想空間の画像を表示する複数のリモート環境機器と通信可能に接続され、複数のアバターが存在する前記三次元仮想空間の情報を管理する情報処理装置であって、
第１のアバターを操作する第１のユーザが第２のアバターを操作する第２のユーザとの会話開始を希望していることを判別する判別手段と、
前記第２のユーザの前記三次元仮想空間において、前記第１のユーザからの前記希望を通知するように制御を行う通知制御手段と、
前記第２のユーザから前記通知に対する肯定の応答を受け付けた場合に、前記三次元仮想空間における前記第１のユーザと前記第２のユーザとの会話を開始させるように会話処理を行う会話処理手段と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間システム及び情報処理装置に関する。

【背景技術】

【0002】

従来、仮想空間に複数の仮想ルームを用意し、同じ仮想ルームにいるユーザが会話を行う情報処理システムは知られている（例えば特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0003】

例えば、仮想空間において、能動的に他のユーザとの会話を開始することが苦手であるユーザは存在する。しかしながら、特許文献１は能動的に他のユーザとの会話を開始することが苦手であるユーザについて考慮されていない。

【0004】

本発明の実施の形態は、三次元仮想空間で能動的に他のユーザとの会話を開始することが苦手なユーザが他のユーザとの会話を開始しやすくなる情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記した課題を達成するために本願請求項１は、三次元仮想空間の画像を表示する複数のリモート環境機器と、前記複数のリモート環境機器と通信可能に接続され、複数のアバターが存在する前記三次元仮想空間の情報を管理する情報処理装置と、を有する仮想空間システムであって、第１のアバターを操作する第１のユーザが第２のアバターを操作する第２のユーザとの会話開始を希望していることを判別する判別手段と、前記第２のユーザの前記三次元仮想空間において、前記第１のユーザからの前記希望を通知するように制御を行う通知制御手段と、前記第２のユーザから前記通知に対する肯定の応答を受け付けた場合に、前記三次元仮想空間における前記第１のユーザと前記第２のユーザとの会話を開始させるように会話処理を行う会話処理手段と、を有する。

【発明の効果】

【0006】

本発明の実施形態によれば、三次元仮想空間で能動的に他のユーザとの会話を開始することが苦手なユーザが他のユーザとの会話を開始しやすくなる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る仮想空間システムの一例の構成図である。

【図2】本実施形態に係るＶＲデバイスの一例のハードウェア構成図である。

【図3】本実施形態に係るコンピュータの一例のハードウェア構成図である。

【図4】本実施形態に係る仮想空間システムの一例の機能構成図である。

【図5】本実施形態に係る三次元仮想空間において第１のユーザが第２のユーザに対して会話開始を希望していることを通知する手順の一例の説明図である。

【図6】本実施形態に掛かる三次元仮想空間において第１のユーザが会話の開始を希望していることを第２のユーザに通知する方法の一例の説明図である。

【図7】本実施形態に掛かる三次元仮想空間において第１のユーザからの会話開始の希望の通知に対して第２のユーザが肯定の応答を行う方法の一例の説明図である。

【図8】本実施形態に係る仮想空間システムの処理手順の一例を示したシーケンス図である。

【図9】本実施形態に係る三次元仮想空間において第１のユーザが第２のユーザに対して会話開始を希望していることを通知する手順の一例の説明図である。

【図10】本実施形態に掛かる三次元仮想空間において第１のユーザが会話の開始を希望していることを第２のユーザに通知する方法の一例の説明図である。

【図11】本実施形態に掛かる三次元仮想空間において第１のユーザが会話の開始を希望していることを第２のユーザに通知する方法の一例の説明図である。

【図12】第２のユーザが第１のユーザからの会話開始の希望の通知に対する肯定の応答を行ったあとの三次元仮想空間の一例について説明する図である。

【図13】本実施形態に係る仮想空間システムの処理手順の一例を示したシーケンス図である。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態について図面を参照しながら説明する。

【0009】

［第１の実施形態］
＜システム構成＞
図１は、第１の実施形態に係る仮想空間システム１の一例の構成図である。図１の仮想空間システム１は、複数のリモート環境機器１０、及びサーバ装置１８が、ネットワーク２０を介して通信可能に接続されている。ネットワーク２０は、インターネット又はＬＡＮ（Local Area Network）等である。

【0010】

リモート環境機器１０は、例えばＶＲデバイス１２、操作コントローラ１４、及びＰＣ１６を有する構成である。リモート環境機器１０は、ＰＣ１６の機能をＶＲデバイス１２に設けることで、ＰＣ１６が省略された構成であってもよい。

【0011】

ＶＲデバイス１２、操作コントローラ１４、及びＰＣ１６は、ケーブル等により通信可能に接続されていてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は無線ＬＡＮ等により通信可能に接続されていてもよい。

【0012】

ＶＲデバイス１２は、仮想空間（Virtual Reality）の画像を表示する仮想空間デバイスの一例である。ＶＲデバイス１２は、例えばユーザの頭部に装着され、ユーザの視界を覆う非透過型のＨＤＭ（Head Mounted Display）であってもよい。

【0013】

ＶＲデバイス１２は、ＶＲデバイス１２の位置、及び基準方向に対する傾きを検出するセンサを有し、ＶＲデバイス１２の位置、及び基準方向に対する傾きに対応した三次元仮想空間の画像を表示する。

【0014】

操作コントローラ１４は、手に持って又は手に装着してユーザが操作する。操作コントローラ１４は、ボタン、ホイール、又はタッチセンサ等を有していてもよい。操作コントローラ１４は、操作コントローラ１４の位置、及び基準方向に対する傾きを検出するセンサを有し、ユーザからの入力を受け付ける。

【0015】

ＰＣ１６は、ＶＲデバイス１２の位置及び基準方向に対する傾きと、操作コントローラ１４の位置及び基準方向に対する傾きと、操作コントローラ１４が受け付けたユーザの入力と、サーバ装置１８から送信された三次元仮想空間の情報に基づき、三次元仮想空間におけるユーザの視野方向の画像を生成し、ＶＲデバイス１２に表示させる。

【0016】

なお、仮想空間システム１は、ＶＲデバイス１２及び操作コントローラ１４の位置及び基準方向に対する傾きを検出するセンサとして、赤外線カメラ等を有し、撮像された画像からＶＲデバイス１２及び操作コントローラ１４の位置及び基準方向に対する傾きを検出してもよい。

【0017】

サーバ装置１８は、三次元仮想空間に存在するアバターの位置情報、アバターを操作するユーザの情報、及びユーザからの入力の情報を、それぞれのリモート環境機器１０から受信して管理する。サーバ装置１８は、それぞれのリモート環境機器１０に対し、三次元仮想空間の画像を描画する為に必要な三次元仮想空間の情報を送信する。サーバ装置１８は、例えばクラウド環境又はオンプレミス環境に設けられていてもよい。また、サーバ装置１８は複数台であってもよい。

【0018】

また、ＶＲデバイス１２が表示する三次元仮想空間の画像は、サーバ装置１８で生成されたあと、ＶＲデバイス１２に送信してもよいし、サーバ装置１８から取得した三次元仮想空間の情報に基づいてＰＣ１６で生成されたあと、ＶＲデバイス１２に送信してもよいし、サーバ装置１８から取得した三次元仮想空間の情報に基づいてＶＲデバイス１２で生成されてもよい。

【0019】

このように、図１に示す仮想空間システム１の構成は一例である。例えばサーバ装置１８の機能の少なくとも一部はＶＲデバイス１２又はＰＣ１６が備えてもよい。ＰＣ１６の機能の少なくとも一部はＶＲデバイス１２又はサーバ装置１８が備えてもよい。ＶＲデバイス１２の少なくとも一部はＰＣ１６又はサーバ装置１８が備えてもよい。また、仮想空間システム１はサーバ装置１８が省略された構成であってもよい。サーバ装置１８は、情報処理装置の一例である。また、ＶＲデバイス１２又はＰＣ１６は、情報処理装置の一例である。

【0020】

＜ハードウェア構成＞
《ＶＲデバイス》
ＶＲデバイス１２は、例えば図２に示すハードウェアで実現される。図２は、本実施形態に係るＶＲデバイス１２の一例のハードウェア構成図である。

【0021】

ＶＲデバイス１２は、外部Ｉ／Ｆ４００、ＣＰＵ（Central Processing Unit）４０２、メモリ４０４、記憶装置４０６、ディスプレイ４０８、マイク４１０、スピーカ４１２、カメラ４１４、センサ４１６、データバス４２０を有する。

【0022】

外部Ｉ／Ｆ４００は、外部との通信を行うインタフェース（Ｉ／Ｆ）である。ＣＰＵ４０２は、プログラムに従ってＶＲデバイス１２全体の動作を制御する。メモリ４０４は例えばＲＡＭ（Random Access Memory）であり、ＣＰＵ４０２に作業領域を提供する。記憶装置４０６は例えばＨＤＤ（Hard Disk Drive）であり、プログラム等の各種データを記憶する。

【0023】

ディスプレイ４０８は、三次元仮想空間の画像を表示する液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイであってもよい。マイク４１０は、ユーザから音声入力を受け付ける装置である。スピーカ４１２は音出力を行う装置である。カメラ４１４はユーザの手のモーション、ユーザが持つ又は装着する操作コントローラ１４の位置を撮影する装置である。センサ４１６はＶＲデバイス１２の位置、及び基準方向に対する傾きを検出する装置である。データバス４２０は、ＣＰＵ４０２等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0024】

《コンピュータ》
ＰＣ１６及びサーバ装置１８は、図３に示すハードウェア構成のコンピュータ５００により実現される。図３は、本実施形態に係るコンピュータ５００の一例のハードウェア構成図である。

【0025】

図３に示されているように、コンピュータ５００はＣＰＵ５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤコントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0026】

ＣＰＵ５０１は、プログラムに従ってコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。

【0027】

ディスプレイ５０６は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインタフェースである。外部機器は、例えばＵＳＢメモリ又はプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク２０を利用してデータ通信をするためのインタフェースである。データバス５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0028】

キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0029】

＜機能構成＞
本実施形態に係る仮想空間システム１は、例えば図４に示すような機能構成により実現する。図４は本実施形態に係る仮想空間システム１の一例の機能構成図である。図４の機能構成は、本実施形態の説明に不要な構成について適宜省略している。

【0030】

図４に示すリモート環境機器１０Ａ及び１０Ｂの機能構成は、図２の各構成要素の何れかが、メモリ４０４上に展開されたプログラムに従ったＣＰＵ４０２からの命令によって動作することで実現される機能又は手段である。また、図４に示すリモート環境機器１０Ａ及び１０Ｂの機能構成は、図３の各構成要素の何れかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。図４に示すサーバ装置１８の機能構成は、図３の各構成要素の何れかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

【0031】

なお、リモート環境機器１０Ａは、第１のアバターを操作する第１のユーザのリモート環境機器１０の一例である。リモート環境機器１０Ｂは、第２のアバターを操作する第２のユーザのリモート環境機器１０の一例である。

【0032】

リモート環境機器１０Ａは、通信部３０Ａ、仮想空間制御部３２Ａ、判別部３４Ａ、通知制御部３６Ａ、応答制御部３８Ａ、会話処理部４０Ａ、及びトラッキング部４２Ａを有する。また、リモート環境機器１０Ｂは、通信部３０Ｂ、仮想空間制御部３２Ｂ、判別部３４Ｂ、通知制御部３６Ｂ、応答制御部３８Ｂ、会話処理部４０Ｂ、及びトラッキング部４２Ｂを有する。リモート環境機器１０Ａ及び１０Ｂは、同様な機能構成である。

【0033】

リモート環境機器１０Ａの通信部３０Ａは、サーバ装置１８と通信を行う通信手段の一例である。仮想空間制御部３２Ａは、リモート環境機器１０Ａが表示する第１のユーザの三次元仮想空間の画像を制御する。判別部３４Ａは、第２のユーザが第１のユーザとの会話開始を希望していることを後述のように判別する。

【0034】

通知制御部３６Ａは、第１のユーザの三次元仮想空間において、第２のユーザからの会話開始の希望を後述のように通知する制御を行う。応答制御部３８Ａは、第２のユーザからの会話開始の希望に対する肯定の応答を後述のように第１のユーザから受け付ける制御を行う。

【0035】

会話処理部４０Ａは、第２のユーザからの会話開始の希望に対する肯定の応答を第１のユーザから受け付けた場合に、三次元仮想空間における第１のユーザと第２のユーザとの会話を開始させるように会話処理を行う。トラッキング部４２Ａは、ＶＲデバイス１２及び操作コントローラ１４の位置、及び基準方向に対する傾きを検出する。

【0036】

リモート環境機器１０Ｂの通信部３０Ｂは、サーバ装置１８と通信を行う通信手段の一例である。仮想空間制御部３２Ｂは、リモート環境機器１０Ｂが表示する第２のユーザの三次元仮想空間の画像を制御する。判別部３４Ｂは、第１のユーザが第２のユーザとの会話開始を希望していることを後述のように判別する。

【0037】

通知制御部３６Ｂは、第２のユーザの三次元仮想空間において、第１のユーザからの会話開始の希望を後述のように通知する制御を行う。応答制御部３８Ｂは、第１のユーザからの会話開始の希望に対する肯定の応答を後述のように第２のユーザから受け付ける制御を行う。

【0038】

会話処理部４０Ｂは、第１のユーザからの会話開始の希望に対する肯定の応答を第２のユーザから受け付けた場合に、三次元仮想空間における第１のユーザと第２のユーザとの会話を開始させるように会話処理を行う。トラッキング部４２Ｂは、ＶＲデバイス１２及び操作コントローラ１４の位置、及び基準方向に対する傾きを検出する。

【0039】

サーバ装置１８は、通信部５０、仮想空間管理部５２、会話処理部５４、仮想空間情報記憶部５６、及びユーザ情報記憶部５８を有する。通信部５０は、リモート環境機器１０Ａ及び１０Ｂと通信を行う通信手段の一例である。仮想空間管理部５２は、三次元仮想空間に存在するアバターの位置情報、アバターを操作するユーザの情報、及びユーザからの入力の情報を、リモート環境機器１０Ａ及び１０Ｂを含む複数のリモート環境機器１０から受信して管理する。また、仮想空間管理部５２は、リモート環境機器１０Ａ及び１０Ｂを含む複数のリモート環境機器１０に対し、三次元仮想空間の画像を描画する為に必要な三次元仮想空間の情報を送信する。

【0040】

会話処理部５４は、会話開始の希望に対する肯定の応答を第１又は第２のユーザから受け付けた場合に、三次元仮想空間における第１のユーザと第２のユーザとの会話を開始させるように会話処理を行う。

【0041】

仮想空間情報記憶部５６は、三次元仮想空間の画像を描画する為に必要な三次元仮想空間の情報を記憶する。ユーザ情報記憶部５８は、三次元仮想空間の画像に表示される複数のアバターと対応付けられたユーザの情報を記憶する。なお、三次元仮想空間に存在する複数のアバターの位置などの情報は、サーバ装置１８を介してリモート環境機器１０Ａ及び１０Ｂで、例えば数フレームごとに同期される。

【0042】

＜三次元仮想空間のイメージ＞
ここでは、第１のアバターを操作する第１のユーザが、第２のアバターを操作する第２のユーザとの会話を、三次元仮想空間において開始したいケースについて説明する。

【0043】

図５は、本実施形態に係る三次元仮想空間において第１のユーザが第２のユーザに対して会話開始を希望していることを通知する手順の一例の説明図である。図５（Ａ）は第１のアバターを操作する第１のユーザが、第１のユーザの三次元仮想空間の画像に表示されている第２のアバターの第２のユーザとの会話を開始することを希望している様子を表している。

【0044】

第１のユーザは、第１のアバターが三次元仮想空間で会話を開始したい第２のユーザの第２のアバターに近付くように、リモート環境機器１０Ａを操作する。図５（Ｂ）は第１のアバターが第２のアバターから所定範囲１０００内に入った様子を表している。第１のアバターは第２のアバターの方向を向いているものとする。なお、所定範囲１０００は第１のユーザの三次元仮想空間の画像に表示しても表示しなくてもよい。

【0045】

第１のアバターが第２のアバターから所定範囲１０００内に入った状態、且つ、第１のアバターが第２のアバターの方向を向いている状態であれば、リモート環境機器１０Ｂは例えば図６に示すように、第１のユーザが会話の開始を希望していることを第２のユーザに通知する。

【0046】

図６は、本実施形態に掛かる三次元仮想空間において第１のユーザが会話の開始を希望していることを第２のユーザに通知する方法の一例の説明図である。図６（Ａ）は第１のアバターが近付いてきた方向を示す信号１００２が、第２のユーザの三次元仮想空間の画像に表示された様子を表している。また、図６（Ｂ）は音を出力する方向又は音声の内容により第１のアバターが近付いてきた方向を示す音１００４が、第２のユーザの三次元仮想空間に出力された様子を表している。

【0047】

図６に示したように、第２のアバターを操作する第２のユーザは、会話の開始を希望している第１のユーザの存在を認識できる。会話の開始を希望している第１のユーザの存在を認識した第２のユーザは、例えば図７に示すような手順で、第１のユーザからの会話開始の希望の通知に対する肯定の応答を行う。

【0048】

図７は、本実施形態に掛かる三次元仮想空間において第１のユーザからの会話開始の希望の通知に対して第２のユーザが肯定の応答を行う方法の一例の説明図である。

【0049】

図７（Ａ）は第２のアバターが第１のアバターの方向を向くように、第２のユーザがリモート環境機器１０Ｂを操作することで、第１のユーザからの会話開始の希望の通知に対する肯定の応答を行う様子を表している。例えば図７（Ａ）は第１のアバターと第２のアバターとが向き合っている状態となる。

【0050】

図７（Ｂ）は音声入力で、第１のユーザからの会話開始の希望の通知に対する肯定の応答を行う様子を表している。図７（Ｂ）のケースでは、例えば第２のユーザの音声入力の内容を認識するＡＩアシスタントが起動している。

【0051】

図７（Ｃ）は第２のユーザの三次元仮想空間に表示されたダイアログの選択肢に対する選択操作で、第１のユーザからの会話開始の希望の通知に対する肯定の応答を行う様子を表している。ダイアログから選択肢を選択する操作は、例えば手で操作する場合、人差し指と親指をくっつけるモーション等で三次元仮想空間内のボタンを押下する。

【0052】

＜処理＞
図８は、本実施形態に係る仮想空間システム１の処理手順の一例を示したシーケンス図である。ここでは、第１のアバターを操作する第１のユーザと第２のアバターを操作する第２のユーザとが三次元仮想空間において会話を開始する例を説明する。

【0053】

ステップＳ１０において、リモート環境機器１０Ａは第１のユーザから受け付けた操作に基づき、三次元仮想空間内において第１のアバターを移動させる。ステップＳ１２において、リモート環境機器１０Ａは第１のアバターの位置をサーバ装置１８に送信する。ステップＳ１４において、サーバ装置１８は第１のアバターの位置をリモート環境機器１０Ｂに送信する。ステップＳ１０～Ｓ１４の処理により、仮想空間システム１は三次元仮想空間内の複数のアバターの位置などの情報を同期させる。

【0054】

ステップＳ１６において、リモート環境機器１０Ｂは第２のアバターから所定範囲１０００内に第１のアバターが入った状態、且つ、第１のアバターが第２のアバターの方向を向いている状態であるか判定する。第２のアバターから所定範囲１０００内に第１のアバターが入った状態、且つ、第１のアバターが第２のアバターの方向を向いている状態であれば、リモート環境機器１０Ｂは第１のユーザが会話の開始を希望している状態であると判別する。ここでは、リモート環境機器１０Ｂは第１のユーザが会話の開始を希望している状態であると判別した例を説明する。

【0055】

ステップＳ１８において、リモート環境機器１０Ｂは例えば図６に示したように、第１のユーザが会話の開始を希望していることを第２のユーザに通知する。ステップＳ２０において、リモート環境機器１０Ｂは例えば図７に示したように、第１のユーザからの会話開始の希望の通知に対する応答を第２のユーザから受け付ける。ここでは、リモート環境機器１０Ｂは第２のユーザから会話開始の希望の通知に対する肯定の応答を受け付けた例を説明する。

【0056】

ステップＳ２２において、リモート環境機器１０Ｂは第１のユーザからの会話開始の希望の通知に対する第２のユーザの肯定の応答の情報をサーバ装置１８に送信する。サーバ装置１８、リモート環境機器１０Ａ、及びリモート環境機器１０Ｂは、三次元仮想空間における第１のユーザと第２のユーザとの会話を開始させるようにステップＳ２４の会話処理を行う。例えばサーバ装置１８は第１のユーザと第２のユーザとが三次元仮想空間において会話ができるように、リモート環境機器１０Ａとリモート環境機器１０Ｂとの間で音声の情報を送受信する。

【0057】

以上、本実施形態に係る仮想空間システム１によれば、第１のユーザが第２のユーザに三次元仮想空間において話しかけなくても、第１のユーザから第２のユーザに対して会話の開始を希望していることを知らせることができる。このため、本実施形態に係る仮想空間システム１では、三次元仮想空間で能動的に他のユーザとの会話を開始することが苦手なユーザが他のユーザとの会話を開始しやすくなる。

【0058】

［第２の実施形態］
第１の実施形態では、第１のユーザから第２のユーザに対して会話の開始を希望していることを通知するために、第１のアバターが第２のアバターに近付いている。第２の実施形態は、第１のアバターが第２のアバターに近付かずに、第１のユーザから第２のユーザに対して会話の開始を希望していることを通知する。

【0059】

例えば第２の実施形態は、付近に第１のアバター及び第２のアバター以外のアバターが存在し、第１のアバターと第２のアバターとの距離が離れており、第１のアバターが第２のアバターに近付けない三次元仮想空間で、第１のユーザから第２のユーザに対して会話の開始を希望していることを通知するケースである。なお、第２の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。

【0060】

図９は、本実施形態に係る三次元仮想空間において第１のユーザが第２のユーザに対して会話開始を希望していることを通知する手順の一例の説明図である。図９（Ａ）は第１のアバターを操作する第１のユーザが、第１のユーザの三次元仮想空間の画像に表示されている第２のアバターの第２のユーザとの会話を開始することを希望している様子を表している。

【0061】

第１のユーザは、三次元仮想空間における視界の中心付近に第２のアバターが位置するようにリモート環境機器１０Ａを操作する。三次元仮想空間における視界の中心付近に第２のアバターが位置した状態で所定時間が経過した場合、第１のユーザの三次元仮想空間に例えば図９（Ｂ）に示すポインタ２０００が表示される。図９（Ｂ）のポインタ２０００は第１のユーザの三次元仮想空間において第１のアバターと第２のアバターとを結ぶ表示例であって、第２のアバターを指定する表示の一例である。第２のアバターの指定はリモート環境機器１０Ａの操作コントローラ１４の操作（例えば第２のアバターの方向に向けることなど）で行ってもよい。

【0062】

なお、ポインタ２０００は三次元仮想空間における視界の中心付近に第２のアバターが位置しなくなると消える。また、ポインタ２０００は第１のユーザの三次元仮想空間以外に表示されない。

【0063】

ポインタ２０００が表示された状態で所定時間が経過した場合、リモート環境機器１０Ｂは例えば図１０に示すように、第１のユーザが会話の開始を希望していることを第２のユーザに通知する。

【0064】

図１０は、本実施形態に掛かる三次元仮想空間において第１のユーザが会話の開始を希望していることを第２のユーザに通知する方法の一例の説明図である。図１０は、第１のユーザが会話の開始を希望していることをダイアログ３０００の表示により第２のユーザに認識させる様子を表している。

【0065】

また、リモート環境機器１０Ｂは例えば図１１に示すように、第１のユーザが会話の開始を希望していることを第２のユーザに通知してもよい。図１１は、本実施形態に掛かる三次元仮想空間において第１のユーザが会話の開始を希望していることを第２のユーザに通知する方法の一例の説明図である。

【0066】

図１１（Ａ）は、ダイアログ３０００の表示に加えて、第１のアバターが会話の開始を希望していることを示す信号３００２が、第２のユーザの三次元仮想空間の画像に表示された様子を表している。また、図１１（Ｂ）はダイアログ３０００の表示に加えて、音声の内容により第１のアバターが会話の開始を希望していることを示す音３００４が、第２のユーザの三次元仮想空間に出力された様子を表している。

【0067】

図１０又は図１１に示したように、第２のアバターを操作する第２のユーザは、会話の開始を希望している第１のユーザの存在を認識できる。会話の開始を希望している第１のユーザの存在を認識した第２のユーザは、例えば第２のユーザの三次元仮想空間に表示されたダイアログ３０００の選択肢に対する選択操作で、第１のユーザからの会話開始の希望の通知に対する肯定の応答を行う。

【0068】

なお、ダイアログ３０００から選択肢を選択する操作は、例えば操作コントローラ１４で行ってもよいし、手の動きで行ってもよい。例えば手で操作する場合は、人差し指と親指をくっつけるモーション等で三次元仮想空間内のボタンを押下する。

【0069】

第２のユーザが第１のユーザからの会話開始の希望の通知に対する肯定の応答を行うことにより、第１のユーザ及び第２のユーザの三次元仮想空間には、例えば図１２に示すように、会話の相手の姿が表示された画面３０１０Ａ及び３０１０Ｂが表示される。

【0070】

図１２は、第２のユーザが第１のユーザからの会話開始の希望の通知に対する肯定の応答を行ったあとの三次元仮想空間の一例について説明する図である。画面３０１０Ａは第１のユーザの三次元仮想空間に表示され、第２のユーザの姿を写している。画面３０１０Ｂは第２のユーザの三次元仮想空間に表示され、第１のユーザの姿を写している。画面３０１０Ａ又は３０１０Ｂは、会話用ウインドウの一例である。

【0071】

第１及び第２のユーザは、三次元仮想空間に表示された画面３０１０Ａ又は３０１０Ｂを見ながら会話を行うことができる。なお、第１のユーザと第２のユーザとの会話は第１及び第２のユーザ以外のユーザに聞こえない。また、第１及び第２のユーザ以外のユーザの三次元仮想空間では、会話状態である第１及び第２のアバターが会話状態でないように表示してもよい。

【0072】

図４に示した機能構成の一部は、第２の実施形態において以下のような第１の実施形態と異なる処理を行う。判別部３４Ａは、第１のユーザが第２のユーザとの会話開始を希望していることを判別し、判別した情報をリモート環境機器１０Ｂへ送信する。判別部３４Ｂは、第２のユーザが第１のユーザとの会話開始を希望していることを判別し、判別した情報をリモート環境機器１０Ａへ送信する。

【0073】

図１３は、本実施形態に係る仮想空間システム１の処理手順の一例を示したシーケンス図である。ここでは、第１のアバターを操作する第１のユーザと第２のアバターを操作する第２のユーザとが三次元仮想空間において会話を開始する例を説明する。

【0074】

ステップＳ３０において、リモート環境機器１０Ａは第１のユーザの三次元仮想空間における視界の中心付近に他のアバターが位置していれば、第１のユーザが他のアバターを選択していると判定する。ここでは、第１のユーザが第２のアバターを選択していると判定した例を説明する。

【0075】

ステップＳ３２において、リモート環境機器１０Ａは第１のユーザの三次元仮想空間における視界の中心付近に第２のアバターが位置した状態で所定時間が経過したか否かを判定する。ここでは、所定時間が経過したと判定した例を説明する。

【0076】

ステップＳ３４において、リモート環境機器１０Ａは第１のユーザの三次元仮想空間に図９（Ｂ）のポインタ２０００を表示する。ステップＳ３６において、リモート環境機器１０Ａはポインタ２０００が表示された状態で所定時間が経過したか否かを判定する。ここでは、所定時間が経過したと判定した例を説明する。

【0077】

ステップＳ３８において、リモート環境機器１０Ａは第１のユーザが会話の開始を希望している状態であると判別し、第１のユーザが第２のユーザ会話との会話の開始を希望していることを示す会話開始の希望をサーバ装置１８に通知する。また、ステップＳ４０において、サーバ装置１８は第１のユーザが第２のユーザ会話との会話の開始を希望していることを示す会話開始の希望をリモート環境機器１０Ｂに通知する。ステップＳ４２において、リモート環境機器１０Ｂは例えば図１０又は図１１に示したように、第１のユーザが会話の開始を希望していることを第２のユーザに通知する。

【0078】

ステップＳ４４において、リモート環境機器１０Ｂは会話の開始を希望している第１のユーザの存在を認識した第２のユーザから、例えば第２のユーザの三次元仮想空間に表示されたダイアログ３０００の選択肢に対する選択操作で、会話開始の希望の通知に対する応答を受け付ける。ここでは、リモート環境機器１０Ｂは第２のユーザから会話開始の希望の通知に対する肯定の応答を受け付けた例を説明する。

【0079】

ステップＳ４６において、リモート環境機器１０ＢはステップＳ４０の会話開始の希望の通知に対する肯定の応答の情報をサーバ装置１８に送信する。また、ステップＳ４８において、サーバ装置１８はステップＳ８３の会話開始の希望の通知に対する肯定の応答の情報をリモート環境機器１０Ａに送信する。

【0080】

ステップＳ５０において、リモート環境機器１０Ａは例えば図１２の画面３０１０Ａのように第２のアバターが表示された会話用ウインドウを開く。ステップＳ５２において、リモート環境機器１０Ａは第１のアバターの状態を会話状態とする。

【0081】

ステップＳ５４において、リモート環境機器１０Ａは会話を開始する情報をサーバ装置１８に送信する。また、ステップＳ５６において、リモート環境機器１０Ｂは会話を開始する情報をリモート環境機器１０Ｂに送信する。ステップＳ５８において、リモート環境機器１０Ｂは例えば図１２の画面３０１０Ｂのように第１のアバターが表示された会話用ウインドウを開く。また、ステップＳ６０において、リモート環境機器１０Ｂは第２のアバターの状態を会話状態とする。

【0082】

ステップＳ６２において、サーバ装置１８、リモート環境機器１０Ａ、及びリモート環境機器１０Ｂは、三次元仮想空間において第１のユーザと第２のユーザとを会話させる為の会話処理を行う。例えばサーバ装置１８は第１のユーザと第２のユーザとが三次元仮想空間において会話ができるように、リモート環境機器１０Ａとリモート環境機器１０Ｂとの間で音声の情報を送受信する。

【0083】

以上、本実施形態に係る仮想空間システム１によれば、第１のユーザが第２のユーザに三次元仮想空間において話しかけなくても、第１のユーザから第２のユーザに対して会話の開始を希望していることを知らせることができる。このため、本実施形態に係る仮想空間システム１では、三次元仮想空間で能動的に他のユーザとの会話を開始することが苦手なユーザが他のユーザとの会話を開始しやすくなる。

【0084】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0085】

本発明の態様は、例えば、以下の通りである。
＜１＞
三次元仮想空間の画像を表示する複数のリモート環境機器と、前記複数のリモート環境機器と通信可能に接続され、複数のアバターが存在する前記三次元仮想空間の情報を管理する情報処理装置と、を有する仮想空間システムであって、
第１のアバターを操作する第１のユーザが第２のアバターを操作する第２のユーザとの会話開始を希望していることを判別する判別手段と、
前記第２のユーザの前記三次元仮想空間において、前記第１のユーザからの前記希望を通知するように制御を行う通知制御手段と、
前記第２のユーザから前記通知に対する肯定の応答を受け付けた場合に、前記三次元仮想空間における前記第１のユーザと前記第２のユーザとの会話を開始させるように会話処理を行う会話処理手段と、
を有する仮想空間システム。
＜２＞
前記判別手段は、前記三次元仮想空間における前記第１のアバター及び前記第２のアバターの位置が所定範囲内、且つ、前記三次元仮想空間における前記第１のユーザの視線が前記第２のアバターの方向を向いている場合に、前記第１のユーザが前記第２のユーザとの会話開始を希望していることを判別する
前記＜１＞記載の仮想空間システム。
＜３＞
前記判別手段は、前記第２のアバターを指定する前記第１のユーザのモーションに基づいて前記第１のユーザの前記三次元仮想空間に前記第２のアバターを指定するポインタが表示された状態で所定時間が経過した場合に、前記第１のユーザが前記第２のユーザとの会話開始を希望していることを判別する
前記＜１＞記載の仮想空間システム。
＜４＞
前記通知制御手段は、前記希望を、前記第２のユーザの前記三次元仮想空間への表示又は音出力により前記第２のユーザに通知するように制御を行う
前記＜２＞又は＜３＞記載の仮想空間システム。
＜５＞
前記会話処理手段は、前記三次元仮想空間における前記第２のアバターが前記第１のアバターの方向を向く行動、前記第２のユーザの音声入力、又は前記三次元仮想空間に表示された選択肢に対する選択操作により、前記第２のユーザから前記通知に対する肯定の応答を受け付ける
前記＜２＞に記載の仮想空間システム。
＜６＞
前記会話処理手段は、前記三次元仮想空間における前記第２のアバターの位置から所定範囲内に存在する前記アバターの前記ユーザに聞こえるように、会話処理を行う
前記＜２＞又は＜５＞記載の仮想空間システム。
＜７＞
前記判別手段は、前記第２のアバターを指定する前記第１のユーザの第１のモーションに基づいて前記第１のユーザの前記三次元仮想空間に前記第２のアバターを指定するポインタが表示された状態で、前記第１のユーザの第２のモーションを検知した場合に、前記第１のユーザが前記第２のユーザとの会話開始を希望していることを判別する
前記＜３＞記載の仮想空間システム。
＜８＞
前記会話処理手段は、前記第１のユーザの前記三次元仮想空間に前記第２のアバターが表示された画面を表示すると共に、前記第２のユーザの前記三次元仮想空間に前記第１のアバターが表示された画面を表示し、前記第１のユーザと前記第２のユーザとの前記三次元仮想空間における会話を開始させるように会話処理を行う
前記＜７＞記載の仮想空間システム。
＜９＞
前記会話処理手段は、前記第１のユーザ及び前記第２のユーザの会話が、前記三次元仮想空間に存在する前記アバターの他のユーザに聞こえないように、前記第１のユーザと前記第２のユーザとの前記三次元仮想空間における会話処理を行う
前記＜８＞記載の仮想空間システム。
＜１０＞
前記会話処理手段は、前記他のユーザの前記三次元仮想空間に、会話状態である前記第１のユーザ及び前記第２のユーザの前記第１のアバター及び前記第２のアバターを会話状態でないように表示する
前記＜９＞記載の仮想空間システム。
＜１１＞
三次元仮想空間の画像を表示する複数のリモート環境機器と通信可能に接続され、複数のアバターが存在する前記三次元仮想空間の情報を管理する情報処理装置であって、
第１のアバターを操作する第１のユーザが第２のアバターを操作する第２のユーザとの会話開始を希望していることを判別する判別手段と、
前記第２のユーザの前記三次元仮想空間において、前記第１のユーザからの前記希望を通知するように制御を行う通知制御手段と、
前記第２のユーザから前記通知に対する肯定の応答を受け付けた場合に、前記三次元仮想空間における前記第１のユーザと前記第２のユーザとの会話を開始させるように会話処理を行う会話処理手段と、
を有する情報処理装置。

【符号の説明】

【0086】

１ 仮想空間システム
１０、１０Ａ、１０Ｂ リモート環境機器
１２ ＶＲデバイス
１４ 操作コントローラ
１６ ＰＣ
１８ サーバ装置
２０ ネットワーク
３４Ａ、３４Ｂ 判別部
３６Ａ、３６Ｂ 通知制御部
３８Ａ、３８Ｂ 応答制御部
４０Ａ、４０Ｂ 会話処理部

【先行技術文献】

【特許文献】

【0087】

【特許文献1】国際公開第２０２２／０９１８３２号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】