特許 6980946 ３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間再生制御装置、３次元仮想現実空間再生制御方法、３次元仮想現実空間再生制御プログラム、および、３次元仮想現実空間提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6980946

(24)【登録日】2021年11月19日

(45)【発行日】2021年12月15日

(54)【発明の名称】３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間再生制御装置、３次元仮想現実空間再生制御方法、３次元仮想現実空間再生制御プログラム、および、３次元仮想現実空間提供システム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20211202BHJP

【ＦＩ】

   G06F13/00 650R

   G06F13/00 540E

【請求項の数】24

【全頁数】20

(21)【出願番号】特願2021-515250(P2021-515250)

(86)(22)【出願日】2020年11月17日

(86)【国際出願番号】JP2020042772

【審査請求日】2021年3月18日

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２００９０７０１．ｐｄｆ ウェブサイトの掲載日：２０２０年９月７日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｋｙｏｄｏ．ｎｅｗｓｍａｒｔ．ｊｐ／ｓｐｐｒｇｈ／２０２０／０９／ｐｏｓｔ−６８１８２７．ｐｈｐ ウェブサイトの掲載日：２０２０年９月７日 公開者名：株式会社全国新聞ネット ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＸＭＺＯ６３５５０２１０Ｘ００Ｃ２０Ａ９９１６Ｍ００／ ウェブサイトの掲載日：２０２０年９月７日 公開者名：株式会社日本経済新聞社 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｍｏｇｕｒａｖｒ．ｃｏｍ／ｒｏｚｅｔｔａ−ｖｒ−ｏｆｆｉｃｅ／ ウェブサイトの掲載日：２０２０年９月９日 公開者名：株式会社Ｍｏｇｕｒａ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ａｂｅｍａ．ｔｖ／ｖｉｄｅｏ／ｔｉｔｌｅ／８９−７６ ウェブサイトの掲載日：２０２０年９月１３日 公開者名：株式会社ＡｂｅｍａＴＶ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝９９ｓａＴｏａ９Ｏ８Ｍ＆ｆｅａｔｕｒｅ＝ｅｍｂ＿ｌｏｇｏ ウェブサイトの掲載日：２０２０年９月１７日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２００９１７０１．ｐｄｆ ウェブサイトの掲載日：２０２０年９月１７日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２００９２８０１．ｐｄｆ ウェブサイトの掲載日：２０２０年９月２８日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１００９０１．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月９日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｎｅｗｓｐｉｃｋｓ．ｃｏｍ／ｎｅｗｓ／５２７６８９１／ｂｏｄｙ／？ｒｅｆ＝ｉｎｄｅｘ ウェブサイトの掲載日：２０２０年１０月７日 公開者名：株式会社ニューズピックス

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１０１３０１．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月１３日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１０１５０４．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月１５日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１０１６０１．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月１６日 公開者名：株式会社ロゼッタウェブサイトのアドレス：ｈｔｔｐｓ：／／ａｕｄｅｅ．ｊｐ／ｖｏｉｃｅ／ｓｈｏｗ／２４５４２ ウェブサイトの掲載日：２０２０年１０月１８日 公開者名：株式会社ジャパンエフエムネットワーク ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｘｔｅｃｈ．ｎｉｋｋｅｉ．ｃｏｍ／ａｔｃｌ／ｎｘｔ／ｃｏｌｕｍｎ／１８／００１３８／１０１３００６４８／ ウェブサイトの掲載日：２０２０年１０月１４日 公開者名：株式会社日経ＢＰ

【新規性喪失の例外の表示】特許法第３０条第２項適用 放送番組：ＴＢＳテレビ Ｎスタ（１５時４９分〜） 放送日：２０２０年９月９日 公開者名：株式会社ＴＢＳテレビ 放送番組：テレビ朝日 報道ステーション（２１時５４分〜） 放送日：２０２０年９月２９日 公開者名：株式会社テレビ朝日 放送番組：テレビ朝日 羽鳥慎一モーニングショー（８時００分〜）放送日：２０２０年１０月７日 公開者名：株式会社テレビ朝日 放送番組：Ｔｏｋｙｏ ＦＭ ５０Ａｒｔｉｓｔｓ（２０時〜） 放送日：２０２０年１０月１８日 公開者名：株式会社エフエム東京 刊行物：日本経済新聞、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社日本経済新聞社 刊行物：四国新聞、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社四国新聞社 刊行物：静岡新聞、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社静岡新聞社 刊行物：岩手日報、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社岩手日報 刊行物：京都新聞、２０２０年９月９日付朝刊 発行日：２０２０年９月９日 公開者名：株式会社京都新聞社

【早期審査対象出願】

(73)【特許権者】

【識別番号】504315532

【氏名又は名称】株式会社メタリアル

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(72)【発明者】

【氏名】五石 順一

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開平０７−１８２３６５（ＪＰ，Ａ）

【文献】 特開平０８−１８６６４８（ＪＰ，Ａ）

【文献】 特開２００２−１８３３９０（ＪＰ，Ａ）

【文献】 米国特許第０８８０６３５４（ＵＳ，Ｂ１）

【文献】 特開２０１８−１６５９８２（ＪＰ，Ａ）

【文献】 特開平０８−０９５９１９（ＪＰ，Ａ）

【文献】 倉持 陽子 Yoko Kuramochi，共有空間，レクチャーノート／ソフトウェア学 ２１ インタラクティブシステムとソフトウェアＶＩ ，日本，株式会社近代科学社，1998年12月20日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、
前記複数のアバターのうちのいずれかのアバターが音声による発言をした時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合、前記２以上のアバター間で会話が開始したと判断する会話検出手段であって、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言である、会話検出手段と、
会話の開始が検出されたことに応答して、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録手段と、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索手段と、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、を備える３次元仮想現実空間提供サーバ。

【請求項2】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、
前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録手段であって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成され、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言である、記録手段と、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索手段と、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、
各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であって、その第１時点を設定する制御手段と、を備え、
前記第２時点を経過した後でも、
前記検索手段は、前記検索クエリに対応する発言を前記記憶媒体から検索し、
前記再生データ生成手段は、前記再生データを生成する、３次元仮想現実空間提供サーバ。

【請求項3】

前記記録手段は、前記２以上のアバターの音声での発言に対して音声認識を行って得られるテキストデータを記録する、請求項１または２に記載の３次元仮想現実空間提供サーバ。

【請求項4】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段と、
前記３次元仮想現実空間内で、いずれかのアバターが提示した電子ファイルにおける文字を含む部分を後で再生できるよう記憶媒体に記録する記録手段と、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する文字を前記記憶媒体から検索する検索手段と、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、を備える３次元仮想現実空間提供サーバ。

【請求項5】

各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることができ、
前記第１時点を設定する制御手段を備える、請求項４に記載の３次元仮想現実空間提供サーバ。

【請求項6】

前記第２時点を経過した後でも、
前記検索手段は、前記検索クエリに対応する文字を前記記憶媒体から検索し、
前記再生データ生成手段は、前記再生データを生成する、
請求項５に記載の３次元仮想現実空間提供サーバ。

【請求項7】

前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、
前記記録手段は、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう前記記憶媒体に記録し、
前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成される、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言であり、
前記検索手段は、前記複数のユーザのいずれかのユーザからの検索クエリに対応するアバターの発言を前記記憶媒体から検索し、
前記再生データ生成手段は、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する、請求項４乃至６のいずれかに記載の３次元仮想現実空間提供サーバ。

【請求項8】

前記記録手段は、常時、前記３次元仮想現実空間を記録する、請求項１乃至７のいずれかに記載の３次元仮想現実空間提供サーバ。

【請求項9】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成ステップと、
前記複数のアバターのうちのいずれかのアバターが音声による発言をした時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合、前記２以上のアバター間で会話が開始したと判断する会話検出手段であって、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言である、会話検出ステップと、
会話の開始が検出されたことに応答して、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録ステップと、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索ステップと、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、を備える３次元仮想現実空間提供方法。

【請求項10】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成ステップと、
前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録手段であって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成され、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言である、記録ステップと、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索ステップと、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、
各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であって、その第１時点を設定する制御手段と、を備え、
前記第２時点を経過した後でも、
前記検索ステップでは、前記検索クエリに対応する発言を前記記憶媒体から検索し、
前記再生データ生成ステップでは、前記再生データを生成する、３次元仮想現実空間提供方法。

【請求項11】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップと、
前記３次元仮想現実空間内で、いずれかのアバターが提示した電子ファイルにおける文字を含む部分を後で再生できるよう記憶媒体に記録する記録ステップと、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する文字を前記記憶媒体から検索する検索ステップと、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、を備える３次元仮想現実空間提供方法。

【請求項12】

コンピュータを、
複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、
前記複数のアバターのうちのいずれかのアバターが音声による発言をした時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合、前記２以上のアバター間で会話が開始したと判断する会話検出手段であって、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言である、会話検出手段と、
会話の開始が検出されたことに応答して、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録手段と、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索手段と、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、として機能させる３次元仮想現実空間提供プログラム。

【請求項13】

コンピュータを、
複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、
前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録手段であって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成され、前記アバターの発言は、前記アバターに対応するユーザのマイクに対する発話による音声での発言である、記録手段と、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索手段と、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、
各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であって、その第１時点を設定する制御手段と、として機能させ、
前記第２時点を経過した後でも、
前記検索手段は、前記検索クエリに対応する発言を前記記憶媒体から検索し、
前記再生データ生成手段は、前記再生データを生成する、３次元仮想現実空間提供プログラム。

【請求項14】

コンピュータを、
複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段と、
前記３次元仮想現実空間内で、いずれかのアバターが提示した電子ファイルにおける文字を含む部分を後で再生できるよう記憶媒体に記録する記録手段と、
前記複数のユーザのいずれかのユーザからの検索クエリに対応する文字を前記記憶媒体から検索する検索手段と、
前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、として機能させる３次元仮想現実空間提供プログラム。

【請求項15】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置であって、
再生装置と、
前記アバターに前記３次元仮想現実空間内で発言させるためのマイクと、
前記３次元仮想現実空間におけるいずれかのアバターの発言であって、前記いずれかのアバターに対応するユーザのマイクに対する発話による音声での発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を前記再生装置に再生させる再生制御手段と、を備え、
前記記憶媒体には、前記複数のアバターのうちのいずれかのアバターが音声による発言をした時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合に前記２以上のアバター間で会話が開始したと判断され、会話の開始が検出されたことに応答して、前記３次元仮想現実空間のうちの前記会話をしているアバターを含む部分が記憶されている、３次元仮想現実空間再生制御装置。

【請求項16】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置であって、
再生装置と、
前記アバターに前記３次元仮想現実空間内で発言させるためのマイクと、
前記３次元仮想現実空間におけるいずれかのアバターの発言であって、前記いずれかのアバターに対応するユーザのマイクに対する発話による音声での発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を前記再生装置に再生させる再生制御手段と、
ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であって、その第１時点を設定するための設定手段と、を備え、
前記第２時点を経過した後でも、前記検索クエリ送信手段は、前記検索クエリを前記３次元仮想現実空間提供サーバに送信できる、３次元仮想現実空間再生制御装置。

【請求項17】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置であって、
再生装置と、
前記３次元仮想現実空間内で、いずれかのアバターが提示した電子ファイルにおける文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を前記再生装置に再生させる再生制御手段と、を備える３次元仮想現実空間再生制御装置。

【請求項18】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置における３次元仮想現実空間再生制御方法であって、
前記３次元仮想現実空間におけるいずれかのアバターの発言であって、前記いずれかのアバターに対応するユーザのマイクに対する発話による音声での発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、を備え、
前記記憶媒体には、前記複数のアバターのうちのいずれかのアバターが音声による発言をした時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合に前記２以上のアバター間で会話が開始したと判断され、会話の開始が検出されたことに応答して、前記３次元仮想現実空間のうちの前記会話をしているアバターを含む部分が記憶されている、３次元仮想現実空間再生制御方法。

【請求項19】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置における３次元仮想現実空間再生制御方法であって、
前記３次元仮想現実空間におけるいずれかのアバターの発言であって、前記いずれかのアバターに対応するユーザのマイクに対する発話による音声での発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、
ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であって、その第１時点を設定するための設定ステップと、を備え、
前記第２時点を経過した後でも、前記検索クエリを前記３次元仮想現実空間提供サーバに送信できる、３次元仮想現実空間再生制御方法。

【請求項20】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置における３次元仮想現実空間再生制御方法であって、
前記３次元仮想現実空間内で、いずれかのアバターが提示した電子ファイルにおける文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、を備える３次元仮想現実空間再生制御方法。

【請求項21】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置を、
前記３次元仮想現実空間におけるいずれかのアバターの発言であって、前記いずれかのアバターに対応するユーザのマイクに対する発話による音声での発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御手段と、として機能させ、
前記記憶媒体には、前記複数のアバターのうちのいずれかのアバターが音声による発言をした時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合に前記２以上のアバター間で会話が開始したと判断され、会話の開始が検出されたことに応答して、前記３次元仮想現実空間のうちの前記会話をしているアバターを含む部分が記憶されている、３次元仮想現実空間再生制御プログラム。

【請求項22】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置を、
前記３次元仮想現実空間におけるいずれかのアバターの発言であって、前記いずれかのアバターに対応するユーザのマイクに対する発話による音声での発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御手段と、
ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であって、その第１時点を設定するための設定手段と、として機能させ、
前記第２時点を経過した後でも、前記検索クエリ送信手段は、前記検索クエリを前記３次元仮想現実空間提供サーバに送信できる、３次元仮想現実空間再生制御プログラム。

【請求項23】

ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置を、
前記３次元仮想現実空間内で、いずれかのアバターが提示した電子ファイルにおける文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、
前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御手段と、として機能させる３次元仮想現実空間再生制御プログラム。

【請求項24】

請求項１乃至８のいずれかに記載の３次元仮想現実空間提供サーバと、
請求項１５乃至１７のいずれかに記載の３次元仮想現実空間再生制御装置と、を備える３次元仮想現実空間提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間再生制御装置、３次元仮想現実空間再生制御方法、３次元仮想現実空間再生制御プログラム、および、３次元仮想現実空間提供システムに関する。

【背景技術】

【0002】

過去に行われた会話や提示された資料等を後で再現するのは容易ではない。このようなことは現実世界においても、３次元仮想現実空間においても変わるところはない。なお、特許文献１，２はいずれも２次元仮想現実空間に関する開示があるに過ぎない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−２３０８０１号公報

【特許文献2】特開２００８−０８３８３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、３次元仮想現実空間での発言および／または文字を後で容易に再現できる３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間再生制御装置、３次元仮想現実空間再生制御方法、３次元仮想現実空間再生制御プログラム、および、３次元仮想現実空間提供システムを提供することである。

【課題を解決するための手段】

【0005】

一実施形態によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、前記３次元仮想現実空間のうちの、文字を含む部分と、前記複数のアバターのうち会話をしている２以上のアバターを含む部分と、を後で再生できるよう記憶媒体に記録する記録手段であって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成される、記録手段と、前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言または文字を前記記憶媒体から検索する検索手段と、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言または文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、を備える３次元仮想現実空間提供サーバが提供される。

【0006】

一実施形態によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録手段であって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成される、記録手段と、前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索手段と、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、を備える３次元仮想現実空間提供サーバが提供される。

【0007】

一実施形態によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段と、前記３次元仮想現実空間のうちの、文字を含む部分を後で再生できるよう記憶媒体に記録する記録手段と、前記複数のユーザのいずれかのユーザからの検索クエリに対応する文字を前記記憶媒体から検索する検索手段と、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、を備える３次元仮想現実空間提供サーバが提供される。

【0008】

前記２以上のアバター間で会話が開始したことを検出する会話検出手段を備え、前記記録手段は、会話の開始が検出されたことに応答して、前記２以上のアバターを含む部分を記録してもよい。

【0009】

前記会話検出手段は、前記複数のアバターのうちのいずれかのアバターが発言した時に、前記３次元仮想現実空間における前記いずれかのアバターとの距離が所定値以下である他のアバターがいる場合、前記２以上のアバター間で会話が開始したと判断してもよい。

【0010】

前記記録手段は、検出された会話を単位として、前記２以上のアバターを含む部分を記録してもよい。

【0011】

前記検索手段は、前記検索クエリに対応する発言を含む会話の単位を検索してもよい。

【0012】

前記再生データ生成手段は、前記検索された会話の単位を再生させるための前記再生データを生成してもよい。

【0013】

前記記録手段は、前記少なくとも１つのアバターの発言を、発言したアバターと関連付けて記録してもよい。

【0014】

前記記録手段は、前記２以上のアバターの発言に対して音声認識を行って得られるテキストデータを記録してもよい。

【0015】

各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることができ、前記第１時点を設定する制御手段を備えてもよい。

【0016】

前記第２時点を経過した後でも、前記検索手段は、前記検索クエリに対応する発言を前記記憶媒体から検索し、前記再生データ生成手段は、前記再生データを生成してもよい。

【0017】

前記記録手段は、前記３次元仮想現実空間内で、いずれかのアバターが提示した資料における文字を記録してもよい。

【0018】

前記記録手段は、前記複数のアバターのいずれかのアバターに対応するユーザのコントローラに対する操作に応じて、前記いずれかのアバターが前記３次元仮想現実空間内に書いた文字を記録してもよい。

【0019】

各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることができ、前記第１時点を設定する制御手段を備えてもよい。

【0020】

前記第２時点を経過した後でも、前記検索手段は、前記検索クエリに対応する文字を前記記憶媒体から検索し、前記再生データ生成手段は、前記再生データを生成してもよい。

【0021】

前記検索手段は、キーワード検索を行ってもよい。

【0022】

前記検索手段は、類似検索を行ってもよい。

【0023】

前記検索手段は、概念検索を行ってもよい。

【0024】

前記記録手段は、常時、前記３次元仮想現実空間を記録してもよい。

【0025】

一実施形態によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成ステップと、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録ステップであって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成される、記録ステップと、前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索ステップと、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、を備える３次元仮想現実空間提供方法が提供される。

【0026】

一実施形態によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップと、前記３次元仮想現実空間のうちの、文字を含む部分を後で再生できるよう記憶媒体に記録する記録ステップと、前記複数のユーザのいずれかのユーザからの検索クエリに対応する文字を前記記憶媒体から検索する検索ステップと、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、を備える３次元仮想現実空間提供方法が提供される。

【0027】

一実施形態によれば、コンピュータに、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成ステップと、前記３次元仮想現実空間のうちの、前記複数のアバターのうち会話をしている２以上のアバターを含む部分を後で再生できるよう記憶媒体に記録する記録ステップであって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成される、記録ステップと、前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言を前記記憶媒体から検索する検索ステップと、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、を実行させる３次元仮想現実空間提供プログラムが提供される。

【0028】

一実施形態によれば、コンピュータに、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップと、前記３次元仮想現実空間のうちの、文字を含む部分を後で再生できるよう記憶媒体に記録する記録ステップと、前記複数のユーザのいずれかのユーザからの検索クエリに対応する文字を前記記憶媒体から検索する検索ステップと、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成ステップと、を備える３次元仮想現実空間提供プログラムが提供される。

【0029】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置であって、再生装置と、前記３次元仮想現実空間における発言および文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言または文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を前記再生装置に再生させる再生制御手段と、を備える３次元仮想現実空間再生制御装置が提供される。

【0030】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置であって、再生装置と、前記３次元仮想現実空間における発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を前記再生装置に再生させる再生制御手段と、を備える３次元仮想現実空間再生制御装置が提供される。

【0031】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置であって、再生装置と、前記３次元仮想現実空間における文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信手段と、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を前記再生装置に再生させる再生制御手段と、を備える３次元仮想現実空間再生制御装置が提供される。

【0032】

各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることができ、前記第１時点の設定を受け付ける設定手段を備えてもよい。

【0033】

前記第２時点を経過した後でも、前記検索クエリ送信手段は、前記検索クエリを送信することができ、前記再生制御手段は、当該部分を前記再生装置に再生させてもよい。

【0034】

３次元仮想現実空間再生制御装置は、メガネ型ウェアラブル装置であってもよい。

【0035】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置における３次元仮想現実空間再生制御方法であって、前記３次元仮想現実空間における発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、を備える３次元仮想現実空間再生制御方法が提供される。

【0036】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置における３次元仮想現実空間再生制御方法であって、前記３次元仮想現実空間における文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、を備える３次元仮想現実空間再生制御方法が提供される。

【0037】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置に、前記３次元仮想現実空間における発言を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する発言を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、を実行させる３次元仮想現実空間再生制御プログラムが提供される。

【0038】

一実施形態によれば、ユーザが用い、前記ユーザに対応するアバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間再生制御装置に、前記３次元仮想現実空間における文字を検索するための検索クエリを、前記３次元仮想現実空間の少なくとも一部を後で再生できるよう記憶媒体に記録している３次元仮想現実空間提供サーバに送信する検索クエリ送信ステップと、前記記憶媒体に記録されている前記３次元仮想現実空間のうち、少なくとも前記検索クエリに対応する文字を含む部分を再生するための再生データを前記３次元仮想現実空間提供サーバから受信し、当該部分を再生装置に再生させる再生制御ステップと、を実行させる３次元仮想現実空間再生制御プログラムが提供される。

【0039】

一実施形態によれば、上記３次元仮想現実空間提供サーバと、上記３次元仮想現実空間再生制御装置と、を備える３次元仮想現実空間提供システムが提供される。

【図面の簡単な説明】

【0040】

【図1】一実施形態に係るＶＲ空間提供システムの概略構成を示すブロック図。

【図2】記録部２６によって記憶媒体２２に記録される会話の内容の一例を模式的に示す図。

【発明を実施するための形態】

【0041】

以下、図面を用いて実施形態を例示的に説明する。本実施形態は、複数のユーザのそれぞれに対応する複数のアバターが仮想現実（Virtual Reality、以下「ＶＲ」という）空間内で活動するものである。ＶＲ空間での活動は、他のアバターと会話をすること、資料を提示すること、文字を書くことなどを含む。そして、会話や資料を含むＶＲ空間が記録される。ユーザは記録されたＶＲ空間の検索を行うことができ、検索でヒットしたシーンを再生できる。これにより、ＶＲ空間で行われた会話や提示された資料等を後で容易に再現できる。

【0042】

なお、本実施形態では、３次元的に拡がる３次元ＶＲ空間を想定しており、特に断らない限り、単にＶＲ空間といった場合には３次元ＶＲ空間を指すものとする。

【0043】

図１は、一実施形態に係るＶＲ空間提供システムの概略構成を示すブロック図である。このＶＲ空間提供システムは、ユーザが用いるＶＲ空間再生制御装置（以下、単に「ユーザデバイス１」という）と、ＶＲ空間提供サーバ（以下、単に「サーバ２」という）とを備えている。図１には１つのユーザデバイス１のみを描いているが、実際にはＶＲ空間提供システムは２以上のユーザデバイス１を含み得る。

【0044】

ユーザデバイス１はユーザが用いるものであり、ユーザに対応するアバターをＶＲ空間内で活動させたり、ＶＲ空間の様子を見たり聞いたりするために用いられる。ユーザデバイス１は、ゴーグル、スマートグラス（眼鏡型ウェアラブル装置）、レンズといったＶＲ機器であり、通信部１１と、ディスプレイ１２と、スピーカ１３と、コントローラ１４と、マイク１５とを有する。

【0045】

通信部１１は、サーバ２に種々のデータや情報を送信したり、サーバ２から種々のデータや情報を受信したりする。サーバ２との通信手段に特に制限はない。

【0046】

ディスプレイ１２はＶＲ空間を映像として再生する。より具体的には、ディスプレイ１２は、ＶＲ空間における他のアバターの活動や、ＶＲ空間で用いられる各種資料などを表示する。ディスプレイ１２は立体表示可能であるのが望ましい。ユーザデバイス１がスマートグラス等である場合、ディスプレイ１２は右眼用ディスプレイおよび左眼用ディスプレイを含む。

【0047】

スピーカ１３はＶＲ空間を音声として再生する。より具体的には、スピーカ１３は、ＶＲ空間における他のアバターの発言などを出力する。

【0048】

後述するように、本実施形態のディスプレイ１２およびスピーカ１３は、現在のＶＲ空間をリアルタイムに再生するのみならず、過去のＶＲ空間を再生することもできる。また、ディスプレイ１２およびスピーカ１３は再生装置と呼ぶこともできる。ディスプレイ１２およびスピーカ１３がＶＲ空間を再生するために必要な再生データは、通信部１１を介してサーバ２から受信される。

【0049】

コントローラ１４はユーザに対応するアバターをＶＲ空間内で活動させるために用いられる。例えば、ユーザによるコントローラ１４に対する所定動作に応じて、アバターはＶＲ空間内を移動できる。また、ユーザによるコントローラ１４に対する所定動作に応じて、アバターはＶＲ空間内で所望の資料を提示する（すなわち、電子ファイルを開く）ことができる。さらに、ユーザによるコントローラ１４に対する操作に応じて、アバターはＶＲ空間内で文字を書くことができる。コントローラ１４に対するユーザの操作を示す情報は、通信部１１からサーバ２に送信される。

【0050】

マイク１５はユーザに対応するアバターにＶＲ空間内で発言させるために用いられる。すなわち、マイク１５が拾ったユーザの音声がユーザに対応するアバターの発言としてＶＲ空間内で再生される。マイク１５が拾ったユーザの音声を示す情報は、通信部１１からサーバ２に送信される。

【0051】

また、ユーザデバイス１は、設定部１６、検索クエリ送信部１７および再生制御部１８を有する。これらの機能の一部または全部は、ハードウェアで構成されてもよいし、ユーザデバイス１のプロセッサが所定のプログラムを実行することによって実現されてもよい。

【0052】

本実施形態におけるＶＲ空間は、貸会議室や貸しオフィスなど、特定の期間に限って使用可能であってよい。なお、ここでの「使用」とは、ユーザがＶＲ空間内でアバターを活動させることを意味する。

【0053】

そして、設定部１６はＶＲ空間を使用するための予約行う。設定部１６は、ＶＲ空間の予約のために必要な予約情報を、コントローラ１４あるいはマイク１５を用いたユーザ操作を介して受け付ける。そして、設定部１６は予約情報をサーバ２に送信することで、ＶＲ空間を予約する。

【0054】

ここで、予約情報は、ＶＲ空間の使用開始時点および使用終了時点、ユーザを特定する情報（ユーザＩＤ）を示す情報を含み得る。ユーザＩＤは、自身を特定するユーザＩＤのみでもよいし、ＶＲ空間を使用する他ユーザのユーザＩＤを含んでいてもよい。なお、予約情報は、ＶＲ空間の使用終了時点に代えて、ＶＲ空間の使用期間を示す情報を含んでいてもよい。

【0055】

検索クエリ送信部１７はコントローラ１４あるいはマイク１５を用いたユーザ操作を介して任意の検索クエリを受け付ける。検索クエリは、テキスト情報であってもよいし、音声情報であってもよい。そして、検索クエリは受け付けた検索クエリをサーバ２に送信する。検索の詳細については後述するが、検索クエリはＶＲ空間における発言や文字を検索するためのものである。

【0056】

再生制御部１８はＶＲ空間の少なくとも一部を再生装置に再生させる制御を行う。より具体的には、再生制御部１８は、ＶＲ空間を映像で再生させるために必要な再生データ（表示データ）を通信部１１を介してサーバ２から受信し、この再生データに基づいて映像表示制御を行う。また、再生制御部１８は、ＶＲ空間を音声で再生させるために必要な再生データ（音声データ）をサーバ２から受信し、この再生データに基づいて音声出力制御を行う。

【0057】

一方、サーバ２は、通信部２１と、記憶媒体２２とを有する。通信部２１は、サーバ２に種々のデータや情報を送信したり、サーバ２から種々のデータや情報を受信したりする。サーバ２との通信手段に特に制限はない。記憶媒体２２は、例えばハードディスクであり、種々のデータ、情報、ＶＲ空間等を記憶する。なお、記憶媒体２２はサーバ２とは別個の装置であってもよい。

【0058】

また、サーバ２は、制御部２３と、ＶＲ空間生成部２４と、会話検出部２５と、記録部２６と、検索部２７と、再生データ生成部２８とを有する。これらの機能の一部または全部は、ハードウェアで構成されてもよいし、サーバ２のプロセッサが所定のプログラムを実行することによって実現されてもよい。

【0059】

制御部２３はユーザデバイス１からの予約情報に基づいてＶＲ空間の予約を行う。すなわち、制御部２３は、ユーザがアバターを活動させることができる使用開始時点および使用終了時点を設定する。これにより、予約情報に含まれるユーザＩＤで特定されるユーザが自身に対応するアバターをＶＲ空間内で活動させることができるようになる。

【0060】

ＶＲ空間生成部２４は複数のユーザにそれぞれ対応するアバターが活動するＶＲ空間を生成する。また、ＶＲ空間生成部２４は、ユーザデバイス１のコントローラ１４に対するユーザ操作や、マイク１５が拾った音声を通信部２１を介して受信し、ＶＲ空間に反映させる。

【0061】

例えば、あるユーザがアバターを移動させるための操作をコントローラ１４に対して行った場合、ＶＲ空間生成部２４はその操作に応じて当該ユーザに対応するアバターをＶＲ空間内で移動させる。すなわち、アバターは、対応するユーザが用いるコントローラ１４に対する操作に応じて、ＶＲ空間内を移動可能である。

【0062】

また、あるユーザがマイク１５に対して発話した場合、ＶＲ空間生成部２４はその発話に応じて当該ユーザに対応するアバターをＶＲ空間内で発言させる。すなわち、アバターは、対応するユーザが用いるマイク１５に対する発話によって、ＶＲ空間内で発言可能である。

【0063】

会話検出部２５はＶＲ空間内でアバター間の会話が開始したことを検出する。一例として、会話検出部２５は、ＶＲ空間内でいずれかのアバターが発言した時に、１以上の他のアバターが近くにいる場合に、これらのアバター間で会話が開始したと判断する。ここで、会話検出部２５は、発言したアバターと、他のアバターとのＶＲ空間における距離が所定距離以下である場合に、「近くにいる」と判断することができる。この所定距離は一定値でもよいし、発言したアバターの声の大きさに応じたものであってもよい。

【0064】

また、会話検出部２５は会話が終了したことを検出してもよい。一例として、会話検出部２５は、会話を行っていたアバターのいずれも一定時間発言しなかったり、会話を行っていたアバター間のＶＲ空間における距離がいずれも所定距離以上となったりした場合に、会話検出部２５は会話が終了したと判断する。

【0065】

なお、本明細書での「会話」とは、２以上のアバターが互いに発言する態様のみならず、１つのアバターが一方的に他のアバターに発言する態様（例えば、セミナーにおいて講師が受講生に講義するケース）も含むものとする。いずれにしても、会話は、２以上のアバターで行われ、そのうちの少なくとも１つのアバターの発言から構成される。

【0066】

記録部２６は、ＶＲ空間の少なくとも一部を後で再生できるよう、映像データおよび音声データとして記憶媒体２２に記録する。記録部２６はＶＲ空間全体を常時記憶媒体２２に記録してもよいし、以下のように会話および／または文字に着目して記録してもよい。

【0067】

記録部２６は、ＶＲ空間のうち、会話をしている２以上のアバターを含む部分を映像データおよび音声データとして記録してもよい。より具体的には、記録部２６は、会話検出部２５によって会話の開始が検知されたことに応答して、会話をしている２以上のアバターを含むＶＲ空間の少なくとも一部を記録してもよい。そして、記録部２６は、会話検出部２５によって会話の終了が検知された場合や、会話の開始から所定時間経過した時点で、その会話の記録を停止してもよい。この場合、記録部２６は会話を単位としてＶＲ空間を記録することとなる。

【0068】

記録部２６は、会話を音声データのみで記録してもよいが、音声認識を行ってテキストデータも合わせて記録するのが望ましい。検索が容易になるためである。

【0069】

図２は、記録部２６によって記憶媒体２２に記録される会話の内容の一例を模式的に示す図である。記録部２６は会話ごとに会話を特定するＩＤ（会話ＩＤ）を付す。そして、記録部２６は、各会話における発言内容を、発言時および発言者と関連付けて記録する。図２の例では、２０２０年１０月１５日１０時ちょうどに、アバターＡが「では１０月の定例会議を始めます。」と発言している。

【0070】

このようにすることで、後述する検索の際に、検索クエリに対応する発言を行ったアバターを特定したり、当該発言がなされた時点を特定したりするのが容易となる。

【0071】

図１に戻り、記録部２６は、ＶＲ空間のうち、文字を含む部分を映像データおよび音声データとして記録してもよい。ここでの「文字」とは、アバターが提示した資料（電子ファイル）における文字、および、アバターが書いた文字のいずれも含む。文字も、提示された（あるいは書かれた）日時および提示した（あるいは書いた）アバターと関連付けて記録される。

【0072】

検索部２７はユーザデバイス１の検索クエリ送信部１７から送信された検索クエリに対応する発言および／または文字を記憶媒体２２から検索する。検索部２７は、キーワード検索を行ってもよいし、類似検索を行ってもよいし、概念検索を行ってもよく、必要に応じて検索にＡＩ（人工知能）を活用してもよい。

【0073】

検索部２７は、発言を単位として検索を行ってもよいし、会話を単位として検索を行ってもよい。例えば図２において、検索クエリが「１０月の定例会議」である場合、検索部２７は、発言を単位として、会話ＩＤ「０１」におけるアバターＡの発言１「では１０月の定例会議を始めます」を特定してもよい。あるいは、検索部２７は、会話を単位として、当該検索クエリに対応する発言を含んでいる会話ＩＤ「０１」を特定してもよい。

【0074】

なお、検索クエリは、発言のみを検索するか、文字のみを検索するか、発言および文字の両方を検索するか、の情報を含んでいてもよい。

【0075】

図１に戻り、再生データ生成部２８は、記憶媒体２２に記録されたＶＲ空間のうち、検索された発言あるいは文字を含む部分（シーン）をユーザデバイス１で再生させるための再生データを生成する。生成された再生データは通信部２１を介してユーザデバイス１に送信される。

【0076】

例えば、検索部２７によってある発言が特定された場合、再生データ生成部２８はその発言のみを再生するための再生データを生成してもよいし、その発言を含む会話を再生するための再生データを生成してもよいし、その発言がなされた時点より所定時間前から所定時間後までを再生するための再生データを生成してもよい。

【0077】

また、検索部２７によってある文字が特定された場合、再生データ生成部２８はその文字が提示された（あるいは書かれた）時点のみを再生するための再生データを生成してもよいし、その文字が提示された（あるいは書かれた）時点より所定時間前から所定時間後までを再生するための再生データを生成してもよい。

【0078】

なお、再生データは、ユーザデバイス１のディスプレイ１２で映像を表示させるための映像データと、ユーザデバイス１のスピーカ１３で音声を出力させるための音声データと、の両方を含むのが望ましい。ただし、再生データ生成部２８は、発言を再生する場合には音声データのみを生成してもよいし、文字を再生する場合には映像データのみを生成してもよい。

【0079】

上述したように、ユーザがＶＲ空間を使用できるのは特定の期間に限られている。この場合、使用終了時点を経過した後は検索できないようにしてもよいが、使用終了時点を経過した後でも検索可能であるのが望ましい。具体的には、使用期限を経過した後でも、ユーザデバイス１の検索クエリ送信部１７は検索クエリを送信でき、サーバ２の検索部２７は検索クエリに対応する発言や文字を検索し、再生データ生成部２８は再生データを生成するのが望ましい。

【0080】

このように、本実施形態では、ＶＲ空間における発言や文字を記録し、検索できるようにする。そのため、ＶＲ空間での発言や文字を後で容易に再現できる。例えば会議後に議事録を作成するのは煩わしいし正確性にも欠けるが、本実施形態によればそのような議事録作成が不要となる。

【0081】

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

【符号の説明】

【0082】

１ ３次元ＶＲ空間再生制御装置（ユーザデバイス）
１１ 通信部
１２ ディスプレイ
１３ スピーカ
１４ コントローラ
１５ マイク
１６ 設定部
１７ 検索クエリ送信部
１８ 再生制御部
２ ３次元ＶＲ空間提供サーバ
２１ 通信部
２２ 記憶媒体
２３ 制御部
２４ ＶＲ空間生成部
２５ 会話検出部
２６ 記録部
２７ 検索部
２８ 再生データ生成部

【要約】

一実施形態によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザのマイクに対する発話によって前記３次元仮想現実空間内で発言可能である、３次元仮想現実空間生成手段と、前記３次元仮想現実空間のうちの、文字を含む部分と、前記複数のアバターのうち会話をしている２以上のアバターを含む部分と、を後で再生できるよう記憶媒体に記録する記録手段であって、前記会話は前記複数のアバターのうちの少なくとも１つのアバターの発言から構成される、記録手段と、前記複数のユーザのいずれかのユーザからの検索クエリに対応する発言または文字を前記記憶媒体から検索する検索手段と、前記記憶媒体に記録された前記３次元仮想現実空間のうち、少なくとも前記検索された発言または文字を含む部分を、前記いずれかのユーザが用いる３次元仮想現実空間再生制御装置で再生させるための再生データを生成する再生データ生成手段と、を備える３次元仮想現実空間提供サーバが提供される。

【図1】

【図2】