特許 6980150 ３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間表示制御装置、３次元仮想現実空間表示制御方法、３次元仮想現実空間表示制御プログラムおよび３次元仮想現実空間提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6980150

(24)【登録日】2021年11月18日

(45)【発行日】2021年12月15日

(54)【発明の名称】３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間表示制御装置、３次元仮想現実空間表示制御方法、３次元仮想現実空間表示制御プログラムおよび３次元仮想現実空間提供システム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20211202BHJP

   G06F 3/0481 20130101ALI20211202BHJP

   G06F 3/01 20060101ALI20211202BHJP

   G06F 3/16 20060101ALI20211202BHJP

   H04N 7/15 20060101ALI20211202BHJP

【ＦＩ】

   G06F13/00 650R

   G06F3/0481 150

   G06F3/01 510

   G06F3/16 620

   H04N7/15

   H04N7/15 120

   H04N7/15 170

【請求項の数】21

【全頁数】22

(21)【出願番号】特願2021-514437(P2021-514437)

(86)(22)【出願日】2020年11月6日

(86)【国際出願番号】JP2020041459

【審査請求日】2021年3月15日

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２００９０７０１．ｐｄｆウェブサイトの掲載日：２０２０年９月７日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｋｙｏｄｏ．ｎｅｗｓｍａｒｔ．ｊｐ／ｓｐｐｒｇｈ／２０２０／０９／ｐｏｓｔ−６８１８２７．ｐｈｐ ウェブサイトの掲載日：２０２０年９月７日 公開者名：株式会社全国新聞ネット ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＸＭＺＯ６３５５０２１０Ｘ００Ｃ２０Ａ９９１６Ｍ００／ ウェブサイトの掲載日：２０２０年９月７日 公開者名：株式会社日本経済新聞社 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｍｏｇｕｒａｖｒ．ｃｏｍ／ｒｏｚｅｔｔａ−ｖｒ−ｏｆｆｉｃｅ／ ウェブサイトの掲載日：２０２０年９月９日 公開者名：株式会社Ｍｏｇｕｒａ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ａｂｅｍａ．ｔｖ／ｖｉｄｅｏ／ｔｉｔｌｅ／８９−７６ ウェブサイトの掲載日：２０２０年９月１３日 公開者名：株式会社ＡｂｅｍａＴＶ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝９９ｓａＴｏａ９Ｏ８Ｍ＆ｆｅａｔｕｒｅ＝ｅｍｂ＿ｌｏｇｏ ウェブサイトの掲載日：２０２０年９月１７日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２００９１７０１．ｐｄｆ ウェブサイトの掲載日：２０２０年９月１７日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２００９２８０１．ｐｄｆウェブサイトの掲載日：２０２０年９月２８日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１００９０１．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月９日公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｎｅｗｓｐｉｃｋｓ．ｃｏｍ／ｎｅｗｓ／５２７６８９１／ｂｏｄｙ／？ｒｅｆ＝ｉｎｄｅｘ ウェブサイトの掲載日：２０２０年１０月７日 公開者名：株式会社ニューズピックス

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１０１３０１．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月１３日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１０１５０４．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月１５日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｚｅｔｔａ．ｊｐ／ｄｏｗｎｌｏａｄ／２０２０１０１６０１．ｐｄｆ ウェブサイトの掲載日：２０２０年１０月１６日 公開者名：株式会社ロゼッタ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ａｕｄｅｅ．ｊｐ／ｖｏｉｃｅ／ｓｈｏｗ／２４５４２ ウェブサイトの掲載日：２０２０年１０月１８日 公開者名：株式会社ジャパンエフエムネットワーク ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｘｔｅｃｈ．ｎｉｋｋｅｉ．ｃｏｍ／ａｔｃｌ／ｎｘｔ／ｃｏｌｕｍｎ／１８／００１３８／１０１３００６４８／ ウェブサイトの掲載日：２０２０年１０月１４日 公開者名：株式会社日経ＢＰ

【新規性喪失の例外の表示】特許法第３０条第２項適用 放送番組：ＴＢＳテレビ Ｎスタ（１５時４９分〜） 放送日：２０２０年９月９日 公開者名：株式会社ＴＢＳテレビ 放送番組：テレビ朝日 報道ステーション（２１時５４分〜） 放送日：２０２０年９月２９日 公開者名：株式会社テレビ朝日 放送番組：テレビ朝日 羽鳥慎一モーニングショー（８時００分〜）放送日：２０２０年１０月７日 公開者名：株式会社テレビ朝日 放送番組：Ｔｏｋｙｏ ＦＭ ５０Ａｒｔｉｓｔｓ（２０時〜） 放送日：２０２０年１０月１８日 公開者名：株式会社エフエム東京

【新規性喪失の例外の表示】特許法第３０条第２項適用 刊行物：日本経済新聞、２０２０年９月８日付朝刊発行日：２０２０年９月８日 公開者名：株式会社日本経済新聞社 刊行物：四国新聞、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社四国新聞社 刊行物：静岡新聞、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社静岡新聞社 刊行物：岩手日報、２０２０年９月８日付朝刊 発行日：２０２０年９月８日 公開者名：株式会社岩手日報 刊行物：京都新聞、２０２０年９月９日付朝刊 発行日：２０２０年９月９日 公開者名：株式会社京都新聞社

【早期審査対象出願】

(73)【特許権者】

【識別番号】504315532

【氏名又は名称】株式会社メタリアル

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(72)【発明者】

【氏名】五石 順一

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２００１−３２５２０２（ＪＰ，Ａ）

【文献】 特開平０８−０９５９１９（ＪＰ，Ａ）

【文献】 米国特許第０８８０６３５４（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１３／０２９３５７７（ＵＳ，Ａ１）

【文献】 特開２０１８−１９１１８６（ＪＰ，Ａ）

【文献】 特開２０１５−０６０５７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｈ０４Ｎ ７／１５

(57)【特許請求の範囲】

【請求項1】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、
前記複数のアバターのそれぞれは、
対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、
対応するユーザによって設定された言語が関連付けられている、
３次元仮想現実空間生成手段と、
前記３次元仮想現実空間内における前記複数のアバターの発言を翻訳する翻訳手段と、
第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での第３アバターからの発言に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、
各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であり、前記第１時点の設定を受け付ける設定手段と、を備え、
前記設定手段は、前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、３次元仮想現実空間提供サーバ。

【請求項2】

前記複数のアバターは、
前記第１言語が関連付けられた、前記第１ユーザに対応する前記第１アバターと、
前記第２言語が関連付けられた、第２ユーザに対応する前記第２アバターと、
前記第１言語が関連付けられた、第３ユーザに対応する前記第３アバターと、
を含み、
前記翻訳手段は、
前記第１言語での前記第１アバターの発言を前記第２言語に翻訳し、
前記第２言語での前記第２アバターの発言を前記第１言語に翻訳し、
前記第１言語での前記第３アバターの発言を前記第２言語に翻訳し、
前記出力データ生成手段は、
前記第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記翻訳手段によって前記第２言語に翻訳された前記第１言語での前記第３アバターからの発言に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成し、
前記第２ユーザが用いる３次元仮想現実空間表示制御装置用に、前記第１言語での第１アバターおよび前記第３アバターからの発言を前記翻訳手段が前記第２言語に翻訳して得られた第１字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成し、
前記第３ユーザが用いる３次元仮想現実空間表示制御装置用に、前記第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記翻訳手段によって前記第２言語に翻訳された前記第１言語での前記第１アバターからの発言に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する、請求項１に記載の３次元仮想現実空間提供サーバ。

【請求項3】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、
前記３次元仮想現実空間内の文字を翻訳する翻訳手段と、
第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での文字に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、３次元仮想現実空間提供サーバ。

【請求項4】

前記複数のアバターは、
前記第１言語が関連付けられた、前記第１ユーザに対応する前記第１アバターと、
前記第２言語が関連付けられた、第２ユーザに対応する第２アバターと、
を含み、
前記翻訳手段は、
前記３次元仮想現実空間内の前記第１言語での文字を前記第２言語に翻訳し、
前記３次元仮想現実空間内の前記第２言語での文字を前記第１言語に翻訳し、
前記出力データ生成手段は、
前記第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記３次元仮想現実空間における、前記第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって前記第２言語に翻訳された前記第１言語での文字に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成し、
前記第２ユーザが用いる３次元仮想現実空間表示制御装置用に、前記３次元仮想現実空間における、前記第１言語での文字を前記翻訳手段が前記第２言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって前記第１言語に翻訳された前記第２言語での文字に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する、請求項３に記載の３次元仮想現実空間提供サーバ。

【請求項5】

前記翻訳手段は、前記３次元仮想現実空間内で用いられる資料における文字を翻訳する、請求項３または４に記載の３次元仮想現実空間提供サーバ。

【請求項6】

前記資料は、電子ファイルである、請求項５に記載の３次元仮想現実空間提供サーバ。

【請求項7】

前記第２字幕の大きさは、前記第１アバターと、前記翻訳された文字と、の前記３次元仮想現実空間における距離に依存する、請求項３乃至６のいずれかに記載の３次元仮想現実空間提供サーバ。

【請求項8】

各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることができ、
前記第１時点の設定を受け付ける設定手段を備える請求項３乃至７のいずれかに記載の３次元仮想現実空間提供サーバ。

【請求項9】

前記設定手段は、前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、請求項８に記載の３次元仮想現実空間提供サーバ。

【請求項10】

前記翻訳手段は、前記３次元仮想現実空間内の文字を翻訳し、
前記出力データ生成手段は、前記第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記３次元仮想現実空間における、前記第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記第１言語での文字を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成する、請求項１に記載の３次元仮想現実空間提供サーバ。

【請求項11】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップであって、
前記複数のアバターのそれぞれは、
対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、
対応するユーザによって設定された言語が関連付けられている、
３次元仮想現実空間生成ステップと、
前記３次元仮想現実空間内における前記複数のアバターの発言を翻訳する翻訳ステップと、
第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳ステップにて前記第１言語に翻訳して得られた第１字幕を含むが、前記第１言語での第３アバターからの発言を前記翻訳ステップにて他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、
各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であり、前記第１時点の設定を受け付ける設定ステップと、を備え、
前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、３次元仮想現実空間提供方法。

【請求項12】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成ステップと、
前記３次元仮想現実空間内の文字を翻訳する翻訳ステップと、
第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳ステップにて前記第１言語に翻訳して得られた第２字幕を含むが、前記第１言語での文字を前記翻訳ステップにて他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、を備える、３次元仮想現実空間提供方法。

【請求項13】

コンピュータを、
複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、
前記複数のアバターのそれぞれは、
対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、
対応するユーザによって設定された言語が関連付けられている、
３次元仮想現実空間生成手段と、
前記３次元仮想現実空間内における前記複数のアバターの発言を翻訳する翻訳手段と、
第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記第１言語での第３アバターからの発言を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、
各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であり、前記第１時点の設定を受け付ける設定手段と、として機能させ、
前記設定手段は、前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、３次元仮想現実空間提供プログラム。

【請求項14】

コンピュータを、
複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、
前記３次元仮想現実空間内の文字を翻訳する翻訳手段と、
第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置用に、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での第３アバターからの発言に基づく字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、として機能させる、３次元仮想現実空間提供プログラム。

【請求項15】

ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置であって、
ディスプレイと、
前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、
前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での第３アバターからの発言に基づく字幕を含まない、複数のアバターが活動する３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、
前記ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であり、前記第１時点の設定を受け付ける設定手段と、を備え、
前記設定手段は、前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける３次元仮想現実空間表示制御装置。

【請求項16】

ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置であって、
ディスプレイと、
前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、
前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での文字を翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での文字に基づく字幕を含まない、複数のアバターが活動する３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える３次元仮想現実空間表示制御装置。

【請求項17】

ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置おける３次元仮想現実空間表示制御方法であって、
前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定ステップと、
前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での第３アバターからの発言に基づく字幕を含まない、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、
前記ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であり、前記第１時点の設定を受け付ける設定ステップと、を備え、
前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける３次元仮想現実空間表示制御方法。

【請求項18】

ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置おける３次元仮想現実空間表示制御方法であって、
前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定ステップと、
前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での文字を翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での文字に基づく字幕を含まない、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、を備える３次元仮想現実空間表示制御方法。

【請求項19】

ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置を、
前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、
前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳手段が前記第１言語に翻訳して得られた第１字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での第３アバターからの発言に基づく字幕を含まない、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、
前記ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることが可能であり、前記第１時点の設定を受け付ける設定手段と、として機能させ、
前記設定手段は、前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける３次元仮想現実空間表示制御プログラム。

【請求項20】

ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置を、
前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、
前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での文字を翻訳手段が前記第１言語に翻訳して得られた第２字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第１言語での文字に基づく字幕を含まない、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、として機能させる３次元仮想現実空間表示制御プログラム。

【請求項21】

請求項１乃至１０のいずれかに記載の３次元仮想現実空間提供サーバと、
請求項１５または１６に記載の３次元仮想現実空間表示制御装置と、を備える３次元仮想現実空間提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間表示制御装置、３次元仮想現実空間表示制御方法、３次元仮想現実空間表示制御プログラムおよび３次元仮想現実空間提供システムに関する。

【背景技術】

【0002】

母国語以外の言語を読んだり聞いたりするのは容易なことではない。このことは現実世界においても、３次元仮想現実空間においても変わるところはない。なお、特許文献１は２次元仮想現実空間に関する開示があるに過ぎない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−２３０８０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、言語の壁を超えたコミュニケーションを容易にする３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間表示制御装置、３次元仮想現実空間表示制御方法、３次元仮想現実空間表示制御プログラムおよび３次元仮想現実空間提供システムを提供することである。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、前記３次元仮想現実空間内におけるアバターの発言と、前記３次元仮想現実空間内の文字と、を翻訳する翻訳手段と、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕と、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕と、を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。

【0006】

本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、前記３次元仮想現実空間内におけるアバターの発言を翻訳する翻訳手段と、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。

【0007】

本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、前記３次元仮想現実空間内の文字を翻訳する翻訳手段と、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。

【0008】

前記出力データ生成手段は、前記第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記第１言語での第３アバターからの発言を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成してもよい。

【0009】

前記複数のアバターのそれぞれは、対応するユーザが用いるコントローラに対する操作に応じて前記３次元仮想現実空間内を移動可能であり、前記出力データ生成手段は、前記第１アバターと前記第２アバターとの前記３次元仮想現実空間内での距離が所定値以下である場合には、前記第１字幕を含む前記３次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成するが、前記第１アバターと前記第２アバターとの前記３次元仮想現実空間内での距離が所定値を超える場合には、前記第１字幕を含まない前記３次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成してもよい。

【0010】

前記出力データ生成手段は、前記第１字幕を前記第２アバターに関連付けて表示させるための前記表示データを生成してもよい。

【0011】

前記出力データ生成手段は、前記第１字幕を前記第２アバターの胸元に表示させるための前記表示データを生成してもよい。

【0012】

前記出力データ生成手段は、前記第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記３次元仮想現実空間における、前記第１言語での文字を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成してもよい。

【0013】

前記翻訳手段は、前記３次元仮想現実空間内で用いられる資料における文字を翻訳してもよい。

【0014】

前記翻訳手段は、前記複数のアバターのいずれかのアバターに対応するいずれかのユーザが用いるコントローラに対する操作に応じて、前記いずれかのアバターが前記３次元仮想現実空間内に書いた文字を翻訳してもよい。

【0015】

前記第２字幕の大きさは、前記第１アバターと、前記翻訳された文字と、の前記３次元仮想現実空間における距離に依存してもよい。

【0016】

前記出力データ生成手段は、前記翻訳された文字と関連付けて前記第２字幕を表示させるための前記表示データを生成してもよい。

【0017】

前記出力データ生成手段は、前記翻訳された文字を視認できるよう前記第２字幕を表示させるための前記表示データを生成してもよい。

【0018】

前記出力データ生成手段は、前記翻訳された文字に重ねて前記第２字幕を表示させるための前記表示データを生成してもよい。

【0019】

前記出力データ生成手段は、前記第１アバターに対応するユーザの設定に応じて、前記翻訳された文字を視認できるよう前記第２字幕を表示させるための前記表示データ、または、前記翻訳された文字に重ねて前記第２字幕を表示させるための前記表示データを生成してもよい。

【0020】

各ユーザは、第１時点から第２時点までの期間に限って、アバターを前記３次元仮想現実空間で活動させることができ、前記第１時点の設定を受け付ける設定手段を備えてもよい。

【0021】

前記設定手段は、前記第１時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付けてもよい。

【0022】

前記第１言語は、前記第１ユーザの母国語であってもよい。

【0023】

本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成ステップと、前記３次元仮想現実空間内におけるアバターの発言を翻訳する翻訳ステップと、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳ステップにて前記第１言語に翻訳して得られた第１字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、を備える、仮想現実空間提供方法が提供される。

【0024】

本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成ステップと、前記３次元仮想現実空間内の文字を翻訳する翻訳ステップと、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳ステップにて前記第１言語に翻訳して得られた第２字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、を備える、仮想現実空間提供方法が提供される。

【0025】

本発明の一態様によれば、コンピュータを、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、前記３次元仮想現実空間内におけるアバターの発言を翻訳する翻訳手段と、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、として機能させる、仮想現実空間提供プログラムが提供される。

【0026】

本発明の一態様によれば、コンピュータを、複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、前記３次元仮想現実空間内の文字を翻訳する翻訳手段と、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、として機能させる、仮想現実空間提供プログラムが提供される。

【0027】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置であって、ディスプレイと、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳手段が前記第１言語に翻訳して得られた第１字幕と、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕と、を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える３次元仮想現実空間表示制御装置が提供される。

【0028】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置であって、ディスプレイと、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳手段が前記第１言語に翻訳して得られた第１字幕を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える３次元仮想現実空間表示制御装置が提供される。

【0029】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置であって、ディスプレイと、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での文字を翻訳手段が前記第１言語に翻訳して得られた第２字幕を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える３次元仮想現実空間表示制御装置が提供される。

【0030】

前記出力制御手段は、前記第１言語での第３アバターからの発言を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させてもよい。

【0031】

前記第１アバターを前記３次元仮想現実空間内で移動させるためのコントローラを備え、前記出力制御手段は、前記第１アバターと前記第２アバターとの前記３次元仮想現実空間内での距離が所定値以下である場合には、前記第１字幕を含む前記３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させるが、前記第１アバターと前記第２アバターとの前記３次元仮想現実空間内での距離が所定値を超える場合には、前記第１字幕を含まない前記３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させてもよい。

【0032】

前記出力制御手段は、前記第１字幕を前記第２アバターに関連付けて表示させてもよい。

【0033】

前記出力制御手段は、前記第１字幕を前記第２アバターの胸元に表示させてもよい。

【0034】

前記出力制御手段は、前記３次元仮想現実空間における、前記第１言語での文字を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記３次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させてもよい。

【0035】

前記翻訳される文字は、前記３次元仮想現実空間内で用いられる資料における文字であってもよい。

【0036】

前記翻訳される文字は、前記複数のアバターのいずれかのアバターに対応するいずれかのユーザが用いるコントローラに対する操作に応じて、前記いずれかのアバターが前記３次元仮想現実空間内に書いた文字であってもよい。

【0037】

前記第２字幕の大きさは、前記第１アバターと、前記翻訳された文字と、の前記３次元仮想現実空間における距離に依存してもよい。

【0038】

前記出力制御手段は、前記翻訳された文字と関連付けて前記第２字幕を表示させてもよい。

【0039】

前記出力制御手段は、前記翻訳された文字を視認できるよう前記第２字幕を表示させてもよい。

【0040】

前記出力制御手段は、前記翻訳された文字に重ねて前記第２字幕を表示させてもよい。

【0041】

前記出力制御手段は、前記ユーザの設定に応じて、前記翻訳された文字を視認できるよう前記第２字幕を表示させる、または、前記翻訳された文字に重ねて前記第２字幕を表示させてもよい。

【0042】

ユーザは、第１時点から第２時点までの期間に限って、前記第１アバターを前記３次元仮想現実空間で活動させることができ、前記設定手段は、前記第１時点を設定してもよい。

【0043】

前記設定手段は、前記第１時点を設定する際に、前記第１言語を設定してもよい。

【0044】

前記第１言語は、前記ユーザの母国語であってもよい。

【0045】

３次元仮想現実空間表示制御装置は、メガネ型ウェアラブル装置であってもよい。

【0046】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置おける３次元仮想現実空間表示制御方法であって、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定ステップと、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳ステップが前記第１言語に翻訳して得られた第１字幕を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、を備える３次元仮想現実空間表示制御方法が提供される。

【0047】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置おける３次元仮想現実空間表示制御方法であって、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定ステップと、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での文字を翻訳ステップが前記第１言語に翻訳して得られた第２字幕を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、を備える３次元仮想現実空間表示制御方法が提供される。

【0048】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置を、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での第２アバターからの発言を翻訳手段が前記第１言語に翻訳して得られた第１字幕を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、として機能させる３次元仮想現実空間表示制御プログラムが提供される。

【0049】

本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第１アバターを３次元仮想現実空間内で活動させるための３次元仮想現実空間表示制御装置を、前記ユーザの操作に応じて、前記第１アバターに関連付けられる第１言語を設定する設定手段と、前記３次元仮想現実空間内における、前記第１言語とは異なる第２言語での文字を翻訳手段が前記第１言語に翻訳して得られた第２字幕を含む、複数のアバターが活動する３次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、として機能させる３次元仮想現実空間表示制御プログラム。

【0050】

本発明の一態様によれば、上記３次元仮想現実空間提供サーバと、上記３次元仮想現実空間表示制御装置と、を備える３次元仮想現実空間提供システムが提供される。

【図面の簡単な説明】

【0051】

【図1】一実施形態に係るＶＲ空間提供システムの概略構成を示すブロック図。

【図2】記憶部２２に記憶される情報の一例を示す図。

【図3】ＶＲ空間生成部２４が生成するＶＲ空間の一例を模式的に示す図。

【図4A】日本語が関連付けられたアバターＡ０１に対応するユーザＵ０１のユーザデバイス１に表示されるＶＲ空間を模式的に示す図。

【図4B】英語が関連付けられたアバターＡ０３に対応するユーザＵ０３のユーザデバイス１に表示されるＶＲ空間を模式的に示す図。

【図4C】アバターＡ０３に関連付けられた言語が日本語である場合に、ユーザＵ０３のユーザデバイス１に表示されるＶＲ空間を模式的に示す図。

【図4D】ロシア語が関連付けられたアバターＡ０４に対応するユーザＵ０４のユーザデバイス１に表示されるＶＲ空間を模式的に示す図。

【図5】ＶＲ空間生成部２４が生成するＶＲ空間の別の例を模式的に示す図。

【図6A】日本語が関連付けられたアバターＡ０１に対応するユーザＵ０１のユーザデバイス１に表示されるＶＲ空間を模式的に示す図。

【図6B】図６Ａの変形例であるＶＲ空間を模式的に示す図。

【図6C】英語が関連付けられたアバターＡ０２に対応するユーザＵ０２のユーザデバイス１に表示されるＶＲ空間を模式的に示す図。

【発明を実施するための形態】

【0052】

以下、図面を用いて実施形態を説明する。本実施形態は、複数のユーザのそれぞれに対応する複数のアバターが仮想現実（Virtual Reality、以下「ＶＲ」という）空間内で活動するものである。ＶＲ空間内で複数の言語が使用され得るが、これを適切に翻訳することで、言語の壁を軽減する。なお、本実施形態では、３次元的に拡がる３次元ＶＲ空間を想定しており、特に断らない限り、単にＶＲ空間といった場合には３次元ＶＲ空間を指すものとする。

【0053】

図１は、一実施形態に係るＶＲ空間提供システムの概略構成を示すブロック図である。このＶＲ空間提供システムは、ユーザが用いるＶＲ空間表示制御装置（以下、単に「ユーザデバイス１」という）と、ＶＲ空間提供サーバ（以下、単に「サーバ２」という）とを備えている。図１には１つのユーザデバイス１のみを描いているが、実際にはＶＲ空間提供システムは２以上のユーザデバイス１を含み得る。

【0054】

ユーザデバイス１は、ユーザに対応するアバターをＶＲ空間内で活動させたり、ＶＲ空間の様子を見たり聞いたりするために用いられる。ユーザデバイス１は、ゴーグル、スマートグラス（眼鏡型ウェアラブル装置）、レンズといったＶＲ機器であり、通信部１１と、ディスプレイ１２と、スピーカ１３と、コントローラ１４と、マイク１５とを有する。

【0055】

通信部１１は、サーバ２に種々のデータや情報を送信したり、サーバ２から種々のデータや情報を受信したりする。サーバ２との通信手段に特に制限はない。

【0056】

ディスプレイ１２はＶＲ空間を表示する。より具体的には、ディスプレイ１２は、ＶＲ空間における他のアバターの活動や、ＶＲ空間で用いられる各種ドキュメントなどを表示する。ディスプレイ１２は立体表示可能であるのが望ましい。ユーザデバイス１がスマートグラス等である場合、ディスプレイ１２は右眼用ディスプレイおよび左眼用ディスプレイを含む。

【0057】

後述するように、本実施形態のディスプレイ１２は、他のアバターによる発言がユーザの母国語とは異なる場合、この発言をユーザの母国語に翻訳して得られる字幕を表示する。また、ディスプレイ１２は、ＶＲ空間における文字がユーザの母国語とは異なる場合、この文字をユーザの母国語に翻訳して得られる字幕を表示する。ディスプレイ１２に表示するために必要な表示データは、通信部１１を介してサーバ２から受信される。

【0058】

スピーカ１３はＶＲ空間における音声（例えば、他のアバターの発言）を再生する。スピーカ１３で再生するために必要な音声データは、通信部１１を介してサーバ２から受信される。

【0059】

コントローラ１４はユーザに対応するアバターをＶＲ空間内で活動させるために用いられる。例えば、ユーザによるコントローラ１４に対する所定動作に応じて、アバターはＶＲ空間内を移動できる。また、ユーザによるコントローラ１４に対する所定動作に応じて、ＶＲ空間内で所望の資料（電子ファイル）を開くことができる。さらに、ユーザによるコントローラ１４に対する操作に応じて、ＶＲ空間内で文字を書くことができる。コントローラ１４に対するユーザの操作を示す情報は、通信部１１からサーバ２に送信される。

【0060】

マイク１５はユーザに対応するアバターにＶＲ空間内で発言させるために用いられる。すなわち、マイク１５が拾ったユーザの音声がユーザに対応するアバターの発言としてＶＲ空間内で再生される。マイク１５が拾ったユーザの音声を示す情報は、通信部１１からサーバ２に送信される。

【0061】

また、ユーザデバイス１は設定部１６および出力制御部１７を有する。これらの機能の一部または全部は、ハードウェアで構成されてもよいし、ユーザデバイス１のプロセッサが所定のプログラムを実行することによって実現されてもよい。

【0062】

本実施形態におけるＶＲ空間は、貸会議室や貸しオフィスなど、特定の期間に限って使用可能であってよい。なお、ここでの「使用」とは、ユーザがＶＲ空間内でアバターを活動させることを意味する。設定部１６はＶＲ空間を使用するための予約行う。設定部１６は、ＶＲ空間の予約のために必要な予約情報を、コントローラ１４あるいはマイク１５を用いたユーザ操作を介して受け付ける。そして、設定部１６は予約情報をサーバ２に送信することで、ＶＲ空間を予約する。

【0063】

ここで、予約情報は、ＶＲ空間の使用開始時点および使用終了時点、ユーザを特定する情報（ユーザＩＤ）を示す情報を含み得る。ユーザＩＤは、自身を特定するユーザＩＤのみでもよいし、ＶＲ空間を使用する他ユーザのユーザＩＤを含んでいてもよい。なお、予約情報は、ＶＲ空間の使用終了時点に代えて、ＶＲ空間の使用期間を示す情報を含んでいてもよい。

【0064】

そして、本実施形態においては、予約情報はユーザの母国語を示す情報を含んでいてもよい。他ユーザを特定するユーザＩＤも設定する場合、予約情報はユーザのそれぞれについて母国語を示す情報を含んでいてもよい。これにより、ＶＲ空間の使用開始時点を設定する際に、母国語を設定することとなり、これによってアバターと母国語（あるいはユーザと母国語）とが関連付けられる。なお、本実施形態では、ユーザの母国語を設定することとするが、必ずしも母国語でなく、得意な言語や練習したい言語など、母国語以外であっても任意の言語を設定できる。

【0065】

出力制御部１７は、ディスプレイ１２にＶＲ空間の少なくとも一部を表示させる制御や、スピーカ１３からＶＲ空間における音声などを再生させる制御を行う。より具体的には、出力制御部１７は、ＶＲ空間を表示させるために必要な表示データを通信部１１を介してサーバ２から受信し、この表示データに基づいて表示制御を行う。また、出力制御部１７は、ＶＲ空間における音声を再生させるために必要な音声データをサーバ２から受信し、この音声データに基づいて再生制御を行う。

【0066】

一方、サーバ２は、通信部２１と、記憶部２２とを有する。通信部２１は、サーバ２に種々のデータや情報を送信したり、サーバ２から種々のデータや情報を受信したりする。サーバ２との通信手段に特に制限はない。記憶部２２は種々のデータや情報を記憶する。

【0067】

また、サーバ２は、制御部２３と、ＶＲ空間生成部２４と、翻訳部２５と、出力データ生成部２６とを有する。これらの機能の一部または全部は、ハードウェアで構成されてもよいし、サーバ２のプロセッサが所定のプログラムを実行することによって実現されてもよい。

【0068】

制御部２３はユーザデバイス１からの予約情報に基づいてＶＲ空間の予約を行う。これにより、予約情報に含まれるユーザＩＤで特定されるユーザが自身に対応するアバターをＶＲ空間内で活動させることができるようになる。また、制御部２３は、アバターと、ユーザの母国語との関連付けを行い、この関連付けを示す情報を記憶部２２に記憶する。

【0069】

図２は、記憶部２２に記憶される情報の一例を示す図である。本例では、ユーザＩＤがＵ０１〜Ｕ０４で特定されるユーザ（以下、単に「ユーザＵ０１」等という）がＶＲ空間を使用可能であり、そのそれぞれのアバターはＡ０１〜Ａ０４で特定される。ユーザＵ０１〜Ｕ０４の母国語は、それぞれ日本語、英語、英語およびロシア語である。すなわち、アバターＡ０１〜Ａ０４には、それぞれ日本語、英語、英語およびロシア語が関連付けられている。アバターＡ０１〜Ａ０４には、対応するユーザＵ０１〜Ｕ０４の母国語がそれぞれ関連付けられているとも言える。

【0070】

以下では、このようなアバターと言語との関連付けがなされているとして、例示的な説明を行う。

【0071】

図１に戻り、ＶＲ空間生成部２４は複数のユーザにそれぞれ対応するアバターが活動するＶＲ空間を生成する。また、ＶＲ空間生成部２４は、ユーザデバイス１のコントローラ１４に対するユーザ操作や、マイク１５が拾った音声を通信部２１を介して受信し、ＶＲ空間に反映させる。

【0072】

例えば、あるユーザがアバターを移動させるための操作をコントローラ１４に対して行った場合、ＶＲ空間生成部２４はその操作に応じて当該ユーザに対応するアバターをＶＲ空間内で移動させる。すなわち、アバターは、対応するユーザが用いるコントローラ１４に対する操作に応じて、ＶＲ空間内を移動可能である。

【0073】

また、あるユーザがマイク１５に対して発話した場合、ＶＲ空間生成部２４はその発話に応じて当該ユーザに対応するアバターをＶＲ空間内で発言させる。すなわち、アバターは、対応するユーザが用いるマイク１５に対する発話によって、ＶＲ空間内で発言可能である。

【0074】

翻訳部２５はＶＲ空間内におけるアバターの発言の翻訳を行う。例えば、図２では、母国語として日本語、英語およびロシア語が設定されている。そこで、翻訳部２５は、アバターＡ０１による日本語での発言を、英語およびロシア語に翻訳する。また、翻訳部２５は、アバターＡ０２，Ａ０３による英語での発言を、日本語およびロシア語に翻訳する。さらに、翻訳部２５は、アバターＡ０４によるロシア語の発言を、日本語および英語に翻訳する。

【0075】

なお、翻訳部２５は、日本語が関連付けられたアバターＡ０１からの発言は日本語であるとみなして翻訳を行ってもよい。あるいは、アバターＡ０１が日本語以外の言語で発言する可能性も考慮し、翻訳部２５は言語を自動検出して翻訳を行ってもよい。翻訳結果は発言したアバターと関連付けて記憶部２２に記憶されてよい。

【0076】

また、翻訳部２５はＶＲ空間内における文字の翻訳を行う。翻訳対象の文字はＶＲ空間内で用いられる資料（例えばいずれかのユーザによるコントローラ１４に対するユーザ操作によって開かれた電子ファイル）における文字を含み得る。また、翻訳対象の文字は、いずれかのユーザによるコントローラ１４に対するユーザ操作によって、対応するアバターがＶＲ空間内で書いた文字を含み得る。

【0077】

例えば、翻訳部２５は日本語で書かれた文字を英語およびロシア語に翻訳する。また、翻訳部２５は英語で書かれた文字を日本語およびロシア語に翻訳する。さらに、翻訳部２５はロシア語で書かれた文字を日本語および英語に翻訳する。翻訳結果はＶＲ空間における文字の位置と関連付けて記憶部２２に記憶されてよい。

【0078】

出力データ生成部２６はユーザデバイス１のディスプレイ１２にＶＲ空間を表示させるための表示データを生成し、通信部２１からユーザデバイス１に送信する。ユーザデバイス１に表示されるのは、各ユーザに対応するアバターの視点（説明を省略したが、ユーザデバイス１によって取得される）でＶＲ空間を見たＶＲ空間であるから、生成される表示データはユーザによって異なり得る。

【0079】

本実施形態では、翻訳部２５による翻訳結果を利用し、ユーザの母国語に応じたＶＲ空間を表示するための表示データが生成される。

【0080】

例えば、図２におけるユーザＵ０１の母国語は日本語である。そのため、ユーザＵ０１のユーザデバイス１には、ＶＲ空間における英語やロシア語によるアバターの発言を日本語に翻訳して得られた字幕を含む。ただし、ユーザＵ０１のユーザデバイス１には、ＶＲ空間における日本語による発言に対応する字幕を含む必要はない。

【0081】

また、母国語が日本語であるユーザＵ０１のユーザデバイス１には、ＶＲ空間における英語やロシア語で書かれた文字を日本語に翻訳して得られた字幕を含む。ここで、ユーザＵ０１のユーザデバイス１には、ＶＲ空間における日本語で書かれた文字に対応する字幕を含む必要はない。

【0082】

さらに、出力データ生成部２６はユーザデバイス１のスピーカ１３からＶＲ空間内の音声を再生するための音声データを生成し、通信部２１からユーザデバイス１に送信する。ユーザデバイス１で再生される音声は、主としてＶＲ空間内における他ユーザに対応するアバターの発言である。ＶＲ空間におけるユーザに対応するアバターと他のアバターとの距離が小さいほど、当該他のアバターの発言が大きく再生されるよう、音声データが生成される。また、ＶＲ空間において一定距離以上離れたアバターの発言は再生されない。

【0083】

なお、サーバ２は１台の装置から構成されてもよいし、２以上の装置から構成されてもよい。

【0084】

以下、ユーザデバイス１のディスプレイ１２に表示されるＶＲ空間の具体例を述べる。

【0085】

図３は、ＶＲ空間生成部２４が生成するＶＲ空間の一例を模式的に示す図である。同図では、ユーザＵ０１〜Ｕ０４にそれぞれ対応するアバターＡ０１〜Ａ０４がＶＲ空間に配置されている。ただし、アバターＡ０１〜Ａ０３は互いに近接した位置にいるが、アバターＡ０４はアバターＡ０１〜Ａ０３とは離れた位置にいる。また、図２に示すように、アバターＡ０１〜Ａ０４には、それぞれ日本語、英語、英語およびロシア語が関連付けられているものとする。

【0086】

ここで、アバターＡ０２に対応するユーザＵ０２がユーザデバイス１のマイク１５に向かって英語で「Good morning」と発話し、これによってアバターＡ０２がＶＲ空間内で「Good morning」と発言したとする。このとき、アバターＡ０１，Ａ０３およびＡ０４に対応するユーザＵ０１，Ｕ０３，Ｕ０４の各ユーザデバイス１には以下に述べるようなＶＲ空間が表示される。

【0087】

図４Ａは、日本語が関連付けられたアバターＡ０１に対応するユーザＵ０１のユーザデバイス１に表示されるＶＲ空間を模式的に示す図である。具体的には、出力データ生成部２６は、図４Ａに示すようなＶＲ空間を表示させるための表示データを生成し、ユーザＵ０１のユーザデバイス１にこれを送信する。そして、この表示データに基づいて、ユーザデバイス１の出力制御部１７が図４Ａに示すＶＲ空間を表示させる（後述する図４Ｂおよび図４Ｃも同様）。

【0088】

図示のように、母国語を日本語とするユーザＵ０１のユーザデバイス１には、アバターＡ０２の英語での発言を日本語に翻訳して得られた「おはよう」なる字幕Ｃ１を含むＶＲ空間が表示される。この字幕は発言者であるアバターＡ０２に関連付けて表示されるのが望ましく、例えばアバターＡ０２の胸元に字幕が表示される。

【0089】

図４Ｂは、英語が関連付けられたアバターＡ０３に対応するユーザＵ０３のユーザデバイス１に表示されるＶＲ空間を模式的に示す図である。図示のように、英語を母国語とするユーザＵ０３のユーザデバイス１には、アバターＡ０２の英語での発言を他言語に翻訳して得られた字幕を含まないＶＲ空間が表示される。

【0090】

なお、仮にアバターＡ０３に関連付けられた言語が日本語である場合、図４Ｃに示すように、日本語「おはよう」の字幕Ｃ１がアバターＡ０２に関連付けて表示されることとなる。このように、アバターＡ０３に関連付けられる言語によって、ユーザＵ０３にとっての見え方が異なる。

【0091】

図４Ｄは、ロシア語が関連付けられたアバターＡ０４に対応するユーザＵ０４のユーザデバイス１に表示されるＶＲ空間を模式的に示す図である。アバターＡ０４にはロシア語が関連付けられているが、ユーザＵ０４のユーザデバイス１には、アバターＡ０２の英語での発言をロシア語など他言語に翻訳して得られた字幕を含まないＶＲ空間が表示される。その理由は、図３に示すように、ＶＲ空間において、アバターＡ０４はアバターＡ０２から離れた位置にいるからである。

【0092】

このように、互いに異なる言語が関連付けられたアバターどうしのＶＲ空間内での距離が所定値以下である場合には、相手の発言を翻訳して得られる字幕が表示される。一方、互いに異なる言語が関連付けられたアバターどうしのＶＲ空間内での距離が所定値を超える場合には、相手の発言を翻訳して得られる字幕が表示されない。離れた位置にいるアバターの発言は聞こえないためである。

【0093】

図５は、ＶＲ空間生成部２４が生成するＶＲ空間の別の例を模式的に示す図である。同図では、ユーザＵ０１，Ｕ０２にそれぞれ対応するアバターＡ０１，Ａ０２と、仮想的なホワイトボードＷがＶＲ空間に配置されている。そして、ホワイトボードＷには英語で「It's raining」と書かれている。また、図２に示すように、アバターＡ０１，Ａ０２には、それぞれ日本語および英語が関連付けられているものとする。

【0094】

図６Ａは、日本語が関連付けられたアバターＡ０１に対応するユーザＵ０１のユーザデバイス１に表示されるＶＲ空間を模式的に示す図である。図示のように、日本語を母国語とするユーザＵ０１のユーザデバイス１には、英語で書かれた文字「It's raining」を日本語に翻訳して得られた「雨が降っている」なる字幕Ｃ２を含むＶＲ空間が表示される。

【0095】

この字幕は英語で書かれた文字に関連付けて表示されるのが望ましい。例えば、図５Ａでは、英語の文字「It's raining」を視認できるよう、その近傍に日本語の字幕Ｃ２が表示される。あるいは、図６Ｂに示すように、英語の文字「It's raining」に重ねて日本語の字幕Ｃ２が表示されてもよい。この場合、英語の文字が視認できなくてもよい。また、図６Ａのように表示するか、図６Ｂのように表示するか、をユーザＵ０１が予め設定できてもよい。

【0096】

さらに、字幕の大きさは、ＶＲ空間におけるアバターＡ０１と文字との距離に応じたものであってもよい。具体的には、ＶＲ空間において、アバターＡ０１と近い文字ほど、その文字を翻訳して得られる字幕を大きく表示してもよい。

【0097】

図６Ｃは、英語が関連付けられたアバターＡ０２に対応するユーザＵ０２のユーザデバイス１に表示されるＶＲ空間を模式的に示す図である。図示のように、英語を母国語とするユーザＵ０２のユーザデバイス１には、英語で書かれた文字「It's raining」を他言語に翻訳して得られた字幕を含まないＶＲ空間が表示される。

【0098】

このように、本実施形態では、ＶＲ空間において、母国語とは異なる言語での発言を母国語に翻訳して字幕を表示する。また、ＶＲ空間において、母国語とは異なる言語で書かれた文字を母国語に翻訳して字幕で表示する。そのため、ＶＲ空間において言語を超えたコミュニケーションが容易となる。

【0099】

なお、アバターと言語とを関連付けるタイミングは予約時に限らず、任意である。例えば、アバターがＶＲ空間で活動している時に、関連付けられている言語を変更できてもよい。

【0100】

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

【符号の説明】

【0101】

１ ３次元ＶＲ空間表示制御装置（ユーザデバイス）
１１ 通信部
１２ ディスプレイ
１３ スピーカ
１４ コントローラ
１５ マイク
１６ 設定部
１７ 出力制御部
２ ３次元ＶＲ空間提供サーバ
２１ 通信部
２２ 記憶部
２３ 制御部
２４ ＶＲ空間生成部
２５ 翻訳部
２６ 出力データ生成部

【要約】

複数のユーザにそれぞれ対応する複数のアバターが活動する３次元仮想現実空間を生成する３次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記３次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、３次元仮想現実空間生成手段と、前記３次元仮想現実空間内におけるアバターの発言と、前記３次元仮想現実空間内の文字と、を翻訳する翻訳手段と、第１言語が関連付けられた第１アバターに対応する第１ユーザが用いる３次元仮想現実空間表示制御装置に、前記第１言語とは異なる第２言語での第２アバターからの発言を前記翻訳手段が前記第１言語に翻訳して得られた第１字幕と、前記３次元仮想現実空間における、前記第１言語とは異なる第２言語での文字を前記翻訳手段が前記第１言語に翻訳して得られた第２字幕と、を含む、前記３次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【図6C】