▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185267
(43)【公開日】2022-12-14
(54)【発明の名称】通信システム、通信方法及び通信プログラム
(51)【国際特許分類】
A63F 13/60 20140101AFI20221207BHJP
G06F 3/01 20060101ALI20221207BHJP
G06F 3/16 20060101ALI20221207BHJP
G06F 13/00 20060101ALI20221207BHJP
A63F 13/35 20140101ALI20221207BHJP
A63F 13/216 20140101ALI20221207BHJP
A63F 13/52 20140101ALI20221207BHJP
A63F 13/53 20140101ALI20221207BHJP
A63F 13/25 20140101ALI20221207BHJP
G09G 5/00 20060101ALI20221207BHJP
G06Q 50/10 20120101ALI20221207BHJP
【ＦＩ】
A63F13/60
G06F3/01 510
G06F3/16 500
G06F13/00 650R
A63F13/35
A63F13/216
A63F13/52
A63F13/53
A63F13/25
G09G5/00 510Q
G09G5/00 550C
G09G5/00 555D
G06Q50/10
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021092820
(22)【出願日】2021-06-02
(71)【出願人】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中村 俊允
(72)【発明者】
【氏名】村井 仁美
(72)【発明者】
【氏名】萬國谷 忠
【テーマコード（参考）】
5B084
5C182
5E555
5L049
【Ｆターム（参考）】
5B084AA02
5B084AA05
5B084AA18
5B084AB06
5B084AB13
5B084AB19
5B084AB31
5B084AB39
5B084AB40
5B084BA03
5B084BB14
5B084CA07
5B084CB06
5B084CB23
5B084CC07
5B084CC14
5B084CE04
5B084CE07
5B084CE12
5B084CF03
5B084CF12
5B084DB02
5B084DB07
5B084DB08
5B084DC02
5B084DC03
5B084DC06
5B084EA17
5B084EA47
5C182AA22
5C182AA31
5C182AB08
5C182AB14
5C182AB33
5C182AB35
5C182AC03
5C182AC43
5C182BA14
5C182BA29
5C182BA35
5C182BA47
5C182BA75
5C182BC01
5C182BC14
5C182BC22
5C182BC25
5C182BC26
5C182CB54
5C182CC21
5C182DA02
5C182DA04
5C182DA14
5C182DA44
5E555AA63
5E555AA76
5E555BA04
5E555BA05
5E555BA06
5E555BA20
5E555BB04
5E555BB05
5E555BB06
5E555BB38
5E555BC04
5E555BE17
5E555CA42
5E555CA45
5E555CA47
5E555CB78
5E555CB82
5E555DA08
5E555DA09
5E555DA23
5E555DB53
5E555DC09
5E555DC84
5E555DD06
5E555EA07
5E555EA09
5E555EA14
5E555EA22
5E555EA23
5E555FA00
5L049CC18
5L049CC26
(57)【要約】
【課題】リアリティのある仮想空間上の体験をユーザに提供することを可能とする。
【解決手段】通信システム１は、ユーザが頭部に装着するＡＲグラス１０と、ユーザが携帯するスマートデバイス３０と、スマートデバイスと通信を行うサーバ４０とを有する通信システムであって、サーバ４０は、少なくともスマートデバイス３０の位置情報と、地図情報とを基に、ユーザの周辺状況を判定し、ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択するコンテンツ選択部と、選択部が選択した仮想的なコンテンツをスマートデバイスに送信する送信部と、を有し、スマートデバイス３０は、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する位置検出部と、仮想的なコンテンツを、ＡＲグラス１０に出力させるＡＲグラス制御部と、を有する。
【選択図】図３
【解決手段】通信システム１は、ユーザが頭部に装着するＡＲグラス１０と、ユーザが携帯するスマートデバイス３０と、スマートデバイスと通信を行うサーバ４０とを有する通信システムであって、サーバ４０は、少なくともスマートデバイス３０の位置情報と、地図情報とを基に、ユーザの周辺状況を判定し、ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択するコンテンツ選択部と、選択部が選択した仮想的なコンテンツをスマートデバイスに送信する送信部と、を有し、スマートデバイス３０は、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する位置検出部と、仮想的なコンテンツを、ＡＲグラス１０に出力させるＡＲグラス制御部と、を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
ユーザが使用する表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、
前記サーバは、
少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する選択部と、
前記選択部が選択した仮想的なコンテンツを前記スマートデバイスに送信する送信部と、
を有し、
前記スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果を前記サーバに送信する位置検出部と、
前記仮想的なコンテンツを、前記表示装置に出力させる制御部と、
を有することを特徴とする通信システム。
前記サーバは、
少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する選択部と、
前記選択部が選択した仮想的なコンテンツを前記スマートデバイスに送信する送信部と、
を有し、
前記スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果を前記サーバに送信する位置検出部と、
前記仮想的なコンテンツを、前記表示装置に出力させる制御部と、
を有することを特徴とする通信システム。
【請求項2】
前記仮想的なコンテンツは、所定の地域の各所定箇所に特有の動植物のキャラクター画像または観光地特有の動物の鳴き声或いは足音の音声であり、
前記選択部は、前記ユーザの周辺状況が前記所定の地域の所定箇所のいずれかの場所に該当することを判定した場合、該当する所定箇所に特有の動植物のキャラクター画像または所定箇所特有の動物の鳴き声或いは足音の音声を、前記仮想的なコンテンツとして選択することを特徴とする請求項１に記載の通信システム。
前記選択部は、前記ユーザの周辺状況が前記所定の地域の所定箇所のいずれかの場所に該当することを判定した場合、該当する所定箇所に特有の動植物のキャラクター画像または所定箇所特有の動物の鳴き声或いは足音の音声を、前記仮想的なコンテンツとして選択することを特徴とする請求項１に記載の通信システム。
【請求項3】
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択部は、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする請求項１または２に記載の通信システム。
前記選択部は、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする請求項１または２に記載の通信システム。
【請求項4】
前記表示装置は、ユーザの頭部に装着され、
前記表示装置は、
実空間の画像を撮像する撮像部と、
音声の入力を受け付ける音声入力部と、
前記スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信する通信部と、
を有し、
当該通信システムは、
前記実空間の画像の特徴を認識する画像認識部と、
前記音声の特徴を認識する音声認識部と、
を有し、
前記選択部は、前記スマートデバイスの位置情報と前記地図情報と、前記画像認識部による画像認識結果または前記音声認識部による音声認識結果を基に、前記ユーザの周辺状況を判定することを特徴とする請求項１～３のいずれか一つに記載の通信システム。
前記表示装置は、
実空間の画像を撮像する撮像部と、
音声の入力を受け付ける音声入力部と、
前記スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信する通信部と、
を有し、
当該通信システムは、
前記実空間の画像の特徴を認識する画像認識部と、
前記音声の特徴を認識する音声認識部と、
を有し、
前記選択部は、前記スマートデバイスの位置情報と前記地図情報と、前記画像認識部による画像認識結果または前記音声認識部による音声認識結果を基に、前記ユーザの周辺状況を判定することを特徴とする請求項１～３のいずれか一つに記載の通信システム。
【請求項5】
前記表示装置は、
画像を表示する表示部と、
音声を出力する音声出力部と、
を有し、
前記制御部は、前記仮想的なコンテンツが前記動植物のキャラクター画像である場合には前記表示部に表示させ、前記仮想的なコンテンツが前記動物の足音或いは鳴き声の音声を前記音声出力部に出力させることを特徴とする請求項１～４のいずれか一つに記載の通信システム。
画像を表示する表示部と、
音声を出力する音声出力部と、
を有し、
前記制御部は、前記仮想的なコンテンツが前記動植物のキャラクター画像である場合には前記表示部に表示させ、前記仮想的なコンテンツが前記動物の足音或いは鳴き声の音声を前記音声出力部に出力させることを特徴とする請求項１～４のいずれか一つに記載の通信システム。
【請求項6】
ユーザが使用する表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムが実行する通信方法であって、
前記サーバが、少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する工程と、
前記サーバが、前記選択する工程において選択された仮想的なコンテンツを前記スマートデバイスに送信する工程と、
前記スマートデバイスが、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する工程と、
前記サーバが、前記仮想的なコンテンツを、前記表示装置に出力させる工程と、
前記表示装置が、前記仮想的なコンテンツを出力する工程と、
を含んだことを特徴とする通信方法。
前記サーバが、少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する工程と、
前記サーバが、前記選択する工程において選択された仮想的なコンテンツを前記スマートデバイスに送信する工程と、
前記スマートデバイスが、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する工程と、
前記サーバが、前記仮想的なコンテンツを、前記表示装置に出力させる工程と、
前記表示装置が、前記仮想的なコンテンツを出力する工程と、
を含んだことを特徴とする通信方法。
【請求項7】
方法をコンピュータに実行させる通信プログラムであって、
サーバとしてのコンピュータに、
少なくともユーザが携帯するスマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択するステップと、
前記選択するステップにおいて選択された仮想的なコンテンツを前記スマートデバイスに送信するステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信するステップと、
前記仮想的なコンテンツを、ユーザが使用する表示装置に出力させるステップと、
を実行させ、
前記表示装置としてのコンピュータに、
前記仮想的なコンテンツを出力するステップ
を実行させることを特徴とする通信プログラム。
サーバとしてのコンピュータに、
少なくともユーザが携帯するスマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択するステップと、
前記選択するステップにおいて選択された仮想的なコンテンツを前記スマートデバイスに送信するステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信するステップと、
前記仮想的なコンテンツを、ユーザが使用する表示装置に出力させるステップと、
を実行させ、
前記表示装置としてのコンピュータに、
前記仮想的なコンテンツを出力するステップ
を実行させることを特徴とする通信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信システム、通信方法及び通信プログラムに関する。
【背景技術】
【0002】
近年、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）をユーザに体感させるＨＭＤ（Head Mounted Display）などが提案されている。このうち、ＡＲ技術を用いたＨＭＤとして、一般的な眼鏡と同様に、ユーザの頭部に装着して使用されるＡＲグラスが提案されている。
【0003】
ＡＲグラスは、ユーザの前方の実空間を撮像し、撮像した実空間の画像を、ＡＲグラスのレンズ部分に相当するディスプレイに表示させる。また、ＡＲグラスは、ＣＧで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。これにより、ＡＲグラスを装着したユーザは、実空間の中に仮想的なコンテンツが重畳されたＡＲ空間を体感することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６６５５７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＡＲグラスのディスプレイにＲＰＧ（Role－Playing Game）コンテンツを表示させることで、ＲＰＧをユーザに体験させるシステムが提案されている。このシステムに対し、リアリティのあるＡＲ体験のユーザへの提供が要望されていた。
【0006】
本発明は、上記に鑑みてなされたものであって、リアリティのある仮想空間上の体験をユーザに提供することを可能とする通信システム、通信方法及び通信プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明の通信システムは、ユーザが使用する表示装置と、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、サーバは、少なくともスマートデバイスの位置情報と、地図情報とを基に、ユーザの周辺状況を判定し、ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する選択部と、選択部が選択した仮想的なコンテンツをスマートデバイスに送信する送信部と、を有し、スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する位置検出部と、仮想的なコンテンツを、表示装置に出力させる制御部と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、リアリティのある仮想空間上の体験をユーザに提供することを可能とする。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本願に係る通信システム、通信方法及び通信プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る通信システム、通信方法及び通信プログラムが限定されるものではない。
【0011】
以下の実施の形態では、実施の形態に係る通信システム、通信方法及び通信プログラムの処理の流れを順に説明し、最後に実施の形態による効果を説明する。
【0012】
［実施の形態］
まず、実施の形態について説明する。実施の形態では、所定の地域、具体的には、観光地（例えば、島）を観光するユーザに、ユーザが使用する表示装置として、例えば、仮想的なＲＰＧコンテンツを表示可能であるＡＲグラスを装着させ、観光地を観光しながら、ＲＰＧも体験可能とするシステムについて説明する。
まず、実施の形態について説明する。実施の形態では、所定の地域、具体的には、観光地（例えば、島）を観光するユーザに、ユーザが使用する表示装置として、例えば、仮想的なＲＰＧコンテンツを表示可能であるＡＲグラスを装着させ、観光地を観光しながら、ＲＰＧも体験可能とするシステムについて説明する。
【0013】
図１は、ＡＲグラスのディスプレイに表示される画像の一例を示す図である。図１に例示するように、実際の島の画像（例えば、森の画像）に、モンスターのコンテンツＣ１やコインのコンテンツＣ２を重畳してＡＲグラスに表示させ、ユーザが、モンスターを倒す、コインを集める、ミッションに取り組むなどのゲーム体験を可能としている。また、ＡＲグラスを装着したユーザ間で通信が可能である。
【0014】
実施の形態では、小さな島全体を活用して、ユーザ自身が体を動かし、さらに、仲間とコミュニケーションを取りながら、その土地ならではのＲＰＧ体験を可能とする。さらに、実施の形態では、ＡＲグラスを装着したユーザ自身が実際に観光するユーザの周辺状況に応じた仮想的なコンテンツをＡＲグラスに出力することで、リアリティのあるＡＲ体験を提供する。仮想的なコンテンツは、例えばＣＧ等で作成された動植物のキャラクター画像、または、動物の鳴き声や足音等の音声である。なお、キャラクター画像は、ゲームキャラクター風の画像に限らず、写真等から作成した画像でもよく、動画も含まれる。
【0015】
［通信システムの構成］
実施の形態に係る通信システムの構成を説明する。図２は、実施の形態に係る通信システムの構成を説明する図である。図３は、実施の形態に係る通信システムの構成の一例を示すブロック図である。
実施の形態に係る通信システムの構成を説明する。図２は、実施の形態に係る通信システムの構成を説明する図である。図３は、実施の形態に係る通信システムの構成の一例を示すブロック図である。
【0016】
図２及び図３に示すように、実施の形態に係る通信システム１は、ＡＲグラス１０（表示装置）、ユーザが手に持つモーションコントローラー２０、ユーザが携帯するスマートデバイス３０、及び、データセンタ等に配置されるサーバ４０を有する。
【0017】
ＡＲグラス１０は、一般的な眼鏡と同様にユーザの頭部に装着される。ＡＲグラス１０は、撮像機能、音声入力機能、通信機能、表示機能、音声出力機能を有する。ＡＲグラス１０は、実空間を撮像し、撮像した実空間の画像を、ＡＲグラス１０のレンズ部分に相当するディスプレイに表示させる。また、ＡＲグラス１０は、スマートデバイス３０の制御の基、ＣＧで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。また、ＡＲグラス１０は、スマートデバイス３０の制御の基、ユーザの周辺状況に応じた仮想的なコンテンツを出力する。
【0018】
モーションコントローラー２０は、ユーザが手に持つコントローラである。モーションコントローラー２０は、例えば、加速度センサと、加速度センサの検出結果をスマートデバイス３０送信する通信機能とを有する。
【0019】
スマートデバイス３０は、ユーザが携帯するデバイスであり、例えば、タブレット、スマートフォン等のスマートデバイスであり、位置検出機能、画像認識機能、音声認識機能を有する。スマートデバイス３０は、ＡＲグラス１０の制御を行う。スマートデバイス３０は、モーションコントローラー２０から送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する。スマートデバイス３０は、ネットワークＮを介して、サーバ４０に接続し、ユーザの位置検出結果、画像認識結果、音声認識結果をサーバ４０に送信する。スマートデバイス３０は、ネットワークＮを介して、サーバ４０から、ＡＲグラス１０が出力する仮想的なコンテンツの提供を受ける。スマートデバイス３０は、ＡＲグラス１０に対する、サーバ４０から提供された仮想的なコンテンツの出力を制御する。
【0020】
サーバ４０は、地図情報及びＡＲ空間上の仮想的なコンテンツを保持するとともに、スマートデバイス３０から送信されたユーザの位置検出結果、画像認識結果、音声認識結果を基に、ユーザの周辺状況を判定する。そして、サーバ４０は、ユーザの周辺状況に応じて仮想的なコンテンツを選択し、スマートデバイス３０に送信する。
【0021】
【0022】
図４に示すように、ＡＲグラス１０は、撮像部１１、音声入力部１２（録音部）、通信部１３、表示部１４及び音声出力部１５を有する。
【0023】
撮像部１１は、実空間を撮像する。例えば、撮像部１１は、撮像部１１の撮像方向がＡＲグラス１０の前方である場合には、ＡＲグラス１０の前方の実空間を撮像する。撮像部１１は、ＣＣＤやＣＭＯＳ等の光電変換素子と、撮像素子から出力される光電変換信号を処理して実空間の画像を生成する。撮像部１１は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の２次元画像を取得する。
【0024】
音声入力部１２は、音声の入力を受け付け、入力された音声を録音するデバイスによって構成される。
【0025】
通信部１３は、スマートデバイス３０との無線通信を行う。通信部１３は、撮像部１１が撮像した画像及び音声入力部１２が録音した音声を、スマートデバイス３０に送信する。通信部１３は、スマートデバイス３０から送信された仮想的なコンテンツを受信する。仮想的なコンテンツは、動植物のキャラクター画像、動物の鳴き声や足音等の音声である。
【0026】
表示部１４は、ディスプレイによって構成される。表示部１４は、撮像部１１が撮像した実空間の画像を表示する。表示部１４は、通信部１３が受信した仮想的なコンテンツのうち、動植物のキャラクター画像を、実空間の画像に重畳して表示する。なお、表示部１４は、透過表示可能なディスプレイであって、仮想的なコンテンツのうち、動植物のキャラクター画像を表示してもよい。
【0027】
音声出力部１５は、音声を出力する。音声出力部１５は、通信部が受信した仮想的なコンテンツのうち、動物の鳴き声や足音等の音声を出力する。
【0028】
［スマートデバイス］
次に、スマートデバイス３０について説明する。図５は、図３に示すスマートデバイス３０の構成の一例を示すブロック図である。図５に示すように、スマートデバイス３０は、通信部３１、記憶部３２及び制御部３３を有する。
次に、スマートデバイス３０について説明する。図５は、図３に示すスマートデバイス３０の構成の一例を示すブロック図である。図５に示すように、スマートデバイス３０は、通信部３１、記憶部３２及び制御部３３を有する。
【0029】
通信部３１は、無線または有線にて他の装置との間で通信を行う。通信部３１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部３１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部３３（後述）との間の通信を行う。例えば、通信部３１は、ＡＲグラス１０から画像、音声を受信し、ＡＲグラス１０に仮想的なコンテンツを送信する。通信部３１は、サーバ４０に、位置検出結果、画像認識結果、音声認識結果を送信し、サーバ４０から仮想的なコンテンツを受信する。
【0030】
記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部３２は、スマートデバイス３０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部３２は、プログラムの実行で用いられる各種情報を記憶する。記憶部３２は、ＡＲグラス１０から送信された画像データ３２１及び音声データ３２２と、サーバ４０から送信された仮想的なコンテンツを含むコンテンツ情報３２３を記憶する。
【0031】
制御部３３は、スマートデバイス３０全体を制御する。制御部３３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部３３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部３３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部３３は、位置検出部３３１、画像認識部３３２、音声認識部３３３、動き検出部３３４、ＡＲグラス制御部３３５（制御部）を有する。
【0032】
位置検出部３３１は、スマートデバイス３０の位置を検出する。位置検出部３３１は、例えば、ＧＰＳ（Global Positioning System）等によりスマートデバイス３０の位置情報が取得可能である。位置検出部３３１は、定期的に、スマートデバイス３０の位置を取得して、緯度及び経度で表した位置情報を、通信部３１を介して、サーバ４０に送信する。
【0033】
画像認識部３３２は、ＡＲグラス１０が撮像した画像を処理し、画像に映るオブジェクトなどの画像の特徴を認識する。画像認識部３３２は、ＡＲグラス１０が撮像した画像の中に映る、動物、植物、風景、建物を認識する。画像認識部３３２は、例えば、機械学習によって、所定の地域、具体的には、ユーザが観光中の観光地に特有の動物、植物、風景、建物等の画像の特徴を学習済みである画像認識モデルを用いて、ＡＲグラス１０が撮像した画像の特徴を認識する。画像認識部３３２は、前後の画像を比べて、画像に所定以上の変化があった場合に、動物、植物、風景、建物を認識する処理を行ってもよい。画像認識部３３２は、画像認識処理結果を、通信部３１を介してサーバ４０に送信する。
【0034】
音声認識部３３３は、ＡＲグラス１０が取得した音声を処理し、音声の特徴を認識する。音声認識部３３３は、ＡＲグラス１０が取得した音声が、いずれの動物の鳴き声または足音であるかを認識する。音声認識部３３３は、ＡＲグラス１０が取得した音声が川の音であるかを認識する。音声認識部３３３は、例えば、機械学習によって、所定の地域、具体的には、ユーザが観光中の観光地に特有の動物の鳴き声や足音、川の音等の音声の特徴を学習済みである音声認識モデルを用いて、ＡＲグラス１０が取得した音声の特徴を認識する。音声認識部３３３は、音声認識処理結果を、通信部３１を介してサーバ４０に送信する。なお、音声認識部３３３は、スマートデバイス３０の音声入力部（不図示）が取得した音声を処理してもよい。
【0035】
なお、画像認識機能及び音声認識機能は、サーバ４０が有してもよい。その際には、スマートデバイス３０は、ＡＲグラス１０が撮像した画像やＡＲグラス１０が取得した音声をサーバ４０に送信する。
【0036】
動き検出部３３４は、モーションコントローラー２０から送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する。
【0037】
ＡＲグラス制御部３３５は、ＡＲグラス１０の処理を制御する。例えば、ＡＲグラス制御部３３５は、ＡＲグラス１０におけるレンズ部のディスプレイへの画像表示処理やＡＲグラス１０による音声出力処理を制御する。ＡＲグラス制御部３３５は、コンテンツ取得部３３６と、コンテンツ合成部３３７とを有する。
【0038】
コンテンツ取得部３３６は、サーバ４０から送信された、仮想的なコンテンツを取得する。この仮想的なコンテンツは、実空間の画像に重畳してのキャラクター画像や、動物の鳴き声や足音等の音声である。ＡＲグラス制御部３３５は、コンテンツ取得部３３６が取得したコンテンツが、動物の鳴き声や足音等の音声である場合、ＡＲグラス１０の音声出力部１５から、音声を出力させる。
【0039】
コンテンツ合成部３３７は、コンテンツ取得部３３６が取得したコンテンツが、実空間の画像に重畳してのキャラクター画像である場合、キャラクター画像と実空間の画像との合成処理を行う。コンテンツ合成部３３７による合成処理後、ＡＲグラス制御部３３５は、ＡＲグラス１０の表示部１４に、実空間の画像にキャラクター画像を重畳させた画像を表示させる。キャラクター画像の重畳位置は、例えば、予め設定されている。或いは、キャラクター画像の重畳位置は、サーバ４０による指示によって設定される。
【0040】
【0041】
通信部４１は、無線または有線にて他の装置との間で通信を行う。通信部４１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部４１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部４３後述）との間の通信を行う。例えば、通信部４１は、スマートデバイス３０から位置情報、画像認識結果、音声認識結果を受信し、スマートデバイス３０に仮想的なコンテンツを送信する。
【0042】
記憶部４２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部４２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部４２は、サーバ４０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。
【0043】
さらに、記憶部４２は、プログラムの実行で用いられる各種情報を記憶する。記憶部４２は、ユーザが観光する島等の観光地の森、川、山、平野、名所等を含む地図情報４２１と、各種仮想的なコンテンツを含むコンテンツ情報４２２を記憶する。地図情報４２１は、隠れスポットが記載されたものでもよいし、ぬかるみやすい場所が記載されたものでもよい。各種仮想的なコンテンツは、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声であり、所定の地域、例えば、観光地や、観光地の森、川、山、平野、名所等の各所定箇所に対応づけて予め作成された、観光地の各所定箇所に特有のコンテンツである。また、各種コンテンツは、敵または味方に分けて、それぞれ作成されたものでもよい。コンテンツ情報４２２は、例えば、キャラクター画像の表示位置や大きさ等の設定情報である各種コンテンツの設定条件を含む。
【0044】
制御部４３は、サーバ４０全体を制御する。制御部４３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部４３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部４３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部４３は、位置情報取得部４３１、スマートデバイス３０から送信された画像認識結果を取得する画像認識結果取得部４３２、スマートデバイス３０から送信された音声認識結果を取得する音声認識結果取得部４３３、条件設定部４３４、コンテンツ選択部４３５（選択部）及びコンテンツ送信制御部４３６（送信部）を有する。
【0045】
位置情報取得部４３１は、スマートデバイス３０から受信した位置情報と、地図情報４２１とを基に、ユーザの位置を検出する。そして、位置情報取得部４３１は、ユーザの位置を基に、ユーザが観光地の森、川、山、平野、名所等にいるかを検出する。位置情報取得部４３１は、地図情報４２１に含まれる等高線を基に、山や平野の位置を判別してもよい。
【0046】
条件設定部４３４は、所定の地域（例えば、島等の観光地）毎に、ユーザの周辺状況に応じて登場させる動物に関するコンテンツの選択や、敵味方の判定のための条件を設定する。例えば、条件設定部４３４は、予め、島等の観光地ごとに作成されたコンテンツの選択ルール及び敵味方の判定ルールのなかから、ユーザが実際に観光している地域に応じたルールを抽出し、設定する。このように、条件設定部４３４は、ユーザが実際に観光している観光地に応じたコンテンツの選択ルール及び敵味方の判定ルールを抽出し、その観光地らしさが出るコンテンツを選択できるようにする。
【0047】
コンテンツ選択部４３５は、位置情報取得部４３１によるユーザの位置情報と、スマートデバイス３０による画像認識結果またはスマートデバイス３０による音声認識結果とを基に、ユーザの周辺状況を判定する。そして、コンテンツ選択部４３５は、ユーザの周辺状況に応じたＡＲ空間上の仮想的なコンテンツを選択する。コンテンツ選択部４３５は、ユーザの周辺状況が所定の地域の所定箇所のいずれかの場所に該当することを判定した場合、該当する所定箇所に特有の動植物のキャラクター画像または所定箇所特有の動物の鳴き声或いは足音の音声を、仮想的なコンテンツとして選択する。
【0048】
この際、コンテンツ選択部４３５は、条件設定部４３４によって設定されたコンテンツの選択ルール及び敵味方の判定ルールを用いる。コンテンツ選択部４３５は、条件設定部４３４によって設定されたコンテンツの選択ルール及び敵味方の判定ルールを用いることによって、例えば、ユーザが島を観光している場合には、この島特有の動植物のキャラクター画像をコンテンツとして選択する。また、コンテンツ選択部４３５は、ユーザが森の中を歩いていることを判定した場合には、その森に生息する特有の動物の鳴き声、足音或いはキャラクター画像をコンテンツとして選択する。また、コンテンツ選択部４３５は、位置検出結果によってユーザが森にいることを判定し、さらに音声認識結果で認識された鳴き声によりその森に生息する特有の鳥の存在が認識できた場合には、その鳥の鳴き声の音声をコンテンツとして選択する。また、コンテンツ選択部４３５は、ユーザが森にいることを判定し、さらに、画像認識結果で認識された足音によりその森に生息する特有の動物の存在が確認できた場合には、その動物のキャラクター画像をコンテンツとして選択する。
【0049】
この際、コンテンツ選択部４３５は、ユーザの周辺状況に応じて、敵または味方のコンテンツを選択してもよい。例えば、コンテンツ選択部４３５は、ユーザが、その島の隠れた観光スポットまで到達した場合には、この島特有の動植物のキャラクター画像のうち、味方として、応援している状態のキャラクター画像を選択する。さらに、コンテンツ選択部４３５は、例えば、鳥の鳴き声を認識したら味方の鳥のキャラクター画像を選択してもよいし、他のユーザが近くにいることを検知した場合には、味方のキャラクター画像を増やしてもよい。また、コンテンツ選択部４３５は、地図情報４２１、画像認識結果及び天気情報等を基に、ユーザの周辺がぬかるんでいて状況が悪いことを判定した場合、この島特有の動物の鳴き声のうち、敵として、威嚇するような鳴き声を選択してもよい。
【0050】
コンテンツ送信制御部４３６は、コンテンツ選択部４３５が選択したＡＲ空間上の仮想的なコンテンツを、スマートデバイス３０に送信する。コンテンツ送信制御部４３６は、選択されたコンテンツとともに、コンテンツの出力タイミングや、コンテンツの表示位置もスマートデバイス３０に送信する。
【0051】
【0052】
【0053】
通信システム１では、サーバ４０が、ユーザＵがポイントＰ１の森にいることを判定する。そして、その森にイノシシが存在する場合（図８の（１））、サーバ４０は、仮想的なコンテンツとして、仲間となるイノシシのキャラクター画像Ｇ１をスマートデバイス３０に送信する。スマートデバイス３０は、そのイノシシが仲間となるように、イノシシのキャラクター画像Ｇ１をＡＲグラス１０のディスプレイに表示させる（図８の（２））。ＡＲグラス１０は、イノシシのキャラクター画像をＧ１、実際の森の画像に重畳させて表示させることで、イノシシを登場させる。この際、スマートデバイス３０は、ＡＲグラス１０に、イノシシのキャラクター画像Ｇ１を、ユーザのそばにいるように表示させてもよいし、ユーザＵと一緒に移動するように表示させてもよい。
【0054】
また、サーバ４０は、仮想的なコンテンツとして、イノシシの足音の音声をコンテンツとしてスマートデバイス３０に送信してもよい。スマートデバイス３０は、イノシシのキャラクター画像や足音を、森の中にいる間のみ出力させてもよいし、森から所定距離離れるまで出力させてもよい。
【0055】
また、サーバ４０は、ユーザＵが位置する森に、その森にのみ生息する希少な鳥が存在する場合（図８の（３））、仮想的なコンテンツとして、その鳥の鳴き声をコンテンツとしてスマートデバイス３０に送信する。スマートデバイス３０は、その鳥の鳴き声を、ＡＲグラス１０から出力させる（図８の（４））。スマートデバイス３０は、鳥の鳴き声を、森の中にいる間のみ出力させてもよいし、森から所定距離離れるまで出力させてもよい。
【0056】
そして、通信システム１では、サーバ４０が、スマートデバイス３０による、川の音の音声認識結果（図９の（１））、位置検出結果及び地図情報を基に、ユーザＵがポイントＰ２の川にいることを判定する。そして、その川に魚が存在する場合（図９の（２））、サーバ４０は、仮想的なコンテンツとして、仲間となるイルカのキャラクター画像Ｇ２をコンテンツとしてスマートデバイス３０に送信する。
【0057】
スマートデバイス３０は、そのイルカが仲間となるように、ＡＲグラス１０のディスプレイにイルカのキャラクター画像Ｇ２を表示させる（図９の（３））。ＡＲグラス１０は、イルカのキャラクター画像Ｇ２を、実際の森の画像に重畳させて表示させることで、イルカを登場させる。なお、これらのキャラクターは、戦闘シーンなどでは傍にいるように表示してもよいし、一緒に移動するように画像表示してもよい。
【0058】
このように、通信システム１では、ＡＲグラス１０を装着したユーザＵの周辺状況、例えば、動物の出現、実際の地形（森、川、山等）や名所を判定する。そして、通信システム１は、ユーザＵの周辺状況に応じた動物の鳴き声や足音をユーザＵに聞かせたり、ユーザＵの周辺状況に応じた動植物のキャラクターを登場させたりする。これによって、通信システム１は、ユーザＵの周辺状況にいる動物の存在をユーザＵに体感させることによって、よりリアリティのあるＡＲ体験をユーザＵに提供する。
【0059】
なお、通信システム１は、島等の観光地ごとに、観光地特有の動植物のキャラクター画像をＡＲグラス１０に表示させてもよいし、観光地特有の動物の鳴き声、足音をユーザＵに聞かせてもよい。
【0060】
また、通信システム１は、動物の鳴き声、動物の足音の音声をユーザＵに聞かせる場合、或いは、動植物のキャラクター画像をＡＲグラス１０に表示させる場合、ユーザＵの周辺状況に応じて、敵または味方になる場合で音声やキャラクター画像を変化させてもよい。例えば、動物の鳴き声を出力する場合、味方である場合には心地よい鳴き声を出力し、敵の場合には威嚇するような鳴き声を出力する。また、動植物のキャラクター画像をＡＲグラス１０に表示させる場合、戦闘シーンにおいて、味方の場合には応援するような動きを表示させてもよいし、敵の場合にはユーザＵに攻撃するような動きを表示させてもよい。
【0061】
また、通信システム１は、ユーザの周辺状況に応じて、敵または味方であるかを判定してもよい。例えば、ユーザの周辺状況が悪い場合、例えば、ぬかるんでいる場合や暗い場合には、敵を登場させる。また、ユーザの周辺状況がよい場合、例えば、見晴らしがよい場合や明るい場合には、味方を登場させる。
【0062】
［通信処理の処理手順］
図１０は、実施の形態に係る通信システムにおける通信処理の処理手順を示すシーケンス図である。
図１０は、実施の形態に係る通信システムにおける通信処理の処理手順を示すシーケンス図である。
【0063】
図１０に示すように、スマートデバイス３０は、スマートデバイス３０の位置を検出する度に（ステップＳ１）、サーバ４０に位置情報を送信する（ステップＳ２）。
【0064】
そして、スマートデバイス３０は、ＡＲグラス１０から画像が送信されると（ステップＳ３）、その画像に対する画像認識処理を実行し（ステップＳ４）、画像認識結果をサーバ４０に送信する（ステップＳ５）。スマートデバイス３０は、ＡＲグラス１０から音声が送信されると（ステップＳ６）、その音声に対する音声認識処理を実行し（ステップＳ７）、音声認識結果をサーバ４０に送信する（ステップＳ８）。
【0065】
サーバ４０は、受信した位置検出結果と地図情報４２１とを基にユーザの位置を検出し、所定の地域（例えば、島等の観光地）毎に、ユーザの周辺状況に応じて登場させる動物に関するコンテンツの選択や、敵味方の判定のための条件を設定する（ステップＳ９）。サーバ４０は、位置検出結果、画像認識結果、音声認識結果を基に、ユーザの周辺状況を判定する（ステップＳ１０）。サーバ４０は、ユーザの周辺状況に応じたＡＲ空間上の仮想的なコンテンツを選択し（ステップＳ１１）、スマートデバイス３０に送信する（ステップＳ１２）。
【0066】
スマートデバイス３０は、コンテンツが、動植物のキャラクター画像である場合、キャラクター画像と実空間の画像との合成処理を行う（ステップＳ１３）。そして、スマートデバイス３０は、ＡＲグラス１０に、コンテンツの出力を指示し（ステップＳ１４）、ＡＲ空間上の仮想的なコンテンツ（例えば、動植物のキャラクター画像や音声）をＡＲグラス１０から出力させる（ステップＳ１５）。
【0067】
［実施の形態の効果］
このように、本実施の形態では、ユーザの周辺状況に応じた動物の鳴き声や足音をユーザに聞かせたり、ユーザの周辺状況に応じた動植物のキャラクターを登場させたりすることで、ユーザの周辺状況にいる動物の存在をユーザに体感させて、よりリアリティのある仮想空間上のＡＲ体験をユーザに提供することができる。
このように、本実施の形態では、ユーザの周辺状況に応じた動物の鳴き声や足音をユーザに聞かせたり、ユーザの周辺状況に応じた動植物のキャラクターを登場させたりすることで、ユーザの周辺状況にいる動物の存在をユーザに体感させて、よりリアリティのある仮想空間上のＡＲ体験をユーザに提供することができる。
【0068】
また、本実施の形態では、ユーザが観光する島等の観光地特有の動物に関するコンテンツを出力することで、その観光地ならではの体験をユーザに体験させることができる。これによって、本実施の形態によれば、ゲーム的な要素と観光地特有のコンテンツ出力とによって、体験型の観光を推進できる。
【0069】
［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0070】
また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0071】
［プログラム］
また、上記実施形態において説明したＡＲグラス１０、スマートデバイス３０及びサーバ４０及びが実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるＡＲグラス１０、スマートデバイス３０及びサーバ４０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
また、上記実施形態において説明したＡＲグラス１０、スマートデバイス３０及びサーバ４０及びが実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるＡＲグラス１０、スマートデバイス３０及びサーバ４０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
【0072】
図１１は、プログラムを実行するコンピュータを示す図である。図１１に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。
【0073】
メモリ１０１０は、図１１に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１１に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【0074】
ここで、図１１に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。
【0075】
また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。
【0076】
なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【0077】
上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0078】
１０ ＡＲグラス
１１ 撮像部
１２ 音声入力部
１３，３１，４１ 通信部
１４ 表示部
１５ 音声出力部
２０ モーションコントローラー
３０ スマートデバイス
３２，４２ 記憶部
３３，４３ 制御部
４０ サーバ
３２１ 画像データ
３２２ 音声データ
３２３，４２２ コンテンツ情報
３３１ 位置検出部
３３２ 画像認識部
３３３ 音声認識部
３３４ 動き検出部
３３５ ＡＲグラス制御部
３３６ コンテンツ取得部
３３７ コンテンツ合成部
４２１ 地図情報
４３１ 位置情報取得部
４３２ 画像認識結果取得部
４３３ 音声認識結果取得部
４３４ 条件設定部
４３５ コンテンツ選択部
４３６ コンテンツ送信制御部
１１ 撮像部
１２ 音声入力部
１３，３１，４１ 通信部
１４ 表示部
１５ 音声出力部
２０ モーションコントローラー
３０ スマートデバイス
３２，４２ 記憶部
３３，４３ 制御部
４０ サーバ
３２１ 画像データ
３２２ 音声データ
３２３，４２２ コンテンツ情報
３３１ 位置検出部
３３２ 画像認識部
３３３ 音声認識部
３３４ 動き検出部
３３５ ＡＲグラス制御部
３３６ コンテンツ取得部
３３７ コンテンツ合成部
４２１ 地図情報
４３１ 位置情報取得部
４３２ 画像認識結果取得部
４３３ 音声認識結果取得部
４３４ 条件設定部
４３５ コンテンツ選択部
４３６ コンテンツ送信制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2022-09-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザの頭部に装着される表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、
前記表示装置は、
実空間の画像を撮像する撮像部と、
音声の入力を受け付ける音声入力部と、
前記スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信する通信部と、
を有し、
当該通信システムは、
前記実空間の画像の特徴を認識する画像認識部と、
前記音声の特徴を認識する音声認識部と、
を有し、
前記サーバは、
少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する選択部と、
前記選択部が選択した仮想的なコンテンツを前記スマートデバイスに送信する送信部と、
を有し、
前記スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果を前記サーバに送信する位置検出部と、
前記仮想的なコンテンツを、前記表示装置に出力させる制御部と、
を有し、
前記選択部は、前記スマートデバイスの位置情報と前記地図情報と、前記画像認識部による画像認識結果または前記音声認識部による音声認識結果を基に、前記ユーザの周辺状況を判定し、
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択部は、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする通信システム。
前記表示装置は、
実空間の画像を撮像する撮像部と、
音声の入力を受け付ける音声入力部と、
前記スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信する通信部と、
を有し、
当該通信システムは、
前記実空間の画像の特徴を認識する画像認識部と、
前記音声の特徴を認識する音声認識部と、
を有し、
前記サーバは、
少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する選択部と、
前記選択部が選択した仮想的なコンテンツを前記スマートデバイスに送信する送信部と、
を有し、
前記スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果を前記サーバに送信する位置検出部と、
前記仮想的なコンテンツを、前記表示装置に出力させる制御部と、
を有し、
前記選択部は、前記スマートデバイスの位置情報と前記地図情報と、前記画像認識部による画像認識結果または前記音声認識部による音声認識結果を基に、前記ユーザの周辺状況を判定し、
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択部は、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする通信システム。
【請求項2】
前記仮想的なコンテンツは、所定の地域の各所定箇所に特有の動植物のキャラクター画像または観光地特有の動物の鳴き声或いは足音の音声であり、
前記選択部は、前記ユーザの周辺状況が前記所定の地域の所定箇所のいずれかの場所に該当することを判定した場合、該当する所定箇所に特有の動植物のキャラクター画像または所定箇所特有の動物の鳴き声或いは足音の音声を、前記仮想的なコンテンツとして選択することを特徴とする請求項１に記載の通信システム。
前記選択部は、前記ユーザの周辺状況が前記所定の地域の所定箇所のいずれかの場所に該当することを判定した場合、該当する所定箇所に特有の動植物のキャラクター画像または所定箇所特有の動物の鳴き声或いは足音の音声を、前記仮想的なコンテンツとして選択することを特徴とする請求項１に記載の通信システム。
【請求項3】
前記表示装置は、
画像を表示する表示部と、
音声を出力する音声出力部と、
を有し、
前記制御部は、前記仮想的なコンテンツが前記動植物のキャラクター画像である場合には前記表示部に表示させ、前記仮想的なコンテンツが前記動物の足音或いは鳴き声の音声を前記音声出力部に出力させることを特徴とする請求項１または２に記載の通信システム。
画像を表示する表示部と、
音声を出力する音声出力部と、
を有し、
前記制御部は、前記仮想的なコンテンツが前記動植物のキャラクター画像である場合には前記表示部に表示させ、前記仮想的なコンテンツが前記動物の足音或いは鳴き声の音声を前記音声出力部に出力させることを特徴とする請求項１または２に記載の通信システム。
【請求項4】
ユーザの頭部に装着される表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムが実行する通信方法であって、
前記表示装置が、実空間の画像を撮像する工程と、
前記表示装置が、音声の入力を受け付ける工程と、
前記表示装置が、前記スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信する工程と、
前記スマートデバイスが、前記実空間の画像の特徴を認識する工程と、
前記スマートデバイスが、前記音声の特徴を認識する工程と、
前記サーバが、少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する工程と、
前記サーバが、前記選択する工程において選択された仮想的なコンテンツを前記スマートデバイスに送信する工程と、
前記スマートデバイスが、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する工程と、
前記サーバが、前記仮想的なコンテンツを、前記表示装置に出力させる工程と、
前記表示装置が、前記仮想的なコンテンツを出力する工程と、
を含み、
前記選択する工程は、前記スマートデバイスの位置情報と前記地図情報と、前記認識する工程における画像認識結果または前記認識する工程における音声認識結果を基に、前記ユーザの周辺状況を判定し、
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択する工程は、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする通信方法。
前記表示装置が、実空間の画像を撮像する工程と、
前記表示装置が、音声の入力を受け付ける工程と、
前記表示装置が、前記スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信する工程と、
前記スマートデバイスが、前記実空間の画像の特徴を認識する工程と、
前記スマートデバイスが、前記音声の特徴を認識する工程と、
前記サーバが、少なくとも前記スマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択する工程と、
前記サーバが、前記選択する工程において選択された仮想的なコンテンツを前記スマートデバイスに送信する工程と、
前記スマートデバイスが、少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信する工程と、
前記サーバが、前記仮想的なコンテンツを、前記表示装置に出力させる工程と、
前記表示装置が、前記仮想的なコンテンツを出力する工程と、
を含み、
前記選択する工程は、前記スマートデバイスの位置情報と前記地図情報と、前記認識する工程における画像認識結果または前記認識する工程における音声認識結果を基に、前記ユーザの周辺状況を判定し、
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択する工程は、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする通信方法。
【請求項5】
方法をコンピュータに実行させる通信プログラムであって、
ユーザの頭部に装着される表示装置としてのコンピュータに、
実空間を撮像するステップと、
音声の入力を受け付けるステップと、
スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信するステップと、
を実行させ、
サーバとしてのコンピュータに、
少なくともユーザが携帯するスマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択するステップと、
前記選択するステップにおいて選択された仮想的なコンテンツを前記スマートデバイスに送信するステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
前記実空間の画像の特徴を認識するステップと、
前記音声の特徴を認識するステップと、
少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信するステップと、
前記仮想的なコンテンツを、ユーザが使用する表示装置に出力させるステップと、
を実行させ、
前記表示装置としてのコンピュータに、
前記仮想的なコンテンツを出力するステップ
を実行させ、
前記選択するステップは、前記スマートデバイスの位置情報と前記地図情報と、前記認識するステップにおける画像認識結果または前記認識するステップにおける音声認識結果を基に、前記ユーザの周辺状況を判定し、
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択するステップは、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする通信プログラム。
ユーザの頭部に装着される表示装置としてのコンピュータに、
実空間を撮像するステップと、
音声の入力を受け付けるステップと、
スマートデバイスとの間で通信を行い、前記実空間の画像と前記音声とを前記スマートデバイスに送信するステップと、
を実行させ、
サーバとしてのコンピュータに、
少なくともユーザが携帯するスマートデバイスの位置情報と、地図情報とを基に、前記ユーザの周辺状況を判定し、前記ユーザの周辺状況に応じた仮想的なコンテンツとして、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声を選択するステップと、
前記選択するステップにおいて選択された仮想的なコンテンツを前記スマートデバイスに送信するステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
前記実空間の画像の特徴を認識するステップと、
前記音声の特徴を認識するステップと、
少なくとも該スマートデバイスの位置情報を検出し、位置検出結果をサーバに送信するステップと、
前記仮想的なコンテンツを、ユーザが使用する表示装置に出力させるステップと、
を実行させ、
前記表示装置としてのコンピュータに、
前記仮想的なコンテンツを出力するステップ
を実行させ、
前記選択するステップは、前記スマートデバイスの位置情報と前記地図情報と、前記認識するステップにおける画像認識結果または前記認識するステップにおける音声認識結果を基に、前記ユーザの周辺状況を判定し、
前記仮想的なコンテンツは、敵または味方に分けて作成され、
前記選択するステップは、前記ユーザの周辺状況に応じて、前記仮想的なコンテンツのうち、敵または味方のコンテンツを選択することを特徴とする通信プログラム。