特開 2022-185235 通信システム、通信方法及び通信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022185235

(43)【公開日】2022-12-14

(54)【発明の名称】通信システム、通信方法及び通信プログラム

(51)【国際特許分類】

   A63F 13/60 20140101AFI20221207BHJP

   G06F 3/01 20060101ALI20221207BHJP

   G06F 13/00 20060101ALI20221207BHJP

   A63F 13/52 20140101ALI20221207BHJP

   A63F 13/53 20140101ALI20221207BHJP

   A63F 13/216 20140101ALI20221207BHJP

   A63F 13/35 20140101ALI20221207BHJP

   G09G 5/00 20060101ALI20221207BHJP

   G06Q 50/10 20120101ALI20221207BHJP

【ＦＩ】

A63F13/60

G06F3/01 510

G06F13/00 650R

A63F13/52

A63F13/53

A63F13/216

A63F13/35

G09G5/00 555D

G09G5/00 550C

G09G5/00 530T

G06Q50/10

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021092766

(22)【出願日】2021-06-02

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中村 俊允

(72)【発明者】

【氏名】村井 仁美

(72)【発明者】

【氏名】萬國谷 忠

【テーマコード（参考）】

5B084

5C182

5E555

5L049

【Ｆターム（参考）】

5B084AA02

5B084AA05

5B084AA18

5B084AB06

5B084AB13

5B084AB19

5B084AB31

5B084AB40

5B084BA03

5B084BB14

5B084CA07

5B084CB06

5B084CB22

5B084CC07

5B084CC14

5B084CE04

5B084CE07

5B084CE12

5B084CF03

5B084CF12

5B084DB02

5B084DB07

5B084DB08

5B084DC02

5B084DC03

5B084EA47

5C182AA22

5C182AA31

5C182AB08

5C182AB14

5C182AB33

5C182AB35

5C182AC03

5C182AC35

5C182AC43

5C182BA01

5C182BA14

5C182BA29

5C182BA35

5C182BA47

5C182BA75

5C182BB01

5C182BB11

5C182BC01

5C182BC14

5C182BC22

5C182BC25

5C182BC26

5C182CB13

5C182CB54

5C182CC21

5C182DA02

5C182DA04

5C182DA14

5C182DA44

5E555AA62

5E555AA63

5E555AA76

5E555BA04

5E555BA05

5E555BA06

5E555BA20

5E555BA38

5E555BA85

5E555BB04

5E555BB05

5E555BB06

5E555BB38

5E555BC04

5E555BD06

5E555BE17

5E555CA42

5E555CA44

5E555CA45

5E555CB78

5E555CB82

5E555DA08

5E555DA09

5E555DB53

5E555DB55

5E555DC09

5E555DC25

5E555DC84

5E555DD06

5E555EA07

5E555EA09

5E555EA14

5E555EA22

5E555FA00

5L049CC18

5L049CC26

(57)【要約】

【課題】リアリティのあるＡＲ体験のユーザへの提供を可能とする。
【解決手段】通信システム１は、ＡＲグラス１０と、ユーザが携帯するスマートデバイス３０と、スマートデバイスと通信を行うサーバ４０とを有する通信システムであって、サーバ４０は、スマートデバイス３０の位置情報を基に、ユーザの周辺状況を特定し、特定した周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新し、該領域内の情報を含む仮想的な地図の情報をスマートデバイス３０に送信する。スマートデバイス３０は、サーバ４０から送信された仮想的な地図の情報を用いて、仮想的な地図をＡＲグラス１０に出力させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

表示装置と、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、
前記サーバは、
前記スマートデバイスの位置情報を取得する取得部と、
前記取得部によって取得された位置情報を基に、前記ユーザの周辺状況を特定する特定部と、
前記特定部によって特定された周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新部と、
前記更新部によって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信部と、
を有し、
前記スマートデバイスは、
自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出部と、
前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図を前記表示装置に出力させる制御部と、
を有することを特徴とする通信システム。

【請求項2】

前記特定部は、前記ユーザの周辺状況として、前記スマートデバイスの位置情報に対応する位置の標高を特定し、
前記更新部は、前記特定部によって特定された位置の標高が高いほど、更新範囲が広くなるように、前記仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新することを特徴とする請求項１に記載の通信システム。

【請求項3】

前記特定部は、前記ユーザの周辺状況として、前記スマートデバイスの位置情報に対応する位置の属性を特定し、
前記更新部は、前記特定部によって特定された位置の属性に応じて、前記仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新することを特徴とする請求項１に記載の通信システム。

【請求項4】

前記表示装置は、
実空間の画像を撮像する撮像部と、
前記スマートデバイスとの間で通信を行い、前記実空間の画像を前記スマートデバイスに送信する通信部と、
を有し、
前記特定部は、前記スマートデバイスの位置情報と前記実空間の画像とを基に、前記ユーザの周辺状況を特定することを特徴とする請求項１に記載の通信システム。

【請求項5】

表示装置と、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムが実行する通信方法であって、
前記スマートデバイスが、自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出工程と、
前記サーバが、前記スマートデバイスの位置情報を取得する取得工程と、
前記サーバが、前記取得工程によって取得された位置情報を基に、前記ユーザの周辺状況を特定する特定工程と、
前記特定工程によって特定された周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新工程と、
前記サーバが、前記更新工程によって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信工程と、
前記スマートデバイスが、前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図を前記表示装置に出力させる制御工程と、
を含んだことを特徴とする通信方法。

【請求項6】

通信方法をコンピュータに実行させる通信プログラムであって、
サーバとしてのコンピュータに、
前記ユーザが携帯するスマートデバイスの位置情報を取得する取得ステップと、
前記取得ステップによって取得された位置情報を基に、ユーザの周辺状況を特定する特定ステップと、
前記特定ステップによって特定された周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新ステップと、
前記更新ステップによって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信ステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出ステップと、
前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図を表示装置に出力させる制御ステップと、
を実行させることを特徴とする通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム、通信方法及び通信プログラムに関する。

【背景技術】

【0002】

近年、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）をユーザに体感させるＨＭＤ（Head Mounted Display）などが提案されている。このうち、ＡＲ技術を用いたＨＭＤとして、一般的な眼鏡と同様に、ユーザの頭部に装着して使用されるＡＲグラスが提案されている。

【0003】

ＡＲグラスは、ユーザの前方の実空間を撮像し、撮像した実空間の画像を、ＡＲグラスのレンズ部分に相当するディスプレイに表示させる。また、ＡＲグラスは、ＣＧで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。これにより、ＡＲグラスを装着したユーザは、実空間の中に仮想的なコンテンツが重畳されたＡＲ空間を体感することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６５５７５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＡＲグラスのディスプレイにＲＰＧ（Role－Playing Game）コンテンツを表示させることで、ＲＰＧをユーザに体験させるシステムが提案されている。このシステムに対し、リアリティのあるＡＲ体験のユーザへの提供が要望されていた。

【0006】

本発明は、上記に鑑みてなされたものであって、リアリティのあるＡＲ体験のユーザへの提供を可能とする通信システム、通信方法及び通信プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明の通信システムは、表示装置と、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、前記サーバは、前記スマートデバイスの位置情報を取得する取得部と、前記取得部によって取得された位置情報を基に、前記ユーザの周辺状況を特定する特定部と、前記特定部によって特定された周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新部と、前記更新部によって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信部と、を有し、前記スマートデバイスは、自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出部と、前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図を前記表示装置に出力させる制御部と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、リアリティのあるＡＲ体験のユーザへの提供を可能とする。

【図面の簡単な説明】

【0009】

【図1】図１は、ＡＲグラスのディスプレイに表示される画像の一例を示す図である。

【図2】図２は、実施の形態に係る通信システムの構成を説明する図である。

【図3】図３は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

【図4】図４は、図３に示すＡＲグラスの構成の一例を示すブロック図である。

【図5】図５は、図３に示すスマートデバイスの構成の一例を示すブロック図である。

【図6】図６は、図３に示すサーバの構成の一例を示すブロック図である。

【図7】図７は、マップの更新範囲について説明する図である。

【図8】図８は、更新範囲が広い場所におけるマップの更新例を説明する図である。

【図9】図９は、更新範囲が狭い場所におけるマップの更新例を説明する図である。

【図10】図１０は、実施の形態に係る通信システムにおける通信処理の処理手順を示すシーケンス図である。

【図11】図１１は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る通信システム、通信方法及び通信プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る通信システム、通信方法及び通信プログラムが限定されるものではない。

【0011】

以下の実施の形態では、実施の形態に係る通信システム、通信方法及び通信プログラムの処理の流れを順に説明し、最後に実施の形態による効果を説明する。

【0012】

［実施の形態］
まず、実施の形態について説明する。実施の形態では、所定の地域、具体的には、観光地（例えば、島）を観光するユーザに、仮想的なＲＰＧコンテンツを表示可能であるＡＲグラスを装着させ、観光地を観光しながら、ＲＰＧも体験可能とするシステムについて説明する。

【0013】

図１は、ＡＲグラスのディスプレイに表示される画像の一例を示す図である。図１に例示するように、実際の島の画像（例えば、森の画像）に、モンスターのコンテンツＣ１やコインのコンテンツＣ２を重畳してＡＲグラスに表示させ、ユーザが、モンスターを倒す、コインを集める、ミッションに取り組むなどのゲーム体験を可能としている。また、ＡＲグラスを装着したユーザ間で通信が可能である。

【0014】

実施の形態では、小さな島全体を活用して、ＡＲグラスに表示される仮想的な地図を見ながら、ユーザ自身が体を動かし、さらに、仲間とコミュニケーションを取りながら、その土地ならではのＲＰＧ体験を可能とする。ＡＲグラスに表示される仮想的な地図は、ユーザが訪れた範囲に応じて、地図内のオブジェクトが当該地図上に表示される領域が広がっていく。さらに、実施の形態では、ＡＲグラスを装着したユーザ自身が実際に観光するユーザの周辺状況に応じた仮想的なコンテンツをＡＲグラスに出力することで、リアリティのあるＡＲ体験を提供する。仮想的なコンテンツは、例えばＣＧ等で作成された動植物のキャラクター画像、動物の鳴き声や足音等の音声、または、地図である。なお、キャラクター画像は、ゲームキャラクター風の画像に限らず、写真等から作成した画像でもよく、動画も含まれる。

【0015】

また、ＡＲグラスには、島等の観光地のマップとして、仮想的な地図Ｍが表示され、ユーザが移動すると、地図Ｍ内におけるオブジェクトが当該地図上に表示される領域が更新される。つまり、例えば、ユーザが新たなエリアに移動するたびに、地図Ｍが更新され、ユーザが訪れた範囲に応じて、地図Ｍにおいて、周辺にある道や建物、山、川等のオブジェクトが地図Ｍ上に表示される領域が広がっていく。なお、地図Ｍは、島等の観光地の実際の地図に基づいていなくともよく、地図内で表示されるオブジェクトも実際に存在していないものであってもよく、ＲＰＧ体験のための仮想的なマップでもよい。つまり、ＡＲグラスでは、例えば、実際に存在しない城や街等を地図Ｍに表示させたり、観光地でない場所等のユーザに移動してほしくないエリアは地図Ｍに表示させないようにしたりしてもよい。また、図１の例では、地図Ｍが右上に小さく表示されている場合を例示しているが、ユーザの所定の操作が行われると、地図Ｍが拡大表示されるものとする。なお、地図Ｍを表示する装置はＡＲグラスに限定されるものではなく、別の装置に地図Ｍを表示してもよい。

【0016】

［通信システムの構成］
実施の形態に係る通信システムの構成を説明する。図２は、実施の形態に係る通信システムの構成を説明する図である。図３は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

【0017】

図２及び図３に示すように、実施の形態に係る通信システム１は、ＡＲグラス１０（表示装置）、ユーザが手に持つモーションコントローラー２０、ユーザが携帯するスマートデバイス３０、及び、データセンタ等に配置されるサーバ４０を有する。

【0018】

ＡＲグラス１０は、一般的な眼鏡と同様にユーザの頭部に装着される。ＡＲグラス１０は、撮像機能、音声入力機能、通信機能、表示機能、音声出力機能を有する。ＡＲグラス１０は、実空間を撮像し、撮像した実空間の画像を、ＡＲグラス１０のレンズ部分に相当するディスプレイに表示させる。また、ＡＲグラス１０は、スマートデバイス３０の制御の基、ＣＧで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。また、ＡＲグラス１０は、スマートデバイス３０の制御の基、ユーザの周辺状況に応じた仮想的なコンテンツを出力する。

【0019】

モーションコントローラー２０は、ユーザが手に持つコントローラである。モーションコントローラー２０は、例えば、加速度センサと、加速度センサの検出結果をスマートデバイス３０送信する通信機能とを有する。

【0020】

スマートデバイス３０は、ユーザが携帯するデバイスであり、例えば、タブレット、スマートフォン等のスマートデバイスであり、位置検出機能、画像認識機能、音声認識機能を有する。スマートデバイス３０は、ＡＲグラス１０の制御を行う。スマートデバイス３０は、モーションコントローラー２０から送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する。スマートデバイス３０は、ネットワークＮを介して、サーバ４０に接続し、ユーザの位置検出結果、画像認識結果、音声認識結果をサーバ４０に送信する。スマートデバイス３０は、ネットワークＮを介して、サーバ４０から、ＡＲグラス１０が出力する仮想的なコンテンツの提供を受ける。スマートデバイス３０は、ＡＲグラス１０に対する、サーバ４０から提供された仮想的なコンテンツの出力を制御する。

【0021】

サーバ４０は、地図情報及びＡＲ空間上の仮想的なコンテンツを保持するとともに、スマートデバイス３０から送信されたユーザの位置検出結果、画像認識結果、音声認識結果を基に、ユーザの周辺状況を判定する。そして、サーバ４０は、ユーザの周辺状況に応じて仮想的なコンテンツを選択し、スマートデバイス３０に送信する。

【0022】

［ＡＲグラス］
次に、ＡＲグラス１０について説明する。図４は、図３に示すＡＲグラス１０の構成の一例を示すブロック図である。

【0023】

図４に示すように、ＡＲグラス１０は、撮像部１１、音声入力部１２（録音部）、通信部１３、表示部１４及び音声出力部１５を有する。

【0024】

撮像部１１は、実空間を撮像する。例えば、撮像部１１は、撮像部１１の撮像方向がＡＲグラス１０の前方である場合には、ＡＲグラス１０の前方の実空間を撮像する。撮像部１１は、ＣＣＤやＣＭＯＳ等の光電変換素子と、撮像素子から出力される光電変換信号を処理して実空間の画像を生成する。撮像部１１は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の２次元画像を取得する。

【0025】

音声入力部１２は、音声の入力を受け付け、入力された音声を録音するデバイスによって構成される。

【0026】

通信部１３は、スマートデバイス３０との無線通信を行う。通信部１３は、撮像部１１が撮像した画像を、スマートデバイス３０に送信する。通信部１３は、スマートデバイス３０から送信された仮想的なコンテンツを受信する。仮想的なコンテンツは、地図の画像や、動植物のキャラクター画像、動物の鳴き声や足音等の音声である。

【0027】

表示部１４は、ディスプレイによって構成される。表示部１４は、撮像部１１が撮像した実空間の画像を表示する。表示部１４は、通信部１３が受信した仮想的なコンテンツのうち、仮想的な地図の画像や動植物のキャラクター画像を、実空間の画像に重畳して表示する。なお、表示部１４は、透過表示可能なディスプレイであって、仮想的なコンテンツのうち、動植物のキャラクター画像を表示してもよい。

【0028】

音声出力部１５は、音声を出力する。音声出力部１５は、通信部１３が受信した仮想的なコンテンツのうち、動物の鳴き声や足音等の音声を出力する。

【0029】

［スマートデバイス］
次に、スマートデバイス３０について説明する。図５は、図３に示すスマートデバイス３０の構成の一例を示すブロック図である。図５に示すように、スマートデバイス３０は、通信部３１、記憶部３２及び制御部３３を有する。

【0030】

通信部３１は、無線または有線にて他の装置との間で通信を行う。通信部２１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部３１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部３３（後述）との間の通信を行う。例えば、通信部３１は、ＡＲグラス１０から画像を受信し、ＡＲグラス１０に仮想的なコンテンツを送信する。通信部３１は、サーバ４０に、位置検出結果、画像認識結果を送信し、サーバ４０から仮想的なコンテンツを受信する。

【0031】

記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部３２は、スマートデバイス３０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部３２は、プログラムの実行で用いられる各種情報を記憶する。記憶部３２は、ＡＲグラス１０から送信された画像データ３２１と、サーバ４０から送信された仮想的なコンテンツを含むコンテンツ３２２を記憶する。

【0032】

制御部３３は、スマートデバイス３０全体を制御する。制御部３３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部３３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部３３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部３３は、位置検出部３３１、画像認識部３３２、動き検出部３３３、ＡＲグラス制御部３３４（制御部）を有する。

【0033】

位置検出部３３１は、スマートデバイス３０の位置を検出し、サーバ４０に送信する。位置検出部３３１は、例えば、ＧＰＳ（Global Positioning System）等によりスマートデバイス３０の位置情報が取得可能である。位置検出部３３１は、定期的に、スマートデバイス３０の位置を取得して、緯度及び経度で表した位置情報を、通信部３１を介して、サーバ４０に送信する。

【0034】

画像認識部３３２は、ＡＲグラス１０が撮像した画像を処理し、画像に映るオブジェクトなどの画像の特徴を認識する。画像認識部３３２は、ＡＲグラス１０が撮像した画像の中に映る、動物、植物、風景、建物を認識する。画像認識部３３２は、例えば、機械学習によって、所定の地域、具体的には、ユーザが観光中の観光地に特有の動物、植物、風景、建物等の画像の特徴を学習済みである画像認識モデルを用いて、ＡＲグラス１０が撮像した画像の特徴を認識する。画像認識部３３２は、前後の画像を比べて、画像に所定以上の変化があった場合に、動物、植物、風景、建物を認識する処理を行ってもよい。画像認識部３３２は、画像認識処理結果を、通信部３１を介してサーバ４０に送信する。

【0035】

なお、画像認識機能は、サーバ４０が有してもよい。その際には、スマートデバイス３０は、ＡＲグラス１０が撮像した画像をサーバ４０に送信する。

【0036】

動き検出部３３３は、モーションコントローラー２０から送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する。

【0037】

ＡＲグラス制御部３３４は、ＡＲグラス１０の処理を制御する。例えば、ＡＲグラス制御部３３４は、サーバ４０から送信された仮想的な地図の情報を用いて、仮想的な地図をＡＲグラス１０に出力させる。また、例えば、ＡＲグラス制御部３３４は、ＡＲグラス１０がレンズ部のディスプレイへの画像表示処理を制御する。ＡＲグラス制御部３３４は、コンテンツ取得部３３５と、コンテンツ合成部３３６とを有する。

【0038】

コンテンツ取得部３３５は、サーバ４０から送信された、仮想的なコンテンツを取得する。この仮想的なコンテンツは、実空間の画像に重畳しての、仮想的な地図や、キャラクター画像等である。

【0039】

コンテンツ合成部３３６は、コンテンツ取得部３３５が取得したコンテンツが、実空間の画像に重畳しての仮想的な地図やキャラクター画像である場合、仮想的な地図やキャラクター画像と実空間の画像との合成処理を行う。コンテンツ合成部３３６による合成処理後、ＡＲグラス制御部３３４は、ＡＲグラス１０の表示部１４に、実空間の画像にキャラクター画像を重畳させた画像を表示させる。仮想的な地図やキャラクター画像の重畳位置は、例えば、予め設定されている。或いは、仮想的な地図やキャラクター画像の重畳位置は、サーバ４０による指示によって設定される。

【0040】

［サーバ］
次に、サーバ４０について説明する。図６は、図３に示すサーバ４０の構成の一例を示すブロック図である。図６に示すように、サーバ４０は、通信部４１、記憶部４２及び制御部４３を有する。

【0041】

通信部４１は、無線または有線にて他の装置との間で通信を行う。通信部４１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部４１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部４３後述）との間の通信を行う。例えば、通信部４１は、スマートデバイス３０から位置情報、画像認識結果、音声認識結果を受信し、スマートデバイス３０に仮想的なコンテンツを送信する。

【0042】

記憶部４２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部４２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部４２は、サーバ４０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。

【0043】

さらに、記憶部４２は、プログラムの実行で用いられる各種情報を記憶する。記憶部４２は、ユーザが観光する島等の観光地の森、川、山、平野、名所等を含む地図情報４２１と、各種仮想的なコンテンツを含むコンテンツ情報４２２を記憶する。地図情報４２１には、例えば、等高線を含む地図を含み、各位置に対応する標高を特定可能な情報が含まれているものとする。また、地図情報４２１には、各位置について、森、川、山、平野、名所等を示す属性情報、もしくは、見晴らしが良い、見晴らしが悪い等の属性情報が含まれているものとする。各種仮想的なコンテンツは、動植物のキャラクター画像、または、動物の足音或いは鳴き声の音声であり、所定の地域、例えば、観光地や、観光地の森、川、山、平野、名所等の各所定箇所に対応づけて予め作成された、観光地の各所定箇所に特有のコンテンツであってもよい。また、各種コンテンツは、敵または味方に分けて、それぞれ作成されたものでもよい。コンテンツ情報４２２は、例えば、キャラクター画像の表示位置や大きさ等の設定情報である各種コンテンツの設定条件を含む。

【0044】

制御部４３は、サーバ４０全体を制御する。制御部４３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部４３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部４３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部４３は、位置情報取得部（取得部）４３１、スマートデバイス３０から送信された画像認識結果を取得する画像認識結果取得部４３２、周辺状況特定部（特定部）４３３、領域更新部（更新部）４３４およびコンテンツ送信制御部（制御部）４３５を有する。

【0045】

位置情報取得部４３１は、スマートデバイス３０の位置情報を取得する。例えば、位置情報取得部４３１は、スマートデバイス３０から受信した位置情報と、地図情報４２１とを基に、ユーザの位置を検出する。位置情報取得部４３１は、所定の時間間隔で定期的にスマートデバイス３０の位置情報を取得してもよいし、所定のタイミングでスマートデバイス３０の位置情報を取得してもよい。

【0046】

周辺状況特定部４３３は、位置情報取得部４３１によって取得された位置情報を基に、ユーザの周辺状況を特定する。例えば、周辺状況特定部４３３は、地図情報４２１を参照し、ユーザの周辺状況として、スマートデバイス３０の位置情報に対応する位置の標高を特定する。

【0047】

また、周辺状況特定部４３３は、例えば、ユーザの周辺状況として、スマートデバイス３０の位置情報に対応する位置の属性を特定するようにしてもよい。例えば、周辺状況特定部４３３は、ユーザの位置を基に、地図情報４２１を参照して、スマートデバイス３０の位置情報に対応する属性として、山、森、平野等を特定する。なお、周辺状況特定部４３３は、地図情報４２１に含まれる等高線を基に、山や平野の属性を判別してもよい。

【0048】

また、周辺状況特定部４３３は、スマートデバイス３０の位置情報と実空間の画像とを基に、ユーザの周辺状況を特定するようにしてもよい。例えば、周辺状況特定部４３３は、画像認識結果取得部４３２によって取得された画像認識結果に複数の木が含まれている場合には、ユーザの周辺状況が森であると特定する。

【0049】

領域更新部４３４は、周辺状況特定部４３３によって判定された周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する。例えば、領域更新部４３４は、周辺状況特定部４３３によって特定された位置の標高が高いほど、更新範囲が広くなるように、地図内のオブジェクトが当該地図上に表示される領域を更新する。

【0050】

具体例を挙げて説明すると、例えば、領域更新部４３４は、周辺状況特定部４３３によって特定された位置の標高が、所定の閾値以上である場合には、ユーザの位置を中心に周囲１００メートルの範囲の領域について、仮想的な地図内のオブジェクトが当該地図上に表示されるように更新し、所定の閾値以下である場合には、ユーザの位置を中心に周囲５０メートルの範囲の領域について、仮想的な地図内のオブジェクトが当該地図上に表示されるように更新する。なお、領域更新部４３４の処理はこれに限定されるものではなく、例えば、領域更新部４３４は、複数の閾値を設け、標高が高いほど、段階的に更新範囲が広くなるようにしてもよい。また、領域更新部４３４は、所定のアルゴリズムを用いて標高に応じて更新範囲の大きさを計算し、標高が高いほど、段階的に更新範囲が広くなるようにしてもよい。

【0051】

ここで、図７を用いて、マップの更新範囲について説明する図である。図７は、マップの更新範囲について説明する図である。図７に例示するように、サーバ４０は、ユーザが山の上等の標高の高い場所に行った場合には、マップの更新範囲が広く、ユーザが標高の低い場所に行った場合には、マップの更新範囲が狭くなるように、ＡＲグラス１０に表示される仮想的な地図を更新する。

【0052】

例えば、図８に例示するように、ＡＲグラス１０では、マップの更新範囲が広い場合には、ユーザの位置Ｐを中心に広い範囲（例えば、周囲１００メートル）のオブジェクトが地図上に表示されるように更新された状態で、仮想的な地図が表示される。図８は、更新範囲が広い場所におけるマップの更新例を説明する図である。また、図９の例示するように、ＡＲグラス１０では、マップの更新範囲が狭い場合には、図８の例と比べて、ユーザの位置Ｐを中心に狭い範囲（例えば、周囲５０メートル）のオブジェクトが地図上に表示されるように更新された状態で、仮想的な地図が表示される。図９は、更新範囲が狭い場所におけるマップの更新例を説明する図である。

【0053】

また、領域更新部４３４は、周辺状況特定部４３３によって特定された位置の属性に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新するようにしてもよい。具体例を挙げて説明すると、領域更新部４３４は、例えば、周辺状況特定部４３３によって特定された位置の属性が「山」である場合、もしくは「見晴らしが良い」である場合に、ユーザの位置を中心に周囲１００メートルの範囲の領域について、仮想的な地図内のオブジェクトが当該地図上に表示されるように更新する。また、領域更新部４３４は、例えば、周辺状況特定部４３３によって特定された位置の属性が「森」である場合、もしくは「見晴らしが悪い」である場合に、ユーザの位置を中心に周囲５０メートルの範囲の領域について、仮想的な地図内のオブジェクトが当該地図上に表示されるように更新する。

【0054】

また、領域更新部４３４は、標高および属性情報の両方に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新するようにしてもよい。具体例を挙げて説明すると、領域更新部４３４は、例えば、標高が所定の閾値以上であって、かつ、属性情報が「見晴らしが良い」場合には、ユーザの位置を中心に周囲１５０メートルの範囲の領域について、仮想的な地図内のオブジェクトが当該地図上に表示されるように更新し、標高が所定の閾値以上であって、かつ、属性情報が「見晴らしが悪い」場合には、ユーザの位置を中心に周囲７５メートルの範囲の領域について、仮想的な地図内のオブジェクトが当該地図上に表示されるように更新する。

【0055】

また、領域更新部４３４は、画像認識結果取得部４３２によって取得された画像認識結果を考慮して、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新するようにしてもよい。例えば、領域更新部４３４は、画像認識結果に木が含まれている場合には、更新する領域の範囲を１０メートル狭くし、壁や塀が含まれている場合には、更新する領域の範囲を３０メートル狭くする等してもよい。

【0056】

コンテンツ送信制御部４３５は、領域更新部４３４によって領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報をスマートデバイス３０に送信する。例えば、コンテンツ送信制御部４３５は、領域更新部４３４によって領域が更新された場合には、更新された領域内のオブジェクトが地図上に表示される仮想的な地図の画像情報を生成し、生成した画像情報をスマートデバイス３０に送信する。この場合に、コンテンツ送信制御部４３５は、仮想的な地図全体の画像情報をスマートデバイス３０に送信してもよいし、更新された部分のみの画像情報をスマートデバイス３０に送信してもよい。また、例えば、コンテンツ送信制御部４３５は、ＡＲ空間上の仮想的なコンテンツとともに、コンテンツの出力タイミングや、コンテンツの表示位置もスマートデバイス３０に送信する。

【0057】

［通信処理の処理手順］
図１０は、実施の形態に係る通信システムにおける通信処理の処理手順を示すシーケンス図である。

【0058】

図１０に例示するように、スマートデバイス３０は、スマートデバイス３０の位置を検出する度に（ステップＳ１）、サーバ４０に位置情報を送信する（ステップＳ２）。

【0059】

そして、スマートデバイス３０は、ＡＲグラス１０から画像が送信されると（ステップＳ３）、その画像に対する画像認識処理を実行し（ステップＳ４）、画像認識結果をサーバ４０に送信する（ステップＳ５）。

【0060】

サーバ４０は、位置情報取得部４３１によって取得された位置情報を基に、ユーザの周辺状況を特定する（ステップＳ６）。そして、サーバ４０は、周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する（ステップＳ７）。続いて、サーバ４０は、領域更新部４３４によって領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報をスマートデバイス３０に送信する（ステップＳ８）。

【0061】

スマートデバイス３０は、コンテンツと実空間の画像との合成処理を行う（ステップＳ９）。そして、スマートデバイス３０は、ＡＲグラス１０に、コンテンツの出力を指示し（ステップＳ１０）、ＡＲ空間上の仮想的なコンテンツ（例えば、仮想的な地図や動植物のキャラクター画像）をＡＲグラスから出力させる（ステップＳ１１）。

【0062】

［実施の形態の効果］
このように、本実施の形態では、通信システム１のサーバ４０は、スマートデバイス３０の位置情報を基に、ユーザの周辺状況を特定し、特定した周辺状況に応じて、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新し、該領域内の情報を含む仮想的な地図の情報をスマートデバイス３０に送信する。スマートデバイス３０は、サーバ４０から送信された仮想的な地図の情報を用いて、仮想的な地図をＡＲグラス１０に出力させる。このため、通信システム１では、歩いた範囲だけでなく、ユーザの周辺状況に応じてマップの更新範囲が変化するので、よりリアリティのあるＡＲ体験をユーザに提供することができる。

【0063】

また、本実施の形態では、ユーザの位置の標高や属性等を考慮して、ユーザの周辺状況に応じてマップの更新範囲が変化させるので、例えば、ユーザが山の上に行ったら一気にマップ内のオブジェクトを確認できる範囲が広がるようにしたり、森にいる場合には、マップ内のオブジェクトを確認できる範囲が広がらないようにしたりすることが可能である。

【0064】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0065】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0066】

［プログラム］
また、上記実施形態において説明したＡＲグラス１０、スマートデバイス３０及びサーバ４０及びが実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるＡＲグラス１０、スマートデバイス３０及びサーバ４０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0067】

図１１は、プログラムを実行するコンピュータを示す図である。図１１に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0068】

メモリ１０１０は、図１１に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１１に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0069】

ここで、図１１に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0070】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0071】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0072】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0073】

１０ ＡＲグラス
１１ 撮像部
１２ 音声入力部
１３，３１，４１ 通信部
１４ 表示部
１５ 音声出力部
２０ モーションコントローラー
３０ スマートデバイス
３２，４２ 記憶部
３３，４３ 制御部
４０ サーバ
３２１ 画像データ
３２２ コンテンツ
３３１ 位置検出部
３３２ 画像認識部
３３３ 動き検出部
３３４ ＡＲグラス制御部
３３５ コンテンツ取得部
３３６ コンテンツ合成部
４２１ 地図情報
４２２ コンテンツ情報
４３１ 位置情報取得部
４３２ 画像認識結果取得部
４３３ 周辺状況特定部
４３４ 領域更新部
４３５ コンテンツ送信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2022-09-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ＡＲグラスと、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、
前記サーバは、
前記スマートデバイスの位置情報を取得する取得部と、
前記取得部によって取得された位置情報を基に、前記ユーザの周辺状況として、前記スマートデバイスの位置情報に対応する位置の標高を特定する特定部と、
前記特定部によって特定された位置の標高が高いほど、更新範囲が広くなるように、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新部と、
前記更新部によって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信部と、
を有し、
前記スマートデバイスは、
自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出部と、
前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図を前記ＡＲグラスに出力させる制御部と、
を有することを特徴とする通信システム。

【請求項2】

前記特定部は、前記ユーザの周辺状況として、前記スマートデバイスの位置情報に対応する位置の見晴らしが良いか悪いかを示す属性をさらに特定し、
前記更新部は、前記特定部によって特定された前記属性に応じて、前記仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新することを特徴とする請求項１に記載の通信システム。

【請求項3】

前記ＡＲグラスは、
実空間の画像を撮像する撮像部と、
前記スマートデバイスとの間で通信を行い、前記実空間の画像を前記スマートデバイスに送信する通信部と、
を有し、
前記特定部は、前記スマートデバイスの位置情報と前記実空間の画像とを基に、前記ユーザの周辺状況を特定することを特徴とする請求項１に記載の通信システム。

【請求項4】

ＡＲグラスと、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムが実行する通信方法であって、
前記スマートデバイスが、自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出工程と、
前記サーバが、前記スマートデバイスの位置情報を取得する取得工程と、
前記サーバが、前記取得工程によって取得された位置情報を基に、前記ユーザの周辺状況として、前記スマートデバイスの位置情報に対応する位置の標高を特定する特定工程と、
前記特定工程によって特定された位置の標高が高いほど、更新範囲が広くなるように、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新工程と、
前記サーバが、前記更新工程によって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信工程と、
前記スマートデバイスが、前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図を前記ＡＲグラスに出力させる制御工程と、
を含んだことを特徴とする通信方法。

【請求項5】

通信方法をコンピュータに実行させる通信プログラムであって、
サーバとしてのコンピュータに、
ユーザが携帯するスマートデバイスの位置情報を取得する取得ステップと、
前記取得ステップによって取得された位置情報を基に、前記ユーザの周辺状況として、前記スマートデバイスの位置情報に対応する位置の標高を特定する特定ステップと、
前記特定ステップによって特定された位置の標高が高いほど、更新範囲が広くなるように、仮想的な地図内のオブジェクトが当該地図上に表示される領域を更新する更新ステップと、
前記更新ステップによって前記領域が更新された場合に、該領域内の情報を含む仮想的な地図の情報を前記スマートデバイスに送信する送信ステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
自装置の位置情報を検出し、該位置情報を前記サーバに送信する位置検出ステップと、
前記サーバから送信された仮想的な地図の情報を用いて、仮想的な地図をＡＲグラスに出力させる制御ステップと、
を実行させることを特徴とする通信プログラム。