(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-21
(45)【発行日】2024-03-29
(54)【発明の名称】携帯型情報端末及び情報処理システム
(51)【国際特許分類】
H04L 67/52 20220101AFI20240322BHJP
H04L 67/131 20220101ALI20240322BHJP
【FI】
H04L67/52
H04L67/131
(21)【出願番号】P 2021566656
(86)(22)【出願日】2019-12-25
(86)【国際出願番号】 JP2019050925
(87)【国際公開番号】W WO2021130925
(87)【国際公開日】2021-07-01
【審査請求日】2022-06-16
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】秋山 仁
(72)【発明者】
【氏名】伊藤 保
【審査官】小林 義晴
(56)【参考文献】
【文献】特開2005-086770(JP,A)
【文献】特開2016-014988(JP,A)
【文献】特開2016-126456(JP,A)
【文献】特開2009-37487(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/52
H04L 67/131
(57)【特許請求の範囲】
【請求項1】
携帯型情報端末であって、
ディスプレイと、
ネットワークに接続するための通信インタフェースと、
記憶装置と、
プロセッサと、
カメラと、
距離センサと、を備え、
前記プロセッサは、
前記携帯型情報端末が存在する空間に配置され当該携帯型情報端末を前記ネットワークに接続する中継装置から、当該中継装置を特定する情報である中継装置識別情報を取得し、
前記記憶装置に、
前記空間において、前記ディスプレイに表示するために必要な空間をマッピングした空間形状情報が登録されているか否かを判別し、
登録されていない場合、前記通信インタフェースから前記中継装置を介して前記ネットワークに接続されたサーバに対し、前記
空間形状情報の要求を行い、
前記要求に応じて前記サーバから送信された前記
空間形状情報を受信し、
受信した前記
空間形状情報を、前記中継装置識別情報に対応付けて前記記憶装置に記憶
し、
前記要求に応じて、前記サーバから前記空間形状情報を受信しなかった場合、
前記カメラおよび前記距離センサを用い、前記空間の前記空間形状情報を生成し、
生成した当該空間形状情報を、前記中継装置識別情報に対応づけて、前記記憶装置に記憶すること
を特徴とする携帯型情報端末。
【請求項2】
請求項1記載の携帯型情報端末であって、
前記中継装置は、無線LANのアクセスポイントであること
を特徴とする携帯型情報端末。
【請求項3】
請求項
1記載の携帯型情報端末であって、
前記通信インタフェースと前記中継装置との通信には、ミリ波を用いること
を特徴とする携帯型情報端末。
【請求項4】
請求項
1記載の携帯型情報端末であって、
前記中継装置は、携帯電話の基地局であること
を特徴とする携帯型情報端末。
【請求項5】
請求項
1記載の携帯型情報端末であって、
前記中継装置は、有線LAN用中継装置であること
を特徴とする携帯型情報端末。
【請求項6】
請求項1記載の携帯型情報端末であって、
前記記憶装置には、当該携帯型情報端末で生成可能な前記空間形状情報の最良の解像度である最良解像度が記憶され、
前記プロセッサは、
前記サーバから前記空間形状情報を受信した場合、受信した当該空間形状情報の解像度と、前記最良解像度とを比較し、
前記最良解像度の方が高い場合、前記カメラおよび前記距離センサを用いて、前記最良解像度で前記空間の前記空間形状情報を生成し、
生成した当該空間形状情報を、前記中継装置識別情報に対応づけて、前記記憶装置に記憶するとともに、前記最良解像度を示す情報とともに生成した前記空間形状情報を、前記中継装置を介して前記サーバへ送信すること
を特徴とする携帯型情報端末。
【請求項7】
携帯型情報端末と、
構造物によって分割された複数の空間に設置される中継装置と、
サーバと、を備える情報処理システムであって、
前記携帯型情報端末は、
ディスプレイと、
ネットワークに接続するための通信インタフェースと、
記憶装置と、
プロセッサと、を備え、
前記プロセッサは、
当該携帯型情報端末を前記ネットワークに接続する中継装置から、当該中継装置を特定する情報である中継装置識別情報を取得し、
前記記憶装置に、前記中継装置識別情報に対応付けて当該携帯型情報端末が存在する空間において、前記ディスプレイに表示するために必要な表示関連情報が登録されているかを判別し、
登録されていない場合、前記通信インタフェースから前記中継装置を介して前記ネットワークに接続されたサーバに対し、前記表示関連情報の要求を行い、
前記要求に応じて前記サーバから送信された前記表示関連情報を受信し、
受信した前記表示関連情報を、前記中継装置識別情報に対応付けて前記記憶装置に記憶し、
前記中継装置は、各空間に少なくとも1つ備えられ、
前記携帯型情報端末は、前記空間の前記中継装置を介して前記サーバに前記要求を行い、
前記サーバは、
サーバ記憶装置と、サーバプロセッサとを備え、
前記サーバ記憶装置には、前記中継装置に対応付けて、当該中継装置が配置される空間の前記表示関連情報が登録され、
前記サーバプロセッサは、
前記携帯型情報端末から前記中継装置を介して前記要求を受け取ると、中継した前記中継装置に対応付けて前記サーバ記憶装置に登録される前記表示関連情報を、送信元の前記携帯型情報端末に送信し、
前記空間には、前記中継装置として、異なる性能の第一中継装置と第二中継装置とが設けられ、
前記サーバ記憶装置には、前記中継装置に対応付けて、当該中継装置の性能に応じた解像度の前記表示関連情報が登録されること
を特徴とする
情報処理システム。
【請求項8】
携帯型情報端末と、
構造物によって分割された複数の空間に設置される中継装置と、
サーバと、を備える情報処理システムであって、
前記携帯型情報端末は、
ディスプレイと、
ネットワークに接続するための通信インタフェースと、
記憶装置と、
プロセッサと、を備え、
前記プロセッサは、
当該携帯型情報端末を前記ネットワークに接続する中継装置から、当該中継装置を特定する情報である中継装置識別情報を取得し、
前記記憶装置に、前記中継装置識別情報に対応付けて当該携帯型情報端末が存在する空間において、前記ディスプレイに表示するために必要な表示関連情報が登録されているかを判別し、
登録されていない場合、前記通信インタフェースから前記中継装置を介して前記ネットワークに接続されたサーバに対し、前記表示関連情報の要求を行い、
前記要求に応じて前記サーバから送信された前記表示関連情報を受信し、
受信した前記表示関連情報を、前記中継装置識別情報に対応付けて前記記憶装置に記憶し、
前記中継装置は、各空間に少なくとも1つ備えられ、
前記携帯型情報端末は、前記空間の前記中継装置を介して前記サーバに前記要求を行い、
前記サーバは、
サーバ記憶装置と、サーバプロセッサとを備え、
前記サーバ記憶装置には、前記中継装置に対応付けて、当該中継装置が配置される空間の前記表示関連情報が登録され、
前記サーバプロセッサは、
前記携帯型情報端末から前記中継装置を介して前記要求を受け取ると、中継した前記中継装置に対応付けて前記サーバ記憶装置に登録される前記表示関連情報を、送信元の前記携帯型情報端末に送信し、
前記携帯型情報端末は、
カメラと、
距離センサと、をさらに備え、
前記表示関連情報は、前記空間をマッピングした空間形状情報であり、
前記プロセッサは、
前記カメラおよび前記距離センサを用い、前記空間の前記空間形状情報を生成し、
生成した当該空間形状情報を、当該空間形状情報の解像度に対応づけて、前記サーバに送信し、
前記サーバ記憶装置には、前記空間形状情報に対応付けて当該空間形状情報の解像度が登録され、
前記サーバプロセッサは、
前記携帯型情報端末から前記中継装置を介して前記空間形状情報および前記解像度を受信すると、受信した前記解像度と前記サーバ記憶装置に記憶されている、当該中継装置に対応付けられた前記空間形状情報の前記解像度とを比較し、
受信した前記解像度の方が高い場合、前記サーバ記憶装置に記憶された前記空間形状情報を受信した前記空間形状情報に更新すること
を特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイ(Head Mounted Display、以下「HMD」と記載する。)等の携帯型情報端末の、存在領域を特定する技術に関する。
【背景技術】
【0002】
HMDでは、眼鏡形式の表示画面上に、実空間の映像と、コンピュータによる拡張現実(AR:Augmented Reality)の生成画像(アバター等のAR画像)とを重畳させて表示する。一般に、AR画像は、外部サーバに格納されている。外部サーバに格納されている大量のAR画像の中から、HMDが現在、存在する領域に関する情報を的確に抽出するためには、あるいは、外部サーバが、各HMDに、適切に情報を提供するためには、HMDの存在領域を特定する必要がある。
【0003】
HMDの存在領域を特定する技術として、例えば、特許文献1に記載の技術がある。特許文献1には、「体験施設が複数の区分領域で構成される。ヘッドマウントディスプレイ装置(HMD)が発生する識別コードを検出アンテナDが受信して、HMDが複数の区分領域の内のどの区分領域に存在するかを検出すると共に、検出された区分領域内でどの方向を向いているかを検出する。蓄積手段に複数の区分領域毎に異なる画像情報を蓄積し、抽出手段が対応区分領域の画像情報の内、検出した方向に応じた部分を蓄積手段から抽出する。抽出した仮想画像をHMDに表示する(要約抜粋)。」技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
特許文献1:特開2002-112287号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術では、HMDから識別信号を発信し、それを16個の受信アンテナにより受信し、それぞれの受信アンテナにおける相対位相によりHMDの存在領域を特定する。また、予め設置した4個の送信アンテナからそれぞれ異なる位置コードを発信し、HMDが、受信した4個の位置コードの相対位相から存在領域を特定する。従って、HMDの存在領域を特定するために、複数のアンテナ等の新たな設備の設置が必要であり、多大なコストがかかる。
【0006】
本発明は、上記事情に鑑みてなされたもので、特別な設備(ハードウェア)を追加することなく、必要十分な精度でHMD等の通信機能を有する携帯型情報端末の存在領域を特定可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明は、携帯型情報端末であって、ディスプレイと、ネットワークに接続するための通信インタフェースと、記憶装置と、プロセッサと、カメラと、距離センサと、を備え、前記プロセッサは、前記携帯型情報端末が存在する空間に配置され当該携帯型情報端末を前記ネットワークに接続する中継装置から、当該中継装置を特定する情報である中継装置識別情報を取得し、前記記憶装置に、前記空間において、前記ディスプレイに表示するために必要な空間をマッピングした空間形状情報が登録されているか否かを判別し、登録されていない場合、前記通信インタフェースから前記中継装置を介して前記ネットワークに接続されたサーバに対し、前記空間形状情報の要求を行い、前記要求に応じて前記サーバから送信された前記空間形状情報を受信し、受信した前記空間形状情報を、前記中継装置識別情報に対応付けて前記記憶装置に記憶し、前記要求に応じて、前記サーバから前記空間形状情報を受信しなかった場合、前記カメラおよび前記距離センサを用い、前記空間の前記空間形状情報を生成し、生成した当該空間形状情報を、前記中継装置識別情報に対応づけて、前記記憶装置に記憶することを特徴とする。
【発明の効果】
【0008】
特別な設備(ハードウェア)を追加することなく、必要十分な精度でHMDの存在領域を特定できる。上記以外の目的、構成、効果については下記の実施形態において明らかにされる。
【図面の簡単な説明】
【0009】
【
図1】(a)は、第一実施形態の、(b)は、変形例3の、それぞれ、存在領域特定システムの概要を説明するための説明図である。
【
図2】(a)は、第一実施形態のHMDの外観図であり、(b)は、第一実施形態のHMDのハードウェア構成図である。
【
図3】(a)は、第一実施形態のHMDの機能ブロック図であり、(b)は、第一実施形態のHMD側ライブラリを説明するための説明図である。
【
図4】(a)は、第一実施形態のサーバのハードウェア構成図であり、(b)は、第一実施形態のサーバの機能ブロック図であり、(c)は、第一実施形態のサーバ側ライブラリを説明するための説明図である。
【
図5】第一実施形態の空間形状情報取得処理のフローチャートである。
【
図6】第一実施形態の認証処理を説明するためのタイムチャートである。
【
図7】(a)および(b)は、変形例1の存在領域特定システムの概要を説明するための説明図である。
【
図8】(a)は、変形例1のHMD側ライブラリを、(b)は変形例1のサーバ側ライブラリを、それぞれ説明するための説明図である。
【
図9】変形例1の認証処理を説明するためのタイムチャートである。
【
図10】(a)は、第二実施形態の存在領域特定システムの概要を、(b)は、第二実施形態の各アクセスポイントの性能の概要を、それぞれ説明するための説明図である。
【
図11】第二実施形態の、サーバ側ライブラリを説明するための説明図である。
【
図12】(a)は、第三実施形態のHMD側ライブラリを、(b)は、第三実施形態のサーバ側ライブラリを、それぞれ説明するための説明図である。
【
図13】第三実施形態の空間形状情報取得処理のフローチャートである。
【
図14】第三実施形態の空間形状情報管理処理のフローチャートである。
【
図15】第四実施形態の存在領域特定システムの概要を説明するための説明図である。
【
図16】(a)は、第四実施形態のHMDの機能ブロック図であり、(b)は、第四実施形態のサーバ側ライブラリを説明するための説明図である。
【
図17】第四実施形態の空間形状情報管理処理のフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態を、図面を用いて説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。
【0011】
<<第一実施形態>>
まず、本実施形態の概要を説明する。
図1(a)は、本実施形態の存在領域特定システム100の概要および動作環境を説明するための図である。
【0012】
本実施形態の存在領域特定システム100は、
図1(a)に示すように、HMD110と、各部屋510に配置されたアクセスポイント310と、サーバ700とを備える。本実施形態の存在領域特定システム100は、HMD110とサーバ700とが、アクセスポイント310を介して無線通信でデータの送受信を行う無線LAN(Local Area Network)システムである。以下、本明細書では、構造物によって分割された空間を部屋と呼ぶ。
【0013】
本実施形態では、各部屋510(511、512)に、無線LAN接続用のアクセスポイント(AP)310(311、312)がそれぞれ設けられる。そして、AR表示に必要な各種データを管理するサーバ700側で、このアクセスポイント310の識別情報で部屋510を特定する。
【0014】
本実施形態では、HMD(Head Mounted Display)110を装着したユーザ(HMD装着者)が部屋510に入ると、HMD110は、その部屋510に予め設置された中継装置であるアクセスポイント(AP)310に接続し、認証処理を行う。この認証処理により、HMD110は、アクセスポイント310の識別情報を入手する。そして、サーバ700から送信された、AR画像表示に必要な各種の情報(表示関連情報)を、アクセスポイント310の識別情報に対応付けて管理する。これにより、HMD110内で、どの部屋510の情報であるかを識別できる。
【0015】
また、サーバ700側では、各部屋510における表示関連報を、各部屋510に設置されたアクセスポイント310の識別情報に対応づけて管理する。HMD110からのデータ送信要求時に中継されたアクセスポイント310の識別情報により、HMD110の存在領域(部屋510)を特定し、その部屋510用に用意された表示関連情報を、送信元のHMD110に提供する。
【0016】
以下、本実施形態では、表示関連報として、空間形状情報を例にあげて説明する。空間形状情報は、その部屋510の壁や設置物の配置や形状をスキャンしたデータをマッピングした情報である。空間形状情報は、その部屋510の、壁に囲まれた内部形状や、部屋510に設置されている家具等の配置や形状を把握するために用いられる。この空間形状情報があれば、ARオブジェクトを、現実感をもって配置することができる。現実感を持った配置とは、例えば、ARオブジェクトを壁の裏に配置しないなどである。
【0017】
一般に、空間形状情報は、HMD110の装着者が部屋510等の所定の空間に入室するごとに、HMD110が備える各種センサを用いて、空間を走査し、生成するもので、処理負荷の大きい作業である。
【0018】
本実施形態では、サーバ700およびHMD110自身が、容易に、HMD110の存在領域(部屋510)を特定できることを利用し、過去に、各部屋510の空間形状情報が作成されていれば、それを流用する。
【0019】
以下、本実施形態について、部屋が2つ(第一部屋511、第二部屋512)である場合を例に説明する。第一部屋511には、第一アクセスポイント311が、第二部屋512には、第二アクセスポイント312が配置される。また、HMD110も1台とは限らない。例えば、第一HMD111と、第二HMD112を有してもよい。以下、各部屋を区別する必要がない場合は、部屋510で代表する。また、各アクセスポイントおよび各HMDを区別する必要がない場合は、アクセスポイント310、HMD110でそれぞれ代表する。各アクセスポイント310は、ネットワーク610を介して、サーバ700とデータの送受信が可能である。
【0020】
[HMD]
まず、本実施形態のHMD110について説明する。
【0021】
[HMDの外観]
図2(a)は、本実施形態のHMD110の外観図である。本図に示すHMD110は、シースルー方式のHMD110である。HMD110は、透過あるいは半透過のディスプレイ173を有する。HMD110を装着した装着者は、ディスプレイ173に表示された仮想オブジェクトや映像を外景に重畳して見ることができる。
【0022】
なお、本実施形態は、図示はしていないが、没入型のHMDにも適用可能である。没入型のHMDを装着した装着者は、直接周囲の景色を見ることはなく、VRの世界(仮想現実)を見る。さらに、没入型のHMDは、ビデオスルー方式、即ち、アウトカメラ172(
図2(b)参照)で撮像した外界映像のデータを使い、外界映像に仮想オブジェクトを重畳した映像を視認する。本実施形態は、上記いずれの方式にも適用可能であるが、シースルー方式のHMD110を例に挙げて説明する。
【0023】
[HMDのハードウェア構成例]
図2(b)は、HMD110の内部構成の一例を示すハードウェア構成図である。
【0024】
HMD110は、システムバス113と、システムバス113に接続されたメインプロセッサ120と、RAM141と、ROM142と、フラッシュメモリ143と、GPS(Global Positioning System)受信器151と、地磁気センサ152と、距離センサ153と、加速度センサ154と、ジャイロセンサ155と、タイマ156と、無線通信I/F161と、電話網通信I/F162と、インカメラ171と、アウトカメラ172と、ディスプレイ173と、マイク181と、スピーカ182と、オーディオデコーダ183と、ボタンスイッチ191と、タッチパネル192と、を備える。
【0025】
メインプロセッサ120は、所定の動作プログラムに従ってHMD110全体を制御する。CPU、MPU、専用の論理回路等、構成部品は限定されない。
【0026】
システムバス113は、メインプロセッサ120とHMD110内の各構成要素とを相互に接続するデータ通信路である。メインプロセッサ120とHMD110内の各構成要素とは、システムバス113を介して各種コマンドやデータなどの送受信を行う。
【0027】
RAM141は、メインプロセッサ120が各種プログラムを実行する際に使用するワークエリアなどの書き替え可能なプログラム作業領域を構成する。
【0028】
ROM142およびフラッシュメモリ143は、HMD110の機能を実現するための各種プログラムと、動作設定値、後述するセンサからの検出値を含むセンサ情報、仮想オブジェクトおよびコンテンツなどの各種表示用データを記憶する。ROM142およびフラッシュメモリ143は、HMD110に外部から電源が供給されていない状態であっても記憶している情報を保持する、所謂不揮発性ストレージである。
【0029】
フラッシュメモリ143は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶する。フラッシュメモリ143に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新および機能拡張することが可能である。
【0030】
さらにフラッシュメモリ143は、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、インカメラ171またはアウトカメラ172が撮影した動画や静止画等のデータを記憶可能である。
【0031】
RAM141と、ROM142と、フラッシュメモリ143と、はストレージの一例であり、他のデバイス、例えばSSD(Solid State Drive)などの半導体素子メモリ、HDD(Hard Disc Drive)などの磁気ディスクドライブ等のデバイスが用いられてもよい。
【0032】
メインプロセッサ120は、GPS受信器151と、地磁気センサ152と、距離センサ153と、加速度センサ154と、ジャイロセンサ155と、からそれぞれセンサ情報を取得し、タイマ156が計測した視聴時間も取得する。そして、センサ情報と視聴時間とを用いてHMD110の位置、傾き、方角、動き等を検出する。また、HMD110は、照度センサ、近接センサ、高度センサ等、他のセンサをさらに備えていても良い。
【0033】
無線通信インタフェース(I/F)161は、アクセスポイント310を介してインターネット等のネットワーク610と接続され、ネットワーク610上の各サーバ700とデータの送受信を行う。本実施形態では、アクセスポイント310等との無線LAN接続は、ミリ波(60GHz帯)を用いる。これは、ミリ波は、指向性が強く、また、電波が部屋の壁にて吸収されやすいためである。ミリ波を用いることにより、HMD110は、確実に自身が存在する部屋510に設置されるアクセスポイント310と無線LAN接続する。なお、無線通信I/F161には、Wi-Fi(登録商標)や、Bluetooth(登録商標)を用いてもよい。
【0034】
電話網通信I/F162は、GSM(登録商標)(Global System for Mobile Communications)方式、W-CDMA(Wideband Code Division Multiple Access)方式やCDMA2000方式、UMTS(Universal Mobile Telecommunications System)方式などの第3世代移動通信システム(以下「3G」と表記する)、またはLTE(Long Term Evolution)方式、第4世代(4G)、第5世代(5G)と呼ばれる通信方式で、移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行う。
【0035】
無線通信I/F161と電話網通信I/F162は、それぞれ符号化回路や復号回路やアンテナ等を備える。
【0036】
また、HMD110は、赤外線通信I/F等、他の通信I/Fを備えていても良い。
【0037】
インカメラ171およびアウトカメラ172は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラである。インカメラ171およびアウトカメラ172を特に区別する必要がない場合は、カメラ170で総称する。
【0038】
ディスプレイ173は、例えば液晶パネル等の表示デバイスであり、画像データをHMD110の装着者に提供する。HMD110は、図示を省略したビデオRAMを備える。前記ビデオRAMに入力された画像データに基づいてディスプレイ173の画面上に仮想オブジェクトや映像が表示される。
【0039】
マイク181は、HMD110の装着者の声などを音声データに変換して入力する。
【0040】
スピーカ182は、音声情報等を出力する。
【0041】
オーディオデコーダ183は、必要に応じて、符号化音声信号の復号処理を行う。
【0042】
ボタンスイッチ191およびタッチパネル192は、HMD110に対する操作指示の入力を行う操作デバイスである。操作デバイスは、ボタンスイッチ191やタッチパネル192に限定されない。例えば、有線通信または無線通信により接続された別体の携帯端末機器(例えばスマートフォンやタブレット端末)からHMD110の操作信号を送信し、HMD110が操作信号を受信し、この操作信号に従って操作してもよい。またマイク181から音声を入力し、メインプロセッサ120が音声認識処理を実行して操作信号を生成し、HMD110の動作制御を行ってもよい。
【0043】
なお、
図2(a)に示したHMD110の構成例は、本実施形態に必須ではない構成も含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成がさらに加えられていても良い。
【0044】
[HMDの機能ブロック]
次に、本実施形態のHMD110の機能構成を説明する。
図3(a)は、本実施形態のHMD110の機能ブロック図である。
【0045】
本実施形態のHMD110は、主制御部211と、認証部212と、データ管理部213と、空間形状情報取得部214と、AR画像処理部215と、通信部216と、の各機能と、HMD側空間形状情報テーブル(HMD側ライブラリ)221と、認証情報テーブル222と、を備える。各機能は、メインプロセッサ120がROM142やフラッシュメモリ143に格納されたプログラムをRAM141にロードして実行することにより実現される。また、HMD側ライブラリ221は、ROM142またはフラッシュメモリ143上に構築される。
【0046】
主制御部211は、HMD110の各部の動作を制御する。
【0047】
認証部212は、各部屋510に配置されるアクセスポイント310にアクセスし、認証を行う。本実施形態では、無線通信I/F161を介して、アクセスポイント310のネットワーク名(無線LANネットワーク名)とアクセスポイント310を特定する情報(アクセスポイントID)とを受信すると、当該アクセスポイント310に向けて、ネットワーク接続に必要なパスワードを送信する。パスワードは、予め認証情報テーブル222に格納される。アクセスポイント310から、認証成功の通知を受け取ると、主制御部211等の他の機能に通知する。
【0048】
認証情報テーブル222には、各種の認証に必要なパスワード、装置名等が登録される。本実施形態では、例えば、アクセスポイント310への接続の際に要求される認証用パスワード等が格納される。
【0049】
データ管理部213は、HMD側ライブラリ221の空間形状情報等を管理する。空間形状情報は、後述する空間形状情報取得部214により取得される。
【0050】
本実施形態では、データ管理部213は、まず、現在HMD110が存在する部屋510(以下、自室ともいう)の、空間形状情報があるか否かを判別する。各部屋510の空間形状情報は、当該部屋に配置されるアクセスポイントIDに対応づけて、HMD側ライブラリ221に格納される。
【0051】
ここで、
図3(b)に、本実施形態のHMD側ライブラリ221の一例を示す。本図に示すように、HMD側ライブラリ221では、各部屋510について、アクセスポイントID221aに対応付けて、空間形状情報221bが登録される。HMD側ライブラリ221には、その他、AR画像情報221cなどの、表示関連情報が登録されてもよい。
【0052】
本実施形態では、アクセスポイントID221aとして、認証時に取得するアクセスポイント310を特定する情報を用いる。アクセスポイントID221aとして、例えば、アクセスポイント310のMACアドレス等を用いてもよい。
【0053】
なお、例えば、部屋510に関し、アクセスポイントID221aに対応づけて、空間形状情報が格納されていない場合、データ管理部213は、サーバ700に対し、部屋510の空間形状情報を要求する。要求は、アクセスポイント310を介して行われる。
【0054】
データ管理部213は、サーバ700から、アクセスポイント310を介して空間形状情報を受信すると、受信した空間形状情報221bを、HMD側ライブラリ221に、アクセスポイントID221aに対応づけて記憶する。一方、サーバ700から空間形状情報の登録なしを意味する返信を受信すると、空間形状情報取得部214に、空間形状情報を取得するよう指示する。
【0055】
データ管理部213は、サーバ700に格納されている、部屋510の空間形状情報を入手し、HMD側ライブラリ221に保存する。
【0056】
空間形状情報取得部214は、データ管理部213から空間形状情報取得の指示を受け付けると、現在、自装置(HMD110)が存在する領域(部屋510)の、空間形状情報を作成する。作成した空間形状情報221bは、HMD側ライブラリ221に登録する。このとき、空間形状情報取得部214は、認証部212が取得した、アクセスポイントID221aに対応づけて、登録する。
【0057】
本実施形態では、空間形状情報取得部214は、カメラ170を用いてその部屋510の壁、設置物の配置、形状等を、スキャンしながら撮影する。そして、得られた撮影データを、マッピングし、その部屋510の空間形状情報を取得する。
【0058】
AR画像処理部215は、AR画像情報221cを用いて、AR画像を生成し、ディスプレイ173に表示する。表示は、生成されたAR画像の表示位置が、HMD110の装着者の視界に存在する場合、行われる。HMD110の視界に、AR画像の表示位置が存在するかどうかの判断は、HMD110自体がAR画像の表示位置を判断して行う。
【0059】
AR画像情報221cは、例えば、サーバ700から取得し、HMD側ライブラリ221に保存してもよい。また、HMD110の視界情報をサーバ700に送信し、サーバ700がAR画像の表示位置を判断し、必要なAR画像情報221cをHMD110に送信してもよい。
【0060】
通信部216は、無線通信I/F161を介して外部の装置とデータの送受信を行う。本実施形態では、無線通信I/F161を介してアクセスポイント310に向けてデータを送信する。また、アクセスポイント310から送信されるデータを受信する。
【0061】
なお、本実施形態のHMD110は、その他、カメラ170で取得した撮影データを記憶する撮影データ記憶部等を備えてもよい。また、認証情報以外のデータは、すべて、外部に保存するよう構成してもよい。例えば、ネットワークを介して接続されるサーバ等の装置である。この場合、必要に応じて、無線通信I/F161を介して、取得する。
【0062】
[アクセスポイント]
アクセスポイント310は、従来から用いられているアクセスポイントと同様の構成を有する。本実施形態では、HMD110等の無線LANクライアントを、他のネットワークに接続するルータ機能を有する無線機器である。
【0063】
本実施形態では、上述のように、サーバ700側では、アクセスポイント310を特定する情報で、HMD110がどの部屋510に存在するかを特定する。このため、各部屋510に、それぞれ、少なくとも1つのアクセスポイント310が設けられる。また、他の部屋510のアクセスポイント310に接続されにくいよう、本実施形態では、例えば、HMD110とアクセスポイント310との無線LAN接続は、ミリ波(60GHz帯)を使用する。
【0064】
なお、使用する電磁波の波長は、これに限定されない。他の部屋のアクセスポイント310に接続されにくく、確実に自室のアクセスポイント310に接続される波長帯域の電磁波であればよい。
【0065】
また、HMD110の装着者が部屋510のどの位置に存在しても、HMD110がアクセスポイント310に接続できるように、アクセスポイント310は各部屋510の天井中央付近に設置されることが望ましい。
【0066】
個々のアクセスポイント310には、固有の物理アドレスであるMAC(Media Access Control)アドレスが設定されている。従って、アクセスポイント310を特定するアクセスポイントIDとして、MACアドレスを用いてもよい。MACアドレスの代わりに、論理アドレスであるIP(Internet Protocol)アドレスや、ユニークなアクセスポイント名を利用することもできる。以下、本実施形態では、MACアドレスを用いる場合を例にあげて説明する。
【0067】
[サーバ]
次に、本実施形態のサーバ700について説明する。本実施形態のサーバ700は、管理する各部屋510の表示関連情報として、AR表示に係る情報を保持する。そして、HMD110からの要求に応じて、要求元のHMD110が存在する部屋510の表示関連情報を提供する。この機能は、従来のAR用サーバと同様である。
【0068】
[サーバのハードウェア構成]
図4(a)は、本実施形態のサーバ700のハードウェア構成の一例である。本図に示すように、サーバ700は、一般のサーバ同様、プロセッサ(メインプロセッサ)720と、RAM741、ROM742、フラッシュメモリ743等を備える記憶装置(サーバ記憶装置)と、通信インタフェース(I/F)761と、を備える。その他、ディスプレイ773や操作装置791等を備えていてもよい。これらは、HMD110の同名の構成と同じであるため、ここでは、説明を省略する。
【0069】
[サーバの機能構成]
図4(b)は、本実施形態のサーバ700の本実施形態の処理に係る部分の機能ブロック図である。本図に示すように、サーバ700は、空間形状情報管理部721と、サーバ側空間形状情報(以下、サーバ側ライブラリと呼ぶ。)730と、を備える。
【0070】
空間形状情報管理部721は、サーバ側ライブラリ730内のデータを管理する。本実施形態では、HMD110からの要求に応じて、経由したアクセスポイント310が存在する部屋510の空間形状情報を提供する。提供にあたり、要求データに含まれるアクセスポイント310のアクセスポイントID(MACアドレス)に対応づけてサーバ側ライブラリ730に空間形状情報が登録されているかを確認する。登録されている場合、その空間形状情報を提供する。一方、登録されていない場合は、登録されていないことを示すデータを返信する。
【0071】
さらに、登録されていないことを示すデータの返信に応じて、空間形状情報が送信された場合、中継したアクセスポイント310のアクセスポイントIDに対応づけて、当該空間形状情報を、サーバ側ライブラリ730に登録する。
【0072】
ここで、サーバ側ライブラリ730の一例を、
図4(c)に示す。本図に示すように、サーバ側ライブラリ730には、各部屋510の表示関連情報(空間形状情報を含む)が登録される。サーバ側ライブラリ730には、部屋510毎に、部屋を識別する部屋番号731と、アクセスポイントID732と、当該部屋510の空間形状情報733と、コンピュータによる拡張現実の生成画像(AR画像)の情報(AR画像情報)735と、を備える。なお、その他、その部屋510に関する音声情報やその部屋510に関するその他の情報を備えてもよい。また、部屋番号731は、備えなくてもよい。
【0073】
本図に示すサーバ側ライブラリ730では、部屋番号731が「部屋511」のデータは、アクセスポイントID732が「Adrs01」、空間形状情報733が「Map01」、AR画像情報735が「AR01」、音声情報が「Snd01」、その他の情報が「Othr01」である。部屋512から部屋nについても、同様に、本図に示すデータが格納される。
【0074】
本実施形態では、サーバ700側でこのようなサーバ側ライブラリ730を備える。これにより、アクセスポイント310のアクセスポイントIDが判明すれば、部屋510が特定され、その部屋510に関する全ての情報を入手することができる。
【0075】
なお、サーバ側ライブラリ730では、基本的に、各部屋510に関する空間形状情報733とAR画像情報735と音声情報とその他の情報とは、予め取得し、部屋番号731およびアクセスポイントID732とに対応づけて登録されることが望ましい。特に、空間形状情報733については、標準のHMD110等にて、予め各部屋510の空間形状情報を作成し、登録しておくことが望ましい。
【0076】
ただし、本実施形態では、中継するアクセスポイント310のアクセスポイントID732のデータ自体が登録されていない場合、送信された空間形状情報を新規に登録する。すなわち、本実施形態では、後からサーバ側ライブラリ730を補充できる。
【0077】
なお、サーバ側ライブラリ730は、サーバ700の記憶装置に記憶される。
【0078】
[空間形状情報取得処理]
以下、本実施形態のHMD存在領域を特定可能な情報処理システムである存在領域特定システム100による、HMD110が部屋510に入った際の初期処理(空間形状情報取得処理)の流れを説明する。
【0079】
上述したように、通常は、HMD110の装着者が新たな部屋510に入室すると、HMD110が備える各種のセンサを用いて、毎回、最初に、その部屋510の空間形状情報を収集する。しかしながら、本実施形態では、HMDの存在領域を特定できるため、過去に作成された空間形状情報を、部屋510(に配置されたアクセスポイント310)に対応づけて管理でき、また、それを、後で使用できる。
【0080】
以下、
図5に沿って、本実施形態の空間形状情報取得処理を説明する。
【0081】
本処理は、HMD110が起動されたことを契機に開始される。あるいは、装着者による指示により、開始される。装着者は、例えば、所定の部屋510に入ると、初期空間形状情報取得処理を行うよう、HMD110に指示を行う。あるいは、HMD110は、アクセスポイント310のネットワーク名を検出し、自動的にこの処理を開始するよう構成してもよい。
【0082】
まず、認証部212は、無線LANのアクセスポイント310に接続するための認証処理を行う(ステップS1101)。認証処理の詳細については後述する。
【0083】
認証部212による認証処理を経て、アクセスポイント310を介した無線LANとの接続が確認されると、データ管理部213は、HMD110内にこの部屋510の空間形状情報が保持されているか否かを判別する(ステップS1102)。
【0084】
保持されている場合(S1102;Yes)は、そのまま処理を終了する。
【0085】
一方、保持されていない場合(S1102;No)は、データ管理部213は、アクセスポイント310を介して、サーバ700に、この部屋510の空間形状情報を要求する(ステップS1103)。そして、データ管理部213は、要求に応じた返信の内容を判別する(ステップS1104)。
【0086】
返信が空間形状情報有りであれば(S1104;Yes)、データ管理部213は、サーバ700から、提供される空間形状情報を取得(ダウンロード)し(ステップS1105)、取得した空間形状情報を、HMD側ライブラリ221に登録する(ステップS1108)。このとき、データ管理部213は、認証部212が取得したアクセスポイント310のアクセスポイントID221aに対応づけて、空間形状情報221bを登録し、処理を終了する。
【0087】
一方、返信に空間形状情報が含まれていない場合(S1104;No)、データ管理部213は、空間形状情報取得部214に空間形状情報を取得するよう指示を出す。
【0088】
その指示を受け、空間形状情報取得部214は、部屋510をスキャンし(ステップS1106)、マッピングした空間形状情報を取得する。そして、取得した空間形状情報を、サーバ700に送信する(ステップS1107)とともに、認証部212が取得したアクセスポイント310のアクセスポイントIDに対応づけて、HMD側ライブラリ221に登録する(ステップS1108)。なお、サーバ700に送信する際は、アクセスポイント310を介して送信する。そして、処理を終了する。
【0089】
次に、認証処理の際の、各装置間のデータの送受信を説明する。
図6は、
図1の第一部屋511における第一HMD111および第一アクセスポイント311と、サーバ700との間のデータの送受信を説明するためのタイムチャートである。
【0090】
第一HMD111が処理する時間軸T451と、第一アクセスポイント311が処理する時間軸T452と、サーバ700が処理する時間軸T453との、合計3本の時間軸から構成される。
【0091】
各アクセスポイント310からは、HMD110を含む無線LANを接続可能な端末に対して、常時、アクセスポイント310のネットワーク名(無線LANのネットワーク名)が送信される。従って、第一アクセスポイント311からも、アクセスポイントのネットワーク名が送信される(ステップS1301)。
【0092】
第一HMD111は、送信されるネットワーク名を検出し(ステップS1201)、得られたネットワーク名群から、第一HMD111の装着者が目的とするネットワーク名を、接続対象として選択する(ステップS1202)。本実施形態では、一つの部屋510にアクセスポイント310が1つのみ設置される。また、HMD110とアクセスポイント310との間の通信は、部屋510を越えて行われることが困難なミリ波を用いる。従って、本実施形態では、第一HMD111は、その第一部屋511に設置された第一アクセスポイント311が送信するネットワーク名のみを検出し、そのネットワーク名を接続対象として選択できる。
【0093】
続いて、第一HMD111から、第一アクセスポイント311に対し、認証要求を行う。ここでは、第一アクセスポイント311に対して、ネットワーク接続に必要なパスワードを通知する(ステップS1203)。パスワードは、認証部212が、認証情報テーブル222から取得し、送信する。
【0094】
第一アクセスポイント311は、受信したパスワードにより、パスワード認証を行う(ステップS1302)。第一アクセスポイント311は、接続可能なネットワーク毎に、予め登録された、そのネットワークとの接続に必要なパスワードと、受信したパスワードとが合致するか検証する。合致すれば、認証成功とする。認証が成功すると、第一HMD111と、第一アクセスポイント311とは、無線LANで接続される。第一アクセスポイント311は、第一HMD111に対して認証を許可する信号(認証OK)を送信する(ステップS1303)。
【0095】
上記の第一HMD111と第一アクセスポイント311との間の認証処理は、一般的な無線LAN接続の処理であるため、ここでは、詳細な説明を省略する。
【0096】
なお、ネットワーク網のセキュリティを強化するため、パスワード認証だけでなく、ID(Identity Document)認証を加えてもよい。また、IDとパスワードとの両方の認証を行う認証サーバを追加し、この認証サーバでパスワード認証を行ってもよい。
【0097】
第一HMD111とAP311との間で、接続が確立した後、すなわち、ステップS1302において、認証に成功した場合、第一アクセスポイント311は、サーバ700に対して、第一アクセスポイント311を特定する識別情報を送信する(ステップS1304)。本実施形態では、機器固有の物理アドレスであるMACアドレスを、この識別情報として用いる。なお、ステップS1302のパスワード認証で認証失敗の場合は、ステップS1304の処理は行わない。
【0098】
サーバ700では、空間形状情報管理部721が、サーバ側ライブラリ730に、受信したMACアドレスが登録されているか検証する。
【0099】
MACアドレスが登録されていなければ、空間形状情報管理部721は、新規のMACアドレス(新規の部屋)と判断し、MACアドレスをアクセスポイントID732としてサーバ側ライブラリ730に登録する(ステップS1401)。これにより、第一HMD111が存在する第一部屋511に配置される第一アクセスポイント311のMACアドレスが、サーバ700に登録される。また、サーバ700は、新たに登録されたMACアドレスを有する第一アクセスポイント311が配置された第一部屋511に、第一HMD111が存在していると認識する。
【0100】
なお、ステップS1401で、登録されていると判断された場合は、サーバ700は、該当するMACアドレスを有する第一アクセスポイント311が配置された第一部屋511に第一HMD111が存在していると認識する。
【0101】
以後、第一HMD111から、第一アクセスポイント311を経由して空間形状情報の提供を要求されると、空間形状情報管理部721は、対応する空間形状情報の有無を確認する。確認は、サーバ側ライブラリ730に、送信元の第一アクセスポイント311のMACアドレスに対応づけて空間形状情報733が登録されているか否かにより行う。
【0102】
そして、空間形状情報管理部721は、登録されている場合、その空間形状情報733を送信元に送信する。一方、未登録の場合は、未登録である旨、送信元に送信する。
【0103】
また、空間形状情報管理部721は、未登録と送信した後に、当該第一アクセスポイント311を経由して空間形状情報を受信すると、サーバ側ライブラリ730に、その第一アクセスポイント311のMACアドレスに対応付けて受信した空間形状情報733を登録する。
【0104】
以上説明したように、本実施形態によれば、HMD110は、その装着者が部屋510に入ると、その部屋内のアクセスポイント310に接続認証を受け、HMD110側において、部屋とアクセスポイントとを対応づける。また、HMD110に対し接続認証を行うと、アクセスポイント310は、アクセスポイント310の識別情報としてMACアドレスをサーバ700に送信する。サーバ側では、MACアドレスを受け取ることにより、そのMACアドレスに対応づけて登録される部屋510に、HMD110が存在することを把握する。MACアドレスと部屋510とは、予め対応づけてサーバ側ライブラリ730としてサーバ700が保持する。
【0105】
このように、本実施形態では、無線LANで用いられるアクセスポイントの識別情報を用いて、サーバ700側で、HMD110の存在領域、すなわち、HMD110が存在する部屋510を特定する。これにより、既存の装置のみで、容易にHMD110の存在領域を把握することができる。すなわち、特別なハードウェアを追加することなく、HMD110の存在領域を特定できる。
【0106】
また、本実施形態によれば、HMD110は、アクセスポイント310との間で、通常行われる認証処理を行うだけで、HMD110の存在領域を特定するために必要な情報を、サーバ700側に提供できる。すなわち、HMD110は、その装着者に新たな指示等を行わせることなく、サーバ700に、自装置の存在する部屋510を把握させることができる。
【0107】
さらに、本実施形態によれば、各部屋510内に配置されるアクセスポイント310を一意に識別する情報でHMD110の存在する領域(部屋510)を特定する。このため、GPSによる位置特定のように、高さ方向の制約がない。すなわち、GPSの場合、複数階のビル等の場合、異なる階であっても、平面上の位置が同じであれば、区別は難しい。しかしながら、本実施形態によれば、このような状況でも、HMD110の存在する領域を、正確に特定できる。
【0108】
このように、本実施形態によれば、サーバ700は、簡易に必要十分な精度でHMD110の存在領域を特定できるため、過去に作成した、AR表示に必要な各種の表示関連情報を、存在領域ごとに管理しておくだけで、HMD110に適切に提供できる。また、HMD110は、サーバ700が管理する表示関連情報を、適切に受け取ることができる。
【0109】
特に、空間形状情報は、HMD110の装着者が、部屋510を移動するごとに、生成する必要があり、HMD110の処理として大きな負担となっている。しかしながら、本実施形態によれば、サーバ700で、HMD110が入室した部屋510を容易に把握できるため、サーバ700が過去に作成した空間形状情報を管理しておけば、サーバ700から提供できる。従って、本実施形態によれば、HMD110の入室時の処理負荷を大幅に削減できる。
【0110】
<変形例1>
なお、上記実施形態では、無線LANによるアクセスポイント310を利用して、HMD110が存在する部屋510を特定する。しかしながら、部屋510を特定するために用いる中継装置はアクセスポイント310に限定されない。例えば、携帯電話の基地局を利用してもよい。
【0111】
以下、中継装置として、携帯電話の基地局を利用してHMD110が存在する部屋510を特定する手法について説明する。
図7(a)は、本変形例の概要を説明するための図である。
【0112】
本変形例の存在領域特定システム100aは、基本的に上記実施形態と同様の構成では、上記実施形態で、中継装置としてアクセスポイント310が用いられていた代わりに、携帯電話基地局(Base Station:以下、BSと呼ぶ。)320が用いられる。本図では、第一BS321が第一部屋511に、第二BS322が第二部屋512に配置される場合を例示する。
【0113】
従って、BS320が接続するネットワークは、インターネット等のネットワーク610ではなく、携帯電話回線網620である。そして、この携帯電話回線網620を介して、サーバ700に接続するため、両者の間に、モバイル・マネージメント631が設けられる。
【0114】
モバイル・マネージメント631は携帯電話回線網の中核に位置し、加入者情報を格納したホーム加入者サーバ632と供に、携帯電話回線網を管理する。各部屋510に設けられたBS320は、携帯電話回線網621を介して、モバイル・マネージメント631と接続される。そして、各BS320は、モバイル・マネージメント631を介して、ネットワーク610に接続され、サーバ700にアクセスする。
【0115】
なお、モバイル・マネージメント631は、図示しない複数の携帯電話基地局と接続する、他の携帯電話回線網622と接続する。
【0116】
本変形例では、BS320と、携帯電話としてのHMD110との無線接続は、携帯電話の5G規格であるミリ波(28GHz帯)により行う。ミリ波は、指向性が強く、また、電波が部屋510の壁にて吸収されやすい。部屋510に存在するHMD110は、確実に、部屋510に設置されているBS320と無線接続する。壁を越えて他の部屋510に設置されているBS320と無線接続することはない。
【0117】
個々のBS320には、固有の携帯電話基地局識別番号(BS-ID)が設定されている。従って、部屋510と、その部屋510に設置されているBS320のBS-IDとの対応が取れれば、BS320のBS-IDにより、部屋510の特定ができる。
【0118】
以下、本変形例について、上記第一実施形態と異なる点に主眼をおいて説明する。
【0119】
HMD110は、基本的に第一実施形態と同様である。ただし、
図8(a)に示すように、HMD110が保持する、各部屋510の空間形状情報(HMD側ライブラリ221)は、各部屋510に配置されるBS320のBS-ID221dに対応づけて格納される。
【0120】
また、同様に、サーバ700の構成も、基本的に同様である。ただし、
図8(b)に示すように、サーバ側ライブラリ730も、アクセスポイント310のMACアドレスの代わりに、BS-ID732bに対応づけて管理される。
【0121】
なお、部屋510によって、アクセスポイント310が配置されていたり、BS320が配置されていたりして、異なる場合がある。この場合は、部屋510毎に、当該部屋510に配置されている、中継装置の識別情報に対応づけて、空間形状情報が格納される。
【0122】
HMD110内での、空間形状情報取得処理も、基本的に上記実施形態と同様である。ただし、認証処理において、アクセスポイント310に接続するための認証処理の代わりに、BS320に接続するための処理を行う。
【0123】
以下、本変形例の認証処理の、各装置間のデータの送受信を説明する。
【0124】
図9は、本変形例の認証処理のタイミングチャートである。ここでは、本実施形態と、第一BS321と、ホーム加入者サーバ632と、サーバ700との間のデータの送受信を説明する。本図は、第一HMD111が処理する時間軸T421と、BS311が処理する時間軸T422と、ホーム加入者サーバ632が処理する時間軸T423と、サーバ700が処理する時間軸T424の、合計4本の時間軸から構成されている。
【0125】
一般に、各BS320からは、BS320と接続可能な携帯電話端末(HMD110)に対して、常時、事業者識別番号と、携帯電話基地局識別番号(BS-ID)と、を通知している。本変形例においても、第一BS321から第一HMD111に対して、事業者識別番号とBS-IDとが通知される(S1601)。
【0126】
第一HMD111では、通知された事業者識別番号を検出し、目的とする事業者を選択する(ステップS1501)。第一HMD111に内蔵されているSIMカードには該当する携帯電話事業者情報が格納されているので、これを用いて、対応する事業者が提供するBS311が選択される。第一HMD111では、選択したBS311の事業者別識別番号とBS-IDとを記憶する。
【0127】
第一HMD111では、自装置内のSIMカードに、携帯電話機として用いる際の第一HMD111の識別番号が格納される。第一HMD111は、その識別番号を、BS311を介してホーム加入者サーバ632に送信する(ステップS1502)。
【0128】
ホーム加入者サーバ632は、ステップS1502で受信した第一HMD111の識別番号を用いて、ユーザ認証を行う(ステップS1701)。ユーザ認証は、識別番号とホーム加入者サーバ632に予め登録される加入者情報とを比較し、合致するか否かにより行う。送信された識別番号と、加入者情報とが一致すると、認証成功とし、ホーム加入者サーバ632から、第一HMD111に対して認証成功を意味する信号(認証OK)を送信する(ステップS1702)。
【0129】
上記の第一HMD111と第一BS321との間の認証処理は、一般的な携帯電話接続の処理であるため、ここでは、詳細な説明を省略する。
【0130】
さらに、ステップS1701において、認証に成功した場合、第一HMD111から、サーバ700に対して、受信したBS-IDとともに、空間形状情報要求を送信する(ステップS1503)。
【0131】
この要求に対し、サーバ700は、要求元の第一HMD111に対して、空間形状情報を送信しても良いか否かを確認するため、要求元の第一HMD111に対して、パスワードを要求する(ステップS1801)。それに応じ、第一HMD111は、サーバ700に、パスワードを送信する(ステップS1504)。なお、照合用のパスワードは、予めサーバ700に登録される。
【0132】
サーバ700は、送信されたパスワードにて認証を行い(ステップS1802)、パスワードが一致したら認証成功を意味する信号(認証OK)を第一HMD111に送信する(ステップS1803)。
【0133】
サーバ700での認証が成功したら、以降は、上記実施形態と同様に、第一HMD111は、必要に応じてサーバ700から自身が存在する第一部屋511の空間形状情報を取得する。
【0134】
このように、本変形例によれば、携帯電話で利用される携帯電話網の基地局を利用して、サーバ700側でHMDの存在領域(部屋510)を特定する。これにより、上記実施形態同様、既存の装置のみで、容易にHMD110の存在領域を把握することができる。すなわち、特別なハードウェアを追加することなく、HMD110の存在領域を特定できる。
【0135】
また、本変形例によれば、上記実施形態同様、HMD110が、通常、通信を行うためになされる認証を行うだけで、サーバ700は、HMD110の存在領域を把握できる。すなわち、HMD110は、その装着者に新たな指示等を行わせることなく、サーバ700に、自装置の存在領域を特定するために必要な情報を提供できる。
【0136】
これにより、本変形例によれば、上記実施形態と同様の効果が得られる。
【0137】
<変形例2>
なお、本変形例では、指向性が強く、減衰率の高いミリ波の利用を前提としているが、これに限定されない。
【0138】
近年、低出力の携帯電話基地局を用いてフェムトセルを構成した携帯電話網が構成されている。フェムトセルにおける通信可能範囲は従来のセルと比較して非常に狭いため、部屋510内の機器からの出力を、部屋510内の携帯電話基地局で受信する可能性は非常に高い。従って、このようなフェムトセルを用いた携帯電話基地局を用いてもよい。
【0139】
<変形例3>
なお、上記実施形態では、アクセスポイント310は、無線LAN接続を行い、インターネット網等のネットワーク610を介してサーバ700にアクセスしているが、これに限定されない。例えば、
図1(b)に示すように、ネットワーク610の代わりに、有線LANのネットワーク網630を用いてもよい。この場合、アクセスポイント310の代わりに、ハブ(HUB)340(341、342)等の中継装置を用いる。
【0140】
有線LANを用いることにより、上記実施形態および変形例による効果に加え、インターネット網による情報漏洩のリスクが軽減されるという効果が得られる。
【0141】
<<第二実施形態>>
次に、本発明の第二実施形態を説明する。本実施形態では、同じ部屋510内に複数のアクセスポイント330を備える。そして、アクセスポイント330の中に、性能の異なるアクセスポイントが存在する。
【0142】
以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
【0143】
図10(a)は、本実施形態の存在領域特定システム100の、動作環境の概要を説明するための図である。ここでは、説明を簡単にするために、複数のアクセスポイント330として、アクセスポイント331およびアクセスポイント332の2系統を備える場合を例にあげて説明する。3系統以上の異なる伝送規格の無線LANで接続可能に構成してもよい。
【0144】
図10(b)は、各アクセスポイント331および332の、性能の違いを示すテーブル
520である。両者には、接続速度、データ量制限の有無などの性能に差がある。この情報は、例えば、HMD110内に保持されていてもよいし、サーバ700が保持してもよい。なお、両者間に課金額の差をつけてもよい。
【0145】
本図に示すように、アクセスポイント331は、接続速度は中速で、データ量にも制限があり、広告もある。一方、アクセスポイント332は、高速接続が可能で、データ量の制限はなく、広告もない。
【0146】
従って、例えば、空間形状情報やAR画像情報を送受信する場合、アクセスポイント332を経由する方が、より、詳細なデータを、短時間で送受信できる。
【0147】
また、本実施形態では、サーバ700は、HMD110が、部屋510内のいずれかのアクセスポイント330を介して、接続された場合、HMD110が当該部屋510に存在する、と判別する。ただし、サーバ側ライブラリ730として、性能の異なるアクセスポイント330ごとに、解像度の異なる空間形状情報およびAR画像情報を保持してもよい。
【0148】
この場合のサーバ側ライブラリ730の一例を、
図11に示す。本図に示すように、各部屋510のアクセスポイント330毎に、情報を保持する。具体的には、各アクセスポイント330のアクセスポイントIDと、空間形状情報733と、その解像度を示す情報(以下、単に解像度と呼ぶ。)734と、AR画像情報735と、その解像度736と、を備える。なお、ここでは、アクセスポイント330の性能に応じて、提供するAR画像情報の品質(解像度)を変える場合を例にあげて説明しているが、AR画像情報の品質は一種類であってもよい。
【0149】
サーバ700の空間形状情報管理部721は、中継したアクセスポイント330に応じて、サーバ側ライブラリ730に保持される空間形状情報を送信する。
【0150】
これにより、HMD110は、より性能のよいアクセスポイント330を経由して空間形状情報を要求すると、より解像度の高い、高品質な空間形状情報を取得できる。
【0151】
なお、どのアクセスポイント330を介してサーバ700に空間形状情報を要求するかは、HMD110の装着者が選択可能としてもよいし、HMD110内で、予め定めておいてもよい。
【0152】
装着者が選択する場合は、HMD110は、複数のアクセスポイント330を検出した場合、そのリストをディスプレイ173に表示し、選択を受け付ける。
【0153】
予め定めておく場合は、予め選択の規則を定め、ROM142、フラッシュメモリ143等に登録しておく。選択の規則は、例えば、無料のものの中で、最も性能の高いものを優先する、有料無料を問わず、最も性能の高いものを優先する、等である。それに従って、認証部212は、中継装置とするアクセスポイント330を選択する。
【0154】
本実施形態によれば、第一実施形態同様、サーバ700は、各部屋510に配置されたアクセスポイント330のアクセスポイントIDで、HMD110の存在領域を把握する。従って、第一実施形態と同様の効果が得られる。
【0155】
さらに、本実施形態によれば、サーバ700は、1つの部屋510内に異なる性能のアクセスポイント330がある場合、それらを別個に管理する。そして、HMD110が接続認証を行ったアクセスポイント330の性能に応じた品質の表示関連情報を提供する。
【0156】
このように、本実施形態によれば、サーバ700は、簡易に必要十分な精度でHMD110の存在領域を特定でき、かつ、HMD110が所望するデータ品質も把握できる。このため、過去に作成した、AR表示に必要な各種の表示関連情報を、存在領域ごとに、また、品質毎に管理しておくだけで、HMD110に適切に提供できる。また、HMD110は、サーバ700が管理する表示関連情報を、適切に受け取ることができる。
【0157】
<<第三実施形態>>
次に、本発明の第三実施形態を説明する。本実施形態では、サーバ700が保持する空間形状情報に、その解像度も含む。そして、HMD110の性能に応じて、サーバ700の空間形状情報を上書きする。
【0158】
以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
【0159】
本実施形態のHMD110は、第一実施形態と基本的に同様の構成を有する。ただし、本実施形態の空間形状情報取得部214は、空間形状情報を取得する際、その解像度も特定する。
【0160】
また、本実施形態のHMD側ライブラリ221は、
図12(a)に示すように、空間形状情報221bの解像度221eもアクセスポイントID221aに対応づけて登録する。
【0161】
本実施形態のデータ管理部213は、基本的に第一の実施形態と同様の処理を行う。さらに、本実施形態のデータ管理部213は、空間形状情報取得部214が取得可能な空間形状情報の最良の解像度を、予め把握する。なお、HMD110の性能は、例えば、センサの空間分解能等により定まる。そして、サーバ側ライブラリに保持される、自室の空間形状情報の解像度と比較し、サーバ700から取得するか、自装置で取得するか決定する。
【0162】
すなわち、本実施形態のデータ管理部213は、サーバ700から空間形状情報を取得した際、その解像度を、自装置で生成可能な空間形状情報の解像度(最良解像度)と比較する。そして、最良解像度の方が、高い場合、空間形状情報取得部214に自装置で空間形状情報を生成させる。そして、解像度を示す情報とともに、サーバ700に送信する。
【0163】
また、本実施形態のサーバ700も、基本的に第一実施形態と同様の構成を有する。ただし、サーバ側ライブラリ730は、空間形状情報の解像度を有する。
【0164】
図12(b)は、本実施形態のサーバ側ライブラリ730の一例である。本図に示すように、第一実施形態のサーバ側ライブラリ730が保持する情報に加え、空間形状情報の解像度734と、AR画像情報の解像度736と、を備える。
【0165】
なお、自装置の空間形状情報取得部214が取得可能な空間形状情報の最良解像度に関する情報は、予め、保持しておく。
【0166】
サーバ700の空間形状情報管理部721は、空間形状情報を受信すると、送信元が経由したアクセスポイント310のアクセスポイントIDに対応付けて、サーバ側ライブラリ730への登録の適否を決定する。
【0167】
本実施形態では、もし、登録されていない場合は、受信した空間形状情報を登録する。一方、アクセスポイントIDに対応づけて、空間形状情報が既に登録されている場合、その解像度を、受信した空間形状情報の解像度と比較する。そして、受信した空間形状情報の解像度の方が高い場合、既存の空間形状情報を、受信した空間形状情報に置き換える。解像度も併せて、受信した空間形状情報の解像度に置き換える。
【0168】
これにより、本実施形態のサーバ側ライブラリ730は、その時点で最良の解像度を有する空間形状情報が保持される。
【0169】
以下、本実施形態の空間形状情報取得処理の処理フローを説明する。
図13は、本実施形態のHMD110による空間形状情報取得処理の処理フローである。本処理は、第一実施形態同様の契機で開始される。そして、まず、認証部212は、認証処理を行う(ステップS1101)。本処理は、第一実施形態と同様である。
【0170】
データ管理部213は、第一実施形態同様、HMD110内にこの部屋510の空間形状情報が保持されているか否かを判別する(ステップS1102)。
【0171】
保持されている場合(S1102;Yes)は、そのまま処理を終了する。
【0172】
一方、保持されていない場合(S1102;No)、データ管理部213は、アクセスポイント310を介して、サーバ700に、空間形状情報を要求する(ステップS1103)。そして、データ管理部213は、要求に応じた返信の内容を判別する(ステップS1104)。
【0173】
返信が空間形状情報有りであれば(S1104;Yes)、データ管理部213は、サーバ700から、提供される空間形状情報をダウンロードする(ステップS1105)。
【0174】
そして、本実施形態のデータ管理部213は、自装置の空間形状情報取得部214で取得可能な空間形状情報の最良解像度と比較する(ステップS4101)。自装置の空間形状情報の解像度が、サーバ700が保持する空間形状情報の解像度以下である場合(S4101;No)、第一実施形態同様、受け取った空間形状情報を、HMD側ライブラリ221に登録し(ステップS1108)、処理を終了する。このとき、データ管理部213は、認証部212が取得したアクセスポイント310のアクセスポイントIDに対応づけて、空間形状情報を登録する。
【0175】
一方、返信に空間形状情報が含まれていない場合(S1104;No)、および、自装置の空間形状情報の最良解像度が、サーバ700が保持する空間形状情報より高い場合(S4101;Yes)、データ管理部213は、空間形状情報取得部214に空間形状情報を取得するよう指示を出す。
【0176】
その指示を受け、空間形状情報取得部214は、部屋510をスキャンし(ステップS1106)、空間形状情報を取得する。そして、取得した空間形状情報を、サーバ700に向けて送信する(ステップS1107)とともに、取得した空間形状情報を、認証部212が取得したアクセスポイント310のアクセスポイントIDに対応づけて、HMD側ライブラリ221に登録し(ステップS1108)、処理を終了する。なお、サーバ700に送信する際は、アクセスポイント310を介して送信する。
【0177】
次に、本実施形態のサーバ側の空間形状情報管理処理を説明する。
図14は、本実施形態のサーバ700の空間形状情報管理部721による空間形状情報管理処理の処理フローである。本処理は、HMD110から、空間形状情報を受信したことを契機に開始される。
【0178】
空間形状情報管理部721は、受信した空間形状情報で特定される部屋510について、サーバ側ライブラリ730に、空間形状情報が既登録であるか否かを判別する(ステップS4201)。ここでは、中継したアクセスポイント310のアクセスポイントIDに対応づけて、空間形状情報が既に登録されているか否かを判別する。
【0179】
未登録である場合(S4201;No)、中継したアクセスポイント310のアクセスポイントIDに対応付けて、受信した空間形状情報を登録する(ステップS4203)。なお、このとき、解像度も併せて登録する。
【0180】
一方、既に登録されている場合(S4201;Yes)、ライブラリ内の対応する空間形状情報の解像度と、受信した空間形状情報の解像度とを比較する(ステップS4202)。
【0181】
受信した空間形状情報の解像度の方が、ライブラリ内の空間形状情報の解像度より高い場合(S4202;Yes)は、ライブラリ内の空間形状情報を、受信した空間形状情報で置き換え(ステップS4203)、処理を終了する。なお、このとき、解像度も、受信した空間形状情報の解像度とする。
【0182】
一方、それ以外の場合(S4202;No)は、送信された空間形状情報を破棄し、処理を終了する。
【0183】
以上説明したように、本実施形態では、サーバ側ライブラリ730内の表示関連情報(空間形状情報)を、その解像度とともに保持する。そして、HMD110側で、より高解像度の情報を取得可能な場合、HMD110側で取得した表示関連情報(空間形状情報)に置き換える。
【0184】
従って、本実施形態によれば、サーバ700側には、使用される可能性のあるHMD110の中で、最高性能のHMD110による、高解像度の表示関連情報(空間形状情報)が保存される。そして、HMD110は、その高解像度の空間形状情報を用いることができる。
【0185】
従って、本実施形態によれば、HMD110は、自装置のセンサの空間分解能によらず、高解像度の空間形状情報を用いることができる。
【0186】
<変形例4>
上記実施形態では、サーバ700側で、受信した空間形状情報の解像度が高い場合、既登録の空間形状情報を置き換えているが、これに限定されない。例えば、サーバ側で、複数の解像度の空間形状情報を保持してもよい。
【0187】
この場合、HMD110に送信する際、HMD110側で、解像度の指定を受け付けるよう構成してもよい。
【0188】
<<第四実施形態>>
次に、本発明の第四実施形態を説明する。上記実施形態およびその変形例では、各部屋510内に設置された中継装置に必ず接続し、その中継装置の識別情報を用いて、サーバ700側は、HMD110の存在領域を判別している。しかしながら、一般の通信環境では、HMD110は、必ずしも、その装着者が存在する部屋510内に配置された中継装置に接続されるとは限られない。
【0189】
本実施形態では、このような環境であっても、サーバ700側で、HMD110の存在領域を特定可能な手法を提供する。なお、本実施形態では、部屋510と、その部屋510に配置されるアクセスポイントのアクセスポイントIDと、その部屋510の空間形状情報と、を対応づけたサーバ側ライブラリ730は、予め作成して、サーバ700が保持する。
【0190】
以下、本実施形態について、第一実施形態と異なる点に主眼をおいて説明する。
【0191】
図15は、本実施形態の概要を説明するための説明図である。
【0192】
通常は、同じ第一部屋511内の第一アクセスポイント311から発生する無線LANの電界強度の方が、他の第二部屋512の第二アクセスポイント312から発生する無線LANの電界強度に比べて強い。従って、HMD110の接続先のアクセスポイントとして、自動的に同じ第一部屋511内の第一アクセスポイント311が選択される。
【0193】
しかしながら、HMD110は、必ずしも、HMD110が存在する部屋510のAP310に接続されるとは限らない。例えば、アクセスポイント310の配置位置と、HMD110の存在位置との関係によっては、HMD110の装着者が第一部屋511にいる場合であっても、隣の第二部屋512に設置されたAP311に接続される場合がある。本実施形態では、このような場合でも、サーバ700で、適切にHMD110の存在する部屋510を特定可能とする。
【0194】
本実施形態のHMD110のハードウェア構成は、第一実施形態と同様である。一方、機能面では、本実施形態のHMD110は、第一実施形態と異なる構成を備える。
【0195】
図16(a)は、本実施形態のHMD110の機能ブロック図である。HMD110は、第一実施形態の構成に、さらに、画像取得部217を備える。画像取得部217は、装着者からの指示に従って、カメラ170を用いて、視界情報として画像を取得(撮影)する。取得する画像は、静止画像でも動画でもよい。
【0196】
また、本実施形態の空間形状情報取得部214は、HMD側ライブラリ221に、自室の空間形状情報がない場合、サーバ700に要求する。本実施形態では、このとき、さらに、自室で撮影した画像を、視界情報として送信する。
【0197】
次に、サーバ700について説明する。本実施形態のサーバ700は、基本的に第一実施形態と同様の構成を備える。ただし、本実施形態の空間形状情報管理部721の処理およびサーバ側ライブラリ730が保持するデータが異なる。
【0198】
まず、本実施形態のサーバ側ライブラリ730は、
図16(b)にさらに、各部屋510またはアクセスポイント310の位置情報を保持する。ここでは、例えば、部屋510の所定位置(例えば、南西角等)の位置情報を保持する場合を例にあげて説明する。位置情報は、例えば、緯度経度情報であってもよいし、システム内で定めた座標系による情報であってもよい。また、部屋が多角形である場合は、部屋の隅それぞれの緯度経度情報を保持してもよい。
【0199】
空間形状情報管理部721は、空間形状情報要求とともに、視界情報として画像を受信する。そして、同時に受信するアクセスポイントIDで特定される部屋510の空間形状情報に、その視界情報と合致する領域があるか否かを判別する。ない場合は、その部屋510に近い順に、順次他の部屋510の空間形状情報に関し、合致する領域の有無を判別する。そして、合致する領域がある部屋の空間形状情報を、送信元に送信する。なお、所定の範囲の部屋510の空間形状情報に関し、合致する領域がない場合は、空間形状情報が未登録であることを意味する返信を行う。
【0200】
その返信に応じてHMD110から送信された空間形状情報を、中継したアクセスポイント310のアクセスポイントIDに対応づけて、サーバ側ライブラリ730に登録する。
【0201】
本実施形態の空間形状情報取得処理および空間形状情報管理処理の流れについて説明する。HMD110側の空間形状情報取得処理は、第一実施形態と同じである。また、認証処理についても、同様である。ここでは、サーバ700側の空間形状情報管理処理について説明する。
図17は、本実施形態のサーバ700側の処理の流れのフローである。本処理は、HMD110から空間形状情報要求とともに視界情報を受信したことを契機に開始される。
【0202】
空間形状情報管理部721は、送信元のアクセスポイントIDに対応付けてサーバ側ライブラリ730に保持される空間形状情報733(部屋の空間形状情報)に、視界情報と合致する領域があるか否かを判別する(ステップS2101)。
【0203】
合致する領域があれば(S2101;Yes)、空間形状情報管理部721は、その空間形状情報を、送信元に返信し(ステップS2102)、処理を終了する。
【0204】
合致する領域がない場合(S2101;No)、空間形状情報管理部721は、合致する部屋510を探索する(ステップS2103)。ここでは、まず、送信元のアクセスポイントIDに対応付けられた部屋510の位置情報と、他の部屋510の位置情報とを用いて、両者の距離を算出し、最も近い部屋510から順に、上記ステップS2101と同じ判別を行う。なお、判別する部屋数の上限M(Mは1以上の整数)は、予め定めておく。
【0205】
空間形状情報管理部721は、ステップS2103の探索結果から、合致する領域を有する空間形状情報があったかを判定する(ステップS2104)。合致する部屋があった場合(S2104;Yes)、その空間形状情報を、送信元のHMD110に返信し(ステップS2102)、処理を終了する。ない場合(S2104;No)は、その旨、返信し(ステップS2105)、処理を終了する。
【0206】
なお、本実施形態の場合、HMD110は、サーバ700から、その部屋510について、空間形状情報を、サーバ側で保持していないとの返信を受けた場合、第一実施形態同様、自装置で、部屋510のマッピングを行い、空間形状情報を生成する。そして、サーバ700に登録するために送信する。このとき、本実施形態では、意図的に、部屋510に配置されたアクセスポイント310を選択し、送信する。
【0207】
HMD110から空間形状情報の送信を受けた場合、空間形状情報管理部721は、送信元のアクセスポイントのアクセスポイントIDに対応付けて、サーバ側ライブラリ730に登録する。
【0208】
本実施形態によれば、アクセスポイントのアクセスポイントIDだけでなく、HMD110が取得した画像も用いて、HMD110の存在領域を特定する。
【0209】
本実施形態によれば、HMD110の装着者が存在する部屋510外のアクセスポイント310に接続される可能性がある場合であっても、HMD110は、サーバ700に保存された空間形状情報を、適切に取得し、利用することができる。そして、このとき、特別な認証処理は不要である。
【0210】
なお、HMD110の内部に空間形状情報が保存されている場合は、その保存されている空間形状情報をサーバ700に送信することにより、サーバ700が空間形状情報を比較し、該当する部屋かどうかの確認をすることもできる。
【0211】
<変形例5>
以上、各実施形態および変形例では、GPS(Global Positioning System)を用いていない。しかしながら、HMD110のGPS受信器151で取得するGPS情報を用いてもよい。
【0212】
例えば、単層の建物内の部屋の場合、GPS情報により、HMD110の存在する部屋510を特定できる。一例として、部屋の形状が矩形で有る場合、部屋の4隅の緯度・経度を、各部屋の位置情報としてサーバ700のサーバ側ライブラリ730に登録する。
【0213】
HMD110から送信されたGPS情報(緯度・経度)を、サーバ700内に登録された各部屋の位置情報と比較することにより、HMD110が存在する部屋を特定する。
【0214】
<変形例6>
サーバ側ライブラリ730に、空間形状情報の登録日時を登録してもよい。そして、空間形状情報の登録の有無を確認する際、有無だけでなく、登録日時も加味して判断してもよい。すなわち、登録日時と現在日時との差が、所定以上であれば、たとえ登録されていても、未登録と判断する。
【0215】
例えば、部屋510内の状態は、変化する。このように、日時で空間形状情報を管理することにより、インテリアの配置の変化等にも対応できる。
【0216】
<変形例7>
また、上記各実施形態では、各部屋の識別情報として、基本的に、各部屋510に配置された、通信網への中継装置を用いている。しかしながら、識別情報は、これに限定されない。例えば、各部屋に、その部屋を特定する情報を送信可能な固有の機器が備わっている場合、当該機器を用いてもよい。このような機器として、例えば、通信機能付きの、部屋の入退室管理装置等がある。
【0217】
さらに、上記各実施形態では、携帯型情報端末として、HMD110を用いる場合を例にあげて説明したが、携帯型情報端末は、これに限定されない。例えば、ノートPCやタブレットPC等、同様な機能を有する各種の携帯型情報端末であってよい。
【0218】
また、本発明を実現する構成はこれらの各実施形態および変形例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
【0219】
なお、前述した各実施形態の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。ソフトウェアは、製品出荷の時点で、予めHMD110のROM142等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等の記憶媒体に記憶されて提供されてもよい。
【0220】
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
【符号の説明】
【0221】
100:存在領域特定システム、100a:存在領域特定システム、110:HMD、111:第一HMD、112:第二HMD、113:システムバス、120:メインプロセッサ、141:RAM、142:ROM、143:フラッシュメモリ、151:GPS受信器、152:地磁気センサ、153:距離センサ、154:加速度センサ、155:ジャイロセンサ、156:タイマ、161:無線通信I/F、162:電話網通信I/F、170:カメラ、171:インカメラ、172:アウトカメラ、173:ディスプレイ、181:マイク、182:スピーカ、183:オーディオデコーダ、191:ボタンスイッチ、192:タッチパネル、
211:主制御部、212:認証部、213:データ管理部、214:空間形状情報取得部、215:AR画像処理部、216:通信部、217:画像取得部、221:HMD側ライブラリ、221a:アクセスポイントID、221b:空間形状情報、221c:AR画像情報、221d:BS-ID、221e:解像度、222:認証情報テーブル、
310:アクセスポイント、311:第一アクセスポイント、312:第二アクセスポイント、321:第一BS、322:第二BS、330:アクセスポイント、331:アクセスポイント、332:アクセスポイント、340:ハブ、
510:部屋、511:第一部屋、512:第二部屋、520:テーブル、
610:ネットワーク、620:携帯電話回線網、621:携帯電話回線網、622:携帯電話回線網、630:ネットワーク網、631:モバイル・マネージメント、632:ホーム加入者サーバ、
700:サーバ、720:メインプロセッサ、721:空間形状情報管理部、730:サーバ側ライブラリ、731:部屋番号、732:アクセスポイントID、733:空間形状情報、734:解像度、735:AR画像情報、736:解像度、741:RAM、742:ROM、743:フラッシュメモリ、761:通信I/F、773:ディスプレイ、791:操作装置、
T421:時間軸、T422:時間軸、T423:時間軸、T424:時間軸、T451:時間軸、T452:時間軸、T453:時間軸