特開 2023-68212 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023068212

(43)【公開日】2023-05-17

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230510BHJP

   G06F 3/04815 20220101ALI20230510BHJP

   G06T 11/60 20060101ALI20230510BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481 150

G06T11/60 100A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020063556

(22)【出願日】2020-03-31

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】木村 真治

(72)【発明者】

【氏名】林 宏樹

(72)【発明者】

【氏名】山本 泰士

(72)【発明者】

【氏名】後藤 修

(72)【発明者】

【氏名】大関 江利子

(72)【発明者】

【氏名】岩村 幹生

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA08

5B050BA04

5B050BA06

5B050BA11

5B050BA13

5B050BA18

5B050CA07

5B050CA08

5B050DA01

5B050DA07

5B050EA19

5B050FA02

5E555AA11

5E555AA27

5E555AA51

5E555BA02

5E555BB05

5E555BB06

5E555BB38

5E555BC01

5E555BE16

5E555BE17

5E555CA42

5E555DA08

5E555DB20

5E555DB53

5E555DC09

5E555EA04

5E555EA07

5E555EA22

5E555FA00

(57)【要約】

【課題】簡易且つ安全にオブジェクトの利用を促すこと。
【解決手段】情報処理システム１は、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部５１と、現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する記憶部７１と、ユーザが把持、又は、装着する端末の位置及び視認方向を少なくとも含む端末情報を取得する端末情報取得部９２と、端末情報と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する推定部９３と、視認領域と、通信可能オブジェクト情報とに基づいて、視認領域に含まれる通信可能なオブジェクトの識別情報を特定する特定部９４と、特定部９４によって特定された識別情報を端末に出力する出力部９５と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

現実空間のオブジェクトを３次元の仮想空間に表したデータであって、前記現実空間のオブジェクトの位置に対応する前記仮想空間上の位置において前記オブジェクトの形状を表す空間構造データを記憶する第１記憶部と、
前記現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する第２記憶部と、
ユーザが把持、又は、装着する端末の位置及び視認方向を少なくとも含む端末情報を取得する端末情報取得部と、
前記端末情報と、前記空間構造データとに基づいて、前記現実空間において前記ユーザが視認する視認領域を推定する推定部と、
前記視認領域と、前記通信可能オブジェクト情報とに基づいて、前記視認領域に含まれる前記通信可能なオブジェクトの識別情報を特定する特定部と、
前記特定部によって特定された前記識別情報を前記端末に出力する出力部と、を備える、情報処理システム。

【請求項2】

前記推定部は、前記端末情報の前記視認方向と前記空間構造データとが衝突する衝突領域を推定し、前記衝突領域に基づいて前記視認領域を推定する、請求項１に記載の情報処理システム。

【請求項3】

前記通信可能なオブジェクトには、前記端末によって制御可能なデバイスが含まれており、
前記通信可能オブジェクト情報には、前記識別情報として、前記制御可能なデバイスとの接続に必要な接続情報が含まれている、請求項１又は２に記載の情報処理システム。

【請求項4】

前記第２記憶部は、前記制御可能なデバイスを制御するためのユーザインタフェースを更に記憶し、
前記特定部は、前記視認領域と、前記通信可能オブジェクト情報とに基づいて、前記視認領域に含まれる前記制御可能なデバイスを制御するためのユーザインタフェースを更に特定し、
前記出力部は、前記特定部によって特定された前記ユーザインタフェースを更に出力する、請求項３に記載の情報処理システム。

【請求項5】

前記特定部は、前記端末が撮像した撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及び該制御可能なデバイスを制御するための前記ユーザインタフェースを優先的に特定する、請求項４に記載の情報処理システム。

【請求項6】

前記端末情報取得部は、前記ユーザの視線方向を更に取得し、
前記推定部は、前記視線方向に基づいて、前記端末が撮像した撮像画像における前記ユーザの注視点を更に推定し、
前記特定部は、前記撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記ユーザの注視点との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及び該制御可能なデバイスを制御するための前記ユーザインタフェースを優先的に特定する、請求項４に記載の情報処理システム。

【請求項7】

前記特定部によって特定された前記ユーザインタフェースである対象ユーザインタフェースの表示態様を決定する決定部を更に備え、
前記決定部は、前記視認領域に含まれる前記制御可能なデバイスの接続情報が特定された環境に応じて前記対象ユーザインタフェースの表示態様を決定し、
前記出力部は、前記決定部によって決定された前記表示態様で前記対象ユーザインタフェースを出力する、請求項４に記載の情報処理システム。

【請求項8】

前記端末情報取得部は、前記端末が撮像した撮像画像において前記視認領域に含まれる前記制御可能なデバイスの位置及び大きさを更に取得し、
前記決定部は、前記視認領域に含まれる前記制御可能なデバイスの前記位置及び大きさに基づいて、前記撮像画像において前記デバイスに対応する領域とは異なる領域に前記対象ユーザインタフェースを重畳させるように前記対象ユーザインタフェースの前記表示態様を決定する、請求項７に記載の情報処理システム。

【請求項9】

前記決定部は、前記端末が撮像した撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスを制御するための前記対象ユーザインタフェースを優先的に表示するように前記表示態様を決定する、請求項７又は８に記載の情報処理システム。

【請求項10】

前記端末情報取得部は、前記ユーザの視線方向を更に取得し、
前記推定部は、前記視線方向に基づいて、前記端末が撮像した撮像画像における前記ユーザの注視点を更に推定し、
前記決定部は、前記撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記ユーザの注視点との距離が近いほど、該制御可能なデバイスを制御するための前記対象ユーザインタフェースを優先的に表示するように前記表示態様を決定する、請求項７又は８に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システムに関する。

【背景技術】

【0002】

近年、ＩｏＴ（Internet of Things）デバイス等の通信可能なオブジェクトを、ユーザが携帯する端末によって制御する技術が注目されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－８６９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したようなオブジェクトの利用において、パスワードの入力等、デバイスの利用に係る認証処理が要求される場合がある。このような認証処理は、ユーザにとって手間となる。一方、ユーザの利便性を優先して、例えば認証処理を省略すると、オブジェクトの利用に係るセキュリティ（安全性）が確保され難い。

【0005】

本発明は上記実情に鑑みてなされたものであり、簡易且つ安全にオブジェクトの利用を促すことができる情報処理システムに関する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理システムは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する第１記憶部と、現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する第２記憶部と、ユーザが把持、又は、装着する端末の位置及び視認方向を少なくとも含む端末情報を取得する端末情報取得部と、端末情報と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する推定部と、視認領域と、通信可能オブジェクト情報とに基づいて、視認領域に含まれる通信可能なオブジェクトの識別情報を特定する特定部と、特定部によって特定された識別情報を端末に出力する出力部と、を備える。

【0007】

本発明の一態様に係る情報処理システムでは、ユーザが把持、又は、装着する端末の位置及び視認方向に対応する空間構造データに基づいて、現実空間においてユーザが視認する視認領域が推定される。そして、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報が特定されて端末に出力される。このように、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報がユーザに対して出力されることにより、ユーザの目の届く範囲のオブジェクトに限定してユーザの端末との通信が促される。このことで、例えば、遠隔からのオブジェクトの利用等が抑制され、オブジェクトの利用に関するセキュリティ（安全性）を担保することができる。特に、ユーザの視認領域が、現実空間のオブジェクトの位置及び形状が考慮された空間構造データに基づいて推定されることにより、ユーザの視認領域を高精度に特定することができている。このことで、例えば、ユーザがいる部屋とは別室にあるオブジェクト等、ユーザの視認方向には含まれるがユーザの視認領域には含まれないオブジェクトの利用が抑制され、オブジェクトの利用に関する安全性をより一層担保することができる。また、オブジェクトの利用に係る識別情報が出力されることにより、ユーザが当該オブジェクトを利用することができるため、ユーザが、端末との通信の対象であるオブジェクトを検索する必要がない。このことにより、オブジェクトの利用に係る手間を軽減することができる。以上のように、情報処理システムによれば、簡易且つ安全にオブジェクトの利用を促すことができる。

【発明の効果】

【0008】

本発明によれば、簡易且つ安全にオブジェクトの利用を促すことができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る情報処理システムの概要を説明する図である。

【図2】本実施形態に係る情報処理システムの機能構成を示すブロック図である。

【図3】ユーザの視認方向の推定方法についての説明図である。

【図4】ユーザインタフェースの一例についての説明図である。

【図5】ユーザの視認領域についての説明図である。

【図6】本実施形態に係る情報処理システムが実施する処理を示すフローチャートである。

【図7】本実施形態に係る情報処理システムに含まれる通信端末、位置測位サーバ、空間構造サーバ、オブジェクトサーバ、及び特定サーバのハードウェア構成を示す図である。

【図8】変形例に係る情報処理システムの機能構成を示すブロック図である。

【図9】変形例に係るユーザインタフェースの表示態様についての説明図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

【0011】

図１及び図２に示される情報処理システム１は、ユーザが携帯する通信端末１０（ユーザが把持又は装着する端末）と、現実空間のオブジェクトのうち通信可能なオブジェクトとを接続するためのシステムである。本実施形態では、オブジェクトは、例えば、ＩｏＴ家電機器等、通信端末１０によって制御可能なデバイスである。以下、本実施形態では、通信端末１０によって制御可能なデバイス（以下、単に「デバイス」という）を現実空間のオブジェクトの一例として説明する。しかしながら、現実空間のオブジェクトは、デバイスに限られず、通信可能なオブジェクトであればよい。

【0012】

情報処理システム１では、ユーザの視認領域に含まれるデバイスの接続情報が通信端末１０に出力されることによって通信端末１０とデバイスとが接続される。情報処理システム１は、通信端末１０と、位置測位サーバ３０と、空間構造サーバ５０と、デバイスサーバ７０と、特定サーバ９０と、を備えている。なお、図１及び図２に示される通信端末１０の数は１台であるが、通信端末１０の数は複数であってもよい。

【0013】

情報処理システム１では、通信端末１０が撮像した撮像画像が位置測位サーバ３０に送信される。図１に示される例では、通信端末１０において撮像された撮像画像として、一般住宅における部屋Ｒｏの画像（撮像画像）Ｐ１が示されている。画像Ｐ１は、部屋Ｒｏの入口付近から部屋の正面の方向が撮像された画像である。位置測位サーバ３０は、通信端末１０において撮像された撮像画像に基づいてグローバル位置情報を取得する。そして、位置測位サーバ３０は、グローバル位置情報を、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報（絶対的な位置情報）である。グローバル位置情報には、例えば、位置、方向及び傾きの情報が含まれている。グローバル位置情報は、あらかじめ生成されて位置測位サーバ３０に記憶されている。グローバル位置情報の詳細については後述する。

【0014】

空間構造サーバ５０は、グローバル位置情報に対応する空間構造データを取得し、グローバル位置情報に対応する空間構造データを特定サーバ９０に送信する。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータである（詳細は後述）。空間構造データは、あらかじめ生成されて空間構造サーバ５０に記憶されている。

【0015】

図１に示される例では、画像Ｐ１に表示された部屋Ｒｏの各オブジェクトが現実空間のオブジェクトである。そして、グローバル位置情報には、部屋Ｒｏの入口付近の位置、及び部屋Ｒｏの入口付近から部屋Ｒｏの正面の壁に至る方向の情報が含まれている。したがって、グローバル位置情報に対応する空間構造データには、３次元の仮想空間に表された部屋Ｒｏのオブジェクトの形状が表されている。具体的には、空間構造データには、現実空間の部屋Ｒｏの入り口付近から部屋Ｒｏの正面に至る領域と同じ位置に配置された壁、窓、天井、テレビ台、テレビＴ１、照明Ｔ２、及びエアコンＴ３のそれぞれのオブジェクトの形状が少なくとも表されている。

【0016】

デバイスサーバ７０は、グローバル位置情報に対応するデバイス情報（通信可能オブジェクト情報）及びユーザインタフェースを取得し、グローバル位置情報に対応するデバイス情報、及びユーザインタフェースを特定サーバ９０に送信する。デバイス情報は、デバイスの位置及び接続情報を含んだ情報である（詳細は後述）。ユーザインタフェースは、デバイスを制御するために用いられ、例えば、通信端末１０の画面に表示されるデバイスの操作画面である。デバイス情報及びユーザインタフェースは、あらかじめ生成されてデバイスサーバ７０に記憶されている。

【0017】

図１に示される例では、部屋Ｒｏにある各オブジェクトのうちテレビＴ１が通信端末１０によって制御可能なデバイスである。したがって、グローバル位置情報に対応するデバイス情報は、部屋Ｒｏ（現実空間）におけるテレビＴ１の位置及び接続情報を含んでいる。なお、テレビＴ１の所有者によって、テレビＴ１のデバイス情報は、公開状態に設定されている。公開状態に設定されているとは、第三者によるデバイスの利用が可能となるようにデバイスが設定されている状態を意味する。また、公開状態に設定されていないとは、第三者によるデバイスの利用が不可能となるようにデバイスが設定されている状態を意味する。

【0018】

特定サーバ９０は、空間構造サーバ５０から空間構造データを取得する。また、特定サーバ９０は、デバイスサーバ７０からデバイス情報及びユーザインタフェースを取得する。さらに、特定サーバ９０は、グローバル位置情報に基づいて、ユーザの位置を推定（取得）し、撮像画像に基づいて、ユーザの視認方向を推定（取得）する。なお、以下では、ユーザの位置とは、ユーザが把持又は装着する通信端末１０の位置である。また、ユーザの視認方向とは、現実空間においてユーザが視認する方向であって、通信端末１０の視認方向（具体的には、通信端末１０のカメラが撮像する方向）である。そして、特定サーバ９０は、ユーザの位置及び視認方向と、空間構造データとに基づいて、現実空間のうちユーザが視認する視認領域を推定する。そして、特定サーバ９０は、ユーザの視認領域と、デバイス情報とに基づいて、ユーザの視認領域に含まれるデバイスの接続情報、及び当該デバイスのユーザインタフェースを特定し、当該デバイスの接続情報及びインタフェースを通信端末１０に出力する。

【0019】

図１及び図３に示される例では、ユーザは、部屋Ｒｏの正面の方向を視認している。このため、ユーザから部屋Ｒｏの正面に向かう方向がユーザの視認方向となる。その結果、部屋Ｒｏの正面に設けられたテレビＴ１がユーザの視認領域に含まれるデバイスとして特定される。なお、視認方向及び視認領域の推定方法等の詳細については後述する。そして、テレビＴ１の接続情報及びユーザインタフェースＵ（図４参照）が、通信端末１０に出力される。

【0020】

一例として、テレビＴ１の接続情報及びユーザインタフェースＵが通信端末１０によって受信されると、テレビＴ１と通信端末１０とが接続され、図４に示されるように、通信端末１０の画面上にはテレビＴ１のユーザインタフェースＵ（操作画面）が表示される。そして、ユーザがユーザインタフェースＵを操作することによって、ユーザが制御を行いたいデバイスであるテレビＴ１が制御される。なお、通信端末１０の画面上には、例えば画像Ｐ１等、テレビＴ１のユーザインタフェースＵ以外の画像が表示されてもよい。以上の処理により、情報処理システム１では、デバイスと通信端末１０とが接続され、通信端末１０によってデバイスの制御が可能となる。

【0021】

ここで、図２を参照して、通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０の機能的な構成要素について説明する。

【0022】

通信端末１０は、例えば、無線通信を行うよう構成された端末である。通信端末１０は、例えば、スマートフォン、タブレット型端末、ＰＣ、ゴーグル型のウェアラブル機器等である。通信端末１０では、例えばアプリケーションが実行されると、実装されたカメラによる撮像が実施される。そして、通信端末１０は、撮像された撮像画像を位置測位サーバ３０に送信する。また、通信端末１０は、デバイスのユーザインタフェース等、種々の情報を通信端末１０の画面上に表示する。撮像画像は、例えば、デバイスとの接続のためのアプリケーションの実行が開始されたタイミングで、通信端末１０のカメラによる撮像によって取得される。取得された撮像画像は、位置測位サーバ３０によるグローバル位置情報の推定、ユーザの視認方向の推定等に用いられる。通信端末１０は、記憶部１１と、送信部１２と、出力部１３と、を有している。

【0023】

記憶部１１は、撮像画像、位置測位サーバ３０から取得したグローバル位置情報、空間構造サーバ５０から取得した空間構造データ、特定サーバ９０から取得したデバイスの接続情報及びユーザインタフェース等、種々の情報を記憶している。送信部１２は、撮像された撮像画像を位置測位サーバ３０に送信する。出力部１３は、記憶部１１が記憶しているユーザインタフェースをデバイスの画面上に表示する。

【0024】

位置測位サーバ３０は、機能的な構成要素として、記憶部３１と、測位部３２と、を有している。記憶部３１は、マップデータ３００を記憶している。マップデータ３００では、予め取得された撮像画像に含まれる特徴点の特徴量（例えば、輝度方向ベクトル）と、特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられている。マップデータ３００は、例えば、３Ｄポイントクラウドである。マップデータ３００は、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ（図示省略）等によって予め撮像され、大量の撮像画像に基づいて生成される。特徴点とは、画像中において際立って検出される点であって、例えば、他の領域と比べて輝度（強度）が大きい（又は小さい）点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であって、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。

【0025】

記憶部３１は、マップデータ３００の特徴点のグローバル位置情報として３次元の位置情報を記憶している。記憶部３１は、特徴点の３次元のグローバル位置情報として、例えば、特徴点の緯度、経度及び高さを記憶している。なお、記憶部３１は、マップデータ３００についてグローバル位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。

【0026】

測位部３２は、通信端末１０において撮像された撮像画像と、記憶部３１に記憶されているマップデータ３００とに基づいて、通信端末１０における撮像時の通信端末１０のグローバル位置情報（３次元の位置情報）を推定する。具体的には、測位部３２は、マップデータ３００の特徴点と、通信端末１０において撮像された撮像画像の特徴点とのマッチングを行い、撮像された撮像画像に対応するマップデータ３００の領域を特定する。そして、測位部３２は、特定した領域に係るマップデータ３００の特徴点に関連付けられたグローバル位置情報に基づいて、撮像画像の撮像位置（すなわち、撮像時における通信端末１０のグローバル位置情報）を推定する。測位部３２は、測位結果を空間構造サーバ、デバイスサーバ７０、及び特定サーバ９０に送信する。

【0027】

なお、測位結果には、グローバル位置情報に加えて撮像画像から推定される方向（ロール、ピッチ、ヨーの３次元座標中の方向）に関する情報が含まれていてもよい。また、測位部３２は、通信端末１０において一定の周期で撮像された撮像画像に基づいてグローバル位置情報を取得してもよいし、通信端末１０からの指示を受けたタイミングで撮像された撮像画像に基づいてグローバル位置情報を取得してもよい。

【0028】

空間構造サーバ５０は、通信端末１０から送信されたグローバル位置情報に基づいて、グローバル位置情報に対応する空間構造データを特定する。そして、空間構造サーバ５０は、特定した空間構造データを特定サーバ９０に送信する。空間構造サーバ５０は、記憶部（第１記憶部）５１と、特定部５２と、を有している。

【0029】

記憶部５１は、グローバル位置情報と空間構造データとが対応付けられたデータ５００を記憶している。特定部５２は、通信端末１０から送信されたグローバル位置情報と、記憶部５１に記憶されているデータ５００とに基づいて、通信端末１０のグローバル位置情報に対応する空間構造データを特定する。そして、特定部５２は、特定した空間構造データを特定サーバ９０に送信する。

【0030】

デバイスサーバ７０は、通信端末１０から送信されたグローバル位置情報に基づいて、グローバル位置情報に対応するデバイス情報及びユーザインタフェースを特定する。そして、デバイスサーバ７０は、特定したデバイス情報及びユーザインタフェースを特定サーバ９０に送信する。デバイスサーバ７０は、記憶部（第２記憶部）７１と、特定部７２と、を有している。

【0031】

記憶部７１は、グローバル位置情報と、デバイス情報と、ユーザインタフェースとが対応付けられたデータ７００を記憶している。特定部７２は、通信端末１０から送信されたグローバル位置情報と、記憶部７１に記憶されているデータ７００とに基づいて、グローバル位置情報に対応するデバイスにおけるデバイス情報を特定する。ここでいうデバイス情報とは、現実空間のデバイスの位置及び接続情報を含んだ情報である。接続情報は、デバイス（通信可能なオブジェクト）の利用に係る識別情報に含まれる情報であって、本実施形態では、デバイスとの接続に必要な情報である。また、特定部７２は、グローバル位置情報に対応するデバイスにおけるユーザインタフェースを特定する。そして、特定部７２は、特定したデバイス情報及びユーザインタフェースを特定サーバ９０に送信する。

【0032】

特定サーバ９０は、ユーザの位置情報及びユーザの視認方向を取得し、ユーザの位置情報及びユーザの視認方向と、空間構造サーバから送信された空間構造データとに基づいて、ユーザの視認領域を推定する。そして、特定サーバ９０は、ユーザの視認領域に含まれるデバイスの接続情報及びユーザインタフェースを特定する。そして、特定サーバ９０は、デバイスの接続情報及びユーザインタフェースを出力する。

【0033】

特定サーバ９０は、記憶部９１と、端末情報取得部９２と、推定部９３と、特定部９４と、出力部９５と、を備えている。

【0034】

記憶部９１は、情報処理システム１で実施される種々の処理に用いられる情報を記憶している。具体的には、記憶部９１は、通信端末１０が有するカメラによって撮像された撮像画像、位置測位サーバ３０から取得したグローバル位置情報、空間構造サーバから取得した空間構造データ、並びにデバイスサーバ７０から取得したデバイス情報及びユーザインタフェースを記憶している。

【0035】

端末情報取得部９２は、ユーザに関する情報を取得する。具体的には、端末情報取得部９２は、ユーザに関する情報として、ユーザが把持又は装着する通信端末１０の位置及び視認方向を少なくとも含む端末情報を取得する。

【0036】

本実施形態では、端末情報取得部９２は、位置測位サーバ３０から撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報に基づいてユーザの位置を推定する。また、本実施形態では、端末情報取得部９２は、通信端末１０のカメラが撮像（以下、「通信端末１０が撮像」という）した撮像画像を取得し、当該撮像画像に基づいて、ユーザの視認方向を推定する。

【0037】

以下、ユーザの視認方向の推定方法について、図３に示される例を用いて説明する。図３に示される通信端末１０は、ゴーグル型のウェアラブル機器であって、ユーザに装着されている。ユーザは、現実空間において部屋Ｒｏの正面付近を視認している。端末情報取得部９２は、ユーザの位置から撮像画像の領域に至る方向を視認方向として推定する。視認方向とは、通信端末１０から得られる情報に基づいて、ユーザが視認していると推測される方向のことを意味する。図３に示される例では、端末情報取得部９２は、ユーザの位置から画像Ｐ１の領域（部屋Ｒｏの正面付近の領域）に至る方向を、視認方向として推定する。つまり、本実施形態では、ユーザの視認方向は、点状の狭い領域ではなく、撮像画像の領域全体をユーザが捉えているものと仮定して推定される。

【0038】

推定部９３は、空間構造サーバ５０の記憶部９１から、ユーザの位置及び視認方向に対応する空間構造データを取得する。ここで、空間構造データについて詳細に説明する。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表すデータである。例えば、現実空間においてある屋外の場所に複数の建物（複数のオブジェクト）が存在するとする。その場合、当該屋外の場所（現実空間）に対応する仮想空間の構造データには、地面のオブジェクト、及び当該屋外の場所と同じ位置に配置され且つ当該屋外の場所の複数の建物と同じ形状である複数の建物のオブジェクトが表されている。また、例えば、現実空間のある屋内の場所に椅子が存在するとする。その場合、当該室内の場所（現実空間）に対応する仮想空間の構造データには、当該室内の場所と同じ位置に配置され且つ当該室内の壁、床、天井、及び椅子のそれぞれと同じ形状の壁のオブジェクト、床のオブジェクト、天井のオブジェクト、及び椅子のオブジェクトが表されている。つまり、空間構造データにおけるオブジェクトは、現実空間におけるオブジェクトとリンクしている。なお、空間構造データは、静的なオブジェクト（基本的に動かないオブジェクト）のみの形状を表すデータであってもよい。また、空間構造データのオブジェクトには、現実空間におけるオブジェクトとリンクしていないオブジェクトが含まれていてもよい。

【0039】

推定部９３は、ユーザの位置及び視認方向を少なくとも含む端末情報と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する。具体的には、推定部９３は、視認方向と空間構造データとが衝突する衝突領域を推定し、衝突領域に基づいてユーザの視認領域を推定する。

【0040】

ここで、衝突領域に基づいたユーザの視認領域の推定方法について説明する。衝突領域とは、空間構造データに表された３次元の仮想空間において、現実空間のユーザ（すなわち、通信端末１０）の位置に対応する位置にユーザ（通信端末１０）が存在すると仮定した場合に、空間構造データと、ユーザの視認方向とが衝突する３次元の領域である。具体的には、衝突領域とは、当該仮想空間において、ユーザ（通信端末１０）の位置から空間構造データのオブジェクトに向かって直線を引いた際に、当該直線と最初に交差する仮想空間のオブジェクトの領域を意味する。言い換えれば、衝突領域とは、当該仮想空間において、ユーザ（通信端末１０）の位置から仮想空間の一のオブジェクトまで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずに当該一のオブジェクトと交差する領域を意味する。

【0041】

ユーザの視認領域とは、現実空間のうちユーザが実際に視認していると推定される領域である。本実施形態では、ユーザ（通信端末１０）の位置から衝突領域に至るまでの領域が、ユーザの視認領域として推定される。言い換えれば、本実施形態では、ユーザの視認領域とは、ユーザ（通信端末１０）の位置から空間構造データのオブジェクトに向かって仮想空間の一のオブジェクトまで直線を引いた場合に、ユーザの位置から、当該直線が他のオブジェクトによって遮られずに当該一のオブジェクトと交差するまでの領域を意味する。

【0042】

ここで、衝突領域及びユーザの視認領域の推定方法について、図５に示される具体例を用いて説明する。図５は、空間構造データに表された３次元の仮想空間Ｄ１と、通信端末１０との位置関係を仮想的に表した平面図である。空間構造データには、仮想空間上の位置において複数のオブジェクトＸ１、オブジェクトＸ２、及びオブジェクトＸ３の形状が表されている。各オブジェクトＸ１～Ｘ３は、現実空間の各オブジェクトが３次元の仮想空間Ｄ１に表されたオブジェクトである。

【0043】

通信端末１０は、各オブジェクトＸ１～Ｘ３に対応する現実空間における各オブジェクトを撮像しており、通信端末１０と現実空間における各オブジェクトとの位置関係は、図５と同様となっている。通信端末１０の撮像対象範囲５Ａは、例えば、通信端末１０のカメラの光学中心を頂点として各オブジェクトに向かって錐体状に広がっている。そして、現実空間における各オブジェクトのうち、オブジェクトＸ１に対応するオブジェクト、及びオブジェクトＸ２に対応するオブジェクトは、通信端末１０によって制御可能なデバイスである。そして、オブジェクトＸ３に対応するオブジェクトは、屋内に設けられた壁である。

【0044】

推定部９３は、端末情報取得部９２によって取得されたユーザの位置、視認方向、及び通信端末１０の画角等の内部パラメータに基づいて、現実空間の通信端末１０の位置と仮想空間Ｄ１の位置とを対応付ける。そして、推定部９３は、視認方向に向かって、仮想空間Ｄ１の当該位置に通信端末１０が位置していると仮定して、以下のように衝突領域を推定する。すなわち、推定部９３は、仮想空間Ｄ１において、空間構造データと、視認方向とが衝突する衝突領域を推定する。具体的には、推定部９３は、視認方向における原点から直線を引いた際に、仮想空間Ｄ１のオブジェクトＸ１のうち当該直線と最初に交差する領域、及びオブジェクトＸ３のうち当該直線と最初に交差する領域を、衝突領域として推定する。具体的には、推定部９３は、オブジェクトＸ１における通信端末１０側の面、及びオブジェクトＸ３における通信端末１０側の面と、撮像画像の領域とが重なる領域である衝突領域Ｒ１を推定する。そして、推定部９３は、ユーザ（通信端末１０）の位置から衝突領域Ｒ１に至るまでの領域をユーザの視認領域Ｖとして推定する。

【0045】

例えば、衝突領域Ｒ１は、当該仮想空間において、ユーザ（通信端末１０）の位置からオブジェクトＸ１及びオブジェクトＸ３まで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずにオブジェクトＸ１及びオブジェクトＸ３と交差する領域である。そして、視認領域Ｖは、ユーザ（通信端末１０）の位置からオブジェクトＸ１及びオブジェクトＸ３まで直線を引いた場合に、通信端末１０から当該直線が他のオブジェクトによって遮られずにオブジェクトＸ１及びオブジェクトＸ３と交差するまでの領域である。その結果、ユーザの視認領域には、通信端末１０によって制御可能なデバイスであるオブジェクトＸ１が含まれる。なお、ユーザの視認領域に含まれるデバイスとは、ユーザ（通信端末１０）と向かい合う面の全部又は一部においてユーザの視認領域と重複するデバイスを意味する。つまり、オブジェクトＸ１は、通信端末１０と向かい合う面の全部においてユーザの視認領域と重複しているため、ユーザの視認領域に含まれる。なお、ユーザの視認領域に含まれるデバイスは、通信端末１０と向かい合う一部においてユーザの視認領域と重複しているデバイスであってもよい。

【0046】

一方、図５に示される領域Ｒ２は、オブジェクトＸ２における通信端末１０側の表面の領域であって、撮像対象範囲５Ａに含まれているが、衝突領域とはならない。また、オブジェクトＸ２は、ユーザの視認領域に含まれない。これは、ユーザの位置からオブジェクトＸ２まで直線を引いた場合に、当該直線が他のオブジェクトＸ１によって遮られるためである。以上のように、推定部９３は、衝突領域及びユーザの視認領域を推定する。

【0047】

特定部９４は、ユーザの視認領域と、デバイス情報とに基づいて、ユーザの視認領域に含まれるデバイスの接続情報を特定する。接続情報は、ユーザの視認領域に含まれ且つ通信可能なオブジェクトの識別情報であって、通信端末１０とデバイスとの接続に必要な情報である。

【0048】

ここで、ユーザの視認領域に含まれるデバイスの接続情報の特定にユーザの視認領域及びデバイス情報の両方が用いられる理由について説明する。デバイス情報は、グローバル位置情報に対応するデバイスに関する情報である。したがって、グローバル位置情報に対応するデバイス（言い換えれば、デバイス情報の情報元となるデバイス）をユーザが利用したいデバイスであると特定するように処理を実施することも考えられる。しかしながら、デバイス情報のみによってユーザが利用したいデバイスの接続情報を特定する場合、ユーザの視認方向には含まれるがユーザの視認領域には含まれないデバイスとの接続を促してしまうおそれがある。

【0049】

具体的には、例えば、ユーザが集合住宅の第１部屋にいるとする。そして、第１部屋の隣の第２部屋には、デバイスＺが設けられている。その場合、デバイスサーバ７０によって、ユーザの位置及び視認方向（グローバル位置情報）に基づいて、デバイスＺのデバイス情報が特定される。そして、仮に、特定サーバ９０によって、デバイス情報のみに基づいて、デバイスＺの接続情報が特定された場合、第２部屋の住人であってデバイスＺの所有者が意図しない接続が、通信端末１０とデバイスＺとの間で実施されるおそれがある。これに対し、情報処理システム１では、ユーザの視認方向に含まれるデバイスのうちユーザの視認領域に含まれるデバイスの接続情報を特定する。したがって、情報処理システム１では、第１部屋にいるユーザの視認方向にはあるがユーザの視認領域にはないデバイスＺは、通信端末１０の接続対象とはならない。これにより、デバイスＺの所有者が意図しない接続が防止される。

【0050】

また、特定部９４は、ユーザの視認領域と、デバイス情報とに基づいて、ユーザの視認領域に含まれるデバイスのユーザインタフェースを特定する。ユーザインタフェースは、ユーザの視認方向に含まれるデバイスのユーザインタフェースであって、例えば、デバイス機能を制御するためのスイッチ等が配置された操作画面である。

【0051】

図５に示される例では、ユーザの視認領域に含まれるデバイスは、オブジェクトＸ１である。したがって、特定部９４は、オブジェクトＸ１の接続情報及びユーザインタフェースを特定する。

【0052】

出力部９５は、特定部９４によって特定された接続情報（識別情報）及びユーザインタフェースを出力する。出力された接続情報及びユーザインタフェースは、通信端末１０によって取得される。接続情報が通信端末１０によって取得されると、通信端末１０とデバイスとの通信が可能に通信端末１０とデバイスとが接続される。そして、通信端末１０の表示画面上にユーザインタフェースが表示され（図４参照）、ユーザによってユーザインタフェースが操作されることによって、デバイスの制御が実施される。なお、通信端末１０とデバイスとの接続は、通信端末１０において自動的に実施されてもよいし、例えば、ユーザが当該接続を通信端末１０に選択入力することによって実施されてもよい。

【0053】

なお、ユーザインタフェースは、通信端末１０に予め記憶されていてもよい。この場合、特定サーバ９０から通信端末１０にデバイスの接続情報が受信されると、当該接続情報に紐づいたユーザインタフェースが通信端末１０の画面上に表示（出力）される。

【0054】

次に、本実施形態に係る情報処理システム１が行う処理、具体的には、通信端末１０とデバイスとの接続に係る処理について、図６を参照して説明する。図６は、情報処理システム１が行う処理を示すフローチャートである。

【0055】

図６に示されるように、情報処理システム１では、特定サーバ９０において、ユーザの位置、及びユーザが視認する視認方向が推定（取得）される（ステップＳ１）。具体的には、特定サーバ９０は、位置測位サーバ３０から撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報に基づいてユーザの位置を取得する。また、特定サーバ９０は、通信端末１０が撮像した撮像画像を取得し、ユーザの位置から撮像画像の領域に至る方向を視認方向として取得する。

【0056】

続いて、特定サーバ９０において、ステップＳ１で推定されたユーザの位置及び視認方向に基づいて、ユーザの視認領域にデバイスが含まれているか否かが判定される（ステップＳ２）。具体的には、特定サーバ９０は、空間構造サーバ５０の記憶部５１から、ユーザの位置及び視認方向（グローバル位置情報）に対応する空間構造データを取得する。そして、特定サーバ９０は、ユーザの視認方向と空間構造データとが衝突する衝突領域を推定し、衝突領域に基づいてユーザの視認領域を推定する。

【0057】

また、特定サーバ９０は、デバイスサーバ７０から、ユーザの位置及び視認方向（グローバル位置情報）に対応するデバイス情報を取得する。そして、特定サーバ９０は、視認領域と、デバイス情報とに基づいて、ユーザの視認領域にデバイスが含まれているか否かを判定する。ユーザの視認領域にデバイスが含まれていると判定された場合、特定サーバ９０は、デバイスの接続情報を特定する。

【0058】

ユーザの視認領域にデバイスが含まれていると判定された場合（ステップＳ２：ＹＥＳ）、通信端末１０において、デバイスの接続情報が取得される（ステップＳ３）。一方、ユーザの視認領域にデバイスが含まれていないと判定された場合（ステップＳ２：ＮＯ）、処理がＳ１に戻される。

【0059】

続いて、通信端末１０において、通信端末１０とデバイスとの通信が可能に通信端末１０とデバイスとが接続される（ステップＳ４）。続いて、通信端末１０において、記憶部１１がデバイスのユーザインタフェースを保有しているか否かが判定される（ステップＳ５）。記憶部１１がデバイスのユーザインタフェースを保有していると判定された場合（ステップＳ５：ＹＥＳ）、通信端末１０において、記憶部１１からユーザインタフェースがロードされる（ステップＳ６）。一方、記憶部１１がデバイスのユーザインタフェースを保有していないと判定された場合（ステップＳ５：ＮＯ）、通信端末１０において、デバイスサーバ７０から、デバイスのユーザインタフェースが取得される（ステップＳ７）。

【0060】

続いて、通信端末１０において、デバイスのユーザインタフェースが通信端末１０の画面上に表示される（ステップＳ８）。これにより、ユーザが、ユーザインタフェースを操作することでデバイスの制御を実施することが可能となる。

【0061】

次に、本実施形態に係る情報処理システム１の作用効果について説明する。

【0062】

本実施形態に係る情報処理システム１は、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部（第１記憶部）５１と、現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する記憶部（第２記憶部）７１と、ユーザが把持又は装着する通信端末１０の位置及び視認方向（ユーザの位置及び視認方向）を少なくとも含む端末情報を取得する端末情報取得部９２と、端末情報（ユーザの位置及び視認方向）と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する推定部９３と、視認領域と、通信可能オブジェクト情報とに基づいて、視認領域に含まれる通信可能なオブジェクトの識別情報を特定する特定部９４と、特定部９４によって特定された識別情報を通信端末１０に出力する出力部９５と、を備えている。

【0063】

本実施形態に係る情報処理システム１では、ユーザが把持又は装着する通信端末１０の位置及び視認方向に対応する空間構造データに基づいて、現実空間においてユーザが視認する視認領域が推定される。そして、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報が特定されて通信端末１０に出力される。このように、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報がユーザに対して出力されることにより、ユーザの目の届く範囲のオブジェクトに限定してユーザの通信端末１０との通信が促される。このことで、例えば、遠隔からのオブジェクトの利用等が抑制され、オブジェクトの利用に関するセキュリティ（安全性）を担保することができる。特に、ユーザの視認領域が、現実空間のオブジェクトの位置及び形状が考慮された空間構造データに基づいて推定されることにより、ユーザの視認領域を高精度に特定することができている。このことで、例えば、ユーザがいる部屋とは別室にあるオブジェクト等、ユーザの視認方向には含まれるがユーザの視認領域には含まれないオブジェクトの利用が抑制され、オブジェクトの利用に関する安全性をより一層担保することができる。また、オブジェクトの利用に係る識別情報が出力されることにより、ユーザが当該オブジェクトを利用することができるため、ユーザが、通信端末１０との通信の対象であるオブジェクトを検索する必要がない。このことにより、オブジェクトの利用に係る手間を軽減することができる。以上のように、情報処理システム１によれば、簡易且つ安全にオブジェクトの利用を促すことができる。

【0064】

推定部９３は、視認方向と空間構造データとが衝突する衝突領域を推定し、衝突領域に基づいて視認領域を推定する。このことにより、現実空間において実際にユーザが視認している領域を視認領域として精度良く推定することができる。よって、実際にユーザが視認しているオブジェクトの利用に係る識別情報を精度良く特定することができ、オブジェクトの所有者が意図しないオブジェクトの利用を確実に防止することができる。

【0065】

本実施形態に係る情報処理システム１では、通信可能なオブジェクトには、通信端末１０によって制御可能なデバイスが含まれており、通信可能オブジェクト情報には、識別情報として、制御可能なデバイスとの接続に必要な接続情報が含まれている。例えば、ＩｏＴの家電製品等のデバイスの所有者にとっては、デバイスの利用を何人も何処からでも許可することはセキュリティ上好ましくない。一方、一時的にデバイスを利用したいユーザにとっては、デバイスの検索、パスワードの入力等、デバイスとの接続処理を実施するのは手間である。この点、情報処理システム１では、ユーザの目の届く範囲のデバイスに限定してユーザの通信端末１０との接続を促すことができるため、デバイスの利用に関する安全性を担保することができる。また、ユーザの目の届く範囲のデバイスは、ユーザが利用したいデバイスである可能性が高い。このようなデバイスとの接続に必要な接続情報がユーザの通信端末１０に出力されることにより、ユーザが当該デバイスを利用することができるため、利用したいデバイスとの接続に係る手間を軽減することができる。

【0066】

記憶部７１は、制御可能なデバイスを制御するためのユーザインタフェースを記憶しており、特定部９４は、ユーザの視認領域と、デバイス情報とに基づいて、視認領域に含まれる制御可能なデバイスを制御するためのユーザインタフェースを推定し、出力部９５は、特定部９４によって特定されたユーザインタフェースを出力する。このことにより、ユーザがデバイスの制御のためのユーザインタフェースを取得する手間を軽減することができる。また、ユーザがデバイスと接続されてから直ぐに当該デバイスの制御を実施することができる。よって、一時的なデバイスの利用に関する利便性を向上させることができる。

【0067】

また、従来、ユーザの視認領域に含まれるデバイスを特定するためには、撮像画像においてデバイスを認識する画像処理の手法が用いられており、デバイスを特定するための処理の負荷が高かった。これに対し、情報処理システム１では、ユーザの位置及び視認方向と、空間構造データとに基づいてユーザの視認領域が推定され、ユーザの視認領域とデバイス情報とに基づいてユーザの視認領域に含まれるデバイスが特定されるため、画像処理を実施する必要がない。したがって、情報処理システム１では、デバイスを特定するための処理の負荷を軽減することができる。

【0068】

次に、情報処理システム１に含まれた通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０のハードウェア構成について、図７を参照して説明する。上述の通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0069】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０のハードウェア構成は、図７に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0070】

通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0071】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、位置測位サーバ３０の測位部３２等の制御機能はプロセッサ１００１で実現されてもよい。

【0072】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。

【0073】

例えば、位置測位サーバ３０の測位部３２等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0074】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0075】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0076】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0077】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0078】

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0079】

また、通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0080】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0081】

例えば、情報処理システム１は、通信端末１０、位置測位サーバ３０、空間構造サーバ５０、デバイスサーバ７０、及び特定サーバ９０を含んで構成されているとして説明したが、これに限定されず、情報処理システム１の各機能が、通信端末１０のみによって実現されてもよい。

【0082】

また、上記実施形態では、空間構造サーバが、記憶部（第１記憶部）５１を有し、デバイスサーバ７０が、記憶部（第２記憶部）７１を有し、特定サーバ９０が、端末情報取得部９２と、推定部９３と、特定部９４と、出力部９５と、を有している構成を例示した。しかしながら、情報処理システム１では、例えば、他のサーバが各機能的構成要素の一部あるいは全部を備えていてもよく、また、例えば、通信端末１０が各機能的構成要素の一部を備えていてもよい。一例として、通信端末１０の記憶部１１が、デバイス情報（通信可能オブジェクト情報）を記憶していてもよい。

【0083】

また、上記実施形態では、現実空間のオブジェクトのうち通信端末１０と接続されるオブジェクトとして、通信端末１０によって制御可能なデバイスを例示した。しかしながら、オブジェクトは、通信端末１０と通信可能なオブジェクトであればよい。

【0084】

また、本発明の一態様に係る通信可能オブジェクト情報として、上記実施形態ではデバイス情報を例示したが、本発明に係る通信可能オブジェクト情報はこれに限定されない。通信可能オブジェクト情報は、現実空間のオブジェクトの位置及び識別情報を含んだ情報であればよい。また、識別情報は、通信可能なオブジェクトの利用に係る情報であればよく、例えばオブジェクトのＩＤ、シリアルＮｏ、オブジェクトに搭載されたＮＩＣ（Network Interface Card）のＭＡＣアドレスやＩＰアドレス等であってもよい。

【0085】

また、情報処理システム１は、決定部９６を更に備えていてもよい。一例として、図８に示されるように、決定部９６は、特定サーバ９０が有している機能的構成要素である。決定部９６は、ユーザインタフェース（対象インタフェース）の表示態様を決定する。以下、各変形例における「ユーザインタフェース」は、特定部９４によって特定されたユーザインタフェース（言い換えれば、ユーザの視認領域に含まれるデバイスのユーザインタフェース）を意味するものとする。決定部９６は、視認領域に含まれるデバイスの接続情報が特定された環境に応じてユーザインタフェースの表示態様を決定する。そして、出力部９５は、決定部９６によって決定された表示態様でユーザインタフェースを出力する。

【0086】

以上説明した本変形例に係る情報処理システム１では、上記実施形態と同様の効果が奏されるのに加え、ユーザが利用したいデバイスを制御しやすくすることができる。

【0087】

以下、ユーザインタフェースの表示態様、及び表示態様の決定方法の具体例について説明する。

【0088】

一例として、情報処理システム１では、端末情報取得部９２が、端末が撮像した撮像画像においてユーザの視認領域に含まれるデバイスの位置及び大きさを更に取得し、決定部９６が、ユーザの視認領域に含まれるデバイスの位置及び大きさに基づいて、撮像画像においてデバイスに対応する領域とは異なる領域にユーザインタフェース（対象ユーザインタフェース）を重畳させるようにユーザインタフェースの表示態様を決定してもよい。

【0089】

デバイスの大きさは、例えば、デバイスサーバ７０の記憶部７１に記憶されている。そして、端末情報取得部９２は、デバイスサーバ７０から、デバイスの大きさ、及びデバイス情報に含まれるデバイスの位置を取得する。そして、端末情報取得部９２は、デバイスの大きさ及びデバイスの位置に基づいて、撮像画像におけるデバイスの位置及び大きさを推定（取得）する。

【0090】

そして、決定部９６は、取得部が取得したデバイスの位置及び大きさに基づいて、ユーザインタフェースの表示態様を決定する。具体的には、決定部９６は、撮像画像においてデバイスに対応する領域とは異なる領域にユーザインタフェースを重畳させるように当該表示態様を決定する。そして、出力部９５から出力されたインタフェースは、撮像画像においてデバイスに対応する領域とは異なる領域に位置するように撮像画像に重畳されて、通信端末１０の画面上に表示される。

【0091】

図３及び図９に示される例では、記憶部７１には、ユーザの視認領域に含まれるデバイスであるテレビＴ１の大きさが記憶されている。そして、端末情報取得部９２は、デバイスサーバ７０から取得したテレビＴ１の位置及び大きさに基づいて、撮像画像におけるデバイスの位置及び大きさを推定（取得）する。そして、決定部９６は、テレビＴ１の位置大きさに基づいて、撮像画像においてテレビＴ１とは異なる領域にユーザインタフェースＵを重畳させるようにユーザインタフェースＵの表示態様を決定する。図９に示される画像は、ウェアラブル機器である通信端末１０の画面上に表示された画像Ｐ１及びユーザインタフェースＵの一例である。ユーザインタフェースＵは、ユーザの視認領域に含まれるデバイスであるテレビＴ１と重畳しないように表示されている。

【0092】

以上説明した本変形例に係る情報処理システム１によれば、ユーザが利用したいデバイスと、当該デバイスを制御するためのユーザインタフェースとを、互いに重ならないようにユーザの端末等のディスプレイに表示させることができるため、ユーザが利用したいデバイスを制御しやすくすることができる。

【0093】

なお、デバイスの位置及び大きさは、画像認識によって取得されてもよい。具体的には、端末情報取得部９２は、取得した撮像画像に対して周知の画像認識処理を実施することによって、撮像画像におけるデバイスの位置及び大きさを取得してもよい。また、デバイスの位置はデバイス情報に含まれるデバイスの位置に基づいて取得され、デバイスの大きさはデバイス情報に含まれるデバイスの種別情報等に基づいて推定されることによって取得されてもよい。

【0094】

また、情報処理システム１では、決定部９６が、通信端末１０が撮像した撮像画像においてユーザの視認領域に含まれるデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスを制御するためのユーザインタフェースを優先的に表示するように表示態様を決定するようにしてもよい。以下、ユーザインタフェースの表示態様の決定方法について、図３に示される例を用いて説明する。

【0095】

本変形例に係る例では、部屋Ｒｏにあるオブジェクトのうち通信端末１０によって制御可能なデバイスは、テレビＴ１、照明Ｔ２、及びエアコンＴ３である。そして、ユーザの視認領域には、複数のデバイスであるテレビＴ１、照明Ｔ２、及びエアコンＴ３が含まれている。そして、画像Ｐ１において、ユーザの視認領域に含まれる各デバイスに対応する領域と、画像Ｐ１の光学中心に対応する領域である光学中心領域Ｃに対応する領域との距離を比較すると、テレビＴ１に対応する領域と光学中心領域Ｃとの距離が最も近い。したがって、決定部９６は、テレビＴ１のユーザインタフェースＵを優先的に表示するように決定する。具体的には、例えば、図９に示されるように、決定部９６は、テレビＴ１のユーザインタフェースＵのみが表示されるようにユーザインタフェースＵの表示態様を決定する。なお、ユーザインタフェースＵの表示態様は、ユーザインタフェースＵが優先的に表示される態様であればよい。例えば、ユーザインタフェースＵの表示態様は、画像Ｐ１において他のデバイスのユーザインタフェースよりも大きく表示されたり、強調されて表示されたりする態様であってもよい。

【0096】

現実空間において撮像画像の光学中心に対応する領域は、ユーザが実際に注視している可能性が高い。また、ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域が撮像画像の光学中心に対応する領域に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例に係る情報処理システム１によれば、撮像画像において光学中心に対応する領域との距離が近いデバイスのユーザインタフェースが優先されて表示されることにより、ユーザが利用を希望しないデバイスが含まれた複数のユーザインタフェースが通信端末１０の画面上に煩雑に表示されることが防止され、ユーザが利用したいデバイスをより一層制御しやすくすることができる。

【0097】

また、情報処理システム１では、端末情報取得部９２が、ユーザの視線方向を更に取得し、推定部９３が、視線方向に基づいて、通信端末１０が撮像した撮像画像におけるユーザの注視点を更に推定し、決定部９６が、撮像画像において視認領域に含まれる制御可能なデバイスに対応する領域とユーザの注視点との距離が近いほど、該制御可能なデバイスを制御するための対象ユーザインタフェースを優先的に表示するように表示態様を決定するようにしてもよい。以下、ユーザインタフェースの表示態様の決定方法について、図３に示される例を用いて説明する。

【0098】

通信端末１０が、例えばゴーグル型のウェアラブル機器等であって、ユーザの視線情報を取得可能に構成されている場合には、ユーザの注視点を特定することができる。本変形例に係る例では、端末情報取得部９２は、ユーザの視線情報に基づいてユーザの注視点Ｓを推定（取得）する。そして、画像Ｐ１において、ユーザの視認領域に含まれる各デバイスに対応する領域と、ユーザの注視点Ｓに対応する領域との距離を比較すると、テレビＴ１に対応する領域とユーザの注視点Ｓとの距離が最も近い。したがって、決定部９６は、テレビＴ１のユーザインタフェースＵを優先的に表示するように決定する。なお、表示態様は、上述した図９に示される例のように、ユーザインタフェースＵのみが通信端末１０の画面上に表示されてもよいし、ユーザインタフェースＵが強調されて表示されてもよく、優先的に表示される限り特に限定されない。

【0099】

ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域がユーザの注視点に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例の情報処理システム１によれば、上述した変形例の効果と同様の効果を奏することができ、ユーザが利用したいデバイスをより一層制御しやすくすることができる。

【0100】

また、情報処理システム１では、特定部９４が、通信端末１０が撮像した撮像画像において視認領域に含まれる制御可能なデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及びデバイスを制御するためのユーザインタフェースを優先的に特定してもよい。

【0101】

図３に示されるように、画像Ｐ１において、ユーザの視認領域に含まれる各デバイスに対応する領域と、画像Ｐ１の光学中心に対応する領域である光学中心領域Ｃに対応する領域との距離を比較すると、テレビＴ１に対応する領域と光学中心領域Ｃとの距離が最も近い。したがって、特定部９４は、テレビＴ１の接続情報と、テレビＴ１のユーザインタフェースＵを優先的に特定する。具体的には、例えば、特定部９４は、テレビＴ１、照明Ｔ２、及びエアコンＴ３の接続情報のうちテレビＴ１の接続情報を視認領域に含まれるデバイスの接続情報とする。また、特定部９４は、テレビＴ１、照明Ｔ２、及びエアコンＴ３のユーザインタフェースのうちテレビＴ１のユーザインタフェースＵを視認領域に含まれるデバイスを制御するためのユーザインタフェースとして特定する。

【0102】

現実空間において撮像画像の光学中心に対応する領域は、ユーザが実際に注視している可能性が高い。また、ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域が撮像画像の光学中心に対応する領域に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例に係る情報処理システム１によれば、撮像画像において光学中心に対応する領域との距離が近いデバイスの接続情報及びユーザインタフェースが優先されて特定されることにより、ユーザが利用を希望しないデバイスと通信端末１０との接続、及びユーザが利用を希望しないデバイスが含まれた複数のユーザインタフェースが通信端末１０の画面上に煩雑に表示されることが防止され、ユーザが利用したいデバイスをより一層制御しやすくすることができる。なお、特定部９４は、１つのデバイスの接続情報及び当該デバイスのユーザインタフェースに限らず、撮像画像においてデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離に応じて、複数のデバイスの接続情報及び各デバイスのユーザインタフェースを特定してもよい。

【0103】

また、情報処理システム１では、端末情報取得部９２は、ユーザの視線方向を更に取得し、推定部９３は、視線方向に基づいて、通信端末１０が撮像した撮像画像におけるユーザの注視点を更に推定し、特定部９４は、撮像画像において視認領域に含まれる制御可能なデバイスに対応する領域とユーザの注視点との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及び該制御可能なデバイスを制御するためのユーザインタフェースを優先的に特定してもよい。

【0104】

図３に示されるように、本変形例に係る例では、端末情報取得部９２は、ユーザの視線情報に基づいてユーザの注視点Ｓを推定（取得）する。そして、画像Ｐ１において、ユーザの視認領域に含まれる各デバイスに対応する領域と、ユーザの注視点Ｓに対応する領域との距離を比較すると、テレビＴ１に対応する領域とユーザの注視点Ｓとの距離が最も近い。したがって、特定部９４は、テレビＴ１の接続情報と、テレビＴ１のユーザインタフェースＵを優先的に特定する。

【0105】

ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域がユーザの注視点に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例の情報処理システム１によれば、撮像画像においてユーザの注視点Ｓに対応する領域との距離が近いデバイスの接続情報及びユーザインタフェースが優先されて特定されることにより、ユーザが利用を希望しないデバイスと通信端末１０との接続、及びユーザが利用を希望しないデバイスが含まれた複数のユーザインタフェースが通信端末１０の画面上に煩雑に表示されることが防止され、ユーザが利用したいデバイスをより一層制御しやすくすることができる。なお、特定部９４は、１つのデバイスの接続情報及び当該デバイスのユーザインタフェースに限らず、撮像画像においてデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離に応じて、複数のデバイスの接続情報及び各デバイスのユーザインタフェースを特定してもよい。

【0106】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0107】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0108】

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0109】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0110】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0111】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0112】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0113】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0114】

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0115】

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

【0116】

通信端末１０は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

【0117】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0118】

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0119】

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0120】

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

【0121】

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

【符号の説明】

【0122】

１…情報処理システム、１０…通信端末（端末）、５１…記憶部（第１記憶部）、７１…記憶部（第２記憶部）、９２…端末情報取得部、９３…推定部、９４…特定部、９５…出力部、９６…決定部、Ｃ…光学中心領域（撮像画像の光学中心に対応する領域）、Ｄ１…仮想空間、Ｐ１…画像（撮像画像）、Ｒ１…衝突領域、Ｓ…注視点、Ｕ…ユーザインタフェース、Ｖ…視認領域、Ｘ１，Ｘ２，Ｘ３…オブジェクト、Ｔ１…テレビ（オブジェクト，デバイス）、Ｔ２…照明（オブジェクト，デバイス）、Ｔ３…エアコン（オブジェクト，デバイス）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】