特許 7490743 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240520BHJP

   G06F 3/01 20060101ALI20240520BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

【請求項の数】 8

(21)【出願番号】P 2022501827

(86)(22)【出願日】2021-02-09

(86)【国際出願番号】 JP2021004821

(87)【国際公開番号】W WO2021166747

(87)【国際公開日】2021-08-26

【審査請求日】2022-06-08

(31)【優先権主張番号】P 2020025356

(32)【優先日】2020-02-18

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100183438

【弁理士】

【氏名又は名称】内藤 泰史

(72)【発明者】

【氏名】木村 真治

(72)【発明者】

【氏名】林 宏樹

(72)【発明者】

【氏名】山本 泰士

(72)【発明者】

【氏名】後藤 修

(72)【発明者】

【氏名】大関 江利子

(72)【発明者】

【氏名】岩村 幹生

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２００７－２８６９９５（ＪＰ，Ａ）

【文献】特開２０１７－０６８８５１（ＪＰ，Ａ）

【文献】国際公開第２０１４／０９１８２４（ＷＯ，Ａ１）

【文献】特開平０９－２１２３２２（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９７７２６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

現実空間のオブジェクトを３次元の仮想空間に表したデータであって、前記現実空間のオブジェクトの位置に対応する前記仮想空間上の位置において前記オブジェクトの形状を表す空間構造データを記憶する記憶部と、
ユーザの位置、及び前記ユーザが視認する視認方向を取得するユーザ情報取得部と、
前記記憶部から、前記ユーザ情報取得部が取得した前記ユーザの位置及び前記視認方向に対応する前記空間構造データを取得する構造データ取得部と、
前記構造データ取得部によって取得された前記空間構造データと、前記視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部と、
前記衝突領域推定部が推定した前記衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部と、を備え、
前記現実空間における位置情報の入力を受付け、前記３次元ヒートマップに基づいて、前記位置情報に対応する領域の注目度合いに応じた価値に関する情報である価値情報を特定し、特定した前記価値情報を出力する出力部を更に備え、
前記ヒートマップ生成部は、前記衝突領域及び前記視認方向に基づいて、前記各領域について視認される方向毎の前記３次元ヒートマップを生成し、
前記出力部は、前記現実空間において前記位置情報に対応する領域について視認される方向の情報である方向情報の入力を更に受付け、入力された前記位置情報及び前記方向情報に対応する前記３次元ヒートマップの情報に基づいて、前記価値情報を出力する、情報処理システム。

【請求項2】

前記ユーザ情報取得部は、
前記ユーザが携帯する端末が撮像した撮像画像を更に取得し、
前記ユーザの位置から前記撮像画像の光学中心に対応する領域に至る方向を前記視認方向として取得する、請求項１に記載の情報処理システム。

【請求項3】

前記ヒートマップ生成部は、前記衝突領域が推定された環境に応じて前記注目度合いを重み付けして前記３次元ヒートマップを生成する、請求項１又は２に記載の情報処理システム。

【請求項4】

前記ヒートマップ生成部は、前記視認方向の推定方法に応じて前記注目度合いを重み付けする、請求項３に記載の情報処理システム。

【請求項5】

前記ヒートマップ生成部は、前記仮想空間において前記ユーザの位置と前記衝突領域との距離に応じて前記注目度合いを重み付けする、請求項３又は４に記載の情報処理システム。

【請求項6】

前記ユーザ情報取得部は、前記ユーザの識別情報を更に取得し、
前記ヒートマップ生成部は、前記識別情報に応じて前記注目度合いを重み付けする、請求項３～５のいずれか一項に記載の情報処理システム。

【請求項7】

前記ユーザ情報取得部は、前記ユーザの生体情報を更に取得し、
前記ヒートマップ生成部は、前記生体情報に応じて前記注目度合いを重み付けする、請求項３～６のいずれか一項に記載の情報処理システム。

【請求項8】

前記記憶部は、前記空間構造データについて、前記空間構造データに対応する前記オブジェクトを示すオブジェクト情報を記憶しており、
前記ヒートマップ生成部は、前記衝突領域及び前記オブジェクト情報に基づいて、前記衝突領域に対応する前記オブジェクトの注目度合いを示す前記３次元ヒートマップを生成する、請求項１～７のいずれか一項に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システムに関する。

【背景技術】

【0002】

近年、ＡＲ（Augmented Reality：拡張現実）を用いて、現実空間に仮想的なオブジェクトを表示する技術が注目されている。今後ＡＲ技術が更に発展していくと、街中のあらゆる空間が情報（仮想的なオブジェクト）の置場となり、仮想的なオブジェクトを広告に用いるバーチャル広告等の市場が盛り上がることが予想される。仮想的なオブジェクトを広告として用いる場合、例えば、空間に対するユーザの注目度（空間が有する価値）に応じて、各空間に仮想的なオブジェクトを表示する料金（広告料金）を決定することが考えられる。空間に対するユーザの注目度は、例えば特許文献１に示されるゴーグル型表示装置等によって検出されるユーザの視線位置に基づいて推定することが考えられる。この場合、ユーザに頻繁に視認される方向の空間ほど、ユーザの注目度が高く且つ価値が高いと判断される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－４７９１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された技術では、ユーザが視認する方向までは把握できるものの、ユーザが視認する方向の先、すなわち現実空間においてユーザがどこの領域に注目しているのかまでは把握することができない。このように、従来、ユーザがどこの領域（空間）に注目しており、どの空間の価値が高いのかを適切に把握することができていなかった。

【0005】

本開示は上記実情に鑑みてなされたものであり、空間が有する価値を適切に把握することができる情報処理システムに関する。

【課題を解決するための手段】

【0006】

本開示の一側面に係る情報処理システムは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部と、ユーザの位置、及びユーザが視認する視認方向を取得するユーザ情報取得部と、記憶部から、ユーザ情報取得部が取得したユーザの位置及び視認方向に対応する空間構造データを取得する構造データ取得部と、構造データ取得部によって取得された空間構造データと、視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部と、衝突領域推定部が推定した衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部と、を備える。

【0007】

この情報処理システムでは、ユーザの位置、及び視認方向に基づいて、ユーザの位置及び視認方向に対応する空間構造データが取得される。そして、空間構造データと視認方向とが衝突する衝突領域が推定される。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す。このように、現実空間のオブジェクトの位置及び形状に対応した空間構造データと、視認方向とが衝突する衝突領域が推定されることにより、ユーザの視認方向のみならず、ユーザの視認方向の先、言い換えれば、空間においてユーザが注目している領域が確実に把握される。そして、衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップが生成されることにより、空間においてユーザが注目している領域が視覚化され、各領域（空間）の注目度合いに応じた価値を適切に把握することができる。以上のように、この情報処理システムによれば、空間が有する価値を適切に把握することができる。

【発明の効果】

【0008】

本開示によれば、空間が有する価値を適切に把握することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態に係る情報処理システムの概要を説明する図である。

【図2】図２は、本実施形態に係る情報処理システムの機能構成を示すブロック図である。

【図3】図３は、ユーザの視認方向の推定方法について説明する図である。

【図4】図４は、３次元ヒートマップの一例について説明する図である。

【図5】図５は、空間構造データとユーザの視認方向との衝突領域について説明する図である。

【図6】図６は、本実施形態に係る情報処理システムが行う処理を示すフローチャートである。

【図7】図７は、本実施形態に係る情報処理システムに含まれる位置測位サーバ、空間構造サーバ、及び通信端末のハードウェア構成を示す図である。

【図8】図８は、変形例に係る情報処理システムの機能構成を示すブロック図である。

【図9】図９は、変形例に係る情報処理システムが行う処理を示すフローチャートである。

【図10】図１０は、変形例に係る３次元ヒートマップの一例について説明する図である。

【図11】図１１は、変形例に係る３次元ヒートマップの一例について説明する図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら本開示の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

【0011】

図１及び図２に示される情報処理システム１は、３次元ヒートマップを生成するシステムである。３次元ヒートマップは、３次元の現実空間において区画された複数の区画領域のそれぞれ（３次元の空間の各領域）の注目度合いを示すマップである。３次元ヒートマップの詳細については後述する。情報処理システム１は、位置測位サーバ１０と、空間構造サーバ３０と、ユーザが携帯する通信端末（端末）５０と、を備えている。

【0012】

情報処理システム１では、通信端末５０が撮像した撮像画像を位置測位サーバ１０に送信する。図１に示される例では、通信端末５０において撮像された撮像画像として、建物Ｂの画像（撮像画像）Ｐ１が示されている。位置測位サーバ１０は、通信端末５０において撮像された撮像画像に基づいてグローバル位置情報を取得し、グローバル位置情報を通信端末５０に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報（絶対的な位置情報）である。グローバル位置情報には、例えば、位置、方向及び傾きの情報が含まれている。グローバル位置情報は、あらかじめ生成されて位置測位サーバ１０に記憶されている。グローバル位置情報の詳細については後述する。

【0013】

通信端末５０は、位置測位サーバ１０からグローバル位置情報を取得することにより、通信端末５０の位置を推定する（取得する）。そして、通信端末５０は、取得したグローバル位置情報を空間構造サーバ３０に送信する。空間構造サーバ３０は、グローバル位置情報に応じた空間構造データを取得し、グローバル位置情報に応じた空間構造データを通信端末５０に送信する。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータである（詳細は後述）。空間構造データは、あらかじめ生成されて空間構造サーバ３０に記憶されている。

【0014】

図１に示される例では、画像Ｐ１に表示された建物Ｂが現実空間のオブジェクトである。したがって、建物Ｂに対応する空間構造データＤには、３次元の仮想空間に表された建物Ｂのオブジェクトの形状が表されている。

【0015】

また、通信端末５０は、撮像画像に基づいて、ユーザの視認方向を推定する（取得する）。ユーザの視認方向とは、現実空間においてユーザが視認する方向である。なお、図１及び図２に示される通信端末５０の数は１台であるが、通信端末５０の数は複数であってもよい。

【0016】

そして、通信端末５０は、空間構造サーバ３０から空間構造データを取得し、空間構造データとユーザの視認方向とが衝突する衝突領域を推定することによって、３次元ヒートマップを生成する。

【0017】

図１に示される例では、ユーザは、建物Ｂの正面における中央付近の方向を視認している（図３参照）。このため、ユーザから建物Ｂの正面における中央付近に向かう方向がユーザの視認方向となる。なお、視認方向の推定方法等、視認方向の詳細については後述する。

【0018】

図１及び図３に示される例では、空間構造データとユーザの視認方向とが衝突する衝突領域は、建物Ｂの正面における中央付近となる。その結果、図４に示されるように、３次元の空間のうち建物Ｂの正面における中央において注目度合いが高い３次元ヒートマップ５Ｂが生成される。以上の処理により、情報処理システム１では、３次元ヒートマップが生成される。

【0019】

ここで、図２を参照して、位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０の機能的な構成要素について説明する。位置測位サーバ１０は、機能的な構成要素として、記憶部１１と、測位部１２と、を有している。

【0020】

記憶部１１は、マップデータ１００を記憶している。マップデータ１００では、予め取得された撮像画像に含まれる特徴点の特徴量（例えば、輝度方向ベクトル）と、特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられている。マップデータ１００は、例えば、３Ｄポイントクラウドである。マップデータ１００は、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ（図示省略）等によって予め撮像され、大量の撮像画像に基づいて生成される。特徴点とは、画像中において際立って検出される点であって、例えば、他の領域と比べて輝度（強度）が大きい（又は小さい）点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であって、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。

【0021】

記憶部１１は、マップデータ１００の特徴点のグローバル位置情報として３次元の位置情報を記憶している。記憶部１１は、特徴点の３次元のグローバル位置情報として、例えば、特徴点の緯度、経度及び高さを記憶している。なお、記憶部１１は、マップデータ１００についてグローバル位置情報に応じて一定の領域毎に分割された複数の分割マップデータを記憶していてもよい。

【0022】

測位部１２は、通信端末５０において撮像された撮像画像と、記憶部１１に記憶されているマップデータ１００とに基づいて、通信端末５０における撮像時の通信端末５０のグローバル位置情報（３次元の位置情報）を推定する。具体的には、測位部１２は、マップデータ１００の特徴点と、通信端末５０において撮像された撮像画像の特徴点とのマッチングを行い、撮像された撮像画像に対応するマップデータ１００の領域を特定する。そして、測位部１２は、特定した領域に係るマップデータ１００の特徴点に関連付けられたグローバル位置情報に基づいて、撮像画像の撮像位置（すなわち、撮像時における通信端末５０のグローバル位置情報）を推定する。測位部１２は、測位結果を通信端末５０に送信する。

【0023】

なお、測位結果には、グローバル位置情報に加えて撮像画像から推定される方向（ロール、ピッチ、ヨーの３次元座標中の方向）に関する情報が含まれていてもよい。また、測位部１２は、通信端末５０において一定の周期で撮像された撮像画像に基づいてグローバル位置情報を取得してもよいし、通信端末５０からの指示を受けたタイミングで撮像された撮像画像に基づいてグローバル位置情報を取得してもよい。

【0024】

空間構造サーバ３０は、通信端末５０から送信されたグローバル位置情報に基づいて、グローバル位置情報に応じた空間構造データを特定する。そして、空間構造サーバ３０は、特定した空間構造データを通信端末５０に送信する。空間構造サーバ３０は、記憶部３１と、特定部３２とを有する。記憶部３１は、グローバル位置情報と空間構造データとが対応付けられたデータ３００を記憶している。特定部３２は、通信端末５０から送信されたグローバル位置情報と、記憶部３１に記憶されているデータ３００とに基づいて、通信端末５０のグローバル位置情報に応じた空間構造データを特定する。そして、特定部３２は、特定した空間構造データを通信端末５０に送信する。

【0025】

通信端末５０は、例えば、無線通信を行うよう構成された端末である。通信端末５０は、例えば、スマートフォン、タブレット型端末、ＰＣ、ゴーグル型のウェアラブル機器等である。通信端末５０は、３次元ヒートマップを生成し、３次元ヒートマップを記憶する。

【0026】

通信端末５０では、例えばアプリケーションが実行されると、実装されたカメラによる撮像が実施される。そして、通信端末５０は、撮像された撮像画像に応じて位置測位サーバ１０からグローバル位置情報を取得し、当該グローバル位置情報に基づいて、空間構造サーバ３０、或いは通信端末５０が有する記憶媒体から、空間構造データを取得する。そして、通信端末５０は、端末のユーザの視認方向を推定し（取得し）、当該視認方向と空間構造データとが衝突する衝突領域を推定し、当該衝突領域に基づいて３次元ヒートマップを生成する。通信端末５０は、記憶部５１と、ユーザ情報取得部５２と、構造データ取得部５３と、衝突領域推定部５４と、ヒートマップ生成部５５と、を備えている。

【0027】

記憶部５１は、情報処理システム１で実施される種々の処理に用いられる情報を記憶している。具体的には、記憶部５１は、通信端末５０が有するカメラによって撮像された撮像画像、位置測位サーバ１０から取得したグローバル位置情報、ユーザの視認方向の情報、及び３次元ヒートマップ等を記憶している。撮像画像は、例えば、３次元ヒートマップの生成のためのアプリケーションの実行が開始されたタイミングで、通信端末５０のカメラによる撮像によって取得される。取得された撮像画像は、記憶部５１に格納され、位置測位サーバ１０によるグローバル位置情報の推定、ユーザの視認方向の推定等に用いられる。

【0028】

ユーザ情報取得部５２は、ユーザに関する情報を取得する。具体的には、ユーザ情報取得部５２は、ユーザに関する情報として、ユーザの位置及び視認方向を取得する（推定する）。

【0029】

本実施形態では、ユーザ情報取得部５２は、撮像画像を位置測位サーバ１０に送信し、位置測位サーバ１０から撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報に基づいてユーザの位置を推定する。また、本実施形態では、ユーザ情報取得部５２は、通信端末５０のカメラが撮像した（以下、「通信端末５０が撮像した」という）撮像画像を取得し、当該撮像画像に基づいて、視認方向を推定する。

【0030】

視認方向の推定方法には、以下の３つの推定方法が含まれる。以下、当該３つの推定方法について、図３に示される例を用いて説明する。図３に示される通信端末５０は、ゴーグル型のウェアラブル機器であって、ユーザに装着されている。ユーザは、現実空間において建物Ｂにおける右側中央付近を視認している。

【0031】

１つ目の推定方法である第１推定方法は、撮像画像の領域に基づいた方法である。具体的には、ユーザ情報取得部５２は、ユーザの位置から撮像画像の領域に至る方向を視認方向として推定する。図３に示される例では、ユーザ情報取得部５２は、ユーザの位置から画像Ｐ１の領域（建物Ｂの正面における中央付近の領域）に至る方向を、視認方向として推定する。つまり、第１推定方法におけるユーザの視認方向は、点状の狭い領域ではなく、撮像画像の領域全体をユーザが捉えているものと仮定して推定される。

【0032】

２つ目の推定方法である第２推定方法は、撮像画像の光学中心に対応する領域である光学中心領域に基づいた方法である。具体的には、ユーザ情報取得部５２は、ユーザの位置から光学中心領域に至る方向を視認方向として推定する。図３に示される例では、ユーザ情報取得部５２は、ユーザの位置から画像Ｐ１の光学中心領域Ｃに至る方向を視認方向として推定する。

【0033】

３つ目の推定方法である第３推定方法は、ユーザの注視点に対応する領域に基づいた方法である。通信端末５０が、例えばゴーグル型のウェアラブル機器等であって、ユーザの視線情報を取得可能に構成されている場合には、ユーザの注視点を特定することができる。その場合、ユーザ情報取得部５２は、ユーザの位置からユーザの注視点に至る方向を視認方向として推定する。図３に示される例では、ユーザ情報取得部５２は、ユーザの位置からユーザの注視点Ｓに至る方向を視認方向として推定する。以上のように、視認方向とは、通信端末５０から得られる情報に基づいて、ユーザが視認していると推測される方向のことを意味する。

【0034】

構造データ取得部５３は、記憶部５１から、ユーザ情報取得部５２が推定した（取得した）ユーザの位置及び視認方向に対応する空間構造データを取得する。ここで、空間構造データについて詳細に説明する。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータである。空間構造データは、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表すデータである。例えば、現実空間においてある屋外の場所に複数の建物（複数のオブジェクト）が存在するとする。その場合、当該屋外の場所（現実空間）に対応する仮想空間の構造データには、地面のオブジェクト、及び当該屋外の場所と同じ位置に配置された複数の建物のオブジェクトが表されている。また、例えば、現実空間のある屋内の場所に椅子が存在するとする。その場合、当該屋内の場所（現実空間）に対応する仮想空間の構造データには、当該屋内の場所と同じ位置に配置された壁のオブジェクト、床のオブジェクト、天井のオブジェクト、及び椅子のオブジェクトが表されている。つまり、空間構造データにおけるオブジェクトは、現実空間におけるオブジェクトとリンクしている。なお、空間構造データは、静的なオブジェクト（基本的に動かないオブジェクト）のみの形状を表すデータであってもよい。また、空間構造データのオブジェクトには、現実空間におけるオブジェクトとリンクしていないオブジェクトが含まれていてもよい。

【0035】

構造データ取得部５３は、ユーザの位置及び視認方向に対応する空間構造データが記憶部５１に記憶されている場合には、記憶部５１から当該空間構造データを取得する。一方、構造データ取得部５３は、ユーザの位置及び視認方向に対応する空間構造データが記憶部５１に記憶されていない場合には、空間構造サーバ３０の記憶部３１から空間構造データを取得する。

【0036】

衝突領域推定部５４は、構造データ取得部５３によって取得された空間構造データと、ユーザの視認方向とが衝突する３次元の衝突領域を推定する。衝突領域とは、空間構造データに表された３次元の仮想空間において、現実空間のユーザ（すなわち、通信端末５０）の位置に対応する位置にユーザ（通信端末５０）が存在すると仮定した場合に、空間構造データと、ユーザの視認方向とが衝突する３次元の領域である。具体的には、衝突領域とは、当該仮想空間において、ユーザ（通信端末５０）の位置から空間構造データのオブジェクトに向かって直線を引いた際に、当該直線と最初に交差する仮想空間のオブジェクトの領域を意味する。言い換えれば、衝突領域とは、当該仮想空間において、ユーザ（通信端末５０）の位置から仮想空間の一のオブジェクトまで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずに当該一のオブジェクトと交差する領域を意味する。

【0037】

ここで、衝突領域の推定方法について、図５に示される具体例を用いて説明する。図５は、空間構造データに表された３次元の仮想空間Ｄ１と、通信端末５０との位置関係を仮想的に表した平面図である。空間構造データには、仮想空間上の位置において複数のオブジェクトＸ１、オブジェクトＸ２、オブジェクトＸ３、及びオブジェクトＸ４の形状が表されている。各オブジェクトＸ１～Ｘ４は、現実空間の各オブジェクトが３次元の仮想空間Ｄ１に表されたオブジェクトである。

【0038】

通信端末５０は、各オブジェクトＸ１～Ｘ４に対応する現実空間における各オブジェクトを撮像しており、通信端末５０と現実空間における各オブジェクトとの位置関係は、図５と同様となっている。通信端末５０の撮像対象範囲５Ａは、例えば、通信端末５０のカメラの光学中心を頂点として各オブジェクトに向かって錐体状に広がっている。

【0039】

衝突領域推定部５４は、ユーザ情報取得部５２によって推定されたユーザの位置、視認方向、及び通信端末５０の画角等の内部パラメータに基づいて、現実空間の通信端末５０の位置に対応する仮想空間Ｄ１の位置を推定する。そして、衝突領域推定部５４は、視認方向に向かって、仮想空間Ｄ１の当該位置に通信端末５０が位置していると仮定して、以下のように衝突領域を推定する。すなわち、衝突領域推定部５４は、仮想空間Ｄ１において、空間構造データと、視認方向とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、視認方向における原点から直線を引いた際に、当該直線と最初に交差する仮想空間Ｄ１のオブジェクトＸ１～Ｘ４の領域を衝突領域として推定する。

【0040】

ここで、衝突領域は、視認方向の推定方法に応じて推定される。まず、衝突領域推定部５４は、空間構造データと、第１推定方法によって推定された視認領域とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、各オブジェクトＸ１～Ｘ４における通信端末５０側の面と、撮像画像の領域とが重なる領域である衝突領域Ｒ１を推定する。

【0041】

上記第１推定方法による衝突領域の推定に加えて（或いは、上記第１推定方法による衝突領域に推定に替えて）、衝突領域推定部５４は、空間構造データと、第２推定方法によって推定された視認領域とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、図５に示されるように、オブジェクトＸ１における通信端末５０側の面と、光学中心領域Ｃとが重なる領域である衝突点（衝突領域）Ｒ２を推定する。

【0042】

上記第１推定方法及び上記第２推定方法による衝突領域の推定に加えて（或いはこれらの推定方法による衝突領域の推定に替えて）、通信端末５０がユーザの視線情報を取得可能に構成されている場合、衝突領域推定部５４は、空間構造データと、第３推定方法によって推定された視認領域とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、図５に示されるように、オブジェクトＸ４における通信端末５０側の面と、ユーザの注視点Ｓとが重なる領域である衝突点（衝突領域）Ｒ３を推定する。

【0043】

例えば、衝突領域Ｒ１は、当該仮想空間において、ユーザ（通信端末５０）の位置から各オブジェクトＸ１～Ｘ４まで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずに各オブジェクトＸ１～Ｘ４と交差する領域である。一方、図５に示される領域Ｒ４は、オブジェクトＸ４における通信端末５０側の表面の領域であって、撮像対象範囲５Ａに含まれているが、衝突領域とはならない。これは、ユーザの位置からオブジェクトＸ４まで直線を引いた場合に、当該直線が他のオブジェクトＸ３によって遮られるためである。以上のように、衝突領域推定部５４は、各視認方向の推定方法に応じた衝突領域を推定する。

【0044】

ヒートマップ生成部５５は、衝突領域推定部５４が推定した衝突領域に基づいて３次元ヒートマップを生成する。本実施形態の３次元ヒートマップは、通信端末５０周辺の空間に対してユーザが何処をどれだけ注目しているのかが視覚化されたマップである。一例として、３次元ヒートマップでは、注目度合いが高い領域は赤く表示され、注目度合いが低い領域は青く表示される等、色等によって注目度合いが表現される。ここで、現実空間のオブジェクトと、現実空間におけるユーザの視認方向とが衝突する領域は、ユーザが注目している領域といえる。そこで、通信端末５０では、現実空間のオブジェクトに対応する空間構造データと、ユーザの視認方向とが衝突する衝突領域を推定することによって、３次元ヒートマップを生成する。３次元ヒートマップは、空間構造データにおける仮想空間に対応する３次元の空間において区画された複数の区画領域のそれぞれの注目度合いを示す。ヒートマップ生成部５５は、通信端末５０から３次元ヒートマップを集約する処理を繰り返す。これにより、３次元ヒートマップを参照することによって、所定の３次元の空間に対する一又は複数のユーザの注目度合いが把握される。

【0045】

ヒートマップ生成部５５は、衝突領域が推定された環境に応じて注目度合いを重み付けして３次元ヒートマップを生成する。本実施形態では、ヒートマップ生成部５５は、視認方向の推定方法に応じて注目度合いを重み付けする。

【0046】

ユーザの視認方向の各推定方法の信頼度は、第３推定方法（撮像画像の領域に基づいた推定方法）、第２推定方法（撮像画像の光学中心領域に基づいた推定方法）、及び第１推定方法（ユーザの注視点に基づいた推定方法）の順に高いと一般的に考えられる。これは、ユーザが実際に視認している領域である可能性は、ユーザの注視点、光学中心領域、撮像画像の領域（光学中心領域も含むより広い領域）の順に高いと考えられるためである。ヒートマップ生成部５５は、３次元ヒートマップにおいて、第２推定方法に基づいて推定された衝突領域に対応する区画領域について、第１推定方法に基づいて推定された衝突領域に対応する区画領域よりも注目度合いを重く（高く）重み付けする。また、ヒートマップ生成部５５は、３次元ヒートマップにおいて、第３推定方法に基づいて推定された衝突領域に対応する区画領域について、第２推定方法に基づいて推定された衝突領域に対応する区画領域よりも注目度合いを重く（高く）重み付けする。

【0047】

図４に示される３次元ヒートマップ５Ｂの例では、画像Ｐ１の領域に基づいた衝突領域及び光学中心領域Ｃに基づいた衝突点に加え、ユーザの注視点Ｓに基づいた衝突点が推定されている（図３参照）。したがって、ヒートマップ生成部５５は、光学中心領域Ｃに基づいた衝突領域に対応する区画領域Ｗ２の注目度合いを、画像Ｐ１の領域に基づいた衝突領域に対応する区画領域Ｗ１の注目度合いよりも重く重み付けする。そして、ヒートマップ生成部５５は、ユーザの注視点Ｓに基づいた衝突領域に対応する区画領域Ｗ３の注目度合いを、光学中心領域Ｃに基づいた衝突領域に対応する区画領域Ｗ２の注目度合いよりも重く重み付けする。このようにして、ヒートマップ生成部５５は、３次元ヒートマップを生成する。

【0048】

そして、ヒートマップ生成部５５は、生成した３次元ヒートマップを、記憶部５１に格納する。本実施形態では、ヒートマップ生成部５５は、例えば、撮像画像が取得される度に３次元ヒートマップを生成し、記憶部５１に３次元ヒートマップを格納する処理を繰り返すことにより、通信端末５０周辺の空間に対する一又は複数のユーザの注目度合いが集約された３次元ヒートマップを随時更新する。そして、ヒートマップ生成部５５は、例えば、アプリケーションの表示処理が実行されると、通信端末５０の画面に３次元ヒートマップ５Ｂを表示する（図４参照）。

【0049】

次に、本実施形態に係る情報処理システム１が行う処理、具体的には３次元ヒートマップの生成に係る処理について、図６を参照して説明する。図６は、情報処理システム１が行う処理を示すフローチャートである。

【0050】

図６に示されるように、情報処理システム１では、通信端末５０において、ユーザの位置、及びユーザが視認する視認方向が推定される（取得される）（ステップＳ１１）。具体的には、通信端末５０は、通信端末５０が撮像した撮像画像を取得し、ユーザの位置から撮像画像の領域に至る方向、及びユーザの位置から撮像画像の光学中心領域に至る方向を視認方向として取得する。

【0051】

続いて、通信端末５０において、ステップＳ１１で推定されたユーザの位置及び視認方向に対応する空間構造データを記憶部５１が保有しているか否かが判定される（ステップＳ１２）。記憶部５１が空間構造データを保有していると判定された場合（ステップＳ１２：ＹＥＳ）、通信端末５０において、記憶部５１から空間構造データがロードされる（ステップＳ１３）。一方、ステップＳ１１にて推定されたユーザの位置及び視認方向に対応する空間構造データを記憶部５１が保有していないと判定された場合（ステップＳ１２：ＮＯ）、通信端末５０において、空間構造サーバ３０から、空間構造データが取得される（ステップＳ１４）。

【0052】

続いて、通信端末５０において、空間構造データと、視認方向とが衝突する３次元の衝突領域及び第１衝突点が推定される（ステップＳ１５）。すなわち、まず、通信端末５０は、通信端末５０の記憶部５１、或いは空間構造サーバ３０の記憶部３１から、ユーザ情報取得部５２が取得した位置及び視認方向に対応する空間構造データを取得する。そして、通信端末５０は、空間構造データと撮像画像の領域に基づいて推定された視認領域とが衝突する衝突領域、及び空間構造データと光学中心領域に基づいて推定された視認領域とが衝突する第１衝突点を推定する。

【0053】

続いて、通信端末５０において、ユーザの注視点が特定できるか否かが判定される（ステップＳ１６）。例えば、通信端末５０がユーザの注視点を特定可能に構成されたウェアラブル機器である場合等、ユーザの注視点が特定できると判定された場合（ステップＳ１６：ＹＥＳ）、通信端末５０において、第２衝突点が推定される（ステップＳ１７）。第２衝突点は、空間構造データとユーザの注視点に基づいて推定された視認領域とが衝突する衝突領域である。一方、ユーザの注視点が特定できないと判定された場合（ステップＳ１６：ＮＯ）、処理がＳ１８に進む。

【0054】

続いて、通信端末５０において、３次元ヒートマップが生成される（ステップＳ１８）。３次元ヒートマップは、ステップＳ１７にて第２衝突点が推定された場合には、ステップＳ１５にて推定された衝突領域及び第１衝突点、並びに当該第２衝突点に基づいて生成され、第２衝突点が推定されない場合には、衝突領域及び第１衝突点に基づいて生成される。最後に、通信端末５０において、ステップＳ１８にて生成された３次元ヒートマップが記憶される（ステップＳ１９）。

【0055】

次に、本実施形態に係る情報処理システム１の作用効果について説明する。

【0056】

本実施形態に係る情報処理システム１では、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部５１と、ユーザの位置、及びユーザが視認する視認方向を取得するユーザ情報取得部５２と、記憶部５１から、ユーザ情報取得部５２が取得したユーザの位置及び視認方向に対応する空間構造データを取得する構造データ取得部５３と、構造データ取得部５３によって取得された空間構造データと、視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部５４と、衝突領域推定部５４が推定した衝突領域に基づいて、３次元の空間の各区画領域（３次元の空間の各領域）の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部５５と、を備えている。

【0057】

本実施形態に係る情報処理システム１では、ユーザの位置、及び視認方向に基づいて、ユーザの位置及び視認方向に対応する空間構造データが取得される。そして、空間構造データと視認方向とが衝突する衝突領域が推定される。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す。このように、現実空間のオブジェクトの位置及び形状に対応した空間構造データと、視認方向とが衝突する衝突領域が推定されることにより、ユーザの視認方向のみならず、ユーザの視認方向の先、言い換えれば、空間においてユーザが注目している領域が確実に把握される。そして、衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップが生成されることにより、空間においてユーザが注目している領域が視覚化され、各領域（空間）の注目度合いに応じた価値を適切に把握することができる。以上のように、情報処理システム１によれば、空間が有する価値を適切に把握することができる。また、情報処理システム１では、予め記憶された空間構造データが用いられて衝突領域が推定されるので、処理負荷を軽減することができるという技術的効果を奏する。

【0058】

ユーザ情報取得部５２は、ユーザが携帯する通信端末５０が撮像した撮像画像を取得し、ユーザの位置から撮像画像の光学中心に対応する領域に至る方向を視認方向として取得する。撮像画像の光学中心に対応する領域は、実際にユーザが視認する領域に対応する確率が高い。そのような当該領域が視認方向として特定されるため、ユーザの注目度合いを精度よく表した３次元ヒートマップを生成することができる。

【0059】

特に、本実施形態では、ユーザ情報取得部５２は、ユーザの位置から撮像画像の領域に至る方向、ユーザの位置から撮像画像の光学中心に対応する領域に至る方向、及びユーザの位置からユーザの注視点に至る方向を視認方向として取得する。これにより、ユーザの注目度合いをより一層精度よく表した３次元ヒートマップを生成することができる。

【0060】

ヒートマップ生成部５５は、衝突領域が推定された環境に応じて注目度合いを重み付けして３次元ヒートマップを生成する。これにより、ユーザの注目度合いがより適切に反映された３次元ヒートマップが生成されるため、信頼性をもってユーザの注目度合いを視覚化することができる。

【0061】

特に、ヒートマップ生成部５５は、視認方向の推定方法に応じて注目度合いを重み付けする。これにより、例えば、視認方向が撮像画像の光学中心である場合には、当該視認方向が実際のユーザの視点を表している確率が高いと判断して注目度合いの重み付けを重く重み付けする等、ユーザの視認方向の情報元の信頼度が反映されて３次元ヒートマップが生成される。その結果、信頼性を持ってユーザの注目度合いを視覚化することができる。

【0062】

特に、本実施形態では、ヒートマップ生成部５５は、３次元ヒートマップにおいて、光学中心領域に基づいた衝突領域に対応する区画領域の注目度合いを、撮像画像の領域に基づいた衝突領域に対応する複数の区画領域の注目度合いよりも重く重み付けする。そして、ヒートマップ生成部５５は、ユーザの注視点に基づいた衝突領域に対応する区画領域の注目度合いを、光学中心領域に基づいた衝突領域に対応する区画領域の注目度合いよりも重く重み付けする。これにより、ユーザの視認方向の情報元の信頼度を確実に反映して３次元ヒートマップを生成することができる。

【0063】

次に、情報処理システム１に含まれた位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０のハードウェア構成について、図７を参照して説明する。上述の位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0064】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0065】

位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0066】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、位置測位サーバ１０の測位部１２等の制御機能はプロセッサ１００１で実現されてもよい。

【0067】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。

【0068】

例えば、位置測位サーバ１０の測位部１２等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0069】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0070】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0071】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0072】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0073】

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0074】

また、位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0075】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0076】

例えば、情報処理システム１は、位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０を含んで構成されているとして説明したが、これに限定されず、情報処理システム１の各機能が、通信端末５０のみによって実現されてもよい。

【0077】

また、本実施形態では、通信端末５０が、記憶部５１と、ユーザ情報取得部５２と、構造データ取得部５３と、衝突領域推定部５４と、ヒートマップ生成部５５と、を備えている構成を例示した。しかしながら、情報処理システム１では、例えば、サーバが各機能的構成要素を備えていてもよい。

【0078】

図８に示される情報処理システム１は、ヒートマップサーバ７を更に備えている。ヒートマップサーバ７は、記憶部７１と、ユーザ情報取得部７２と、構造データ取得部７３と、衝突領域推定部７４と、ヒートマップ生成部７５と、を備えている。記憶部７１、ユーザ情報取得部７２、構造データ取得部７３、衝突領域推定部７４、及びヒートマップ生成部７５の基本的な機能的構成は、上記実施形態の記憶部５１、ユーザ情報取得部５２、構造データ取得部５３、衝突領域推定部５４、及びヒートマップ生成部５５と同様である。以下、本変形例の各構成要素について、上記実施形態との異なる点について説明する。

【0079】

記憶部７１は、通信端末５０が有する送信部５６から取得したユーザの位置の情報、及びユーザの視認方向の情報、並びに３次元ヒートマップ等を記憶している。送信部５６は、通信端末５０の記憶部５１に記憶されている各情報を外部に送信する機能的構成要素である。ユーザ情報取得部７２は、通信端末５０からユーザの位置及びユーザの視認方向を取得する。具体的には、ユーザ情報取得部７２は、撮像画像の領域に基づいた視認方向、及び撮像画像の光学中心領域に基づいた視認方向を取得する。また、ユーザ情報取得部７２は、通信端末５０がユーザの注視点を特定可能に構成されている場合には、ユーザの注視点に基づいた視認方向も取得する。構造データ取得部７３は、空間構造サーバ３０から、ユーザの位置及び視認方向に対応する空間構造データを取得する。

【0080】

衝突領域推定部７４は、衝突範囲及び第１衝突点を推定する。また、衝突領域推定部７４は、ユーザの注視点に基づいた視認方向をユーザ情報取得部５２が取得している場合、第２衝突点も推定する。ヒートマップ生成部７５は、生成した３次元ヒートマップを記憶部７１に格納する。ヒートマップ生成部７５は、例えば、通信端末５０のアプリケーションの表示処理が実行されると、通信端末５０に３次元ヒートマップを送信する。これにより、通信端末５０の画面に３次元ヒートマップが表示される（図４参照）。

【0081】

次に、本変形例に係る情報処理システム１が行う処理について、図９を参照して説明する。図９は、本変形例に係る情報処理システム１が行う処理を示すフローチャートである。

【0082】

図９に示されるように、情報処理システム１では、ヒートマップサーバ７において、ユーザの位置、及びユーザが視認する視認方向が取得される（ステップＳ２１）。具体的には、ヒートマップサーバ７は、通信端末５０から、グローバル位置情報に基づいたユーザの位置、撮像画像の領域に基づいた視認方向、及び撮像画像の光学中心領域に基づいた視認方向を取得する。また、ヒートマップサーバ７は、通信端末５０がユーザの注視点を特定可能に構成されている場合、通信端末５０から、ユーザの注視点に基づいた視認方向も取得する。

【0083】

続いて、ヒートマップサーバ７において、ステップＳ２１にて取得されたユーザの位置及び視認方向に対応する空間構造データがロードされる（ステップＳ２２）。続いて、ヒートマップサーバ７において、衝突領域及び第１衝突点が推定される（ステップＳ２３）。また、ステップＳ２１にてユーザの注視点に基づいた視認方向も取得されている場合、ヒートマップサーバ７において、第２衝突点も推定される。

【0084】

続いて、ヒートマップサーバ７において、ステップＳ２３にて推定された衝突領域、第１衝突点、及び第２衝突点（推定された場合に限る）に基づいて、３次元ヒートマップが生成される（ステップＳ２４）。最後に、ヒートマップサーバ７において、ステップＳ２４にて生成された３次元ヒートマップが記憶される（ステップＳ２５）。以上説明した本変形例に係る情報処理システム１でも、上記実施形態と同様の効果が奏される。

【0085】

また、上記実施形態では、ユーザ情報取得部５２は、視認方向の推定方法に応じて３次元ヒートマップの区画領域に対する注目度合いを重み付けした。しかしながら、注目度合いの重み付けは、衝突領域が推定された環境に応じて実施されればよい。注目度合いの重み付けは、例えば、視認方向の推定方法による条件の代わりに、或いは、視認方向の推定方法に応じた条件とともに、他の条件によって実施されてもよい。

【0086】

以下、注目度合いの重み付けの他の条件について説明する。ヒートマップ生成部５５は、仮想空間においてユーザの位置と衝突領域との距離に応じて注目度合いを重み付けしてもよい。例えば、室内にある椅子が現実空間のオブジェクトであって、ユーザが当該椅子に注目している場合には、ユーザとオブジェクトである椅子との距離が近い方が、ユーザがオブジェクトである椅子に対する注目度が高いと一般的にいえる。そこで、例えば、ヒートマップ生成部５５は、ユーザの位置と、衝突領域（第１衝突点及び第２衝突点を含む）との距離が近いほど、注目度合いを重く重み付けする。これにより、ユーザとユーザが注目する領域との位置関係に応じて３次元ヒートマップが生成されるため、信頼性を持ってユーザの注目度合いを視覚化することができる。

【0087】

なお、仮想空間においてユーザの位置と衝突領域との距離に応じた注目度合いの重み付けは、上述した例に限られない。例えば、海から当該海が見える展望台までが現実空間のオブジェクトである場合、展望台にいるユーザにおいては、木々、建物等のユーザの近くにあるオブジェクトに対する注目度よりも、海に対する注目度の方が高いと一般的にいえる。このように、現実空間においてユーザの位置とオブジェクトとが遠いほどオブジェクトに対するユーザの注目度合いが高くなると想定される場合、ヒートマップ生成部５５は、ユーザの位置と、衝突領域との距離が遠いほど、注目度合いを重く重み付けしてもよい。

【0088】

また、ユーザ情報取得部５２は、ユーザの識別情報を更に取得し、ヒートマップ生成部５５は、当該識別情報に応じて注目度合いを重み付けしてもよい。その場合、ヒートマップ生成部５５は、複数の通信端末５０から３次元ヒートマップを集約するものとする。ユーザ情報取得部５２は、通信端末５０のユーザが利用している外部のＳＮＳサービスのアカウント情報を取得する。アカウント情報には、ユーザのフォロワー（当該アカウントによる投稿を閲覧する他のユーザ）数が含まれている。ヒートマップ生成部５５は、ユーザのフォロワー数に基づいて、各区画領域の注目度合いを重み付けする。

【0089】

具体的には、ヒートマップ生成部５５は、フォロワー数が多いユーザが注目する区画領域ほど注目度合いを重く重み付けする。つまり、本変形例では、社会的影響力の強いユーザが注目する領域ほど注目度合いが高くなって、３次元ヒートマップが生成される。これにより、ユーザのステータスが加味されて３次元ヒートマップが生成されるため、信頼性を持ってユーザの注目度合いを視覚化することができる。なお、ユーザの識別情報は、ユーザのアカウント情報に特に限定されるものではなく、例えば、ユーザの収入であってもよい。その場合、ヒートマップ生成部５５は、例えば、高収入なユーザが注目する区画領域ほど注目度合いを重く重み付けする等、ユーザの収入に応じて注目度合いを重み付けしてもよい。また、ユーザの識別情報は、例えば、ユーザの職業の業種であってもよい。その場合、ヒートマップ生成部５５は、例えば、当該業種に応じて注目度合いを重み付けしてもよい。

【0090】

また、ユーザ情報取得部５２は、ユーザの生体情報を更に取得し、ヒートマップ生成部５５は、生体情報に応じて注目度合いを重み付けしてもよい。一例として、ユーザ情報取得部５２は、ユーザの生体情報としてユーザの心拍数情報を取得する。心拍数情報は、衝突領域が推定された時のユーザの心拍数の情報である。ヒートマップ生成部５５は、ユーザの心拍数情報に基づいて、各区画領域の注目度合いを重み付けする。具体的には、ヒートマップ生成部５５は、衝突領域が推定された時のユーザの心拍数が高いほど注目度合いを重く重み付けする。つまり、本変形例では、ユーザの心拍数が高いほどユーザが高揚している、言い換えればユーザが衝突領域をより注目していると推定されて、３次元ヒートマップが生成される。これにより、ユーザの生体反応が加味されて３次元ヒートマップが生成されるため、信頼性を持ってユーザの注目度合いを視覚化することができる。なお、ユーザの生体情報は、ユーザの心拍数情報に限定されるものではなく、例えば、脳波、脈波等であってもよい。これらの生体情報を用いることによっても、ユーザの生体反応が加味されて３次元ヒートマップが生成され、また、空間を注目しているユーザの空間に対する集中度合い、ストレス状態等を取得することができる。

【0091】

なお、ヒートマップ生成部５５は、各区画領域の重み付けをせずに３次元ヒートマップを生成してもよい。また、上記実施形態では、ユーザの視認方向は、撮像画像の領域、撮像画像の光学中心領域、及びユーザの注視点のそれぞれに基づいて取得された。しかしながら、ユーザの視認方向は、撮像画像の領域、撮像画像の光学中心領域、及びユーザの注視点のいずれか１つ又は２つに基づいて取得されてもよく、また、例えば、他の方法によって取得されてもよい。

【0092】

また、情報処理システム１は、出力部を更に備えていてもよい。出力部は、現実空間における位置情報の入力を受付け、３次元ヒートマップに基づいて、価値情報を特定し、特定した価値情報を出力する。価値情報は、位置情報に対応する領域の注目度合いに応じた価値に関する情報である。価値情報の一例としては、所定の領域にバーチャル広告を設置した場合にかかる広告の費用が挙げられる。これにより、簡易な方法で空間の価値を適切に把握することができる。

【0093】

また、ヒートマップ生成部５５は、衝突領域及び視認方向に基づいて、各領域について視認される方向毎の３次元ヒートマップを生成し、出力部は、現実空間において位置情報に対応する領域について視認される方向の情報である方向情報の入力を更に受付け、入力された位置情報及び方向情報に対応する３次元ヒートマップの情報に基づいて、価値情報を出力してもよい。例えば、交差点から離れた歩道から交差点付近の建物を見た場合の人の注目度合いと比較して、多くの人が立ち止まる交差点から当該建物を見た場合の人の注目度合いの方が高いと一般的にいえる。つまり、各区画領域に対する注目度合いは、方向に応じて異なってくる。そこで、本変形例におけるヒートマップ生成部５５は、衝突領域及びユーザの視認方向に基づいて、各領域について視認される方向毎の３次元ヒートマップを生成する。

【0094】

具体的には、ヒートマップ生成部５５は、例えば、図１０に示されるように、衝突領域及びユーザの視認方向に基づいて、区画領域Ｗ４について視認される方向（視認方向）Ｚ１、及び区画領域Ｗ４について視認され且つ方向Ｚ１とは異なる方向（視認方向）Ｚ２それぞれの３次元ヒートマップ５Ｃを生成する。一例として、方向Ｚ１は、南東の方位を示し、方向Ｚ２は、北東の方位を示す。

【0095】

出力部は、現実空間において区画領域Ｗ４に対応する領域の位置情報、及び当該領域について視認される方向として方向Ｚ１の方向情報の入力を受付けた場合、入力された位置情報、及び方向Ｚ１の方向情報に対応する３次元ヒートマップの情報に基づいて、方向Ｚ１から見た場合（すなわち、南東の方向から見た場合）の区画領域Ｗ４の価値情報を出力する。

【0096】

また、出力部は、現実空間において区画領域Ｗ４に対応する領域の位置情報、及び当該領域について視認される方向として方向Ｚ２の方向情報の入力を受付けた場合、出力部は、入力された位置情報、及び方向Ｚ２の方向情報に対応する３次元ヒートマップの情報に基づいて、方向Ｚ２から見た場合（すなわち、北東の方向から見た場合）の区画領域Ｗ４の価値情報を出力する。これにより、当該空間が注目される方向毎の空間の価値を適切に把握することができる。特に、本変形例による情報処理システム１によれば、例えば、現実空間のある領域において、当該領域がより注目される方向に向けて当該領域にバーチャル広告を表示する等、効果的なバーチャル広告の表示を促すことができる。

【0097】

なお、３次元ヒートマップにおける各領域において視認される方向と、方向情報の情報源であって位置情報に対応する領域について視認される方向とは、互いに異なるものであってもよい。例えば、ヒートマップ生成部５５が、方向Ｚ１及び方向Ｚ２それぞれの３次元ヒートマップ５Ｃを生成し、出力部が、現実空間において区画領域Ｗ４に対応する領域の位置情報及び当該領域について視認される方向として方向Ｚ３の方向情報の入力を受付けたとする。方向Ｚ３は、方向Ｚ１及び方向Ｚ２とは異なる方向であって、一例として、東の方位を示す。その場合、ヒートマップ生成部５５は、方向Ｚ１及び方向Ｚ２それぞれの３次元ヒートマップ５Ｃに基づいて、区画領域Ｗ４について視認される方向Ｚ３の注目度合いを推定し、方向Ｚ３の３次元ヒートマップを生成する処理である補間処理を実施する。補間処理の一例としては、すでに生成されており方向Ｚ３の最近傍である方向Ｚ１及び方向Ｚ２の３次元ヒートマップ５Ｃに基づいた線形補間が挙げられる。なお、補間処理の方法は、線形補間に限られるものではない。そして、出力部は、方向Ｚ３の方向情報に対応する３次元ヒートマップに基づいて、方向Ｚ３から見た場合（すなわち、東の方向から見た場合）の区画領域Ｗ４の価値情報を出力する。

【0098】

また、情報処理システム１は、３次元ヒートマップにおける各領域の注目度合いに基づいて、ユーザの視認エリアを推定する推定部を更に備えてもよい。ユーザの視認エリアは、例えば、現実空間においてユーザが視認している所定の領域である。これにより、ユーザの注視点等、ユーザの視線情報を取得可能に構成されたデバイス等を有していない端末においても、ユーザの視線を把握することができる。

【0099】

また、記憶部５１は、空間構造データについて、空間構造データに対応するオブジェクトを示すオブジェクト情報を記憶しており、ヒートマップ生成部５５は、衝突領域及びオブジェクト情報に基づいて、衝突領域に対応するオブジェクトの注目度合いを示す３次元ヒートマップを生成してもよい。

【0100】

図１１に示される例では、記憶部５１は、空間構造データについて、空間構造データに対応するオブジェクトＨ１を示すオブジェクト情報、及びオブジェクトＨ２を示すオブジェクト情報を記憶している。オブジェクトＨ１及びオブジェクトＨ２は、現実空間において美術館の展示室に展示されている絵画に対応するオブジェクトである。そして、ヒートマップ生成部５５は、衝突領域及び各オブジェクト情報に基づいて、衝突領域に対応するオブジェクトＨ１及びオブジェクトＨ２の注目度合いを示す３次元ヒートマップ５Ｄを生成する。

【0101】

具体的には、例えば、ヒートマップ生成部５５は、まず、各区画領域の注目度合いを示す３次元ヒートマップを生成する。そして、ヒートマップ生成部５５は、記憶部５１が記憶しているオブジェクトＨ１のオブジェクト情報、オブジェクトＨ２のオブジェクト情報、及び衝突領域に基づいて、オブジェクトＨ１に対応する区画領域Ｗ５をオブジェクトＨ１として認識し、オブジェクトＨ２に対応する区画領域Ｗ６をオブジェクトＨ２として認識する。そして、ヒートマップ生成部５５は、オブジェクトＨ１及びオブジェクトＨ２の注目度合いを示す３次元ヒートマップ５Ｄを生成する。これにより、３次元ヒートマップに基づいて、現実空間においてユーザが注目しているオブジェクトを把握することができる。

【0102】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0103】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0104】

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0105】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0106】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0107】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0108】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0109】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0110】

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0111】

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

【0112】

通信端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

【0113】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0114】

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0115】

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0116】

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

【0117】

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

【符号の説明】

【0118】

１…情報処理システム、５Ｂ，５Ｃ，５Ｄ…３次元ヒートマップ、５０…通信端末（端末）、５１，７１…記憶部、５２，７２…ユーザ情報取得部、５３，７３…構造データ取得部、５４，７４…衝突領域推定部、５５，７５…ヒートマップ生成部、Ｃ…光学中心領域（撮像画像の光学中心に対応する領域）、Ｄ…空間構造データ、Ｄ１…仮想空間、Ｈ１，Ｈ２…オブジェクト、Ｐ１…画像（撮像画像）、Ｒ１…衝突領域、Ｒ２，Ｒ３…衝突点（衝突領域）、Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６…区画領域（領域）、Ｚ１，Ｚ２…方向（視認方向）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】