特許 6306985 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6306985

(24)【登録日】2018年3月16日

(45)【発行日】2018年4月4日

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G01C 21/26 20060101AFI20180326BHJP

   G08G 1/005 20060101ALI20180326BHJP

   H04N 5/64 20060101ALI20180326BHJP

   G09B 29/10 20060101ALI20180326BHJP

   G02B 27/02 20060101ALI20180326BHJP

【ＦＩ】

   G01C21/26 P

   G08G1/005

   H04N5/64 511A

   G09B29/10 A

   G02B27/02 Z

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2014-173005(P2014-173005)

(22)【出願日】2014年8月27日

(65)【公開番号】特開2016-48192(P2016-48192A)

(43)【公開日】2016年4月7日

【審査請求日】2017年3月24日

(73)【特許権者】

【識別番号】500578216

【氏名又は名称】株式会社ゼンリンデータコム

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】田中 清貴

(72)【発明者】

【氏名】石川 和明

(72)【発明者】

【氏名】中西 紀子

(72)【発明者】

【氏名】上西 篤史

【審査官】 武市 匡紘

(56)【参考文献】

【文献】 特開２０１１−２２０８９９（ＪＰ，Ａ）

【文献】 特開２００２−２３８０８０（ＪＰ，Ａ）

【文献】 特開２００５−０３７１８１（ＪＰ，Ａ）

【文献】 特開２０１１−２０３９８４（ＪＰ，Ａ）

【文献】 特開２００５−３０９９４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／００−２１／３６

Ｇ０１Ｃ ２３／００−２５／００

Ｇ０８Ｇ １／００−９９／００

Ｇ０９Ｂ ２３／００−２９／１４

Ｇ０２Ｂ ２７／００−２７／６４

Ｈ０４Ｎ ５／６４−５／６５５

(57)【特許請求の範囲】

【請求項1】

ユーザの現在地情報を取得する現在地情報取得手段と、
ウェアラブルデバイスにより検知された前記ユーザの視線の方位角及び仰俯角の情報を取得する角度情報取得手段と、
前記現在地情報と、前記方位角及び仰俯角の情報と、道路の名称及び位置の情報を含む道路情報とを用いて、前記ユーザの視認対象の道路を特定し、当該道路についての名称の情報を前記道路情報から取得する注視点情報取得手段と
を備えた情報処理システム。

【請求項2】

前記注視点情報取得手段は、前記特定された道路における前記ユーザの推定注視点を特定し、当該推定注視点の位置に基づいて前記特定された道路ついての名称の情報を前記道路情報から取得する、請求項１に記載の情報処理システム。

【請求項3】

ユーザの現在地情報を取得する現在地情報取得ステップと、
ウェアラブルデバイスにより検知された前記ユーザの視線の方位角及び仰俯角の情報を取得する角度情報取得ステップと、
前記現在地情報と、前記方位角及び仰俯角の情報と、道路の名称及び位置の情報を含む道路情報とを用いて、前記ユーザの視認対象の道路を特定し、当該道路についての名称の情報を前記道路情報から取得する注視点情報取得ステップと
を備えた情報処理方法。

【請求項4】

コンピュータを、
ユーザの現在地情報を取得する現在地情報取得手段、
ウェアラブルデバイスにより検知された前記ユーザの視線の方位角及び仰俯角の情報を取得する角度情報取得手段、
前記現在地情報と、前記方位角及び仰俯角の情報と、道路の名称及び位置の情報を含む道路情報とを用いて、前記ユーザの視認対象の道路を特定し、当該道路についての名称の情報を前記道路情報から取得する注視点情報取得手段、
として機能させるためのプログラム。

【請求項5】

現在地情報と、センサにより検知された前記ユーザの視線の方位角及び仰俯角の情報とを取得し、前記現在地情報と、前記方位角及び仰俯角の情報と、道路の名称及び位置の情報を含む道路情報とを用いて、前記ユーザの視認対象の道路を特定し、前記道路の名称の情報を前記道路情報に基づいて表示するように構成される、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関する。

【背景技術】

【0002】

近年、様々なウェアラブルデバイスが開発されている。ウェアラブルデバイスとは、ユーザが身体（例えば、腕や頭部）に装着して利用することが想定されたデバイスである。例えば、特許文献１には頭部に装着する眼鏡型のウェアラブルデバイスについて開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−０８６９０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ウェアラブルデバイスは、ユーザの身体に装着されるため、ウェアラブルデバイスに備えるセンサを用いてユーザの動作を検知することも可能である。ウェアラブルデバイスのこのような特徴を利用した有益な機能を実現可能な技術が期待されている。

【0005】

本発明は上記に鑑みてなされたものであり、その目的は、検知されたユーザの動作についての情報を利用した有益な機能を実現可能な技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明に係る情報処理システムは、ユーザの現在地情報を取得する現在地情報取得手段と、ウェアラブルデバイスにより検知された前記ユーザの視線の方位角及び仰俯角の情報を取得する角度情報取得手段と、前記現在地情報と、前記方位角及び仰俯角の情報とを用いて、前記ユーザの視認対象の構造物を特定し、当該構造物についての情報を地図情報から取得する注視点情報取得手段とを備える。

【0007】

本発明に係る情報処理方法は、ユーザの現在地情報を取得する現在地情報取得ステップと、ウェアラブルデバイスにより検知された前記ユーザの視線の方位角及び仰俯角の情報を取得する角度情報取得ステップと、前記現在地情報と、前記方位角及び仰俯角の情報とを用いて、前記ユーザの視認対象の構造物を特定し、当該構造物についての情報を地図情報から取得する注視点情報取得ステップとを備える。

【0008】

本発明に係るプログラムは、コンピュータを、ユーザの現在地情報を取得する現在地情報取得手段、ウェアラブルデバイスにより検知された前記ユーザの視線の方位角及び仰俯角の情報を取得する角度情報取得手段、前記現在地情報と、前記方位角及び仰俯角の情報とを用いて、前記ユーザの視認対象の構造物を特定し、当該構造物についての情報を地図情報から取得する注視点情報取得手段、として機能させる。

【0009】

また、本発明のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

【発明の効果】

【0010】

本発明によれば、検知されたユーザの動作についての情報を利用した有益な機能を実現可能な技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】一実施形態における情報処理システムのハードウェア構成を示す概念図である。

【図2】一実施形態における眼鏡型デバイスの外観構成を示す図である。

【図3】一実施形態におけるサーバ装置の機能構成を示す図である。

【図4】一実施形態における推定注視点の特定方法を説明するための図である。

【図5】一実施形態における推定注視点の特定方法を説明するための図である。

【図6】一実施形態における眼鏡型デバイスの機能構成を示す図である。

【図7】一実施形態において表示部に表示される表示例を示す図である。

【図8】サーバ装置により実行される処理の例を示すフローチャートである。

【図9】眼鏡型デバイスにより実行される処理の例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。ただし、発明の範囲をこれらに限定するものではない。

【0013】

［ハードウェア構成］
図１を参照して、一実施形態に係る情報処理システムのハードウェア構成の例について説明する。情報処理システム１は、ウェアラブルデバイスを用いた各種のサービスを提供するためのシステムである。情報処理システム１は、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０を主に含む。眼鏡型デバイス２０及び携帯端末３０は、ネットワークＮを介してサーバ装置１０と相互に通信することができる。また、眼鏡型デバイス２０は、携帯端末３０と（例えば、Bluetooth（登録商標）やＷｉ−Ｆｉ（登録商標）等により）相互に通信することができる。情報処理システム１は、例えば、ウェアラブルデバイスである眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザに対して、地図情報に基づく各種の情報提供サービスを行うことができる。

【0014】

ネットワークＮは、サーバ装置１０と、眼鏡型デバイス２０及び携帯端末３０との間で情報を送受信するための通信回線である。ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、パケット通信網、電話回線、企業内ネットワーク、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるか（もしくはこれらの組み合わせであるか）を問わない。

【0015】

サーバ装置１０は、専用又は汎用のサーバ・コンピュータなどの情報処理装置により構成される。なお、サーバ装置１０は、単一の情報処理装置より構成されるものであっても、ネットワーク上に分散した複数の情報処理装置より構成されるものであってもよい。

【0016】

また、サーバ装置１０は、制御部１１、通信部１２、及び記憶部１３を主に備える。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１ａ及びメモリ１１ｂを主に備えて構成される。各構成の説明は後述する。サーバ装置１０は、例えば、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、図１には、サーバ装置１０が備える主要な構成が示されているにすぎず、サーバ装置１０は、一般的な情報処理装置が備える他の構成も備える。

【0017】

眼鏡型デバイス２０は、眼鏡型の形状のウェアラブルデバイスである。ウェアラブルデバイスとは、ユーザが身体（例えば、腕や頭部）に装着して利用することが想定されたデバイス（情報処理装置）である。すなわち、眼鏡型デバイス２０は眼鏡型の形状であるため、ユーザは、眼鏡をかけるように眼鏡型デバイス２０を頭部に装着して利用することができる。眼鏡型デバイス２０は、制御部２１、通信部２２、記憶部２３、操作部２４、表示部２５、カメラ２６、センサ２７、及びマイク２８を主に備えて構成される。制御部２１は、ＣＰＵ２１ａ及びメモリ２１ｂを主に備えて構成される。眼鏡型デバイス２０は、例えば、ＣＰＵ２１ａがメモリ２１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、ユーザは眼鏡型デバイス２０の装着時に結果として眼鏡型デバイス２０に備えるこれらの構成のそれぞれも装着することになるため、これらの構成のそれぞれも狭義のウェアラブルデバイスとみなすことができる。これらの各構成の説明は後述する。

【0018】

図２は、眼鏡型デバイス２０の外観の例を示している。同図の例では、眼鏡型デバイス２０は外観上、操作部２４、表示部２５及びカメラ２６を備えることが示されている。操作部２４は、眼鏡型デバイス２０の外側部に位置する。ユーザは操作部２４をスワイプ、タップ等をすることによって、眼鏡型デバイス２０に対して操作指示を行うことができる。表示部２５は、眼鏡型デバイス２０を装着したユーザがプリズムなどにより表示内容を視認可能な位置に設置されるように構成される。カメラ２６は、眼鏡型デバイス２０を装着したユーザの視線方向に向けられ、当該ユーザが見ていると推定されるもの（推定注視点に存在するもの）を撮像／撮影可能な位置に設置されるように構成される。

【0019】

図１の説明にもどる。携帯端末３０は、例えば、携帯電話機（スマートフォンを含む）、タブレット端末、ＰＤＡ（Personal Digital Assistants）、ナビゲーション装置、パーソナルコンピュータなどの携帯可能な情報処理装置である。携帯端末３０は、制御部３１、通信部３２、記憶部３３、操作部３４、表示部３５及び測位部３６を主に備えて構成される。制御部３１は、ＣＰＵ３１ａ及びメモリ３１ｂを主に備えて構成される。各構成の説明は後述する。携帯端末３０は、例えば、ＣＰＵ３１ａがメモリ３１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。

【0020】

制御部１１，２１，３１は、これらを備える各情報処理装置の各種構成の動作を制御し、また、各種処理の実行を制御する。制御部１１，２１，３１において実行される処理の詳細は後述する。通信部１２，２２，３２は、他の情報処理装置と通信するための通信インタフェースである。記憶部１３，２３，３３は、ハードディスク等の記憶装置によって構成される。記憶部１３，２３，３３は、各情報処理装置における処理の実行に必要な各種プログラムや各種の情報を記憶する。操作部２４，３４は、ユーザからの操作指示を受け付けるためのユーザインタフェースである。表示部２５，３５は、各情報処理装置による処理結果を表示するためのユーザインタフェースである。

【0021】

カメラ２６は、静止画／動画を撮影／撮像可能な装置である。
センサ２７は、各種のセンサにより構成される。センサ２７は、例えば、ジャイロセンサ、加速度センサ、地磁気センサ、及び／又はイメージセンサ等を含むことができる。センサ２７により、例えば、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向に基づいて当該ユーザの視線の方向の方位角（基準となる方位との間の水平方向の角度）の推定値を検知することや、当該ユーザの頭部の傾きに基づいて当該ユーザの視線の方向の仰俯角（水平を基準とした上下方向の角度）の推定値を検知することができる。なお、センサ２７は、ユーザの眼球の動きから当該ユーザの視線方向の方位角及び仰俯角の推定値を検知できるようにしてもよい。また、センサ２７は、眼鏡型デバイス２０を装着するユーザの瞼の動きに基づいて瞬きを検知することもできる。
マイク２８は、眼鏡型デバイス２０を装着するユーザが発する声／音を電気信号に変換する装置である。

【0022】

測位部３６は、ＧＰＳ衛星や通信機器（例えば基地局）から受信した信号に基づいて、携帯端末３０の位置（例えば、緯度、経度）を特定し、当該位置を特定した日時を特定する（測位情報を特定する）処理を行う。

【0023】

以上のように本実施形態において、情報処理システム１は、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０を含むがこれに限定せず、任意の装置を含むことができる。また、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０が有する構成の一部又は全部を有する構成を情報処理システムとして把握することもできる。例えば、眼鏡型デバイス２０が有する構成の一部を情報処理システムとして把握することができるし、眼鏡型デバイス２０が有する構成の一部と、携帯端末３０が有する構成の一部とを組み合わせた構成を情報処理システムとして把握することができる。

【0024】

［機能構成］
図３を参照して、サーバ装置１０の一実施形態における機能構成について説明する。サーバ装置１０は、主な機能構成として、現在地情報取得部１１１、角度情報取得部１１２、注視点情報取得部１１３、経路探索部１１４及びデータベース１２０を備える。以下に各機能構成の詳細を説明する。

【0025】

データベース１２０は、サーバ装置１０において実行される処理に必要な情報、及び当該処理により生成された情報など、各種情報を記憶する。データベース１２０は、例えば、地図情報及び施設情報を記憶している。地図情報は、道路情報、鉄道路線情報、建造物情報、地形情報、住所情報、及びその他の地理情報などを含む。施設情報は、例えば、コンビニエンスストア、カフェ、駅、ファーストフード、レストラン、建物（ビル）などの施設についての情報を含む。また、施設情報は、当該施設で扱っている商品及び／又はサービスについての情報を含む。さらに、施設情報は、地図情報と関連付けられた各施設の位置の情報を含む。なお、施設情報は、地図情報に含まれる情報としてもよい。

【0026】

現在地情報取得部１１１は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの現在地情報を携帯端末３０から（もしくは携帯端末３０から眼鏡型デバイス２０を介して）取得する。なお、当該ユーザの現在地情報は、携帯端末３０の測位部３６の測位処理に基づいて得られた情報である。

【0027】

角度情報取得部１１２は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの視線の方位角及び仰俯角の情報を眼鏡型デバイス２０から（もしくは眼鏡型デバイス２０から携帯端末３０を介して）取得する。なお、当該方位角及び仰俯角の情報は、後述するように、眼鏡型デバイス２０のセンサ２７の処理に基づいて得られた情報である。

【0028】

注視点情報取得部１１３は、データベース１２０を参照して、現在地情報取得部１１１により取得された前述のユーザの現在地情報と、角度情報取得部１１２により取得された前述のユーザの視線の方位角及び仰俯角の情報とを用いて、当該ユーザの視認対象の構造物（施設などのオブジェクト）を特定し、当該構造物における推定注視点を特定する。注視点情報取得部１１３は、特定された構造物についての情報や、当該推定注視点の位置についての情報を地図情報から取得する。推定注視点の位置についての情報には、特定された構造物（施設などのオブジェクト）の種別（例えば、雑居ビル、駅、飲食店、山など）、名称及び位置（住所）の情報を含む。また、特定された構造物がビルなどの建築物であり、当該ビルのフロアごとに１つ又は複数の施設が含まれている場合、推定注視点の位置についての情報には、当該推定注視点の位置に対応するフロアについての情報（例えば、当該フロアの階数や、当該フロアに存在する１つ又は複数の施設の情報を含む）、又は当該推定注視点の位置に存在する１つの施設の情報が含まれる。特定された推定注視点の位置についての情報は、眼鏡型デバイス２０に送信される。

【0029】

図４及び図５を参照して、ユーザの推定注視点の位置についての情報の取得方法の例について説明する。図４及び図５は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザＡと、構造物（例えば、ビル）Ｂとを示している。注視点情報取得部１１３は、ユーザＡの現在地情報と、ユーザＡの視線の方位角ａ（この例では北を基準方位としたときの方位角）及び仰俯角ｂの情報と、地図情報とを用いて、ユーザＡの現在地からユーザＡの視線方向に存在するオブジェクト（ユーザの視認対象のオブジェクト）を特定する。また、注視点情報取得部１１３は、特定されたオブジェクトにおいて、ユーザＡの視線の方位角及び仰俯角に対応する位置を推定注視点として特定する。この例では、注視点情報取得部１１３は、推定注視点として、点Ｃを特定する。なお、推定注視点が示す対象は、点に限られず、任意の大きさ及び形状の領域（例えば、半径１ｍの円形領域、１０ｍ四方の矩形領域など）を含むものとする。注視点情報取得部１１３は、特定された推定注視点の位置についての情報をデータベース１２０から取得する。

【0030】

以上のように、本実施形態によれば、ユーザが頭部を動かしたときに、ウェアラブルデバイス（例えば、眼鏡型デバイス２０又はセンサ２７）により検知された、ユーザの視線が向いている方向の方位角及び仰俯角の情報を用いて、当該ユーザの推定注視点の位置についての情報を取得することができる。すなわち、ウェアラブルデバイスにより検知されたユーザの動作についての情報を利用して有益な機能を実現することができる。特に、ユーザの視線の仰俯角の情報を用いてオブジェクトを特定するため、ユーザが見上げなければ視認できないようなオブジェクト（例えば、ユーザの目の前にある建物の裏側にあるオブジェクトで、ユーザが視線を上げたときに当該建物の上部からのみ見えるようなオブジェクト）を特定することができる。

【0031】

図３の説明に戻る。経路探索部１１４は、指定された位置（例えば、眼鏡型デバイス２０を装着するユーザの現在地）を出発地とし、注視点情報取得部１１３により特定された推定注視点の位置を目的地として、経路探索の処理を行う。探索された経路についての情報は、眼鏡型デバイス２０に送信される。

【0032】

図６を参照して、一実施形態に係る眼鏡型デバイス２０の機能構成の例を説明する。眼鏡型デバイス２０は、主な機能構成として、現在地情報取得部２１１、角度情報取得部２１２、注視点情報取得部２１３、アクション検知部２１４、音声認識部２１５、及び表示制御部２１６を備える。以下に各機能構成の詳細を説明する。

【0033】

現在地情報取得部２１１は、携帯端末３０により特定された現在地情報を携帯端末３０から取得する。取得された現在地情報は、サーバ装置１０に送信される。なお、現在地情報は、携帯端末３０から取得することとしているが、これに限定されず、眼鏡型デバイス２０が測位処理部を備え、測位処理を行うことによって、現在地情報を特定してもよい。

【0034】

角度情報取得部２１２は、センサ２７による検知結果に基づいて、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向の方位角及び仰俯角を特定する。角度情報取得部２１２は、当該方位角及び仰俯角に基づいて当該ユーザの視線の方向の方位角及び仰俯角の推定値を角度情報として特定する。特定された角度情報は、サーバ装置１０に送信される。なお、ユーザは、ウェアラブルデバイスである眼鏡型デバイス２０の装着時に結果として眼鏡型デバイス２０に備えるセンサ２７も装着することになるため、センサ２７もウェアラブルデバイスとみなすことができる。

【0035】

注視点情報取得部２１３は、サーバ装置１０により特定された（眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの）推定注視点の位置についての情報をサーバ装置１０の地図情報から取得する。なお、推定注視点の位置についての情報は、サーバ装置１０により特定されることとしているが、これに限定されず、注視点情報取得部２１３が推定注視点の位置についての情報を特定する処理を行ってもよい。すなわち、注視点情報取得部２１３が、現在地情報取得部２１１により取得された現在地情報と、角度情報取得部２１２により特定された角度情報と、サーバ装置１０から取得された地図情報とに基づいて、前述した処理と同様の処理により、推定注視点の位置についての情報を特定することができる。

【0036】

アクション検知部２１４は、操作部２４への入力の他、眼鏡型デバイス２０のユーザの所定のアクションを検知する。所定のアクションには、例えば、ユーザの瞬きや、ユーザが眼鏡型デバイス２０の正面で所定の手の動きをすることなどが含まれる。これらの所定のアクションの検知の方法は、任意の方法を用いることができ、例えば、従来の検知技術を用いることができる。

【0037】

音声認識部２１５は、眼鏡型デバイス２０のユーザが発した音声を認識し、ユーザからの操作指示を特定する。

【0038】

表示制御部２１６は、眼鏡型デバイス２０による処理結果の情報や、外部装置から受信した情報（例えば、現在地情報や、推定注視点の位置についての情報）など、各種の情報を表示部２５（すなわち、眼鏡型デバイス２０のユーザの目の近傍に位置するモニタ）に表示するように制御する。また、表示制御部２１６は、操作部２４を介したユーザによる所定の操作や、アクション検知部２１４により所定のアクションが検知されたことに応じて、注視点情報取得部２１３により取得された推定注視点の位置についての情報を表示部２５に表示するように制御することができる。

【0039】

図７には、表示制御部２１６による制御の結果、表示部２５に表示された推定注視点の位置についての情報の例が示されている。この例において、表示部２５に表示された推定注視点の位置についての情報は、施設の種別、施設の名称、施設において取り扱っている商品（取扱い商品）につていの情報が含まれている。

【0040】

以上のように、本実施形態によれば、ウェアラブルデバイス（例えば、眼鏡型デバイス２０又はセンサ２７）により検知された、ユーザが頭部を動かしたときにユーザの視線が向いている方向の方位角及び仰俯角の情報を用いて、当該ユーザの推定注視点の位置についての情報を取得すること、また、当該情報をユーザの目の近傍に位置するモニタに表示することができる。すなわち、ウェアラブルデバイスにより検知されたユーザの動作についての情報を利用して有益な機能を実現することができる。

【0041】

［処理フロー］
次に、サーバ装置１０及び眼鏡型デバイス２０において実行される処理のフローを説明する。なお、以下に説明する処理フローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。なお、各処理ステップの処理の詳細は、既に説明しているためここでは省略する。

【0042】

まず、図８を参照して、サーバ装置１０において実行される処理のフローを説明する。
ステップＳ１１において、制御部１１は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの現在地情報を携帯端末３０から（もしくは携帯端末３０から眼鏡型デバイス２０を介して）取得する。

【0043】

ステップＳ１２において、制御部１１は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの視線の方位角及び仰俯角の情報を眼鏡型デバイス２０から（もしくは眼鏡型デバイス２０から携帯端末３０を介して）取得する。

【0044】

ステップＳ１３において、制御部１１は、データベース１２０を参照して、ステップＳ１１において取得された前述のユーザの現在地情報と、ステップＳ１２において取得された前述のユーザの視線の方位角及び仰俯角の情報とを用いて、当該ユーザの視認対象の構造物（施設などのオブジェクト）を特定し、当該構造物における推定注視点を特定する。さらに、制御部１１は、特定された構造物についての情報や、当該推定注視点の位置についての情報を地図情報から取得する。

【0045】

ステップＳ１４において、制御部１１は、ステップＳ１３で取得した推定注視点の位置についての情報を眼鏡型デバイス２０に送信する。

【0046】

次に、図９を参照して、眼鏡型デバイス２０において実行される処理のフローを説明する。
ステップＳ２１において、制御部２１は、携帯端末３０により特定されたユーザの現在地情報を携帯端末３０から取得する。取得された現在地情報は、サーバ装置１０に送信される。

【0047】

ステップＳ２２において、制御部２１は、センサ２７による検知結果に基づいて、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向の方位角及び仰俯角を特定する。角度情報取得部２１２は、当該方位角及び仰俯角に基づいて当該ユーザの視線の方向の方位角及び仰俯角の推定値を角度情報として特定する。特定された角度情報は、サーバ装置１０に送信される。

【0048】

ステップＳ２３において、制御部２１は、サーバ装置１０により特定された（眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの）推定注視点の位置についての情報をサーバ装置１０の地図情報からネットワークＮを介して取得する。

【0049】

ステップＳ２４において、センサ２７により所定のアクションが検知されたことに応じて、ステップＳ２３において取得された推定注視点の位置についての情報を表示部２５に表示する。

【0050】

以上のように、本実施形態によれば、ウェアラブルデバイス（例えば、眼鏡型デバイス２０又はセンサ２７）により検知された、ユーザが頭部を動かしたときにユーザの視線が向いている方向の方位角及び仰俯角の情報を用いて、当該ユーザの推定注視点の位置についての情報を取得すること、また、当該情報をユーザの目の近傍に位置するモニタに表示することができる。すなわち、ウェアラブルデバイスにより検知されたユーザの動作についての情報を利用して有益な機能を実現することができる。

【0051】

［その他の実施形態］
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

【0052】

例えば、上記の実施形態において、推定注視点の特定は、サーバ装置１０又は眼鏡型デバイス２０で行うこととしたが、これに限定されず、携帯端末３０で行うことにしてもよい。具体的には、携帯端末３０は、ユーザの現在地情報を測位部３６により特定し、ユーザの視線の方位角及び仰俯角の情報を角度情報として眼鏡型デバイス２０から取得し、当該現在地情報及び角度情報を用いて、上述した方法により推定注視点を特定することができる。

【符号の説明】

【0053】

１０ サーバ装置、２０ 眼鏡型デバイス、３０ 携帯端末、１１，２１，３１ 制御部、１１ａ，２１ａ，３１ａ ＣＰＵ、１１ｂ，２１ｂ，３１ｂ メモリ、１２，２２，３２ 通信部、１３，２３，３３ 記憶部、２４，３４ 操作部、２５，３５ 表示部、２６ カメラ、２７ センサ、２８ マイク、３６ 測位部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】