特開 2021-92426 方位取得プログラム、方位取得装置、方位取得方法、および、端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-92426(P2021-92426A)

(43)【公開日】2021年6月17日

(54)【発明の名称】方位取得プログラム、方位取得装置、方位取得方法、および、端末

(51)【国際特許分類】

   G01C 17/38 20060101AFI20210521BHJP

   G01C 17/32 20060101ALI20210521BHJP

【ＦＩ】

   G01C17/38 N

   G01C17/32

   G01C17/38 P

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2019-222633(P2019-222633)

(22)【出願日】2019年12月10日

(71)【出願人】

【識別番号】504315532

【氏名又は名称】株式会社ロゼッタ

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(72)【発明者】

【氏名】桂 正明

(72)【発明者】

【氏名】八木 稔

(72)【発明者】

【氏名】岩瀬 麻菜美

(72)【発明者】

【氏名】仲田 愛

(72)【発明者】

【氏名】澤田 茉里

(72)【発明者】

【氏名】遠藤 雅巳

(72)【発明者】

【氏名】柳 加寿雄

(72)【発明者】

【氏名】西 圭一

(72)【発明者】

【氏名】水上 大輔

(72)【発明者】

【氏名】竹中 菜摘

(72)【発明者】

【氏名】山口 修一

(72)【発明者】

【氏名】中村 俊介

(57)【要約】

【課題】精度よく、また、低コストで方位を取得するための方位取得プログラム、方位取得装置、方位取得方法、および、端末を提供する。
【解決手段】カメラおよび地磁気センサが設けられた端末に、前記カメラによる撮影によって得られたカメラ画像を取得するステップと、前記地磁気センサの検知結果を取得するステップと、前記端末の位置を示す位置情報を取得するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにある場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップと、を実行させる方位取得プログラムが提供される。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

カメラおよび地磁気センサが設けられた端末に、
前記カメラによる撮影によって得られたカメラ画像を取得するステップと、
前記地磁気センサの検知結果を取得するステップと、
前記端末の位置を示す位置情報を取得するステップと、
前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにある場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得するステップと、
前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップと、を実行させる方位取得プログラム。

【請求項2】

前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と、前記位置情報が示す位置における全方位画像との比較に基づいて特定される、前記端末が向いている方位を取得する、請求項１に記載の方位取得プログラム。

【請求項3】

各エリアにおける地磁気センサの有効性を示すマップに基づいて、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにあるか否かが判断される、請求項１または２に記載の方位取得プログラム。

【請求項4】

前記端末には、ジャイロセンサおよび加速度センサが設けられ、
前記端末に、
前記ジャイロセンサの検知結果と、前記加速度センサの検知結果とを取得するステップと、
前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記ジャイロセンサの検知結果と、前記加速度センサの検知結果と、前記地磁気センサの検知結果とに基づいて前記端末が向いている方位を取得するステップと、を実行させる請求項１乃至３のいずれかに記載の方位取得プログラム。

【請求項5】

前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップは、前記ジャイロセンサの検知結果と、前記加速度センサの検知結果と、前記地磁気センサの検知結果とに基づいて前記端末が向いている方位を取得するステップより低頻度に実行される、請求項４に記載の方位取得プログラム。

【請求項6】

コンピュータに、
端末の位置を示す位置情報を取得するステップと、
前記端末に設けられたカメラによる撮影によって得られたカメラ画像を取得するステップと、
前記カメラ画像と、前記位置情報が示す位置における全方位画像との比較に基づいて、前記端末が向いている方位を特定するステップと、を実行させる方位取得プログラム。

【請求項7】

前記特定するステップでは、前記全方位画像における前記カメラ画像と一致する方位を、前記端末が向いている方位として特定する、請求項６に記載の方位取得プログラム。

【請求項8】

カメラおよび地磁気センサが設けられた端末であって、
前記カメラによる撮影によって得られたカメラ画像と、前記地磁気センサの検知結果と、前記端末の位置を示す位置情報と、を取得する情報取得部と、
前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにある場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得し、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得する方位取得部と、を備える端末。

【請求項9】

前記端末は、ウェアラブル端末である、請求項８に記載の端末。

【請求項10】

端末に設けられたカメラによる撮影によって得られたカメラ画像と、前記端末の位置における全方位画像との比較に基づいて、前記端末が向いている方位を特定する方位特定部を備える方位取得装置。

【請求項11】

端末に設けられたカメラによる撮影によって得られたカメラ画像を取得するステップと、
前記端末に設けられた地磁気センサの検知結果を取得するステップと、
前記端末の位置を示す位置情報を取得するステップと、
各エリアにおける地磁気センサの有効性を示すマップに基づいて、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにあるか否かを判断するステップと、
前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにあると判断された場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得するステップと、
前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにないと判断された場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップと、を備える方位取得方法。

【請求項12】

端末の位置を示す位置情報を取得するステップと、
前記端末に設けられたカメラによる撮影によって得られたカメラ画像を取得するステップと、
前記カメラ画像と、前記位置情報が示す位置における全方位画像との比較に基づいて、前記端末が向いている方位を特定するステップと、を備える方位取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、方位を取得する方位取得プログラム、方位取得装置、方位取得方法、および、端末に関する。

【背景技術】

【0002】

特許文献１には、地磁気センサを用いて方位を推定する手法が開示されている。また、特許文献２には、ランドマークの画像認識を用いて方位を推定する手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−５７１８３号公報

【特許文献2】特開２０１８−２４０６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に関し、地磁気センサは周囲の金属などの影響により、精度よく地磁気を検知できないことがある。このような場所では、方位を正しく推定するのが困難である。特許文献２に関し、各地のランドマーク画像を事前に準備するのは非常に手間であり、コストもかかる。

【0005】

本発明の課題は、精度よく、また、低コストで方位を取得するための方位取得プログラム、方位取得装置、方位取得方法、および、端末を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、カメラおよび地磁気センサが設けられた端末に、前記カメラによる撮影によって得られたカメラ画像を取得するステップと、前記地磁気センサの検知結果を取得するステップと、前記端末の位置を示す位置情報を取得するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにある場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップと、を実行させる方位取得プログラムが提供される。

【0007】

前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と、前記位置情報が示す位置における全方位画像との比較に基づいて特定される、前記端末が向いている方位を取得してもよい。

【0008】

各エリアにおける地磁気センサの有効性を示すマップに基づいて、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにあるか否かが判断されてもよい。

【0009】

前記端末には、ジャイロセンサおよび加速度センサが設けられ、前記端末に、前記ジャイロセンサの検知結果と、前記加速度センサの検知結果とを取得するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記ジャイロセンサの検知結果と、前記加速度センサの検知結果と、前記地磁気センサの検知結果とに基づいて前記端末が向いている方位を取得するステップと、を実行させてもよい。

【0010】

前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップは、前記ジャイロセンサの検知結果と、前記加速度センサの検知結果と、前記地磁気センサの検知結果とに基づいて前記端末が向いている方位を取得するステップより低頻度に実行されてもよい。

【0011】

本発明の別の態様によれば、コンピュータに、端末の位置を示す位置情報を取得するステップと、前記端末に設けられたカメラによる撮影によって得られたカメラ画像を取得するステップと、前記カメラ画像と、前記位置情報が示す位置における全方位画像との比較に基づいて、前記端末が向いている方位を特定するステップと、を実行させる方位取得プログラムが提供される。

【0012】

前記特定するステップでは、前記全方位画像における前記カメラ画像と一致する方位を、前記端末が向いている方位として特定してもよい。

【0013】

本発明の別の態様によれば、カメラおよび地磁気センサが設けられた端末であって、前記カメラによる撮影によって得られたカメラ画像と、前記地磁気センサの検知結果と、前記端末の位置を示す位置情報と、を取得する情報取得部と、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにある場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得し、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにない場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得する方位取得部と、を備える端末が提供される。

【0014】

前記端末は、ウェアラブル端末であってもよい。

【0015】

本発明の別の態様によれば、端末に設けられたカメラによる撮影によって得られたカメラ画像と、前記端末の位置における全方位画像との比較に基づいて、前記端末が向いている方位を特定する方位特定部を備える方位取得装置が提供される。

【0016】

本発明の別の態様によれば、端末に設けられたカメラによる撮影によって得られたカメラ画像を取得するステップと、前記端末に設けられた地磁気センサの検知結果を取得するステップと、前記端末の位置を示す位置情報を取得するステップと、各エリアにおける地磁気センサの有効性を示すマップに基づいて、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにあるか否かを判断するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにあると判断された場合には、前記地磁気センサの検知結果に基づいて前記端末が向いている方位を取得するステップと、前記位置情報が示す前記端末の位置が地磁気センサが有効であるエリアにないと判断された場合には、前記カメラ画像と前記位置情報とに基づいて前記端末が向いている方位を取得するステップと、を備える方位取得方法が提供される。

【0017】

本発明の別の態様によれば、端末の位置を示す位置情報を取得するステップと、前記端末に設けられたカメラによる撮影によって得られたカメラ画像を取得するステップと、前記カメラ画像と、前記位置情報が示す位置における全方位画像との比較に基づいて、前記端末が向いている方位を特定するステップと、を備える方位取得方法が提供される。

【発明の効果】

【0018】

精度よく、また、低コストで方位を取得できる。

【図面の簡単な説明】

【0019】

【図1A】第１の実施形態に係るシステムの概略構成を示すブロック図。

【図1B】ウェアラブル端末１の概略斜視図。

【図2A】有効性マップを説明する図。

【図2B】有効性マップのデータ構造の一例を模式的に示す図。

【図3A】全方位画像データベースの構造の一例を模式的に示す図。

【図3B】位置Ｃ１における全方位画像を模式的に示す図。

【図4】カメラ画像を模式的に示す図。

【図5】図１のシステムの処理動作の一例を示すシーケンス図。

【図6】第２の実施形態に係るシステムの概略構成を示すブロック図。

【図7】図６のシステムの処理動作の一例を示すシーケンス図。

【図8】第３の実施形態に係るシステムの概略構成を示すブロック図。

【図9A】ウェアラブル端末１の位置を示す位置情報と、ウェアラブル端末１における地磁気センサ１５の検知結果が示すウェアラブル端末１が向いている方位との関係の一例を模式的に示す図。

【図9B】ウェアラブル端末１の位置を示す位置情報と、ウェアラブル端末１における地磁気センサ１５の検知結果が示すウェアラブル端末１が向いている方位との関係の別の例を模式的に示す図。

【図10】図８のシステムの処理動作の一例を示すシーケンス図。

【発明を実施するための形態】

【0020】

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

【0021】

（第１の実施形態）
図１Ａは、第１の実施形態に係るシステムの概略構成を示すブロック図である。本システムは、ウェアラブル端末１と、マップサーバ２と、画像サーバ３を備えており、これらが協働してウェアラブルデ端末が向いている方位（方角）を取得するものである。

【0022】

図１Ｂは、ウェアラブル端末１の概略斜視図である。ウェアラブル端末１は、眼鏡型の枠体１１と、通信部１２と、カメラ１３と、位置情報取得部１４と、地磁気センサ１５（電子コンパス）と、制御部１６とを有する。

【0023】

通信部１２はマップサーバ２および画像サーバ３との通信を行う。カメラ１３は枠体１１の前面に取り付けられ、ウェアラブル端末１を顔に装着したユーザの前方（視線と同じ向き）を撮影する（以下、撮影によって得られた画像を「カメラ画像」と呼ぶ）。位置情報取得部１４は、例えばＧＰＳ受信機であり、ウェアラブル端末１の位置を示す位置情報を取得する。地磁気センサ１５は、ウェアラブル端末１が向いている方位（すなわち、本ウェアラブル端末１を装着したユーザが向いている方位）を取得すべく、地磁気を検知する。

【0024】

ここで、地磁気センサ１５は、周囲に金属や建物がある場合、必ずしも精度よく地磁気を検知できるとは限らない。その場合、地磁気センサ１５の検知結果のみからウェアラブル端末１が向いている方位を正しく取得するのは困難である。そこで、本実施形態では、以下に説明するようにして、精度よく地磁気を検知できない場合であっても、画像サーバ３を利用することで、ウェアラブル端末１が向いている方向を取得することとする。

【0025】

なお、本明細書では、地磁気センサ１５が精度よく地磁気を検知できることを、「有効である」ということがある。また、地磁気センサ１５が精度よく地磁気を検知できないことを、「有効でない」あるいは「無効である」ということがある。

【0026】

制御部１６は、通信部１２、カメラ１３、位置情報取得部１４、地磁気センサ１５と接続されている。そして、制御部１６は、情報取得部１６１と、有効性取得部１６２と、方位取得部１６３とを有する（図１Ａ）。これらの一部または全部は、ハードウェアで構成されてもよいし、ソフトウェアで実現されてもよい。後者の場合、ウェアラブル端末１のプロセッサが所定のプログラムを実行することによって各部が実現される。

【0027】

情報取得部１６１は、位置情報取得部１４が取得した位置情報と、地磁気センサ１５の検知結果とを取得する。有効性取得部１６２は、ウェアラブル端末１がある位置において、地磁気センサ１５の検知結果が有効であるか（高精度に検知できるか）否かの情報を取得する。方位取得部１６３は、地磁気センサ１５の検知結果が有効であるか否かを考慮し、地磁気センサ１５の検知結果に基づいて、あるいは、画像サーバ３からウェアラブル端末１が向いている方位を取得する。

【0028】

一方、マップサーバ２は、ウェアラブル端末１との通信を行う通信部２１と、有効性マップを記憶した記憶部２２と、制御部２３とを有する。

【0029】

図２Ａは、有効性マップを説明する図である。有効性マップは地磁気センサ１５の有効性を示す。具体的には、有効性マップは、地磁気センサ１５が精度よく地磁気を検知できるエリアと、そうでないエリアとを示す。図２Ａの例では、地磁気センサ１５がスポットを付したエリアＡ１，Ａ３，Ａ５にある場合、地磁気センサ１５は地磁気を精度よく検知できる（有効である）ことを示す。一方、地磁気センサ１５がスポットを付していないエリアＡ２，Ｂ１，Ｂ３にある場合、地磁気センサ１５は地磁気を精度よく検知できない（無効である）ことを示す。

【0030】

図２Ｂは、有効性マップのデータ構造の一例を模式的に示す図であり、図２Ａと対応している。有効性マップは各エリアが有効であるか否かを示す。エリアの設定は任意であり、例えば緯度・経度で定義してもよい。また、エリアの大きさも任意であり、細かく設定してもよいし、大まかに設定してもよい。また、エリアどうしの大きさが互いに異なっていてもよい。

【0031】

図１Ａに戻り、制御部２３は通信部２１および記憶部２２と接続されている。そして、制御部２３は有効性判断部２３１を有する。有効性判断部２３１は、ハードウェアで構成されてもよいし、ソフトウェアで実現されてもよい。後者の場合、マップサーバ２のプロセッサが所定のプログラムを実行することによって有効性判断部２３１が実現される。有効性判断部２３１は、記憶部２２に記憶された有効性マップを参照し、ウェアラブル端末１が存在する位置において、地磁気センサ１５が有効であるか否かを判断する。

【0032】

画像サーバ３は、ウェアラブル端末１との通信を行う通信部３１と、全方位画像データベースを記憶した記憶部３２と、制御部３３とを有する。

【0033】

図３Ａは、全方位画像データベースの構造の一例を模式的に示す図である。全方位画像データベースは、各位置における全方位画像を示す。

【0034】

図３Ｂは、位置Ｃ１における全方位画像を模式的に示す図である。図示のように、位置Ｃ１を中心とし、その周囲３６０度を撮影した画像が全方位画像である。各画像には画像認識を行いやすいランドマークが含まれているのが望ましい。

【0035】

このような全方位画像データベースは、例えば全方位撮影カメラを搭載した専用車両が撮影を行いながら走行することで作成される。

【0036】

図１Ａに戻り、制御部３３は通信部３１および記憶部３２と接続されている。そして、制御部３３は方位特定部３３１を有する。方位特定部３３１は、ハードウェアで構成されてもよいし、ソフトウェアで実現されてもよい。後者の場合、画像サーバ３のプロセッサが所定のプログラムを実行することによって方位特定部３３１が実現される。

【0037】

方位特定部３３１は、ウェアラブル端末１の位置を示す位置情報と、カメラ画像と、全方位画像データベースとに基づいて、ウェアラブル端末１が向いている方位を特定する。より具体的には、方位特定部３３１は、カメラ画像と、位置情報が示す位置における全方位画像とを比較して、方位を特定する。

【0038】

さらに具体的には、まず、方位特定部３３１は、全方位画像データベースから、ウェアラブル端末１の位置における全方位画像を取得する。ウェアラブル端末１の位置における全方位画像がない場合には、ウェアラブル端末１の位置と最も近い位置における全方位画像を取得してもよい。

【0039】

次いで、方位特定部３３１は、例えばＡＩを利用した画像マッチングを行って、全方位画像におけるカメラ画像と一致する方位を特定する。例えば、カメラ画像が図４に示すものであり、位置情報が示す位置Ｃ１（図３Ｂ）を示す場合、図３Ｂの全方位画像における西と、図４のカメラ画像とが一致することから、方位特定部３３１はウェアラブル端末１が向いている方位を西と特定する。

【0040】

図５は、図１のシステムの処理動作の一例を示すシーケンス図である。なお、情報取得部１６１は、それぞれ適宜の周期で、位置情報取得部１４からウェアラブル端末１の位置情報を取得するとともに、地磁気センサ１５の検知結果を取得しているものとする。また、本シーケンス図および以降に示すシーケンス図において、処理順は図示したものに限られない。

【0041】

まず、ウェアラブル端末１がある位置において、地磁気センサ１５が有効であるか否かを把握すべく、有効性取得部１６２はウェアラブル端末１の位置を示す位置情報をマップサーバ２に送信する（ステップＳ１）。これに応じて、マップサーバ２は位置情報を取得する。

【0042】

マップサーバ２の有効性判断部２３１は、有効性マップを参照し、位置情報が示すウェアラブル端末１の位置に対応するエリアにおいて、地磁気センサ１５が有効であるか否かを判断する（ステップＳ１１）。判断結果を示す情報は有効性判断部２３１からウェアラブル端末１に送信される。これに応じて、ウェアラブル端末１の有効性取得部１６２は、自身がある位置において、地磁気センサ１５が有効であるかを示す情報を受信する。

【0043】

有効である場合（ステップＳ２のＹＥＳ）、方位取得部１６３は地磁気センサ１５の検知結果に基づいてウェアラブル端末１が向いている方位を取得する（ステップＳ３）。なお、この場合には後述するステップＳ４，Ｓ５を合わせて行ってもよいが、行わなくてもよい。

【0044】

一方、有効でない場合（ステップＳ２のＮＯ）、方位取得部１６３はカメラ画像および位置情報を画像サーバ３に送信する（ステップＳ４）。

【0045】

そして、これらカメラ画像および位置情報に基づいて、画像サーバ３における方位特定部３３１はウェアラブル端末１が向いている方位を特定する（ステップＳ２１）。具体的な方位特定の手法の例は図４を用いて示したとおりである。特定された方位を示す情報が画像サーバ３からウェアラブル端末１に送信される。

【0046】

この情報により、ウェアラブル端末１の方位取得部１６３はウェアラブル端末１が向いている方位を取得する（ステップＳ５）。

【0047】

なお、ウェアラブル端末１とマップサーバ２との間の通信は、位置情報および地磁気センサ１５の有効性を示す情報であり、それほどの負荷はないため、図５に示すステップＳ１，Ｓ１１の処理を高頻度（例えば１００ｍｓごと）に行うこともできる。一方、ウェアラブル端末１と画像サーバ３との通信には、カメラ画像が含まれる。よって、負荷を抑えるべく、相対的に低頻度（例えば数分ごと）に行うのが望ましい。

【0048】

このように、第１の実施形態では、エリア毎に地磁気センサ１５の有効性を示す有効性マップを準備しておき、有効でない場合にはカメラ画像と全方位画像とを用いる。そのため、地磁気センサ１５が精度よく地磁気を検知できない場所であっても、ウェアラブル端末１が向いている方位を取得可能となる。

【0049】

なお、図１Ａは構成例にすぎず、種々の変形が可能である。例えば、ウェアラブル端末１におけるカメラ１３や地磁気センサ１５などは外付けであってもよい。また、マップサーバ２内に有効性マップを記憶するのではなく、外部の記憶装置に有効性マップを記憶してもよい。また、画像サーバ３内に全方位画像データベースを記憶するのではなく、外部の記憶装置に全方位画像データベースを記憶してもよい。

【0050】

あるいは、マップサーバ２の機能の一部または全部をウェアラブル端末１あるいは画像サーバ３に設けてもよいし、画像サーバ３の機能の一部または全部をウェアラブル端末１あるいはマップサーバ２に設けてもよい。マップサーバ２と画像サーバ３とが一体であってもよい。

【0051】

さらに、ウェアラブル端末１に限らず、スマートフォンなど任意のモバイル機器その他のコンピュータにおいて、同様の処理を行ってもよい。
以上の点は以下の実施形態にも当てはまる。

【0052】

なお、全方位画像データベースは全国各地の全方位画像を含まなくてもよい。地磁気センサ１５が無効となるエリアは主として建物が多くある場所であり、そのような場所を中心に全方位画像を用意しておけばよい。それ以外の場所は地磁気センサ１５が有効であり、地磁気センサ１５を用いてウェアラブル端末１が向いている方位を取得すればよいためである。建物が多くある場所は都市部であり、専用車両を走行させて全方位画像を取得するコストに見合う価値が見込める。

【0053】

（第２の実施形態）
以下に説明する第２の実施形態は、ウェアラブル端末１にジャイロセンサおよび加速度センサを設け、地磁気センサ１５が有効でない場合にはジャイロセンサおよび加速度センサを用いた自己補正も行うものである。以下、第１の実施形態との相違点を中心に説明する。

【0054】

図６は、第２の実施形態に係るシステムの概略構成を示すブロック図である。図１と共通する機能ブロックには共通する符号を付しており、詳細な説明を省略する。第１の実施形態との違いとして、ウェアラブル端末１はジャイロセンサ１７および加速度センサ１８を有する。ジャイロセンサ１７はウェアラブル端末１の角速度を検知する。加速度センサ１８はウェアラブル端末１の加速度を検知する。また、ウェアラブル端末１にける方位取得部１６３は、地磁気センサ１５の検知結果が有効であるか否かを考慮し、地磁気センサ１５、ジャイロセンサ１７および加速度センサ１８の検知結果に基づいて、ウェアラブル端末１が向いている方位を取得する処理も行う。

【0055】

図７は、図６のシステムの処理動作の一例を示すシーケンス図である。なお、情報取得部１６１は、それぞれ適宜の周期で、位置情報取得部１４からウェアラブル端末１の位置情報を取得するとともに、地磁気センサ１５、ジャイロセンサ１７および加速度センサ１８の検知結果を取得しているものとする。

【0056】

ステップＳ１，Ｓ１１は図５と同様である。また、ウェアラブル端末１および画像サーバ３により、第１の実施形態で説明した、全方位画像を利用したウェアラブル端末１が向いている方位を取得する処理（ステップＳ２〜Ｓ４，Ｓ２１）が行われる。上述したように、この処理は低頻度（例えば数分後と）に行うのが望ましい。

【0057】

一方、並行して、ウェアラブル端末１におけるジャイロセンサ１７および加速度センサ１８の検知結果を用いてウェアラブル端末１が向いている方位を取得する処理が以下のように行われる。

【0058】

ステップＳ１１の結果、地磁気センサ１５が有効であると判断された場合（ステップＳ６のＹＥＳ）、方位取得部１６３は地磁気センサ１５の検知結果に基づいてウェアラブル端末１が向いている方位を取得する（ステップＳ７ａ）。この場合、方位取得部１７３はジャイロセンサ１７および加速度センサ１８の検知結果を用いる必要はない。地磁気センサ１５の精度が高い場合には、ジャイロセンサ１７および加速度センサ１８の検知結果を用いた補正を行わないことで、誤差が蓄積されていくのを抑えられる。

【0059】

一方、有効でない場合（ステップＳ６のＮＯ）、方位取得部１６３は、地磁気センサ１５、ジャイロセンサ１７および加速度センサ１８の検知結果に基づいてウェアラブル端末１が向いている方位を取得する（ステップＳ７ｂ）。一例として、方位取得部１６３は、公知の手法によってジャイロセンサ１７および加速度センサ１８の検知結果を用いて地磁気センサ１５の検知結果を自己補正し、ウェアラブル端末１が向いている方位を取得する。

【0060】

なお、ウェアラブル端末１とマップサーバ２との間の通信は、位置情報および地磁気センサ１５の有効性を示す情報であり、それほどの負荷はないため、ステップＳ６，Ｓ７ａ，Ｓ７ｂの処理を高頻度（例えば１００ｍｓごと）に行うこともできる。すなわち、全方位画像を用いた方位の取得を低頻度（例えば数分ごと）に行いつつ、その間を補完するよう、ジャイロセンサ１７および加速度センサ１８を用いた方位の取得を高頻度（例えば数ｍｓごと）に行うことができる。

【0061】

このように、第２の実施形態では、エリア毎に地磁気センサ１５の有効性を示す有効性マップを準備しておき、有効でない場合には地磁気センサ１５だけでなく、ジャイロセンサ１７および加速度センサ１８の検知結果も用いる。そのため、地磁気センサ１５が精度よく地磁気を検知できない場所であっても、また、全方位画像が用意されていない場所であっても、ウェアラブル端末１が向いている方位を取得可能となる。

【0062】

（第３の実施形態）
次に説明する第２の実施形態は、有効性マップの更新に関する。有効性マップを作成した後、高層ビルが建てられるなどによって、地磁気センサ１５の有効性が変わることがある。そこで、本実施形態では、ウェアラブル端末１からの情報に基づいて有効性マップを自動更新するものである。以下、第２の実施形態との相違点を中心に説明する。

【0063】

図８は、第３の実施形態に係るシステムの概略構成を示すブロック図である。図６と共通する機能ブロックには共通する符号を付しており、詳細な説明を省略する。

【0064】

本実施形態におけるマップサーバ２の制御部２３は、有効性判断部２３１と、マップ制御部２３２とを有する。これらの一部または全部は、ハードウェアで構成されてもよいし、ソフトウェアで実現されてもよい。後者の場合、ウェアラブル端末１のプロセッサが所定のプログラムを実行することによって各部が実現される。

【0065】

有効性判断部２３１は、ウェアラブル端末１の位置を示す位置情報と、ウェアラブル端末１における地磁気センサ１５の検知結果に基づくウェアラブル端末１が向いている方位と、に基づいて、当該位置における地磁気センサ１５の有効性を判断する。以下、判断の具体例を説明する。

【0066】

図９Ａは、ウェアラブル端末１の位置を示す位置情報（黒丸のそれぞれ）と、ウェアラブル端末１における地磁気センサ１５の検知結果が示すウェアラブル端末１が向いている方位（矢印Ｆ１）との関係の一例を模式的に示す図である。

【0067】

同図では、地磁気センサ１５の検知結果によれば、ウェアラブル端末１が向いている方位は矢印Ｆ１に示すように東向きである。一方、位置情報が示す位置は時間の経過とともに東方向に移動しており、矢印Ｆ２に示すようにウェアラブル端末１は東に移動している可能性が高い。このように、地磁気センサ１５の検知結果に基づくウェアラブル端末１が向いている方位と、位置情報に基づくウェアラブル端末１の移動方向とが概ね一致する（例えば、東を向いて東に移動している）場合、ウェアラブル端末１のユーザが向いている方位にウェアラブル端末１が移動しているから、有効性判断部２３１は地磁気センサ１５が有効であると判断できる。

【0068】

図９Ｂは、ウェアラブル端末１の位置を示す位置情報（黒丸のそれぞれ）と、ウェアラブル端末１における地磁気センサ１５の検知結果が示すウェアラブル端末１が向いている方位（矢印Ｆ３）との関係の別の例を模式的に示す図である。

【0069】

同図では、地磁気センサ１５の検知結果によれば、ウェアラブル端末１が向いている方位は矢印Ｆ３に示すように北向きである。一方、位置情報が示す位置は時間の経過とともに東方向に移動しており、矢印Ｆ４に示すようにウェアラブル端末１は東に移動している可能性が高い。このように、地磁気センサ１５の検知結果に基づくウェアラブル端末１が向いている方位と、位置情報に基づくウェアラブル端末１の移動方向とが一致しない（例えば、北を向いて東に移動している）場合、ウェアラブル端末１のユーザが向いている方位とは異なる方向にウェアラブル端末１が移動しているから、有効性判断部２３１は地磁気センサ１５が有効でないと判断できる。

【0070】

以上のように、有効性判断部２３１は、ウェアラブル端末１の位置情報を連続的に取得し、その位置の変化からウェアラブル端末１の移動方向を特定する。そして、有効性判断部２３１は、当該移動方向と、地磁気センサ１５の検知結果に基づくウェアラブル端末１が向いている方向とを比較することにより、地磁気センサ１５の有効性を判定する。例えば、有効性判断部２３１は、ウェアラブル端末１の移動方向と、ウェアラブル端末１が向いている方向とがなす角度が所定値以上であれば有効と判断し、同角度が所定値未満であれば有効でないと判断する。

【0071】

図８に戻り、マップ制御部２３２は、有効性判断部２３１によって判断された有効性に基づいて、有効性マップを制御する。具体例として、マップ制御部２３２は、判断された有効性と、記憶部２２に記憶されている有効性マップにおける、ウェアラブル端末１の位置情報が示す位置に対応するエリアにおける有効性とが一致しているか否かを判断する。そして、両者が一致しない場合、マップ制御部２３２は有効性マップを更新する。

【0072】

例えば、図２Ｂに示す有効性マップの例において、位置情報が示す位置がエリアＡ１に対応しており、有効性判断部２３１によって地磁気センサ１５が有効でないと判断されたとする。この場合、有効性マップにおいてはエリアＡ１の有効性は「有効」とされており、有効性判断部２３１による判断結果が一致していない。よって、マップ制御部２３２はエリアＡ１の有効性を「無効」に更新する。

【0073】

また、図２Ｂに示す有効性マップの例において、位置情報が示す位置がエリアＡ２に対応しており、有効性判断部２３１によって地磁気センサ１５が有効と判断されたとする。この場合、有効性マップにおいてはエリアＡ２の有効性は「無効」とされており、有効性判断部２３１による判断結果が一致していない。よって、マップ制御部２３２はエリアＡ２の有効性を「有効」に更新する。

【0074】

また、図２Ｂに示す有効性マップの例において、位置情報が示す位置がエリアＡ３に対応しており、有効性判断部２３１によって地磁気センサ１５が有効と判断されたとする。この場合、有効性マップにおいてはエリアＡ３の有効性は「有効」とされており、有効性判断部２３１による判断結果が一致している。よって、マップ制御部２３２は有効性マップを更新する必要がない。

【0075】

図１０は、図８のシステムの処理動作の一例を示すシーケンス図である。情報取得部１６１は、ウェアラブル端末１の位置情報と、地磁気センサ１５の検知結果とをマップサーバ２に送信する（ステップＳ１’）。そして、マップサーバ２の有効性判断部２３１は、当該位置情報および検知結果に基づいて、当該位置情報が示す位置において地磁気センサ１５が有効であるか否かを判断する（ステップＳ２１）。具体的な判断手法の例は図９Ａおよび図９Ｂを用いて示したとおりである。

【0076】

また、有効性判断部２３１は、記憶部２２に記憶された有効性マップにおいて、位置情報が示すウェアラブル端末１の位置に対応するエリアにおける地磁気センサ１５の有効性が「有効」であるか「無効」であるかを取得する（ステップＳ１１）。

【0077】

そして、地磁気センサ１５の有効性を示す情報がウェアラブル端末１に送信され、第１の実施形態で説明した処理（ステップＳ２〜Ｓ４，Ｓ２１）、および、第２の実施形態で説明した処理（ステップＳ６，Ｓ７ａ，Ｓ７ｂ）が行われる。

【0078】

なお、マップサーバ２からウェアラブル端末１に送信される地磁気センサ１５の有効性は、ステップＳ２１による有効性判断の結果でもよいし、ステップＳ１１で取得された有効性でもよい。ただし、両者が一致しない場合には、ステップＳ２１による有効性判断の結果が送信されてよい。また、ウェアラブル端末１があまり移動しておらず、図９Ａおよび図９Ｂで説明した移動方向による有効性判断が難しい場合には、ステップＳ１１で取得された有効性が送信されてよい。

【0079】

また、有効性マップの更新に関し、マップサーバ２は以下の処理を行う。ステップＳ２１における有効性判断の結果と、ステップＳ１１において取得された有効性とが一致しない場合（ステップＳ２２のＮＯ）、マップ制御部２３２は前者に基づいて後者を更新する（ステップＳ２３）。例えば、ステップＳ３１において「有効」と判断されたにも拘わらず、有効性マップにおいて、位置情報が示す位置に対応するエリアにおける有効性が「無効」とされていた場合、有効性マップにおける当該エリアの有効性は「有効」に更新される。

【0080】

このように、第３の実施形態では、ウェアラブル端末１からの情報に基づいて地磁気センサ１５の有効性を判断することで、自動で有効性マップを更新できる。

【0081】

なお、以上説明した例では、ウェアラブル端末１の位置情報をマップサーバ２に送信し、マップサーバ２における有効性判断部２３１がウェアラブル端末１の移動方向を特定する。これに対し、ウェらブル端末が位置情報に基づいてウェアラブル端末１自身の移動方向を特定し、図１０のステップＳ１’において移動方向もマップサーバ２に送信するようにしてもよい。

【0082】

また、マップ制御部２３２は、既に有効性が設定された有効性マップを更新するだけでなく、有効性マップにおける有効性の情報を新たに生成してもよい。例えば、図２Ｂに示すエリアＡ１の有効性が未だ設定されていない状態で、図１０のステップＳ２１において地磁気センサ１５が有効と判断された場合、有効性マップにおけるエリアＡ１の有効性を新たに「有効」に設定してもよい。

【0083】

このように、第３の実施形態では、ユーザがウェアラブル端末１を使用することにより、自動で有効性マップが更新される。また、有効性マップにおいて、地磁気センサ１５が無効とされるエリアを中心に、全方位画像を取得すればよいことが分かる。

【0084】

なお、第３の実施形態では、第２の実施形態に有効性マップの更新機能を追加する例を示したが、第１の実施形態に有効性マップの更新機能を追加してもよい。

【0085】

また、各実施形態で取得した方位を、例えば次のように活用できる。図１Ｂに示すウェアラブル端末１は、眼鏡のレンズに対応する位置に透過型ディスプレイが設けられる。そして、透過型ディスプレイにおいて、ユーザに見えているものに関する表示が行われる。例えば、ある地点において、北にはＡタワーがあり、東にはＢスタジアムがあるとする。この場合、上述した手法によりウェアラブル端末１が向いている方位を取得し、北を向いているのであれば透過型ディスプレイに「Ａタワー」と表示し、東を向いているのであれば透過型ディスプレイに「Ｂスタジアム」と表示することができる。

【0086】

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

【符号の説明】

【0087】

１ ウェアラブル端末
１１ 枠体
１２ 通信部
１３ カメラ
１４ 位置情報取得部
１５ 地磁気センサ
１６ 制御部
１６１ 情報取得部
１６２ 有効性取得部
１６３ 方位取得部
１７ ジャイロセンサ
１８ 加速度センサ
２ マップサーバ
２１ 通信部
２２ 記憶部
２３ 制御部
２３１ 有効性判断部
２３２ マップ制御部
３ 画像サーバ
３１ 通信部
３２ 記憶部
３３ 制御部
３３１ 方位特定部

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】