特許 6523353 端末装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6523353

(24)【登録日】2019年5月10日

(45)【発行日】2019年5月29日

(54)【発明の名称】端末装置及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190520BHJP

   H04N 5/232 20060101ALI20190520BHJP

   H04N 5/225 20060101ALI20190520BHJP

   G06Q 50/10 20120101ALI20190520BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/232

   H04N5/225

   G06Q50/10

【請求項の数】12

【全頁数】11

(21)【出願番号】特願2017-18886(P2017-18886)

(22)【出願日】2017年2月3日

(65)【公開番号】特開2018-124925(P2018-124925A)

(43)【公開日】2018年8月9日

【審査請求日】2017年9月4日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(74)【代理人】

【識別番号】100170667

【弁理士】

【氏名又は名称】前田 浩次

(72)【発明者】

【氏名】横田 健治

(72)【発明者】

【氏名】水田 修

(72)【発明者】

【氏名】伊藤 義浩

(72)【発明者】

【氏名】大川 祥一

(72)【発明者】

【氏名】増崎 和彦

(72)【発明者】

【氏名】山崎 あかり

【審査官】 田中 幸雄

(56)【参考文献】

【文献】 国際公開第２０１６／０１７２５４（ＷＯ，Ａ１）

【文献】 特開２０１６−１７００６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｑ ５０／１０

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

ディスプレイと、
撮像手段と、
所定エリアの３次元地図情報と、案内画像表示場所を示す情報、前記案内画像表示場所に対応付けられたガイド情報及び案内画像を示す案内画像情報を含む案内情報と、を保持する保持手段と、
前記３次元地図情報に基づき、前記撮像手段が撮像して前記ディスプレイに表示されている撮像画像に案内画像表示場所が含まれていると判定すると、当該撮像画像の当該案内画像表示場所に前記案内画像を重畳させて前記ディスプレイに表示する処理を行う処理手段と、
を備え、
前記処理手段は、前記撮像画像に含まれる前記案内画像表示場所に前記案内画像を表示した後、当該案内画像表示場所と前記端末装置との距離が第１距離より短くなると、当該案内画像表示場所に対応付けられたガイド情報をユーザに提示する処理を行うことを特徴とする端末装置。

【請求項2】

前記案内画像は前記案内画像表示場所に対応付けられており、
前記処理手段は、前記撮像画像に案内画像表示場所が含まれていると判定すると、前記撮像画像の当該案内画像表示場所に、当該案内画像表示場所に対応付けられた案内画像を重畳させて前記ディスプレイに表示する処理を行うことを特徴とする請求項１に記載の端末装置。

【請求項3】

前記処理手段は、前記撮像画像に案内画像表示場所が含まれていると判定した場合において、前記端末装置と前記撮像画像に含まれる案内画像表示場所との距離が第２距離より短い場合に、前記撮像画像の当該案内画像表示場所に前記案内画像を重畳させて前記ディスプレイに表示する処理を行うことを特徴とする請求項１又は２に記載の端末装置。

【請求項4】

前記ガイド情報は、テキスト情報又は音声情報を含み、
前記処理手段は、前記テキスト情報を前記ディスプレイに表示する、或いは、前記音声情報に基づく音声を出力することで前記ガイド情報の前記ユーザへの提示を行うことを特徴とする請求項１から３のいずれか１項に記載の端末装置。

【請求項5】

前記処理手段は、前記撮像画像に案内画像表示場所が含まれていても、当該案内画像表示場所に対応付けられたガイド情報の前記ユーザへの提示を既に行っていると、前記撮像画像の当該案内画像表示場所に前記案内画像を表示しないことを特徴とする請求項１から４のいずれか１項に記載の端末装置。

【請求項6】

前記案内情報は複数の案内画像表示場所を示す情報と、前記複数の案内画像表示場所の順路情報を含み、
前記処理手段は、前記撮像画像に複数の案内画像表示場所が含まれていると、前記順路情報に基づき、前記案内画像を重畳させる案内画像表示場所を決定することを特徴とする請求項１から５のいずれか１項に記載の端末装置。

【請求項7】

前記案内情報は、ナビ画像を含み、
前記処理手段は、案内画像表示場所に案内画像を重畳させて前記ディスプレイに表示すると、或いは、前記ディスプレイに表示した後、前記順路情報において当該案内画像表示場所の次の案内画像表示場所の方向を示す様に前記ナビ画像を前記撮像画像に重畳させて前記ディスプレイに表示する処理を行うことを特徴とする請求項６に記載の端末装置。

【請求項8】

前記処理手段は、前記ナビ画像を前記ディスプレイに表示するタイミングを、前記端末装置のユーザが指定した滞在時間に基づき決定することを特徴とする請求項７に記載の端末装置。

【請求項9】

前記処理手段は、前記ナビ画像を前記ディスプレイに表示するタイミングを、前記端末装置のユーザが指定した時刻までの時間に基づき決定することを特徴とする請求項７に記載の端末装置。

【請求項10】

前記３次元地図情報は、前記所定エリアの各位置において各方向で撮像した画像内の各特徴点の位置を求めることができる場所記述情報を含み、
前記処理手段は、前記撮像画像の各特徴点の位置に基づき、前記場所記述情報を参照することで前記端末装置の位置と前記撮像手段の撮像方向を判定し、判定した前記端末装置の位置と前記撮像手段の撮像方向に基づき、前記撮像画像に案内画像表示場所が含まれているか否かを判定することを特徴とする請求項１から９のいずれか１項に記載の端末装置。

【請求項11】

他の通信装置と通信して前記３次元地図情報及び前記案内情報を取得する取得手段をさらに備えていることを特徴とする請求項１から１０のいずれか１項に記載の端末装置。

【請求項12】

請求項１から１１のいずれか１項に記載の端末装置として、ディスプレイ及び撮像手段を有するコンピュータを機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯型の端末装置を使用した所定エリアの案内技術に関する。

【背景技術】

【0002】

特許文献１は、音声ガイド装置を開示している。これら、音声ガイド装置は、例えば、美術館といった所定エリアにおける展示物を音声で説明するために利用者に貸し出されたりしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８−２６３００６号公報

【非特許文献】

【0004】

【非特許文献1】Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、総ての展示物に対して音声ガイドが用意されている訳ではなく、ガイド装置を使用している来訪者は展示物の近傍に表示されている番号等を見て初めて音声ガイドが用意されている展示物を認識できる。

【0006】

本発明は、所定エリア内においてガイドが用意されている場所等を容易に認識できる端末装置を提供するものである。

【課題を解決するための手段】

【0007】

本発明の一態様によると、端末装置は、ディスプレイと、撮像手段と、所定エリアの３次元地図情報と、案内画像表示場所を示す情報、前記案内画像表示場所に対応付けられたガイド情報及び案内画像を示す案内画像情報を含む案内情報と、を保持する保持手段と、前記３次元地図情報に基づき、前記撮像手段が撮像して前記ディスプレイに表示されている撮像画像に案内画像表示場所が含まれていると判定すると、当該撮像画像の当該案内画像表示場所に前記案内画像を重畳させて前記ディスプレイに表示する処理を行う処理手段と、を備え、前記処理手段は、前記撮像画像に含まれる前記案内画像表示場所に前記案内画像を表示した後、当該案内画像表示場所と前記端末装置との距離が第１距離より短くなると、当該案内画像表示場所に対応付けられたガイド情報をユーザに提示する処理を行うことを特徴とする。

【発明の効果】

【0008】

本発明によると、所定エリア内においてガイドが用意されている場所等を容易に認識することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態による端末装置の構成図。

【図2】一実施形態による制御部の機能ブロック図。

【図3】案内画像表示場所の説明図。

【図4】撮像画像の例を示す図。

【図5】図４の撮像画像に案内画像を重畳させて表示した例を示す図。

【図6】図５の画像にさらにナビ画像を重畳させて表示した例を示す図。

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

【0011】

図１は、本実施形態による端末装置の概略的な構成図である。端末装置は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

【0012】

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

【0013】

図２は、本実施形態を説明するための制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。場所記述情報とは、撮像部１０３が撮像している画像から端末装置の３次元空間位置と撮像部１０３の撮像方向を判定するための情報である。まず、非特許文献１に記載された場所記述情報の生成について説明する。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部１０３により画像を撮像しながら、その位置や、撮像方向を変化させる。場所記述情報生成部１００１は、場所記述情報の取得の間、その開始時の位置を原点とし、加速度情報及び角速度情報に基づき端末装置の位置や撮像方向の向きを判定し続ける。また、場所記述情報生成部１００１は、撮像部１０３が撮像している画像内の特徴点を求める。このとき、場所記述情報生成部１００１は、３次元空間における端末装置の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、場所記述情報生成部１００１は、３次元空間内の各位置及び各撮像方向において、撮像部１０３が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部１０３が撮像している画像の特徴点とを比較することで、そのときの端末装置の３次元空間位置と撮像部１０３の撮像方向を判定することができる。なお、３次元空間位置の原点は、場所記述情報を開始したときの位置であるものとする。また、場所記述情報生成部１００１は、既に保存している場所記述情報と、撮像部１０３が撮像している画像の特徴点との比較により端末装置の３次元空間位置と撮像部１０３の撮像方向を判定すると同時に、撮像部１０３が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

【0014】

上述した様に、場所記述情報は、端末装置の位置及び撮像方向と、撮像部１０３が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。

【0015】

一方、地図情報取得部１００３は、通信部１０７を介して、図示しないサーバ装置から所定エリアについての３次元地図情報と案内情報とを取得し保存する。３次元地図情報は、当該所定エリアについて、場所記述情報生成部１００１が生成するのと同様の場所記述情報を有する。ここで、所定エリアとは、博物館、美術館等、本発明の端末装置によりガイドを行うエリアであり、３次元地図情報は、この所定エリアの管理者側において、場所記述情報生成部１００１での処理と同様の処理により予め作成してサーバ装置に保存したものである。なお、３次元地図情報に含まれる場所記述情報の原点は任意の位置であって良い。案内情報は、案内画像表示場所を示す情報と、その順路を示す順路情報と、を含んでいる。案内画像表示場所は、場所記述情報で特定できる３次元空間における座標により示される。図３は、ある所定エリアの平面図であり、図中の点線の円の位置が、案内画像表示場所を示している。なお、ここでは、案内画像表示場所を、ある面積を持った領域としているが、案内画像表示場所は、特定の位置を示すものであっても良い。この案内画像表示場所内又はその近傍には、ガイドの対象物が設置されている。なお、図３の点線の円内の番号は、順路情報が示す順路であり、所定エリアの管理者は、点線の円内の番号順に利用者を誘導したいものとする。なお、総ての展示物の近傍に案内画像表示場所を設ける必要はない。つまり、例えば、図３の番号１の案内画像表示場所におけるガイド対象の展示物と、番号２の案内画像表示場所におけるガイド対象の展示物との間には、端末装置によるガイド対象ではない他の展示物が有っても良い。本実施形態において、案内情報は、さらに、案内画像表示場所に対応付けられたガイド情報と案内画像を示す案内画像情報とを含んでいる。なお、案内画像は、案内画像表示場所に拘らず１つとしても、案内画像表示場所に対応付けて、案内画像表示場所に応じて異ならせるものとしても良い。

【0016】

表示処理部１００２は、まず、地図情報取得部１００３が取得した３次元地図情報に含まれる場所記述情報と、撮像部１０３が撮像してディスプレイ１０５に表示している画像（以下、撮像画像と呼ぶ。）の特徴点に基づき、３次元空間における端末装置の位置及び方向を判定することができる。なお、ここでは、撮像部１０３の撮像方向を、端末装置の方向とする。また、場所記述情報生成部１００１は、地図情報取得部１００３が取得した３次元地図情報の場所記述情報を撮像画像に基づき更新する。以下では、地図情報取得部１００３が取得した３次元地図情報に含まれる場所記述情報と、当該場所記述情報の場所記述情報生成部１００１による更新後の場所記述情報を、単に、場所記述情報と表記する。

【0017】

例えば、ユーザが図３の位置５０から２番目及び３番目の案内画像表示場所の方向を撮像部１０３により撮像しているものとする。この場合、例えば、撮像部１０３が撮像し、ディスプレイ１０５に表示されている撮像画像は図４に示す様になる。なお、図４において、参照符号５１及び５２は、それぞれ、２番目及び３番目の案内画像表示場所を示しているが、参照符号５１及び５２が示す点線の丸は、説明のためのものであり、当然に、ディスプレイ１０５には表示されていない。この場合、表示処理部１００２は、図４の画像内の床、壁、天井、展示物等の特徴点の位置と、場所記述情報に基づき、端末装置が位置５０にいて、図３の上側に向けた画像を、現在、撮像部１０３が撮像していることを認識できる。

【0018】

表示処理部１００２は、案内情報に含まれる案内画像表示場所を示す情報と順路情報に基づき、２番目及び３番目の案内画像表示場所が撮像画像に含まれていることを判定することができる。これは、場所記述情報に基づき判定した端末装置の位置及び方向と、撮像部１０３のレンズの光学特性とに基づき、案内画像表示場所の３次元空間位置をスクリーン座標の位置に変換し、案内画像表示場所のスクリーン座標がディスプレイ１０５の中にあるか否かにより判定できる。図４に示す状態の場合、表示処理部１００２は、撮像画像内の２つの案内画像表示場所の内、順路番号の小さい２番目の案内画像表示場所に案内画像を重畳させてディスプレイ１０５に表示する。なお、案内画像表示場所に拘らず１つの案内画像を使用する場合には、当該１つの案内画像をディスプレイ１０５に表示し、案内画像表示場所に対応付けられた案内画像を使用する場合には、２番目の案内画像表示場所に対応付けられた案内画像をディスプレイ１０５に表示する。図５は、図４に示す撮像画像に、人のイラストである案内画像５３を重畳させてディスプレイ１０５に表示した状態を示している。なお、本実施形態において、案内画像表示場所は、一点ではなく円状であり、表示処理部１００２は、案内画像表示場所内の任意の位置に案内画像を立たせて表示することができる。また、表示処理部１００２は、案内画像表示場所内に展示物がある場合、案内画像表示場所内の展示物がある位置とは異なる位置に案内画像を表示制御することができる。これは、例えば、深さセンサ１０６により、撮像画像内にある展示物等のオブジェクトまでの距離を判定することにより行える。また、深さセンサ１０６により床面の位置を判定することで、キャラクタ画像である案内画像５３を床面に立たせて表示することができる。

【0019】

なお、図５の案内画像５３は、人のイラストであるが、案内画像には任意の画像を用いることができる。例えば、案内画像として、人間や動物といった動物体や、それらをモデル化した、所謂、キャラクタ画像を使用することができる。キャラクタ画像を使用する場合、例えば、案内画像５３を示す画像データは、３次元モデルデータと、展示物のガイドを行っている様にキャラクタを動かすモーションデータと、を含むものとすることができる。そして、表示処理部１００２は、案内画像表示場所までの距離と３次元モデルデータとに基づき、端末装置の現在の位置及び方向からキャラクタ画像がディスプレイ１０５においてどの様に写るかを判定してキャラクタ画像を表示する。さらに、表示処理部１００２は、モーションデータに従い、重畳して表示している案内画像に所定の動作をさせる。

【0020】

また、表示処理部１００２は、案内画像５３を重畳させて表示すると、案内画像５３を表示させた案内画像表示場所に対応付けられたガイド情報に従い、当該案内画像表示場所の展示物についての情報をユーザに提示する。例えば、ガイド情報は、テキスト情報であり、ディスプレイ１０５に、案内画像がしゃべっている様な吹き出しを追加して、吹き出し内に展示物についての情報を表示することができる。また、例えば、ガイド情報は、音声情報であり、表示処理部１００２は、スピーカ１０１により展示物についての情報を音声で出力する構成とすることができる。さらに、マナーモードの様に端末装置側で音声出力を停止している場合にはテキスト情報による提示を行い、音声出力が可能な場合に音声情報による提示を行うという様に、端末装置の音声出力設定に基づきユーザへの展示物の情報の提示にテキスト情報と音声情報のどちらを使用するかを端末装置が判定する構成とすることもできる。なお、ガイド情報に基づく展示物についての情報のユーザへの提示は、案内画像５３をディスプレイ１０５に表示すると直ちに行う必要はない。例えば、ユーザが移動して、案内画像を表示している案内画像表示場所との距離が所定距離以内になったときに行う構成とすることができる。

【0021】

また、表示処理部１００２は、案内画像５３を表示すると、次の案内画像表示場所の方向を示すナビ画像を撮像画像に重畳してディスプレイ１０５に表示することができる。図６は、ナビ画像５４を更に表示した状態を示している。なお、ナビ画像５４を示す情報も、案内情報に含まれている。ナビ画像５４は、次の案内画像表示場所の方向を示すものであれば良く、その形状や、画像の種類は任意である。このナビ画像５４は、案内画像を表示した後、或いは、ガイド情報のユーザへの提示を行った後、所定期間が経過すると表示する構成とすることができる。例えば、ユーザが各展示物を鑑賞等するための時間、つまり、案内画像表示場所の近傍に滞在する滞在時間を予め端末装置に入力しておく。そして、表示処理部１００２は、ナビ画像５４を表示するタイミング、つまり、上記所定期間を、この滞在時間に基づき決定することができる。また、当該所定エリアの総ての展示物を回り終える時刻をユーザが予め端末装置に入力しておく。そして、表示処理部１００２は、ナビ画像５４を表示するタイミングを、総ての展示物を回り終える時刻までの残り時間に基づき決定することができる。この場合、表示処理部１００２は、総ての展示物を回り終える時刻までの残り時間が短くなる程、案内画像を表示、或いは、ガイド情報のユーザへの提示を行ってからナビ画像５４を表示するまでの時間を短くする。

【0022】

また、ナビ画像５４を案内画像５３とは異なるものとするのではなく、案内画像５３を使用する構成とすることもできる。この場合、ナビ画像５４の表示タイミングにナビ画像５４を表示するのではなく、音声又は吹き出しによりユーザに移動を促すメッセージの表示又は音声出力を行う共に、案内画像５３が次の案内画像表示場所を示す様にディスプレイ１０５に表示させる。また、ユーザが現在の案内画像表示場所の近傍に滞在できる残り時間を判定し、当該判定した残り時間をディスプレイ１０５に表示する構成とすることもできる。なお、ユーザが現在の案内画像表示場所の近傍に滞在できる残り時間は、ユーザが設定した滞在時間や、総ての展示物を回り終える時刻までの残り時間に基づき判定する。

【0023】

なお、表示処理部１００２は、既にガイド情報のユーザへの提示を行った案内画像表示場所が撮像画像に含まれていても、当該案内画像表示場所には案内画像を表示しない様にすることができる。つまり、表示処理部１００２は、順路情報に従いその若番順で案内画像表示場所に案内画像の表示とガイド情報の提示を行い、ガイド情報の提示済みではない案内画像表示場所の内、最も若い番号の案内画像表示場所が撮像画像に含まれるときのみ、当該案内画像表示場所に案内画像を表示する構成とすることができる。このため、端末装置は、各ガイド情報のユーザへの提示履歴を保存する。また、総てのガイド情報のユーザへの提示を行うと、それ以降は、案内画像表示場所への案内画像の表示や、ガイド情報のユーザへの提示を行わない構成とすることができる。

【0024】

また、表示処理部１００２は、ガイド情報の提示済みではない複数の案内画像表示場所が撮像画像に含まれていると、その内の順路番号の最も若い案内画像表示場所のみに案内画像を表示するのではなく、撮像画像に含まれているガイド情報の未提示の総ての案内画像表示場所に案内画像を表示する構成であっても良い。例えば、この場合、表示する案内画像に順路番号も合わせて表示する構成とすることができる。また、この場合、ガイド情報の未提示の案内画像表示場所の内、最も若い案内画像表示場所に案内画像を表示すると共に、それ以外の案内画像表示場所には案内画像を透過性のある状態で表示する構成、つまり、次に訪れるべき案内画像表示場所と、それ以外の案内画像表示場所では、案内画像の表示態様を異ならせる構成とすることができる。さらに、ガイド情報の提示・未提示に拘らず、撮像画像に含まれている総ての案内画像表示場所に案内画像を表示する構成であっても良い。さらに、撮像画像に含まれている案内画像表示場所と端末装置との距離が所定値以内である場合にのみ、当該案内画像表示場所に案内画像を表示する構成であっても良い。なお、端末装置との距離が上記所定値以内である案内画像表示場所が撮像画像に含まれていても、当該案内画像表示場所に対応するガイド情報のユーザへの提示を既に行っていると、当該案内画像表示場所に案内画像を表示しない構成であっても良い。また、既に対応するガイド情報を提示したか否かに拘らず、端末装置との距離が上記所定値以内である案内画像表示場所の総てに案内画像を表示する構成であっても良い。

【0025】

また、本実施形態において、表示処理部１００２は、撮像画像に含まれる特徴点に基づき場所記述情報を使用して、３次元空間における端末装置の位置及び方向を判定していた。しかしながら、例えば、所定エリア内の複数の位置に、それぞれの位置を示す信号を送信する送信機を設置する構成とすることができる。送信機は、例えば、人の可聴範囲外の音を出力するスピーカとすることができる。この場合、端末装置のマイク１０２は、スピーカの音を音声信号に変換し、表示処理部１００２は、この音声信号により、３次元空間におけるどの付近にいるかを判定する。これにより、表示処理部１００２が撮像画像の特徴点に基づき端末装置の位置及び方向を判定する際に、参酌すべき場所記述情報の範囲を絞り込むことができ、端末装置の位置及び方向の判定に要する時間を短縮することができる。また、表示処理部１００２は、一旦、端末装置の位置及び方向を判定すると、加速度情報及び角速度情報により端末装置の位置及び方向が変化しても、変化後の端末装置の位置及び方向を判定し続けることができる。これにより、例えば、端末装置の位置及び方向を判定した後、ユーザが端末装置をポケットやカバン等に入れたりして撮像画像が得られない状態が続いても、ユーザが撮像部１０３による撮像画像の取得を開始し場所記述情報に基づき端末装置の位置及び方向を判定する際に、加速度情報及び角速度情報により判定していた端末装置の位置及び方向に基づき、参酌すべき場所記述情報の範囲を絞り込むことができる。なお、３次元地図情報に含まれる場所記述情報での位置を示す信号は、可聴範囲外の音に限定されず、無線タグ等の近距離無線通信を使用することもできる。また、当該送信機の設置位置は、所定エリア内の複数の位置に分散して配置しても良いが、例えば、所定エリアの入り口付近に１つだけ設ける構成であっても良い。また、加速度情報及び角速度情報や、送信機からの信号に基づき端末装置の位置を追跡することで、端末装置をポケットやカバン等に入れた状態においもて、案外画像表示場所の近傍にいることを判定でき、例えば、イヤホン等を介した音声によるガイド情報による展示物についての情報提示を行うこともできる。

【0026】

なお、端末装置は、所定の条件が満たされると、図示しないサーバ装置から取得した３次元地図情報及び案内情報を削除する構成とすることができる。所定の条件は、例えば、端末装置が所定エリアから所定以上の距離だけ離れた場合、端末装置が所定エリアの所定位置、例えば、出口を通過した場合、端末装置が所定時間に渡り撮像画像の取得を行わない場合、所定時間に渡り案内情報の表示やガイド情報の提示が端末装置において行われなかった場合、総てのガイド情報をユーザに提示した場合等に満たされる構成とすることができる。なお、本実施形態では、地図情報取得部１００３が図示しないサーバ装置から３次元地図情報を取得し、表示処理部１００２が、撮像画像と取得した３次元地図情報とに基づき端末装置の位置及び方向を判定していた。しかしながら、端末装置が撮像画像や、撮像画像内の各特徴点のスクリーン座標をサーバ装置に繰り返し送信し、サーバ装置において端末装置の位置及び方向を判定し、サーバ装置が判定した位置及び方向を端末装置に繰り返し通知する構成であっても良い。

【0027】

また、図３に示す平面図を示す２次元地図情報も合わせて端末装置に送信し、端末装置は、平面図に端末装置の現在位置及び／又は方向を重ねてディスプレイ１０５に表示しても良い。なお、ディスプレイ１０５には、所定エリア全体の平面図を表示する構成であっても、端末装置の現在地付近の一部分を表示する構成であっても良い。また、平面図を表示する際、ユーザのこれまでの移動ルートを合わせて平面図に表示することもできる。なお、ディスプレイ１０５への撮像画像／平面図の表示は、ユーザ操作により切り替える構成とることができる。或いは、ディスプレイ１０５のある小領域に平面図を表示し、残りの部分に撮像画像を表示する構成であっても良い。

【0028】

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

【符号の説明】

【0029】

１０５：ディスプレイ、１０３：撮像部、１００２：表示処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】